CN115454256A - 一种数字誓词碑装置 - Google Patents

一种数字誓词碑装置 Download PDF

Info

Publication number
CN115454256A
CN115454256A CN202211237395.8A CN202211237395A CN115454256A CN 115454256 A CN115454256 A CN 115454256A CN 202211237395 A CN202211237395 A CN 202211237395A CN 115454256 A CN115454256 A CN 115454256A
Authority
CN
China
Prior art keywords
human body
dimensional
module
digital
cultural relic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211237395.8A
Other languages
English (en)
Inventor
任洪
张山富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Open Mind Technology Co ltd
Original Assignee
Yunnan Open Mind Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Open Mind Technology Co ltd filed Critical Yunnan Open Mind Technology Co ltd
Priority to CN202211237395.8A priority Critical patent/CN115454256A/zh
Publication of CN115454256A publication Critical patent/CN115454256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种数字誓词碑装置，属于交互展示设备技术领域，该装置包括：装置本体设置于底座上，装置本体内部设有人机交互系统；触控显示屏设置于装置本体一侧，触控显示屏包括用于文化展示的展示区域和用于用户交互需求的交互功能区域，展示区域和交互功能区域通过人机交互系统控制；人机交互系统包括：文物信息采集模块、文物三维建模模块、手势识别控制模块、文物互动展示模块。本发明采用手势识别控制模块，根据体感捕捉器识别捕获用户的动作，并根据该动作生成控制指令对用户选定的三维文物模型在触控显示屏的展示区域进行平移、缩放以及旋转，实现文物三维数字化展示，增强人机互动交流，增加游客的交互感、沉浸感。

Description

一种数字誓词碑装置
技术领域
本发明属于交互展示设备技术领域，更具体地，涉及一种数字誓词碑装置。
背景技术
随着科技的发展，各种智能设备的应用越来越广泛。人与智能设备之间的人机交互也越来越多，人机交互方式有接触式和非接触式两种，接触式的人机交互方式较为成熟和完善，而非接触式的人机交互操作方式则处于研究起步阶段。近年来，非接触式的人机交互方式一直是人机交互方式中研究的热点和难点问题，研究好非接触式的人机交互方式具有很高使用价值，尤其是应用到一些特殊要求的场合下则意义更为重大。
数字誓词碑装置是以民族团结誓词碑为原型设计的一种能够通过数字显示屏再现民族团结誓词碑的碑刻内容及相关背后历史故事，放置于展馆、民族机构展厅、主题教育场所等、将其民族文化通过数字誓词碑装置以数字化形式展现，能够对人们起到教育的意义。而现有展馆内放置的数字誓词碑装置较为传统，只是单纯地以图片或视频的形式对民族文化人文地理知识进行展示。没有很好的融合非接触式的人机交互相关技术，不能捕捉游客的动作来进行实时互动，缺乏交互感、沉浸感，缺乏对人文地理文化知识全方位地传播体验互动，影响游客的体验。
发明内容
本发明针对现有技术中存在的问题，旨在提供一种数字誓词碑装置，根据体感捕捉器感知游客的动作，并根据该动作生成控制指令对用户选定的三维文物模型在触控显示屏的展示区域进行平移、缩放以及旋转，实现文物三维数字化展示，增强人机互动交流，增加游客的交互感、沉浸感。
为了实现上述目的，本发明的技术方案如下：
一种数字誓词碑装置，包括：
装置本体和底座，所述装置本体设置于所述底座上，所述装置本体内部设有人机交互系统；
触控显示屏，所述触控显示屏设置于所述装置本体一侧，所述触控显示屏包括用于显示誓词碑信息、民族文化和个性化换装的展示区域和用于满足用户交互需求的交互功能区域，所述展示区域和所述交互功能区域通过所述人机交互系统控制；
所述人机交互系统包括：
文物信息采集模块，所述文物信息采集模块通过外部设备采集并存储同一环境下每个文物不同角度的多张文物图片；
文物三维建模模块，连接所述文物信息采集模块，所述文物三维建模模块根据每个文物不同角度的多张文物图片进行三维建模构造出三维文物模型，采用预设的文物三维引擎对所述三维文物模型进行渲染；
手势识别控制模块，所述手势识别控制模块根据体感捕捉器识别捕获用户手势动作并生成相应的手势控制指令，通过所述手势控制指令完成交互操作；
文物互动展示模块，连接所述手势识别控制模块和所述文物三维建模模块，所述文物互动展示模块用于根据用户选定的誓词碑获取相关的三维文物模型，根据所述手势控制指令采用三维可视化管理技术对用户选定的三维文物模型在展示区域进行平移、缩放以及旋转，并根据关联的文物历史内容和民族文化内容实现文物三维数字化展示。
优选的，所述人机交互系统还包括：
人体位姿信息采集模块，所述人体位姿信息采集模块采集真实场景，并提取该真实场景中通过人脸识别技术已经被识别定位的活动人体的人体深度图像和人体骨架信息；
人体姿态处理模块，连接所述人体位姿信息采集模块，所述人体姿态处理模块预设三维人体样本模型库，根据所述人体深度图像和人体骨架信息进行三维建模并构造出三维人体形状，并从所述三维人体样本模型库中选取与所述三维人体形状匹配的三维人体样本模型；
互动换装模块，连接所述人体姿态处理模块和所述手势识别控制模块，预设有民族服装数据库，所述互动换装模块用于基于从所述民族服装数据库中选取目标服饰，采用预设的人物三维引擎对所述三维人体样本模型进行渲染，将渲染后的三维人体样本模型叠加至该真实场景以形成增强现实虚拟换装场景，基于所述手势控制指令在展示区域显示实时换装效果。
优选的，所述人体位姿信息采集模块包括：
深度摄像头和红外摄像头，所述深度摄像头和所述红外摄像头采集所述真实场景中已经被识别定位的活动人体的身体位姿影像信息；
图像去噪处理单元，用于从身体位姿影像信息中提取多帧人体深度图像，采用二次曲面拟合法将每一帧人体深度图像进行去噪处理，以获取平滑的人体深度图像；
区域分割单元，用于对人体像素区域进行模式识别，并将人体区域从所述身体位姿影像信息的背景区域中分割出来，解析出人体骨架信息。
优选的，所述互动换装模块包括：
换装场景输入单元，用于将采集的身体位姿影像信息输入至互动换装模块进行增强现实处理；
第一处理单元，连接所述换装场景输入单元，用于将所述身体位姿影像信息转换处理成虚拟位姿信息，并基于用户现场三维坐标系向展示区域二维坐标系的映射转换关系，将虚拟位姿信息设置于投影变换矩阵中；
第二处理单元，连接所述第一处理单元，用于基于虚拟摄像机将所述投影变换矩阵进行3D转换模拟生成真实场景；
增强现实处理单元，连接所述第二处理单元，预设有换装动作脚本库，用于将渲染后的三维人体样本模型叠加至该模拟生成的真实场景形成增强现实换装场景应用，基于所述手势控制指令于所述换装动作脚本库中匹配对应的换装动作脚本，在该增强现实换装场景下触发互动换装并传输给展示区域，实现动态同步；
照片存储单元，连接所述增强现实处理单元，用于基于所述手势控制指令触发拍照，获取当前的着装照并进行存储。
优选的，所述人机交互系统还包括：
多媒体播放模块，预设有多个多媒体文件，根据用户选择的誓词碑信息查找对应的多媒体文件，并根据用户在交互功能区域选择的点播功能在展示区域播放该多媒体文件。
优选的，所述人机互动系统还包括语音交互模块，所述语音交互模块包括有语音处理单元、麦克风和音箱，所述麦克风采集用户的语音信息并通过所述语音处理单元进行特征提取生成相应的语音控制指令，基于所述语音控制指令进行人机交互。
优选的，所述人机交互系统还包括签名模块，基于所述照片存储单元用户选定的着装照和所述触控显示屏的交互功能区域的用户签名，使所述着装照上显示该用户签名，并通过扫描该交互功能区域生成的第一打印二维码对所述着装照进行打印输出。
优选的，所述人机交互系统还包括誓词模块，预设有多个数字化誓词碑画面，所述誓词模块连接所述签名模块，基于用户签名和用户在交互功能区域选择的宣誓功能对用户选择的数字化誓词碑画面进行同步签名，并通过扫描该交互功能区域生成的第二打印二维码对所述誓词画面进行打印输出。
优选的，所述装置本体内部还设置有电子雕刻机和待雕刻书签，所述电子雕刻机连接所述签名模块，基于用户签名和用户在交互功能区域选择的雕刻功能在所述待雕刻书签上进行名字雕刻并通过所述装置本体设置的书签打印口送出。
优选的，所述装置本体表面还设置有移动侦测传感器，如果所述数字誓词碑装置进入待机状态，其显示功能关闭，所述移动侦测传感器进入工作状态，检测是否有人位于所述数字誓词碑装置之前，如有，则开启所述数字誓词碑装置的显示功能使所述数字誓词碑装置进入工作状态，并调用所述人体位姿信息采集模块的深度摄像头进行用户识别。
本发明的技术方案的有益效果在于：
本发明采用手势识别控制模块，根据体感捕捉器识别捕获用户的动作，并根据该动作生成控制指令对用户选定的三维文物模型在触控显示屏的展示区域进行平移、缩放以及旋转，实现文物三维数字化展示，增强人机互动交流，增加游客的交互感、沉浸感。该设备人机适用于博物馆，纪念馆，纪念碑，雕像等游览场所，人机交互性强，使游客更感兴趣，达到聚集人气，提高宣传的效应。
进一步地，本发明利用增强现实技术把真实世界与虚拟世界相结合，与用户身体的3D模型进行合成，识别手势动作并发送对应的换装交互指令，显示出穿戴虚拟服装的三维动态效果图，实现3D模拟换装效果。
附图说明
通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
图1为本发明实施例提供的一种数字誓词碑装置的正视图；
图2为本发明实施例提供的一种数字誓词碑装置的侧视图；
图3为本发明实施例提供的一种数字誓词碑装置的人机交互系统的结构示意图。
附图标记说明：
1、装置本体；2、底座；3、触控显示屏；4、深度摄像头；5、红外摄像头；6、音箱；7、书签打印口；8、移动侦测传感器；9、体感捕捉器；10、人机交互系统；101、文物信息采集模块；102、文物三维建模模块；103、手势识别控制模块；104、文物互动展示模块；105、人体位姿信息采集模块；106、人体姿态处理模块；107、互动换装模块；108、多媒体播放模块；109、语音交互模块；110、签名模块；111、誓词模块；1051、图像去噪处理单元；1052、区域分割单元；1071、换装场景输入单元；1072、第一处理单元；1073、第二处理单元；1074、增强现实处理单元；1075、照片存储单元。
具体实施方式
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
实施例一
参照图1-3所示，本发明提供一种数字誓词碑装置，包括：
装置本体1和底座2，装置本体1设置于底座2上，装置本体1内部设有人机交互系统10；
触控显示屏3，触控显示屏3设置于装置本体一侧，触控显示屏3包括用于显示誓词碑信息、民族文化和个性化换装的展示区域和用于满足用户交互需求的交互功能区域，展示区域和交互功能区域通过人机交互系统控制；
人机交互系统10包括：
文物信息采集模块101，文物信息采集模块101通过外部设备采集并存储同一环境下每个文物不同角度的多张文物图片；
文物三维建模模块102，连接文物信息采集模块101，文物三维建模模块根据每个文物不同角度的多张文物图片进行三维建模构造出三维文物模型，采用预设的文物三维引擎对三维文物模型进行渲染；
手势识别控制模块103，手势识别控制模块根据体感捕捉器识别捕获用户手势动作并生成相应的手势控制指令，通过手势控制指令完成交互操作；
文物互动展示模块104，连接手势识别控制模块103和文物三维建模模块102，文物互动展示模块用于根据用户选定的誓词碑获取相关的三维文物模型，根据手势控制指令采用三维可视化管理技术对用户选定的三维文物模型在展示区域进行平移、缩放以及旋转，并根据关联的文物历史内容和民族文化内容实现文物三维数字化展示。
具体的，通过三维扫描技术，例如激光三维扫描成像仪，通过布置绿幕背景环境实地扫描复刻现实版的民族誓词纪念碑及相关文物的图片，将扫描的图片存储至外部设备，例如智能手机、PC机，将外部设备与人机交互系统10建立通信连接。文物信息采集模块101可以为一种接收及存储装置，将上述扫描的图片文物通过网络传输并存储至文物信息采集模块101，以起到采集多张文物图片的作用。文物信息采集模块101也可以具备信息收集功能，例如通过互联网检索查找所需的相关信息，并下载保存。文物三维建模模块102为内置于人机交互系统10的三维建模软件，例如Autodesk 123D Design软件，通过技术处理后以三维的形式储存并展示在触控显示屏3上。手势识别控制模块103包括体感捕捉控制器，用于识别捕获用户人手区域的手势动作进行特征提取，如对应于某一时间段或某一时间点的手势的指尖运动轨迹特征数据，根据轨迹特征数据从手势指令数据库中匹配对应的手势控制指令，手势控制指令包括点击、放大、缩小、旋转、关闭等第一控制指令。采用三维可视化管理技术，例如Mars3D展示平台，对用户选定的三维文物模型根据第一控制指令进行放大缩小、旋转，并在展示的过程中通过弹窗、悬浮显示、链接点击播放等方式，以图片、文字及视频形式展示关联的文物历史内容和民族文化内容，实现720度全方位的数字化展示。对于比较珍贵的图片和实物，可通过此方式制作成为互动式三维模型资料，既保护了文物本身，还可以给游客以耳目一新的视觉效果，同时也保存了民族誓词纪念碑及相关文物的数字形态。该设备人机适用于博物馆，纪念馆，纪念碑，雕像等游览场所，人机交互性强，能增加游客的交互感、沉浸感，使游客更感兴趣，达到聚集人气，提高宣传的效应。
进一步地，也可以通过获取用户在触摸显示屏3上的触摸手势生成对应的操作指令进行互动。
该人机交互系统10的硬件系统集成有处理器、控制器、存储器、通讯模组和供电模组等硬件模组。装置本体1上设置有供电接口、网线接口、USB接口、显示接口（例如HDMI、VGA、DVI接口）等接口供外接设备使用。触控显示屏3为多点触控电容触摸屏。装置本体1和底座2的外壳采用ABS吸塑材质，底座2上设有多个滚轮。本实施例装置的尺寸为：2100MM*1150MM*400MM。
一种优选的示例，人机交互系统10还包括：
人体位姿信息采集模块105，人体位姿信息采集模块105采集真实场景，并提取该真实场景中通过人脸识别技术已经被识别定位的活动人体的人体深度图像和人体骨架信息；
人体姿态处理模块106，连接人体位姿信息采集模块105，人体姿态处理模块106预设三维人体样本模型库，根据人体深度图像和人体骨架信息进行三维建模并构造出三维人体形状，并从三维人体样本模型库中选取与三维人体形状匹配的三维人体样本模型；
互动换装模块107，连接人体姿态处理模块106和手势识别控制模块103，预设有民族服装数据库，互动换装模块107用于基于从民族服装数据库中选取目标服饰，采用预设的人物三维引擎对三维人体样本模型进行渲染，将渲染后的三维人体样本模型叠加至该真实场景以形成增强现实虚拟换装场景，基于手势控制指令在展示区域显示实时换装效果。
具体的，本发明利用深度摄像头4和红外摄像头5的获取活动人体不同视角的深度图像，人体位姿信息采集模块105、人体姿态处理模块106和互动换装模块107可以通过软件算法来实现。具体是将人体深度图像以肢节（刚性部位）为单位进行分割，得到着装人体各个刚性部位的分部人体深度图像；再将人体正面和背面的分部人体深度图像分别注册融合到人体骨架信息，得到人体正面和背面的三维人体形状；接着利用人体侧面的深度图像将上述人体正面和背面的三维人体形状匹配组合成完整的三维人体形状，再用隐式曲面拟合法去噪。从三维人体样本模型库选取一个与着装人体体型最相近的三维净体模型作为模板模型，利用拉普拉斯网格变形法将选取的三维人体样本模型与三维人体形状进行拟合，互动换装模块107采用预设的三维引擎，例如基于WebGL的3D引擎技术，将拟合后的三维人体样本模型进行渲染，将渲染后的三维人体样本模型叠加至该真实场景以形成增强现实虚拟换装场景。手势识别控制模块103根据捕获识别的手势动作匹配对应的手势控制指令，如选择、着装、换装、一键更换、拍照等第二控制指令。互动换装模块107基于第二控制指令在展示区域显示实时换装效果。本发明利用增强现实技术，基于获取现实场景中的人体深度图像和人体骨架信息，通过三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等技术把真实世界与虚拟世界相结合，与用户身体的3D模型进行合成，显示出穿戴虚拟服装的三维动态效果图，识别手势动作并匹配对应的手势控制指令，实现3D模拟换装效果。
一种优选的示例，人体位姿信息采集模块105包括：
深度摄像头4和红外摄像头5，深度摄像头4和红外摄像头5采集真实场景中已经被识别定位的活动人体的身体位姿影像信息；
图像去噪处理单元1051，用于从身体位姿影像信息中提取多帧人体深度图像，采用二次曲面拟合法将每一帧人体深度图像进行去噪处理，以获取平滑的人体深度图像；
区域分割单元1052，用于对人体像素区域进行模式识别，并将人体区域从身体位姿影像信息的背景区域中分割出来，解析出人体骨架信息。
具体的，人体骨架由若干人体关键点组成，人体关键点又被称为人体骨骼关键点，其能够反映人体骨骼信息。通常，人体关键点包含头、颈、肩、肘、手、臀、膝和脚等部位。人体骨架坐标为人体骨架包含的若干人体关键点的坐标的集合。例如，若预设的人体关键点包含头、颈和肩，那么人体骨架坐标包含头的坐标、颈的坐标和肩的坐标。将人体区域从身体位姿影像信息的背景区域中分割出来形成多个人体特征图，利用反卷积算法对每个人体特征图进行反卷积处理，得到人体关键点数量和关键点数据特征，通过人体姿态估计算法进一步合并处理得到人体骨架信息。图像去噪处理单元1051与区域分割单元1052为图像处理芯片，该图像处理芯片与深度摄像头4和红外摄像头5通过数据接口连接，具有图像去噪功能和图像区域分割功能，集成于本数字誓词碑装置的内部硬件系统，例如控制主板。
一种优选的示例，互动换装模块107包括：
换装场景输入单元1071，用于将采集的身体位姿影像信息输入至互动换装模块进行增强现实处理；
第一处理单元1072，连接换装场景输入单元1071，用于将身体位姿影像信息转换处理成虚拟位姿信息，并基于用户现场三维坐标系向展示区域二维坐标系的映射转换关系，将虚拟位姿信息设置于投影变换矩阵中；
第二处理单元1073，连接第一处理单元1072，用于基于虚拟摄像机将投影变换矩阵进行3D转换模拟生成真实场景；
增强现实处理单元1074，连接第二处理单元1073，预设有换装动作脚本库，用于将渲染后的三维人体样本模型叠加至该模拟生成的真实场景形成增强现实换装场景应用，基于手势控制指令于换装动作脚本库中匹配对应的换装动作脚本，在该增强现实换装场景下触发互动换装并传输给展示区域，实现动态同步；
照片存储单元1075，连接增强现实处理单元1074，用于基于手势控制指令触发拍照，获取当前的着装照并进行存储。
具体的，利用现实场景中采集的身体位姿影像信息，采用人物三维重建技术获取三维坐标系向二维坐标系的映射转换关系并将虚拟位姿信息设置于投影变换矩阵中，基于虚拟摄像机和ORB算法将投影变换矩阵进行3D转换模拟生成真实场景。基于第二控制指令匹配对应的换装动作脚本，如选择、着装、换装、一键更换等动作脚本，在人机交互系统10的虚拟换装场景下执行对应的换装动作脚本，实现动态换装。
一种优选的示例，人机交互系统10还包括：
多媒体播放模块108，预设有多个多媒体文件，根据用户选择的誓词碑信息查找对应的多媒体文件，并根据用户在交互功能区域选择的点播功能在展示区域播放该多媒体文件。
具体的，用户选择的誓词碑信息查找对应的多媒体文件，其多媒体文件包括民族团结誓词碑的介绍，以及背后相关的故事说明等。该多媒体文件以图片和/或文字和/或视频的方式制作，集成到人机交互系统10的存储器中。并根据用户在交互功能区域选择的点播功能，多媒体播放模块108生成播放指令调用存储器中对应的多媒体文件在展示区域播放该多媒体文件，更方便、更易传播的方式让游客知道民族团结纪念碑的历史和背后的故事，起到传播红色文化，弘扬名族团结精神的作用。
进一步地，不同的多媒体文件还可以通过关键字进行关联，例如，如果展示的是文字内容的多媒体文件，将其中的关键字做成相关链接，通过点击该链接，从音频库中选取对应的音频文件进行播放配乐。音频库的音频文件可以预先设置多维度标识，在播放文字内容的多媒体文件时，根据文字内容和标识的匹配度自动匹配查找最合适的音频文件进行播放。
一种优选的示例，人机互动系统10还包括语音交互模块109，语音交互模块109包括有语音处理单元、麦克风和音箱6，麦克风采集用户的语音信息并通过语音处理单元进行特征提取生成相应的语音控制指令，基于语音控制指令进行人机交互。
一种优选的示例，人机交互系统10还包括誓词模块111，预设有多个数字化誓词碑画面，誓词模块连接签名模块110，基于用户签名和用户在交互功能区域选择的宣誓功能对用户选择的数字化誓词碑画面进行同步签名，并通过扫描该交互功能区域生成的第二打印二维码对誓词画面进行打印输出。
具体的，用户在交互功能区域选择宣誓功能时，誓词模块111根据不同的宣誓场景选择对应的宣誓词显示在触控显示屏3上，如果有人宣读誓词，语音通过麦克风输入，触发语音交互模块109的语音处理单元对声音进行滤波降噪处理，从声音的时域、频域、谱域3个角度提取声音特征并转换成声音特征参数，声音特征参数包括语气、语速、语调。人机交互系统10根据摄像头采集的现场环境得到场景识别结果。根据场景识别结果选取匹配的场景音频，将该场景音频连同现场采集的声音特征参数输入预先训练好的神经网络模型进行智能化处理，该神经网络模型是根据场景音频样本和场景音频样本的情感类别训练得到的、用于对音频进行情感类别识别的模型。根据声音特征参数改变该场景音频的节奏、音量、音频，实现自动配乐，实现可以对不同场景进行自动化配乐，起到现场伴奏的效果。宣誓完毕后，对该数字化誓词碑画面进行同步签名，并扫描该交互功能区域生成的第二打印二维码对誓词画面进行打印输出或分享至朋友圈，留作纪念。
一种优选的示例，人机交互系统10还包括签名模块110，基于照片存储单元用户选定的着装照和触控显示屏的交互功能区域的用户签名，使着装照上显示该用户签名，并通过扫描该交互功能区域生成的第一打印二维码对着装照进行打印输出。
具体的，游客可以在触控显示屏3上的交互功能区域进行自由的书写，书写的内容在人机交互系统10内以图片模式记录存储，使游客写或画在触控显示屏3上的任何文字、图形、照片都可以被保存至硬盘存储设备。书写的内容包括参观感言、签名等。签名模块110将游客的签名和选定抓拍的着装照通过个性化相框融合在一体，并分享到屏幕上进行展示，供自己及其他参观者浏览。用户也可以通过扫描在交互功能区域生成对应的第一打印二维码，将该照片通过人机交互系统10的打印机进行打印输出，留作纪念，增加互动趣味性。
一种优选的示例，装置本体1内部还设置有电子雕刻机和待雕刻书签，电子雕刻机连接签名模块110，基于用户签名和用户在交互功能区域选择的雕刻功能在待雕刻书签上进行名字雕刻并通过装置本体1设置的书签打印口7送出。
具体的，待雕刻书签采用PVC(乙烯基的聚合物质)材料制成，弯曲度好且不易变形，表面具有金属质感，不容易被随意丢弃，成本低具有实用性。书签上设置有通孔，可以当挂件使用。待雕刻书签设置有多种外观样式，例如，其正面预先雕刻或印制有不同的立体生动的文字和图案，其反面设置有待雕刻的名字区域。电子雕刻机安装在装置本体1的内部，连接在人机交互系统10硬件系统中，游客在触控显示屏上选择自己喜欢的书签样式，并在交互功能区域进行签名，签名后选择雕刻功能，控制器生成雕刻指令，驱动电子雕刻机通过送料装置选择对应的待雕刻书签后，对待雕刻书签的名字区域进行镂空雕刻，并通过装置本体1设置的书签打印口7送出留作纪念，增加趣味性。
一种优选的示例，装置本体1表面还设置有移动侦测传感器8，如果数字誓词碑装置进入待机状态，其显示功能关闭，移动侦测传感器8进入工作状态，检测是否有人位于数字誓词碑装置之前，如有，则开启数字誓词碑装置的显示功能使数字誓词碑装置进入工作状态，并调用人体位姿信息采集模块的深度摄像头4进行用户识别。
具体的，移动侦测传感器8设置在触控显示屏3的上方中央，并与人机交互系统10硬件系统的定时电路连接，移动侦测传感器8用于检测是否有游客位于数字誓词碑装置前，数字誓词碑装置的触控显示屏3开启显示功能，并调用深度摄像头4采集用户的人脸数据进行识别。在检测到游客从纪念碑前离开后，定时电路启动定时，在定时期满后关闭显示屏，进入待机模式。游客还可以通过语音、触摸等方式唤醒装置。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

Claims (10)

1.一种数字誓词碑装置，其特征在于，包括：
装置本体和底座，所述装置本体设置于所述底座上，所述装置本体内部设有人机交互系统；
触控显示屏，所述触控显示屏设置于所述装置本体一侧，所述触控显示屏包括用于显示誓词碑信息、民族文化和个性化换装的展示区域和用于满足用户交互需求的交互功能区域，所述展示区域和所述交互功能区域通过所述人机交互系统控制；
所述人机交互系统包括：
文物信息采集模块，所述文物信息采集模块通过外部设备采集并存储同一环境下每个文物不同角度的多张文物图片；
文物三维建模模块，连接所述文物信息采集模块，所述文物三维建模模块根据每个文物不同角度的多张文物图片进行三维建模构造出三维文物模型，采用预设的文物三维引擎对所述三维文物模型进行渲染；
手势识别控制模块，所述手势识别控制模块根据体感捕捉器识别捕获用户手势动作并生成相应的手势控制指令，通过所述手势控制指令完成交互操作；
文物互动展示模块，连接所述手势识别控制模块和所述文物三维建模模块，所述文物互动展示模块用于根据用户选定的誓词碑获取相关的三维文物模型，根据所述手势控制指令采用三维可视化管理技术对用户选定的三维文物模型在展示区域进行平移、缩放以及旋转，并根据关联的文物历史内容和民族文化内容实现文物三维数字化展示。
2.根据权利要求1所述的数字誓词碑装置，其特征在于，所述人机交互系统还包括：
人体位姿信息采集模块，所述人体位姿信息采集模块采集真实场景，并提取该真实场景中通过人脸识别技术已经被识别定位的活动人体的人体深度图像和人体骨架信息；
人体姿态处理模块，连接所述人体位姿信息采集模块，所述人体姿态处理模块预设三维人体样本模型库，根据所述人体深度图像和人体骨架信息进行三维建模并构造出三维人体形状，并从所述三维人体样本模型库中选取与所述三维人体形状匹配的三维人体样本模型；
互动换装模块，连接所述人体姿态处理模块和所述手势识别控制模块，预设有民族服装数据库，所述互动换装模块用于基于从所述民族服装数据库中选取目标服饰，采用预设的人物三维引擎对所述三维人体样本模型进行渲染，将渲染后的三维人体样本模型叠加至该真实场景以形成增强现实虚拟换装场景，基于所述手势控制指令在展示区域显示实时换装效果。
3.根据权利要求2所述的数字誓词碑装置，其特征在于，所述人体位姿信息采集模块包括：
深度摄像头和红外摄像头，所述深度摄像头和所述红外摄像头采集所述真实场景中已经被识别定位的活动人体的身体位姿影像信息；
图像去噪处理单元，用于从身体位姿影像信息中提取多帧人体深度图像，采用二次曲面拟合法将每一帧人体深度图像进行去噪处理，以获取平滑的人体深度图像；
区域分割单元，用于对人体像素区域进行模式识别，并将人体区域从所述身体位姿影像信息的背景区域中分割出来，解析出人体骨架信息。
4.根据权利要求2所述的数字誓词碑装置，其特征在于，所述互动换装模块包括：
换装场景输入单元，用于将采集的身体位姿影像信息输入至互动换装模块进行增强现实处理；
第一处理单元，连接所述换装场景输入单元，用于将所述身体位姿影像信息转换处理成虚拟位姿信息，并基于用户现场三维坐标系向展示区域二维坐标系的映射转换关系，将虚拟位姿信息设置于投影变换矩阵中；
第二处理单元，连接所述第一处理单元，用于基于虚拟摄像机将所述投影变换矩阵进行3D转换模拟生成真实场景；
增强现实处理单元，连接所述第二处理单元，预设有换装动作脚本库，用于将渲染后的三维人体样本模型叠加至该模拟生成的真实场景形成增强现实换装场景应用，基于所述手势控制指令于所述换装动作脚本库中匹配对应的换装动作脚本，在该增强现实换装场景下触发互动换装并传输给展示区域，实现动态同步；
照片存储单元，连接所述增强现实处理单元，用于基于所述手势控制指令触发拍照，获取当前的着装照并进行存储。
5.根据权利要求1所述的数字誓词碑装置，其特征在于，所述人机交互系统还包括：
多媒体播放模块，预设有多个多媒体文件，根据用户选择的誓词碑信息查找对应的多媒体文件，并根据用户在交互功能区域选择的点播功能在展示区域播放该多媒体文件。
6.根据权利要求1所述的数字誓词碑装置，其特征在于，所述人机互动系统还包括语音交互模块，所述语音交互模块包括有语音处理单元、麦克风和音箱，所述麦克风采集用户的语音信息并通过所述语音处理单元进行特征提取生成相应的语音控制指令，基于所述语音控制指令进行人机交互。
7.根据权利要求4所述的数字誓词碑装置，其特征在于，所述人机交互系统还包括签名模块，基于所述照片存储单元用户选定的着装照和所述触控显示屏的交互功能区域的用户签名，使所述着装照上显示该用户签名，并通过扫描该交互功能区域生成的第一打印二维码对所述着装照进行打印输出。
8.根据权利要求7所述的数字誓词碑装置，其特征在于，所述人机交互系统还包括誓词模块，预设有多个数字化誓词碑画面，所述誓词模块连接所述签名模块，基于用户签名和用户在交互功能区域选择的宣誓功能对用户选择的数字化誓词碑画面进行同步签名，并通过扫描该交互功能区域生成的第二打印二维码对所述誓词画面进行打印输出。
9.根据权利要求7所述的数字誓词碑装置，其特征在于，所述装置本体内部还设置有电子雕刻机和待雕刻书签，所述电子雕刻机连接所述签名模块，基于用户签名和用户在交互功能区域选择的雕刻功能在所述待雕刻书签上进行名字雕刻并通过所述装置本体设置的书签打印口送出。
10.根据权利要求1所述的数字誓词碑装置，其特征在于，所述装置本体表面还设置有移动侦测传感器，如果所述数字誓词碑装置进入待机状态，其显示功能关闭，所述移动侦测传感器进入工作状态，检测是否有人位于所述数字誓词碑装置之前，如有，则开启所述数字誓词碑装置的显示功能使所述数字誓词碑装置进入工作状态，并调用所述人体位姿信息采集模块的深度摄像头进行用户识别。
CN202211237395.8A 2022-10-11 2022-10-11 一种数字誓词碑装置 Pending CN115454256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211237395.8A CN115454256A (zh) 2022-10-11 2022-10-11 一种数字誓词碑装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211237395.8A CN115454256A (zh) 2022-10-11 2022-10-11 一种数字誓词碑装置

Publications (1)

Publication Number Publication Date
CN115454256A true CN115454256A (zh) 2022-12-09

Family

ID=84307913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211237395.8A Pending CN115454256A (zh) 2022-10-11 2022-10-11 一种数字誓词碑装置

Country Status (1)

Country Link
CN (1) CN115454256A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883814A (zh) * 2023-02-23 2023-03-31 阿里巴巴（中国）有限公司 实时视频流的播放方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679819A (zh) * 2013-12-17 2014-03-26 塔里木大学 西域数字博物馆的设计与开发方法
CN105843386A (zh) * 2016-03-22 2016-08-10 宁波元鼎电子科技有限公司 一种商场虚拟试衣系统
KR20210105484A (ko) * 2020-02-18 2021-08-27 (주)일렉콤 문화유적복원 실감 장치
CN113485552A (zh) * 2021-07-01 2021-10-08 西北大学 一种文物虚实结合展示方法、系统、计算机设备及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679819A (zh) * 2013-12-17 2014-03-26 塔里木大学 西域数字博物馆的设计与开发方法
CN105843386A (zh) * 2016-03-22 2016-08-10 宁波元鼎电子科技有限公司 一种商场虚拟试衣系统
KR20210105484A (ko) * 2020-02-18 2021-08-27 (주)일렉콤 문화유적복원 실감 장치
CN113485552A (zh) * 2021-07-01 2021-10-08 西北大学 一种文物虚实结合展示方法、系统、计算机设备及终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883814A (zh) * 2023-02-23 2023-03-31 阿里巴巴（中国）有限公司 实时视频流的播放方法、装置及设备

Similar Documents

Publication Publication Date Title
US11688120B2 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
CN105843386B (zh) 一种商场虚拟试衣系统
US11736756B2 (en) Producing realistic body movement using body images
WO2022001593A1 (zh) 视频生成方法、装置、存储介质及计算机设备
KR101894955B1 (ko) 가상 휴먼 인식 및 실시간 증강 합성 기술을 이용한 라이브 소셜 미디어 시스템 및 증강 합성 서버
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
CN111638784B (zh) 人脸表情互动方法、互动装置以及计算机存储介质
CN114363689B (zh) 直播控制方法、装置、存储介质及电子设备
CN106293099A (zh) 手势识别方法及系统
EP3458969A1 (en) Intelligent chatting on digital communication network
CN108595012A (zh) 基于虚拟人的视觉交互方法及系统
CN111625100A (zh) 图画内容的呈现方法、装置、计算机设备及存储介质
CN115454256A (zh) 一种数字誓词碑装置
CN106774938A (zh) 基于体感设备的人机交互集成装置
CN111638798A (zh) 一种ar合影方法、装置、计算机设备及存储介质
Tiwari et al. Sign language recognition through kinect based depth images and neural network
CN105096669A (zh) 利用虚拟技术训练幼儿日常交流能力的方法
Luo et al. Facial metamorphosis using geometrical methods for biometric applications
Zhu et al. Toward real-time human-computer interaction with continuous dynamic hand gestures
CN105468249B (zh) 智能互动系统及其控制方法
Liu et al. Skeleton tracking based on Kinect camera and the application in virtual reality system
CN109426336A (zh) 一种虚拟现实辅助选型设备
CN111640190A (zh) Ar效果的呈现方法、装置、电子设备及存储介质
CN108628454A (zh) 基于虚拟人的视觉交互方法及系统
CN112581572A (zh) 一种动作采集方法、系统、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination