CN113190108A - 一种博物馆展陈无感触摸与声音联动方法和系统 - Google Patents

一种博物馆展陈无感触摸与声音联动方法和系统 Download PDF

Info

Publication number
CN113190108A
CN113190108A CN202110328259.9A CN202110328259A CN113190108A CN 113190108 A CN113190108 A CN 113190108A CN 202110328259 A CN202110328259 A CN 202110328259A CN 113190108 A CN113190108 A CN 113190108A
Authority
CN
China
Prior art keywords
real
gesture
browsing
exhibition
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110328259.9A
Other languages
English (en)
Inventor
鲍敏
李垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terminus Technology Group Co Ltd
Original Assignee
Terminus Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Technology Group Co Ltd filed Critical Terminus Technology Group Co Ltd
Priority to CN202110328259.9A priority Critical patent/CN113190108A/zh
Publication of CN113190108A publication Critical patent/CN113190108A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R27/00—Arrangements for measuring resistance, reactance, impedance, or electric characteristics derived therefrom
    • G01R27/02—Measuring real or complex resistance, reactance, impedance, or other two-pole characteristics derived therefrom, e.g. time constant
    • G01R27/26—Measuring inductance or capacitance; Measuring quality factor, e.g. by using the resonance method; Measuring loss factor; Measuring dielectric constants ; Measuring impedance or related variables
    • G01R27/2605—Measuring capacitance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Abstract

本申请实施例提供一种博物馆展陈无感触摸与声音联动方法和系统。该方法包括：在博物馆展陈文物上方设置电容传感器和摄像头，电容传感器感应展陈文物前方预设区域的电容值情况，当电容传感器感应到预设区域内有人体电容值范围的电容值时，启动摄像头，获得监控感知数据；摄像头提取监控感知数据的实时特征流，并将实时特征流发送给云端服务器；建立数字细胞神经网络，接收实时特征流；解析实时特征流，获得至少一个访客的至少一个手势信息，通过数字细胞神经网络对手势信息进行识别和分类；获取预设的手势－浏览意图对应表，根据分类在对应表中查找浏览意图；根据浏览意图执行对应的浏览动作操作，并根据浏览动作操作启动声音播放装置，语音播放对应的展陈文物的细节信息介绍。

Description

一种博物馆展陈无感触摸与声音联动方法和系统
技术领域
本申请涉及博物馆智能展览技术领域，尤其涉及一种博物馆展陈无感触摸与声音联动方法和系统。
背景技术
现今博物馆普遍存在一种现象：历史文物资料记载虽然完备，但人们在游览的时候却无法进行翻阅了解；历史文物放在展柜进行展览的模式，让人与历史文物之间产生一种很强的距离感，这让人们直观了解文物历史存在困难。上述问题一直未得到很好的解决，同时，新兴的科技博物馆却因其互动性强、科技色彩浓厚，吸引了越来越多的人，人们发现在人机互动的情况下，不但可以真正把自己融入进去了解知识，还不会产生传统历史博物馆带来的隔阂感。
目前人们提出的方案，一种是对博物馆文物进行三维成像，给用户展现虚拟场景；一种是将博物馆文物信息进行数字化展示，将文物等形成图文知识展现给用户。
中国发明专利CN110969750A公开了一种基于智能语音的博物馆参观引导系统，通过采用移动互联网、智能语音识别、智能导航等技术与博物馆管理的完美融合，使观赏者通过现场互动、全方位了解文物的虚拟影像、历史背景等；通过服务平台可近距离观察文物的每一处细节，同时对每一件文物的虚拟影像配有相应的音频解说，且支持手势切换多个虚拟场景展示，支持手势自主旋转缩放，显示交互内容就会和用户互动，达到现场互动、寓教于乐效果；通过服务平台的智能导航系统，可进行博物馆内任何文物的位置定位，帮助游客快速、准确的找到文物所在位置，并通过语音、图片介绍可以对文物进行多样式的深度了解。
这些方案要么专注于用户的体验效果，以渲染场景气氛为主旋律，偏离文物主体；要么罗列文物知识，毫无互动感，无法引起人们共鸣。
发明内容
有鉴于此，本申请的目的在于提出一种博物馆展陈无感触摸与声音联动方法和系统，提高博物馆展陈文物介绍的自动化水平，解决目前罗列文物知识，用户无法自主了解文物信息等技术问题。
基于上述目的，本申请提出了一种博物馆展陈无感触摸与声音联动方法，包括：
在博物馆展陈文物上方设置电容传感器和摄像头，所述电容传感器感应所述展陈文物前方预设区域的电容值情况，当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述摄像头，使得所述摄像头实时监控所述展陈文物前方访客情况，获得监控感知数据；
所述摄像头提取所述监控感知数据的实时特征流，并将所述实时特征流发送给云端服务器；
建立数字细胞神经网络，接收所述实时特征流；
解析所述实时特征流，获得至少一个访客的至少一个手势信息，通过所述数字细胞神经网络对所述手势信息进行识别和分类；
获取预设的手势－浏览意图对应表，根据所述分类在所述对应表中查找所述手势信息对应的浏览意图；
根据所述浏览意图执行对应的浏览动作操作，并根据所述浏览动作操作启动声音播放装置，语音播放对应的展陈文物的细节信息介绍。
在一些实施例中，当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述声音播放装置，播放浏览说明，引导所述访客做出手势动作。
在一些实施例中，在提取所述监控感知数据的实时特征流之前还包括：对所述监控感知数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
在一些实施例中，所述提取所述监控感知数据的实时特征流，包括：提取监控感知数据的特征，得到实时特征流；对所述实时特征流进行特征变换。
在一些实施例中，所述特征变换包括以下方式中的至少一种：特征加扰、特征编码、同态加密。
在一些实施例中，所述解析所述实时特征流，获得至少一个访客的至少一个手势信息，通过所述数字细胞神经网络对所述手势信息进行识别和分类，包括：
通过图像识别抓取至少一个访客的至少一个手势图像，根据所述手势图像得到对应的手势信息；
将所述手势信息输入所述数字细胞神经网络的输入端，经过滤波、卷积、池化、激活操作后，经全连接层输出分类结果。
在一些实施例中，所述浏览动作操作包括上一页、下一页、或播放当前页。
基于上述目的，本申请还提出了一种博物馆展陈无感触摸与声音联动系统，包括：
监控模块，用于在博物馆展陈文物上方设置电容传感器和摄像头，所述电容传感器感应所述展陈文物前方预设区域的电容值情况，当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述摄像头，使得所述摄像头实时监控所述展陈文物前方访客情况，获得监控感知数据；
特征提取模块，用于所述摄像头提取所述监控感知数据的实时特征流，并将所述实时特征流发送给云端服务器；
细胞神经网络模块，用于建立数字细胞神经网络，接收所述实时特征流；
手势识别分类模块，用于解析所述实时特征流，获得至少一个访客的至少一个手势信息，通过所述数字细胞神经网络对所述手势信息进行识别和分类；
浏览意图确认模块，用于获取预设的手势－浏览意图对应表，根据所述分类在所述对应表中查找所述手势信息对应的浏览意图；
浏览语音播报模块，用于根据所述浏览意图执行对应的浏览动作操作，并根据所述浏览动作操作启动声音播放装置，语音播放对应的展陈文物的细节信息介绍。
总的来说，本申请的优势及给用户带来的体验在于：
1、同时采用电容传感和视频录制，观众仅通过不接触的手势控制，即可实现博物馆展陈无感触摸与声音联动；
2、采用了最新的特征流提取技术，提高了手势识别的精度和效率；
3、采用了细胞神经网络分类方法，能够更加准确、快速的对手势进行分类，提高手势控制的效率；
4、能够根据手势设计浏览意图，使得用户能够根据自身兴趣点自主的了解文物的年代、制造方式、捐献者、历史事件等各个方面的情况，提高博物馆展陈文物介绍的自动化水平，解决目前罗列文物知识，用户无法自主了解文物信息的难题。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1示出本发明的系统架构原理示意图。
图2示出根据本发明实施例的博物馆展陈无感触摸与声音联动方法的流程图。
图3示出根据本发明实施例的博物馆展陈无感触摸与声音联动系统的构成图。
图4示出了本申请一实施例所提供的一种电子设备的结构示意图；
图5示出了本申请一实施例所提供的一种存储介质的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出本发明的系统架构原理示意图。本发明的实施例中，设备包括普通的文物展览柜(其中放有文物)、电容传感器、摄像头、云端控制器、声音播放装置等。在博物馆展陈文物上方设置电容传感器和摄像头，所述电容传感器感应所述展陈文物前方预设区域的电容值情况，当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述摄像头，使得所述摄像头实时监控所述展陈文物前方访客情况，获得监控感知数据，发送给云端控制器，以控制声音播放装置根据用户的手势指示情况进行相应的语音播报。
图2示出根据本发明实施例的博物馆展陈无感触摸与声音联动方法的流程图。如图2所示，该博物馆展陈无感触摸与声音联动方法包括：
步骤101：在博物馆展陈文物上方设置电容传感器和摄像头，所述电容传感器感应所述展陈文物前方预设区域的电容值情况，当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述摄像头，使得所述摄像头实时监控所述展陈文物前方访客情况，获得监控感知数据。
当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述声音播放装置，播放浏览说明，引导所述访客做出手势动作。例如，当电容传感器感应到文物展柜的上方有根据大量试验获得的人体电容值范围时，即可认定有人手放置于展览柜上面，即有游客想要通过语音播报了解更为详细的文物介绍。
由此，本发明同时采用电容传感和视频录制，观众仅通过不接触的手势控制，即可实现博物馆展陈无感触摸与声音联动。
优选的，例如，本发明对所述监控感知数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
步骤102：所述摄像头提取所述监控感知数据的实时特征流，并将所述实时特征流发送给云端服务器，包括：提取监控感知数据的特征，得到实时特征流；对所述实时特征流进行特征变换。所述特征变换包括以下方式中的至少一种：特征加扰、特征编码、同态加密。
在本申请的优选实施例中，对于监控场景的视频流数据，会根据分辨率的大小，按照帧的要求分解成图像数据。由于视频可以分为空域和时域两个组成部分。空域部分，以单个视频帧的形式存在，携带视频中的场景和目标信息。而时域部分，以视频帧间的运行形势存在，传递观察者(摄像头等视频采集设备)和目标之间的移动。空域部分的输入流即为单独帧的图像数据，而时域部分则采用一些连续视频帧的堆叠光流位移场作为输入流。计算多帧之间光流场(光流位移场)的方法包括光流栈(Optica lFlow Stacking)和轨迹叠加(Trajectory stacking)。
由此，本发明采用了最新的特征流提取技术，提高了手势识别的精度和效率。
步骤103：建立数字细胞神经网络，接收所述实时特征流；采用了细胞神经网络分类方法，能够更加准确、快速的对手势进行分类，提高手势控制的效率。
细胞神经网络或细胞非线性网络(CNN)已经应用于许多不同领域和问题，包括但不限于图像处理。然而，大多数现有技术的CNN方法要么是基于软件解决方案(例如，卷积神经网络、递归神经网络等等)，要么是基于被设计用于其他目的的硬件(例如，图形处理、通用计算等等)。
本申请的数字细胞神经网络，例如可以基于一种人工智能推理计算设备。根据本公开内容的一个方面，人工智能推理计算设备包含印刷电路板(PCB)和安装在其上的若干电子部件。电子部件包括无线通信模块、控制器模块、存储器模块、储存模块以及至少一个基于细胞神经网络(CNN)的集成电路(IC)，该集成电路被配置用于执行深度学习模型中的卷积操作，以从输入数据中提取出特征。每一个基于CNN的IC包括可操作地耦接到至少一个输入/输出数据总线的若干CNN处理引擎。CNN处理引擎利用时钟偏移电路以环路连接。无线通信模块被配置用于传输深度学习模型的预训练的滤波器系数、输入数据和分类结果。
每一个输入流(空域输入流和时域输入流)都使用了一个深度卷积神经网络。原本卷积神络网络在隐含层之后会得到特征图，在全连接层被展开为向量进行后续运算。本申请直接将展开后的一维浮点向量用作输出，作为提取到的特征数据，传输至云端，用做后续的分析计算处理。
步骤104：解析所述实时特征流，获得至少一个访客的至少一个手势信息，通过所述数字细胞神经网络对所述手势信息进行识别和分类。
具体的，本步骤中，通过图像识别抓取至少一个访客的至少一个手势图像，根据所述手势图像得到对应的手势信息；将所述手势信息输入所述数字细胞神经网络的输入端，经过滤波、卷积、池化、激活操作后，经全连接层输出分类结果。
本发明的数字细胞神经网络基于卷积神经网络，使用第一组滤波器或权重利用卷积来处理多层输入图像数据。由于图像数据大于滤波器，处理图像数据的每个对应的重叠子区域。在获得卷积结果之后，可以在第一池化操作之前进行激活。在一个实施方式中，通过在整流线性单元中执行的整流来实现激活。作为第一池化操作的结果，图像数据被减少为一组减少的图像数据。对于2x2池化，该组减少的图像数据集比先前组减少了4倍。
重复先前的卷积到池化过程。然后使用第二组滤波器用卷积处理该组减小的图像数据集。类似地，处理每个重叠的子区域。可以在第二池化操作之前进行另一激活。卷积到池化过程被重复多层并最终连接到全连接网络(FCN)。在图像分类中，可以计算相应的预定义类别的概率。
本发明中，使用已知的数据集或数据库来训练该重复的卷积到池化过程。对于图像分类，数据集包含预定义的类别。在用于分类图像数据之前，可以调谐并获得一组特定的滤波器、激活和池化，例如，滤波器类型的特定组合、滤波器的数量、滤波器的顺序、池化类型和/或何时执行激活。在一个实施方式中，卷积神经网络基于视觉几何群(VGG16)架构神经网络，其包含13个卷积层和三个完全连接的网络层。
步骤105：获取预设的手势－浏览意图对应表，根据所述分类在所述对应表中查找所述手势信息对应的浏览意图。
例如，本申请的具体实施例设计了如下的手势－浏览意图对应表：
手势信息 浏览意图
向左挥手 下一页
向右挥手 上一页
五指做OK状 播放当前页
…… ……
例如，按照人们的通常浏览习惯，向左挥手表明用户想要浏览下一页的文物介绍内容，向右挥手表明用户想要浏览上一页的文物介绍内容，如此，可以使得用户可以灵活、自主的控制语音播报的内容为自己感兴趣的内容。因此能够根据手势设计浏览意图，使得用户能够根据自身兴趣点自主的了解文物的年代、制造方式、捐献者、历史事件等各个方面的情况，提高博物馆展陈文物介绍的自动化水平，解决目前罗列文物知识，用户无法自主了解文物信息的难题。
步骤106：根据所述浏览意图执行对应的浏览动作操作，并根据所述浏览动作操作启动声音播放装置，语音播放对应的展陈文物的细节信息介绍。
申请实施例提供了一种博物馆展陈无感触摸与声音联动系统，该系统用于执行上述实施例所述的博物馆展陈无感触摸与声音联动方法，如图3所示，该系统包括：
监控模块501，用于在博物馆展陈文物上方设置电容传感器和摄像头，所述电容传感器感应所述展陈文物前方预设区域的电容值情况，当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述摄像头，使得所述摄像头实时监控所述展陈文物前方访客情况，获得监控感知数据；
特征提取模块502，用于所述摄像头提取所述监控感知数据的实时特征流，并将所述实时特征流发送给云端服务器；
细胞神经网络模块503，用于建立数字细胞神经网络，接收所述实时特征流；
手势识别分类模块504，用于解析所述实时特征流，获得至少一个访客的至少一个手势信息，通过所述数字细胞神经网络对所述手势信息进行识别和分类；
浏览意图确认模块505，用于获取预设的手势－浏览意图对应表，根据所述分类在所述对应表中查找所述手势信息对应的浏览意图；
浏览语音播报模块506，用于根据所述浏览意图执行对应的浏览动作操作，并根据所述浏览动作操作启动声音播放装置，语音播放对应的展陈文物的细节信息介绍。
本申请的上述实施例提供的博物馆展陈无感触摸与声音联动系统与本申请实施例提供的博物馆展陈无感触摸与声音联动方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的博物馆展陈无感触摸与声音联动方法对应的电子设备，以执行上博物馆展陈无感触摸与声音联动方法。本申请实施例不做限定。
请参考图4，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图4所示，所述电子设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的博物馆展陈无感触摸与声音联动方法。
其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述博物馆展陈无感触摸与声音联动方法可以应用于处理器200中，或者由处理器200实现。
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
本申请实施例提供的电子设备与本申请实施例提供的博物馆展陈无感触摸与声音联动方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
本申请实施方式还提供一种与前述实施方式所提供的博物馆展陈无感触摸与声音联动方法对应的计算机可读存储介质，请参考图5，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的博物馆展陈无感触摸与声音联动方法。
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的博物馆展陈无感触摸与声音联动方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种博物馆展陈无感触摸与声音联动方法，其特征在于，包括：
在博物馆展陈文物上方设置电容传感器和摄像头，所述电容传感器感应所述展陈文物前方预设区域的电容值情况，当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述摄像头，使得所述摄像头实时监控所述展陈文物前方访客情况，获得监控感知数据；
所述摄像头提取所述监控感知数据的实时特征流，并将所述实时特征流发送给云端服务器；
建立数字细胞神经网络，接收所述实时特征流；
解析所述实时特征流，获得至少一个访客的至少一个手势信息，通过所述数字细胞神经网络对所述手势信息进行识别和分类；
获取预设的手势－浏览意图对应表，根据所述分类在所述对应表中查找所述手势信息对应的浏览意图；
根据所述浏览意图执行对应的浏览动作操作，并根据所述浏览动作操作启动声音播放装置，语音播放对应的展陈文物的细节信息介绍。
2.根据权利要求1所述的方法，其特征在于，进一步包括：
当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述声音播放装置，播放浏览说明，引导所述访客做出手势动作。
3.根据权利要求1所述的方法，其特征在于，
在提取所述监控感知数据的实时特征流之前还包括：对所述监控感知数据中的图像进行目标定位，截取检测到的目标并分别提取特征，得到目标特征；对比所述目标特征与例外特征的差异度；若差异度小于阈值，则将此图像的帧剔除，不进行后续步骤；若差异度大于阈值，进行后续步骤。
4.根据权利要求1所述的方法，其特征在于，
所述提取所述监控感知数据的实时特征流，包括：提取监控感知数据的特征，得到实时特征流；对所述实时特征流进行特征变换。
5.如权利要求4所述的一种保护隐私的监控系统，其特征在于，所述特征变换包括以下方式中的至少一种：特征加扰、特征编码、同态加密。
6.根据权利要求1所述的方法，其特征在于，
所述解析所述实时特征流，获得至少一个访客的至少一个手势信息，通过所述数字细胞神经网络对所述手势信息进行识别和分类，包括：
通过图像识别抓取至少一个访客的至少一个手势图像，根据所述手势图像得到对应的手势信息；
将所述手势信息输入所述数字细胞神经网络的输入端，经过滤波、卷积、池化、激活操作后，经全连接层输出分类结果。
7.根据权利要求1所述的方法，其特征在于，
所述浏览动作操作包括上一页、下一页、或播放当前页。
8.一种博物馆展陈无感触摸与声音联动系统，其特征在于，包括：
监控模块，用于在博物馆展陈文物上方设置电容传感器和摄像头，所述电容传感器感应所述展陈文物前方预设区域的电容值情况，当电容传感器感应到所述预设区域内有人体电容值范围的电容值时，启动所述摄像头，使得所述摄像头实时监控所述展陈文物前方访客情况，获得监控感知数据；
特征提取模块，用于所述摄像头提取所述监控感知数据的实时特征流，并将所述实时特征流发送给云端服务器；
细胞神经网络模块，用于建立数字细胞神经网络，接收所述实时特征流；
手势识别分类模块，用于解析所述实时特征流，获得至少一个访客的至少一个手势信息，通过所述数字细胞神经网络对所述手势信息进行识别和分类；
浏览意图确认模块，用于获取预设的手势－浏览意图对应表，根据所述分类在所述对应表中查找所述手势信息对应的浏览意图；
浏览语音播报模块，用于根据所述浏览意图执行对应的浏览动作操作，并根据所述浏览动作操作启动声音播放装置，语音播放对应的展陈文物的细节信息介绍。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1－7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1－7中任一项所述的方法。
CN202110328259.9A 2021-03-26 2021-03-26 一种博物馆展陈无感触摸与声音联动方法和系统 Pending CN113190108A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110328259.9A CN113190108A (zh) 2021-03-26 2021-03-26 一种博物馆展陈无感触摸与声音联动方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110328259.9A CN113190108A (zh) 2021-03-26 2021-03-26 一种博物馆展陈无感触摸与声音联动方法和系统

Publications (1)

Publication Number Publication Date
CN113190108A true CN113190108A (zh) 2021-07-30

Family

ID=76973896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110328259.9A Pending CN113190108A (zh) 2021-03-26 2021-03-26 一种博物馆展陈无感触摸与声音联动方法和系统

Country Status (1)

Country Link
CN (1) CN113190108A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113998555A (zh) * 2021-09-18 2022-02-01 特斯联科技集团有限公司 一种无感电梯按钮与移动电话互动的方法和系统
CN114020192A (zh) * 2021-09-18 2022-02-08 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和系统
CN114913652A (zh) * 2022-04-25 2022-08-16 中关村科学城城市大脑股份有限公司 一种监控设备及监控系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999026A (zh) * 2011-12-14 2014-08-20 密克罗奇普技术公司 基于电容性接近度的手势输入系统
CN105117112A (zh) * 2015-09-25 2015-12-02 王占奎 空中交互式智能全息显示系统
CN205050534U (zh) * 2015-10-09 2016-02-24 朱小胜 三维全息虚拟讲解员展示系统
CN106448304A (zh) * 2016-12-23 2017-02-22 广州市锐星信息科技有限公司 一种互动教学系统
CN106773815A (zh) * 2016-11-30 2017-05-31 广州微至科技有限公司 数字智能控制方法、装置和中控系统
CN106886284A (zh) * 2017-01-20 2017-06-23 西安电子科技大学 一种基于Kinect的博物馆文物交互系统
CN108536302A (zh) * 2018-04-17 2018-09-14 中国矿业大学 一种基于人体手势和语音的教学方法及系统
CN108735128A (zh) * 2018-04-19 2018-11-02 浙江大学 基于手势控制的博物馆自助讲解系统
CN109165555A (zh) * 2018-07-24 2019-01-08 广东数相智能科技有限公司 基于图像识别的人机猜拳方法、装置与存储介质
CN109740670A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 视频分类的方法及装置
CN110087099A (zh) * 2019-03-11 2019-08-02 北京大学 一种保护隐私的监控方法和系统
CN210181247U (zh) * 2019-03-25 2020-03-24 武汉大学 一种基于电容传感器的物品寻回系统
CN112379777A (zh) * 2020-11-23 2021-02-19 南京科盈信息科技有限公司 一种基于目标追踪的数字化展厅手势识别系统
CN112379776A (zh) * 2020-11-23 2021-02-19 南京科盈信息科技有限公司 一种提高展厅手势识别系统识别准确度的控制方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103999026A (zh) * 2011-12-14 2014-08-20 密克罗奇普技术公司 基于电容性接近度的手势输入系统
CN105117112A (zh) * 2015-09-25 2015-12-02 王占奎 空中交互式智能全息显示系统
CN205050534U (zh) * 2015-10-09 2016-02-24 朱小胜 三维全息虚拟讲解员展示系统
CN106773815A (zh) * 2016-11-30 2017-05-31 广州微至科技有限公司 数字智能控制方法、装置和中控系统
CN106448304A (zh) * 2016-12-23 2017-02-22 广州市锐星信息科技有限公司 一种互动教学系统
CN106886284A (zh) * 2017-01-20 2017-06-23 西安电子科技大学 一种基于Kinect的博物馆文物交互系统
CN108536302A (zh) * 2018-04-17 2018-09-14 中国矿业大学 一种基于人体手势和语音的教学方法及系统
CN108735128A (zh) * 2018-04-19 2018-11-02 浙江大学 基于手势控制的博物馆自助讲解系统
CN109165555A (zh) * 2018-07-24 2019-01-08 广东数相智能科技有限公司 基于图像识别的人机猜拳方法、装置与存储介质
CN109740670A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 视频分类的方法及装置
CN110087099A (zh) * 2019-03-11 2019-08-02 北京大学 一种保护隐私的监控方法和系统
CN210181247U (zh) * 2019-03-25 2020-03-24 武汉大学 一种基于电容传感器的物品寻回系统
CN112379777A (zh) * 2020-11-23 2021-02-19 南京科盈信息科技有限公司 一种基于目标追踪的数字化展厅手势识别系统
CN112379776A (zh) * 2020-11-23 2021-02-19 南京科盈信息科技有限公司 一种提高展厅手势识别系统识别准确度的控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113998555A (zh) * 2021-09-18 2022-02-01 特斯联科技集团有限公司 一种无感电梯按钮与移动电话互动的方法和系统
CN114020192A (zh) * 2021-09-18 2022-02-08 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和系统
CN114020192B (zh) * 2021-09-18 2024-04-02 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和系统
CN114913652A (zh) * 2022-04-25 2022-08-16 中关村科学城城市大脑股份有限公司 一种监控设备及监控系统

Similar Documents

Publication Publication Date Title
US11232292B2 (en) Activity recognition systems and methods
CN113190108A (zh) 一种博物馆展陈无感触摸与声音联动方法和系统
CN109918987B (zh) 一种视频字幕关键词识别方法及装置
CN107844794B (zh) 图像识别方法和装置
CN108256404B (zh) 行人检测方法和装置
JP6961363B2 (ja) 情報処理システム、情報処理方法及びプログラム
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
CN106663196A (zh) 视频中的计算机显著人物识别
CN106020448B (zh) 基于智能终端的人机交互方法和系统
CN106845352B (zh) 行人检测方法和装置
CN111047621B (zh) 一种目标对象追踪方法、系统、设备及可读介质
CN108596098B (zh) 人体部件的解析方法、系统、设备和存储介质
Simon et al. Visual event recognition using decision trees
CN106326853A (zh) 一种人脸跟踪方法及装置
Tliba et al. Satsal: A multi-level self-attention based architecture for visual saliency prediction
CN111104930A (zh) 视频处理方法、装置、电子设备及存储介质
CN115600157A (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN114372172A (zh) 生成视频封面图像的方法、装置、计算机设备及存储介质
CN108875501B (zh) 人体属性识别方法、装置、系统及存储介质
CN102073668A (zh) 从数字视频文件搜索和提取数字图像
Deotale et al. Optimized hybrid RNN model for human activity recognition in untrimmed video
Kasprzak et al. Light-Weight Classification of Human Actions in Video with Skeleton-Based Features
Yadav et al. Human Illegal Activity Recognition Based on Deep Learning Techniques
Benndorf et al. Automated annotation of sensor data for activity recognition using deep learning
Hsieh et al. Recognizing human actions by fusing spatial-temporal hog and key point histogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination