CN205666036U - 基于智能视觉的现场自动讲解系统 - Google Patents

Abstract

本实用新型提出了基于智能视觉的现场自动讲解系统，属于人工智能技术领域。本实用新型提出的系统包括摄像头、智能视觉芯片、微处理器、内置资料库、扬声器和显示屏等组成。通过由专用集成电路组成的从“看到”到“知道”的智能视觉系统，自动高效地确定景区景点或者展览馆展品的特征及名称，并进行自动现场语音讲解和图片、视频的显示，可以帮助人们获得更多的乐趣和知识，实现智慧旅游和展览。

Description

基于智能视觉的现场自动讲解系统

技术领域

本实用新型属于人工智能技术领域，具体地说，涉及基于智能视觉(SmartVision)的现场自动讲解系统。

背景技术

以往，对于在风景区、自然保护区、博物馆、纪念馆、名人故居或者展览的讲解，是靠旅游景区或者展览馆的人工讲解员讲解来完成，讲解效果取决于讲解员的素质以及其它多种因素。

随着技术的进步，在一些旅游景区或者展览馆，开始向游客或者参观客租借数字录音设备或自动讲解器完成讲解。但传统的自动讲解器缺乏创新，使用范围受限，一台设备只针对特定景区，内容千篇一律，导游地图显示太小，不能自由缩放，导致看不清讲解点，死板的设计和功能，加上不便宜的租借费，使得传统的自动讲解器经过发展多年，仍没有得到广泛应用，而且有越来越消亡的迹象。

近来随着互联网技术的蓬勃发展，一些景区和展览馆开始采用了二维码扫描解说技术，游客或者参观客可以通过手机扫描二维码获取旅游景区或者展览馆相关的说明。对于二维码扫码解说系统，需要把景点或展览品的解说录音，详细介绍、图片、文化故事、历史人物、视频资料等内容编辑并录入系统资料库，当游客或参观者打开手机上的二维码扫描软件，对感兴趣的景点或展览品标牌上的二维码图像进行扫描，就可以听到解说和浏览详细信息。但是，二维码扫描解说系统存在如下问题：

1)游客或者参观客中，会有很多人不会使用手机，或者手机不具备微信两维码扫描功能；

2)对于旅游团，大家同一时间集中在一个景点近距离扫两维码，以获得解说，会造成拥挤，实际上不现实；

3)在一个旅游景区，会有很多著名的风景名胜；在一个展览馆，会有很多展品需要介绍。这就需要对每一风景名胜，或者每一个展品制作包含视频解说、语音解说、文字解说的手机页面，生成相应的链接，每个链接生成二维码，在每个景点或展品设置一个合理的二维码标牌供游客扫描，这是不可能的；即使可能，也费时费力，效率低下。

除了二维码扫描解说，近几年伴随着手机客户端应用(APP)的快速发展，游客或参观者到了一个景点或展会，下载对应的手机APP，即可免费收听讲解。在特制的地图上，显示出了每一个具有游玩和参观价值的讲解点。到了某地后，会自动开始讲解离你最近的讲解点，讲完后的讲解点变成了绿色，如果你没有听清楚，还可以手动点击回放。地图可自由缩放，人的位置会跟着移动，讲解点的位置也一目了然。但如同传统的自动讲解器，手机APP也存在内容预设，游客或参观者自主选择能力差。

发明内容

针对现有现场语音讲解系统存在的内容千篇一律、制作复杂、用户参与度差和缺乏主动性等问题，本实用新型提出了一种基于智能视觉的现场自动讲解系统，通过智能视觉自动识别景区内景点或者展览馆中展品类别及名称，并通过系统配置的耳机、扬声器或显示屏，对该景区内的景点或者展览馆中的展品自动进行讲解，实现智慧旅游或智慧展览。

本实用新型专利提出了一种基于智能视觉的现场自动讲解系统，包括摄像 头、智能视觉芯片、通讯控制模块、微处理器、存储器、耳机/扬声器、无线网络模块和液晶显示屏，其中：

所述摄像头的输出连接到所述智能视觉芯片；

所述智能视觉芯片与所述通讯控制模块双向连接；

所述通讯控制模块与所述微处理器双向连接；

所述内置资料库与所述微处理器双向连接；

所述无线网络模块与所述微处理器双向连接；

所述微处理器的输出连接到所述耳机扬声器，所述微处理器的输出连接到所述液晶显示屏；

其中所述智能视觉芯片包括视觉蜂窝神经网络模块。

优选地，所述系统内置于便携设备。

优选地，所述基于智能视觉的现场自动讲解系统内置于具有景区或展览馆特色纪念品外形的装置中，或内置于具有激光讲解笔外形的装置中，或内置于眼镜框架上，或内置于旅游帽的帽徽中，或内置于工艺品中。

由上述方案可以看出，本实用新型公开的基于智能视觉的现场自动讲解系统是由图像获取、图像特征提取、图像识别以及无线网络传输等功能组成的小系统，通过深度智能图像识别技术自动识别旅游景点或者博物馆展品等的名称和类别，调出系统资料库中景点或展览品的解说录音、详细介绍、图片、文化故事、历史人物、视频资料等内容，或者通过搜索引擎从互联网上获得此景点或展品的海量信息供用户自主选择，并通过系统配置的耳机、扬声器或显示屏，对该景区内的景点或者展览馆中的展品自动进行语音讲解和显示，降低了语音讲解布置的要求，运用现代信息化技术，最大程度提高了游客或参观者的体验，让用户通过某种便携装置或自己的移动设备便可以便利地享受到咨询、导览、 分享等智慧旅游和展览服务。

附图说明

图1是本实用新型提出的基于智能视觉的现场自动讲解系统框图。

图2是智能视觉芯片原理框图。

具体实施方式

下面将结合附图对本实用新型的具体实施例进行详细描述。

这是一种基于智能视觉专用集成电路芯片，或者芯片组的现场自动讲解系统，如图1所示。本系统组成包括如下模块或组件：

摄像头：用于拍摄风景区、自然保护区、博物馆、纪念馆、名人故居中的标志性景点、物品或者展览中的某个展品，把获得的图像或者视频送给智能视觉芯片。

智能视觉芯片(Smart Vision Integrated Circuit，SVIC)：用于图像特征，识别出摄像头送来的图像或视频中的标志性旅游景区景点、物品或者展览馆展品的特征和名称。智能视觉芯片是本实用新型的核心，其原理框图如图2所示，采用了视觉蜂窝神经网络(Cellular Neural Networks，CNN)，构建现在正火热的深度学习(Deep Learning)架构。CNN由达数百万个的非线性模拟电路(称为细胞Cell)组成，细胞按一定的规则排列，只有最邻近的细胞才直接互相相连，交换信息。CNN细胞的参数是可以通过事先设置，并在后面使用过程中通过程序再次设置。不同的CNN细胞、不同的CNN层可以完成不同的图像处理功能，比如分别完成图像降噪、图像纹理、边缘检测、凸凹角检测、边界提取、孔洞填充、骨架提取、裁剪等，从而实时地得到图像的各种特征，便于后续的图像识别、表示和描述。CNN利用了模拟和数字两个世界的优势，它的连 续时间特性可以实时处理信号。关于智能视觉芯片SVIC更详细的介绍，请参见发明人同日申请的实用新型专利“智能视觉芯片”。

通讯/控制模块：完成智能视觉芯片和外部的命令、数据交换，支持串行数据接口，包括USB、I²C等；并行数据接口，RJ45接口的千兆以太网，以及无线网络接口，包括WiFi和蓝牙。CNN获得的图像特征值可以通过通讯接口，比如并行数据接口、以太网或WiFi无线网络等，传输给微处理器，以便识别出景点或物品。

微处理器MCU：微处理可以和智能视觉芯片SVIC通讯，设置SVIC的初始工作模式，在系统运行期间，它可以读取SVIC的工作状态，并重新设置SVIC中各个CNN细胞的配置参数，获得不同的图像特征。根据所选用微处理器的能力，让微处理器依据SVIC获得的图像特征，参与部分图像识别工作，例如本实施例中采用了ARM Cortex-A50微处理器，它具有强大的运算和控制能力，可以运行某些图像识别算法，从而微处理器和SVIC配合完成不同的图像识别功能。微处理器根据识别出的景点或者展品的特征和名称后，在系统本地内置的资料库中读取相关的景点或展品信息，经适当处理后送给本系统自带的耳机或扬声器进行语音讲解，或者送给液晶显示器进行图片、视频的显示。当在内置资料库中为搜索到相关信息后，微处理器把相关识别结果通过WiFi上传到云端，由云端进行处理后返回结果，再进行播放或显示。或者微处理器通过搜索引擎从互联网上获得此景点或展品的海量信息，供用户自主选择，增加用户的自主权，不在局限于系统预置的固定资料。

内置资料库：用于保存预先制作的景点或展览品的解说录音、详细介绍、图片、文化故事、历史人物、视频资料等内容。内置资料库是存储器件。

耳机或扬声器：用于播发景点或展品的信息。当本系统自动确定旅游景区景点或者展览馆展品的特征和名称后，在本系统自带的旅游景区景点或者展览馆展品的相关讲解资料中进行搜索，并通过本系统自带耳机或扬声器对检索出的相关资料进行自动讲解；若在系统自带的资料库中未查找到相应的说明资料，则可以通过本系统配有无线网络模块接口，将确定出来的旅游景区景点或者展览馆展品的特征和名称上传云端进行大数据搜索，获得相关讲解资料后，由云端回传到本系统，通过本系统自带耳机或扬声器进行自动讲解。

液晶显示屏LCD：所述的智能视觉芯片还连接有液晶显示屏，用以显示智能视觉芯片或系统的工作状态和系统配置等信息，以及展示景点或展品的相关图片或视频资料。

本系统除了集成到手机等移动、便携设备里外，还可以设计成如下外形的装置：

(1)可以采用具体某一景区或者展览馆的特色纪念品的外形，内置本系统；

(2)可以采用类似激光讲解笔形状的外形设计；内置本系统；

(3)可以采用眼镜形式的外形设计，在眼镜框架上内置本系统；

(4)可以设计在旅游帽的帽徽里，内置本系统；

(5)可以在任何工艺品中，内置加装本系统。

本实用新型是通过由专用集成电路组成的从“看到”到“知道”的智能视觉系统，自动高效地确定旅游景区景点或者展览馆展品的特征及名称，并进行自动现场语音讲解，可以帮助旅游客或者参展客获得更多的乐趣和知识，最大程度提高了用户的体验，便利地享受到智慧旅游和智慧展览的服务。

上述具体实施方式以较佳实施例对本实用新型进行了说明，但这只是为了 便于理解而举的一个形象化的实例，不应被视为是对本实用新型范围的限制。同样，根据本实用新型的技术方案及其较佳实施例的描述，可以做出各种可能的等同改变或替换，而所有这些改变或替换都应属于本实用新型权利要求的保护范围。

Claims (3)

1.基于智能视觉的现场自动讲解系统，其特征在于，包括摄像头、智能视觉芯片、通讯控制模块、微处理器、存储器、耳机/扬声器、无线网络模块和液晶显示屏，其中：

所述摄像头的输出连接到所述的智能视觉芯片；

所述智能视觉芯片与所述通讯控制模块双向连接；

所述通讯控制模块与所述微处理器双向连接；

所述存储器与所述微处理器双向连接；

所述无线网络模块与所述微处理器双向连接；

所述微处理器的输出连接到所述耳机扬声器，所述微处理器的输出连接到所述液晶显示屏；

其中所述智能视觉芯片包括视觉蜂窝神经网络模块。

2.根据权利要求1所述的基于智能视觉的现场自动讲解系统，其特征在于，所述的现场自动讲解系统内置于便携设备。

3.根据权利要求1所述的基于智能视觉的现场自动讲解系统，其特征在于，所述现场自动讲解系统内置于具有景区或展览馆特色纪念品外形的装置中，或内置于具有激光讲解笔外形的装置中，或内置于眼镜框架上，或内置于旅游帽的帽徽中，或内置于工艺品中。