CN114296548B - 一种展览用智能移动识别信息系统 - Google Patents

Abstract

本专利申请涉及信息识别技术领域，公开了一种展览用智能移动识别信息系统，一种展览用智能移动识别信息系统，包括用户端和查询端，用户端与查询端通讯连接，查询端配置有展品信息数据库，展品信息数据内预设有展品信息和对应的展品介绍，展品介绍包括展品概况介绍以及若干展品区域介绍，展品区域介绍与展品的各区域一一对应，用户端包括观展眼镜，观展眼镜配置有展品识别模块，兴趣检测模块，兴趣计算模块，信息读取模块和语音播报模块，其具有能够依据使用者的兴趣程度优先播报相关介绍，使用灵活的特点。

Description

一种展览用智能移动识别信息系统

技术领域

本发明涉及信息识别技术领域，尤其涉及一种展览用智能移动识别信息系统。

背景技术

随着信息技术的不断发展，展厅也朝着现代化、数字化发展，同时来参展的人越来越多，人们对展厅参观的体验需求与日俱增。目前，各类新型的展览形式日渐兴起，无声展览也是其中一种。在无声展览中，用户通过佩戴对应的眼镜与耳机，眼镜帮助识别展览品的信息，耳机用于播报有关该展览品的相关介绍，在保持展厅安静的同时还能够使用户获取到有关展览品的相关资讯，有助于用户了解展览品内容。然而在实际观展过程中，有关各个展品的相关介绍均较为固定，无法根据用户的实际进行调整。

发明内容

本发明意在提供一种展览用智能移动识别信息系统，其具有能够依据使用者的兴趣程度优先播报相关介绍，使用灵活的特点。

为达到上述目的，本发明的基本方案如下：

一种展览用智能移动识别信息系统，包括用户端和查询端，所述用户端与所述查询端通讯连接，所述查询端配置有展品信息数据库，所述展品信息数据库内预设有展品信息和对应的展品介绍，所述展品介绍包括展品概况介绍以及若干展品区域介绍，所述展品预划分为若干展品区域，所述展品区域介绍与展品区域一一对应，所述用户端包括观展眼镜，所述观展眼镜配置有

展品识别模块，所述展品识别模块用于识别展品并生成对应的展品识别信号；

兴趣检测模块，所述兴趣检测模块用于在预设的注视时间内获取各个所述展品区域的注视时长和回视次数，所述注视时间以用户开始注视展品为计时起点，所述注视时长反映各个用户对展品各个区域的累计注视时间，回视次数反映用户视线移看向各个区域的累计次数；

兴趣计算模块，所述兴趣计算模块获取所述注视时长和所述回视次数并计算用户对各个展品区域的兴趣程度，其中所述兴趣程度与所述注视时长和所述回视次数均成正比；

信息读取模块，所述信息读取模块获取所述展品识别信号并以所述展品信息为索引，在所述展品信息数据库内调用对应的展品介绍以定义为当前展品介绍；

语音播报模块，所述语音播报模块获取所述当前展品介绍并按照所述展品概况介绍、所述展品区域介绍的顺序进行播报，其中各个所述展品区域介绍的顺序以所述兴趣程度的降序进行排列；

进一步地，所述兴趣检测模块预设有观展距离，所述观展距离反映用户的眼睛到展品的距离，所述兴趣检测模块包括

高度获取单元，所述高度获取单元用于获取高度信息，所述高度信息反映用户眼睛的实际高度，

图像获取单元，所述图像获取单元用于实时获取所述观展眼镜前方正对的图像并生成图像信息，所述图像信息依据各个展品对应的区域划分为若干个图像信息区域，

眼动追踪单元，所述眼动追踪单元获取所述高度信息、观展距离以及所述图像信息并用于定位用户的目光注视点在所述图像信息上的聚焦位置，

计时单元，所述计时单元用于记录用户的目光注视点聚焦在图像信息区域的时长以获取所述注视时长，

计次单元，所述计次单元用于记录用户的目光注视点聚焦在图像信息区域的时长以获取所述回视次数；

所述观展眼镜包括校正模块，所述校正模块包括

语音提示单元，所述语音提示单元用于发出语音指令以提示开始校正以及校正结束，

校正显示单元，所述校正显示单元用于依次显示若干校正基准点，

校正单元，所述校正单元用于校正所述观展眼镜以使基准位置与图像位置重合，所述基准位置反映用户注视各个所述校正基准点的聚焦位置，所述图像位置反映各个所述校正基准点在所述图像信息中的位置；

所述校正模块还包括核验单元，所述核验单元包括

区域定位子单元，当语音提示单元确认进行校正时，所述图像获取单元获取图像并生成核验图像信息，所述眼动追踪单元在所述核验图像中定位用户的目光注视点的注视区域，所述区域判断子单元用于在所述核验图像信息内定位预判断区域，所述预判断区域反映展品的铭牌显示区域，

区域判断子单元，所述区域判断子单元用于判断所述注视区域在所述铭牌显示区域的实际重合度，若实际重合度小于预设重合度时，所述语音提示单元提示用户重新进行校正，若实际重合度大于或等于预设重合度时，所述语音提示单元提示用户校正结束。

进一步地，所述高度获取单元包括

红外发出子单元，所述红外发出子单元用于发出红外线，

感应条，所述感应条固定连接于所述观展眼镜上并用于反射红外线，红外接收子单元，所述红外接收子单元用于接收所述感应条反射的红外线，

高度感应子单元，所述高度感应子单元用于依据接收到的红外线感应所述感应条的高度以定义为感应高度值，

高度转化子单元，所述高度转化子单元预设有瞳孔间距值，所述瞳孔间距值反映感应条到用户瞳孔的间距大小，所述高度转化子单元依据所述瞳孔间距值以及所述感应高度值以定义为眼睛高度值。

进一步地，所述观展眼镜还设置有兴趣预判断模块，所述兴趣预判断模块包括

虹膜信息获取单元，所述虹膜信息获取单元获取用户的眼球图像并生成虹膜信息，定义用户戴上所述观展眼镜时所述虹膜信息获取单元获取到的初始虹膜信息，定义当所述虹膜信息获取单元获取到所述展品识别信号时，所述虹膜信息获取单元获取到的虹膜信息为当前虹膜信息，

虹膜信息比对单元，所述虹膜信息比对单元预设有虹膜信息比对策略，所述虹膜信息比对策略获取所述当前虹膜信息以及初始虹膜信息以获取用户的兴趣偏好，所述兴趣偏好反映用户对各类风格的展品的偏好，

偏好推荐单元，所述偏好推荐单元调取本次展览中符合所述兴趣偏好的展品并生成展品推荐信号至语音播报模块。

进一步地，所述虹膜信息比对策略包括以下步骤：

S1：在所述虹膜信息中识别若干圆形特征并定位各个圆形特征的中心，定义中心相互重合的两个圆形特征为目标特征，其中位于外圈的目标特征为虹膜特征；

S2：计算虹膜特征的弧长，定义初始虹膜信息中的弧长为初始弧长，当前虹膜信息中的弧长为当前弧长；

S3：比较当前弧长与初始弧长的大小，若所述当前弧长与所述初始弧长的差值超过预设差值时，则认为当前展品满足用户的所述兴趣偏好。

进一步地，所述兴趣预判断模块还包括

定位单元，所述定位单元获取未参观且符合所述兴趣偏好的展品以定义为待推荐展品，所述定位单元获取所述待推荐展品在展厅内的位置并生成位置信号，

路径计算单元，所述路径计算单元获取位置信号并生成若干移动路径，其中所述移动路径经过各个所述待推荐展品，

路径选择单元，所述路径选择单元筛选出移动距离最小的移动路径以定义为推荐路径，所述语音播报模块依据所述推荐路径引导用户。

与现有技术相比本方案的有益效果是：

1、通过设置的兴趣检测模块、兴趣计算模块、兴趣读取模块来获取用户实际对展品各区域的兴趣程度，将用户可能更感兴趣的区域的介绍提前，使用户最先能够听到感兴趣的内容，便于提高用户体验，使用更为灵活，针对不同的用户提供不同的用户播报信息，避免冗长的介绍造成用户的兴趣散失；

2、通过兴趣预判断模块筛选出符合用户偏好的展品，并利用定位单元等规划出用户移动至上述展品的移动路径，便于用户能够快速找到对应展品。

附图说明

图1为本发明的系统架构示意图。

说明书附图中的附图标记包括：

1、查询端；2、用户端；21、观展眼镜；3、展品识别模块；4、兴趣检测模块；5、兴趣计算模块；6、信息读取模块；7、语音播报模块；8、校正模块；9、兴趣预判断模块。

具体实施方式

下面结合说明书附图，并通过具体实施方式对本发明作进一步详细的说明：

实施例：

一种展览用智能移动识别信息系统，如图1所示，包括用户端2和查询端1，用户端2与查询端1通讯连接，查询端1配置有展品信息数据库，展品信息数据库内预设有展品信息和对应的展品介绍，展品介绍包括展品概况介绍以及若干展品区域介绍，所述展品预划分为若干展品区域，所述展品区域介绍与展品区域一一对应。本实施例适用于平面展品，展品区域的划分依据展品上的特征点而定，特征点，具有较多特征点的展品能够划分出较多的展品区域，且各个展品区域的边界设置为直线，便于后续的图像信息中进行定位，并且边界设置于相邻两个特征点之间，尽可能设置于中间位置，能够减少后续的定位误差。

用户端2包括观展眼镜21，观展眼镜21配置有展品识别模块3，兴趣检测模块4，兴趣计算模块5，信息读取模块6和语音播报模块7。展品识别模块3用于识别展品并生成对应的展品识别信号。

兴趣检测模块4用于在预设的注视时间内获取各个展品区域的注视时长和回视次数，注视时间以用户开始注视展品为计时起点，注视时长反映各个用户对展品各个区域的累计注视时间，回视次数反映用户视线移看向各个区域的累计次数。兴趣检测模块4预设有观展距离，观展距离反映用户的眼睛到展品的距离，在展厅设置中设置多个观展基准点，用户需要站立在各个观展基准点上进行观展。兴趣检测模块4包括高度获取单元，图像获取单元，眼动追踪单元，计时单元和计次单元。高度获取单元用于获取高度信息，高度信息反映用户眼睛的实际高度。图像获取单元设置为设置于观展眼镜21上的摄像头，用于实时获取观展眼镜21前方正对的图像并生成图像信息，图像信息依据各个展品对应的区域划分为若干个图像信息区域。

眼动追踪单元获取高度信息、观展距离以及图像信息并用于定位用户的目光注视点在图像信息上的聚焦位置，眼动追踪单元包括设置于观展眼镜21上的两个眼动摄像头，每一眼动摄像头分别用于监测其中一只眼球的眼动状态。计时单元用于记录用户的目光注视点聚焦在图像信息区域的时长以获取注视时长。计次单元用于记录用户的目光注视点聚焦在图像信息区域的时长以获取回视次数。注视时长和回视次数均能够反映用户对各个展品区域的兴趣程度，而这两个参数的反映侧重有所不同。

兴趣计算模块5获取注视时长和回视次数并计算用户对各个展品区域的兴趣程度，其中兴趣程度与注视时长和回视次数均成正比，信息读取模块6获取展品识别信号并以展品信息为索引，在展品信息数据库内调用对应的展品介绍以定义为当前展品介绍；语音播报模块7获取当前展品介绍并按照展品概况介绍、展品区域介绍的顺序进行播报，其中各个展品区域介绍的顺序以兴趣程度的降序进行排列。

观展眼镜21包括校正模块8，校正模块8在进行观展前进行校正，提高后续使用的精准度。校正模块8包括语音提示单元，校正显示单元和校正单元。语音提示单元用于发出语音指令以提示开始校正以及校正结束，校正显示单元用于依次显示若干校正基准点，校正显示单元设置为一块显示屏，使用时用户需要站在指定点进行校正，显示屏上依次显示各个校正基准点，单次显示其中一个校正基准点，语音提示单元提示用户注视校正基准点，校正单元用于校正观展眼镜21以使基准位置与图像位置重合，基准位置反映用户注视各个校正基准点的聚焦位置，图像位置反映各个校正基准点在图像信息中的位置。

校正模块8还包括核验单元，核验单元能够在观展使用过程中判断观展眼镜21是否存在移位等情况，便于提高识别的精确度。核验单元包括区域定位子单元和区域判断子单元，当语音提示单元确认进行校正时，图像获取单元获取图像并生成核验图像信息，眼动追踪单元在核验图像中定位用户的目光注视点的注视区域，区域判断子单元用于在核验图像信息内定位预判断区域，预判断区域反映展品的铭牌显示区域，区域判断子单元用于判断注视区域在铭牌显示区域的实际重合度，若实际重合度小于预设重合度时，语音提示单元提示用户重新进行校正，若实际重合度大于或等于预设重合度时，语音提示单元提示用户校正结束。

高度获取单元包括红外发出子单元，感应条，红外接收子单元，高度感应子单元和高度转化子单元。红外发出子单元用于发出红外线，红外接收子单元用于接收感应条反射的红外线，感应条固定连接于观展眼镜21上并用于反射红外线，高度感应子单元用于依据接收到的红外线获取感应条的高度以定义为感应高度值，高度转化子单元预设有瞳孔间距值，瞳孔间距值反映感应条到用户瞳孔的间距大小，高度转化子单元依据瞳孔间距值以及感应高度值以定义为眼睛高度值。在本实施例中，红外接收子单元和红外发出子单元设置为一体。

观展眼镜21还设置有兴趣预判断模块9，兴趣预判断模块9包括虹膜信息获取单元，虹膜信息比对单元和偏好推荐单元。虹膜信息获取单元获取用户的眼球图像并生成虹膜信息，定义用户戴上观展眼镜21时虹膜信息获取单元获取到的初始虹膜信息，定义当虹膜信息获取单元获取到展品识别信号时，虹膜信息获取单元获取到的虹膜信息为当前虹膜信息。虹膜信息比对单元预设有虹膜信息比对策略，虹膜信息比对策略获取当前虹膜信息以及初始虹膜信息以获取用户的兴趣偏好，兴趣偏好反映用户对各类风格的展品的偏好。偏好推荐单元调取本次展览中符合兴趣偏好的展品并生成展品推荐信号至语音播报模块7。

其中虹膜信息比对策略包括以下步骤：

S1：在虹膜信息中识别若干圆形特征并定位各个圆形特征的中心，定义中心相互重合的两个圆形特征为目标特征，其中位于外圈的目标特征为虹膜特征；

S2：计算虹膜特征的弧长，弧长反映外露于眼睑的虹膜外圆大小，定义初始虹膜信息中的弧长为初始弧长，当前虹膜信息中的弧长为当前弧长；

S3：比较当前弧长与初始弧长的大小，若当前弧长与初始弧长的差值超过预设差值时，则认为当前展品满足用户的兴趣偏好。通过分析眼部的数据来反映用户的兴趣程度。

兴趣预判断模块9还包括定位单元，路径计算单元，路径选择单元。定位单元获取未参观且符合兴趣偏好的展品以定义为待推荐展品，定位单元获取待推荐展品在展厅内的位置并生成位置信号，路径计算单元获取位置信号并生成若干移动路径，其中移动路径经过各个待推荐展品，路径选择单元筛选出移动距离最小的移动路径以定义为推荐路径，语音播报模块7依据推荐路径引导用户。

本实施例的具体实施方式如下：

使用时用户需要先佩戴观展眼镜21，而后在入口处获取用户的高度信息，具体为眼睛高度值。然后对观展眼镜21进行校正，用户需要面向显示屏并站在预设的指定点，语音提示单元发出指令提示用户注视各个校正基准点，完成校正后语音提示单元提示校正完成，而后用户就可以进行观展。在观展的过程中，观看每一展品前，观展眼镜21均会进行核验，用户需要先注视展品的铭牌区域来获取展品的信息，区域定位子单元获取这一时段内用户的注视区域，区域判断单元则判断获取到的核验图像信息中的铭牌显示区域与注视区域的重合度，若重合度大于或等于预设重合度时，则表明无需再次进行校正。而后语音播报模块7播报展品概况介绍，用户在这一过程中可以对展品进行大致的浏览，兴趣检测模块4、兴趣计算模块5工作并计算出用户对各个展品区域的兴趣程度，并获取各个展品区域的展品区域介绍，语音播报模块7依据用户的兴趣程度降序进行播报。与此同时兴趣预判断模块9工作并判断用户的兴趣偏好，兴趣偏好的生成需要一定样本量做支持，因此可以将前1/3的展品作为样本，而后再对用户进行推荐。并按照移动路径距离最小的标准指引用户进行观展。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (5)

1.一种展览用智能移动识别信息系统，其特征在于：包括用户端(2)和查询端(1)，所述用户端(2)与所述查询端(1)通讯连接，所述查询端(1)配置有展品信息数据库，所述展品信息数据库内预设有展品信息和对应的展品介绍，所述展品介绍包括展品概况介绍以及若干展品区域介绍，所述展品预划分为若干展品区域，所述展品区域介绍与展品区域一一对应，所述用户端(2)包括观展眼镜(21)，所述观展眼镜(21)配置有

展品识别模块(3)，所述展品识别模块(3)用于识别展品并生成对应的展品识别信号；

兴趣检测模块(4)，所述兴趣检测模块(4)用于在预设的注视时间内获取各个所述展品区域的注视时长和回视次数，所述注视时间以用户开始注视展品为计时起点，所述注视时长反映各个用户对展品各个区域的累计注视时间，回视次数反映用户视线移看向各个区域的累计次数；

兴趣计算模块(5)，所述兴趣计算模块(5)获取所述注视时长和所述回视次数并计算用户对各个展品区域的兴趣程度，其中所述兴趣程度与所述注视时长和所述回视次数均成正比；

信息读取模块(6)，所述信息读取模块(6)获取所述展品识别信号并以所述展品信息为索引，在所述展品信息数据库内调用对应的展品介绍以定义为当前展品介绍；

语音播报模块(7)，所述语音播报模块(7)获取所述当前展品介绍并按照所述展品概况介绍、所述展品区域介绍的顺序进行播报，其中各个所述展品区域介绍的顺序以所述兴趣程度的降序进行排列；

所述兴趣检测模块(4)预设有观展距离，所述观展距离反映用户的眼睛到展品的距离，所述兴趣检测模块(4)包括

高度获取单元，所述高度获取单元用于获取高度信息，所述高度信息反映用户眼睛的实际高度，

图像获取单元，所述图像获取单元用于实时获取所述观展眼镜(21)前方正对的图像并生成图像信息，所述图像信息依据各个展品对应的区域划分为若干个图像信息区域，

眼动追踪单元，所述眼动追踪单元获取所述高度信息、观展距离以及所述图像信息并用于定位用户的目光注视点在所述图像信息上的聚焦位置，

计时单元，所述计时单元用于记录用户的目光注视点聚焦在图像信息区域的时长以获取所述注视时长，

计次单元，所述计次单元用于记录用户的目光注视点聚焦在图像信息区域的时长以获取所述回视次数；

所述观展眼镜(21)包括校正模块(8)，所述校正模块(8)包括

语音提示单元，所述语音提示单元用于发出语音指令以提示开始校正以及校正结束，

校正显示单元，所述校正显示单元用于依次显示若干校正基准点，

校正单元，所述校正单元用于校正所述观展眼镜(21)以使基准位置与图像位置重合，所述基准位置反映用户注视各个所述校正基准点的聚焦位置，所述图像位置反映各个所述校正基准点在所述图像信息中的位置；

所述校正模块(8)还包括核验单元，所述核验单元包括

区域定位子单元，当语音提示单元确认进行校正时，所述图像获取单元获取图像并生成核验图像信息，所述眼动追踪单元在所述核验图像中定位用户的目光注视点的注视区域，所述区域判断子单元用于在所述核验图像信息内定位预判断区域，所述预判断区域反映展品的铭牌显示区域，

区域判断子单元，所述区域判断子单元用于判断所述注视区域在所述铭牌显示区域的实际重合度，若实际重合度小于预设重合度时，所述语音提示单元提示用户重新进行校正，若实际重合度大于或等于预设重合度时，所述语音提示单元提示用户校正结束。

2.根据权利要求1所述的展览用智能移动识别信息系统，其特征在于：所述高度获取单元包括

红外发出子单元，所述红外发出子单元用于发出红外线，

感应条，所述感应条固定连接于所述观展眼镜(21)上并用于反射红外线，

红外接收子单元，所述红外接收子单元用于接收所述感应条反射的红外线，

高度感应子单元，所述高度感应子单元用于依据接收到的红外线感应所述感应条的高度以定义为感应高度值，

高度转化子单元，所述高度转化子单元预设有瞳孔间距值，所述瞳孔间距值反映感应条到用户瞳孔的间距大小，所述高度转化子单元依据所述瞳孔间距值以及所述感应高度值以定义为眼睛高度值。

3.根据权利要求1所述的展览用智能移动识别信息系统，其特征在于：所述观展眼镜(21)还设置有兴趣预判断模块(9)，所述兴趣预判断模块(9)包括

虹膜信息获取单元，所述虹膜信息获取单元获取用户的眼球图像并生成虹膜信息，定义用户戴上所述观展眼镜(21)时所述虹膜信息获取单元获取到的初始虹膜信息，定义当所述虹膜信息获取单元获取到所述展品识别信号时，所述虹膜信息获取单元获取到的虹膜信息为当前虹膜信息，

虹膜信息比对单元，所述虹膜信息比对单元预设有虹膜信息比对策略，所述虹膜信息比对策略获取所述当前虹膜信息以及初始虹膜信息以获取用户的兴趣偏好，所述兴趣偏好反映用户对各类风格的展品的偏好，

偏好推荐单元，所述偏好推荐单元调取本次展览中符合所述兴趣偏好的展品并生成展品推荐信号至语音播报模块(7)。

4.根据权利要求3所述的展览用智能移动识别信息系统，其特征在于：所述虹膜信息比对策略包括以下步骤：

S1：在所述虹膜信息中识别若干圆形特征并定位各个圆形特征的中心，定义中心相互重合的两个圆形特征为目标特征，其中位于外圈的目标特征为虹膜特征；

S2：计算虹膜特征的弧长，定义初始虹膜信息中的弧长为初始弧长，当前虹膜信息中的弧长为当前弧长；

S3：比较当前弧长与初始弧长的大小，若所述当前弧长与所述初始弧长的差值超过预设差值时，则认为当前展品满足用户的所述兴趣偏好。

5.根据权利要求3所述的展览用智能移动识别信息系统，其特征在于：所述兴趣预判断模块(9)还包括

定位单元，所述定位单元获取未参观且符合所述兴趣偏好的展品以定义为待推荐展品，所述定位单元获取所述待推荐展品在展厅内的位置并生成位置信号，

路径计算单元，所述路径计算单元获取位置信号并生成若干移动路径，其中所述移动路径经过各个所述待推荐展品，

路径选择单元，所述路径选择单元筛选出移动距离最小的移动路径以定义为推荐路径，所述语音播报模块(7)依据所述推荐路径引导用户。

Images