CN103064921B - 一种实现博物馆智能数字导游的方法 - Google Patents

Abstract

一种实现博物馆智能数字导游的方法涉及数字多媒体领域。本发明搭建高清图像数据库和定位用的低分辨率图像数据库；两个数据库均保存在服务器上两个库的图像均采用归一化坐标对齐；高清晰图像采用多分辨率的金字塔形式组织，金字塔的每一层分成图像块存储在服务器上；移动平台的相机拍摄照片，交由服务器；服务器实现定位，并将位置信息反馈给移动平台；移动平台将该位置以及缩小程度作为参数传递给服务器；服务器依据放大缩小程度值找到对应金字塔的层次，将所对应的图像块传输给移动平台；移动平台进行呈现。服务器实现定位采用SIFT特征。本发明采用拍照和基于内容的检索算法实现用户所关注区域的定位；融入高清晰数字图像作为展示内容。<!--1-->

Description

一种实现博物馆智能数字导游的方法

技术领域

本发明涉及一种实现博物馆智能数字导游的新方法。该方法所实现的数字导游能够智能定位参观者所感兴趣的目标或者目标区域，并允许参观者近距离、高清晰、交互式地以数字媒体形式观察馆中的珍藏。涉及领域包括：数字多媒体。

背景技术

数字导游在国内外博物馆中具有广泛应用。博物馆数字导游基于移动设备开发，能够定位观众感兴趣展品，然后为观众提供感兴趣展品的信息。设备内或者能够与设备通信的服务器上通常包含有博物馆全部或部分展品的展示信息。当获知观众感兴趣的展品为何时，即定位感兴趣展品后，在移动设备上呈现多媒体信息。因此，从功能角度，导游包含定位感兴趣目标物和呈现相应多媒体信息两个模块。

目前被博物馆广泛采用的数字导游基本形式为两种（参考：首尔的国立中央博物馆、巴黎的卢浮宫博物馆等），一种是纯语音导游，一种为PDA平台上的多媒体导游。上述导游通过额外的硬件设备如GPS等定位观众位置，或者让观众手工输入感兴趣展品的编号定位该展品。定位之后，语音导游提供给用户关于展品的一段事先录制好的音频介绍。PDA多媒体导游可以提供特定展品的多媒体信息，包括音频、文字、图像等。

众所周知，为了妥善保存，博物馆通常将珍贵的文物隔离在橱窗或者栏杆内展示，普通观众无法近距离欣赏。现有的数字导游主要搭配简单的数字照片给出描述性文字或语音，无法实现让观众近距离交互式欣赏高清晰原作的要求。另一方面，现有的博物馆导游通过硬件设备辅助实现自动的游客位置，或者依靠观众输入展品序号，上述方法均不能准确定位观众的感兴趣区域。而准确定位观众感兴趣区域对于欣赏大型展品，如中国传统画轴，尤为重要。

发明内容

本发明的目的是一种实现智能数字导游的方法。该方法所实现的数字导游功能如下：为用户提供高清晰数字图像，允许用户与内容友好交互，以及智能定位观众感兴趣区域。

一种实现博物馆智能数字导游的方法，其特征在于，以服务器-移动平台模式运行，移动平台采用智能手机或平板电脑，服务器采用PC机或者工作站；

方法实现包括下列步骤:

1)搭建高清图像数据库和定位用的低分辨率图像数据库；两个数据库均保存在服务器上，服务器是相同的或者不同的服务器；两个库的图像均采用归一化坐标以实现同一作品的不同分辨率的图像的对齐；高清晰图像采用多分辨率的金字塔形式组织，金字塔的每一层分成图像块存储在服务器上；

2）在移动平台上设计面向观众的应用程序；程序首先调用移动平台的相机拍摄功能拍摄一幅感兴趣区域的照片，交由服务器；服务器实现定位，并将位置信息反馈给移动平台；

3）移动平台将该位置以及当前屏幕的放大缩小程度作为参数传递给服务器；服务器依据放大缩小程度值找到对应金字塔的层次；放大程度较小，即客户端的画以较全景、大范围呈现，此时服务器将调用金字塔顶端的较低分辨率的图像层，反之亦然；然后，在当前层次找到定位位置附近的能够在移动平台上显示的内容量所对应的图像块传输给移动平台；移动平台对收到的数据进行呈现；

移动平台允许用户对数据交互式浏览，当用户交互导致移动平台显示的数据中心发生改变，移动平台将向服务器发出申请，更新数据。

进一步，所述步骤2）服务器实现定位过程具体如下：

在离线阶段，利用SIFT特征提取算法，针对所有低分辨率图像数据库数据库中的图像抽取得到一系列特征，每个特征包括一个关键点即在低分辨率图像上的位置和SIFT特征向量；低分辨率图像数据库以下简称AR库；然后，用这些关键点和他们的特征向量取代图像存储在低分辨率图像数据库中；

在线阶段，收到移动平台的查询图像后，抽取其SIFT特征，并逐一与数据库中的特征做比对，找到最相似的特征作为他们各自的对应特征，得到移动平台查询图像和AR数据库的一系列特征匹配对，

这些特征匹配对中可能含有噪声，即部分查询图像的特征在AR库中找到的是错误的特征；这些错误的特征位于错误的目标物，或者是位于对的目标物却错误的位置；

过滤第一种情况下的噪声，只需按数量多少做出选择，认为特征数量少的那个目标物为错误的目标物；则去除错误的目标物中的特征以及其在查询图像中的对应特征；

此时余留的特征对为{p_i,q_i}_i=1,…,k，k表示特征对的数目，查询图像和对应目标物图像之间的尺度比为

$s=\frac{{\mathrm{\&Sigma;}}_{i=1}^k|p_i-E_p|}{{\mathrm{\&Sigma;}}_{i=1}^k|q_i-E_q|}$ ，

此处，E_q是查询图像余留特征位置{q_i}_i=1,…,k的几何中心，即横纵坐标分量的算术平均值，E_p为对应特征位置{p_i}_i=1,…,k的中心；对应特征中偏离E_p的被逐个移除；即，如果

|p_i－E_p|＞s|q_i－E_q|+δ，

(p_i,q_i)将被移除；

其中p_i表示在目标物上第i个点的位置，即横纵坐标；

q_i表示在查询图像上第i个点的位置，即横纵坐标；

δ是一个常数，表示可以容忍的范围误差；，其中w_q为查询图像的宽度，s*w_q为在噪声存在情况下，所估计的查询图像占据的AR库中目标物的图像的那一部分的宽度；

在噪声移除后，更新E_p,E_q,和s；用q_c表示查询图像的中心点,即，w_q和h_q分别为查询图像的宽度和高度；那么其对应的在目标物图像上的位置p_c为

p_c=E_p-s(E_q-q_c)，

该位置即查询图像在AR库中的位置；如果没有找到匹配特征或者观众不满意匹配结果，可返回至拍照界面，重新拍照。

与现有实现博物馆导游的方法相比，本发明的创新之处在于：1）首次采用拍照和基于内容的检索算法实现用户所关注区域的定位；2）首次融入高清晰数字图像作为展示内容；3）首次提出交互式浏览高清晰数字图像的展示方法；4）交互界面智能、友好。

附图说明

图1特征对分布情况示意图。

图2本发明方法流程图。

具体实施方式

本发明以中国传统绘画为例，介绍技术方案如下。1）搭建高清图像数据库和定位用的低分辨率图像数据库，并对齐两个数据库。对于高清图像数据库组织成金字塔式多分辨率格式，保存在服务器上；2）在移动平台上设计面向观众的应用程序。程序首先调用智能手机的相机拍摄功能拍摄一幅感兴趣区域的照片，交由服务器做定位；3）服务器将位置信息pos传回应用程序，应用程序以该位置以及当前zoom值（指示在触摸屏上放大、缩小程度的参数）向服务器发出数据请求；服务器将通过pos和zoom值找到用于在客户端显示的图像数据，也就是感兴趣区域(RegionofInterest,简称ROI)数据，并传给应用程序，应用程序将数据呈现在客户端。

1)数据库组织

服务器端保存两个数据库，高分辨率图像数据库（简称HR数据库）内包含用于展示的高清晰图像，低分辨率图像数据库（简称AR数据库）是HR图像数据库的低分辨率版本，用于定位查询图像。对齐HR和AR数据库：同一个展品的图像在两个库中具有相同的编号。同时，对每幅图像采用归一化的坐标系，使得坐标位置与分辨率无关。如此，查询图像在AR数据库中的位置即为其在HR数据库中的位置。高清晰图像被组织成多分辨率的金字塔形式，每一层切成小的图像块存储在服务器上。

2)关注区域定位

在客户端的应用程序中，首先面向观众的是拍照界面。观众拍摄一幅感兴趣区域的照片，客户端将自动提交给服务器做定位。定位过程即比对查询图像与AR数据库中的图像，找到AR库中与查询图像相同的部分。该部分在AR库中的位置即查询图像的位置。

通常，移动设备的相机拍摄到的照片模糊且亮度分布不均匀，如果是对着玻璃橱窗拍摄，则效果更差。另一方面，二维图像匹配涉及到平面内旋转、仿射形变、尺度等问题。为了有效解决匹配问题，本专利采用了对上述问题都较为鲁棒的SIFT特征。在离线阶段，利用SIFT特征提取算法，针对所有AR数据库中的图像抽取得到一系列特征，每个特征由一个关键点（在图像上的位置）和SIFT特征向量。然后，用这些关键点和他们的特征向量取代图像存储在AR数据库中。在线阶段，收到查询图像后，抽取其SIFT特征，并逐一与数据库中的特征做比对，找到最相似的特征作为他们各自的对应特征。

如此，得到查询图像和AR数据库的一系列特征匹配对，如图1所示。这些特征匹配对中可能含有噪声，即部分查询图像的特征（简称查询特征）在AR库中找到的是错误的特征（简称对应特征）。这些错误的对应特征位于（1）错误的目标物（如图1中的三角形表示的特征），或者是（2）对的目标物却错误的位置（如图1中的方形表示的特征）。为了过滤第一种情况下的噪声，只需按数量多少做出选择。如图1中所示，查询图在画1中的对应特征有6个，在画2中的对应特征只有1个，则去除画2中的特征以及其在查询图像中的对应特征。此时余留的特征对为{p_i,q_i}_i=1,…,k，k表示特征对的数目，在图1中k=6。查询图像和对应目标物图像之间的尺度比为

$s=\frac{{\mathrm{\&Sigma;}}_{i=1}^k|p_i-E_p|}{{\mathrm{\&Sigma;}}_{i=1}^k|q_i-E_q|}$ ，

此处，E_q是查询图像余留特征位置{q_i}_i=1,…,k的几何中心（横纵坐标分量的算术平均值），E_p为对应特征位置{p_i}_i=1,…,k的中心。在第二种噪声情况下，对应特征中偏离E_p的被逐个移除。即，如果

|p_i－E_p|＞s|q_i－E_q|+δ，

(p_i,q_i)将被移除。δ是一个常数，表示可以容忍的范围误差。在图1的例子中，可取，其中w_q为查询图像的宽度，s*w_q为在噪声存在情况下，所估计的查询图像占据的画的那一部分的宽度。

在噪声移除后，更新E_p,E_q,和s。用q_c表示查询图像的中心点,即，w_q和h_q分别为查询图像的宽度和高度。那么其对应的在目标物上的位置p_c为

p_c=E_p-s(E_q-q_c)，

该位置即查询图像在AR数据库中的位置。如果没有找到匹配特征或者观众不满意匹配结果，可返回至拍照界面，重新拍照。上述匹配过程是实时的。

3)数字图像展示与交互

在用户拍摄关注区域之后，移动平台通过与服务器的通讯实现定位，并以该位置为中心pos以及当前放大缩小程度zoom为参数，传递给服务器。服务器依据zoom值找到对应金字塔的层次。放大程度较小，即zoom值较小时，客户端的画以较全景大范围呈现，此时服务器将调用金字塔顶端的较低分辨率的图像层，反之亦然。然后，在当前层次找到pos附近的能够在客户端上显示的内容量所对应的图像块传输给客户端。在此之后，用户可以自由在移动平台上进行交互，即放大、缩小和平移操作。交互过程中，关注中心发生改变，移动平台将向服务器发出申请，更新数据。整个过程实时无拖延。

Claims (1)

1.一种实现博物馆智能数字导游的方法，其特征在于，以服务器-移动平台模式运行，移动平台采用智能手机或平板电脑，服务器采用PC机或者工作站；

方法实现包括下列步骤:

1)搭建高清图像数据库和定位用的低分辨率图像数据库；两个数据库均保存在服务器上，服务器是相同的或者不同的服务器；两个库的图像均采用归一化坐标以实现同一作品的不同分辨率的图像的对齐；高清晰图像采用多分辨率的金字塔形式组织，金字塔的每一层分成图像块存储在服务器上；

2)在移动平台上设计面向观众的应用程序；程序首先调用移动平台的相机拍摄功能拍摄一幅感兴趣区域的照片，交由服务器；服务器实现定位，并将位置信息反馈给移动平台；

3)移动平台将该位置以及当前屏幕的放大缩小程度作为参数传递给服务器；服务器依据放大缩小程度值找到对应金字塔的层次；放大程度较小，即客户端的画以较全景、大范围呈现，此时服务器将调用金字塔顶端的较低分辨率的图像层，反之亦然；然后，在当前层次找到定位位置附近的能够在移动平台上显示的内容量所对应的图像块传输给移动平台；移动平台对收到的数据进行呈现；

移动平台允许用户对数据交互式浏览，当用户交互导致移动平台显示的数据中心发生改变，移动平台将向服务器发出申请，更新数据；

所述步骤2)服务器实现定位过程具体如下：

在离线阶段，利用SIFT特征提取算法，针对所有低分辨率图像数据库中的图像抽取得到一系列特征，每个特征包括一个关键点即在低分辨率图像上的位置和SIFT特征向量；低分辨率图像数据库以下简称AR库；然后，用这些关键点和他们的特征向量取代图像存储在低分辨率图像数据库中；

在线阶段，收到移动平台的查询图像后，抽取其SIFT特征，并逐一与数据库中的特征做比对，找到最相似的特征作为他们各自的对应特征，得到移动平台查询图像和AR数据库的一系列特征匹配对，

这些特征匹配对中可能含有噪声，即部分查询图像的特征在AR库中找到的是错误的特征；这些错误的特征位于错误的目标物，或者是位于对的目标物却错误的位置；

过滤第一种情况下的噪声，只需按数量多少做出选择，认为特征数量少的那个目标物为错误的目标物；则去除错误的目标物中的特征以及其在查询图像中的对应特征；

此时余留的特征对为{p_i,q_i}_i＝1,...,k，k表示特征对的数目，查询图像和对应目标物图像之间的尺度比为

此处，E_q是查询图像余留特征位置{q_i}_i＝1,...,k的几何中心，即横纵坐标分量的算术平均值，E_p为对应特征位置{p_i}_i＝1,...,k的中心；对应特征中偏离E_p的被逐个移除；即，如果

|p_i-E_p|>s|q_i-E_q|+δ，

(p_i,q_i)将被移除；

其中p_i表示在目标物上第i个点的位置，即横纵坐标；

q_i表示在查询图像上第i个点的位置，即横纵坐标；

δ是一个常数，表示可以容忍的范围误差；其中w_q为查询图像的宽度，s*w_q为在噪声存在情况下，所估计的查询图像占据的AR库中目标物的图像的那一部分的宽度；

在噪声移除后，更新E_p,E_q,和s；用q_c表示查询图像的中心点,即w_q和h_q分别为查询图像的宽度和高度；那么其对应的在目标物图像上的位置p_c为

p_c＝E_p-s(E_q-q_c)，

该位置即查询图像在AR库中的位置；如果没有找到匹配特征或者观众不满意匹配结果，可返回至拍照界面，重新拍照。