CN104717266A - 一种基于增强现实的互动多媒体传输系统 - Google Patents

Abstract

本发明实施例提出一种基于增强现实的互动多媒体传输系统，包括跨平台多屏互动数据分享设备，以及与之相连的移动设备、互联网、投影设备以及通过所述移动设备获取的现实景象；所述跨平台多屏互动数据分享设备从所述移动设备和/或互联网获取包括所述现实景象在内的数据，并将数据提供到投影设备进行增强现实的分享。本发明实施例提供的基于增强现实的互动多媒体传输系统，能够为将移动设备上的数据通过无线的方式共享到其他播放设备中，尤其可以根据数据作者的要求，从互联网上获取相应的演示数据，以及从移动设备摄像头捕获周围的现实景象，并将其与原有的展示数据进行叠加和现实增强显示，丰富了数据的展现手段，提高了用户体验。

Description

一种基于增强现实的互动多媒体传输系统

技术领域

本发明涉及物联网领域，尤其是一种基于增强现实的互动多媒体传输系统。

背景技术

物联网技术的实践最早可以追溯到1990年施乐公司的网络可乐贩售机，随着互联网技术的发展和各种硬件、应用软件的极大丰富，物联网技术也得到了极大的发展。物联网被视为互联网的应用拓展，物联网的本质概括起来主要体现在三个方面：一是互联网特征，即对需要联网的物一定要能够实现互联互通的互联网络；二是识别与通信特征，即纳入物联网的“物”一定要具备自动识别与物物通信的功能；三是智能化特征，即网络系统应具有自动化、自我反馈与智能控制的特点。

目前，对物联网技术的具体应用化非常多，例如智能家居技术，通过网络把家庭内的各个系统关联管理，统一控制；又例如车联网技术，通过网络把一个区域内的车辆关联起来，实现监控、调度、追踪等等应用。目前提出来很多未来发展方向，大的如智慧地球、智慧城市，小到智慧水务、智慧燃气等等，可以预见，以物联网技术为核心的新一代互联网技术将会极大的改变人们的工作和生活。

物联网技术的要义就是物物相连，信息互通。而在传统的播放设备，例如音响、电视等，都是通过数据线等接收数据进行播放，由于数据线的长度有限，这无疑约束的其在空间位置的摆放，以及与播放设备之间的关联性。

另一方面，随着移动互联网的发展和智能手机的普及，通过移动设备，例如智能手机、平板电脑等来播放音乐和视频变得非常流行和简单，尤其是基于能够接入物联网的局域网连接，可以从网络上下载非常丰富的资源来进行播放，从而让“移动音乐”和“移动视频”大受欢迎，但是受限于移动设备的显示屏幕和播放喇叭的质量，这种体验效果被大大的削弱了。

尤其是，传统的投影仪等的演示均需要电脑和投影仪之间连接数据线，并且由于数据线的松动会影响投影的效果，而随着移动设备的兴盛，利用使用PAD来进行制作和演示，就需要PAD具有传统数据线接口，且无法运用PAD的移动优势。

目前已经有一些技术来解决这些问题，例如采用无线的方式，但是，目前的方案仅仅解决了将移动设备的数据同步显示到投影设备上，对演示的效果并没有太大的增强，例如演讲者的讲稿中某些内容可以从互联网上下载对应的注释，或者对建筑图像利用云端的计算优势，实时生成三维图来叠加在投影面上，实现更加生动的演示效果。更近一步，人们希望将增强现实技术也能纳入到演示效果中，让数据的分享互动更加的有趣。

发明内容

本发明实施例提出一种基于增强现实的互动多媒体传输系统，包括跨平台多屏互动数据分享设备，以及与之相连的移动设备、互联网、投影设备以及通过所述移动设备获取的现实景象；所述跨平台多屏互动数据分享设备从所述移动设备和/或互联网获取包括所述现实景象在内的数据，并将数据提供到投影设备进行增强现实的分享。

更近一步，所述跨平台多屏互动数据分享设备包括WiFi模块，用于连接到移动设备和互联网；检测模块，用于检测所述WiFi模块接到的数据；解码/叠加模块，用于对数据进行解码和叠加显示；多媒体接口模块，用于将所述解码/叠加模块处理后的数据传输到投影设备。

更进一步，所述WiFi模块接收所述移动设备传输的数据。

更进一步，其特征在于，所述检测模块对所述WiFi模块接收数据的数据格式和播放要求。

更进一步，根据所述检测模块的检测结果，所述WiFi模块接收所述互联网传输的数据。

更进一步所述数据格式包括文件格式和叠加格式。

更进一步，所述播放要求包括直接播放和叠加播放。

更进一步，所述叠加格式为将两种数据进行叠加处理后获得的格式。

更进一步，所述叠加播放为将两种数据进行叠加处理后一同播放。

更进一步，所述现实景象作为增强现实数据，对其他数据进行现实增强现实。

本发明实施例提供的基于增强现实的互动多媒体传输系统，能够为将移动设备上的数据通过无线的方式共享到其他播放设备中，尤其可以根据数据作者的要求，从互联网上获取相应的演示数据，以及从移动设备摄像头捕获周围的现实景象，并将其与原有的展示数据进行叠加和现实增强显示，丰富了数据的展现手段，提高了用户体验。

附图说明

图1 展示一种基于增强现实的互动多媒体传输系统构成图；

图2展示另外一种基于增强现实的互动多媒体传输系统构成图；

图3是一种基于增强现实的互动多媒体传输系统使用流程图；

图4是另一种基于增强现实的互动多媒体传输系统使用流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，本发明实例在附图中示出，尽管将结合这些实施例来描述本发明，应该理解其并非要将本发明限制为这些实施例。相反，本发明意欲覆盖可包括在所附权利要求所限定的精神和范围内的替换、修改和等效形式。另外，在对本发明实施例的以下详述中，提出了很多具体细节以使本发明得到彻底理解。然而，本领域普通技术人员将认识到，没有这些具体细节也可实施本发明。在其它实例中，为了不必要地模糊本发明的方面，未详细描述公知的方法、过程、部件和电路。       　　

以下详细描述的一些部分是按照过程、步骤、逻辑块、处理及对可在计算机存储器上执行的数据位的操作的其它符号表示来提出的。这些描述和表示是数据处理领域的技术人员所使用的、为了将其工作的实质最有效地传达给该领域其它技术人员的手段。这里，过程、计算机执行的步骤、逻辑块、进程等通常设想为导致期望结果的步骤或指令的自洽序列。所述步骤是需要对物理量的物理操纵的步骤。通常，尽管不必要，这些量采用能够在计算机系统中存储、传递、组合、比较或另外操纵的电或磁信号的形式。已经证明，主要是为了公共使用的原因，将这些信号称作位、值、元素、符号、字符、项目、数字等有时是方便的。       　　

然而，应牢记的是，所有这些和相似的术语应与适当的物理量相关联并且仅仅是适用于这些量的方便标记。除非特别指明，否则如以下描述中所显而易见的，应理解在整个本发明中，讨论所用的术语，如“关联”或“识别”或“再现”或“需要”或“确定”或“重复”或“执行”或“检测”或“引导”等，指的是电子系统或类似电子计算设备的动作和过程，其将电子设备的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成电子设备存储器或寄存器或者其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。 

本发明所述的基于增强现实的互动多媒体传输系统所关联的移动设备、投影设备、互联网和现实景象等，其中，移动设备可以是日常使用的智能手机，如iphone、安卓等智能手机，也可以是类似ipad等的平板电脑。投影设备，是可用于播放音频数据或图像数据的装置，例如电视、显示屏、投影仪，或其他移动设备等等。

本发明的一个实施例中，基于增强现实的互动多媒体传输系统中，分享数据的移动设备可以是多个。

在另一个实施例中，移动设备共享数据的投影设备可以是多个，例如共享到多个显示屏。

图1说明根据本发明的各种例示性实施例的展示基于增强现实的互动多媒体传输系统构成图。

图1中，跨平台多屏互动数据分享设备100分别和移动设备200、互联网400通过WiFi模块101连接，通过多媒体接口模块103与投影设备300连接，并实现将移动设备200的分享数据分享到投影设备300中。

跨平台多平互动数据分享设备100包括WiFi模块101，可以与移动设备200、互联网400实现连接，移动设备200可以将分享数据通过WiFi局域网络传输到WiFi模块101，互联网400可以通过能够接入的WiFi局域网将数据传输到WiFi模块101。

经过实验验证，使用WiFi进行数据传输，相比现有技术中使用蓝牙进行数据分享传输，例如蓝牙分享器等，具有非常明显的优势。

在理论传输速率方面，蓝牙2.0为1~3Mbps，WiFi可达54Mbps~150Mbps，传输带宽相差了50倍，对于高质量的音频、图像数据，WiFi能够更好的支持传输。经测试，例如蓝牙2.0的实际传输速率大概只有700~800Kbps，而一般的CD音质的数据，都要求1400Kbps左右，也就是，蓝牙2.0无法实现CD音质的音频数据传输播放。而WiFi在局域网中的实际速率可以达到32Mbps，基本可以满足一切音频、图像数据的传输要求，尤其经过测试对比，WiFi可以提供到HIFI级别无损音质的无线数据传输。

在传输距离上，蓝牙2.0的传输速率较短，而且要求可通视，一般要求在无障碍10米之内，而WiFi则不需要通视，即便有墙壁阻挡也可实现数据传输，理论可以达到100米以上，因此可以覆盖整层房子甚至一座三层高的房屋。因此使用WiFi才能实现真正意义上无线数据传输。

可联网性，蓝牙2.0是无法连接到Internet网的，因此也无法从Internet中获取网络资源，也无法获取网络过来的指令数据，因此无法实现远程数据分享的功能。

组网联播性，蓝牙2.0受限制于协议，只能1对1之间进行数据传输，无法实现1对多的组网联播；而WiFi则支持联网组播，且理论上可以设置到最大值255个。

环境支持，目前多数家庭都可以通过无线路由器实现家庭局域网的无线布网，因此，在家庭无线局域网中应用WiFi进行数据通信可以直接利用已有的网络。

协议支持，蓝牙2.0支持的是A2DP协议，是一种有损的传输协议，而WiFi支持包括Airplay、DLNA、Qplay等协议，WiFi采用的是无损的传输协议，目前包括苹果、微软、腾讯等都在推出自己的专用无线协议，并在其推出的移动设备APP播放器中支持该协议的无线音乐播放，技术支持基础好。

检测模块102，用于对所述WiFi模块获取的数据进行检测，检测模块102从WiFi模块101处获取共享数据后，检测模块102对数据的格式要求和播放要求进行检测，格式要求包括：文件格式和叠加格式。例如文件格式为.ppt或.pptx格式为微软公司power point软件的文件格式；叠加格式则根据作者要求，对演示过程中是否有叠加显示要求，如果有，则为叠加格式，无则为非叠加格式。播放要求则分为直接播放和叠加播放，直接播放为将移动设备200传输过来的分享数据直接播放显示，不做任何叠加；而叠加播放则根据作者预设的叠加要求，将叠加数据和原始播放数据进行叠加播放。

解码/叠加模块103，根据检测模块102的检测结果，进行数据解码和叠加。数据解码包括对移动设备200传输过来的数据以及从互联网400获得的数据进行解码显示。叠加则是根据叠加格式和叠加播放的要求，将叠加数据与原始数据进行叠加处理。叠加的应用，例如，原始数据中涉及到当前的一条热门新闻的图片，且作者设置了播放时将该热门新闻的当前点击率，前三位的评论用文本的方式叠加到所述图片中。原始数据中涉及到广州塔的一张介绍图片，且作者设置了生成实时的三维显示图，则利用互联网的云端计算快速生成广州塔的三维图像，并叠加到所述图片中。

多媒体接口模块103，是指目前常用的多媒体接口，例如USB、DVI或HDMI接口等。这些接口的配置根据投影设备300的需求可变，例如目前多数投影设备都具有USB和HDMI，则可以配置为这两种中的一种或全部。

投影设备300，在一个实施例中，投影设备300为一个投影仪，例如索尼公司的投影仪，与跨平台多平互动数据分享设备100通过HDMI接口进行连接，并从跨平台多平互动数据分享设备100获取实时投影的数据。

另一个实施例中，投影设备300为一台电视机，可以采用USB接口进行连接。

图2展示了另外一种基于增强现实的互动多媒体传输系统构成图。

图2中，跨平台多屏互动数据分享设备100分别和移动设备200、互联网400通过WiFi模块101连接，通过多媒体接口模块103与投影设备300连接，并实现将移动设备200的分享数据分享到投影设备300中，并且，系统还包括能被移动设备200捕获的现实图像500。

在这个系统构成中，基于增强现实的互动多媒体传输系统的结构没有发生变化，但是根据移动设备200捕获现实景象500获得的实时图像或视频数据是作为移动设备200发送的分享数据中的一种，可用于增强现实的作用。

跨平台多平互动数据分享设备100包括WiFi模块101，可以与移动设备200、互联网400实现连接，移动设备200可以将分享数据通过WiFi局域网络传输到WiFi模块101，互联网400可以通过能够接入的WiFi局域网将数据传输到WiFi模块101。

经过实验验证，使用WiFi进行数据传输，相比现有技术中使用蓝牙进行数据分享传输，例如蓝牙分享器等，具有非常明显的优势。

在理论传输速率方面，蓝牙2.0为1~3Mbps，WiFi可达54Mbps~150Mbps，传输带宽相差了50倍，对于高质量的音频、图像数据，WiFi能够更好的支持传输。经测试，例如蓝牙2.0的实际传输速率大概只有700~800Kbps，而一般的CD音质的数据，都要求1400Kbps左右，也就是，蓝牙2.0无法实现CD音质的音频数据传输播放。而WiFi在局域网中的实际速率可以达到32Mbps，基本可以满足一切音频、图像数据的传输要求，尤其经过测试对比，WiFi可以提供到HIFI级别无损音质的无线数据传输。

在传输距离上，蓝牙2.0的传输速率较短，而且要求可通视，一般要求在无障碍10米之内，而WiFi则不需要通视，即便有墙壁阻挡也可实现数据传输，理论可以达到100米以上，因此可以覆盖整层房子甚至一座三层高的房屋。因此使用WiFi才能实现真正意义上无线数据传输。

可联网性，蓝牙2.0是无法连接到Internet网的，因此也无法从Internet中获取网络资源，也无法获取网络过来的指令数据，因此无法实现远程数据分享的功能。

组网联播性，蓝牙2.0受限制于协议，只能1对1之间进行数据传输，无法实现1对多的组网联播；而WiFi则支持联网组播，且理论上可以设置到最大值255个。

环境支持，目前多数家庭都可以通过无线路由器实现家庭局域网的无线布网，因此，在家庭无线局域网中应用WiFi进行数据通信可以直接利用已有的网络。

协议支持，蓝牙2.0支持的是A2DP协议，是一种有损的传输协议，而WiFi支持包括Airplay、DLNA、Qplay等协议，WiFi采用的是无损的传输协议，目前包括苹果、微软、腾讯等都在推出自己的专用无线协议，并在其推出的移动设备APP播放器中支持该协议的无线音乐播放，技术支持基础好。

检测模块102，用于对所述WiFi模块获取的数据进行检测，检测模块102从WiFi模块101处获取共享数据后，检测模块102对数据的格式要求和播放要求进行检测，格式要求包括：文件格式和叠加格式。例如文件格式为.ppt或.pptx格式为微软公司power point软件的文件格式；如文件格式为JPG或AVI等图像或视频格式，则进一步判断该数据是否为移动设备200拍摄，判断方法是提取JPG或AVI文件属性，与WiFi连接到的移动设备是否统一，是则判断为增强现实数据，否则判断为一般数据；叠加格式则根据作者要求，对演示过程中是否有叠加显示要求，如果有，则为叠加格式，无则为非叠加格式。播放要求则分为直接播放和叠加播放，直接播放为将移动设备200传输过来的分享数据直接播放显示，不做任何叠加；而叠加播放则根据作者预设的叠加要求，将叠加数据和原始播放数据进行叠加播放。当在文件格式判断中判断数据位增强现实数据，则默认具有叠加格式和叠加播放要求，并在叠加格式和播放要求中标记为增强现实。

解码/叠加模块103，根据检测模块102的检测结果，进行数据解码和叠加。数据解码包括对移动设备200传输过来的数据以及从互联网400获得的数据进行解码显示。叠加则是根据叠加格式和叠加播放的要求，将叠加数据与原始数据进行叠加处理。叠加的应用，例如，原始数据中涉及到当前的一条热门新闻的图片，且作者设置了播放时将该热门新闻的当前点击率，前三位的评论用文本的方式叠加到所述图片中。原始数据中涉及到广州塔的一张介绍图片，且作者设置了生成实时的三维显示图，则利用互联网的云端计算快速生成广州塔的三维图像，并叠加到所述图片中。对于叠加格式和播放要求中标记为增强现实的数据，则运用增强现实技术，将原始数据与增强现实数据进行叠加处理。

多媒体接口模块103，是指目前常用的多媒体接口，例如USB、DVI或HDMI接口等。这些接口的配置根据投影设备300的需求可变，例如目前多数投影设备都具有USB和HDMI，则可以配置为这两种中的一种或全部。

投影设备300，在一个实施例中，投影设备300为一个投影仪，例如索尼公司的投影仪，与跨平台多平互动数据分享设备100通过HDMI接口进行连接，并从跨平台多平互动数据分享设备100获取实时投影的数据。

图3展示了实施例中的一种基于增强现实的互动多媒体传输系统使用流程图。

201，WiFi模块与移动设备和/或互联网建立连接。其中一种实施例中，所述WiFi模块与移动设备能够连接到同一个WLAN局域网络，其该网络能够连接到互联网，则可以实现三者之间的相互连通。

202，移动设备发送数据到WiFi模块，移动终端的用户将需要发布共享的数据指定到某个连接的数据分享设备，则根据软件设置，自动将数据发送到WiFi模块。

203，检测模块检测WiFi模块接收到的数据格式和播放要求，格式要求包括：文件格式和叠加格式。例如文件格式为.ppt或.pptx格式为微软公司power point软件的文件格式；如文件格式为JPG或AVI等图像或视频格式，则进一步判断该数据是否为移动设备200拍摄，判断方法是提取JPG或AVI文件属性，与WiFi连接到的移动设备是否统一，是则判断为增强现实数据，否则判断为一般数据；叠加格式则根据作者要求，对演示过程中是否有叠加显示要求，如果有，则为叠加格式，无则为非叠加格式。播放要求则分为直接播放和叠加播放，直接播放为将移动设备200传输过来的分享数据直接播放显示，不做任何叠加；而叠加播放则根据作者预设的叠加要求，将叠加数据和原始播放数据进行叠加播放。当在文件格式判断中判断数据位增强现实数据，则默认具有叠加格式和叠加播放要求，并在叠加格式和播放要求中标记为增强现实。

204，根据播放要求WiFi模块从互联网上获取相应的数据。

205，根据数据格式要求解码/叠加模块对数据进行解码/叠加。数据解码包括对移动设备200传输过来的数据以及从互联网400获得的数据进行解码显示。叠加则是根据叠加格式和叠加播放的要求，将叠加数据与原始数据进行叠加处理。叠加的应用，例如，原始数据中涉及到当前的一条热门新闻的图片，且作者设置了播放时将该热门新闻的当前点击率，前三位的评论用文本的方式叠加到所述图片中。原始数据中涉及到广州塔的一张介绍图片，且作者设置了生成实时的三维显示图，则利用互联网的云端计算快速生成广州塔的三维图像，并叠加到所述图片中。

206，多媒体接口模块将处理后的数据发送到投影设备进行显示。

图4展示了实施例中的另一种基于增强现实的互动多媒体传输系统使用流程图。

201，WiFi模块与移动设备和/或互联网建立连接。其中一种实施例中，所述WiFi模块与移动设备能够连接到同一个WLAN局域网络，其该网络能够连接到互联网，则可以实现三者之间的相互连通。用户通过移动设备拍摄现实景象，获得实时的现实景象，包括用摄像头拍照和录像等方式获得。

202，移动设备发送数据到WiFi模块，移动终端的用户将需要发布共享的数据指定到某个连接的数据分享设备，则根据软件设置，自动将数据发送到WiFi模块。

203，检测模块检测WiFi模块接收到的数据格式和播放要求，格式要求包括：文件格式和叠加格式。例如文件格式为.ppt或.pptx格式为微软公司power point软件的文件格式；叠加格式则根据作者要求，对演示过程中是否有叠加显示要求，如果有，则为叠加格式，无则为非叠加格式。播放要求则分为直接播放和叠加播放，直接播放为将移动设备200传输过来的分享数据直接播放显示，不做任何叠加；而叠加播放则根据作者预设的叠加要求，将叠加数据和原始播放数据进行叠加播放。

204，根据播放要求WiFi模块从互联网上获取相应的数据。

205，根据数据格式要求解码/叠加模块对数据进行解码/叠加。数据解码包括对移动设备200传输过来的数据以及从互联网400获得的数据进行解码显示。叠加则是根据叠加格式和叠加播放的要求，将叠加数据与原始数据进行叠加处理。叠加的应用，例如，原始数据中涉及到当前的一条热门新闻的图片，且作者设置了播放时将该热门新闻的当前点击率，前三位的评论用文本的方式叠加到所述图片中。原始数据中涉及到广州塔的一张介绍图片，且作者设置了生成实时的三维显示图，则利用互联网的云端计算快速生成广州塔的三维图像，并叠加到所述图片中。对于叠加格式和播放要求中标记为增强现实的数据，则运用增强现实技术，将原始数据与增强现实数据进行叠加处理。

206，多媒体接口模块将处理后的数据发送到投影设备进行显示。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于增强现实的互动多媒体传输系统，其特征在于，包括跨平台多屏互动数据分享设备，以及与之相连的移动设备、互联网、投影设备以及通过所述移动设备获取的现实景象；所述跨平台多屏互动数据分享设备从所述移动设备和/或互联网获取包括所述现实景象在内的数据，并将数据提供到投影设备进行增强现实的分享。

2.如权利要求1所述的基于增强现实的互动多媒体传输系统，其特征在于，所述跨平台多屏互动数据分享设备包括WiFi模块，用于连接到移动设备和互联网；检测模块，用于检测所述WiFi模块接到的数据；解码/叠加模块，用于对数据进行解码和叠加显示；多媒体接口模块，用于将所述解码/叠加模块处理后的数据传输到投影设备。

3.如权利要求2所述的基于增强现实的互动多媒体传输系统，其特征在于，所述WiFi模块接收所述移动设备传输的数据。

4.如权利要求2所述的基于增强现实的互动多媒体传输系统，其特征在于，所述检测模块对所述WiFi模块接收数据的数据格式和播放要求。

5.如权利要求4所述的基于增强现实的互动多媒体传输系统，其特征在于，根据所述检测模块的检测结果，所述WiFi模块接收所述互联网传输的数据。

6.如权利要求4所述的基于增强现实的互动多媒体传输系统，其特征在于，所述数据格式包括文件格式和叠加格式。

7.如权利要求4所述的基于增强现实的互动多媒体传输系统，其特征在于，所述播放要求包括直接播放和叠加播放。

8.如权利要求6所述的基于增强现实的互动多媒体传输系统，其特征在于，所述叠加格式为将两种数据进行叠加处理后获得的格式。

9.如权利要求2所述的基于增强现实的互动多媒体传输系统，其特征在于，所述叠加播放为将两种数据进行叠加处理后一同播放。

10.如权利要求1-9中任意一项所述的基于增强现实的互动多媒体传输系统，其特征在于，所述现实景象作为增强现实数据，对其他数据进行现实增强现实。