CN106781751A - 多媒体设备和多媒体交互系统 - Google Patents

Abstract

本发明技术方案公开了一种多媒体设备和多媒体交互系统，所述多媒体设备包括：协同输出第一显示信息和第二显示信息的处理芯片；接收所述第一显示信息的第一显示屏；接收所述第二显示信息的第二显示屏；以及，与所述第一显示屏配合的全息投影架，所述第一显示屏正对所述全息投影架。本发明技术方案将全息投影技术应用到多媒体移动端设备，通过″一芯两屏″技术实现了移动多媒体设备的双屏互动，可实现360度裸眼3D显示效果，同时有效避免了传统显示屏所产生的蓝光对于使用者眼睛的直接损害。

Description

多媒体设备和多媒体交互系统

技术领域

本发明属于便携式电子设备技术领域，具体涉及一种具有双屏显示的多媒体设备和配套多媒体交互系统。

背景技术

现有的便携电子设备，以手机、平板电脑为代表的主流产品的显示载体多为液晶屏，缺点为表现力单一。特别是针对儿童的便携式多媒体设备，例如早教机(也称为学习机)，大多为单屏显示输出，并通过同一屏幕实现触摸输入，而且也很少能真正实现裸眼3D显示效果，缺乏很好的互动体验，更重要的是，如果长时间的使用，传统的显示屏如LCD、LED产生的蓝光会对视力造成不利影响。

全息投影是一种无需配戴特殊眼镜即可呈现的裸眼3D技术，观众可以从各个方向看到立体的虚拟人物。全息投影设备不是利用数码技术实现的，而是投影设备将不同角度影像投影至全息膜上，通过光线折射与反射实现了全息立体影像。就现有的全息投影技术而言，此前主要应用于商业产品展示、广告等领域，主要存在体积大、耗电高、使用光照条件苛刻、基本无法互动等缺陷。

AR技术，是在虚拟现实(VR)技术的基础上发展起来的。该技术将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实场景的增强，增加用户对现实世界的感知。其区别于虚拟现实(VR)技术的关键之处在于虚拟现实(VR)技术是创造一个全新的虚拟世界出来，使用者将完全沉浸于一个虚拟的合成世界中，无法看到所处的现实世界。而增强现实技术则是强调虚实结合，让使用者看到真实世界的同时也能看到叠加在真实世界上的虚拟对象。

发明内容

本发明技术方案要解决的技术问题是现有的多媒体设备表现单一、缺乏互动和影响视力。

为解决上述技术问题，本发明技术方案提供一种多媒体设备，包括：

协同输出第一显示信息和第二显示信息的处理芯片；

接收所述第一显示信息的第一显示屏；

接收所述第二显示信息的第二显示屏；以及，

与所述第一显示屏配合的全息投影架，所述第一显示屏正对所述全息投影架。

可选的，所述全息投影架包括：全息投影屏和支撑所述全息投影屏的支撑立架，所述全息投影屏为具有透明镀膜侧表面的四棱锥体，，锥体顶端正对所述第一显示屏的显示面。

可选的，所述多媒体设备还包括与所述处理芯片电性连接的输入装置。

可选的，所述输入装置包括键盘、操控杆、按键和触摸屏中的至少一种或多种。

可选的，所述第二显示屏为触摸显示屏。

可选的，所述多媒体设备还包括与所述处理芯片电性连接的功能模块。

可选的，所述功能模块包括电源模块、音频模块、存储模块和扩展模块中的至少一种。

可选的，所述多媒体设备还包括与所述处理芯片电性连接的无线通信模快。

可选的，所述无线通信模块包括WIFI通信模块、3G/4G通信模块、蓝牙通信模块、近场通信模块和红外通信模块中的至少一种。

为解决上述问题，本发明技术方案还提供一种配套开发的多媒体交互系统，包括至少两个上述的多媒体设备，所述多媒体设备通过所述蓝牙模块或无线通信模块进行交互。

与现有技术相比，本发明技术方案将全息投影技术应用到多媒体设备，通过″一芯两屏″技术实现了多媒体设备的双屏互动，可实现360度裸眼3D显示效果，同时有效避免了传统显示屏所产生的蓝光对于使用者眼睛的直接损害。

附图说明

图1为本发明实施例的多媒体设备的结构示意图；

图2为本发明实施例的多媒体设备的电路结构示意图；

图3为本发明实施例的多媒体设备的单机模式的结构示意图；

图4为本发明实施例的多媒体设备的联机模式的一种结构示意图；

图5为本发明实施例的多媒体设备的联机模式的另一种结构示意图。

具体实施方式

本发明技术方案的多媒体设备包括：协同输出第一显示信息和第二显示信息的处理芯片；接收所述第一显示信息的第一显示屏；接收所述第二显示信息的第二显示屏；以及，与所述第一显示屏配合的全息投影架，所述第一显示屏正对所述全息投影架。

所述多媒体设备通过″一芯两屏″技术实现了双屏互动，下面结合实施例和附图，以应用于智力启蒙机(早教机)为例，对本发明技术方案进行详细说明。智力启蒙机是一种针对儿童的游戏娱乐和早期教育互动体验的多媒体设备。

请参考图1，本实施例的多媒体设备为智力启蒙机A1，包括：第一显示屏1、第二显示屏2、位于第一显示屏1下方的全息投影架4和置于机壳3内的处理芯片。

第一显示屏1的屏幕朝向机壳3和下方的全息投影架4，第二显示屏2设置在第一显示屏1的侧方，例如图1所示的右侧，也可以设置在左侧、前侧或后侧。第二显示屏2可以是固定设置，也可以是翻转式或抽拉式的，当不使用时可以收纳于机壳3内，当使用时可以从机壳3中翻转或抽拉出来。

处理芯片可以称为中央处理单元(CPU，Central Processing Unit)，是智力启蒙机A1的核心。处理芯片用于智力启蒙机的数据计算交换，负责处理、运算内部的所有数据，控制着数据的交换。

全息投影架包括：全息投影屏41和支撑全息投影屏41的支撑立架42，全息投影屏41为具有透明镀膜侧表面的四棱锥体，锥体顶端正对第一显示屏1显示面的中心。

全息投影技术(front-projected holographic display)也称虚拟成像技术，其是利用干涉和衍射原理记录并再现物体真实的三维图像。具体来说，其第一步是利用干涉原理记录物体光波信息，此即拍摄过程：被摄物体在激光辐照下形成漫射式的物光束；另一部分激光作为参考光束射到全息底片上，和物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后，便成为一张全息图，或称全息照片。第二步是利用衍射原理再现物体光波信息，这是成像过程：全息图犹如一个复杂的光栅，在相干激光照射下，一张线性记录的正弦型全息图的衍射光波一般可给出两个象，即原始象(又称初始象)和共轭象。再现的图像立体感强，具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息，故原则上它的每一部分都能再现原物的整个图像，通过多次曝光还可以在同一张底片上记录多个不同的图像，而且能互不干扰地分别显示出来。

全息投影架4的正上方顶置有第一显示屏1，第一显示屏1的屏幕正面朝向全息投影屏41。在显示全息投影时，第一显示屏1的屏幕被等分成四份，每份屏幕分别显示被投影资源的四面影像(包括前、后、左、右)，四面影像同时投射到全息投影架的全息投影屏41上从而在投影架中间形成360度可视的虚像，实现裸眼3D显示效果。第一显示屏1一般只应用于投射影像，其安放位置决定了其不具备触摸输入与其他交互的功能。

在一个应用实例中，可以采用ARM CPU平台来实现双屏显示技术，CPU本身支持多路显示接口，采用两路显示接口外接LCD或LED，软件上通过两个独立的Framebuffer来实现两块屏幕的不同内容显示，一块屏幕的Framebuffer填充3D人物数据模型，一块屏幕的Framebuffer填充Android显示界面内容，作为人机交互的方式。两个屏幕的相互连动通过分时填充不同的显示内容实现。

本实施例中，智力启蒙机A1还可以包括与所述处理芯片电性连接的输入装置，所述输入装置可以包括键盘、操控杆、按键和触摸屏中的至少一种或多种。如图1所示，本实施例中，智力启蒙机A1还包括：键盘51、操控杆52、按键53a、53b和触摸屏。所述触摸屏可以集成于第二显示屏2，也就是，第二显示屏2可以为触摸显示屏，集成有触摸和显示功能。

键盘51可以为抽拉式的全键盘(Keyboard)，包括字母(a-z)键、退格(Backspace)键和回车(Enter)键等。键盘51用于智力启蒙机A1内学习及娱乐的对应功能的输入输出。

操控杆52的基本原理是将塑料杆的运动转换成智力启蒙机能够处理的电子信息。操控杆52的基本设计包括：一个安放在带有弹性橡胶机壳的塑料底座上的操控摇杆(Joystick control)，在底座中操控摇杆正下方位置装有一块电路板，电路板由一些“印刷线路”组成，并且这些线路连接到几个接触触点，然后，从这些触点引出普通电线连接到智力启蒙机的处理芯片。操控杆52用于智力启蒙机内学习及娱乐的上、右上、右、右下、下、左下、左、左上等各个方位操控。

按键53包括由多个功能键组成、设置在机壳3表面的选择按键(Select button)53a和设置在机壳3侧面的电源开关(Power on/off button)53b。选择按键用于智力启蒙机内学习及娱乐的功能输入，电源开关用于智力启蒙机的开启及关闭。

第二显示屏2为触摸显示屏(Touch Screen)，通过轻触显示屏上的图符或文字就能实现对主机操作，这样摆脱了键盘和鼠标操作，使人机交互更为直截了当。第二显示屏2可以采用电容式或电阻式等现有的触摸显示屏。第二显示屏2在本实施例中也可称为辅助屏，用于智力启蒙机内学习娱乐信息的显示及触摸操控。

进一步地，请参考图2所示的智力启蒙机的内部电路结构示意图，智力启蒙机还可以包括与处理芯片30电性连接的无线通信模块。无线通信模块31可以为WIFI通信模块、蓝牙通信模块、红外通信模块、近场通信(NFC)模块、3G/4G通信模块等。本实施例中，无线通信模块包括WIFI通信模块31、蓝牙通信模块32和NFC模块33。

NFC模块33用于IC卡的识别和数据读取。请结合参考图1，NFC模块33的位置对应于机壳3表面的IC感应区57。IC卡是集成电路卡也称之为智能卡、芯片卡等，实际应用中，可以用于智力启蒙机内专属人物或物体(如专属精灵)的识别及数据存取。

智力启蒙机还可以包括与处理芯片30电性连接的功能模块。所述功能模块包括电源模块、音频模块、存储模块和扩展模块中的至少一种，所述扩展模块可以包括存储扩展接口、通用串行总线(USB，Universal Serial Bus)接口等至少一种扩展接口。

本实施例中，智力启蒙机还包括：电源模块34、音频模块35、内存模块36a、存储模块36b、存储扩展接口38和USB接口39。

电源模块34用于智力启蒙机A1的电源管理，智力启蒙机A1采用可充式锂电池作为驱动电源。

音频模块35用于智力启蒙机A1的音频输入和输出控制。音频模块35可以与设置在机壳3上的耳机插槽(Earphone socket)连接，耳机插槽一般可采用标准3.5mm插槽，用于智力启蒙机耳机状态下音频输出。

内存模块36a也称为内存储器(Memory)，用于智力启蒙机中和CPU交互，其作用一般是暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。

存储模块36b用于AR智力启蒙机学习娱乐资料的存储。存储模块36b可以为嵌入式多媒体卡(eMMC，Embedded Multi Media Card)，eMMC为MMC协会所订立的、主要是针对手机或平板电脑等产品的内嵌式存储器标准规格。eMMC的一个明显优势是在封装中集成了一个控制器，它提供标准接口并管理闪存。eMMC是基于闪存的固态硬盘，采用FLASH芯片作为存储介质，固态硬盘最大的优点就是可以移动，而且数据保护不受电源控制，能适应于各种环境使用。

存储扩展接口38用于智力启蒙机的内容扩充。请结合参考图1，存储扩展接口38可以与设置在机壳3侧面的TF卡槽(TF card slot)58连接，TF存储卡是一种基于半导体快闪记忆器的记忆设备，体积小、数据传输速度快、可热插拔等优良的特性被广泛地于便携式装置上使用。

USB接口39用于智力启蒙机与计算机及其他外部设备的连接，包括充电。请结合参考图1，USB接口39与设置在机壳3侧面的USB插槽(USB slot)59连接。通用串行总线是连接计算机系统与外部设备的一种串口总线标准，也是一种输入输出接口的技术规范，被广泛地应用于个人电脑和移动设备等信息通讯产品。

本实施例中，智力启蒙机的运行模式可以分为单机模式和联机模式。

请结合参考图3，智力启蒙机的单机模式的运行过程一般可以包括如下步骤：步骤一，输入装置如键盘、操控杆、按键和第二显示屏(触摸显示屏)向处理芯片发出指令，该指令携带控制信息或者操作信息；步骤二，处理芯片接收到该指令后经过处理，向第一显示屏和/或第二显示屏发出指令，该指令携带显示信息；步骤三，第一显示屏和/或第二显示屏在收到该指令后，分别显示相对应的图像或影像信息，第一显示屏显示的图像或影像信息投射在全息投影屏，会聚形成立体虚像。

举例来说，用户通过实体键盘或触摸屏输入指令(游戏状态为移动、跳跃、攻击、防御等，早教状态为选择、确认、取消、字母、数字等)，输入的指令经运算处理后转换为电脑角色的相应动作、反应、特效等由第一显示屏显示输出，第一显示屏输出的图像经该屏幕正下方的全息投影架会聚形成立体虚像，允许用户从四面观看投射形成的图像从而实现裸眼3D效果。

请结合参考图4，智力启蒙机的联机模式的一种运行过程可以包括如下步骤：步骤一，设备A1与设备A2，通过蓝牙通信模块D1、D2进行连接；步骤二，输入装置C1发送操控指令给设备A1的处理芯片B1；步骤三，处理芯片B1将该指令处理为消息，通过设备A1的蓝牙通信模块D1向设备A2的蓝牙通信模块D2发送消息；步骤四，设备A2的处理芯片B2将该消息转化为指令，并将该条携带显示信息的指令发送至设备A2的显示装置E2(第一显示屏和/或第二显示屏)；步骤五，设备A2的装置设备E2接收到该条指令后，进行相应的显示。类似地，输入装置C2发送指令给设备A2的处理芯片B2，设备A2也可以通过处理芯片B2、蓝牙通信模块D2、蓝牙通信模块D1向设备A1发送消息，设备A1的处理芯片B1将该消息转化为指令，并发送至设备A1的显示装置E1(第一显示屏和/或第二显示屏)。设备A1与设备A2均为智力启蒙机。

举例来说，两台设备(1号机与2号机)通过蓝牙连接实现对战。首先需要1号机与2号机建立蓝牙连接。连接成功后，1号机通过键盘输入指令(联机多为游戏对战，即移动、跳跃、攻击、防御等)，输入的指令经运算处理后转换为1号机角色1的相应动作、反应、特效，并由投影屏输出显示立体投影效果。此时，1号机的辅助屏1同步显示小地图中的角色实时位置，角色血量等一系列辅助信息供用户1监测。

在1号机处理前述指令的同时，部分指令内容通过蓝牙实时传输至2号机。1号机发送的移动类指令会实时更新2号机的地图角色位置信息。此时，2号机的投影屏投射的是本机角色2的待机状态。而1号机的攻击、防御类指令则会结合游戏软件的内置规则给予命中、闪避、防御等的判定，在2号机的投影屏2显示出角色2的相应动作、反应、特效，并在辅助屏2上更新显示对应的数值变化供用户2观测。

上述回合结算完成后，进入下一回合，1号机与2号机的地位对换，由2号机输入移动与攻击指令，1号机同步更新待机与受击等反馈。处理芯片的处理方式、顺序，投影屏与辅助屏显示的信息更新规律均不变。回合交替进行，周而复始直至一方胜出，断开连接。

请结合参考图5，智力启蒙机的联机模式的另一种运行过程可以包括如下步骤：步骤一，设备A1与设备A2，分别通过WIFI通信模块G1、G2或者3G/4G通信模块H1、H2与云端服务器F1连接；以WIFI通信模块G1、G2为例，步骤二，输入装置C1发送操控指令给设备A1的处理芯片B1；步骤三，处理芯片B1将指令处理为消息，通过设备A1的WIFI通信模块G1向云端服务器F1发送该消息；步骤四，输入装置C2发送操控指令给设备A2的处理芯片B2；步骤五，处理芯片B2将指令处理为消息，通过设备A2的WIFI通信模块G2向云端服务器F1发送该消息；步骤六，云端服务器F1在接收到设备A1和设备A2的消息后，对两条消息进行处理，并将处理结果以发送消息的模式，分别发送至设备A1和设备A2步骤七，设备A1收到云端服务器F1的消息后，通过处理芯片B1进行处理，并向显示装置E1发送一条携带显示信息的指令；步骤八，设备A1的显示装置E1接收到该条指令后，进行相应的显示；步骤九，设备A2收到云端服务器F1的消息后，通过处理芯片B2进行处理，并向显示装置E2发送一条携带显示信息的指令；步骤十，设备A2的显示装置E2接收到该条指令后，进行相应的显示。

基于上述智力启蒙机的联机模式，本发明技术方案还公开了一种多媒体交互系统，包括至少两个上述的多媒体设备，所述多媒体设备通过无线通信模块进行交互。

本发明技术方案从硬件的电子部分实现来说，通过全新设计的主板电路与解决方案，可以实现基于安卓系统下由一块芯片驱动两块显示屏，并且两块显示屏可分别显示不同内容，两块显示屏均可实现输入与输出。同时还额外允许连接实体键盘输入指令。现有安卓系统的实例，如手机、平板电脑等电子设备均为单屏输出并且通过同一屏幕实现触摸输入，受限于屏幕与全息投影屏的位置摆放关系，单屏电子设备在输入时无法输出全息投影，输出全息投影时又无法输入互动。而本发明技术方案则是提供一块投影屏专门负责实时输出全息投影影像，同时辅助屏还能显示辅助信息并且可通过触摸等多种方式实现互动体验。

进一步，在实现全息投影效果的基础上，硬件部分提供的触摸屏、操控杆、全键盘等输入装置的设计实现了在全息投影输出的同时，可以给用户提供输入与互动的可能。

本发明技术方案从光学部分实现来说，在双屏显示功能实现同时，通过对两块显示屏的空间布置与功能划分，其中一块显示屏配合定制的全息投影架，可将该显示屏输出的平面图像经全息投影架投射转化为3D视觉效果从而实现裸眼3D效果，另一块显示屏则辅助显示其他信息并配套作为触摸输入端。

本发明技术方案从在软件部分实现来说，针对前述研发的硬件系统，根据其规格参数配套研发全套的底层软件实现双屏异步显示、控制、交互等基础功能(类似底层操作系统)，确保后续开发的游戏、应用等得以在硬件平台上运行，满足第三方开发者后续软件开发的SDK接口需要。

综上所述，本发明技术方案通过″单芯双屏″(一个处理芯片，两个显示屏)技术实现双屏显示和互动，其中，第一显示屏配合专用的全息投影架，在几乎不损失画面表现力的前提下实现360度裸眼3D效果，第二显示屏可显示正常的影像、文字等。双屏组合较现有单屏设备可实现更丰富多样的视觉表现与传达方式。尤其对于低龄受众，可明显延长集中注意力的时长从而大大提高学习效果。

增强现实技术能够将原本在现实世界中一定时间、空间范围内难以体验到的感官信息(如图像、声音、气味、触觉等)，利用图形图像渲染技术、模式识别技术、界面和可视化技术、跟踪和定位技术、标定技术等科技手段，经过模拟、仿真、叠加后，形成虚拟的数字信息，实现对现实场景的增强，增加用户对现实世界的感知。多感官刺激有利于促进儿童个体心理的发展，并可以形成准确的概念。在儿童的阅读、认知等方面，AR技术凭借其生动、直观和交互性，能够从多方面调动使用者的感知，为家庭教育提供了更多互动教育的可能。

本发明技术方案的多媒体设备支持WIFI与蓝牙等多种联接技术，并可附加TF卡、GPS，摄像头，SIM卡，重力感应、运动传感器等功能性模块以实现远程定位、视频监控、手势控制等功能扩展。

全息投影成像以往是通过液晶屏或者投影仪配合光学投影架实现。单个零部件都体积巨大，整套设备占地需要几平米，高度达到两米或更高，一般只能固定安装、接220V市电。而本发明技术方案针对的应用场景定位于移动便携，首先就是将光学投影架缩小到十厘米左右并整体嵌入设备，使用特殊材质的镀膜材料来代替传统的玻璃投影架，缩小了体积并降低了重量。同时，与之配套的各种电器元件也均采用应用于手机、平板电脑等高集成化的芯片与模块，供电也采取锂电池供电方式，可使用USB接口充电或无线充电，确保了产品的移动便携可能。

进一步，现有产品多用于商业场所的产品演示用途，基本不存在与用户间的互动体验。但本发明技术方案可提供实体键盘、触摸屏、重力感应、手势控制等多种输入方式，还可配合专门定制开发的游戏与应用软件完全实现裸眼3D、双屏显示、人机互动。

因此，与现有的全息投影技术相比，本发明技术方案大幅降低功耗，缩小体积，降低重量，移动便携，并且实现了人机互动功能。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种多媒体设备，其特征在于，包括：

协同输出第一显示信息和第二显示信息的处理芯片；

接收所述第一显示信息的第一显示屏；

接收所述第二显示信息的第二显示屏；以及，

与所述第一显示屏配合的全息投影架，所述第一显示屏正对所述全息投影架。

2.如权利要求1所述的多媒体设备，其特征在于，所述全息投影架包括：全息投影屏和支撑所述全息投影屏的支撑立架，所述全息投影架为具有透明镀膜侧表面的四棱锥体，锥体顶端正对所述第一显示屏的显示面。

3.如权利要求1所述的多媒体设备，其特征在于，还包括与所述处理芯片电性连接的输入装置。

4.如权利要求3所述的多媒体设备，其特征在于，所述输入装置包括键盘、操控杆、按键和触摸屏中的至少一种或多种同时输入。

5.如权利要求1所述的多媒体设备，其特征在于，所述第二显示屏为触摸显示屏。

6.如权利要求1所述的多媒体设备，其特征在于，还包括与所述处理芯片电性连接的功能模块。

7.如权利要求6所述的多媒体设备，其特征在于，所述功能模块包括电源模块、音频模块、存储模块和扩展模块中的至少一种。

8.如权利要求1至7任一项所述的多媒体设备，其特征在于，还包括与所述处理芯片电性连接的无线通信模块。

9.如权利要求8所述的多媒体设备，其特征在于，所述无线通信模块包括WIFI通信模块、3G/4G通信模块、蓝牙通信模块、近场通信模块和红外通信模块中的至少一种。

10.一种多媒体交互系统，其特征在于，包括至少两个权利要求8所述的多媒体设备，所述多媒体设备通过所述蓝牙通信或无线通信模块进行交互。