CN107193904A - 一种图书vr和ar体验交互系统 - Google Patents

Abstract

本发明公开了一种图书VR和AR体验交互系统。包括存储有各本图书、各张图书图片、内容输入模型、图书数据以及VR和AR资源数据等的内容数据库，包括识别出图书图片的基本信息和特征属性的图像识别模块，对图书图片进行图像识别，包括根据图书图片所对应的特征属性将图书图片进行处理为图书数据存储的动态存储模块，包括分析出相同特征属性的共同类目组成通用内容输入模型的大数据分析模块，包括提取相同的图书数据和内容输入模型的内容数据进行展示。本发明以VR、AR等不同的方式展现图书，展现方式更加多元化、用户体验效果更好，将纸质介质数字化，增强了阅读过程中的交互性及趣味性，并且实现了图书类数据的通用化和标准化。

Description

一种图书VR和AR体验交互系统

技术领域

本发明涉及了一种交互系统，涉及了一种图书VR和AR体验交互系统。

背景技术

传统上的出版业，是基于2D形态，并且是以纸质或者是电子图片形式呈现出来的。从21世纪开始，虚拟现实技术对于传统的出版业展现方式有了很大的改进，目前已经有传统出版商在利用AR打造全新的出版物，但存在不少问题。

虚拟现实(Virtual Reality，简称VR)技术是21世纪计算机领域最重要、最新奇的研究方向之一。它与互联网技术、多媒体技术融合后成为改变人们生活方式、推动社会进步的关键技术。虚拟现实的实现，首先是在计算机环境下创建能够对人的视觉、听觉、触觉、嗅觉等器官产生感知作用的虚拟环境，之后体验者能够通过人的基本行为与计算机创建的虚拟世界进行互动。先进的传感设备和现实设备，能够增强人与虚拟环境的交互感，提高体验者的真实感，从而启发人的认知能力，唤起人对真实时空环境的构想。如果说李普曼提到的拟态环境及环境化理论主要针对的是人在长期社会化过程中与媒介的互动，那么虚拟现实技术则大大降低了人与媒介互动的时空限制，使得拟态环境环境化的过程达到立竿见影的效果。在实际应用中，根据“沉浸感”和“交互感”程度的不同，分为VR(虚拟现实)和AR(增强现实)。

但是现有的AR出版物存在以下问题：

(1)各行业需求不同，展示内容也不同，而目前软件系统仅仅是根据各行业线的实际情况进行特征化开发，这就造成了不同行业线开发的图书软件各不同，无法实现图书类软件的通用化和标准化；

(2)市面上的图书类软件系统大多没有智能化开发，不能进行软件的自学习；

(3)2D平面显示：就像看到一堵墙一样，没有立体感；

(4)3D立体显示：可以看到立体的图像，但是不能感知到有多少物体。

现有的电子图书以及纸质图书存在以下问题：

(1)展现形式单一，没有一种是既实现VR的同时、又结合AR元素的设计模式；

(2)由于没有图书类软件开发的行业标准，现有各行业的图书系统均采用符合特定行业的针对性开发，不能通用到各行业线；

(3)缺乏趣味性和互动性；

(4)内容形式不够丰富，信息传达量有限；

(5)一般软件没有实现智能化，所有功能点或者导读小精灵都是预先设定好的场景或问题进行回答。

发明内容

为解决背景技术中存在的问题，本发明所提供一种图书VR和AR体验交互系统，能够实现图书图片的采集输入、识别、存储、提取和展示。

本发明采用的技术方案是：

本发明涉及是新的图书交互体系，完全脱离各行业线图书的业务属性。本发明考虑到不同行业线需求不同，形成可扩充和动态定义的数据结构。在底层没有任何业务层面上的数据，核心功能在于以下涉及的几个模块。

包括内容数据库，内容数据库内存储有各本图书、每本图书的各张图书图片、每张图书图片的内容输入模型及其内容数据、每张图书图片的图书数据以及VR和AR资源数据、通用内容输入模型；

包括图像识别模块，对通过多种途径采集获得的图书图片进行图像识别，识别出图书图片的特征属性并发送给动态存储模块，或者识别出图书图片的图片基本信息和特征属性发送给动态展示模块；

包括动态存储模块，根据图书图片所对应的特征属性将图书图片进行处理为图书数据存储到内容数据库中；

包括大数据分析模块，从内容数据库获取所有图书图片的内容输入模型，分析出相同特征属性的图书图片的内容输入模型中的共同类目，并组成通用内容输入模型存储到内容数据库中，用于为相同特征属性的图书图片进行动态编辑；

包括动态展示模块，根据图片基本信息从内容数据库提取相同的图书数据和内容输入模型的内容数据进行展示，并根据图书数据的特征属性搜索到VR和AR资源数据进行展示。

所述的通过多种途径采集获得的图书图片具体可以是包括从纸质实体图书中拍照或者扫描采集到的图书图片，从网页、APP应用或者视频中截图获得的图书图片以及直接下载获得的电子图书图片，但不限于此。

所述图书数据包括图片本身、图片的静态资源文件指纹MD5、像素灰度值以及特征值。

多张图片对应的图书数据可以组合形成一本图书的数据。

所述的动态展示模块所展示的VR和AR资源数据是包括与图书图片具有同一内容属性的VR和AR视频或者全景图片、三维虚拟模型。

VR和AR资源数据是预先通过采集或者构建得到的。

所述的特征属性包括行业属性和内容属性：由于不同行业具有不同的行业属性，针对不同行业对应的图书数据在通过动态存储模块存储到内容数据库中具有不同的特征值；针对同一行业属性，细分为内容属性，同一行业属性但不同内容属性的图书数据在通过动态存储模块存储到内容数据库中具有不同的特征值。

所述的内容输入模型与图书图片的内容属性所对应，内容输入模型主要由具有用于输入图书所表达内容的多个类目构成。

所述的动态展示模块根据图书数据对应的行业属性及其自身内容中涉及的内容属性从互联网或者内容数据库中找到属于同一行业属性且同一内容属性的资源数据和模型数据进行展示。即展示时展示与所选择图片数据具有相同行业属性的其他图片数据和VR和AR资源数据以及三维模型数据。

所述的动态展示模块提取图书数据进行动态展示后，在图片的内容所在区域生成供用户选择点击的热点，热点链接到图书数据以及VR和AR资源数据。用户点击可点击热点跳转至VR/AR模式，可以更加形象生动地展示内容。

所述的动态展示模块的展示形式有AR电子书、VR电子书、AR+VR电子书等。每个资源都是对纸质书内容的丰富和完善，使得单张纸质或者电子书籍可以展现更多的信息，并且具有立体感和生动形象的特性，使用户可以连贯的进行阅读。

所述动态展示模块根据图片基本信息从内容数据库提取相同的图书数据是按照以下方式处理：

如果所识别的图书图片是通过拍照或者扫描采集到的，将所识别的图书图片转化为灰度图片，并将每个像素的灰度值与内容数据库中图片对应像素的灰度值进行比较获得，若像素值的灰度值偏差在灰度阈值范围的总像素数量占至少90％以上则认为两者图片相同。

如果所识别的图书图片是电子图片的，那么根据静态资源文件指纹MD5进行比对，若内容数据库中的图片和所识别的图片的静态资源文件指纹MD5相同则认为两者图片相同。

本发明系统还包括有反馈模块，反馈模块包含提供用户进行提问的输入模块、将用户提问内容进行分析从问答数据库中寻找提问答案的解答模块、提供用户对提问答案提出反馈的回复模块以及根据用户反馈进行分析对问答数据库优化的优化模块。反馈模块进行用户进行提问的输入过程、问题分析过程、解答过程和满意度评价过程。

反馈模块将用户提出的问题提取关键字后，从数据库中进行语义算法搜索寻找多条合适的反馈信息，并按照符合关键字数量和反馈满意度评价排序后反馈用户。

所述的问答数据库是由问题关键词预先构建得到语义数据模型，是已知模型。

本发明的有益效果是：

本发明不但能够有效地丰富内容展示，把内容由静变为动，不再是没有立体感的图像，而且使内容更具展现力，大大吸引用户继续阅读的欲望，具有趣味性和互动性。

本发明结合不同的内容需求，以VR、AR等不同的方式展现，展现方式更加多元化、用户体验效果更好。

本发明将纸质介质数字化，更便于存储和传播，并且增强了阅读过程中的交互性及趣味性。

本发明整合了各个行业线的实际情况进行融合设计，没有和具体行业线业务挂钩，实现了图书类数据的通用化和标准化，能通用到各行业线，最终实现制定所有行业线各类别图书的行业标准。

并且能够通过反馈模块的自学习进行优化和智能化，增强系统简便性和回复的准确性。

附图说明

图1是本发明的动态展示模块基本展示框架图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

本发明的具体实施过程是：

一、图书图片和VR和AR资源数据的编辑、制作与存储

(1)采用大数据分析模块进行图书图片的编辑

内容数据库中已存储有所有图书图片的内容输入模型及其类目，

大数据分析模块获取这些信息分析出相同特征属性的图书图片的内容输入模型中的共同类目，并组成通用内容输入模型存储到内容数据库中，用于为相同特征属性的图书图片进行动态存储；

例如教育行业线的图书图片的内容属性是数学，所组成构建的通用内容输入模型包含有公式定律名称、公式定律的表达式和来源等。

例如旅游行业线的图书图片的内容属性是某一景点，所组成构建的通用内容输入模型包含有该景点名称、景点的等级和介绍等。

内容数据库中可以对内容输入模型的每个类目进行编辑和修改。

(2)采用图像识别模块和动态存储模块进行图书图片的存储

(2.1)通过拍照或者扫描采集的，确定图像边界(确定边界可以通过添加外框或者判断图形最外圈四条线色差过大或白框)后，再拉伸或缩小至1024*1024分辨率，再采用以下分别处理：

A、转化为灰度图片，记录每个像素的灰度值；

B、同时将灰度图片根据图像识别模块识别出图片中的内容及其内容区域，获得内容特征值。

(2.2)直接获得原始文件的电子图片的，采用以下分别处理：

A、记录原始文件的电子图片文件指纹MD5；

B、同时将原始文件的电子图片根据图像识别模块识别出图片中的内容及其内容区域，获得内容特征值。

将图片的静态资源文件指纹MD5或者像素灰度值以及特征值和图片本身一起通过动态存储模块存储到内容数据库中。

对于特征值，针对不同行业具有不同的特征值，不同内容属性具有不同的特征值。具体实施中，一张图片可能具有多个内容区域，包含多种特征值。

比如旅游业图书，旅游业图书数据的特征值可以是山脉的海拔、经纬度坐标以及环境气候、温度等。旅游业图书细分为山脉、河流、湖泊、古城等。如果旅游业的图书中具有山脉，那么该图书数据的特征值就可以是该山脉对应的海拔、经纬度坐标。

比如教育业图书，教育业图书数据的特征值可以是定律名称、数据公式以及适用场景。比如教育业图书细分为科学、人文、艺术等，科学内容属性对应的特征值就可以是该公式对应的原理定律。

(3)针对VR和AR资源数据

(3.1)VR资源数据制作

使用三脚架固定相机，相机在同一个位置依次旋转三次取景，每次旋转120度，最后镜头垂直对准地面取景一次，然后使用合成软件拼接为一张全景图片。

(3.2)AR资源数据和三维模型制作

针对不同书籍里面的行业属性和内容属性制作不同的AR背景视频或者3D模型并渲染。

录制AR的音频内容并剪辑。

将VR和AR资源数据通过动态存储模块设置有对应的特征值(该特征值和图书图片的设置相同)，存储到内容数据库中。

二、图书图片和VR和AR资源数据的识别与展示

(1)获取需识别图片等静态资源，再根据图像识别模块进行识别：

(1.1)对于非拍摄的图片、3D场景等静态资源：

直接获取静态资源文件指纹MD5和内容数据库中各个图片的静态资源文件指纹MD5组成的静态资源文件指纹库进行对比，如果指纹信息对应相通，直接从内容数据库中提取出该静态资源文件对应的图片和图片数据以及关联的VR和AR资源数据，发送给动态展示模块。

(1.2)对于纸质书籍的拍摄图片(一般是平面图像)：

由于光线等客观问题，如果通过文件指纹MD5是无法识别出对应相通的资源。

先把拍摄的图像通过添加外框或者判断图形最外圈四条线色差过大或白框来确定图像边界后，再拉伸或缩小至1024*1024分辨率。

接着对每个像素进行灰度处理，公式为Gray＝(R*30+G*59+B*11)/100，把结果数据和内容数据库中各个图片同一像素位置的灰度值进行一一对比。对比时如果同一像素位置的灰度值的偏差在合理偏差范围内(如正负偏差3)则算成功对应1个像素点。如果成功对应的像素点数量在90％以上(可系统调节该参数)则算成功对应。

最后把图片对比后，从内容数据库中找出成功对应的像素点数量最大的那个图片及其图片数据和AR/VR资源数据进行显示。

(2)进行展示：

如图1所示，将图片单张或者多张同时进行显示，动态展示模块可显示所有图书(如一个企业简介包含企业介绍、部门介绍、产品介绍等可视为多本图书)，也可直接进入后就是该客户的一本图书(如电影宣发)。例如图1中的Book_A和Book_B分别存储录入到内容数据库中，然后展示时可进行针对多本图书或者单本图书的分别展示，用户在多本图书展示下选择单本图书，则转为展示单本图书下的每页图书图片。

具体实施中，还可以根据内容区域和屏幕坐标配置表动态生成可交互热点，生成从可交互热点到VR资源数据或者AR资源数据的链接。

VR资源数据通过VR功能模块展示，采用OpenGL(Open Graphics Library)绘制VR双屏，基于顶点位移的反畸变算法对凸透镜成像下的畸变图像进行畸变补偿，矫正凸透镜下的内容资源已达到更加真实的展现效果。

AR资源数据通过AR功能模块展示，采用图像识别技术获取图像特征，把和参考图片匹配度最高的图片作为目标图片，展示和目标图片对应的模型对象。

动态展示模块可提供多方面的接口进行输出如网页、桌面软件、微信公众号和App等。本发明可以将实体书与手机结合或者直接转变为手机观看，让用户能够打开或者扫描图像识别出所需的内容，即跳转热点即可跳转至VR、AR模式下观看。

在手机中将以实体书的内容为放射点，放射出更多精彩的相关内容。并且纸质媒体、手机+AR、手机+VR三界之间的跳转均由AR元素巧妙过渡，不会显得生硬或突兀。其中手机+AR的主要表现形式为3D动画，手机+VR的主要表现形式为全景视频/全景图片。全景类资源将会有普通和VR两种模式提供观看，使用户即使没有VR设备也可以畅游体验全景世界。

本发明作为基础框架，可收集不同行业对业务属性的需求，汇总到大数据分析服务器，通过大数据分析，对每一个行业共性的属性进行分析和共享，形成各行业线不同类别图书的数据模型，最终只需要通过选择同行业线同类别图书的数据模型，就能快捷搭建出完整的图书系统。

具体实施中，本发明还配置有反馈模块，反馈模块包含有提供用户进行提问的过程、问题分析过程、解答过程和满意度评价过程。将用户提出的问题提取关键字后，从数据库中寻找多条合适的反馈信息，并按照符合关键字数量和反馈满意度评价排序后反馈用户。反馈模块通过常规回复和客户反馈回复质量评价等数据的汇集，根据用户新问题中分词后的关键词，来匹配出以往的常用回复，可不断扩充回复资源库。

Claims (9)

1.一种图书VR和AR体验交互系统，其特征在于：

包括内容数据库，内容数据库内存储有各本图书、每本图书的各张图书图片、每张图书图片的内容输入模型及其内容数据、每张图书图片的图书数据以及VR和AR资源数据、通用内容输入模型；

包括图像识别模块，对图书图片进行图像识别，识别出图书图片的特征属性并发送给动态存储模块，或者识别出图书图片的基本信息和特征属性发送给动态展示模块；

包括动态存储模块，根据图书图片所对应的特征属性，将图书图片进行处理，将图书数据存储到内容数据库中；

包括大数据分析模块，从内容数据库获取所有图书图片的内容输入模型，分析出相同特征属性的图书图片的内容输入模型中的共同类目，并组成构建通用内容输入模型存储到内容数据库中；

包括动态展示模块，根据图片基本信息从内容数据库提取相同的图书数据和内容输入模型的内容数据进行展示，并根据图书数据的特征属性搜索到VR和AR资源数据进行展示。

2.根据权利要求1所述的一种图书VR和AR体验交互系统，其特征在于：

所述图书数据包括图片本身、图片的静态资源文件指纹MD5、像素灰度值以及特征值。

3.根据权利要求1所述的一种图书VR和AR体验交互系统，其特征在于：

所述的动态展示模块所展示的VR和AR资源数据是包括与图书图片具有同一内容属性的VR和AR视频或者全景图片、三维虚拟模型。

4.根据权利要求1所述的一种图书VR和AR体验交互系统，其特征在于：

所述的特征属性包括行业属性和内容属性：针对不同行业对应的图书数据在通过动态存储模块存储到内容数据库中具有不同的特征值；针对同一行业属性，细分为内容属性，同一行业属性但不同内容属性的图书数据在通过动态存储模块存储到内容数据库中具有不同的特征值。

5.根据权利要求1所述的一种图书VR和AR体验交互系统，其特征在于：

所述的内容输入模型与图书图片的内容属性所对应，内容输入模型主要由具有用于输入图书所表达内容的多个类目构成。

6.根据权利要求1所述的一种图书VR和AR体验交互系统，其特征在于：

所述的动态展示模块根据图书数据对应的行业属性及其自身内容中涉及的内容属性从互联网或者内容数据库中找到属于同一行业属性且同一内容属性的资源数据和模型数据进行展示。

7.根据权利要求1所述的一种图书VR和AR体验交互系统，其特征在于：

所述的动态展示模块提取图书数据进行动态展示后，在图片的内容所在区域生成供用户选择点击的热点，热点链接到图书数据以及VR和AR资源数据。

8.根据权利要求1所述的一种图书VR和AR体验交互系统，其特征在于：

所述动态展示模块根据图片基本信息从内容数据库提取相同的图书数据是按照以下方式处理：

如果所识别的图书图片是通过拍照或者扫描采集到的，将所识别的图书图片转化为灰度图片，并将每个像素的灰度值与内容数据库中图片对应像素的灰度值进行比较获得，若像素值的灰度值偏差在灰度阈值范围的总像素数量占至少90％以上则认为两者图片相同。

如果所识别的图书图片是电子图片的，那么根据静态资源文件指纹MD5进行比对，若内容数据库中的图片和所识别的图片的静态资源文件指纹MD5相同则认为两者图片相同。

9.根据权利要求1所述的一种图书VR和AR体验交互系统，其特征在于：还包括有反馈模块，反馈模块包含提供用户进行提问的输入模块、将用户提问内容进行分析从问答数据库中寻找提问答案的解答模块、提供用户对提问答案提出反馈的回复模块以及根据用户反馈进行分析对问答数据库优化的优化模块。