CN108681389A - 一种通过阅读设备进行阅读的方法与设备 - Google Patents
一种通过阅读设备进行阅读的方法与设备 Download PDFInfo
- Publication number
- CN108681389A CN108681389A CN201810450285.7A CN201810450285A CN108681389A CN 108681389 A CN108681389 A CN 108681389A CN 201810450285 A CN201810450285 A CN 201810450285A CN 108681389 A CN108681389 A CN 108681389A
- Authority
- CN
- China
- Prior art keywords
- information
- reading
- books
- arrangement
- physical object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请的目的是提供一种通过阅读设备进行阅读的方法，其中，所述阅读设备包括摄像装置与投影装置，该方法包括：通过所述摄像装置拍摄用户在阅读的物理对象；根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。本申请通过在物理对象相应位置进行虚拟和现实的结合，增加了用户阅读的趣味性与实用性。
Description
技术领域
本申请涉及通信领域，尤其涉及一种用于通过阅读设备进行阅读的技术。
背景技术
学龄儿童的阅读、识字是小孩在成长过程中必不可少的环节，一直以来，这些活动都是通过传统的实体书籍、纸张和玩具等来实现的，随着AR技术的发展，用户可以通过手机或平板下载相关的软件，体验具有真实感的立体三维动画和互动阅读场景。
发明内容
本申请的一个目的是提供一种通过阅读设备进行阅读的方法与设备。
根据本申请的一个方面，提供了一种通过阅读设备进行阅读的方法，该方法包括：
通过所述摄像装置拍摄用户在阅读的物理对象；
根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；
在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。
根据本申请的一个方面，提供了一种通过阅读设备进行阅读的设备，该设备包括：
第一拍摄装置，用于通过所述摄像装置拍摄用户在阅读的物理对象；
确定装置，用于根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；
呈现装置，用于在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。
根据本申请的一个方面，提供了一种通过阅读设备进行阅读的设备，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
通过所述摄像装置拍摄用户在阅读的物理对象；
根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；
在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。
根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：
通过所述摄像装置拍摄用户在阅读的物理对象；
根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；
在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。
与现有技术相比，本申请通过摄像装置拍摄阅读对象，并根据拍摄的图像信息确定对应的AR虚拟信息，并通过投影装置将对应的AR虚拟信息投射到阅读对象的相应位置。基于本申请，用户在保持原有的物理操作(比如笔纸读写)和用户体验的基础上，在交互的“原地”进行虚拟和现实的结合，增加了用户阅读的趣味性与实用性，帮助用户更好的进行阅读识字等活动。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种通过阅读设备进行阅读的系统拓扑图；
图2示出根据本申请另一个实施例的一种通过阅读设备进行阅读的方法流程图；
图3示出根据本申请一个实施例的一种通过阅读设备进行阅读的设备结构图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了本申请的一个典型场景，用户在阅读报刊，摄像装置拍摄用户阅读的报刊信息，并根据当前的在读内容确定关于该内容的虚拟AR信息，投影装置投射关于该内容的虚拟AR信息至对应的投影区域。
图2示出了根据本申请的一个方面的一种用于通过阅读设备进行阅读的方法，其中，所述阅读设备包括摄像装置与投影装置，该方法包括步骤S11、步骤S12和步骤S13。在步骤S11中，阅读设备通过所述摄像装置拍摄用户在阅读的物理对象；在步骤S12中，阅读设备根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；在步骤S13中，阅读设备在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。
具体而言，在步骤S11中，阅读设备通过所述摄像装置拍摄用户在阅读的物理对象。其中，所述物理对象包括但不限于书籍、玩具以及图画纸等。摄像装置包括但不限于摄像头、带有摄像功能的手持设备，如手机、平板等。例如，阅读设备通过摄像头实时拍摄用户正在阅读的书籍信息。
在步骤S12中，阅读设备根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息。例如，阅读设备通过摄像装置拍摄到关于物理对象的图像信息，其中，图像信息包括但不限于书籍的某一个页面信息，阅读设备根据该页面信息的内容确定与之相关的虚拟AR信息，其中，所述虚拟AR信息包括但不限于与该内容信息相关的图像、视频、三维场景等。
在步骤S13中，阅读设备在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。其中，所述投影装置包括投影仪，例如，用户在阅读书籍的某一页，摄像装置拍摄到某一页的信息，阅读装置根据这一页的信息确认对应的虚拟AR信息后通过投影仪将该虚拟AR信息出来。此处呈现虚拟AR信息的过程涉及物理对象所在的世界坐标系、摄像头所在的摄影坐标系以及投影仪所在的投影坐标系之间的坐标转换。
例如，用户手持一本图画书，用户翻到这本图画书的某一页，阅读设备通过摄像头拍摄到该页的相关图像信息，图像信息显示其中有一只大象，阅读设备基于该图像信息中的大象这一信息在本地匹配查询与大象相关的虚拟信息，或者阅读设备基于该图像信息中的大象这一信息在网络设备端数据库中匹配查询与大象相关的虚拟信息，该虚拟信息包括但不限于在荒野上大象集体生活的图片、与大象有关的纪录片和与大象有关的小视频或音频等，又如阅读设备根据已匹配的大象与大象有关的纪录片对应虚拟AR信息的历史行为信息，确定当前大象图像信息对应的大象有关的纪录片虚拟AR信息。在用户仍在阅读这一页的过程中，阅读设备通过投影仪实时地将这些相关信息呈现在图画书的相关位置，例如投影与大象相关的纪录片的片段，用户基于这一投影，对大象这一中动物有了更深刻的了解。
当然，本领域技术人员应能理解上述虚拟AR信息仅为举例，其他现有的或今后可能出现的虚拟AR信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，所述方法还包括步骤S14中(未示出)，阅读设备确定所述物理对象相对所述阅读设备的相对位置信息。例如，为了实现精确的交互，阅读设备可基于SLAM(simultaneous localization and mapping，即时定位与地图构建)等算法或者IMU(Inertial measurement unit，惯性测量单元)等物理传感信息确定物理对象与阅读设备的相对位置关系。在步骤S13中，在所述用户的阅读过程中，阅读设备根据所述相对位置信息通过所述投影装置将所述虚拟AR信息叠加呈现于所述物理对象。例如，在用户阅读图书的过程中，阅读设备已基于SLAM(simultaneous localization and mapping，即时定位与地图构建)等算法获取了图书与投影装置的相对位置，确认相对位置后，阅读设备将确认的与图书内容相关的虚拟AR信息叠加呈现在该图书的相应位置上。
例如，用户正在阅读一本图画书，阅读设备通过摄像头拍摄到该页的相关图像信息，图像信息显示其中有一只大象，阅读设备基于该图像信息中的大象这一信息在本地设备匹配查询与大象相关的虚拟信息，该虚拟信息包括荒野上大象集体生活的图片，阅读设备基于SLAM(simultaneous localization and mapping，即时定位与地图构建)算法，通过SLAM算法确定在摄像装置的坐标系中图画书的相对位置信息，例如，物理对象本身有个三维坐标系(假设为世界坐标系)，实体摄像头有个三维坐标系(摄影坐标系)，投影仪有一个三维坐标系(投影坐标系)。物理对象在世界坐标系中的坐标是已知的，首先将其转换到实体摄像头的三维坐标系下，转换矩阵通过识别跟踪算法得出。再根据摄像坐标系与投影坐标系的标定参数，将物理对象的坐标转换到投影坐标系中。。
当然，本领域技术人员应能理解上述相对位置信息仅为举例，其他现有的或今后可能出现的相对位置信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，所述摄像装置包括深度摄像头，在步骤S14(未示出)中，阅读设备根据所述图像信息中的深度信息确定所述物理对象相对所述阅读设备的相对位置信息。例如，摄像装置采用深度摄像头，深度摄像头能采集RGB颜色以及通过发出特定处理的光从而计算到物体的距离。阅读设备根据深度摄像头拍摄的图像信息中的深度信息，例如，深度摄像头距离物理对象的距离，确定物理对象与摄像头的相对位置信息。
例如，用户正在阅读一本图画书，阅读设备通过深度摄像头拍摄该图画书的页面内容，例如TOF(Time of Flight)摄像头，TOF相机发出一道经过处理的光，碰到物体以后光束反射回来，通过捕捉来回的时间，在已知光速和调制光的波长的情况下，计算出到物体的距离。阅读设备根据深度摄像头距离图画书的距离，可初步确认用户所读的图画书相对于阅读设备中的摄像装置的相对位置信息，如图画书在摄影坐标系中的坐标。
当然，本领域技术人员应能理解上述深度信息仅为举例，其他现有的或今后可能出现的深度信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，阅读设备通过所述投影装置在所述物理对象上投影参考标记。例如所述参考标记包括但不限于各种形状的标记，例如圆形的符号。在步骤S11中，阅读装置通过所述摄像装置拍摄所述物理对象及所述参考标记。例如，阅读设备通过投影装置在物理对象上投影预定标记，阅读设备通过摄像头拍摄该预定标记以及该物理对象。在步骤S14中，阅读设备根据所述参考标记被投影时的初始状态信息与所述图像信息中所述参考标记的当前状态信息，确定所述物理对象相对所述阅读设备的相对位置信息。例如，阅读设备通过投影设备在物理对象上投影一个小圆点，摄像装置拍摄物理对象上的小圆点，根据该参考标记小圆点先后的大小变化，阅读设备确定所述物理对象相对摄像装置以及投影装置的相对位置信息。
例如，用户正在阅读一本图画书，投影装置在该图画书的某一页投射直径为x的圆形标记，阅读设备通过摄像头拍摄到该页的相关图像信息以及该圆点，摄像头拍摄到当前该圆点的直径仍为x，此时，阅读设备可以确定摄影装置以及投影装置位于同一个平面，且至图画书的距离相等，图画书在以摄影装置以及投影装置为平面的圆形的圆锥体的中心处。
当然，本领域技术人员应能理解上述参考标记仅为举例，其他现有的或今后可能出现的参考标记如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，所述物理对象包括书籍。在步骤S12包括子步骤S121(未示出)和子步骤S122(未示出)。在步骤S121中，阅读设备根据所拍摄的图像信息确定所述书籍的当前在读内容信息。例如，阅读设备通过摄像头拍摄到关于物理对象的当前的图像信息，并利用识别算法识别出当前图像信息的内容信息，其中识别算法包括但不限于SIFT(Scale-invariant feature transform，尺度不变特征变换)、SURF(Speeded Up RobustFeatures，加速鲁棒特征)和ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述)。在步骤S12中，包括步骤S122(未示出)，阅读设备根据所述当前在读内容信息确定所述书籍对应的虚拟AR信息。例如，阅读设备根据识别结果确定所述书籍对应的虚拟AR信息。
例如，用户正在阅读一本书籍，阅读设备通过摄像头拍摄到该页的相关图像信息，阅读设备利用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法分析摄像头拍摄的图像信息，并识别出图像信息中的书籍当前页的插图中的大象这一生物，根据大象这一被识别到的信息，阅读设备在本地设备的数据库中查询匹配与大象相关的视频、音频和图像信息，并确定了关于一群大象集体生活的相关纪录片的虚拟AR信息。
当然，本领域技术人员应能理解上述当前在读内容信息仅为举例，其他现有的或今后可能出现的当前在读内容信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，阅读设备通过所述摄像装置拍摄关于所述书籍的书籍标识信息的书籍图像信息；从所述书籍图像信息中提取所述书籍的书籍标识信息；阅读设备根据所述书籍的书籍标识信息从对应网络设备获取并存储所述书籍的电子书籍信息；其中，所述书籍标识信息包括但不限于书籍的名称、ISBN(International Standard Book Number，国际标准书号)，例如，阅读设备拍摄获取当前的书籍的图像信息，并获取其中的书籍标识信息，根据书籍标识信息，阅读设备在网络设备端下载相应的电子书籍的信息，其中网络设备包括但不限于云端服务器。在步骤S121(未示出)中，阅读设备根据所拍摄的图像信息从所述书籍的电子书籍信息中确定所述书籍的当前在读内容信息。例如，阅读设备通过摄像装置拍摄得到关于书籍的图像信息，阅读设备已经在网络设备端下载关于该书籍的电子书版本，根据关于书籍的图像信息，确定用户在读的关于这本书籍的内容信息。
例如，用户正在阅读书籍，阅读设备通过摄像头拍摄到关于这本书籍的书籍名称为《一种插秧XXX的技术》以及著作人为盛某某的书籍图像信息，根据这本书籍的书名以及著作人，阅读设备从网络上查询匹配获取这本书籍的电子版本，并将该电子版本存储到本地设备端。阅读设备通过摄像头拍摄到关于这本书籍的图像信息，根据这本书籍的电子版本，阅读设备查询并确定电子版本中和当前图像信息匹配成功的在读内容信息。例如用户正在阅读书籍，阅读设备通过摄像头拍摄到关于这本书籍的ISBN(国际标准书号)99937-x-000-x的书籍图像信息，根据这本书籍的ISBN(国际标准书号)，阅读设备从网络上查询匹配获取这本书籍的电子版本，阅读设备通过摄像头拍摄到关于这本书籍的图像信息，根据这本书籍的电子版本，阅读设备查询并确定电子版本中和当前图像信息匹配成功的在读内容信息。
当然，本领域技术人员应能理解上述书籍标识信息仅为举例，其他现有的或今后可能出现的书籍标识信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，在步骤S121(未示出)中，阅读设备从所述图像信息中提取页面特征信息，并根据所述页面特征信息从所述书籍中确定所述书籍的当前在读内容信息。其中，页面特征信息包括但不限于页码信息以及字符串等。例如，阅读设备通过摄像头获取物理对象的图像信息，通过识别图像中的页码信息，或者从图像中识别字符串来确定当前在读的内容信息。
例如，用户正在阅读一本书籍，阅读设备通过摄像头拍摄该书籍，并得到图像信息，阅读设备从图像信息中提取页码信息，用户当前阅读在第6页，阅读设备根据这个页码数，从对应的获取的电子书籍信息中获取关于本书第6页的内容信息。或者，用户正在阅读一本书籍，阅读设备通过摄像头拍摄该书籍，并得到图像信息，阅读设备从图像信息中提取字符串信息，例如书籍某页的某一段文字“但这个名字给包子带来的唯一好处是…”，阅读设备根据这一段文字内容，从对应的获取的电子书籍信息中获取关于这一段文字串的内容信息。
当然，本领域技术人员应能理解上述页面特征信息仅为举例，其他现有的或今后可能出现的页面特征信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，该方法还包括步骤S15(未示出)。在步骤S15中，阅读设备从对应网络设备获取并存储所述书籍对应的其它虚拟AR信息，以供后续匹配使用。例如，当书籍的一个页面被识别后，对应的其它多媒体数据流会被下载到阅读设备，供后续匹配使用。
例如，用户正在阅读一本书籍，阅读设备通过摄像头拍摄该书籍，并得到图像信息，阅读设备从图像信息中提取页码信息，用户当前阅读在第6页，阅读设备根据这个页码数，从对应的获取的电子书籍信息中获取关于本书第6页的内容信息，阅读设备根据第6页的内容信息并利用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法确定对应的虚拟AR信息，包括但不限于多媒体数据。阅读设备即时将该多媒体数据下载到本地存储端。当摄像头再次拍摄到此书籍的第6页，阅读设备即刻在本地存储端查找到关于第6页的多媒体数据，例如视频，并通过投影装置播放该视频信息，优选地，阅读设备确认用户当前阅读在第6页，并提前获取第7页的内容信息，提前存储第7页对应的AR内容。当用户阅读完第6页，转到第7页时，阅读设备可以快速找到对应虚拟AR信息并进行投影。
当然，本领域技术人员应能理解上述其它虚拟AR信息仅为举例，其他现有的或今后可能出现的其它虚拟AR信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，所述摄像装置包括深度摄像头。所述方法还包括步骤S16(未示出)。在步骤S16中，，阅读设备根据所述图像信息中的深度信息，并结合所述物理对象与所述阅读设备的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息。其中，所述图像信息中的其它信息包括物理对象外无用的复杂的背景信息。例如，阅读设备通过深度摄像头拍摄获取物理对象，并获取图像信息中的深度信息，若所述物理对象与所述阅读设备的距离信息超出预设的范围，则删除所述图像信息中的其它信息。在步骤S12中，阅读设备根据经删除处理后的所述图像信息确定所述物理对象对应的虚拟AR信息。例如，阅读设备已经确认删除部分，根据删除处理后的图像信息，阅读设备查询匹配相关的虚拟AR信息。
例如，用户正在阅读一本图画书，阅读设备通过深度摄像头拍摄该图画书的页面内容，例如TOF(Time of Flight)摄像头，TOF相机发出一道经过处理的光，碰到物体以后光束反射回来，通过捕捉来回的时间，在已知光速和调制光的波长的情况下，计算出到物体的距离。根据阅读设备与这本图画书的距离信息。例如，考虑到用户实际阅读场景可以预定该距离范围不超过50cm。当阅读设备到该图画书的距离被深度信息计算得到60cm，即可确认大于距离信息的预设值50cm，因此该页面内容不被采用。用户调整图画书的位置或者移动阅读设备，直至深度信息在50cm范围内，阅读设备根据深度信息拍摄到的页面内容，利用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法分析摄像头拍摄的页面内容，并识别出其中的大象这一生物，根据大象这一被识别到的信息，阅读设备在本地设备的数据库中查询与大象匹配的相关视频、音频和图像信息，并确定了关于一群大象集体生活的相关纪录片的虚拟AR信息。
当然，本领域技术人员应能理解上述距离信息仅为举例，其他现有的或今后可能出现的距离信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，步骤S16(未示出)包括步骤S161(未示出)和步骤S162(未示出)。在步骤S161中，阅读设备确定所述图像信息的中心区域像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息。例如，在所述图像中心一定距离的区域内的所有像素，或者与所述图像中心相距一定距离的一定数量的像素。在步骤S162中，阅读设备根据所述图像信息中的深度信息，并结合所述的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息。例如，阅读设备通过深度摄像头拍摄获取物理对象，并获取图像信息中的深度信息，若所述物理对象与所述阅读设备的距离信息超出预设的范围，则删除所述图像信息中的其它信息。优选地，深度摄像头拍摄的范围包括桌面和桌子外侧的一部分区域，此时桌子外侧的一部分区域中摆放了物体，这个物体低于桌面。此时深度摄像头拍摄的图像中包括桌面和物体，根据图像信息得到了图像中每个像素点的深度信息(得到了桌面的距离50cm，得到了物体的距离是大于50cm)，物体比桌面距离深度摄像头的距离远。通过设置一定的阈值，如50cm，超过50cm的像素点被剔除，原图中仅保存低于等于50cm的像素点，即原图最后只剩下了桌面的图像，再用此图像进行识别匹配对应的虚拟AR信息。
例如，用户正在阅读一本图画书，阅读设备通过深度摄像头拍摄该图画书并获取图像信息，深度摄像头采集距离该图像中心区域20毫米以内的所有像素对应的深度值，并计算得出平均值，根据该平均值确认和图画书的距离。例如，考虑到用户实际阅读场景可以预定该距离范围不超过50cm。当阅读设备到该图画书的距离被深度信息计算得到60cm，即可确认大于距离信息的预设值50cm，因此该页面内容不被采用。
当然，本领域技术人员应能理解上述平均值信息仅为举例，其他现有的或今后可能出现的平均值信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，在步骤S161(未示出)中，阅读设备对所述图像信息的中心区域像素按深度信息差值进行聚类处理，以获得一个或多个聚类，其中，每个聚类包含若干个深度信息相近的像素；选取包含最多像素的聚类，并计算该聚类中像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息。例如，阅读设备通过深度摄像头拍摄物理对象，获取图像信息，在图像信息的中心区域，对各像素获取深度信息，在一定差值范围内将各像素归类，形成一个或者多个聚类。在像素最多的聚类中，得出各像素对应的平均深度信息，阅读设备将该深度信息作为与物理对象的距离信息。
例如，用户正在阅读一本图画书，阅读设备通过深度摄像头拍摄该图画书并获取图像信息，阅读设备对所述图像信息的中心区域像素按深度信息差值进行聚类处理，例如差值不超过1cm，例如可以将深度信息为28.5cm、28.4cm以及28cm的这几个像素分成一个聚类，在像素最多的聚类中，对深度信息取平均值得到50cm，将该深度信息作为阅读设备确定的自身与图画书的距离。
当然，本领域技术人员应能理解上述聚类处理仅为举例，其他现有的或今后可能出现的聚类处理如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
图3示出了根据本申请的一个方面的一种用于通过阅读设备进行阅读的设备，所述阅读设备包括摄像装置与投影装置，该设备包括：该设备包括第一拍摄装置11、确定装置12和呈现装置13。第一拍摄装置11，用于通过所述摄像装置拍摄用户在阅读的物理对象；确定装置12，用于根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；呈现装置13，用于在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。
具体而言，第一拍摄装置11，用于通过所述摄像装置拍摄用户在阅读的物理对象。其中，所述物理对象包括但不限于书籍、玩具以及图画纸等。摄像装置包括但不限于摄像头、带有摄像功能的手持设备，如手机、平板等。例如，第一拍摄装置11通过摄像头实时拍摄用户正在阅读的书籍信息。
确定装置12，用于根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息。例如，确定装置12通过摄像装置拍摄到关于物理对象的图像信息，其中，图像信息包括但不限于书籍的某一个页面信息，确定装置12根据该页面信息的内容确定与之相关的虚拟AR信息，其中，所述虚拟AR信息包括但不限于与该内容信息相关的图像、视频、三维场景等。
呈现装置13，用于在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。其中，所述投影装置包括投影仪，例如，用户在阅读书籍的某一页，摄像装置拍摄到某一页的信息，呈现装置13根据这一页的信息确认对应的虚拟AR信息后通过投影仪将该虚拟AR信息出来。此处呈现虚拟AR信息的过程涉及物理对象所在的世界坐标系、摄像头所在的摄影坐标系以及投影仪所在的投影坐标系之间的坐标转换。
例如，用户手持一本图画书，用户翻到这本图画书的某一页，阅读设备通过摄像头拍摄到该页的相关图像信息，图像信息显示其中有一只大象，阅读设备基于该图像信息中的大象这一信息在本地匹配查询与大象相关的虚拟信息，或者阅读设备基于该图像信息中的大象这一信息在网络设备端数据库中匹配查询与大象相关的虚拟信息，该虚拟信息包括但不限于在荒野上大象集体生活的图片、与大象有关的纪录片和与大象有关的小视频或音频等，又如阅读设备根据已匹配的大象与大象有关的纪录片对应虚拟AR信息的历史行为信息，确定当前大象图像信息对应的大象有关的纪录片虚拟AR信息。在用户仍在阅读这一页的过程中，阅读设备通过投影仪实时地将这些相关信息呈现在图画书的相关位置，例如投影与大象相关的纪录片的片段。用户基于这一投影，对大象这一中动物有了更深刻的了解。
当然，本领域技术人员应能理解上述虚拟AR信息仅为举例，其他现有的或今后可能出现的虚拟AR信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，该设备还包括位置确定装置14(未示出)。位置确定装置14，用于确定所述物理对象相对所述阅读设备的相对位置信息。例如，为了实现精确的交互，阅读设备可基于SLAM(simultaneous localization and mapping，即时定位与地图构建)等算法或者IMU(Inertial measurement unit，惯性测量单元)等物理传感信息确定物理对象与阅读设备的相对位置关系。呈现装置13在所述用户的阅读过程中，用于根据所述相对位置信息通过所述投影装置将所述虚拟AR信息叠加呈现于所述物理对象。例如，在用户阅读图书的过程中，位置确定装置14已基于SLAM(simultaneous localization and mapping，即时定位与地图构建)等算法获取了图书与投影装置的相对位置，确认相对位置后，呈现装置13将确认的与图书内容相关的虚拟AR信息叠加呈现在该图书的相应位置上。
例如，用户正在阅读一本图画书，阅读设备通过摄像头拍摄到该页的相关图像信息，图像信息显示其中有一只大象，阅读设备基于该图像信息中的大象这一信息在本地设备匹配查询与大象相关的虚拟信息，该虚拟信息包括荒野上大象集体生活的图片，阅读设备基于SLAM(simultaneous localization and mapping，即时定位与地图构建)算法，通过SLAM算法确定在摄像装置的坐标系中图画书的相对位置信息，例如，物理对象本身有个三维坐标系(假设为世界坐标系)，实体摄像头有个三维坐标系(摄影坐标系)，投影仪有一个三维坐标系(投影坐标系)。物理对象在世界坐标系中的坐标是已知的，首先将其转换到实体摄像头的三维坐标系下，转换矩阵通过识别跟踪算法得出。再根据摄像坐标系与投影坐标系的标定参数，将物理对象的坐标转换到投影坐标系中。
当然，本领域技术人员应能理解上述相对位置信息仅为举例，其他现有的或今后可能出现的相对位置信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，所述摄像装置包括深度摄像头，位置确定装置14(未示出)，用于根据所述图像信息中的深度信息确定所述物理对象相对所述阅读设备的相对位置信息。例如，摄像装置采用深度摄像头，深度摄像头能采集RGB颜色以及通过发出特定处理的光从而计算到物体的距离。位置确定装置14(未示出)根据深度摄像头拍摄的图像信息中的深度信息，例如，深度摄像头距离物理对象的距离，确定物理对象与摄像头的相对位置信息。
例如，用户正在阅读一本图画书，阅读设备通过深度摄像头拍摄该图画书的页面内容，例如TOF(Time of Flight)摄像头，TOF相机发出一道经过处理的光，碰到物体以后光束反射回来，通过捕捉来回的时间，在已知光速和调制光的波长的情况下，计算出到物体的距离。阅读设备根据深度摄像头距离图画书的距离，可初步确认用户所读的图画书相对于阅读设备中的摄像装置的相对位置信息，如图画书在摄影坐标系中的坐标。
当然，本领域技术人员应能理解上述深度信息仅为举例，其他现有的或今后可能出现的深度信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，该设备包括通过装置，用于通过所述投影装置在所述物理对象上投影参考标记。例如所述参考标记包括但不限于各种形状的标记，例如圆形的符号。第一拍摄装置11，用于通过所述摄像装置拍摄所述物理对象及所述参考标记。例如，阅读设备通过投影装置在物理对象上投影预定标记，阅读设备通过摄像头拍摄该预定标记以及该物理对象。位置确定装置14，用于根据所述参考标记被投影时的初始状态信息与所述图像信息中所述参考标记的当前状态信息，确定所述物理对象相对所述阅读设备的相对位置信息。例如，阅读设备通过投影设备在物理对象上投影一个小圆点，摄像装置拍摄物理对象上的小圆点，根据该参考标记小圆点先后的大小变化，阅读设备确定所述物理对象相对摄像装置以及投影装置的相对位置信息。
例如，用户正在阅读一本图画书，投影装置在该图画书的某一页投射直径为x的圆形标记，阅读设备通过摄像头拍摄到该页的相关图像信息以及该圆点，摄像头拍摄到当前该圆点的直径仍为x，此时，阅读设备可以确定摄影装置以及投影装置位于同一个平面，且至图画书的距离相等，图画书在以摄影装置以及投影装置为平面的圆形的圆锥体的中心处。
当然，本领域技术人员应能理解上述参考标记仅为举例，其他现有的或今后可能出现的参考标记如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，所述物理对象包括书籍。确定装置12包括内容确定模块121(未示出)和AR确定模块122(未示出)，其中，内容确定模块121，用于根据所拍摄的图像信息确定所述书籍的当前在读内容信息。例如，第一拍摄装置11通过摄像头拍摄到关于物理对象的当前的图像信息，并利用识别算法识别出当前图像信息的内容信息，其中识别算法包括但不限于SIFT(Scale-invariant feature transform，尺度不变特征变换)、SURF(SpeededUp Robust Features，加速鲁棒特征)和ORB(Oriented FAST and Rotated BRIEF，快速特征点提取和描述)。确定装置12包括AR确定模块122(未示出)，用于根据所述当前在读内容信息确定所述书籍对应的虚拟AR信息。例如，确定装置12根据识别结果确定所述书籍对应的虚拟AR信息。
例如，用户正在阅读一本书籍，阅读设备通过摄像头拍摄到该页的相关图像信息，阅读设备利用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法分析摄像头拍摄的图像信息，并识别出图像信息中的书籍当前页的插图中的大象这一生物，根据大象这一被识别到的信息，阅读设备在本地设备的数据库中查询匹配与大象相关的视频、音频和图像信息，并确定了关于一群大象集体生活的相关纪录片的虚拟AR信息。
当然，本领域技术人员应能理解上述当前在读内容信息仅为举例，其他现有的或今后可能出现的当前在读内容信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，第一拍摄装置11通过所述摄像装置拍摄关于所述书籍的书籍标识信息的书籍图像信息；从所述书籍图像信息中提取所述书籍的书籍标识信息；阅读设备根据所述书籍的书籍标识信息从对应网络设备获取并存储所述书籍的电子书籍信息；其中，所述书籍标识信息包括但不限于书籍的名称、ISBN(International Standard BookNumber，国际标准书号)，例如，第一拍摄装置11拍摄获取当前的书籍的图像信息，并获取其中的书籍标识信息，根据书籍标识信息，阅读设备在网络设备端下载相应的电子书籍的信息，其中网络设备包括但不限于云端服务器。内容确定模块121(未示出)，用于根据所拍摄的图像信息从所述书籍的电子书籍信息中确定所述书籍的当前在读内容信息。例如，第一拍摄装置11通过摄像装置拍摄得到关于书籍的图像信息，阅读设备已经在网络设备端下载关于该书籍的电子书版本，根据关于书籍的图像信息，内容确定模块121(未示出)确定用户在读的关于这本书籍的内容信息。
例如，用户正在阅读书籍，阅读设备通过摄像头拍摄到关于这本书籍的书籍名称为《一种插秧XXX的技术》以及著作人为盛某某的书籍图像信息，根据这本书籍的书名以及著作人，阅读设备从网络上查询匹配获取这本书籍的电子版本，并将该电子版本存储到本地设备端。阅读设备通过摄像头拍摄到关于这本书籍的图像信息，根据这本书籍的电子版本，阅读设备查询并确定电子版本中和当前图像信息匹配成功的在读内容信息。例如用户正在阅读书籍，阅读设备通过摄像头拍摄到关于这本书籍的ISBN(国际标准书号)99937-x-000-x的书籍图像信息，根据这本书籍的ISBN(国际标准书号)，阅读设备从网络上查询匹配获取这本书籍的电子版本，阅读设备通过摄像头拍摄到关于这本书籍的图像信息，根据这本书籍的电子版本，阅读设备查询并确定电子版本中和当前图像信息匹配成功的在读内容信息。
当然，本领域技术人员应能理解上述书籍标识信息仅为举例，其他现有的或今后可能出现的书籍标识信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，内容确定模块121(未示出)，用于从所述图像信息中提取页面特征信息，并根据所述页面特征信息从所述书籍中确定所述书籍的当前在读内容信息。其中，页面特征信息包括但不限于页码信息以及字符串等。例如，第一拍摄装置11通过摄像头获取物理对象的图像信息，内容确定模块121(未示出)通过识别图像中的页码信息，或者从图像中识别字符串来确定当前在读的内容信息。
例如，用户正在阅读一本书籍，阅读设备通过摄像头拍摄该书籍，并得到图像信息，阅读设备从图像信息中提取页码信息，用户当前阅读在第6页，阅读设备根据这个页码数，从对应的获取的电子书籍信息中获取关于本书第6页的内容信息。或者，用户正在阅读一本书籍，阅读设备通过摄像头拍摄该书籍，并得到图像信息，阅读设备从图像信息中提取字符串信息，例如书籍某页的某一段文字“但这个名字给包子带来的唯一好处是…”，阅读设备根据这一段文字内容，从对应的获取的电子书籍信息中获取关于这一段文字串的内容信息。
当然，本领域技术人员应能理解上述页面特征信息仅为举例，其他现有的或今后可能出现的页面特征信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，该设备还包括其他获取模块15。其他获取模块15，用于从对应网络设备获取并存储所述书籍对应的其它虚拟AR信息，以供后续匹配使用。例如，当书籍的一个页面被识别后，对应的其它多媒体数据流会被下载到阅读设备，供后续匹配使用。
例如，用户正在阅读一本书籍，阅读设备通过摄像头拍摄该书籍，并得到图像信息，阅读设备从图像信息中提取页码信息，用户当前阅读在第6页，阅读设备根据这个页码数，从对应的获取的电子书籍信息中获取关于本书第6页的内容信息，阅读设备根据第6页的内容信息并利用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法确定对应的虚拟AR信息，包括但不限于多媒体数据。阅读设备即时将该多媒体数据下载到本地存储端。当摄像头再次拍摄到此书籍的第6页，阅读设备即刻在本地存储端查找到关于第6页的多媒体数据，例如视频，并通过投影装置播放该视频信息，优选地，阅读设备确认用户当前阅读在第6页，并提前获取第7页的内容信息，提前存储第7页对应的AR内容。当用户阅读完第6页，转到第7页时，阅读设备可以快速找到对应虚拟AR信息并进行投影。
当然，本领域技术人员应能理解上述其它虚拟AR信息仅为举例，其他现有的或今后可能出现的其它虚拟AR信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，所述摄像装置包括深度摄像头。该设备还包括删除装置16(未示出)，用于根据所述图像信息中的深度信息，并结合所述物理对象与所述阅读设备的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息。其中，所述图像信息中的其它信息包括物理对象外无用的复杂的背景信息。例如，第一拍摄装置11通过深度摄像头拍摄获取物理对象，并获取图像信息中的深度信息，若所述物理对象与所述阅读设备的距离信息超出预设的范围，则删除所述图像信息中的其它信息。确定装置12，用于根据经删除处理后的所述图像信息确定所述物理对象对应的虚拟AR信息。例如，删除装置16已经确认删除部分，根据删除处理后的图像信息，确认装置12查询匹配相关的虚拟AR信息。
例如，用户正在阅读一本图画书，阅读设备通过深度摄像头拍摄该图画书的页面内容，例如TOF(Time of Flight)摄像头，TOF相机发出一道经过处理的光，碰到物体以后光束反射回来，通过捕捉来回的时间，在已知光速和调制光的波长的情况下，计算出到物体的距离。根据阅读设备与这本图画书的距离信息。例如，考虑到用户实际阅读场景可以预定该距离范围不超过50cm。当阅读设备到该图画书的距离被深度信息计算得到60cm，即可确认大于距离信息的预设值50cm，因此该页面内容不被采用。用户调整图画书的位置或者移动阅读设备，直至深度信息在50cm范围内，阅读设备根据深度信息拍摄到的页面内容，利用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法分析摄像头拍摄的页面内容，并识别出其中的大象这一生物，根据大象这一被识别到的信息，阅读设备在本地设备的数据库中查询与大象匹配的相关视频、音频和图像信息，并确定了关于一群大象集体生活的相关纪录片的虚拟AR信息。
当然，本领域技术人员应能理解上述距离信息仅为举例，其他现有的或今后可能出现的距离信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，删除装置16(未示出)包括平均模块161(未示出)和删除模块162(未示出)，平均模块161用于确定所述图像信息的中心区域像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息。例如，在所述图像中心一定距离的区域内的所有像素，或者与所述图像中心相距一定距离的一定数量的像素。删除模块162用于根据所述图像信息中的深度信息，并结合所述的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息。例如，第一拍摄装置11通过深度摄像头拍摄获取物理对象，并获取图像信息中的深度信息，若所述物理对象与所述阅读设备的距离信息超出预设的范围，则删除所述图像信息中的其它信息。优选地，深度摄像头拍摄的范围包括桌面和桌子外侧的一部分区域，此时桌子外侧的一部分区域中摆放了物体，这个物体低于桌面。此时深度摄像头拍摄的图像中包括桌面和物体，根据图像信息得到了图像中每个像素点的深度信息(得到了桌面的距离50cm，得到了物体的距离是大于50cm)，物体比桌面距离深度摄像头的距离远。通过设置一定的阈值，如50cm，超过50cm的像素点被剔除，原图中仅保存低于等于50cm的像素点，即原图最后只剩下了桌面的图像，再用此图像进行识别匹配对应的虚拟AR信息。例如，用户正在阅读一本图画书，阅读设备通过深度摄像头拍摄该图画书并获取图像信息，深度摄像头采集距离该图像中心区域20毫米以内的所有像素对应的深度值，并计算得出平均值，根据该平均值确认和图画书的距离。例如，考虑到用户实际阅读场景可以预定该距离范围不超过50cm。当阅读设备到该图画书的距离被深度信息计算得到60cm，即可确认大于距离信息的预设值50cm，因此该页面内容不被采用。
当然，本领域技术人员应能理解上述平均值信息仅为举例，其他现有的或今后可能出现的平均值信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，平均模块161(未示出)，用于对所述图像信息的中心区域像素按深度信息差值进行聚类处理，以获得一个或多个聚类，其中，每个聚类包含若干个深度信息相近的像素；选取包含最多像素的聚类，并计算该聚类中像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息。例如，第一拍摄装置11通过深度摄像头拍摄物理对象，获取图像信息，在图像信息的中心区域，对各像素获取深度信息，在一定差值范围内将各像素归类，形成一个或者多个聚类。在像素最多的聚类中，得出各像素对应的平均深度信息，平均模块161(未示出)将该深度信息作为与物理对象的距离信息。
例如，用户正在阅读一本图画书，阅读设备通过深度摄像头拍摄该图画书并获取图像信息，阅读设备对所述图像信息的中心区域像素按深度信息差值进行聚类处理，例如差值不超过1cm，例如可以将深度信息为28.5cm、28.4cm以及28cm的这几个像素分成一个聚类，在像素最多的聚类中，对深度信息取平均值得到50cm，将该深度信息作为阅读设备确定的自身与图画书的距离。
当然，本领域技术人员应能理解上述聚类处理仅为举例，其他现有的或今后可能出现的聚类处理如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (24)
1.一种通过阅读设备进行阅读的方法，其中，所述阅读设备包括摄像装置与投影装置，该方法包括：
通过所述摄像装置拍摄用户在阅读的物理对象；
根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；
在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。
2.根据权利要求1所述的方法，其中，所述方法还包括：
确定所述物理对象相对所述阅读设备的相对位置信息；
其中，所述在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息，包括：
在所述用户的阅读过程中，根据所述相对位置信息通过所述投影装置将所述虚拟AR信息叠加呈现于所述物理对象。
3.根据权利要求2所述的方法，其中，所述摄像装置包括深度摄像头；
其中，所述确定所述物理对象相对所述阅读设备的相对位置信息，包括：
根据所述图像信息中的深度信息确定所述物理对象相对所述阅读设备的相对位置信息。
4.根据权利要求2所述的方法，其中，所述方法还包括：
通过所述投影装置在所述物理对象上投影参考标记；
其中，所述通过所述摄像装置拍摄用户在阅读的物理对象，包括：
通过所述摄像装置拍摄所述物理对象及所述参考标记；
其中，所述确定所述物理对象相对所述阅读设备的相对位置信息，包括：
根据所述参考标记被投影时的初始状态信息与所述图像信息中所述参考标记的当前状态信息，确定所述物理对象相对所述阅读设备的相对位置信息。
5.根据权利要求1至4中任一项所述的方法，其中，所述物理对象包括书籍；
其中，所述根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息，包括：
根据所拍摄的图像信息确定所述书籍的当前在读内容信息；
根据所述当前在读内容信息确定所述书籍对应的虚拟AR信息。
6.根据权利要求5所述的方法，其中，所述方法还包括：
通过所述摄像装置拍摄关于所述书籍的书籍标识信息的书籍图像信息；
从所述书籍图像信息中提取所述书籍的书籍标识信息；
根据所述书籍的书籍标识信息从对应网络设备获取并存储所述书籍的电子书籍信息；
其中，所述根据所拍摄的图像信息确定所述书籍的当前在读内容信息，包括：
根据所拍摄的图像信息从所述书籍的电子书籍信息中确定所述书籍的当前在读内容信息。
7.根据权利要求5或6所述的方法，其中，所述根据所拍摄的图像信息确定所述书籍的当前在读内容信息，包括：
从所述图像信息中提取页面特征信息，并根据所述页面特征信息从所述书籍中确定所述书籍的当前在读内容信息。
8.根据权利要求5至7中任一项所述的方法，其中，所述方法还包括：
从对应网络设备获取并存储所述书籍对应的其它虚拟AR信息，以供后续匹配使用。
9.根据权利要求1至8中任一项所述的方法，
其中，所述摄像装置包括深度摄像头；
其中，所述方法还包括：
根据所述图像信息中的深度信息，并结合所述物理对象与所述阅读设备的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息；
其中，所述根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息，包括：
根据经删除处理后的所述图像信息确定所述物理对象对应的虚拟AR信息。
10.根据权利要求9所述的方法，其中，所述根据所述图像信息中的深度信息，并结合所述物理对象与所述阅读设备的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息，包括：
确定所述图像信息的中心区域像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息；
根据所述图像信息中的深度信息，并结合所述的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息。
11.根据权利要求10所述的方法，其中，所述确定所述图像信息的中心区域像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息，包括：
对所述图像信息的中心区域像素按深度信息差值进行聚类处理，以获得一个或多个聚类，其中，每个聚类包含若干个深度信息相近的像素；
选取包含最多像素的聚类，并计算该聚类中像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息。
12.一种通过阅读设备进行阅读的设备，其中，所述阅读设备包括摄像装置与投影装置，该设备包括：
第一拍摄装置，用于通过所述摄像装置拍摄用户在阅读的物理对象；
确定装置，用于根据所拍摄的图像信息确定所述物理对象对应的虚拟AR信息；
呈现装置，用于在所述用户的阅读过程中通过所述投影装置投影呈现所述虚拟AR信息。
13.根据权利要求12所述的设备，其中，所述设备还包括：
位置确定装置，用于确定所述物理对象相对所述阅读设备的相对位置信息；
其中，所述呈现装置用于：
在所述用户的阅读过程中，根据所述相对位置信息通过所述投影装置将所述虚拟AR信息叠加呈现于所述物理对象。
14.根据权利要求13所述的设备，其中，所述摄像装置包括深度摄像头；
其中，所述位置确定装置用于：
根据所述图像信息中的深度信息确定所述物理对象相对所述阅读设备的相对位置信息。
15.根据权利要求13所述的设备，其中，所述设备还包括：
通过装置，用于通过所述投影装置在所述物理对象上投影参考标记；
其中，所述第一拍摄装置用于：
通过所述摄像装置拍摄所述物理对象及所述参考标记；
其中，所述位置确定装置用于：
根据所述参考标记被投影时的初始状态信息与所述图像信息中所述参考标记的当前状态信息，确定所述物理对象相对所述阅读设备的相对位置信息。
16.根据权利要求12至15中任一项所述的设备，其中，所述物理对象包括书籍；
其中，所述确定装置包括：
内容确定模块，用于根据所拍摄的图像信息确定所述书籍的当前在读内容信息；
AR确定模块，用于根据所述当前在读内容信息确定所述书籍对应的虚拟AR信息。
17.根据权利要求16所述的设备，其中，所述设备还用于：
通过所述摄像装置拍摄关于所述书籍的书籍标识信息的书籍图像信息；
从所述书籍图像信息中提取所述书籍的书籍标识信息；
根据所述书籍的书籍标识信息从对应网络设备获取并存储所述书籍的电子书籍信息；
其中，所述内容确定模块用于：
根据所拍摄的图像信息从所述书籍的电子书籍信息中确定所述书籍的当前在读内容信息。
18.根据权利要求16或17所述的设备，其中，所述内容确定模块用于：
从所述图像信息中提取页面特征信息，并根据所述页面特征信息从所述书籍中确定所述书籍的当前在读内容信息。
19.根据权利要求16至18中任一项所述的设备，其中，所述设备还包括其他获取模块，该其他获取模块用于：
从对应网络设备获取并存储所述书籍对应的其它虚拟AR信息，以供后续匹配使用。
20.根据权利要求12至19中任一项所述的设备，
其中，所述摄像装置包括深度摄像头；
其中，所述设备还包括：
删除装置，用于根据所述图像信息中的深度信息，并结合所述物理对象与所述阅读设备的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息；
其中，所述确定装置用于：
根据经删除处理后的所述图像信息确定所述物理对象对应的虚拟AR信息。
21.根据权利要20所述的设备，其中，所述删除装置包括：
平均模块，用于确定所述图像信息的中心区域像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息；
删除模块，用于根据所述图像信息中的深度信息，并结合所述的距离信息，删除所述图像信息中的其它信息，其中，所述其它信息对应的深度信息大于所述距离信息。
22.根据权利要求21所述的设备，其中，所述平均模块用于：
对所述图像信息的中心区域像素按深度信息差值进行聚类处理，以获得一个或多个聚类，其中，每个聚类包含若干个深度信息相近的像素；
选取包含最多像素的聚类，并计算该聚类中像素对应的深度信息的平均值信息，以作为所述物理对象与所述阅读设备的距离信息。
23.一种用于通过阅读设备进行阅读的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至11中任一项所述方法的操作。
24.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至11中任一项所述方法的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810450285.7A CN108681389B (zh) | 2018-05-11 | 2018-05-11 | 一种通过阅读设备进行阅读的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810450285.7A CN108681389B (zh) | 2018-05-11 | 2018-05-11 | 一种通过阅读设备进行阅读的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108681389A true CN108681389A (zh) | 2018-10-19 |
| CN108681389B CN108681389B (zh) | 2021-12-14 |
Family
ID=63805574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810450285.7A Active CN108681389B (zh) | 2018-05-11 | 2018-05-11 | 一种通过阅读设备进行阅读的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108681389B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766025A (zh) * | 2019-10-09 | 2020-02-07 | 杭州易现先进科技有限公司 | 绘本识别方法、装置、系统及存储介质 |
| CN111354075A (zh) * | 2020-02-27 | 2020-06-30 | 青岛联合创智科技有限公司 | 一种三维重建中前景降干扰提取方法 |
| CN111913566A (zh) * | 2019-05-10 | 2020-11-10 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
| CN112102662A (zh) * | 2020-08-11 | 2020-12-18 | 苏州承儒信息科技有限公司 | 一种基于虚拟宠物养成的智能网络教育方法及其系统 |
| CN112435347A (zh) * | 2020-11-23 | 2021-03-02 | 济南浪潮高新科技投资发展有限公司 | 一种增强现实的电子书阅读系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120074977A (ko) * | 2010-12-28 | 2012-07-06 | (주)이지런 | 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법 |
| CN102945637A (zh) * | 2012-11-29 | 2013-02-27 | 河海大学 | 一种基于增强现实的嵌入式教学模型及其方法 |
| CN103050025A (zh) * | 2012-12-20 | 2013-04-17 | 广东欧珀移动通信有限公司 | 一种移动终端的学习方法及其学习系统 |
| CN106210468A (zh) * | 2016-07-15 | 2016-12-07 | 网易（杭州）网络有限公司 | 一种增强现实显示方法和装置 |
| CN106227481A (zh) * | 2016-07-22 | 2016-12-14 | 北京奇虎科技有限公司 | 阅读文章时显示ar影像的方法和终端 |
| CN107229339A (zh) * | 2017-06-23 | 2017-10-03 | 福建水立方三维数字科技有限公司 | 一种增强现实白板系统 |
| CN107393356A (zh) * | 2017-04-07 | 2017-11-24 | 深圳市友悦机器人科技有限公司 | 控制方法、控制装置和早教机 |
-
2018
- 2018-05-11 CN CN201810450285.7A patent/CN108681389B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120074977A (ko) * | 2010-12-28 | 2012-07-06 | (주)이지런 | 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법 |
| CN102945637A (zh) * | 2012-11-29 | 2013-02-27 | 河海大学 | 一种基于增强现实的嵌入式教学模型及其方法 |
| CN103050025A (zh) * | 2012-12-20 | 2013-04-17 | 广东欧珀移动通信有限公司 | 一种移动终端的学习方法及其学习系统 |
| CN106210468A (zh) * | 2016-07-15 | 2016-12-07 | 网易（杭州）网络有限公司 | 一种增强现实显示方法和装置 |
| CN106227481A (zh) * | 2016-07-22 | 2016-12-14 | 北京奇虎科技有限公司 | 阅读文章时显示ar影像的方法和终端 |
| CN107393356A (zh) * | 2017-04-07 | 2017-11-24 | 深圳市友悦机器人科技有限公司 | 控制方法、控制装置和早教机 |
| CN107229339A (zh) * | 2017-06-23 | 2017-10-03 | 福建水立方三维数字科技有限公司 | 一种增强现实白板系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111913566A (zh) * | 2019-05-10 | 2020-11-10 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置、电子设备及计算机存储介质 |
| CN110766025A (zh) * | 2019-10-09 | 2020-02-07 | 杭州易现先进科技有限公司 | 绘本识别方法、装置、系统及存储介质 |
| CN110766025B (zh) * | 2019-10-09 | 2022-08-30 | 杭州易现先进科技有限公司 | 绘本识别方法、装置、系统及存储介质 |
| CN111354075A (zh) * | 2020-02-27 | 2020-06-30 | 青岛联合创智科技有限公司 | 一种三维重建中前景降干扰提取方法 |
| CN112102662A (zh) * | 2020-08-11 | 2020-12-18 | 苏州承儒信息科技有限公司 | 一种基于虚拟宠物养成的智能网络教育方法及其系统 |
| CN112435347A (zh) * | 2020-11-23 | 2021-03-02 | 济南浪潮高新科技投资发展有限公司 | 一种增强现实的电子书阅读系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108681389B (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108681389A (zh) | 一种通过阅读设备进行阅读的方法与设备 | |
| US10121099B2 (en) | Information processing method and system | |
| US10157479B2 (en) | Synthesizing training data for broad area geospatial object detection | |
| CN109887003A (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| Tsai et al. | Fast geometric re-ranking for image-based retrieval | |
| US9262853B2 (en) | Virtual scene generation based on imagery | |
| CN108734185B (zh) | 图像校验方法和装置 | |
| CN108665742A (zh) | 一种通过阅读设备进行阅读的方法与设备 | |
| CN107003977A (zh) | 用于组织存储在移动计算设备上的照片的系统、方法和装置 | |
| CN110413816A (zh) | 彩色草图图像搜索 | |
| CN105378792A (zh) | 三维对象建模 | |
| CN108734769A (zh) | 三维模型分析方法、电子装置及非暂态电脑可读取媒体 | |
| CN108229375B (zh) | 用于检测人脸图像的方法和装置 | |
| CN110751146A (zh) | 文本区域检测方法、装置、电子终端和计算机可读存储介质 | |
| CN108597034B (zh) | 用于生成信息的方法和装置 | |
| CN110036356A (zh) | Vr系统中的图像处理 | |
| Taşyürek | ODRP: a new approach for spatial street sign detection from EXIF using deep learning-based object detection, distance estimation, rotation and projection system | |
| US9830530B2 (en) | High speed searching method for large-scale image databases | |
| KR102342738B1 (ko) | 거대 ar 영상 정보 생성 방법 및 장치 | |
| GB2555168A (en) | Using labels to track high-frequency offsets for patch-matching algorithms | |
| CN114942713A (zh) | 基于增强现实的展示方法、装置、设备、存储介质及程序 | |
| US20210241019A1 (en) | Machine learning photographic metadata | |
| Amato et al. | Technologies for visual localization and augmented reality in smart cities | |
| CN112001380B (zh) | 基于人工智能现实场景下的中文意义词组的识别方法和系统 | |
| KR102138880B1 (ko) | ３ｄ 피사체 및 ３ｄ 영상을 이용한 ａｒ 간행물 서비스 제공 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |