CN104102412A - 一种基于增强现实技术的手持式阅览设备及其方法 - Google Patents

一种基于增强现实技术的手持式阅览设备及其方法 Download PDF

Info

Publication number
CN104102412A
CN104102412A CN201410354263.2A CN201410354263A CN104102412A CN 104102412 A CN104102412 A CN 104102412A CN 201410354263 A CN201410354263 A CN 201410354263A CN 104102412 A CN104102412 A CN 104102412A
Authority
CN
China
Prior art keywords
hand
held
reading equipment
quick response
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410354263.2A
Other languages
English (en)
Other versions
CN104102412B (zh
Inventor
熊剑明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YOUNGZONE (SHANGHAI) CORP Ltd
Original Assignee
YOUNGZONE (SHANGHAI) CORP Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YOUNGZONE (SHANGHAI) CORP Ltd filed Critical YOUNGZONE (SHANGHAI) CORP Ltd
Priority to CN201410354263.2A priority Critical patent/CN104102412B/zh
Publication of CN104102412A publication Critical patent/CN104102412A/zh
Priority to US15/125,582 priority patent/US9996979B2/en
Priority to JP2017524077A priority patent/JP2017522682A/ja
Priority to PCT/CN2015/000502 priority patent/WO2016011788A1/zh
Application granted granted Critical
Publication of CN104102412B publication Critical patent/CN104102412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Abstract

本发明提供了一种基于增强现实技术的手持式阅览设备及其方法。该设备包括：视频采集单元，用于透过第一摄像头捕捉现实场景；智能计算终端，用于对现实场景中的二维码进行识别，得到码值信息和空间位置信息，然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面；语音输出单元，用于透过扬声器输出与虚拟场景相对应的语音信息；以及液晶屏幕，呈圆形状，用于显示该阅览画面。相比于现有技术，本发明可生成与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力度感和动感等的虚拟环境，实现用户和虚拟三维环境直接进行交互。如此一来，小朋友可得到更多的感官刺激，提升了学习效率，寓教于乐。

Description

一种基于增强现实技术的手持式阅览设备及其方法
技术领域
本发明涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种基于增强现实技术的手持式阅览设备。
背景技术
增强现实技术是在虚拟现实的基础上发展起来的新技术，是虚拟现实研究的一个重要分支。概括地说，增强现实技术是借助计算机图形技术和可视化技术产生现实环境中并不存在的虚拟对象，并将虚拟对象准确地“嵌入”到真实环境中，然后通过显示设备将虚拟对象与真实环境融为一体，将虚拟的信息应用到真实世界，从而呈现给用户一个效果逼真的新环境，以实现对现实的增强。例如，AR技术可将原本在现实世界的一定时间空间范围内很难体验到的实体信息(诸如视觉信息、声音、味道或触觉)等，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验。
此外，在现有技术中，针对儿童的玩教具主要分为传统类、创新类、实体类、虚拟类、娱乐类和教育类，对应的主流产品包括早教机、点读机、点读笔、电子书/书包、识字卡片、电脑教育软件等。通过横向对比可知，传统教育类玩教具趣味性低，很难调动小朋友的主动性；高科技教育类玩教具操作较为复杂，对于使用者的认知和操控门槛较高，没有很好的可带动家庭互动的玩教形式。此外，这些玩教产品大多无创新性，相当多的产品只是在拷贝同类产品。另一方面，近年来随着平板电脑和智能手机的普及，让许多早教类软件开始关注便携式移动平台。但是，平板电脑并不是专门针对儿童开发的，目前市场上对儿童玩平板电脑也存在诸多反对声音，焦点问题大致包括：1)因平板电脑的屏幕尺寸相对较小，长期盯住屏幕容易造成视力下降或近视；2)平板电脑使用时，长期脖子弯着看平板电脑也可能会影响颈椎发育；3)儿童过早地接触软件游戏，不仅会缺乏对真实环境游戏的乐趣，有时还会影响或减低其对于学习的乐趣；4)触控式的平板电脑或智能手机虽然改变了传统使用键盘或鼠标的交互方式，但是儿童与玩教具的交互仍然停留在二维平面上，感官体验度较低。
有鉴于此，如何设计一种手持式阅览设备，将当前的增强现实技术与传统的儿童玩教具予以有机结合，寓教于乐，使小朋友在阅览的过程中将语言学习，图像认知和三维数字模型自然地联系到一起。增强感官刺激，提升学习效率，是相关领域技术人员亟待解决的一项课题。
发明内容
针对现有技术中的平板电脑和智能手机在应用于儿童玩教具时所存在的上述诸多缺陷，本发明提供了一种新颖的、基于增强现实技术的手持式阅览设备及其方法。
依据本发明的一个方面，提供了一种基于增强现实技术的手持式阅览设备，包括：
视频采集单元，用于透过第一摄像头捕捉现实场景；
智能计算终端，用于对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息，然后根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混合后的阅览画面；
语音输出单元，用于透过扬声器输出与所述虚拟场景相对应的语音信息；以及
液晶屏幕，呈圆形形状，用于显示所述智能计算终端生成的所述阅览画面。
在其中的一实施例，当移动所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。
在其中的一实施例，所述智能计算终端还包括：缓冲单元，用于对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。
在其中的一实施例，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。
在其中的一实施例，所述智能计算终端包括：网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。
在其中的一实施例，所述智能计算终端还包括：虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混合显示于所述液晶屏幕。
在其中的一实施例，所述智能计算终端还包括：交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。
在其中的一实施例，所述现实场景包括图书、识字卡、科技馆或博物馆中的物体和环境影像。
在其中的一实施例，所述手持式阅览设备还包括一存储单元，用于存储与所述增强现实应用相对应的虚拟场景数据。
在其中的一实施例，所述智能计算终端还包括：主线程处理单元，用于运行所述智能计算终端所进行的程序逻辑操作和渲染操作；以及多个分线程处理单元，用于执行图像采集操作，并将图像采集结果传回所述主线程处理单元。
在其中的一实施例，所述主线程处理单元向所述分线程处理单元发送图像采集请求，所述分线程处理单元根据所述图像采集请求进行图像采集操作。
在其中的一实施例，所述手持式阅览设备为类似于放大镜的外部轮廓，包括一圆形本体和一握持部，所述圆形本体装设具有触控功能的所述液晶屏幕，且所述圆形本体与所述握持部的连接处包括一控制按键。
在其中的一实施例，所述液晶屏幕的触控功能通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操作。
在其中的一实施例，所述圆形本体的顶端正中位置包括一第二摄像头和一麦克风，所述第二摄像头用于采集所述液晶屏幕一侧的现实场景，所述麦克风用于接收用户的语音交互信息。
在其中的一实施例，所述第一摄像头位于所述圆形本体的、与所述液晶屏幕相对的另一侧，用于采集和捕捉该侧的现实场景，所述第一摄像头为电荷耦合组件影像传感器或互补式金属氧化物半导体影像传感器。
在其中的一实施例，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。
在其中的一实施例，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强度不足时提供辅助背光。
依据本发明的另一个方面，提供了一种基于增强现实技术的手持式阅览方法，包括以下步骤：
视频采集单元透过第一摄像头捕捉现实场景；
智能计算终端对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息；
根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混合后的阅览画面；
语音输出单元透过扬声器输出与所述虚拟场景相对应的语音信息；以及
呈圆形状的液晶屏幕显示所述智能计算终端生成的所述阅览画面。
在其中的一实施例，该手持式阅览方法还包括步骤：当移动所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。
在其中的一实施例，该手持式阅览方法还包括步骤：对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。
在其中的一实施例，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。
在其中的一实施例，所述智能计算终端包括：网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。
在其中的一实施例，所述智能计算终端还包括：虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混合显示于所述液晶屏幕。
在其中的一实施例，所述智能计算终端还包括：交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。
在其中的一实施例，该手持式阅览方法还包括主线程和多个分线程，其中主线程用于运行所述智能计算终端处理过程中所进行的程序逻辑操作和渲染操作，分线程用于执行图像采集操作，并将图像采集结果传回所述主线程处理单元。
在其中的一实施例，所述增强现实应用包括图书、识字卡、科技馆或博物馆中的物体和环境影像。
依据本发明的再一个方面，提供了一种基于增强现实技术的手持式阅览设备，包括：
一圆形本体，具有相对设置的一正面和一背面，所述圆形本体的正面设有一液晶屏幕、一第二摄像头和一麦克风，所述圆形本体的背面设置一第一摄像头和一扬声器；以及
一握持部，与所述圆形本体相连接，用于抓握所述手持式阅览设备，
其中，所述手持式阅览设备对所述第一摄像头采集的现实场景进行三维虚拟场景的渲染，并透过所述液晶屏幕显示所述现实场景和所述虚拟场景混合后的阅览画面。
在其中的一实施例，所述液晶屏幕具有触控功能，且通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操作。
在其中的一实施例，第二摄像头和所述麦克风位于所述圆形本体的顶端的正中位置，所述第二摄像头用于采集所述圆形本体正面侧的现实场景，所述麦克风用于接收用户的语音交互信息。
在其中的一实施例，所述第一摄像头用于采集和捕捉所述圆形本体背面侧的现实场景，所述第一摄像头为电荷耦合组件影像传感器或互补式金属氧化物半导体影像传感器。
在其中的一实施例，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。
在其中的一实施例，所述圆形本体与所述握持部的连接处还包括一控制按键。
在其中的一实施例，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强度不足时提供辅助背光。
采用本发明的手持式阅览设备及其方法，视频采集单元透过第一摄像头捕捉现实场景，智能计算终端对现实场景中的二维码进行识别以得到码值信息和空间位置信息，然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面，呈圆形状的液晶屏幕用来显示来自智能计算终端生成的阅览画面。相比于现有技术，本发明利用智能计算终端生成一种与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力度感和动感等的虚拟环境，可实现用户和虚拟三维环境直接进行交互。如此一来，小朋友在学习过程中很容易将语言学习、图像认知和三维数字模型自然地联系到一起，增强了更多维度的感官刺激，提升了学习效率，寓教于乐。
附图说明
读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，
图1(a)～图1(c)示出依据本发明的一实施方式，基于增强现实技术的手持式阅览设备的外部轮廓示意图；
图2示出依据本发明的另一实施方式，基于增强现实技术的手持式阅览设备的结构组成示意图；
图3示出图2的手持式阅览设备的智能计算终端的一具体实施例；
图4示出采用图3的手持式阅览设备来实现增强现实的阅览画面的流程框图；
图5示出图2的手持式阅览设备的智能计算终端的另一具体实施例；
图6示出依据本发明的再一实施方式，基于增强现实技术的手持式阅览方法的流程框图；
图7示出采用图6的手持式阅览方法的第一实施例的增强现实效果示意图；
图8示出采用图6的手持式阅览方法的第二实施例的增强现实效果示意图；
图9示出采用图6的手持式阅览方法的第三实施例的增强现实效果示意图；以及
图10示出采用图6的手持式阅览方法的第四实施例的增强现实效果示意图。
具体实施方式
为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。
下面参照附图，对本发明各个方面的具体实施方式作进一步的详细描述。
图1(a)～图1(c)示出依据本发明的一实施方式，基于增强现实技术的手持式阅览设备的外部轮廓示意图。其中，图1(a)为设备的主视图，图1(b)为设备的后视图，图1(c)为设备的侧视图。
参照图1(a)～图1(c)，本发明基于增强现实技术的手持式阅览设备为类似于放大镜的外部轮廓，包括圆形本体和握持部4。该握持部4专门设计为符合儿童生理学且便于手持抓握的造型。
详细地，圆形本体的正面设有液晶屏幕1、第二摄像头和麦克风2。在此，圆形液晶屏幕可给用户带来“以小见大”和“以少见多”的直观感受。这是因为，矩形屏幕适合向宽而广的场景发展，而圆形屏幕适合往近而深的场景发掘。相对于传统的矩形屏幕，圆形屏幕的边角无法捉摸，角度可有可无，从而使其在传感器的作用下能够始终呈现正视角界面。例如，第二摄像头和麦克风2位于本体顶端的正中位置，第二摄像头(也可称为“前摄像头”)采集本体正面侧的现实场景，麦克风接收用户的语音交互信息。圆形本体的背面设置高清晰度的第一摄像头(也可称为“主摄像头”)5和扬声器6。握持部4与圆形本体相连接，用于用户尤其是儿童抓握该阅览设备。其中该手持式阅览设备对第一摄像头5采集的现实场景进行三维虚拟场景的渲染，并透过液晶屏幕1显示现实场景和虚拟场景混合后的阅览画面。
在一具体实施例，液晶屏幕1具有触控功能，且通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现相应的触控操作。
在一具体实施例，第一摄像头5采集和捕捉圆形本体背面侧的现实场景，例如，第一摄像头5为电荷耦合组件(CCD)影像传感器或互补式金属氧化物半导体(CMOS)影像传感器。
此外，在圆形本体的侧面还包括一功能按键7，用于在手持式阅览设备的不同功能之间进行切换。较佳地，还可在圆形本体与握持部4的连接处还包括一控制按键3。
此外，为便于设备在任何光线条件下都可进行阅读浏览，本发明还可包括亮度传感器和辅助背光源(图中未示出)。利用亮度传感器来检测设备的环境光强度，并且使用辅助背光源在环境光强度不足时提供辅助背光。
图2示出依据本发明的另一实施方式，基于增强现实技术的手持式阅览设备的结构组成示意图。参照图2，在该实施方式中，本发明的手持式阅览设备包括一视频采集单元10、一智能计算终端12、一语音输出单元14和一液晶屏幕16。
具体而言，视频采集单元10用于透过第一摄像头(诸如图1的主摄像头5)捕捉现实场景。智能计算终端12与视频采集单元10相耦接，用于对所捕捉的现实场景中的二维码进行识别，得到与二维码相对应的码值信息和空间位置信息，然后根据空间位置信息放置预设的匹配虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面。语音输出单元14与智能计算终端12相耦接，用于透过扬声器(诸如图1的扬声器6)输出与虚拟场景相对应的语音信息。液晶屏幕1呈圆形，其与智能计算终端12相耦接，用于显示来自智能计算终端12生成的阅览画面。
在一具体实施例，当阅览用户尤其是儿童移动手持式阅览设备时，现实场景中的二维码发生移动，智能计算终端12根据移动的二维码来控制虚拟场景中的画面移动，液晶屏幕1输出手持式阅览设备移动后的动态阅览画面。
此外，当避免二维码的移动速度过快或偏离第一摄像头的拍摄角度过大时从而导致二维码识别瞬时失败，进而造成与其关联的三维虚拟物体的显示发生卡顿现象，本发明的智能计算终端12还包括缓冲单元121。缓冲单元121用于对当前帧之前的若干个二维码所对应的码值信息和空间位置信息进行备份和缓存，并对虚拟场景中的三维虚拟物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。例如，虚拟场景中的三维虚拟物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到，以大幅提高虚拟物体移动的平滑性。
图3示出图2的手持式阅览设备的智能计算终端的一具体实施例。参照图3，在该实施例中，智能计算终端12还包括网络接口(图中未示出)、二维码识别单元123、虚拟场景生成单元125和虚拟实时渲染单元127。
其中，网络接口用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行。当用户将现实场景中的二维码移动至第一摄像头的拍摄范围内时，二维码识别单元123用于自动跟踪和识别二维码，并得到相对应的码值信息和空间位置信息。虚拟场景生成单元125与二维码识别单元123相耦接，用于根据来自二维码识别单元123的空间位置信息，查询到相匹配的虚拟场景。虚拟实时渲染单元127用于对查询得到的虚拟场景进行实时绘制，并将绘制后的虚拟场景与现实场景混合显示于液晶屏幕。
在一具体实施例，智能计算终端12还包括交互单元129，用于识别人脸或人手的交互操作，并根据交互操作来获得现实场景中隐含的三维信息，从而使三维信息与虚拟场景中的三维物体进行直接交互，提高设备的互动娱乐性。例如，上述现实场景包括图书、识字卡、科技馆或博物馆中的物体和环境影像。
此外，该手持式阅览设备还可包括一存储单元(图中未示出)，用于存储与增强现实应用相对应的虚拟场景数据，从而实现设备在离线状态下的增强现实体验。
图4示出采用图3的手持式阅览设备来实现增强现实的阅览画面的流程框图。
结合图4和图3，首先执行步骤S101和S103，用户通过互联网获取多个增强现实应用，并启动其中的一个应用。在步骤S105和S107中，第一摄像头开始视频采集和捕捉，将采集和捕捉到的现实场景显示在屏幕上，用户在第一摄像头拍摄范围内自由移动该现实场景的二维码。接着，对二维码进行自动跟踪和识别，如步骤S109所示。最后执行步骤S111，系统将二维码对应的三维虚拟物体渲染并显示在液晶屏幕上。此外，用户还可通过交互提供现实场景隐含的三维信息，使其与虚拟三维物体直接交互。
图5示出图2的手持式阅览设备的智能计算终端的另一具体实施例。参照图5，在该实施例中，智能计算终端12还包括主线程(main thread)处理单元131和分线程处理单元133。主线程处理单元131用于运行智能计算终端12所进行的程序逻辑操作和渲染操作。多个分线程处理单元133用于执行图像采集操作，并将图像采集结果传回主线程处理单元131。例如，主线程处理单元131向分线程处理单元133首先发送图像采集请求，分线程处理单元133根据该图像采集请求进行图像采集操作，并将图像采集结构送回主线程处理单元131进行后续处理。
图6示出依据本发明的再一实施方式，基于增强现实技术的手持式阅览方法的流程框图。
结合图6和图2，在该阅览方法中，首先执行步骤S21，由视频采集单元10透过第一摄像头捕捉现实场景。然后执行步骤S23和S25，智能计算终端12对所捕捉的现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息。然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面。接着在步骤S27中，语音输出单元14透过扬声器输出与虚拟场景相对应的语音信息。最后执行步骤S29，呈圆形状的液晶屏幕16显示智能计算终端12生成的阅览画面。
在一具体实施例，该手持式阅览方法还包括步骤：当移动手持式阅览设备时，现实场景中的二维码发生移动，智能计算终端根据移动的二维码来控制虚拟场景中的画面移动，液晶屏幕输出手持式阅览设备移动后的动态阅览画面。
在一具体实施例，该手持式阅览方法还包括步骤：对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。例如，虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。
图7示出采用图6的手持式阅览方法的第一实施例的增强现实效果示意图。
在图7中，用户将手持式阅览设备对着博物馆的名画时，设备的主摄像头捕捉该名画，并将预先设好的虚拟三维动画与现实物体进行混合，最终在圆形屏幕11上能够看到的画面效果是名画从原本现实场景中的静态画面开始转化为混合后的动态画面。
图8示出采用图6的手持式阅览方法的第二实施例的增强现实效果示意图。
在图8中，用户将手持式阅览设备对准地球仪上的某一地区时(如埃及)，设备的主摄像头22开始捕捉，并将预先设好的三维虚拟动画投射在地球仪上，最终在圆形屏幕21上呈现的效果是，该地区上空浮现该国家的特色动画(如金字塔和狮身人面像)。例如，孩子拿起这个“科学放大魔镜”(即，手持式阅览设备)对准地球仪的某个国家板块，圆形屏幕上呈现的画面效果是，地球仪上站着穿该国传统服装的三维人物及其它信息的图像，诸如著名建筑、历史人文等，这些不同类型的图像可通过按键切换。
图9示出采用图6的手持式阅览方法的第三实施例的增强现实效果示意图。
在图9中，用户将手持式阅览设备对准书本或卡片，设备的摄像头31开始工作，并将三维虚拟图像32投射在书本上，最终在圆形屏幕上可以看到书本上出现由现实场景和虚拟场景混合而成的三维立体画面。
图10示出采用图6的手持式阅览方法的第四实施例的增强现实效果示意图。
在图10中，用户将手持式阅览设备对准现实场景的一辆玩具坦克，设备的摄像头开始工作，经过设备中的智能计算终端处理后，最终可在圆形屏幕里看到的画面效果是，坦克边上有外星飞船正在攻击它，孩子可用该设备与坦克进行互动并操作坦克，通过增强现实技术实现虚拟和现实的结合，只见坦克炮管移动开火，把攻击它的外星飞船一一击落。
采用本发明的手持式阅览设备及其方法，视频采集单元透过第一摄像头捕捉现实场景，智能计算终端对现实场景中的二维码进行识别以得到码值信息和空间位置信息，然后根据空间位置信息放置预设的虚拟场景，并生成现实场景和虚拟场景混合后的阅览画面，呈圆形状的液晶屏幕用来显示来自智能计算终端生成的阅览画面。相比于现有技术，本发明利用智能计算终端生成一种与现实场景高度匹配的、具有逼真的视觉、听觉、触觉、力度感和动感等的虚拟环境，可实现用户和虚拟三维环境直接进行交互。如此一来，小朋友在学习过程中很容易将语言学习、图像认知和三维数字模型自然地联系到一起，增强了更多维度的感官刺激，提升了学习效率，寓教于乐。
上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。

Claims (33)

1.一种基于增强现实(Augmented Reality，AR)技术的手持式阅览设备，其特征在于，该手持式阅览设备还包括：
视频采集单元，用于透过第一摄像头捕捉现实场景；
智能计算终端，用于对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息，然后根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混合后的阅览画面；
语音输出单元，用于透过扬声器输出与所述虚拟场景相对应的语音信息；以及
液晶屏幕，呈圆形形状，用于显示所述智能计算终端生成的所述阅览画面。
2.根据权利要求1所述的手持式阅览设备，其特征在于，当移动所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。
3.根据权利要求2所述的手持式阅览设备，其特征在于，所述智能计算终端还包括：
缓冲单元，用于对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。
4.根据权利要求3所述的手持式阅览设备，其特征在于，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。
5.根据权利要求1所述的手持式阅览设备，其特征在于，所述智能计算终端包括：
网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及
二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。
6.根据权利要求5所述的手持式阅览设备，其特征在于，所述智能计算终端还包括：
虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及
虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混合显示于所述液晶屏幕。
7.根据权利要求6所述的手持式阅览设备，其特征在于，所述智能计算终端还包括：
交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。
8.根据权利要求1所述的手持式阅览设备，其特征在于，所述现实场景包括图书、识字卡、科技馆或博物馆中的物体和环境影像。
9.根据权利要求8所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包括一存储单元，用于存储与所述增强现实应用相对应的虚拟场景数据。
10.根据权利要求1所述的手持式阅览设备，其特征在于，所述智能计算终端还包括：
主线程处理单元，用于运行所述智能计算终端所进行的程序逻辑操作和渲染操作；以及
多个分线程处理单元，用于执行图像采集操作，并将图像采集结果传回所述主线程处理单元。
11.根据权利要求10所述的手持式阅览设备，其特征在于，所述主线程处理单元向所述分线程处理单元发送图像采集请求，所述分线程处理单元根据所述图像采集请求进行图像采集操作。
12.根据权利要求1所述的手持式阅览设备，其特征在于，所述手持式阅览设备为类似于放大镜的外部轮廓，包括一圆形本体和一握持部，所述圆形本体装设具有触控功能的所述液晶屏幕，且所述圆形本体与所述握持部的连接处包括一控制按键。
13.根据权利要求12所述的手持式阅览设备，其特征在于，所述液晶屏幕的触控功能通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操作。
14.根据权利要求12所述的手持式阅览设备，其特征在于，所述圆形本体的顶端正中位置包括一第二摄像头和一麦克风，所述第二摄像头用于采集所述液晶屏幕一侧的现实场景，所述麦克风用于接收用户的语音交互信息。
15.根据权利要求12所述的手持式阅览设备，其特征在于，所述第一摄像头位于所述圆形本体的、与所述液晶屏幕相对的另一侧，用于采集和捕捉该侧的现实场景，所述第一摄像头为电荷耦合组件(CCD)影像传感器或互补式金属氧化物半导体(CMOS)影像传感器。
16.根据权利要求12所述的手持式阅览设备，其特征在于，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。
17.根据权利要求1所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包括亮度传感器和辅助背光源，
所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强度不足时提供辅助背光。
18.一种基于增强现实(Augmented Reality，AR)技术的手持式阅览方法，其特征在于，该手持式阅览方法包括以下步骤：
视频采集单元透过第一摄像头捕捉现实场景；
智能计算终端对所述现实场景中的二维码进行识别，得到相应的码值信息和空间位置信息；
根据所述空间位置信息放置预设的虚拟场景，并生成所述现实场景和所述虚拟场景混合后的阅览画面；
语音输出单元透过扬声器输出与所述虚拟场景相对应的语音信息；以及
呈圆形状的液晶屏幕显示所述智能计算终端生成的所述阅览画面。
19.根据权利要求18所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括步骤：当移动所述手持式阅览设备时，所述现实场景中的二维码发生移动，所述智能计算终端根据移动的二维码来控制所述虚拟场景中的画面移动，所述液晶屏幕输出所述手持式阅览设备移动后的动态阅览画面。
20.根据权利要求19所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括步骤：
对当前帧之前的若干二维码所对应的码值信息和空间位置信息进行备份，并对所述虚拟场景中的三维物体运动驱动进行相应帧数的延迟，以预留二维码识别所需的处理时间。
21.根据权利要求20所述的手持式阅览方法，其特征在于，所述虚拟场景中的三维物体的瞬时位置由所备份的若干二维码的空间位置信息进行插值得到。
22.根据权利要求18所述的手持式阅览方法，其特征在于，所述智能计算终端包括：
网络接口，用于获取来自互联网的多个增强现实应用，并根据用户需求选择一个增强现实应用予以执行；以及
二维码识别单元，当用户将所述现实场景中的二维码移动至所述第一摄像头的拍摄范围内时，所述二维码识别单元自动跟踪和识别所述二维码，得到所述码值信息和所述空间位置信息。
23.根据权利要求22所述的手持式阅览方法，其特征在于，所述智能计算终端还包括：
虚拟场景生成单元，用于根据来自所述二维码识别单元的空间位置信息，查询到相匹配的虚拟场景，以及
虚拟实时渲染单元，用于对查询得到的虚拟场景进行实时绘制，并将绘制后的所述虚拟场景与所述现实场景混合显示于所述液晶屏幕。
24.根据权利要求23所述的手持式阅览方法，其特征在于，所述智能计算终端还包括：
交互单元，用于识别人脸或人手的交互操作，并根据所述交互操作来获得所述现实场景中隐含的三维信息，从而使所述三维信息与所述虚拟场景中的三维物体进行直接交互。
25.根据权利要求18所述的手持式阅览方法，其特征在于，该手持式阅览方法还包括主线程和多个分线程，其中主线程用于运行所述智能计算终端处理过程中所进行的程序逻辑操作和渲染操作，分线程用于执行图像采集操作，并将图像采集结果传回所述主线程处理单元。
26.根据权利要求18所述的手持式阅览方法，其特征在于，所述现实场景包括图书、识字卡、科技馆或博物馆中的物体和环境影像。
27.一种基于增强现实(Augmented Reality，AR)技术的手持式阅览设备，其特征在于，该手持式阅览设备包括：
一圆形本体，具有相对设置的一正面和一背面，所述圆形本体的正面设有一液晶屏幕、一第二摄像头和一麦克风，所述圆形本体的背面设置一第一摄像头和一扬声器；以及
一握持部，与所述圆形本体相连接，用于抓握所述手持式阅览设备，
其中，所述手持式阅览设备对所述第一摄像头采集的现实场景进行三维虚拟场景的渲染，并透过所述液晶屏幕显示所述现实场景和所述虚拟场景混合后的阅览画面。
28.根据权利要求27所述的手持式阅览设备，其特征在于，所述液晶屏幕具有触控功能，且通过电阻式、电容式、红外线扫描式或红外线图像感测式触控传感器来实现触控操作。
29.根据权利要求27所述的手持式阅览设备，其特征在于，所述第二摄像头和所述麦克风位于所述圆形本体的顶端的正中位置，所述第二摄像头用于采集所述圆形本体正面侧的现实场景，所述麦克风用于接收用户的语音交互信息。
30.根据权利要求27所述的手持式阅览设备，其特征在于，所述第一摄像头用于采集和捕捉所述圆形本体背面侧的现实场景，所述第一摄像头为电荷耦合组件(CCD)影像传感器或互补式金属氧化物半导体(CMOS)影像传感器。
31.根据权利要求27所述的手持式阅览设备，其特征在于，所述圆形本体的侧面还包括一功能按键，用于所述手持式阅览设备的不同功能之间进行切换。
32.根据权利要求27所述的手持式阅览设备，其特征在于，所述圆形本体与所述握持部的连接处还包括一控制按键。
33.根据权利要求27所述的手持式阅览设备，其特征在于，所述手持式阅览设备还包括亮度传感器和辅助背光源，所述亮度传感器用于检测所述手持式阅览设备的环境光强度，所述辅助背光源在所述环境光强度不足时提供辅助背光。
CN201410354263.2A 2014-07-24 2014-07-24 一种基于增强现实技术的手持式阅览设备及其方法 Active CN104102412B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410354263.2A CN104102412B (zh) 2014-07-24 2014-07-24 一种基于增强现实技术的手持式阅览设备及其方法
US15/125,582 US9996979B2 (en) 2014-07-24 2015-07-14 Augmented reality technology-based handheld viewing device and method thereof
JP2017524077A JP2017522682A (ja) 2014-07-24 2015-07-14 拡張現実技術に基づく手持ち式閲覧デバイス及びその方法
PCT/CN2015/000502 WO2016011788A1 (zh) 2014-07-24 2015-07-14 一种基于增强现实技术的手持式阅览设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410354263.2A CN104102412B (zh) 2014-07-24 2014-07-24 一种基于增强现实技术的手持式阅览设备及其方法

Publications (2)

Publication Number Publication Date
CN104102412A true CN104102412A (zh) 2014-10-15
CN104102412B CN104102412B (zh) 2017-12-12

Family

ID=51670602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410354263.2A Active CN104102412B (zh) 2014-07-24 2014-07-24 一种基于增强现实技术的手持式阅览设备及其方法

Country Status (4)

Country Link
US (1) US9996979B2 (zh)
JP (1) JP2017522682A (zh)
CN (1) CN104102412B (zh)
WO (1) WO2016011788A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731343A (zh) * 2015-04-14 2015-06-24 上海云富网络科技有限公司 一种基于移动终端的虚拟现实人机交互儿童教育体验系统
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN104899808A (zh) * 2015-06-25 2015-09-09 盐城金意光电科技有限公司 一种适用于儿童启蒙教育的系统及方法
CN104899920A (zh) * 2015-05-25 2015-09-09 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备
WO2016011788A1 (zh) * 2014-07-24 2016-01-28 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
CN105289011A (zh) * 2015-11-06 2016-02-03 龚杰 一种基于增强现实技术的拼搭玩具及使用方法
CN105381607A (zh) * 2015-11-10 2016-03-09 王欢 虚拟和实体协同交互的玩具模型
CN105608934A (zh) * 2015-12-21 2016-05-25 大连新锐天地传媒有限公司 Ar儿童故事早教舞台剧系统
CN105812708A (zh) * 2016-03-18 2016-07-27 严俊涛 视频通话方法及系统
CN105807917A (zh) * 2016-02-29 2016-07-27 广东小天才科技有限公司 一种辅助用户识字的方法及装置
CN105915879A (zh) * 2016-04-14 2016-08-31 京东方科技集团股份有限公司 一种视频显示方法、头戴式显示装置及系统
CN106445282A (zh) * 2016-09-08 2017-02-22 掌阅科技股份有限公司 一种基于增强现实技术的交互方法
CN106601043A (zh) * 2016-11-07 2017-04-26 爱可目（北京）科技股份有限公司 一种基于增强现实的多媒体互动教育设备及方法
CN106648499A (zh) * 2016-11-01 2017-05-10 深圳市幻实科技有限公司 一种增强现实地球仪的呈现的方法、装置及系统
CN106683501A (zh) * 2016-12-23 2017-05-17 武汉市马里欧网络有限公司 一种ar儿童情景扮演投影教学方法及系统
CN106859956A (zh) * 2017-01-13 2017-06-20 北京奇虎科技有限公司 一种人体穴位识别按摩方法、装置及ar设备
CN107589846A (zh) * 2017-09-20 2018-01-16 歌尔科技有限公司 场景切换方法、装置及电子设备
CN108107983A (zh) * 2018-01-29 2018-06-01 奕博文化（深圳）有限公司 一种博物馆藏品点交设备
CN108269307A (zh) * 2018-01-15 2018-07-10 歌尔科技有限公司 一种增强现实交互方法及设备
CN108805766A (zh) * 2018-06-05 2018-11-13 陈勇 一种ar体感沉浸式教学系统和方法
CN108874156A (zh) * 2018-08-30 2018-11-23 合肥虹慧达科技有限公司 增强现实交互系统及其使用方法
CN109213303A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的图书浏览方法及系统
US10268852B2 (en) 2017-01-13 2019-04-23 Lite-On Electronics (Guangzhou) Limited Electronic device and reading method
CN109863469A (zh) * 2016-10-18 2019-06-07 国际商业机器公司 使用热标签进行实时活动监控
CN109903391A (zh) * 2017-12-10 2019-06-18 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及系统
CN110119202A (zh) * 2019-04-24 2019-08-13 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及系统
CN110478892A (zh) * 2018-05-14 2019-11-22 彼乐智慧科技（北京）有限公司 一种三维交互的方法及系统
CN111583420A (zh) * 2020-05-27 2020-08-25 上海乂学教育科技有限公司 基于增强现实模式的智能学习系统和方法
CN112051943A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的信息显示方法和相应的电子设备
CN112785716A (zh) * 2020-04-07 2021-05-11 江南造船(集团)有限责任公司 增强现实的建造引导方法、装置、终端和介质

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10560683B2 (en) * 2016-04-08 2020-02-11 Maxx Media Group, LLC System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
US10522251B2 (en) 2016-07-08 2019-12-31 International Business Machines Corporation Infrared detectors and thermal tags for real-time activity monitoring
CN108446011A (zh) * 2017-02-14 2018-08-24 深圳梦境视觉智能科技有限公司 一种基于增强现实的医疗辅助方法及设备
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
JP2019091203A (ja) * 2017-11-14 2019-06-13 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
US10565798B2 (en) * 2017-11-17 2020-02-18 Mobilizar Technologies Private Limited Globe, and a method and a system for enabling augmented reality interactions with a globe
JP6413035B1 (ja) * 2018-01-18 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
TWI711966B (zh) * 2018-01-19 2020-12-01 宏達國際電子股份有限公司 電子裝置、顯示擴增實境場景的方法以及非暫態電腦可讀取媒體
CN108363556A (zh) * 2018-01-30 2018-08-03 百度在线网络技术（北京）有限公司 一种基于语音与增强现实环境交互的方法和系统
JP6413042B1 (ja) * 2018-05-30 2018-10-24 株式会社ほぼ日 プログラム、情報処理装置及び情報処理方法
CN109118591A (zh) * 2018-07-27 2019-01-01 天津大学 一种基于增强现实技术的文物云识别与交互系统及方法
US11030811B2 (en) 2018-10-15 2021-06-08 Orbit Technology Corporation Augmented reality enabled layout system and method
JP6869216B2 (ja) * 2018-11-07 2021-05-12 スカパーＪｓａｔ株式会社 拡張現実端末
CN109710056A (zh) * 2018-11-13 2019-05-03 宁波视睿迪光电有限公司 虚拟现实交互装置的显示方法及装置
US20220253196A1 (en) * 2019-03-29 2022-08-11 Sony Group Corporation Information processing apparatus, information processing method, and recording medium
CN110148222A (zh) * 2019-05-27 2019-08-20 重庆爱车天下科技有限公司 一种基于ar技术的看车方法及系统
CN110764685B (zh) * 2019-10-24 2023-04-18 上海掌门科技有限公司 用于识别二维码的方法和设备
CN110852132B (zh) * 2019-11-15 2023-10-03 北京金山数字娱乐科技有限公司 一种二维码空间位置确认方法及装置
CN111093032B (zh) * 2019-12-31 2021-08-27 维沃移动通信有限公司 一种信息显示方法及电子设备
US11626994B2 (en) 2020-02-27 2023-04-11 Sneakertopia Inc. System and method for presenting content based on articles properly presented and verifiably owned by or in possession of user
CN113256815B (zh) * 2021-02-24 2024-03-22 北京华清易通科技有限公司 虚拟现实场景融合及播放方法和虚拟现实设备
CN115565519B (zh) * 2022-11-30 2023-04-07 广汽埃安新能源汽车股份有限公司 对话语音生成方法、装置、设备、计算机可读介质
JP7449437B1 (ja) 2023-09-01 2024-03-13 株式会社ほぼ日 プログラム、情報処理方法及び情報処理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949798A (zh) * 2005-10-14 2007-04-18 张逶 一种圆形手机
CN202304918U (zh) * 2011-09-16 2012-07-04 杭州电子科技大学 一种手持式水表读数器
CN103207728A (zh) * 2012-01-12 2013-07-17 三星电子株式会社 提供增强现实的方法和支持该方法的终端
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
US20130283214A1 (en) * 2012-04-18 2013-10-24 Electronics And Telecommunications Research Institute Apparatus and method for providing user interface for recognizing gesture
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
CN203554527U (zh) * 2013-10-18 2014-04-16 深圳市晶通光电有限公司 一种用于移动终端的圆形液晶显示屏
CN204028887U (zh) * 2014-07-24 2014-12-17 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3786166B2 (ja) * 1998-06-30 2006-06-14 ソニー株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2004257872A (ja) * 2003-02-26 2004-09-16 Seiko Epson Corp 位置情報取得システム、位置情報取得装置、位置情報取得方法、及びプログラム
US20070176847A1 (en) * 2005-12-30 2007-08-02 Shah Kamalesh R Method and system to reduce display power consumption
JP2007279155A (ja) * 2006-04-03 2007-10-25 Mitsubishi Electric Corp 情報端末装置及び画像表示方法
JP2008022514A (ja) * 2006-06-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像表示装置
JP5472972B2 (ja) * 2009-06-24 2014-04-16 Ｎｅｃビッグローブ株式会社 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
US8625200B2 (en) * 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US20120249544A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Cloud storage of geotagged maps
WO2013168954A1 (en) * 2012-05-07 2013-11-14 Samsung Electronics Co., Ltd. Electronic system with augmented reality mechanism and method of operation thereof
CN102800065B (zh) 2012-07-13 2015-07-29 苏州梦想人软件科技有限公司 基于二维码识别跟踪的增强现实设备及方法
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
US9639964B2 (en) * 2013-03-15 2017-05-02 Elwha Llc Dynamically preserving scene elements in augmented reality systems
CN104102412B (zh) * 2014-07-24 2017-12-12 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1949798A (zh) * 2005-10-14 2007-04-18 张逶 一种圆形手机
CN202304918U (zh) * 2011-09-16 2012-07-04 杭州电子科技大学 一种手持式水表读数器
CN103207728A (zh) * 2012-01-12 2013-07-17 三星电子株式会社 提供增强现实的方法和支持该方法的终端
US20130283214A1 (en) * 2012-04-18 2013-10-24 Electronics And Telecommunications Research Institute Apparatus and method for providing user interface for recognizing gesture
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN203554527U (zh) * 2013-10-18 2014-04-16 深圳市晶通光电有限公司 一种用于移动终端的圆形液晶显示屏
CN204028887U (zh) * 2014-07-24 2014-12-17 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996979B2 (en) 2014-07-24 2018-06-12 Youngzone Culture (Shanghai) Co., Ltd. Augmented reality technology-based handheld viewing device and method thereof
WO2016011788A1 (zh) * 2014-07-24 2016-01-28 央数文化(上海)股份有限公司 一种基于增强现实技术的手持式阅览设备及其方法
CN104731343A (zh) * 2015-04-14 2015-06-24 上海云富网络科技有限公司 一种基于移动终端的虚拟现实人机交互儿童教育体验系统
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN104899920A (zh) * 2015-05-25 2015-09-09 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备
CN104899920B (zh) * 2015-05-25 2019-03-08 联想(北京)有限公司 图像处理方法、图像处理装置及电子设备
CN104899808A (zh) * 2015-06-25 2015-09-09 盐城金意光电科技有限公司 一种适用于儿童启蒙教育的系统及方法
CN105289011A (zh) * 2015-11-06 2016-02-03 龚杰 一种基于增强现实技术的拼搭玩具及使用方法
CN105381607A (zh) * 2015-11-10 2016-03-09 王欢 虚拟和实体协同交互的玩具模型
CN105608934A (zh) * 2015-12-21 2016-05-25 大连新锐天地传媒有限公司 Ar儿童故事早教舞台剧系统
CN105807917A (zh) * 2016-02-29 2016-07-27 广东小天才科技有限公司 一种辅助用户识字的方法及装置
CN105812708A (zh) * 2016-03-18 2016-07-27 严俊涛 视频通话方法及系统
CN105915879B (zh) * 2016-04-14 2018-07-10 京东方科技集团股份有限公司 一种视频显示方法、头戴式显示装置及系统
CN105915879A (zh) * 2016-04-14 2016-08-31 京东方科技集团股份有限公司 一种视频显示方法、头戴式显示装置及系统
CN106445282A (zh) * 2016-09-08 2017-02-22 掌阅科技股份有限公司 一种基于增强现实技术的交互方法
CN106445282B (zh) * 2016-09-08 2019-04-30 掌阅科技股份有限公司 一种基于增强现实技术的交互方法
CN109863469A (zh) * 2016-10-18 2019-06-07 国际商业机器公司 使用热标签进行实时活动监控
CN109863469B (zh) * 2016-10-18 2021-11-05 国际商业机器公司 使用热标签进行实时活动监控
CN106648499A (zh) * 2016-11-01 2017-05-10 深圳市幻实科技有限公司 一种增强现实地球仪的呈现的方法、装置及系统
CN106601043A (zh) * 2016-11-07 2017-04-26 爱可目（北京）科技股份有限公司 一种基于增强现实的多媒体互动教育设备及方法
CN106683501B (zh) * 2016-12-23 2019-05-14 武汉市马里欧网络有限公司 一种ar儿童情景扮演投影教学方法及系统
CN106683501A (zh) * 2016-12-23 2017-05-17 武汉市马里欧网络有限公司 一种ar儿童情景扮演投影教学方法及系统
CN106859956A (zh) * 2017-01-13 2017-06-20 北京奇虎科技有限公司 一种人体穴位识别按摩方法、装置及ar设备
US10268852B2 (en) 2017-01-13 2019-04-23 Lite-On Electronics (Guangzhou) Limited Electronic device and reading method
CN109213303A (zh) * 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的图书浏览方法及系统
CN107589846A (zh) * 2017-09-20 2018-01-16 歌尔科技有限公司 场景切换方法、装置及电子设备
CN109903391A (zh) * 2017-12-10 2019-06-18 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及系统
CN108269307A (zh) * 2018-01-15 2018-07-10 歌尔科技有限公司 一种增强现实交互方法及设备
CN108107983A (zh) * 2018-01-29 2018-06-01 奕博文化（深圳）有限公司 一种博物馆藏品点交设备
CN108107983B (zh) * 2018-01-29 2024-03-01 北京清尚建筑装饰工程有限公司 一种博物馆藏品点交设备
CN110478892A (zh) * 2018-05-14 2019-11-22 彼乐智慧科技（北京）有限公司 一种三维交互的方法及系统
CN108805766A (zh) * 2018-06-05 2018-11-13 陈勇 一种ar体感沉浸式教学系统和方法
CN108805766B (zh) * 2018-06-05 2022-09-02 陈勇 一种ar体感沉浸式教学系统和方法
CN108874156A (zh) * 2018-08-30 2018-11-23 合肥虹慧达科技有限公司 增强现实交互系统及其使用方法
CN110119202A (zh) * 2019-04-24 2019-08-13 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及系统
CN110119202B (zh) * 2019-04-24 2024-01-19 彼乐智慧科技（北京）有限公司 一种实现场景交互的方法及系统
CN112051943A (zh) * 2019-06-05 2020-12-08 北京外号信息技术有限公司 基于光通信装置的信息显示方法和相应的电子设备
CN112785716A (zh) * 2020-04-07 2021-05-11 江南造船(集团)有限责任公司 增强现实的建造引导方法、装置、终端和介质
CN111583420A (zh) * 2020-05-27 2020-08-25 上海乂学教育科技有限公司 基于增强现实模式的智能学习系统和方法
CN111583420B (zh) * 2020-05-27 2021-11-12 上海松鼠课堂人工智能科技有限公司 基于增强现实模式的智能学习系统和方法

Also Published As

Publication number Publication date
US20170004651A1 (en) 2017-01-05
CN104102412B (zh) 2017-12-12
WO2016011788A1 (zh) 2016-01-28
US9996979B2 (en) 2018-06-12
JP2017522682A (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
CN104102412A (zh) 一种基于增强现实技术的手持式阅览设备及其方法
CN204028887U (zh) 一种基于增强现实技术的手持式阅览设备
CN106383587B (zh) 一种增强现实场景生成方法、装置及设备
CN109085966B (zh) 一种基于云计算的三维展示系统及方法
US20180197345A1 (en) Augmented reality technology-based handheld viewing device and method thereof
US11043031B2 (en) Content display property management
CN109976519B (zh) 一种基于增强现实的交互显示装置及其交互显示方法
CN109661686B (zh) 对象显示系统、用户终端装置、对象显示方法及程序
CN105320262A (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN110688005A (zh) 混合现实的教学环境、教师、教具互动系统及互动方法
CN104834375A (zh) 基于增强现实的游乐园指南系统
CN108573403A (zh) 一种多维视觉导购系统和方法
CN114359520A (zh) 元宇宙系统及其交互方法
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
CN114387445A (zh) 对象关键点识别方法及装置、电子设备和存储介质
CN111640192A (zh) 场景图像处理方法、装置、ar设备以及存储介质
CN110096144B (zh) 一种基于三维重建的交互全息投影方法及系统
CN114359519A (zh) 一种元宇宙系统
CN109739353A (zh) 一种基于手势、语音、视线追踪识别的虚拟现实交互系统
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
CN203085064U (zh) 一种虚拟星空教学设备
CN202854704U (zh) 一种3d显示的人机交互的设备
RU168332U1 (ru) Устройство для воздействия на виртуальные объекты дополненной реальности
CN103810932A (zh) 一种虚拟星空教学设备
CN209962443U (zh) 一种动物造型的增强现实显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant