CN107957859A - 用于虚拟现实儿童教学的图像展示方法和虚拟现实设备 - Google Patents

用于虚拟现实儿童教学的图像展示方法和虚拟现实设备 Download PDF

Info

Publication number
CN107957859A
CN107957859A CN201711320740.3A CN201711320740A CN107957859A CN 107957859 A CN107957859 A CN 107957859A CN 201711320740 A CN201711320740 A CN 201711320740A CN 107957859 A CN107957859 A CN 107957859A
Authority
CN
China
Prior art keywords
image
virtual reality
presented
characteristic matrix
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711320740.3A
Other languages
English (en)
Inventor
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201711320740.3A priority Critical patent/CN107957859A/zh
Publication of CN107957859A publication Critical patent/CN107957859A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种用于虚拟现实儿童教学的图像展示方法和虚拟现实设备,所述方法包括:获取虚拟现实设备中针对儿童教学的待展示图像;确定所述待展示图像对应的图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度;根据所述相似度选出预设数量的图像特征矩阵,其中,选出的图像特征矩阵对应的相似度大于其他图像特征矩阵对应的相似度;展示所述待展示图像以及与选出的图像特征矩阵对应的预设介绍信息,以通过所述虚拟现实设备实现儿童教学。通过实施本方案的实施例,可以降低基于虚拟现实设备实现儿童教学时展示图像所占用的存储资源。

Description

用于虚拟现实儿童教学的图像展示方法和虚拟现实设备
技术领域
本发明涉及虚拟现实技术领域,尤其涉及一种用于虚拟现实儿童教学的图像展示方法和虚拟现实设备。
背景技术
随着虚拟现实技术的发展,虚拟现实技术已经被应用在各种领域。其中一种应用场景比如是应用于儿童教学领域,教学的目的比如是:教导儿童认识事物。
现有技术中,需要预先存储用于识别当前用户观看的物体是什么的图像库,即该图像库中存储有各类物体的至少一幅图像。为了满足不同应用场景下教导用户认识物体的需求,图像库中存储的图像数量往往是海量的,这就使得该图像库所占用的存储资源较大。
发明内容
有鉴于此,本发明实施例提供一种用于虚拟现实儿童教学的图像展示方法和虚拟现实设备,用以降低基于虚拟现实设备进行儿童教学过程中展示图像所占用的存储资源。
第一方面,本发明实施例提供一种用于虚拟现实儿童教学的图像展示方法,包括:
获取虚拟现实设备中针对儿童教学的待展示图像;
确定所述待展示图像对应的图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度;
根据所述相似度选出预设数量的图像特征矩阵,其中,选出的图像特征矩阵对应的相似度大于其他图像特征矩阵对应的相似度;
展示所述待展示图像以及与选出的图像特征矩阵对应的预设介绍信息,以通过所述虚拟现实设备实现儿童教学。
第二方面,本发明实施例提供一种存储介质,所述存储介质用于存储可执行指令,所述可执行指令用于被执行以实现本发明实施例第一方面提供的图像展示方法。
第三方面,本发明实施例提供一种虚拟现实设备,所述虚拟现实设备包括:
处理器、存储器;
所述存储器用于存储可执行指令;
所述处理器通过执行所述存储器中所存储的可执行指令实现本发明实施例第一方面提供的图像展示方法。
本发明实施例所提供的一种用于虚拟现实儿童教学的图像展示方法和虚拟现实设备,在展示待展示图像的同时,通过预先获取的、与各类物体对应的图像特征矩阵对待显示图像的图像矩阵进行识别,并将与识别结果相对应的介绍信息与待展示图像一同展示。由于本实施例中存储的是经过训练获得的各类物体的图像特征矩阵,该矩阵相比于现有技术中存储整个图像而言,占用的存储空间较少,进而节省存储资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的展示方法的流程图;
图2为图1所示实施例基础上的图像特征矩阵获得方式;
图3为深度学习模型的再训练方式;
图4为发明实施例提供的展示装置的结构示意图;
图5为发明实施例提供的虚拟现实设备的结构示意图;
图6为发明实施例提供的虚拟现实设备的另一结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
进一步值得说明的是,本发明各实施例中各步骤之间的顺序是可以调整的,不是必须按照以下举例的顺序执行。
本发明实施例提供一种用于虚拟现实儿童教学的图像展示方法,应用于虚拟现实设备。可选地,虚拟现实设备可以为单/双目虚拟现实眼镜。具体地,本发明实施例提供的方法还可以应用于运行在虚拟现实设备上的图像展示装置。图像展示装置可以为图像展示类软件、图像播放器等,当然还可以为浏览器、照相机等相关软件的功能插件。
如图1所示,本发明实施例提供的方法,包括如下步骤:
S101:获取虚拟现实设备中针对儿童教学的待展示图像。
其中,待展示图像可以由虚拟现实设备的摄像头从周围环境中拍摄而得;可选地,待展示图像还可以由用户从虚拟现实设备中所存储的预先建立的图片库中选取而得;当然,待展示图像还可以由虚拟现实设备从互联网获取而得。
举例而言,若家长发现现实生活中的物体A,并希望教会自己的孩子认识物体A,则可通过虚拟现实设备的摄像头拍摄物体A的图像,以进行后续识别展示。
S102:确定待展示图像对应的图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度。
虚拟现实设备获取到待展示图像后,可以获取到与待展示图像对应的图像矩阵。
图像特征矩阵的获取方式,请参见图2对应实施例的详细介绍。
可以理解到的是,图像矩阵可以是待展示图像全部数据对应的矩阵。较佳地,还可以为待展示图像的特征数据对应的矩阵,例如,若家长希望通过虚拟现实设备教会孩子认识猫,则待展示图像中的景物为猫,则特征数据可以为猫的眼睛、鼻子、爪子等部位对应的数据,进而图像矩阵由上述特征数据组成。
可以理解到的是,各类物体指的是待显示图像中的物体的种类,例如,物体的种类可以包括:树木、花、草、农作物等植物;和/或狮子、大象、狗、猫、猎豹等动物;和/或蚂蚁、蜜蜂、蝴蝶等各类昆虫,进而可以通过虚拟显示设备教导儿童认识上述列出的各类物体。当然,物体的种类还可以为其他,本实施例不在此一一列举。
针对图像矩阵与各类物体中的一类物体对应的图像特征矩阵的相似度,其获得方式可以为:比对上述两矩阵中相应位置上数据的一致性。例如,若图像矩阵、某一图像特征矩阵都为20*20的矩阵,则对比两矩阵第1行第1列、第1行第2列、……、第1行第20列、第2行第1列、第2行第2列、……、第2行第20列、……、第20行第1列、……、第20行第20列上的数据,在上述比对过程中,一致的数据越多,则两矩阵的相似度越高。
S103:根据相似度选出预设数量的图像特征矩阵,其中,选出的图像特征矩阵对应的相似度大于其他图像特征矩阵对应的相似度。
当获取到图像矩阵与各个类别的图像特征矩阵的相似度后,比对各个相似度之间的数值,选取预设数量个数值最大的矩阵。
S104:展示待展示图像以及与选出的图像特征矩阵对应的预设介绍信息,以通过所述虚拟现实设备实现儿童教学。
预设介绍信息包括如下至少一种:文字介绍信息、语音介绍信息、参考物体图像,当然,预设介绍信息的类型并不限于上述罗列出的种类。
若待展示图像为全景图像时,则可以通过如下方式进行展示:生成立体展示模型;将待展示图像展示在立体展示模型的表面。以使得待展示图像以360度全景效果进行展示,增加了展示的真实程度,提高了虚拟现实儿童教学的趣味性。
由此,本发明实施例中,通过虚拟现实对比待展示图像的图像矩阵与各类物体对应的图像特征矩阵之间的相似度,选取预设数量个相似度较高的图像特征矩阵,并展示待展示图像、以及所选出的图像特征矩阵对应的预设介绍信息,以在展示待展示图像的同时,对待展示图像中的景物进行识别进而介绍该景物,进而通过虚拟现实设备对儿童进行教学。由于,本实施例中,在展示待展示图像以及其介绍信息的过程中,通过虚拟现实设备中所存储的各类物体的图像特征矩阵对待显示图像进行识别,以获得待显示图像的识别信息,上述图像特征矩阵与整个图像相比所占据地存储资源较少,因此可以节省虚拟现实设备的存储资源。
以下介绍预先训练获得的各类物体对应的图像特征矩阵的其中一种可选获得方式,如图2所示,可以包括如下步骤:
S201:获取训练样本图像集合,训练样本图像集合中包括各类物体对应的样本图像。
训练样本图像集合中的样本图像可以从互联网获得。当然也可以是对互联网上的图片进行预处理后获得的,预处理可以包括拉伸、旋转、放大、缩小等等。
S202:以训练样本图像集合中包含的各样本图像以及各样本图像对应的物体类别为输入,对深度学习模型进行分类训练,以获得各类物体对应的图像特征矩阵。
可选地,对深度学习模型进行分类训练具体包括:提取样本图像的样本特征数据,并建立样本特征数据与物体类别之间的映射关系。建立映射关系的可选实施方式可以为:将同一类别的样本图像的样本特征数据存储至一个矩阵中,以形成该类物体对应的图像特征矩阵。
S203:建立各类物体对应的图像特征矩阵与各类物体对应的预设介绍信息间的对应关系。
在建立对应关系后,针对每一个所确定出的图像特征矩阵,可以获取到与其对应的唯一一组介绍信息,进而可以进行展示。
本实施例中,介绍了图像特征矩阵的获得过程,并建立所获得的图像特征矩阵与预设介绍信息间的对应关系,当根据待展示图像选取出图像特征矩阵后,根据对应关系可以完成与上述待展示图像相关的介绍信息的展示。
实际情况下,所展示的介绍信息与待展示图像可能不相对应,例如,待展示图像中的景物是猫,但是介绍信息却介绍待展示图像中的景物为猎豹,也就是说,虚拟现实设备进行了错误的介绍。针对上述情况,用户可能会对错误的介绍进行反馈,进而,在一可选实施例中,如图3所示,包括如下步骤:
S301:响应于用户根据预设介绍信息触发的介绍错误指令,将待展示图像存储至错误数据集。
S302:若错误数据集中包含的图像数量达到预设值,则结合错误数据集中包含的图像对深度学习模型进行重新训练,以更新所述各类物体对应的图像特征矩阵。
可选地,若在用户反馈介绍错误指令时,同时反馈了待展示图像对应的正确物体类别,则S302中的重新训练过程可以通过以下方式实现:
S302A:对于错误数据集中包含的任一图像,判断该图像对应的正确物体类别是否存在于训练样本图像集合所对应的物体类别中,若存在则执行步骤S302B,若不存在则执行步骤S302C。
也就是说,首先检测错误数据集中包含的物体类别是否已经存在于训练样本图像集合中,若存在则执行步骤S302B,若不存在则执行步骤S302C。具体地检测方式,可以将错误数据集中的图像的物体类别与训练样本图像集合中已有的物体类别一一进行比对。
S302B:从训练样本图像集合中筛选出与正确物体类别对应的各样本图像;结合筛选出的样本图像和上述任一图像对深度学习模型进行重新训练。
若上述任一图像的物体类别已经存在于训练样本图像集,则基于已经存在的图像、以及上述任一图像对训练深度模型进行训练。
S302C:获取与正确物体类别对应的样本图像;结合获取的样本图像和上述任一图像对深度学习模型进行重新训练。
若上述任一图像的物体类别未存在于训练样本图像集中,则在深度学习模型中增加上述任一图像的物体类别,并基于错误数据集中与所增加物体类别相同类别的图像完成针对该类别的训练。
相应于上述方法实施例,如图4所示,本发明实施还提供一种用于虚拟现实儿童教学的图像展示装置,包括:
获取模块410,用于获取虚拟现实设备中针对儿童教学的待展示图像;
确定模块420,用于确定所述待展示图像对应的图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度;
筛选模块430,用于根据所述相似度选出预设数量的图像特征矩阵,其中,选出的图像特征矩阵对应的相似度大于其他图像特征矩阵对应的相似度;
展示模块440,用于展示所述待展示图像以及与选出的图像特征矩阵对应的预设介绍信息,以通过所述虚拟现实设备实现儿童教学。
由此,本实施例中,在展示待展示图像以及其介绍信息的过程中,通过所存储的各类物体的图像特征矩阵对待显示图像进行识别,以获得待显示图像的识别信息,由于上述图像特征矩阵与整个图像相比所占据地存储资源较少,因此可以节省虚拟现实设备进行儿童教学时所占用的存储资源。
可选地,所述装置还包括:训练模块450,包括:
获取子模块451,用于获取训练样本图像集合,所述训练样本图像集合中包括所述各类物体对应的样本图像;
训练子模块452,用于以所述训练样本图像集合中包含的各样本图像以及各样本图像对应的物体类别为输入,对深度学习模型进行分类训练,以获得所述各类物体对应的图像特征矩阵。
可选地,所述装置还包括:建立模块460,具体用于:
建立所述各类物体对应的图像特征矩阵与所述各类物体对应的预设介绍信息间的对应关系。
可选地,所述装置还包括:再训练模块470,包括:
存储子模块471,用于响应于用户根据所述预设介绍信息触发的介绍错误指令,将所述待展示图像存储至错误数据集;
再训练子模块472,用于若所述错误数据集中包含的图像数量达到预设值,则结合所述错误数据集中包含的图像对所述深度学习模型进行重新训练,以更新所述各类物体对应的图像特征矩阵。
可选地,所述介绍错误指令中包括所述待展示图像对应的正确物体类别;
所述再训练子模块472,包括:
判断子模块4721,用于对于所述错误数据集中包含的任一图像判断所述任一图像对应的正确物体类别是否存在于所述训练样本图像集合所对应的物体类别中,若存在则触发第一训练子模块4722,否则触发第二训练子模块4723;
第一训练子模块4722,用于从所述训练样本图像集合中筛选出与所述正确物体类别对应的各样本图像;结合筛选出的样本图像和所述任一图像对所述深度学习模型进行重新训练;
第二训练子模块4723,用于获取与所述正确物体类别对应的样本图像;结合获取的样本图像和所述任一图像对所述深度学习模型进行重新训练。
可选地,所述展示模块440,包括:
生成子模块441,用于生成立体展示模型;
展示子模块442,用于将所述待展示图像展示在所述立体展示模型的表面。
可选地,所述预设介绍信息包括如下至少一种:文字介绍信息、语音介绍信息、参考物体图像。
需要说明的是,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得较为简单,相关之处参见方法实施例的部分说明即可。
本发明实施例还提供一种存储介质,所述存储介质用于存储可执行指令,所述可执行指令用于被执行以实现本发明的方法实施例提供的图像展示方法。
如图5所示,本发明实施例还提供一种虚拟现实设备,所述虚拟现实设备包括:
存储器510、处理器520;
所述存储器510用于存储可执行指令;
所述处理器520通过执行所述存储器510中所存储的可执行指令实现本发明的方法实施例提供的图像展示方法。
由此,本实施例中,在展示待展示图像以及其介绍信息的过程中,通过所存储的各类物体的图像特征矩阵对待显示图像进行识别,以获得待显示图像的识别信息,由于上述图像特征矩阵与整个图像相比所占据地存储资源较少,因此可以节省存储资源。
可选地,本发明实施例提供的虚拟现实设备还可以包括通信接口530,用以实现虚拟现实设备与外部设备、外部网络之间的通信。
本发明一些实施例提供的虚拟现实设备可以为头戴显示设备,具体可以为外接式头戴显示设备或者一体式头戴显示设备,其中外接式头戴显示设备需要与外部处理系统(例如计算机处理系统)配合使用。
图6示出了一些实施例中头戴显示设备600的内部配置结构示意图。
显示单元601可以包括显示面板,显示面板设置在头戴显示设备600上面向用户面部的侧表面,可以为一整块面板、或者为分别对应用户左眼和右眼的左面板和右面板。显示面板可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。
虚拟图像光学单元602以放大方式拍摄显示单元601所显示的图像,并允许用户按放大的虚拟图像观察所显示的图像。作为输出到显示单元601上的显示图像,可以是从内容再现设备(蓝光光碟或DVD播放器)或流媒体服务器提供的虚拟场景的图像、或者使用外部相机610拍摄的现实场景的图像。一些实施例中,虚拟图像光学单元602可以包括透镜单元,例如球面透镜、非球面透镜、菲涅尔透镜等。
输入操作单元603包括至少一个用来执行输入操作的操作部件,例如按键、按钮、开关或者其他具有类似功能的部件,通过操作部件接收用户指令,并且向控制单元607输出指令。
状态信息获取单元604用于获取穿戴头戴显示设备600的用户的状态信息。状态信息获取单元604可以包括各种类型的传感器,用于自身检测状态信息,并可以通过通信单元605从外部设备(例如智能手机、腕表和用户穿戴的其它多功能终端)获取状态信息。状态信息获取单元604可以获取用户的头部的位置信息和/或姿态信息。状态信息获取单元604可以包括陀螺仪传感器、加速度传感器、全球定位系统(GPS)传感器、地磁传感器、多普勒效应传感器、红外传感器、射频场强度传感器中的一个或者多个。此外,状态信息获取单元604获取穿戴头戴显示设备600的用户的状态信息,例如获取例如用户的操作状态(用户是否穿戴头戴显示设备600)、用户的动作状态(诸如静止、行走、跑动和诸如此类的移动状态,手或指尖的姿势、眼睛的开或闭状态、视线方向、瞳孔尺寸)、精神状态(用户是否沉浸在观察所显示的图像以及诸如此类的),甚至生理状态。
通信单元605执行与外部装置的通信处理、调制和解调处理、以及通信信号的编码和解码处理。另外,控制单元607可以从通信单元605向外部装置发送传输数据。通信方式可以是有线或者无线形式,例如移动高清链接(MHL)或通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真(Wi-Fi)、蓝牙通信或低功耗蓝牙通信,以及IEEE802.11s标准的网状网络等。另外,通信单元605可以是根据宽带码分多址(W-CDMA)、长期演进(LTE)和类似标准操作的蜂窝无线收发器。
一些实施例中,头戴显示设备600还可以包括存储单元606,存储单元606是配置为具有固态驱动器(SSD)等的大容量存储设备。一些实施例中,存储单元606可以存储应用程序或各种类型的数据。例如,用户使用头戴显示设备600观看的内容可以存储在存储单元606中。
一些实施例中,头戴显示设备600还可以包括控制单元,控制单元607可以包括计算机处理单元(CPU)或者其他具有类似功能的设备。一些实施例中,控制单元607可以用于执行存储单元606存储的应用程序,或者控制单元607还可以用于执行本申请一些实施例公开的方法、功能和操作的电路。
图像处理单元608用于执行信号处理,比如与从控制单元607输出的图像信号相关的图像质量校正,以及将其分辨率转换为根据显示单元601的屏幕的分辨率。然后,显示驱动单元609依次选择显示单元601的每行像素,并逐行依次扫描显示单元601的每行像素,因而提供基于经信号处理的图像信号的像素信号。
一些实施例中,头戴显示设备600还可以包括外部相机。外部相机610可以设置在头戴显示设备600主体前表面,外部相机610可以为一个或者多个。外部相机610可以获取三维信息,并且也可以用作距离传感器。另外,探测来自物体的反射信号的位置灵敏探测器(PSD)或者其他类型的距离传感器可以与外部相机610一起使用。外部相机610和距离传感器可以用于检测穿戴头戴显示设备600的用户的身体位置、姿态和形状。另外,一定条件下用户可以通过外部相机610直接观看或者预览现实场景。
一些实施例中,头戴显示设备600还可以包括声音处理单元,声音处理单元611可以执行从控制单元607输出的声音信号的声音质量校正或声音放大,以及输入声音信号的信号处理等。然后,声音输入/输出单元612在声音处理后向外部输出声音以及输入来自麦克风的声音。
需要说明的是,图6中虚线框示出的结构或部件可以独立于头戴显示设备600之外,例如可以设置在外部处理系统(例如计算机系统)中与头戴显示设备600配合使用;或者,虚线框示出的结构或部件可以设置在头戴显示设备600内部或者表面上。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种用于虚拟现实儿童教学的图像展示方法,其特征在于,包括:
获取虚拟现实设备中针对儿童教学的待展示图像;
确定所述待展示图像对应的图像矩阵与预先训练获得的各类物体对应的图像特征矩阵之间的相似度;
根据所述相似度选出预设数量的图像特征矩阵,其中,选出的图像特征矩阵对应的相似度大于其他图像特征矩阵对应的相似度;
展示所述待展示图像以及与选出的图像特征矩阵对应的预设介绍信息,以通过所述虚拟现实设备实现儿童教学。
2.根据权利要求1所述的方法,其特征在于,所述根据所述相似度选出预设数量的图像特征矩阵之前,还包括:
获取训练样本图像集合,所述训练样本图像集合中包括所述各类物体对应的样本图像;
以所述训练样本图像集合中包含的各样本图像以及各样本图像对应的物体类别为输入,对深度学习模型进行分类训练,以获得所述各类物体对应的图像特征矩阵。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
建立所述各类物体对应的图像特征矩阵与所述各类物体对应的预设介绍信息间的对应关系。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于用户根据所述预设介绍信息触发的介绍错误指令,将所述待展示图像存储至错误数据集;
若所述错误数据集中包含的图像数量达到预设值,则结合所述错误数据集中包含的图像对所述深度学习模型进行重新训练,以更新所述各类物体对应的图像特征矩阵。
5.根据权利要求4所述的方法,其特征在于,所述介绍错误指令中包括所述待展示图像对应的正确物体类别;
所述结合所述错误数据集中包含的图像对所述深度学习模型进行重新训练,包括:
对于所述错误数据集中包含的任一图像:
若所述任一图像对应的正确物体类别存在于所述训练样本图像集合所对应的物体类别中,则从所述训练样本图像集合中筛选出与所述正确物体类别对应的各样本图像;结合筛选出的样本图像和所述任一图像对所述深度学习模型进行重新训练;
若所述任一图像对应的正确物体类别不存在于所述训练样本图像集合所对应的物体类别中,则获取与所述正确物体类别对应的样本图像;结合获取的样本图像和所述任一图像对所述深度学习模型进行重新训练。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述展示所述待展示图像,包括:
生成立体展示模型;
将所述待展示图像展示在所述立体展示模型的表面。
7.根据权利要求1至5中任一项所述的方法,其特征在于,所述预设介绍信息包括如下至少一种:文字介绍信息、语音介绍信息、参考物体图像。
8.一种存储介质,其特征在于,所述存储介质用于存储可执行指令,所述可执行指令用于被执行以实现如权利要求1至7任一项所述的图像展示方法。
9.一种虚拟现实设备,其特征在于,所述虚拟现实设备包括:
处理器、存储器;
所述存储器用于存储可执行指令;
所述处理器通过执行所述存储器中所存储的可执行指令实现如权利要求1至7任一项所述的图像展示方法。
CN201711320740.3A 2017-12-12 2017-12-12 用于虚拟现实儿童教学的图像展示方法和虚拟现实设备 Pending CN107957859A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711320740.3A CN107957859A (zh) 2017-12-12 2017-12-12 用于虚拟现实儿童教学的图像展示方法和虚拟现实设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711320740.3A CN107957859A (zh) 2017-12-12 2017-12-12 用于虚拟现实儿童教学的图像展示方法和虚拟现实设备

Publications (1)

Publication Number Publication Date
CN107957859A true CN107957859A (zh) 2018-04-24

Family

ID=61958585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711320740.3A Pending CN107957859A (zh) 2017-12-12 2017-12-12 用于虚拟现实儿童教学的图像展示方法和虚拟现实设备

Country Status (1)

Country Link
CN (1) CN107957859A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389703A (zh) * 2019-07-25 2019-10-29 腾讯数码(天津)有限公司 虚拟物品的获取方法、装置、终端和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322474A1 (en) * 2009-06-23 2010-12-23 Ut-Battelle, Llc Detecting multiple moving objects in crowded environments with coherent motion regions
CN103646571A (zh) * 2013-12-11 2014-03-19 步步高教育电子有限公司 一种物体信息识别展示的方法和设备
CN104102920A (zh) * 2014-07-15 2014-10-15 中国科学院合肥物质科学研究院 一种基于形态学多特征融合的害虫图像分类方法及系统
CN104112124A (zh) * 2014-07-15 2014-10-22 北京邮电大学 一种基于图像识别的室内定位方法与装置
CN107239514A (zh) * 2017-05-19 2017-10-10 邓昌顺 一种基于卷积神经网络的植物识别方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322474A1 (en) * 2009-06-23 2010-12-23 Ut-Battelle, Llc Detecting multiple moving objects in crowded environments with coherent motion regions
CN103646571A (zh) * 2013-12-11 2014-03-19 步步高教育电子有限公司 一种物体信息识别展示的方法和设备
CN104102920A (zh) * 2014-07-15 2014-10-15 中国科学院合肥物质科学研究院 一种基于形态学多特征融合的害虫图像分类方法及系统
CN104112124A (zh) * 2014-07-15 2014-10-22 北京邮电大学 一种基于图像识别的室内定位方法与装置
CN107239514A (zh) * 2017-05-19 2017-10-10 邓昌顺 一种基于卷积神经网络的植物识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110389703A (zh) * 2019-07-25 2019-10-29 腾讯数码(天津)有限公司 虚拟物品的获取方法、装置、终端和存储介质

Similar Documents

Publication Publication Date Title
US10891873B2 (en) Method and apparatus for monitoring learning and electronic device
US20210271321A1 (en) Method and apparatus for training gaze tracking model, and method and apparatus for gaze tracking
CN109409161B (zh) 图形码识别方法、装置、终端及存储介质
CN108153415A (zh) 虚拟现实语言教学交互方法和虚拟现实设备
US9521325B2 (en) Terminal device and line of sight detection method
US20210343041A1 (en) Method and apparatus for obtaining position of target, computer device, and storage medium
KR20190099914A (ko) 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN104395935A (zh) 用于基于环境信息的视觉复杂度来修改信息呈现的方法和装置
CN107784885A (zh) 基于ar设备的操作培训方法及ar设备
CN109002248B (zh) Vr场景截图方法、设备及存储介质
CN108228562A (zh) 蓝牙模块的重命名方法以及电子设备
CN108985200A (zh) 一种基于终端设备的非配合式的活体检测算法
WO2022164586A1 (en) Context-aware extended reality systems
CN110547756A (zh) 一种视力测试方法、装置和系统
CN107678546A (zh) 虚拟场景切换方法及头戴显示设备
CN107560637A (zh) 头戴显示设备校准结果验证方法及头戴显示设备
CN112183200A (zh) 一种基于视频图像的眼动追踪方法和系统
CN111589138A (zh) 动作预测方法、装置、设备及存储介质
CN109564636A (zh) 使用一个神经网络来训练另一个神经网络
CN107957859A (zh) 用于虚拟现实儿童教学的图像展示方法和虚拟现实设备
US20220280037A1 (en) Ophthalmic imaging using a head-worn device
KR20200081527A (ko) 전자 장치 및 그 제어 방법
DE102022117329A1 (de) Elektronische Geräte und entsprechende Verfahren zur automatischen Durchführung von Login-Vorgängen bei der Präsentation von Inhalten in Umgebungen mit mehreren Personen
CN107844197A (zh) 虚拟现实场景显示方法及设备
US11461576B2 (en) Information processing method and related electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Hao Qian

Inventor before: Wang Peng

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201030

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261061 East of Dongming Road, Weifang High-tech Zone, Weifang City, Shandong Province, North of Yuqing East Street (Room 502, Goertek Office Building)

Applicant before: GoerTek Optical Technology Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180424