CN113282171A - 一种甲骨文增强现实内容交互系统、方法、设备及终端 - Google Patents

一种甲骨文增强现实内容交互系统、方法、设备及终端 Download PDF

Info

Publication number
CN113282171A
CN113282171A CN202110528733.2A CN202110528733A CN113282171A CN 113282171 A CN113282171 A CN 113282171A CN 202110528733 A CN202110528733 A CN 202110528733A CN 113282171 A CN113282171 A CN 113282171A
Authority
CN
China
Prior art keywords
user
virtual
real
interaction
oracle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110528733.2A
Other languages
English (en)
Other versions
CN113282171B (zh
Inventor
褚俊洁
彭膺达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ocean University of China
Original Assignee
Ocean University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China filed Critical Ocean University of China
Priority to CN202110528733.2A priority Critical patent/CN113282171B/zh
Publication of CN113282171A publication Critical patent/CN113282171A/zh
Application granted granted Critical
Publication of CN113282171B publication Critical patent/CN113282171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于电子信息技术与增强现实交互设计技术领域,公开了一种甲骨文增强现实内容交互系统、方法、设备及终端,感知和测量用户,虚拟平面和真实识别物动态的矢量信息,以及获取环境图像信息;依据环境图像信息与传感器数据,识别并建立虚拟平面,识别真实识别物的的特征,依据真实识别物的动态位置特征和对应关系为用户动态匹配所述用户权限下的用户交互方式和虚拟内容;动态匹配的用户交互权限和虚拟内容进行显示,并实时显示交互反馈。本发明通过识别物与模型的匹配关系触发对应的交互权限,使用户在增强现实内容的注册环节就有积极的反馈和丰富的交互,提升用户的探索兴趣,提高知识传播效果和交互体验。

Description

一种甲骨文增强现实内容交互系统、方法、设备及终端
技术领域
本发明属于电子信息技术与增强现实交互设计技术领域,尤其涉及一种甲骨文增强现实内容交互系统、方法、设备及终端。
背景技术
近年来,随着信息技术的日趋低成本和多样化。数字化教育,移动学习和普世学习等技术支持下的教育应用和相关研究呈现的极大的研究和发展前景。其中以虚拟现实为首的多媒体技术以其极强的可塑性和沉浸特点,在新型技术辅助学习的研究中日趋热门,增强现实(Augmented Reality,简称AR)作为虚拟现实(Virtual Reality,简称VR)的延伸有更好的实用性和更低的成本,符合科普宣传教育大面积普适的特点。而甲骨文为作为我国最古老的可考文字之一,有着极高的历史学和社会学价值,同时也是是中华悠久历史文化的符号之一。作为中华文化的根脉,甲骨学在公共知识领域需要有更好的科普传播方式,来促使其基本知识走进社会常识的范畴。因此,设计研究一种以增强现实技术支持下的甲骨文线上学习系统,同时提出设计增强现实内容注册呈现与交互的一种新方法,可以有效的促进增强现实作为教育媒介的趣味性,改善用户体验。
增强现实技术是一个具有良好交互性和沉浸感的内容展示媒介,但与多样化的增强现实数字模型和多媒体内容相比,用户在最初扫描定位目标情境来获取注册数字内容的交互方式过于单一缺乏互动。现有的交互方式都是以用户的扫描和注册提示开始,用户按照提示扫面目标或者环境,在获取到拍摄画面并识别到目标真实情境数据后,直接显示或者提示用户单次点击交互后,生成虚拟互动内容和交互模型图像。该传统流程的交互十分单薄,用户在虚拟内容和图像注册展示之前对内容和互动系统的主体缺乏了解。同时作为用户使用增强现实系统的第一步,用户的注意力和好奇心最为集中,而上述交互方法没有充分利用这一环节向用户传达系统的任何主题和内容信息。没能将信息传播最大化,作为学习系统时,忽略了最关键的导入环节,使得用户的好奇心和注意力没有被有效唤起,大大降低了增强现实作为教育媒介所带来的积极效果。
现有的AR交互系统的终端设备包括MR眼睛和拥有SLAM识别能力智能手机设备。而作为传播以甲骨文为载体的中华传统知识,想要对大众公共知识领域产生一定的影响,就需要具备低成本和普世的特征,而鉴于智能手机极高的普及率和较低的成本,其作为增强现实甲骨文线上学习体验系统的必要性是显著的。而基于该终端的甲骨文增强现实教科系统本身的缺乏同类产品,而移动终端同类利用增强现实的教育产品更没有考虑充分利用用户心理和注意力的虚拟内容交互和注册方法。申请号为CN201910958721.6的专利申请了关注博物馆场景下的数字内容呈现和互动方法,提出了具有一定参考价值的利用展品和用户距离的交互机制,但没有对增强现实注册的互动给予关注。申请号为CN201911130116.6的专利提出了一种基于AR的交互方法、装置、存储介质及电子设备,其中的交互注册焦距与互动的真实主题,数字内容的产生也是基与目标物识别的瞬间触发。申请号为CN202011194034.0的专利提出了获取场景尺度信息的利用方法,其中,场景尺度信息用于表征第一客户端的增强现实空间所表现的现实环境的尺寸信息根据场景尺度信息和参考尺度信息,确定虚拟物体的显示尺度信息,该专利的场景尺寸数据仅仅作用与虚拟物体的尺寸校准,而没有考虑将尺寸信息作为注册过程中的交互的一种手段。因此,亟需一种新的甲骨文增强现实内容交互系统及方法。
通过上述分析,现有技术存在的问题及缺陷为:
(1)与多样化的增强现实数字模型和多媒体内容相比,用户在最初扫描定位目标情境来获取注册数字内容的交互方式过于单一缺乏互动。
(2)现有的交互方式十分单薄,用户在虚拟内容和图像注册展示之前对内容和互动系统的主体缺乏了解。
(3)现有交互方法没有充分利用第一环节向用户传达系统的任何主题和内容信息,没能将信息传播最大化,作为学习系统进行应用时,忽略了最关键的导入环节,使得用户的好奇心和注意力没有被有效唤起,大大降低了增强现实作为教育媒介所带来的积极效果。
(4)基于线上的的甲骨文增强现实教科系统本身的缺乏同类产品,而移动终端同类利用增强现实的教育产品更没有考虑充分利用用户心理和注意力的虚拟内容交互和注册方法。
(5)现有交互机制没有对增强现实注册的互动给予关注,且仅仅作用与虚拟物体的尺寸校准,而没有考虑将尺寸信息作为注册过程中的交互的一种手段。
解决以上问题及缺陷的难度为:针对上述交互目的的解决方案需要考虑现有一般设备的计算能力,为了保证良好的体验,交互设计需要巧妙的结合实际内容的具体需要,否则交互行为将会变得冗长。对系统数据的使用需要与现实物理环境下用户的情况匹配,否则增强现实内容与现实环境容易产生脱节,使得用户在使用中产生困惑等不良体验,降低用户的交互意愿。甲骨文知识作为软件内容设计时,需要对甲骨文元素进行再设计,以符合用户的需求,甲骨学内容繁杂,体量庞大,能否合理的梳理其知识脉络并将其结合在现有的交互行为中将是交互系统设计的关键。
解决以上问题及缺陷的意义为:通过对增强现实内容注册方式及其伴随的交互行为的创新设计。丰富了增强现实的交互设计的可能方式,拓展了基于增强现实技术的交互设计思路,延长了用户使用增强现实系统的时间,增加了用户与虚拟现实内容交互的可能性,改善了用户交互体验。针对该交互环节的关注和创新还拓宽了增强现实技术在各行业可能的应用范围,特别是为增强现实技术在教育领域的应用,提供创新指导和借鉴。结合甲骨文的应用,传播弘扬了我国传统文化,改善了大众对传统文化的认知,以一种新兴的方式向大众普及传统文化知识,符合国家文化强国建设的战略方向。
发明内容
针对现有技术存在的问题,本发明提供了一种甲骨文增强现实内容交互系统、方法、设备及终端,尤其涉及一种基于识别物与虚拟模型距离和匹配关系的甲骨文增强现实内容交互系统、方法、设备及终端,旨在解决现有交互中忽视的问题和缺少利用的环节。
本发明是这样实现的,一种甲骨文增强现实内容交互方法,所述甲骨文增强现实内容交互方法包括以下步骤:
步骤一,设备开启摄像机,提示用户对于真实世界的三维平面进行缓慢扫描,建立环境特征锚点的坐标信息;获取用户动态位置,并根据数据渲染图像;获取用户周围的环境信息数据,为下一步虚拟模型的建立以及伴随着虚拟模型的触发模型坐标数据作准备。
步骤二,依据用户点击屏幕的射线位置在平面放置虚拟模型,提示用户扫描手中真实识别物,根据图像识别特征计算与平面相对位置,动态保存坐标信息;为用户提供交互行为,确定虚拟模型坐标位置,读取识别物位置数据,促进用户进行移动交互。
步骤三,根据虚拟模型与真实识别物的距离,以及用户动态位置建立以该虚拟模型为中心的触发模型;依据虚拟模型与真实识别物的距离,以及真实识别物与虚拟模型的匹配关系设置用户的交互权限;核心行为,引导用户交互,使得用户获得新奇体验同时作为后续内容的展示依据。
步骤四,依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限,动态的匹配用户该权限下的交互方式,并判断真实识别物与虚拟模型的匹配关系,依据结果显示该权限下的虚拟内容;作为后续虚拟内容触发条件,引导用户同时接受虚拟内容和真实内容的信息。
步骤五,用户依据所述交互方式和虚拟内容进行交互行为,信息获取和虚拟内容观赏;与用户此前的交互选择呼应,强化用户所获得的信息,正式呈现后续虚拟内容。
步骤六,依据所述实时的交互行为与系统反馈的结果,实现连续积极的交互体验,强化用户体验,延长用户使用。
进一步,步骤一中,所述用户动态位置包括朝向,移动速度,视角和与平面的物理距离。
进一步,所述甲骨文增强现实内容交互方法,还包括:
先给予用户SLAM数据获取的基本操作提示,提示用户对于真实世界的三维平面进行缓慢扫描,以建立环境特征锚点的坐标信息;根据锚点信息渲染虚拟点云图像,可视化锚点数据;
依据摄像机画面的信息,实时检测并且获取用户与虚拟平面的物理距离、方向以及速度在内的瞬时物理信息,实时计算用户与虚拟平面相对关系;
提示点击二维平面放置虚拟内容A,作为虚拟内容对空间尺寸基准和下一步交互的重要组成部分;将读取同一时段的用户方向,速度等物理信息;以用户点击屏幕交互的平面坐标为出发点,沿相机平面法线方向发射射线,在射线与虚拟平面的锚点交集处生成虚拟内容A;
提示扫描甲骨片实体套件,同时开启图片和三维实体图像检测的权限,实时检测图像数据,一旦检测到图像画面数据中的目标实体存在刻印D,依据上一步环境的位置信息,在真实实体的甲骨片套件坐标处注册虚拟提示信息,同时实时获取和保存实体甲骨的位置速度和朝向数据,但只记录且不显示主要的的虚拟现实内容;
提示用户将真实世界的实体甲骨与步骤一SLAM中注册的虚拟内容A进行有效互动,检测并实时读取实体甲骨的动态位置信息,换算其与A的真实距离,在检测时,虚拟内容A所依赖的坐标系统需要和实体甲骨尺寸一致,才能保证提供检测二者距离设置的互动权限的正确性;
提示用户移动真实世界场景中的甲骨片实体,增强显示设备识别到移动后,实时检测其与虚拟内容A的相互关系,同时计算二者距离;当其二者坐标小于一定距离时,也即二者发生碰撞,此时根据画面上的形态信息,在设备记录甲骨实体坐标上渲染虚拟实体提示B,同时增强现实设备显示出交互按钮,一旦距离过远不满足触发条件时,提示B和交互按钮立即消失,满足条件则重新出现。
进一步,所述甲骨文增强现实内容交互方法,还包括:
计算从属于虚拟内容A的五个虚拟实体a1至a5与甲骨实体的相对距离,来判断是否与这五个元素碰撞;用户需要根据甲骨片实体上的刻印提示D,与a1,a2,a3,a4,a5五个元素的对应关系来确定下一步移动甲骨实体的方式;
用户对a1至a5逐个扫描,确定刻印D与a的对应关系;增强现实设备通过内置的重力传感器和角速度传感器的数据计算活动设备倾斜角作为用户朝向,通过SLAM计算的平面与用户的距离作为用户位置修正;通过内置的陀螺仪传感器获得用户速度数据,比对修正实时方向信息;
以用户设备屏幕的坐标中心为原点,朝用户的朝向发射射线;实时监测射线与a1至a5的相交关系,射线与其中某一元素a相交时,显示这一元素所对应的甲骨片实体的提示;用户根据提示,比对手中正在移动的甲骨实体,确定甲骨片实体的位置的正确与否;
若正确,点击屏幕的交互按钮显示正确提示,解锁该甲骨实体对应的虚拟内容和交互系统,用户开始进行对该实体甲骨所对应的数字内容的完整体验;若错误,点击屏幕的交互按钮显示错误提示,用户需要继续利用射线扫描从属于虚拟内容A的其他a目标,检查对应关系提示和移动手中实体甲骨片,直到实体甲骨的坐标与对应关系正确的a碰撞为止。
进一步,所述甲骨文增强现实内容交互方法,还包括:
利用用户初次接触系统的注意力和欲解锁下一步的好奇心,将不同a与不同D的对应关系作为用户解锁更多内容所必须掌握的信息,非自觉的灌输到用户长期记忆中,起到潜移默化的教学功能;
选择正确a并解锁后,虚拟实体A会被替换为虚拟内容E,以及从属与E的五个虚拟元素e1至于e5;所选甲骨实体的虚拟内容体验有平行的五类,用户可以自行选择体验那一类增强现实内容;
选择依据扫描甲骨实体所生成的坐标信息与e的距离关系,用户移动手中的甲骨实体靠近不同e元素,AR设备屏幕将在甲骨实体靠近的e元素上浮动显示相应的虚拟内容标题,用户点击屏幕,将展示对应的增强现实互动体验内容,若想观看其他内容,移动甲骨碰撞其他虚拟物体即可。
本发明的另一目的在于提供一种应用所述的甲骨文增强现实内容交互方法的甲骨文增强现实内容交互系统,所述甲骨文增强现实内容交互系统包括:
传感器模块,用于感知和测量用户,虚拟平面和真实识别物动态的矢量信息,以及获取环境图像信息;
数据计算模块,用于依据环境图像信息与传感器数据,识别并建立虚拟平面,识别真实识别物的的特征,依据真实识别物的动态位置特征和对应关系为用户动态匹配所述用户权限下的用户交互方式和虚拟内容;
图像显示模块,用于动态匹配的用户交互权限和虚拟内容进行显示,并实时显示交互反馈。
进一步,所述矢量信息包括用户的位置朝向,虚拟模型与真实识别物的物理距离信息。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
设备开启摄像机,提示用户对于真实世界的三维平面进行缓慢扫描,建立环境特征锚点的坐标信息;获取用户动态位置,并根据数据渲染图像;
依据用户点击屏幕的射线位置在平面放置虚拟模型,提示用户扫描手中真实识别物,根据图像识别特征计算与平面相对位置,动态保存坐标信息;
根据虚拟模型与真实识别物的距离,以及用户动态位置建立以该虚拟模型为中心的触发模型;依据虚拟模型与真实识别物的距离,以及真实识别物与虚拟模型的匹配关系设置用户的交互权限;
依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限,动态的匹配用户该权限下的交互方式,并判断真实识别物与虚拟模型的匹配关系,依据结果显示该权限下的虚拟内容;
用户依据所述交互方式和虚拟内容进行交互行为,信息获取和虚拟内容观赏;依据所述实时的交互行为与系统反馈的结果,实现连续积极的交互体验。
本发明的另一目的在于提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
设备开启摄像机,提示用户对于真实世界的三维平面进行缓慢扫描,建立环境特征锚点的坐标信息;获取用户动态位置,并根据数据渲染图像;
依据用户点击屏幕的射线位置在平面放置虚拟模型,提示用户扫描手中真实识别物,根据图像识别特征计算与平面相对位置,动态保存坐标信息;
根据虚拟模型与真实识别物的距离,以及用户动态位置建立以该虚拟模型为中心的触发模型;依据虚拟模型与真实识别物的距离,以及真实识别物与虚拟模型的匹配关系设置用户的交互权限;
依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限,动态的匹配用户该权限下的交互方式,并判断真实识别物与虚拟模型的匹配关系,依据结果显示该权限下的虚拟内容;
用户依据所述交互方式和虚拟内容进行交互行为,信息获取和虚拟内容观赏;依据所述实时的交互行为与系统反馈的结果,实现连续积极的交互体验。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的甲骨文增强现实内容交互系统。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的基于识别物与虚拟模型距离匹配关系的甲骨文增强现实内容交互方法,具体涉及一种同时基于图像定位注册内容和基于SLAM对环境定位注册内容进行的增强现实内容展示和交互流程,以及实现该方法的甲骨文线上学习体验系统,能够利用图像识别和SLAM环境识别产生的两种坐标系下的虚拟数字内容,以尺寸和坐标数据为基准,以3DUI的交互方式与系统进行交互以获取更多甲骨文虚拟内容,使得用户有更加沉浸的体验和更高的使用意愿。
本发明提供的增强现实甲骨文内容展示方法与交互系统通过真实识别物与虚拟模型的距离远进,识别物与模型的匹配关系触发对应的交互权限,使用户在增强现实内容的注册环节就有积极的反馈交互,用户得以在积极递进的反馈下伴随着高度集中的注意力实现与系统的交互和体验,增加用户继续继续后续深度体验的可能性。同时不同实体所对应的不同交互内容和触发关系,向用户传递了想要的信息,新颖的交互方式提升了用户的探索兴趣,提高了知识传播效果和交互体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的甲骨文增强现实内容交互方法流程图。
图2是本发明实施例提供的甲骨文增强现实内容交互方法原理图。
图3是本发明实施例提供的甲骨文增强现实内容交互系统结构框图;
图中:1、传感器模块;2、数据计算模块;3、图像显示模块。
图4是本发明实施例提供的基于虚拟模型与真实识别物的距离的触发模型和交互场景说明示意图。
图5是本发明实施例提供的用户实时交互过程中的交互权限,虚拟内容匹配设置流程图。
图6是本发明实施例提供的甲骨片识别物D平面设计图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种甲骨文增强现实内容交互系统、方法、设备及终端,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的甲骨文增强现实内容交互方法包括以下步骤:
S101,设备开启摄像机,提示用户对于真实世界的三维平面进行缓慢扫描,建立环境特征锚点的坐标信息;获取用户动态位置,并根据数据渲染图像;
S102,依据用户点击屏幕的射线位置在平面放置虚拟模型,提示用户扫描手中真实识别物,根据图像识别特征计算与平面相对位置,动态保存坐标信息;
S103,根据虚拟模型与真实识别物的距离,以及用户动态位置建立以该虚拟模型为中心的触发模型;依据虚拟模型与真实识别物的距离,以及真实识别物与虚拟模型的匹配关系设置用户的交互权限;
S104,依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限,动态的匹配用户该权限下的交互方式,并判断真实识别物与虚拟模型的匹配关系,依据结果显示该权限下的虚拟内容;
S105,用户依据所述交互方式和虚拟内容进行交互行为,信息获取和虚拟内容观赏;
S106,依据所述实时的交互行为与系统反馈的结果,实现连续积极的交互体验。
本发明实施例提供的甲骨文增强现实内容交互方法原理图如图2所示。
如图3所示,本发明实施例提供的甲骨文增强现实内容交互系统包括:
传感器模块1,用于感知和测量用户,虚拟平面和真实识别物动态的矢量信息,以及获取环境图像信息;
数据计算模块2,用于依据环境图像信息与传感器数据,识别并建立虚拟平面,识别真实识别物的的特征,依据真实识别物的动态位置特征和对应关系为用户动态匹配所述用户权限下的用户交互方式和虚拟内容;
图像显示模块3,用于动态匹配的用户交互权限和虚拟内容进行显示,并实时显示交互反馈。
下面结合实施例对本发明的技术方案作进一步描述。
实施例1
本发明实施例提供的基于SLAM环境定位和图像特征识别定位的增强现实内容交互方法,包括以下步骤:
设备开启摄像机,提示用户对于真实世界的三维平面进行缓慢扫描,以建立环境特征锚点的坐标信息,获取用户的动态位置,包括朝向,移动速度,视角和与平面的物理距离。根据数据渲染图像。
依据用户点击屏幕的射线位置在平面放置虚拟模型,提示用户扫描手中真实识别物,根据图像识别特征计算与平面相对位置,动态保存其坐标信息。
根据虚拟模型与真实识别物的距离,以及用户动态位置建立以该虚拟模型为中心的触发模型。依据虚拟模型与真实识别物的距离,以及真实识别物与虚拟模型的匹配关系设置用户的交互权限。
依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限,动态的匹配用户该权限下的交互方式,并判断真实识别物与虚拟模型的匹配关系,依据结果显示该权限下的虚拟内容。
用户依据上述交互方式和虚拟内容进行交互行为,信息获取和虚拟内容观赏。
依据上述实时的交互行为与系统反馈的结果,实现连续积极的交互体验。
本发明实施例提供的基于真实识别物—虚拟模型距离和匹配关系的甲骨文内容展示方法与交互系统包括:
传感器模块:用于感知和测量用户,虚拟平面和真实识别物动态的矢量信息。包括用户的位置朝向,虚拟模型与真实识别物的物理距离信息,以及获取环境图像信息。
数据计算模块:依据环境图像信息与传感器数据,识别并建立虚拟平面,识别真实识别物的的特征,依据真实识别物的动态位置特征和对应关系为用户动态匹配所述用户权限下的用户交互方式和虚拟内容。
图像显示模块:对动态匹配的用户交互权限和虚拟内容进行显示。实时显示交互反馈。
本发明提供的增强现实甲骨文内容展示方法与交互系统通过真实识别物与虚拟模型的距离远进,识别物与模型的匹配关系触发对应的交互权限,使用户在增强现实内容的注册环节就有积极的反馈交互,用户得以在积极递进的反馈下伴随着高度集中的注意力实现与系统的交互和体验。同时不同实体所对应的不同交互内容和触发关系,提升了用户的探索兴趣,提高了知识传播效果和交互体验。
实施例2
本发明实施例提供的甲骨文增强现实内容交互方法包括:
先给予用户SLAM数据获取的基本操作提示,提示用户对于真实世界的三维平面进行缓慢扫描,以建立环境特征锚点的坐标信息。
根据锚点信息渲染虚拟点云图像,可视化锚点数据,方便用户对终端读取信息进行审核评估,与真实世界的三维信息进行核对。
依据摄像机画面的信息,实时检测并且获取用户与虚拟平面的物理距离,方向以及速度等瞬时物理信息,实时计算用户与虚拟平面相对关系。
随后提示点击二维平面放置虚拟内容A,作为虚拟内容对空间尺寸基准和下一步交互的重要组册部分。将读取同一时段的用户方向,速度等物理信息。以用户点击屏幕交互的平面坐标为出发点,沿相机平面法线方向发射射线,在射线与虚拟平面的锚点交集处生成虚拟内容A。
提示扫描甲骨片实体套件。同时开启图片和三维实体图像检测的权限,一旦检测到图像画面数据中的目标实体存在刻印D,依据上一步环境的位置信息,在真实实体的甲骨片套件坐标处注册虚拟提示信息,同时实时获取和保存实体甲骨的位置速度和朝向数据,但只记录数据坐标而不渲染显示剩下的虚拟现实内容。
提示用户将真实世界的实体甲骨与所述基于SLAM环境注册好的虚拟内容A进行有效互动,检测并实时读取实体甲骨的动态位置信息,换算其与A的真实距离,在检测时,需要虚拟内容A所依赖的坐标系统需要和实体甲骨尺寸一致,才能保证二者互动权限匹配的正确性。
提示用户移动真实世界场景中的甲骨片实体,增强显示设备识别到移动后,实时检测其与虚拟内容A的相互关系,同时计算二者距离。当其二者坐标达到一定距离后,也即二者发生碰撞,此时根据画面上的形态信息,在设备记录甲骨实体坐标上渲染虚拟实体提示B,同时增强现实设备显示出二维交互按钮,一旦距离过远不满足触发条件时,提示B和交互按钮立即消失,满足条件则重新出现。
同时计算从属于虚拟内容A的五个虚拟实体a1至a5与甲骨实体的相对距离,来判断是否与这五个元素碰撞。用户需要根据甲骨片实体上的刻印提示D,与a1,a2,a3,a4,a5五个元素的对应关系来确定下一步移动甲骨实体的方式。
为了确定刻印D与a的对应关系,用户需要对a1至a5逐个扫描。增强现实设备通过内置的重力传感器和角速度传感器的数据计算活动设备倾斜角作为用户朝向。通过SLAM计算的平面与用户的距离最为用户位置修正。通过内置的陀螺仪传感器活动用户速度数据,比对修正实时方向信息。
以用户设备屏幕的坐标中心为原点,朝用户的朝向发射射线。实时监测射线与a1至a5的相交关系,射线与其中某一元素a相交时,显示这一元素所对应的甲骨片实体提示D的关系。用户根据这一提示,比对手中正在移动的甲骨实体,确定对应关系的正确与否。
若正确,点击屏幕的交互按钮显示正确提示,解锁该甲骨实体对应的虚拟内容和交互系统,用户开始进行对该实体甲骨所对应的数字内容的完整体验。
若错误,点击屏幕的交互按钮显示错误提示,用户需要继续利用射线扫描从属于虚拟内容A的其他a目标,检查对应关系和移动手中实体甲骨片,直到,实体甲骨的坐标与对应关系正确的a碰撞为止。
该交互过程利用用户初次接触系统的注意力和欲解锁下一步的好奇心,将不同a与不同D的对应关系作为用户解锁更多内容所必须掌握的信息,非自觉的灌输到用户意识中,起到了潜移默化的教学功能。
选择正确a并解锁后,虚拟实体A会被替换为虚拟内容E,以及从属与E的五个虚拟元素e1至于e5。所选甲骨实体的虚拟内容体验有平行的五类。用户可以自行选择体验那一类增强现实内容。
选择依据扫描甲骨实体所生成的坐标信息与e的距离关系,用户移动手中的甲骨实体靠近不同e元素,AR设备屏幕将在甲骨实体靠近的e元素上浮动显示相应的虚拟内容标题,用户点击屏幕,将展示对应的增强现实互动体验内容,若想观看其他内容,移动甲骨碰撞其他虚拟物体即可。
在本发明的甲骨文线上学习系统中,甲骨片实体共六套,D为六套甲骨片上不同的甲骨文字刻印,A为一增强现实虚拟形象;a1,a2,a3,a4,a5为五个不同现代汉字的3d挤出模型,分别对应六套不同甲骨文字D的现代翻译。B为用户手中甲骨片实体的仿真考古模型图像。E为一与A一致的虚拟形象,e1,e2,e3,e4,e5为不同的承担菜单作用的三维模型。
本发明基于虚拟模型与真实识别物的距离的触发模型和交互场景说明示意图如图4所示,本发明用户实时交互过程中的交互权限,虚拟内容匹配设置流程图如图5所示,本发明实例所需的甲骨片识别物D平面设计图如图6所示。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、移动终端或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种甲骨文增强现实内容交互方法,其特征在于,所述甲骨文增强现实内容交互方法包括:
设备开启摄像机,提示用户对于真实世界的三维平面进行缓慢扫描,建立环境特征锚点的坐标信息;获取用户动态位置,并根据数据渲染图像;
依据用户点击屏幕的射线位置在平面放置虚拟模型,提示用户扫描手中真实识别物,根据图像识别特征计算与平面相对位置,动态保存坐标信息;
根据虚拟模型与真实识别物的距离,以及用户动态位置建立以该虚拟模型为中心的触发模型;依据虚拟模型与真实识别物的距离,以及真实识别物与虚拟模型的匹配关系设置用户的交互权限;
依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限,动态的匹配用户该权限下的交互方式,并判断真实识别物与虚拟模型的匹配关系,依据结果显示该权限下的虚拟内容;
用户依据所述交互方式和虚拟内容进行交互行为,信息获取和虚拟内容观赏;
依据所述实时的交互行为与系统反馈的结果,实现连续积极的交互体验。
2.如权利要求1所述的甲骨文增强现实内容交互方法,其特征在于,所述用户动态位置包括朝向,移动速度,视角和与平面的物理距离。
3.如权利要求1所述的甲骨文增强现实内容交互方法,其特征在于,所述甲骨文增强现实内容交互方法,还包括:
先给予用户SLAM数据获取的基本操作提示,提示用户对于真实世界的三维平面进行缓慢扫描,以建立环境特征锚点的坐标信息;根据锚点信息渲染虚拟点云图像,可视化锚点数据;
依据摄像机画面的信息,实时检测并且获取用户与虚拟平面的物理距离、方向以及速度在内的瞬时物理信息,实时计算用户与虚拟平面相对关系;
提示点击二维平面放置虚拟内容A,作为虚拟内容对空间尺寸基准和下一步交互的重要组成部分;将读取同一时段的用户方向,速度等物理信息;以用户点击屏幕交互的平面坐标为出发点,沿相机平面法线方向发射射线,在射线与虚拟平面的锚点交集处生成虚拟内容A;
提示扫描甲骨片实体套件,同时开启图片和三维实体图像检测的权限,一旦检测到图像画面数据中的目标实体存在刻印D,依据上一步环境的位置信息,在真实实体的甲骨片套件坐标处注册虚拟提示信息,同时实时获取和保存实体甲骨的位置速度和朝向数据,但只记录且不显示剩下的虚拟现实内容;
提示用户将真实世界的实体甲骨与步骤一SLAM中注册的虚拟内容A进行有效互动,检测并实时读取实体甲骨的动态位置信息,换算其与A的真实距离,在检测时,需要虚拟内容A所依赖的坐标系统需要和实体甲骨尺寸一致,才能保证二者有效互动权限的正确性;
提示用户移动真实世界场景中的甲骨片实体,增强显示设备识别到移动后,实时检测其与虚拟内容A的相互关系,同时计算二者距离;当其二者坐标达到一定距离后,也即二者发生碰撞,此时根据画面上的形态信息,在设备记录甲骨实体坐标上渲染虚拟实体提示B,同时增强现实设备显示出交互按钮,一旦距离过远不满足触发条件时,提示B和交互按钮立即消失,满足条件则重新出现。
4.如权利要求1所述的甲骨文增强现实内容交互方法,其特征在于,所述甲骨文增强现实内容交互方法,还包括:
计算从属于虚拟内容A的五个虚拟实体a1至a5与甲骨实体的相对距离,来判断是否与这五个元素碰撞;用户根据甲骨片实体上的刻印提示D,与a1,a2,a3,a4,a5五个元素的对应关系来确定下一步移动甲骨实体的方式;
用户对a1至a5逐个扫描,确定刻印D与a的对应关系;增强现实设备通过内置的重力传感器和角速度传感器的数据计算活动设备倾斜角作为用户朝向,通过SLAM计算的平面与用户的距离最为用户位置修正;通过内置的陀螺仪传感器活动用户速度数据,比对修正实时方向信息;
以用户设备屏幕的坐标中心为原点,朝用户的朝向发射射线;实时监测射线与a1至a5的相交关系,射线与其中某一元素a相交时,显示这一元素所对应的甲骨片实体提示D的关系;用户根据提示,比对手中正在移动的甲骨实体,确定对应关系的正确与否;
若正确,点击屏幕的交互按钮显示正确提示,解锁该甲骨实体对应的虚拟内容和交互系统,用户开始进行对该实体甲骨所对应的数字内容的完整体验;若错误,点击屏幕的交互按钮显示错误提示,用户需要继续利用射线扫描从属于虚拟内容A的其他a目标,检查对应关系和移动手中实体甲骨片,直到实体甲骨的坐标与对应关系正确的a碰撞为止。
5.如权利要求1所述的甲骨文增强现实内容交互方法,其特征在于,所述甲骨文增强现实内容交互方法,还包括:
利用用户初次接触系统的注意力和欲解锁下一步的好奇心,将不同a与不同D的对应关系作为用户解锁更多内容所必须掌握的信息,非自觉的灌输到用户长期记忆中,起到潜移默化的教学功能;
选择正确a并解锁后,虚拟实体A会被替换为虚拟内容E,以及从属与E的五个虚拟元素e1至于e5;所选甲骨实体的虚拟内容体验有平行的五类,用户可以自行选择体验那一类增强现实内容;
选择依据扫描甲骨实体所生成的坐标信息与e的距离关系,用户移动手中的甲骨实体靠近不同e元素,AR设备屏幕将在甲骨实体靠近的e元素上浮动显示相应的虚拟内容标题,用户点击屏幕,将展示对应的增强现实互动体验内容,若想观看其他内容,移动甲骨碰撞其他虚拟物体即可。
6.一种实施权利要求1~5任意一项所述的甲骨文增强现实内容交互方法的甲骨文增强现实内容交互系统,其特征在于,所述甲骨文增强现实内容交互系统包括:
传感器模块,用于感知和测量用户,虚拟平面和真实识别物动态的矢量信息,以及获取环境图像信息;
数据计算模块,用于依据环境图像信息与传感器数据,识别并建立虚拟平面,识别真实识别物的的特征,依据真实识别物的动态位置特征和对应关系为用户动态匹配所述用户权限下的用户交互方式和虚拟内容;
图像显示模块,用于动态匹配的用户交互权限和虚拟内容进行显示,并实时显示交互反馈。
7.如权利要求6所述的甲骨文增强现实内容交互系统,其特征在于,所述矢量信息包括用户的位置朝向,虚拟模型与真实识别物的物理距离信息。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
设备开启摄像机,提示用户对于真实世界的三维平面进行缓慢扫描,建立环境特征锚点的坐标信息;获取用户动态位置,并根据数据渲染图像;
依据用户点击屏幕的射线位置在平面放置虚拟模型,提示用户扫描手中真实识别物,根据图像识别特征计算与平面相对位置,动态保存识别物坐标信息;
根据虚拟模型与真实识别物的距离,以及用户动态位置建立以该虚拟模型为中心的触发模型;依据虚拟模型与真实识别物的距离,以及真实识别物与虚拟模型的匹配关系设置用户的交互权限;
依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限,动态的匹配用户该权限下的交互方式,并判断真实识别物与虚拟模型的匹配关系,依据结果显示该权限下的虚拟内容;
用户依据所述交互方式和虚拟内容进行交互行为,信息获取和虚拟内容观赏;依据所述实时的交互行为与系统反馈的结果,实现连续积极的交互体验。
9.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
设备开启摄像机,提示用户对于真实世界的三维平面进行缓慢扫描,建立环境特征锚点的坐标信息;获取用户动态位置,并根据数据渲染图像;
依据用户点击屏幕的射线位置在平面放置虚拟模型,提示用户扫描手中真实识别物,根据图像识别特征计算与平面相对位置,动态保存坐标信息;
根据虚拟模型与真实识别物的距离,以及用户动态位置建立以该虚拟模型为中心的触发模型;依据虚拟模型与真实识别物的距离,以及真实识别物与虚拟模型的匹配关系设置用户的交互权限;
依据该模型对应的真实识别物与虚拟模型的触发距离所对应的交互权限,动态的匹配用户该权限下的交互方式,并判断真实识别物与虚拟模型的匹配关系,依据结果显示该权限下的虚拟内容;
用户依据所述交互方式和虚拟内容进行交互行为,信息获取和虚拟内容观赏;依据所述实时的交互行为与系统反馈的结果,实现连续积极的交互体验。
10.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求6~7任意一项所述的甲骨文增强现实内容交互系统。
CN202110528733.2A 2021-05-14 2021-05-14 一种甲骨文增强现实内容交互系统、方法、设备及终端 Active CN113282171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110528733.2A CN113282171B (zh) 2021-05-14 2021-05-14 一种甲骨文增强现实内容交互系统、方法、设备及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110528733.2A CN113282171B (zh) 2021-05-14 2021-05-14 一种甲骨文增强现实内容交互系统、方法、设备及终端

Publications (2)

Publication Number Publication Date
CN113282171A true CN113282171A (zh) 2021-08-20
CN113282171B CN113282171B (zh) 2024-03-12

Family

ID=77279342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110528733.2A Active CN113282171B (zh) 2021-05-14 2021-05-14 一种甲骨文增强现实内容交互系统、方法、设备及终端

Country Status (1)

Country Link
CN (1) CN113282171B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849112A (zh) * 2021-09-30 2021-12-28 西安交通大学 适用于电网调控的增强现实交互方法、装置及存储介质
CN113923252A (zh) * 2021-09-30 2022-01-11 北京蜂巢世纪科技有限公司 图像显示装置、方法和系统
CN117611773A (zh) * 2023-11-30 2024-02-27 天津大学 一种大尺度建筑增强现实展示方法、系统、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN105844714A (zh) * 2016-04-12 2016-08-10 广州凡拓数字创意科技股份有限公司 基于增强现实的场景显示方法及系统
KR101723823B1 (ko) * 2016-08-24 2017-04-19 주식회사 케이쓰리아이 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치
CN107274491A (zh) * 2016-04-09 2017-10-20 大连七界合创科技有限公司 一种三维场景的空间操控虚拟实现方法
CN110908504A (zh) * 2019-10-10 2020-03-24 浙江大学 一种基于用户-展品距离的增强现实博物馆协作交互方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366610A (zh) * 2013-07-03 2013-10-23 熊剑明 基于增强现实的三维互动学习系统及方法
CN107274491A (zh) * 2016-04-09 2017-10-20 大连七界合创科技有限公司 一种三维场景的空间操控虚拟实现方法
CN105844714A (zh) * 2016-04-12 2016-08-10 广州凡拓数字创意科技股份有限公司 基于增强现实的场景显示方法及系统
KR101723823B1 (ko) * 2016-08-24 2017-04-19 주식회사 케이쓰리아이 인터랙티브 공간증강 체험전시를 위한 동적 객체와 가상 객체 간의 인터랙션 구현 장치
CN110908504A (zh) * 2019-10-10 2020-03-24 浙江大学 一种基于用户-展品距离的增强现实博物馆协作交互方法与系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113849112A (zh) * 2021-09-30 2021-12-28 西安交通大学 适用于电网调控的增强现实交互方法、装置及存储介质
CN113923252A (zh) * 2021-09-30 2022-01-11 北京蜂巢世纪科技有限公司 图像显示装置、方法和系统
CN113923252B (zh) * 2021-09-30 2023-11-21 北京蜂巢世纪科技有限公司 图像显示装置、方法和系统
CN113849112B (zh) * 2021-09-30 2024-04-16 西安交通大学 适用于电网调控的增强现实交互方法、装置及存储介质
CN117611773A (zh) * 2023-11-30 2024-02-27 天津大学 一种大尺度建筑增强现实展示方法、系统、设备及介质

Also Published As

Publication number Publication date
CN113282171B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN113282171A (zh) 一种甲骨文增强现实内容交互系统、方法、设备及终端
US9213436B2 (en) Fingertip location for gesture input
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US10754418B1 (en) Using body surfaces for placing augmented reality content
CN103157281B (zh) 一种二维游戏场景显示的方法和设备
CN106897003B (zh) 用于显示地图信息的方法、装置和系统
KR101533320B1 (ko) 포인터가 불필요한 3차원 객체 정보 획득 장치
CN109215416A (zh) 一种基于增强现实技术的汉字辅助学习系统及方法
US10803665B1 (en) Data aggregation for augmented reality applications
CN113934297B (zh) 一种基于增强现实的交互方法、装置、电子设备及介质
CN110442813A (zh) 一种基于ar的旅游纪念信息处理系统及方法
WO2017096801A1 (zh) 信息处理方法及装置
US9400575B1 (en) Finger detection for element selection
US20220060778A1 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
CN112675541A (zh) Ar信息共享方法、装置、电子设备及存储介质
CN108874141B (zh) 一种体感浏览方法和装置
US10895913B1 (en) Input control for augmented reality applications
KR102462054B1 (ko) 라이브 경매의 사용자 인터페이스 구현 장치 및 방법
CN112929685B (zh) Vr直播间的互动方法、装置、电子设备和存储介质
US20220350650A1 (en) Integrating overlaid digital content into displayed data via processing circuitry using a computing memory and an operating system memory
CN108737907B (zh) 一种生成字幕的方法及装置
EP3863235B1 (en) Method and apparatus for processing data
Wang et al. Augmented Reality and Quick Response Code Technology in Engineering Drawing Course
Zhang et al. Task‐driven latent active correction for physics‐inspired input method in near‐field mixed reality applications
CN113867874A (zh) 页面编辑及显示方法、装置、设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant