CN108876880A - 基于ARkit的学习方法、装置、设备和存储介质 - Google Patents

基于ARkit的学习方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN108876880A
CN108876880A CN201810363686.9A CN201810363686A CN108876880A CN 108876880 A CN108876880 A CN 108876880A CN 201810363686 A CN201810363686 A CN 201810363686A CN 108876880 A CN108876880 A CN 108876880A
Authority
CN
China
Prior art keywords
model image
characteristic parameter
arkit
database
reality scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810363686.9A
Other languages
English (en)
Inventor
林志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810363686.9A priority Critical patent/CN108876880A/zh
Priority to PCT/CN2018/104330 priority patent/WO2019205411A1/zh
Publication of CN108876880A publication Critical patent/CN108876880A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于ARKit的学习方法、装置、设备和存储介质,方法包括:还原第一模型图像;第一模型图像是拍摄现实场景,获取现实场景的视频后利用ARKit技术识别获取特征参数,再利用特征参数对现实场景进行抽象还原获取的模型图像;比对第一模型图像的特征参数后,从数据库中获取第二模型图像,根据第二模型图像的特征参数,配置解说以及解说内容;将第一模型图像和特征参数保存至数据库中生成对应的数据记录,如数据库中已有对应的数据记录,则对该数据记录进行更新。利用AR技术实现现实和虚拟相结合,生动还原现实环境,并利用卡通人物进行语音解读,实现AR技术与各类便捷式电子设备相结合,提升学习的趣味性和便捷性。

Description

基于ARkit的学习方法、装置、设备和存储介质
技术领域
本发明涉及ARKit领域,特别是涉及基于ARkit的学习方法、装置、设备和存储介质。
背景技术
增强现实(Augmented Reality,AR)技术,是一种实时地计算摄像机影像的位置及角度并加上对应图像、视频、3D模型的技术,这种技术的目的是在屏幕上把虚拟世界套在现实世界并进行互动。在iOS 11系统上,ARkit正式成为iOS系统框架,让开发者能够使用OC或者swift语言开发AR-app。由于ARkit能够结合现实和虚拟,当前多款用于学习的iOS系统电子学习设备也多与ARKit技术相结合,利用ARKit这一虚实结合的方式,生动还原现实环境。同时,与传统书本相比,结合ARKit的电子学习设备具备更大趣味性,也更能吸引的注意力,提高学习效率。
但是,现有iOS系统的电子学习设备在利用ARKit这一技术引导学习方面,存在如下弊端:
现有iOS系统的电子学习设备主要针对具有较完善动作、思想的成年人开发的应用,缺少针对学习教育开发的设备;
世界追踪需要清晰的图像。当相机看不到细节时,例如当相机指向空白的墙壁或者场景太暗时,跟踪质量就会下降,无法实现完全重现;
设备缓慢移动,ARKit能够更好的解析场景,但是运动过快或晃动过猛会导致图像模糊,此外,当设备与实物之间的距离太远也会降低跟踪质量;
现有ARkit的识别能力较差,仅能完成单纯的识别和定位,无法实现轻微算法和识别算法的对接,实现更为精准的识别;
因此,基于上述情况,本技术方案提供基于ARKit的学习方法、装置、设备和存储介质。利用AR技术实现现实和虚拟相结合,生动还原现实环境,并利用卡通人物进行语音解读,实现AR技术与各类便捷式电子设备相结合,提升学习的趣味性和便捷性。
发明内容
基于此,有必要针对现有iOS系统的电子学习设备在利用ARKit这一技术引导学习方面存在的诸多问题,提供基于ARKit的学习方法、装置、计算机设备和存储介质。
一种基于ARKit的学习方法,所述基于ARKit的学习方法,具体步骤如下:
S1:还原第一模型图像,所述第一模型图像是拍摄现实场景,获取所述现实场景的视频后利用ARKit技术获取特征参数,再利用所述特征参数对所述现实场景进行抽象还原获取的模型图像;
S2:比对所述第一模型图像的特征参数后,从数据库中获取第二模型图像,所述数据库中设有解说以及对应的解说内容,根据第二模型图像的特征参数,配置与特征参数一一对应的解说及解说内容;
S3:将第一模型图像和特征参数保存至数据库中生成对应的数据记录,如数据库中已有对应的数据记录,则对该数据记录进行更新。
在其中一个实施例中,所述步骤S1包括:
S101:启动ARKit应用,在ARKit场景下通过摄像装置拍摄摄像装置前方的现实场景,获取所述现实场景的视频;
S102:根据所述现实场景的视频,利用ARKit技术读取视频帧,对每一帧图片进行识别以获取特征参数,并将所述特征参数提供给ARKit应用的操作后台,所述特征参数是指包含在每一帧图片中,以展示所述现实场景的被追踪的特征点;
S103:根据所述特征参数,所述操作系统后台利用其完成对所述现实场景的还原,获取第一模型图像,并将所述第一模型图像放置于一存储器内进行临时保存。
在其中一个实施例中,所述摄像装置是任一支持ARKit技术、具有摄像功能的装置,包括手机或iPad;
所述操作系统包括iOS系统或Android系统;
所述第一模型图像包括3D立体图像、平面图像;
所述存储器包括NAS存储器或DAS存储器。
在其中一个实施例中,所述步骤S2包括:
S201:根据所述特征参数中所包含的特征点,将第一模型图像的特征参数和数据库中的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像;
S202:根据所述第二模型图像,从所述数据库中匹配一卡通人物,利用所述卡通人物完成对所述第二模型图像的解说;
S203:根据所述第二模型图像,从所述数据库中调取用于解说所述第二模型图像的解说内容,并将所述解说内容放置在一存储器进行临时存储;
S204:根据所述解说内容,利用所述卡通人物采用预设的解说方式完成对所述第二模型图像的解说;所述解说方式包括使用多种语言进行解说,其调用操作系统所支持的语音库完成声音解码和播放。
在其中一个实施例中,所述数据库设置在所述操作系统内,用于存储卡通人物、解说内容、以及用于与所述第一模型图像进行比对的模型图像,包括DB2、ACCESS、MSSQL、ORACLE。
在其中一个实施例中,所述步骤S3包括:
S301:按照预设分类方式将所述第一模型图像保存在数据库中,使其成为后续用于比对的模型图像;
S302:更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像。
在其中一个实施例中,所述预设分类方式包括按照模型图像的大小来分类、按照模型图像所还原的现实场景进行分类。
基于相同的技术构思,本发明还一种基于ARKit的学习装置,所述基于ARKit的学习装置包括扫描还原单元、比对解说单元和保存更新单元;
所述扫描还原单元,用于还原第一模型图像,所述第一模型图像是拍摄现实场景,获取所述现实长江的视频后利用ARKit技术获取特征参数,再利用所述特征参数对所述现实场景进行抽象还原获取的模型图像;
所述比对解说单元,用于比对所述第一模型图像的特征参数后,从数据库中获取第二模型图像,所述数据库中设有解说以及对应的解说内容,根据第二模型图像的特征参数,配置与特征参数一一对应的解说以及解说内容;
所述保存更新单元,用于将第一模型图像和特征参数保存至数据库中生成对应的数据记录,如数据库中已有对应的数据记录,则对该数据记录进行更新。
基于相同的技术构思,本发明还提供一种设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述基于ARKit的学习方法的步骤。
基于相同的技术构思,本发明还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如上述基于ARKit的学习方法的步骤。
上述基于ARKit的学习方法、装置、计算机设备和存储介质,通过摄像装置拍摄现实场景,获取所述现实场景的视频后,利用ARKit技术读取视频帧,对每一帧图片进行识别以获取其包含的特征参数,操作系统后台利用所述特征参数完成对所述现实场景的抽象还原,获取第一模型图像;根据所述特征参数中所包含的特征点,将第一模型图像的特征参数和数据库中存储的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像,并匹配出一卡通人物、调取用于解说所述第二模型图像的解说内容,利用卡通人物采用预设的解说方式完成对所述第二模型图像的解说;根据所述第一模型图像,按照预设分类方式将其保存在数据库中,使其成为后续用于比对的模型图像,并根据特征参数,更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像。与现有技术相比,本技术方案的有益技术效果在于,利用在ARKit场景下显示模型图像,生动还原现实环境;塑造卡通人物进行语音解说,提升学习的趣味性;将ARKit的实现方式应用在便携式平台装置上,降低学习成本,提升学习的便捷性和效率。
附图说明
图1为本发明一个实施例中一种基于ARKit的学习方法的流程图;
图2为本发明一个实施例中扫描并还原第一模型图像的流程图;
图3为本发明一个实施例中比对获取第二模型图像并设置解说的流程图;
图4为本发明一个实施例中保存并更新数据库的流程图;
图5为本发明一个实施例中一种基于ARKit的学习装置的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,本发明实施例提供一种基于ARKit的学习方法,所述基于ARKit的学习方法,可以包括如下步骤:
步骤S1:还原第一模型图像,所述第一模型图像是拍摄现实场景,获取所述现实场景的视频后利用ARKit技术获取特征参数,再利用所述特征参数对所述现实场景进行抽象还原获取的模型图像;
步骤S2:比对所述第一模型图像的特征参数后,从数据库中获取第二模型图像,所述数据库中设有解说以及对应的解说内容,根据第二模型图像的特征参数,配置与特征参数一一对应的解说及解说内容;根据获取的第一模型图像的特征参数,将其与数据库中存储的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像,并匹配出一卡通人物、调取用于解说所述第二模型图像的解说内容,利用卡通人物采用预设的解说文字完成对所述第二模型图像的解说;
步骤S3:将第一模型图像和特征参数保存至数据库中生成对应的数据记录,如数据库中已有对应的数据记录,则对该数据记录进行更新;根据所述第一模型图像,按照预设分类方式将其保存在数据库中,使其成为后续用于比对的模型图像,并根据特征参数,更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像。
图2为本发明一个实施例中扫描并还原第一模型图像的流程图,如图2所示,在步骤S1中,通过摄像装置拍摄现实场景,获取所述现实场景的视频,利用ARKit技术服务视频帧,对每一帧图片进行识别以获取特征参数,操作系统后台利用所述特征参数完成对所述现实场景的抽象还原,获取第一模型图像,本实施例中,所述步骤S1包括如下步骤S101-S103;
步骤S101:启动ARKit应用,在ARKit场景下通过摄像装置拍摄摄像装置前方的现实场景,获取所述现实场景的视频;
本实施例中,所述摄像装置是任一支持ARKit技术、具有摄像功能的装置,包括手机或iPad,选定所述摄像装置为iPad。启动ARKit应用后使得现实场景在ARKit的场景中,利用所述iPad拍摄其前方的现实场景。
步骤S102:根据所述现实场景的视频,利用ARKit技术读取视频帧,对每一帧图片进行识别以获取特征参数,并将所述特征参数提供给ARKit应用的操作后台,所述特征参数是指包含在每一帧图片中,以展示所述现实场景的被追踪的特征点。
本实施例中,所述操作后台包括iOS系统或Android系统,选定所述操作系统为iOS系统。所述iOS系统是一个为网际互联优化的操作系统,是一个与硬件分离额软件体系结构,随着网络技术的不断发展,可动态地升级以适应不断变化的技术。所述iOS系统具有模块性、灵活性、可伸缩性和可操作性。
根据所述现实场景视频,利用ARKit技术读取该视频中的视频帧,并对每一帧图片进行识别以获取特征参数,并将所述特征参数提供给iOS系统的操作后台;举例来说,当需要获取现实场景中的光强度、色度、色温这三个特征参数时,在利用iPad拍摄所述现实场景,获取视频后,利用ARKit技术读取视频帧,并识别每一帧图片中的光强度、色差、色温,将此三种特征参数提供给所述iOS系统的操作后台。
步骤S103:根据所述特征参数,所述操作系统后台利用其完成对所述现实场景的还原,获取第一模型图像,并将所述第一模型图像放置于一存储器内进行临时保存;
本实施例中,所述储器包括NAS存储器和DAS存储器;选定存储器为NAS存储器。举例来说,获取的特征参数有光强度、色度和色温,在所述iOS系统接收了此三种特征参数之后,会利用此三种特征参数,并根据现实场景,来抽象还原所述第一模型图像,并将获取的第一模型图像保存至NAS存储器中。
通过本实施例,能够将拍摄的现实场景的视频,利用ARKit技术识别所述特征参数,并根据所述特征参数还原第一模型图像,为下一步比对特征参数,从所述数据库找到最近似的模型图像,以及调用卡通人物进行解说做了准备。
图3为本发明一个实施例中比对获取第二模型图像并设置解说的流程图,如图3所示,在步骤S2中,根据所述特征参数中的特征点,将第一模型图像中的特征参数与数据库中存储的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像,并匹配出一卡通人物、调取用于解说所述第二模型图像的解说内容,利用卡通人物采用预设的解说方式完成对所述第二模型图像的解说,本实施例中,所述步骤S2可以包括如下步骤S201-S204:
步骤S201:根据所述特征参数中所包含的特征点,将第一模型图像的特征参数和数据库中的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像;
本实施例中,所述数据库设置在操作系统内,用于存储卡通人物、解说内容、以及用于与所述第一模型图像进行比对的模型图像,其包括DB2、ACCESS、MSSQL、MYSQL、ORACLE,选定数据库为DB2;所述DB2是一套关系型管理系统,它主要的运行环境为UNIX、Linux、iOS系统以及Window系统。所述所述DB2主要应用于大型应用系统,具有较好的可伸缩性,可支持从大型机到单用户环境。所述DB2提供了高层次的数据利用性、完整性,安全性、可恢复性,以及小规模到大规模应用程序的执行能力,具有与平台无关的基本功能和SQL命令。所述DB2具有存储量大、灵活调用等优点。数据库选用所述DB2,能够将数据卡通人物、解说内容、模型图形的存储,同时灵活调用存储在所述数据库中的各类对象。
本实施例中,不同视频帧图片中的特征参数中的特征点各不相同,在比对特征参数中的特征点的不同,即可区分所述第一模型图像与所述数据库中的模型图像的不同,进而找到与所述第一模型图像最近似的模型图像。
步骤S202:根据所述第二模型图像,从所述数据库中匹配一卡通人物,利用所述卡通人物完成对所述第二模型图像的解说;
本实施例中,所述卡通人物包括海绵宝宝、柯南、唐老鸭、米老鼠、喜洋洋等。
本实施例中,根据所述第二模型图像所描述的场景,从所述数据库中匹配出一适合解说所述第二模型图像的场景;举例来说,获取的第二模型图像描述的是羊群奔跑的场景,所述数据库则匹配出喜洋洋这一卡通人物来完成对羊群奔跑场景的解说。
步骤S203:根据所述第二模型图像,从所述数据库中调取用于解说所述第二模型图像的解说内容,并将所述解说内容放置在一存储器进行临时存储;
本实施例中,根据所述第二模型图像所描述的场景,从所述数据库中调取对应的解说内容,举例来说,第二模型图像描述的是羊群奔跑的场景,所述数据库则会调取有关羊群以及羊群奔跑的解说内容,并将获取的有关羊群以及羊群奔跑的解说内容存储至存储器内进行临时存储;
步骤S204:根据所述解说内容,利用所述卡通人物采用预设的解说方式完成对所述第二模型图像的解说;所述解说方式包括使用多种语言进行解说,其调用操作系统所支持的语音库完成声音解码和播放;
本实施例中,所述多种解说语言包括中文解说、英文解说、法文解说等,选定解说语言为英文解说。举例来说,所述第二模型图像描述的现实场景是羊群奔跑,匹配的卡通人物为喜洋洋,以及设置好解说内容,当选择使用英文解说时,所述操作系统将会利用卡通人物,根据解说内容,调用所述操作系统支持的语音库完成声音解码,并使用英文完成对羊群奔跑场景的解说。
通过本实施例,获取第二模型图像,并调用卡通人物和解说文字,完成对所述第二模型图像的讲解,同时为下一步保存特征参数和模型图像,更新数据库提供了对象。
图4为本发明一个实施例中保存并更新数据库的流程图,如图4所示,在步骤S3中,根据所述第一模型图像,按照预设分类方式将其保存在数据库中,使其成为后续用于比对的模型图像,并根据特征参数,更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像,本实施例中,所述步骤S3可以包括如下步骤S301-S302:
步骤S301:按照预设分类方式将所述第一模型图像保存在数据库中,使其成为后续用于比对的模型图像;
本实施例中,所述预设分类方式包括按照模型图像的大小来分类、按照模型图像所还原的显示场景来分类;所述按照模型图像的大小,包括模型图像所占有的存储量大小,以及模型图像所框定的图像范围大小;举例来说,按照模型图像所占有的存储量大小来分类,根据获取的第一模型图像,按照占有的存储量大小来进行分类。
步骤S302:更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像;举例来说,所述特征参数包括光强度、色度、色温,根据所述第一模型图像获取了第二模型图像,对第二模型图像中的光强度、色度、色温这三种特征参数进行完善,使得所述第二模型图像更为完善。
通过本实施例,将模型图像进行分类管理,同时利用特征参数对模型图像进行更新,使其更为完善,并更新数据库。
基于相同的技术构思,本发明还提供一种基于ARKit的学习装置,如图5所示,所述基于ARKit的学习装置包括扫描还原单元、比对解说单元和保存更新单元;
所述扫描还原单元,用于还原第一模型图像,所述第一模型图像是拍摄现实场景,获取所述现实场景的视频后利用ARKit技术获取特征参数,再利用所述特征参数对所述现实场景进行抽象还原获取的模型图像;
所述比对解说单元,用于比对所述第一模型图像的特征参数后,从数据库中获取第二模型图像,所述数据库中设有解说以及对应的解说内容,根据第二模型图像的特征参数,配置与特征参数一一对应的解说及解说内容;根据获取的第一模型图像的特征参数,将其与数据库中存储的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像,并匹配出一卡通人物、调取用于解说所述第二模型图像的解说内容,利用卡通人物采用预设的解说文字完成对所述第二模型图像的解说;
所述保存更新单元,用于将第一模型图像和特征参数保存至数据库中生成对应的数据记录,如数据库中已有对应的数据记录,则对该数据记录进行更新;根据所述第一模型图像,按照预设分类方式将其保存在数据库中,使其成为后续用于比对的模型图像,并根据特征参数,更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像。
基于相同的技术构思,本发明还提供一种设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行基于ARKit的学习方法的步骤,所述基于ARKit的学习方法的具体步骤包括:通过摄像装置拍摄现实场景,获取所述现实场景的视频后,利用ARKit技术读取视频帧,对每一帧图片进行识别以获取特征参数,操作系统后台利用所述特征参数完成对所述现实场景的抽象还原,获取第一模型图像;根据所述特征参数中所包含的特征点,将第一模型图像的特征参数和数据库中存储的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像,并匹配出一卡通人物、调取用于解说所述第二模型图像的解说内容,利用卡通人物采用预设的解说文字完成对所述第二模型图像的解说;根据所述第一模型图像,按照预设分类方式将其保存在数据库中,使其成为后续用于比对的模型图像,并根据特征参数,更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像。
基于相同的技术构思,本发明还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行基于ARKit的学习方法的步骤,所述基于ARKit的学习方法的具体步骤包括:通过摄像装置拍摄现实场景,获取所述现实场景的视频后,利用ARKit技术读取视频帧,对每一帧图片进行识别以获取其包含的特征参数,操作系统后台利用所述特征参数完成对所述现实场景的抽象还原,获取第一模型图像;根据所述特参数中的特征点,将第一模型图像的特征参数与数据库中存储的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像,并匹配出一卡通人物、调取用于解说所述第二模型图像的解说内容,利用卡通人物采用预设的解说文字完成对所述第二模型图像的解说;根据所述第一模型图像,按照预设分类方式将其保存在数据库中,使其成为后续用于比对的模型图像,并根据特征参数,更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于ARKit的学习方法,其特征在于,包括如下步骤:
S1:还原第一模型图像,所述第一模型图像是拍摄现实场景,获取所述现实场景的视频后利用ARKit技术获取特征参数,再利用所述特征参数对所述现实场景进行抽象还原获取的模型图像;
S2:比对所述第一模型图像的特征参数后,从数据库中获取第二模型图像,所述数据库中设有解说以及对应的解说内容,根据第二模型图像的特征参数,配置与特征参数一一对应的解说以及解说内容;
S3:将第一模型图像和特征参数保存至数据库中生成对应的数据记录,如数据库中已有对应的数据记录,则对该数据记录进行更新。
2.根据权利要求1所述的一种基于ARKit的学习方法,其特征在于,所述步骤S1包括:
S101:启动ARKit应用,在ARKit场景下通过摄像装置拍摄摄像装置前方的现实场景,获取所述现实场景的视频;
S102:根据所述现实场景的视频,利用ARKit技术读取视频帧,对每一帧图片进行识别以获取特征参数,并将所述特征参数提供给ARKit应用的操作后台,所述特征参数是指包含在每一帧图片中,以展示所述现实场景的被追踪的特征点;
S103:根据所述特征参数,所述操作系统后台利用其完成对所述现实场景的还原,获取第一模型图像,并将所述第一模型图像放置于一存储器内进行临时保存。
3.根据权利要求2所述的一种基于ARKit的学习方法,其特征在于,所述摄像装置是任一支持ARKit技术、具有摄像功能的装置,包括手机或iPad;
所述操作系统包括iOS系统或Android系统;
所述第一模型图像包括3D立体图像、平面图像;
所述存储器包括NAS存储器或DAS存储器。
4.根据权利要求1所述的一种基于ARKit的学习方法,其特征在于,所述步骤S2包括:
S201:根据所述特征参数中所包含的特征点,将第一模型图像的特征参数和数据库中的模型图像的特征参数进行一一比对,获取与所述第一模型图像最近似的第二模型图像;
S202:根据所述第二模型图像,从所述数据库中匹配一卡通人物,利用所述卡通人物完成对所述第二模型图像的解说;
S203:根据所述第二模型图像,从所述数据库中调取用于解说所述第二模型图像的解说内容,并将所述解说内容放置在一存储器进行临时存储;
S204:根据所述解说内容,利用所述卡通人物采用预设的解说方式完成对所述第二模型图像的解说;所述解说方式包括使用多种语言进行解说,其调用操作系统所支持的语音库完成声音解码和播放。
5.根据权利要求1所述的一种基于ARKit的学习方法,其特征在于,所述数据库设置在操作系统内,用于存储卡通人物、解说内容、以及能用于与所述第一模型图像进行比对的模型图像,包括DB2、ACCESS、MSSQL、ORACLE。
6.根据权利要求1所述的一种基于ARKit的学习方法,其特征在于,所述步骤S3包括:
S301:按照预设分类方式将所述第一模型图像保存在数据库中,使其成为后续用于比对的模型图像;
S302:更新存储在所述数据库中的模型图像的特征参数,使其成为更为完善的模型图像。
7.根据权利要求6所述的一种基于ARKit的学习方法,其特征在于,所述预设分类方式包括按照模型图像的大小来分类、按照模型图像所还原的现实场景进行分类。
8.一种基于ARKit的学习装置,其特征在于,所述基于ARKit的学习装置包括扫描还原单元、比对解说单元和保存更新单元;
所述扫描还原单元,用于还原第一模型图像,所述第一模型图像是拍摄现实场景,获取所述现实场景的视频后利用ARKit技术获取特征参数,再利用所述特征参数对所述现实场景进行抽象还原获取的模型图像;
所述比对解说单元,用于比对所述第一模型图像的特征参数后,从数据库中获取第二模型图像,所述数据库中设有解说以及对应的解说内容,根据第二模型图像的特征参数,配置与特征参数一一对应的解说以及解说内容;
所述保存更新单元,用于将第一模型图像和特征参数保存至数据库中生成对应的数据记录,如数据库中已有对应的数据记录,则对该数据记录进行更新。
9.一种设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述基于ARKit的学习方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的基于ARKit的学习方法的步骤。
CN201810363686.9A 2018-04-22 2018-04-22 基于ARkit的学习方法、装置、设备和存储介质 Pending CN108876880A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810363686.9A CN108876880A (zh) 2018-04-22 2018-04-22 基于ARkit的学习方法、装置、设备和存储介质
PCT/CN2018/104330 WO2019205411A1 (zh) 2018-04-22 2018-09-06 基于ARkit的学习方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810363686.9A CN108876880A (zh) 2018-04-22 2018-04-22 基于ARkit的学习方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN108876880A true CN108876880A (zh) 2018-11-23

Family

ID=64327089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810363686.9A Pending CN108876880A (zh) 2018-04-22 2018-04-22 基于ARkit的学习方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN108876880A (zh)
WO (1) WO2019205411A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917918A (zh) * 2019-03-07 2019-06-21 联想(北京)有限公司 一种基于增强现实技术的信息处理方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908232A (zh) * 2010-07-30 2010-12-08 重庆埃默科技有限责任公司 一种交互式场景仿真系统及场景虚拟仿真方法
CN103473254A (zh) * 2012-06-06 2013-12-25 三星电子株式会社 用于存储图像数据的方法和设备
US20160180590A1 (en) * 2014-12-23 2016-06-23 Lntel Corporation Systems and methods for contextually augmented video creation and sharing
CN105956196A (zh) * 2016-06-15 2016-09-21 天津市汇源印刷有限公司 一种采用虚拟现实增强技术制作说明书的方法
CN106251405A (zh) * 2016-07-26 2016-12-21 北京奇虎科技有限公司 增强现实的方法和终端

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495399B1 (en) * 2015-11-24 2016-11-15 International Business Machines Corporation Augmented reality model comparison and deviation detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908232A (zh) * 2010-07-30 2010-12-08 重庆埃默科技有限责任公司 一种交互式场景仿真系统及场景虚拟仿真方法
CN103473254A (zh) * 2012-06-06 2013-12-25 三星电子株式会社 用于存储图像数据的方法和设备
US20160180590A1 (en) * 2014-12-23 2016-06-23 Lntel Corporation Systems and methods for contextually augmented video creation and sharing
CN105956196A (zh) * 2016-06-15 2016-09-21 天津市汇源印刷有限公司 一种采用虚拟现实增强技术制作说明书的方法
CN106251405A (zh) * 2016-07-26 2016-12-21 北京奇虎科技有限公司 增强现实的方法和终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡天宇等: "增强现实技术综述", 《电脑知识与技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109917918A (zh) * 2019-03-07 2019-06-21 联想(北京)有限公司 一种基于增强现实技术的信息处理方法及电子设备

Also Published As

Publication number Publication date
WO2019205411A1 (zh) 2019-10-31

Similar Documents

Publication Publication Date Title
US11436449B2 (en) Method and electronic apparatus for processing image and training image tag classification model
CN109976821B (zh) 应用程序加载方法、装置、终端及存储介质
CN109600659B (zh) 播放视频时的操作方法、装置、设备及存储介质
US20230057566A1 (en) Multimedia processing method and apparatus based on artificial intelligence, and electronic device
US11412153B2 (en) Model-based method for capturing images, terminal, and storage medium
CN108401112B (zh) 图像处理方法、装置、终端及存储介质
US20220417417A1 (en) Content Operation Method and Device, Terminal, and Storage Medium
US20180349107A1 (en) Preview Changes To Mobile Applications At Different Display Resolutions
US10652613B2 (en) Splicing user generated clips into target media information
CN110070496B (zh) 图像特效的生成方法、装置和硬件装置
WO2018058811A1 (zh) 虚拟现实场景加载方法及设备
CN107633013A (zh) 图片页面生成方法、装置及计算机可读存储介质
CN110968362B (zh) 应用运行方法、装置及存储介质
CN113727039B (zh) 视频生成方法、装置、电子设备及存储介质
KR20230021144A (ko) 사용자 선호도를 반영한 기계 학습 기반 이미지 압축 세팅
EP4319123A1 (en) Image processing method, apparatus and device, storage medium, and computer program product
JP2018528634A (ja) 動画像をプレビューする方法及びデバイス、並びに表現パッケージを表示する方法及びデバイス
CN116842307B (zh) 数据处理方法、装置、设备、芯片及存储介质
CN113395441A (zh) 图像留色方法及设备
CN114697568B (zh) 特效视频确定方法、装置、电子设备及存储介质
CN109886861A (zh) 一种高效率图档格式heif图像加载方法及装置
CN108876880A (zh) 基于ARkit的学习方法、装置、设备和存储介质
US11232616B2 (en) Methods and systems for performing editing operations on media
CN110659024A (zh) 图形资源转换方法、装置、电子设备及存储介质
WO2022206645A1 (zh) 一种滚动截屏的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181123