CN111598996B - 一种基于ar技术的物品3d模型展示方法和系统 - Google Patents

一种基于ar技术的物品3d模型展示方法和系统 Download PDF

Info

Publication number
CN111598996B
CN111598996B CN202010390724.7A CN202010390724A CN111598996B CN 111598996 B CN111598996 B CN 111598996B CN 202010390724 A CN202010390724 A CN 202010390724A CN 111598996 B CN111598996 B CN 111598996B
Authority
CN
China
Prior art keywords
model
module
space template
technology
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010390724.7A
Other languages
English (en)
Other versions
CN111598996A (zh
Inventor
董闯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shixun Network Technology Co ltd
Original Assignee
Shanghai Shixun Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shixun Network Technology Co ltd filed Critical Shanghai Shixun Network Technology Co ltd
Priority to CN202010390724.7A priority Critical patent/CN111598996B/zh
Publication of CN111598996A publication Critical patent/CN111598996A/zh
Application granted granted Critical
Publication of CN111598996B publication Critical patent/CN111598996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种基于AR技术的物品3D模型展示方法和系统，能够根据不同的物品匹配不同的3D空间模板，更加多样化，个性化，解决了现有技术中虚拟场景内容单一、固定的问题。而且，用户除了可以通过观看3D动画模型来单向获取视觉体验之外，还可以主动对3D模型进行操作，提高了交互体验。此外，在播放物品3D模型的同时，还可以同步播放音频，用户体验更好。

Description

一种基于AR技术的物品3D模型展示方法和系统
技术领域
本发明涉及AR技术领域，更具体的说是涉及一种基于AR技术的物品3D模型展示方法和系统。
背景技术
增强现实(Augmented Reality，简称AR)，是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR受到的关注日益广泛，并且已经发挥了重要作用，显示出了巨大的潜力。
目前，已有的AR技术往往是通过识别图像信息显示预设的场景，其场景是提前设定好的，不能根据不同的物品进行个性化显示，比较单一、固定，无法由用户自定义，缺乏个性。
因此，如何提供一种虚拟场景丰富多样、更加个性化的3D模型展示方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于AR技术的物品3D模型展示方法和系统，解决了现有技术中虚拟场景内容单一、固定，无法由用户自定义的问题，实现了用户自定义虚拟场景，虚拟场景丰富多样，更加个性化。
为了实现上述目的，本发明采用如下技术方案：
一种基于AR技术的物品3D模型展示方法，包括：
S1、对物品进行拍摄，获取物品图像；
S2、基于物品图像从候选模型库中调用匹配的3D空间模板；
S3、基于物品图像和所述3D空间模板生成3D模型；
S4、将所述3D模型加载到交互界面进行展示；
S4、采集手势动作，并根据手势动作对所述3D模型进行操作。
优选的，步骤S2具体包括：
对物品图像进行预处理，并输入到训练好的深度学习网络中进行检测、识别和分类，获取背景与目标信息；
基于背景与目标信息以及特征提取信息从候选模型库中调用匹配的3D空间模板；其中，所述特征提取信息与各个3D空间模板对应存储。
优选的，所述候选模型库的建立方法包括：
利用爬虫技术采集3D空间模板；
基于深度学习网络对3D空间模板提取特征信息；
对应存储3D空间模板和特征信息，形成候选模型库。
优选的，步骤S4具体包括：
采集手势动作，并基于手势动作对3D模型进行旋转、放大、缩小、锁定和复位的操作。
优选的，还包括：采集音频素材，并在展示所述3D模型时，同步播放所述音频素材。
一种基于AR技术的物品3D模型展示系统，包括：
拍摄模块，用于对物品进行拍摄，获取物品图像；
调用模块，用于基于物品图像从候选模型库中调用匹配的3D空间模板；
生成模块，用于基于物品图像和所述3D空间模板生成3D模型；
展示模块，用于将所述3D模型加载到交互界面进行展示；
交互模块，用于采集手势动作，并根据手势动作对所述3D模型进行操作。
优选的，所述调用模块包括：分析单元和调用单元；
所述分析单元用于对物品图像进行预处理，并输入到训练好的深度学习网络中进行检测、识别和分类，获取背景与目标信息；
所述调动单元用于基于背景与目标信息以及特征提取信息从候选模型库中调用匹配的3D空间模板；其中，所述特征提取信息与各个3D空间模板对应存储。
优选的，还包括：爬虫模块、特征提取模块和存储模块；
所述爬虫模块，用于利用爬虫技术采集3D空间模板；
所述特征提取模块，用于基于深度学习网络对3D空间模板提取特征信息；
所述存储模块用于对应存储3D空间模板和特征信息，形成候选模型库。
优选的，所述展示模块具体用于采集手势动作，并基于手势动作对3D模型进行旋转、放大、缩小、锁定和复位的操作。
优选的，还包括：音频模块；
所述音频模块用于采集音频素材，并在展示所述3D模型时，同步播放所述音频素材。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于AR技术的物品3D模型展示方法和系统，能够根据不同的物品匹配不同的3D空间模板，更加多样化，个性化，解决了现有技术中虚拟场景内容单一、固定的问题。
而且，用户除了可以通过观看3D动画模型来单向获取视觉体验之外，还可以主动对3D模型进行操作，提高了交互体验。
此外，在播放物品3D模型的同时，还可以同步播放音频，用户体验更好。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于AR技术的物品3D模型展示方法流程图；
图2为本发明提供的基于物品图像从候选模型库中调用匹配的3D空间模板的流程图；
图3为本发明提供的建立候选模型库的流程图；
图4为本发明提供的一种基于AR技术的物品3D模型展示系统的示意图一；
图5为本发明提供的调用模块的示意图；
图6为本发明提供的一种基于AR技术的物品3D模型展示系统的示意图二。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见附图1，本发明实施例公开了一种基于AR技术的物品3D模型展示方法，包括：
S1、对物品进行拍摄，获取物品图像；
S2、基于物品图像从候选模型库中调用匹配的3D空间模板；
S3、基于物品图像和所述3D空间模板生成3D模型；
S4、将所述3D模型加载到交互界面进行展示；
S4、采集手势动作，并根据手势动作对所述3D模型进行操作。
为了进一步优化上述技术方案，步骤S2具体包括：
S21：对物品图像进行预处理，并输入到训练好的深度学习网络中进行检测、识别和分类，获取背景与目标信息；
具体的，对物品图像进行预处理包括：滤波、色彩/灰度变换、亮度/对比度增强、尺寸/分辨率归一化等预处理过程。
S22：基于背景与目标信息以及特征提取信息从候选模型库中调用匹配的3D空间模板；其中，所述特征提取信息与各个3D空间模板对应存储。
其中，特征提取信息通过对3D空间模板进行分析提前得到的，在匹配时，通过提取的背景与目标信息与特征提取信息进行匹配，匹配度超过预设阈值的则匹配成功，将3D空间模板和拍摄的物品进行叠加，形成3D模型进行展示，这样匹配得到的3D空间模板与所拍摄的物品匹配度比较高，不会显得特别突兀，且能够根据不同的物品匹配不同的3D空间模板，更加多样化，个性化，解决了现有技术中虚拟场景内容单一、固定的问题。
为了进一步优化上述技术方案，所述候选模型库的建立方法包括：
S201：利用爬虫技术采集3D空间模板；通过爬虫技术采集网络上符合条件的3D模型，此外，在具体实现时，还可以自定义选择部分导入一些3D模型。
S202：基于深度学习网络对3D空间模板提取特征信息；
S203：对应存储3D空间模板和特征信息，形成候选模型库。
为了进一步优化上述技术方案，步骤S4具体包括：
采集手势动作，并基于手势动作对3D模型进行旋转、放大、缩小、锁定和复位的操作。
在具体实现时，可以检测手势在交互界面形成的触控点，对监测到的触控点的移动轨迹进行追踪，确定移动轨迹对应的角位移和旋转轴，根据角位移和旋转轴对3D模型进行旋转变换。
对于缩放的实现方式，可以对检测到的触控点的移动轨迹进行追踪，确定两个触控点之间距离的变换趋势，根据变换趋势对3D模型进行比例缩放变换；
对于锁定的实现方式，可以检测手势触控交互界面的时间，若超过预设值，则响应锁定命令；对于复位的实现方式，可以检测用户在预设时间内点击交互界面的次数，若超过预设次数，则实现复位，还原大小，解除锁定。
此外，还需要说明的是，在具体实现时，可以选择触摸屏实现交互。
通过采集手势动作对3D模型进行旋转、缩放、锁定和复位等调整，使得用户除了可以通过观看3D动画模型来单向获取视觉体验之外，还可以主动对3D模型进行操作，提高了交互体验。
为了进一步优化上述技术方案，还包括：采集音频素材，并在展示所述3D模型时，同步播放所述音频素材。
在播放物品3D模型的同时，还可以同步播放音频，提高用户体验。
此外，本发明实施例还公开了一种基于AR技术的物品3D模型展示系统，包括：
拍摄模块1，用于对物品进行拍摄，获取物品图像；
调用模块2，用于基于物品图像从候选模型库中调用匹配的3D空间模板；
生成模块3，用于基于物品图像和所述3D空间模板生成3D模型；
展示模块4，用于将所述3D模型加载到交互界面进行展示；
交互模块5，用于采集手势动作，并根据手势动作对所述3D模型进行操作。
为了进一步优化上述技术方案，所述调用模块2包括：分析单元21和调用单元22；
所述分析单元21用于对物品图像进行预处理，并输入到训练好的深度学习网络中进行检测、识别和分类，获取背景与目标信息；
所述调动单元22用于基于背景与目标信息以及特征提取信息从候选模型库中调用匹配的3D空间模板；其中，所述特征提取信息与各个3D空间模板对应存储。
为了进一步优化上述技术方案，还包括：爬虫模块、特征提取模块和存储模块；
所述爬虫模块，用于利用爬虫技术采集3D空间模板；
所述特征提取模块，用于基于深度学习网络对3D空间模板提取特征信息；
所述存储模块用于对应存储3D空间模板和特征信息，形成候选模型库。
为了进一步优化上述技术方案，所述展示模块具体用于采集手势动作，并基于手势动作对3D模型进行旋转、放大、缩小、锁定和复位的操作。
为了进一步优化上述技术方案，还包括：音频模块；所述音频模块用于采集音频素材，并在展示所述3D模型时，同步播放所述音频素材。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种基于AR技术的物品3D模型展示方法，其特征在于，包括：
S1、对物品进行拍摄，获取物品图像；
S2、基于物品图像从候选模型库中调用匹配的3D空间模板；
S3、基于物品图像和所述3D空间模板生成3D模型；
S4、将所述3D模型加载到交互界面进行展示；
S4、采集手势动作，并根据手势动作对所述3D模型进行操作；
步骤S2具体包括：
对物品图像进行预处理，并输入到训练好的深度学习网络中进行检测、识别和分类，获取背景与目标信息；
基于背景与目标信息以及特征提取信息从候选模型库中调用匹配的3D空间模板；其中，所述特征提取信息与各个3D空间模板对应存储。
2.根据权利要求1所述的一种基于AR技术的物品3D模型展示方法，其特征在于，所述候选模型库的建立方法包括：
利用爬虫技术采集3D空间模板；
基于深度学习网络对3D空间模板提取特征信息；
对应存储3D空间模板和特征信息，形成候选模型库。
3.根据权利要求1所述的一种基于AR技术的物品3D模型展示方法，其特征在于，步骤S4具体包括：
采集手势动作，并基于手势动作对3D模型进行旋转、放大、缩小、锁定和复位的操作。
4.根据权利要求1所述的一种基于AR技术的物品3D模型展示方法，其特征在于，还包括：采集音频素材，并在展示所述3D模型时，同步播放所述音频素材。
5.一种基于AR技术的物品3D模型展示系统，其特征在于，包括：
拍摄模块，用于对物品进行拍摄，获取物品图像；
调用模块，用于基于物品图像从候选模型库中调用匹配的3D空间模板；
生成模块，用于基于物品图像和所述3D空间模板生成3D模型；
展示模块，用于将所述3D模型加载到交互界面进行展示；
交互模块，用于采集手势动作，并根据手势动作对所述3D模型进行操作；
所述调用模块包括：分析单元和调用单元；
所述分析单元用于对物品图像进行预处理，并输入到训练好的深度学习网络中进行检测、识别和分类，获取背景与目标信息；
所述调用单元用于基于背景与目标信息以及特征提取信息从候选模型库中调用匹配的3D空间模板；其中，所述特征提取信息与各个3D空间模板对应存储。
6.根据权利要求5所述的一种基于AR技术的物品3D模型展示系统，其特征在于，还包括：爬虫模块、特征提取模块和存储模块；
所述爬虫模块，用于利用爬虫技术采集3D空间模板；
所述特征提取模块，用于基于深度学习网络对3D空间模板提取特征信息；
所述存储模块用于对应存储3D空间模板和特征信息，形成候选模型库。
7.根据权利要求5所述的一种基于AR技术的物品3D模型展示系统，其特征在于，所述展示模块具体用于采集手势动作，并基于手势动作对3D模型进行旋转、放大、缩小、锁定和复位的操作。
8.根据权利要求5所述的一种基于AR技术的物品3D模型展示系统，其特征在于，还包括：音频模块；
所述音频模块用于采集音频素材，并在展示所述3D模型时，同步播放所述音频素材。
CN202010390724.7A 2020-05-08 2020-05-08 一种基于ar技术的物品3d模型展示方法和系统 Active CN111598996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010390724.7A CN111598996B (zh) 2020-05-08 2020-05-08 一种基于ar技术的物品3d模型展示方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010390724.7A CN111598996B (zh) 2020-05-08 2020-05-08 一种基于ar技术的物品3d模型展示方法和系统

Publications (2)

Publication Number Publication Date
CN111598996A CN111598996A (zh) 2020-08-28
CN111598996B true CN111598996B (zh) 2024-02-09

Family

ID=72187041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010390724.7A Active CN111598996B (zh) 2020-05-08 2020-05-08 一种基于ar技术的物品3d模型展示方法和系统

Country Status (1)

Country Link
CN (1) CN111598996B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763090A (zh) * 2020-11-06 2021-12-07 北京沃东天骏信息技术有限公司 信息处理方法及装置
CN112804585A (zh) * 2021-04-13 2021-05-14 杭州次元岛科技有限公司 一种在直播过程中实现产品智能展示的处理方法及装置
CN114167610A (zh) * 2021-11-24 2022-03-11 上海实迅网络科技有限公司 一种基于ar的数字博物馆展示系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530036A (zh) * 2016-10-24 2017-03-22 深圳市元征科技股份有限公司 一种物品显示方法和装置
CN106648098A (zh) * 2016-12-23 2017-05-10 武汉市马里欧网络有限公司 一种自定义场景的ar投影方法及系统
CN109741748A (zh) * 2019-03-11 2019-05-10 国网浙江省电力有限公司信息通信分公司 一种基于深度学习的智能语音转写方法及系统
CN109934106A (zh) * 2019-01-30 2019-06-25 长视科技股份有限公司 一种基于视频图像深度学习的用户行为分析方法
CN110688003A (zh) * 2019-09-09 2020-01-14 华南师范大学 基于增强现实的电子绘本系统、显示方法、装置和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530036A (zh) * 2016-10-24 2017-03-22 深圳市元征科技股份有限公司 一种物品显示方法和装置
CN106648098A (zh) * 2016-12-23 2017-05-10 武汉市马里欧网络有限公司 一种自定义场景的ar投影方法及系统
CN109934106A (zh) * 2019-01-30 2019-06-25 长视科技股份有限公司 一种基于视频图像深度学习的用户行为分析方法
CN109741748A (zh) * 2019-03-11 2019-05-10 国网浙江省电力有限公司信息通信分公司 一种基于深度学习的智能语音转写方法及系统
CN110688003A (zh) * 2019-09-09 2020-01-14 华南师范大学 基于增强现实的电子绘本系统、显示方法、装置和介质

Also Published As

Publication number Publication date
CN111598996A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN111598996B (zh) 一种基于ar技术的物品3d模型展示方法和系统
CN106355153B (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
Bhattacharya et al. Augmented reality via expert demonstration authoring (AREDA)
JP7337104B2 (ja) 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
Dash et al. Designing of marker-based augmented reality learning environment for kids using convolutional neural network architecture
Peng et al. A mobile augmented reality system for exhibition hall based on Vuforia
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
US11842514B1 (en) Determining a pose of an object from rgb-d images
KR101545138B1 (ko) 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기
US20210166461A1 (en) Avatar animation
CN113867531A (zh) 交互方法、装置、设备及计算机可读存储介质
CN113359986A (zh) 增强现实数据展示方法、装置、电子设备及存储介质
US10402068B1 (en) Film strip interface for interactive content
CN113163135B (zh) 视频的动画添加方法、装置、设备及介质
CN114092670A (zh) 一种虚拟现实显示方法、设备以及存储介质
CN114529690B (zh) 增强现实场景呈现方法、装置、终端设备和存储介质
CN106919260B (zh) 网页操作方法和装置
Lobo et al. Animation plans for before-and-after satellite images
Kim et al. Real-time interactive modeling and scalable multiple object tracking for AR
CN111651054A (zh) 音效控制方法、装置、电子设备及存储介质
US10417356B1 (en) Physics modeling for interactive content
KR101305725B1 (ko) 로고인식 증강현실 시스템 및 그 구현 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant