CN116030224B - 一种ar产品展示方法、装置、电子设备及存储介质 - Google Patents
一种ar产品展示方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116030224B CN116030224B CN202211736242.8A CN202211736242A CN116030224B CN 116030224 B CN116030224 B CN 116030224B CN 202211736242 A CN202211736242 A CN 202211736242A CN 116030224 B CN116030224 B CN 116030224B
- Authority
- CN
- China
- Prior art keywords
- product
- model
- matrix
- feature
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 130
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 34
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 29
- 230000000694 effects Effects 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 7
- 238000009877 rendering Methods 0.000 abstract description 6
- 230000001953 sensory effect Effects 0.000 abstract description 5
- 239000011521 glass Substances 0.000 description 13
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种AR产品展示方法、装置、电子设备及存储介质。本发明所述的AR产品展示方法包括：调用图像采集设备，实时获取人体位置信息和展示产品对应在人体上的肢体特征点的位置信息；使用训练好的场景模型，根据实时跟踪位置信息定位标记计算所述展示产品对应的物品模型的仿射变换数据；根据所述仿射变换数据，将所述展示产品的产品特征矩阵变换得到仿射变换矩阵；按照仿射变换矩阵在展示媒介上实时绘制虚拟的展示产品。本发明所述的AR产品展示方法，基于生物特征捕捉与3D渲染卓越表现力的加持，能更加快速准确的捕捉移动物品或者生物体的特征点，最大程度的利用、提升AR带来的虚实结合感官交互。
Description
技术领域
本发明涉及现实增强技术领域，特别是涉及一种AR产品展示方法、装置、电子设备及存储介质。
背景技术
在当前快消领域的系统或工作中，品牌商或经销商等系统管理者，总会通过发布各种图片或者图文结合方式的活动对所经营产品进行宣导推广，目的是从纯文字的营销活动推广进步到带有图片等更多丰富展示内容的形式，旨在让受众对象具有更强烈的感官冲击和参与活动冲动，最终实现营销活动的变现率。
人们生存在3D状态的现实世界，但使用的各类显示设备和获取的内容信息大多数2D平面上，特别在传统标签较为浓厚的快消领域中，信息的呈现、传递以及被受众对象的接收多通过2D状态的图片、图文，或者是部分的音频视频等。
通过2D状态的图文方式观看物品，用户只能看到平面的色彩和形状，却无法看到立体的状态和动态。在比如眼镜、口红、衣服等商品的展示中，用户不仅希望看到商品的各种形态，还希望亲自试穿、试戴，以查看商品和个人的适配程度。这些都是传统的2D展示方式所无法满足的。
发明内容
基于此，本发明的目的在于，提供一种AR产品展示方法、装置、电子设备及存储介质，基于生物特征捕捉与3D渲染卓越表现力的加持，能更加快速准确的捕捉移动物品或者生物体的特征点，最大程度的利用、提升AR带来的虚实结合感官交互。
第一方面，本发明提供一种AR产品展示方法，包括以下步骤，以下步骤由智能设备端执行：
调用图像采集设备，实时获取跟踪位置信息定位标记，所述跟踪位置信息定位标记包括人体位置信息和展示产品对应在人体上的肢体特征点的位置信息；
使用训练好的场景模型，根据所述实时跟踪位置信息定位标记计算所述展示产品对应的物品模型的仿射变换数据；
根据所述仿射变换数据，将所述展示产品的产品特征矩阵变换得到仿射变换矩阵；
按照仿射变换矩阵在展示媒介上实时绘制虚拟的展示产品。
进一步地，还包括：
实时获取人体位置变化，并根据人体位置变化计算所述肢体特征点的产品xy轴位置、大小、运动路径；
根据所述产品xy轴位置、大小、运动路径调整所述物品模型，得到对应的展示效果；所述展示效果至少包括以下一项：缩放、平移、动画播放。
进一步地，所述方法还包括以下步骤，以下步骤由与所述智能设备端通过网络连接的后端服务器执行：
将目标产品图像输入到产品特征提取模型，得到产品特征矩阵；
将产品应用的现实活动场景图像和人体图像输入到环境及生物特征提取模型，得到环境及生物特征矩阵；
对所述目标产品进行3D模型建模，得到所述目标产品对应的3D模型；
将所述3D模型输入到产品特征提取模型，完成对所述3D模型的特征提取模型，得到3D模型特征矩阵；
将所述产品特征矩阵、所述环境及生物特征矩阵和所述3D模型特征矩阵进行结合，得到训练好的场景模型。
进一步地，将所述产品特征矩阵、所述环境及生物特征矩阵和所述3D模型特征矩阵进行结合，得到训练好的场景模型，包括：
按照三维注册和跟踪技术，以图片左上角作为原始坐标点(0,0)，将图片中所述产品特征任一特征点坐标为x1(a1,b1)，所述3D模型特征矩阵中与x坐标相对应的坐标点为x1’(a1’,b1’)，遍历循环得到所述产品特征点与所述3D模型特征点的所有对应特征坐标点xN(aN,bN)、xN’(aN’,bN’)(N代表特征点数量的最大数)，以此得到所述产品特征矩阵和所述3D模型特征矩阵的第一特征对应矩阵数组；
按照三维注册和跟踪技术，遍历循环得到述环境及生物特征矩阵和所述3D模型特征矩阵的第二特征对应矩阵数组yn(cn,dn)、yn’(cn’,dn’)(n代表任一特征点)；
根据所述第一特征对应矩阵数组和所述第二特征对应矩阵数组，得到所述训练好的场景模型。
进一步地，还包括步骤：
使用网络接口的连接方式，从系统的后端服务器请求得到产品模型、环境及生物特征矩阵和产品特征矩阵，并在页面完成加载。
进一步地，所述展示媒介包括以下至少一项：
H5页面、微信小程序页面。
第二方面，本发明还提供一种AR产品展示装置，包括：
图像采集模块，用于调用图像采集设备，实时获取人体位置信息和展示产品对应在人体上的肢体特征点的位置信息；
仿射变换数据计算模块，用于使用训练好的场景模型，根据实时跟踪位置信息定位标记计算所述展示产品对应的物品模型的仿射变换数据；
仿射变换矩阵计算模块，用于根据所述仿射变换数据，将所述展示产品的产品特征矩阵变换得到仿射变换矩阵；
产品绘制模块，用于按照仿射变换矩阵在展示媒介上实时绘制虚拟的展示产品。
第三方面，本发明还提供一种电子设备，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如本发明第一方面任一所述的一种AR产品展示方法的步骤。
第四方面，本发明还提供一种计算机可读存储介质，
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面任一所述的一种AR产品展示方法的步骤。
本发明提供的一种AR产品展示方法、装置、电子设备及存储介质，有基于生物特征捕捉与3D渲染卓越表现力的加持，能更加快速准确的捕捉移动物品或者生物体的特征点，最大程度的利用、提升AR带来的虚实结合感官交互；基于小程序的AR体验在吸引更多消费者前来参与互动之外，AR所附加的功能体验能够被消费者所记忆，帮助系统对消费者等受众对象提升对系统产品印象，增强产品价值。区别于以往传统利用图片或视频中截桢得到图片的进行特征处理的方式，将当前快消系统程序中的特征获取提升为基于摄像头的动态追踪侦测特征技术，利用基于摄像头的动态追踪侦测技术加本地算法的结合可以更加快速的捕捉到对象特征、跟踪特征、渲染产品模型，减少了云端模型对特征检测的时间差、截桢处理图片时间差等，速度更快、体验更加顺滑流畅。
为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
图1为本发明提供的一种AR产品展示方法的步骤示意图；
图2为AR技术的现实世界与虚拟场景的成像原理图；
图3为AR技术的三维注册和跟踪技术原理图；
图4为AR技术的三维注册和跟踪技术公式图；
图5为一个实施例中人脸三维注册和跟踪的人脸特征点分布图；
图6为一个实施例中人脸特征点跟踪实现流程图；
图7为本发明提供的一种AR产品展示装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
针对背景技术中的问题，本申请实施例提供一种AR产品展示方法，如图1-图6所示，该方法包括以下步骤，且以下步骤由用户的智能设备端执行：
S01：调用图像采集设备，实时获取人体位置信息和展示产品对应在人体上的肢体特征点的位置信息。
在一个具体的实施例中，所述图像采集设备为智能手机的前置或后置摄像头，在其他的例子中，也可以为ipad等其他智能设备。
在一些试戴眼镜的实施例中，基于移动侦测算法捕捉得到摄像头当前是否有人脸、人脸形态、人脸眼镜位置等。在其他的例子中，如口红试色，则捕捉人脸、嘴唇位置等信息；衣服试穿等场景，则对应捕捉四肢、关节等关键肢体特征点。
S02：使用训练好的场景模型，根据实时跟踪位置信息定位标记计算所述展示产品对应的物品模型的仿射变换数据。
S03：根据所述仿射变换数据，将所述展示产品的产品特征矩阵变换得到仿射变换矩阵。
S04：按照仿射变换矩阵在展示媒介上实时绘制虚拟的展示产品。
在一个优选的实施例中，所述展示媒介为H5页面或微信小程序页面，便于消费者受众使用。
在一个优选的实施例中，通过引入基于动态目标特征点、生物特征点的新AR技术，升级原有的基于静态图片识别的AR技术方式，以此达到在系统发布的营销活动中，使得消费者等受众对象能通过在营销活动小程序上，进行AR形态的活动体验。还包括步骤：
S05：实时获取人体位置变化，并根据人体位置变化计算所述肢体特征点的产品xy轴位置、大小、运动路径。
S06：根据所述产品xy轴位置、大小、运动路径调整所述物品模型，得到对应的展示效果；所述展示效果至少包括以下一项：缩放、平移、动画播放。
以眼镜试戴场景为例，微信小程序同样通过唤醒、调用手机的前置或后置摄像头，基于移动侦测算法捕捉得到摄像头当前用户的人脸和眼睛交互动作，以连续的流数据中用户人脸中左右双眼的中心位置左眼xy轴坐标点、右眼x’y’轴坐标点在连续流数据中的位置变化(以左上角作为(0，0)坐标起点)曲线，根据三维注册和跟踪技术公式计算得出眼镜产品对应到人脸眼镜特征点的产品左镜xy轴坐标点、右镜x’y’轴位置进行坐标移动，眼镜物品模型将会根据所述产品xy轴位置、大小、运动路径等自身页面脚本语言处理后得到对应的缩放、平移或者动画播放等效果，从而呈现虚实相生的地步。
本申请实施例提供的一种AR产品展示方法，除了应用于用户的智能设备端，还包括与所述智能设备端通过网络连接的后端服务器，智能设备端使用网络接口的连接方式，从系统的后端服务器请求得到产品模型、环境及生物特征矩阵和产品特征矩阵，并在页面完成加载。
优选的，所述后端服务器还执行以下步骤：
S11：将目标产品图像输入到产品特征提取模型，得到产品特征矩阵。
S12：将产品应用的现实活动场景图像和人体图像输入到环境及生物特征提取模型，得到环境及生物特征矩阵。
S13：对所述目标产品进行3D模型建模，得到所述目标产品对应的3D模型。
S14：将所述3D模型输入到产品特征提取模型，完成对所述3D模型的特征提取模型，得到3D模型特征矩阵。
S15：将所述产品特征矩阵、所述环境及生物特征矩阵和所述3D模型特征矩阵进行结合，得到训练好的场景模型。
优选的，按照三维注册和跟踪技术，以图片左上角作为原始坐标点(0,0)，将图片中所述产品特征任一特征点坐标为x1(a1,b1)，所述3D模型特征矩阵中与x坐标相对应的坐标点为x1’(a1’,b1’)，遍历循环得到所述产品特征点与所述3D模型特征点的所有对应特征坐标点xN(aN,bN)、xN’(aN’,bN’)(N代表特征点数量的最大数)，以此得到所述产品特征矩阵和所述3D模型特征矩阵的第一特征对应矩阵数组；
按照三维注册和跟踪技术，遍历循环得到述环境及生物特征矩阵和所述3D模型特征矩阵的第二特征对应矩阵数组yn(cn,dn)、yn’(cn’,dn’)(n代表任一特征点)；
根据所述第一特征对应矩阵数组和所述第二特征对应矩阵数组，得到所述训练好的场景模型。
在一个具体的实施例中，如眼镜试戴的展示中，以上步骤具体被执行为：
(1)将眼镜产品输入到产品特征提取模型、将产品应用的现实活动场景和人脸的照片输入到环境及生物特征提取模型，分别得到眼镜产品特征矩阵数据、人脸穿戴环境及眼镜特征矩阵数据；
(2)将产品360°拍摄的目标眼镜图片数据输入到3D模型工具，工具将按实物与虚拟物品1：1比例还原的基准，完成眼镜产品物品的效果编辑、可视化和发布、模型处理等，最终输出得到目标眼镜产品的3D模型数据；
(3)服务端运作程序将眼镜产品特征矩阵数据、人脸穿戴环境及眼镜特征特征矩阵数据与3D模型特征矩阵数据进行按照三维注册和跟踪技术：以图片左上角作为原始坐标点(0,0)，两类数据按x对应x’、y对应y’得到特征对应矩阵数组，完成结合。
基于上述步骤，完成3个特征提取及特征模型的建立，用于后续用户在智能设备端调取数据，完成眼镜试戴、口红试色等产品展示。
本申请实施例还提供一种AR产品展示装置，如图7所示，该AR产品展示装置400包括：
图像采集模块401，用于调用图像采集设备，实时获取人体位置信息和展示产品对应在人体上的肢体特征点的位置信息；
仿射变换数据计算模块402，用于使用训练好的场景模型，根据实时跟踪位置信息定位标记计算所述展示产品对应的物品模型的仿射变换数据；
仿射变换矩阵计算模块403，用于根据所述仿射变换数据，将所述展示产品的产品特征矩阵变换得到仿射变换矩阵；
产品绘制模块404，用于按照仿射变换矩阵在展示媒介上实时绘制虚拟的展示产品。
优选的，还包括：
人体位置变化获取模块，用于实时获取人体位置变化，并根据人体位置变化计算所述肢体特征点的产品xy轴位置、大小、运动路径；
展示效果调整模块，用于根据所述产品xy轴位置、大小、运动路径调整所述物品模型，得到对应的展示效果；所述展示效果至少包括以下一项：缩放、平移、动画播放。
优选的，还包括与所述智能设备端通过网络连接的后端服务器，所述后端服务器还包括：
产品特征矩阵提取模块，用于将目标产品图像输入到产品特征提取模型，得到产品特征矩阵；
环境及生物特征矩阵提取模块，用于将产品应用的现实活动场景图像和人体图像输入到环境及生物特征提取模型，得到环境及生物特征矩阵；
3D模型计算模块，用于对所述目标产品进行3D模型建模，得到所述目标产品对应的3D模型；
3D模型特征矩阵提取模块，用于将所述3D模型输入到产品特征提取模型，完成对所述3D模型的特征提取模型，得到3D模型特征矩阵；
特征对应矩阵数组结合模块，用于将所述产品特征矩阵、所述环境及生物特征矩阵和所述3D模型特征矩阵进行结合，得到特征对应矩阵数组。
优选的，将所述产品特征矩阵、所述环境及生物特征矩阵和所述3D模型特征矩阵进行结合，得到特征对应矩阵数组，包括：
第一矩阵结合单元，用于按照三维注册和跟踪技术，以图片左上角作为原始坐标点(0,0)，将图片中所述产品特征任一特征点坐标为x1(a1,b1)，所述3D模型特征矩阵中与x坐标相对应的坐标点为x1’(a1’,b1’)，遍历循环得到所述产品特征点与所述3D模型特征点的所有对应特征坐标点xN(aN,bN)、xN’(aN’,bN’)(N代表特征点数量的最大数)，以此得到所述产品特征矩阵和所述3D模型特征矩阵的第一特征对应矩阵数组；
第二矩阵结合单元，用于按照三维注册和跟踪技术，遍历循环得到述环境及生物特征矩阵和所述3D模型特征矩阵的第二特征对应矩阵数组yn(cn,dn)、yn’(cn’,dn’)(n代表任一特征点)；
场景模型结合单元，用于根据所述第一特征对应矩阵数组和所述第二特征对应矩阵数组，得到所述训练好的场景模型。
优选的，还包括步骤：
数据传输模块，用于使用网络接口的连接方式，从系统的后端服务器请求得到产品模型、环境及生物特征矩阵和产品特征矩阵，并在页面完成加载。
优选的，所述展示媒介包括以下至少一项：
H5页面、微信小程序页面。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种电子设备，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如前所述的一种AR产品展示方法的步骤。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本申请实施例还提供一种计算机可读存储介质，
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的一种AR产品展示方法的步骤。
计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(R AM)、只读存储器(R OM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本发明提供的一种AR产品展示方法、装置、电子设备及存储介质，有基于生物特征捕捉与3D渲染卓越表现力的加持，能更加快速准确的捕捉移动物品或者生物体的特征点，最大程度的利用、提升AR带来的虚实结合感官交互；基于小程序的AR体验在吸引更多消费者前来参与互动之外，AR所附加的功能体验能够被消费者所记忆，帮助系统对消费者等受众对象提升对系统产品印象，增强产品价值。区别于以往传统利用图片或视频中截桢得到图片的进行特征处理的方式，将当前快消系统程序中的特征获取提升为基于摄像头的动态追踪侦测特征技术，利用基于摄像头的动态追踪侦测技术加本地算法的结合可以更加快速的捕捉到对象特征、跟踪特征、渲染产品模型，减少了云端模型对特征检测的时间差、截桢处理图片时间差等，速度更快、体验更加顺滑流畅。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (8)
1.一种AR产品展示方法，其特征在于，包括以下步骤，以下步骤由智能设备端执行：
调用图像采集设备，实时获取跟踪位置信息定位标记，所述跟踪位置信息定位标记包括人体位置信息和展示产品对应在人体上的肢体特征点的位置信息；
使用训练好的场景模型，根据所述跟踪位置信息定位标记计算所述展示产品对应的物品模型的仿射变换数据；
根据所述仿射变换数据，将所述展示产品的产品特征矩阵变换得到仿射变换矩阵；
按照仿射变换矩阵在展示媒介上实时绘制虚拟的展示产品；
其中，所述训练好的场景模型，通过以下由与所述智能设备端通过网络连接的后端服务器执行的步骤获得：
将目标产品图像输入到产品特征提取模型，得到产品特征矩阵；
将产品应用的现实活动场景图像和人体图像输入到环境及生物特征提取模型，得到环境及生物特征矩阵；
对所述目标产品进行3D模型建模，得到所述目标产品对应的3D模型；
将所述3D模型输入到产品特征提取模型，完成对所述3D模型的特征提取模型，得到3D模型特征矩阵；
将所述产品特征矩阵、所述环境及生物特征矩阵和所述3D模型特征矩阵进行结合，得到训练好的场景模型。
2.根据权利要求1所述的一种AR产品展示方法，其特征在于，还包括：
实时获取人体位置变化，并根据人体位置变化计算所述肢体特征点的产品xy轴位置、大小、运动路径；
根据所述产品xy轴位置、大小、运动路径调整所述物品模型，得到对应的展示效果；所述展示效果至少包括以下一项：缩放、平移、动画播放。
3.根据权利要求1所述的一种AR产品展示方法，其特征在于，将所述产品特征矩阵、所述环境及生物特征矩阵和所述3D模型特征矩阵进行结合，得到训练好的场景模型，包括：
按照三维注册和跟踪技术，以图片左上角作为原始坐标点(0,0)，记图片中所述产品特征矩阵的任一产品特征点坐标为x1(a1,b1)，所述3D模型特征矩阵中与x1坐标相对应的3D模型特征点坐标为x1’(a1’,b1’)，遍历循环得到所述产品特征点与所述3D模型特征点的所有对应特征坐标点xN(aN,bN)、xN’(aN’,bN’)，N代表特征点数量的最大数，以此得到所述产品特征矩阵和所述3D模型特征矩阵的第一特征对应矩阵数组；
按照三维注册和跟踪技术，遍历循环得到所述环境及生物特征矩阵和所述3D模型特征矩阵的第二特征对应矩阵数组yn(cn,dn)、yn’(cn’,dn’)，n代表任一特征点；
根据所述第一特征对应矩阵数组和所述第二特征对应矩阵数组，得到所述训练好的场景模型。
4.根据权利要求3所述的一种AR产品展示方法，其特征在于，还包括步骤：
使用网络接口的连接方式，从系统的后端服务器请求得到产品模型、环境及生物特征矩阵和产品特征矩阵，并在页面完成加载。
5.根据权利要求1所述的一种AR产品展示方法，其特征在于，所述展示媒介包括以下至少一项：
H5页面、微信小程序页面。
6.一种AR产品展示装置，其特征在于，包括智能设备端；所述智能设备端包括：
图像采集模块，用于调用图像采集设备，实时获取跟踪位置信息定位标记，所述跟踪位置信息定位标记包括人体位置信息和展示产品对应在人体上的肢体特征点的位置信息；
仿射变换数据计算模块，用于使用训练好的场景模型，根据所述跟踪位置信息定位标记计算所述展示产品对应的物品模型的仿射变换数据；
仿射变换矩阵计算模块，用于根据所述仿射变换数据，将所述展示产品的产品特征矩阵变换得到仿射变换矩阵；
产品绘制模块，用于按照仿射变换矩阵在展示媒介上实时绘制虚拟的展示产品；
还包括与所述智能设备端通过网络连接的后端服务器，所述后端服务器包括：
产品特征矩阵提取模块，用于将目标产品图像输入到产品特征提取模型，得到产品特征矩阵；
环境及生物特征矩阵提取模块，用于将产品应用的现实活动场景图像和人体图像输入到环境及生物特征提取模型，得到环境及生物特征矩阵；
3D模型计算模块，用于对所述目标产品进行3D模型建模，得到所述目标产品对应的3D模型；
3D模型特征矩阵提取模块，用于将所述3D模型输入到产品特征提取模型，完成对所述3D模型的特征提取模型，得到3D模型特征矩阵；
特征对应矩阵数组结合模块，用于将所述产品特征矩阵、所述环境及生物特征矩阵和所述3D模型特征矩阵进行结合，得到训练好的场景模型。
7.一种电子设备，其特征在于，包括：
至少一个存储器以及至少一个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5任一所述的一种AR产品展示方法的步骤。
8.一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任一所述的一种AR产品展示方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211736242.8A CN116030224B (zh) | 2022-12-30 | 2022-12-30 | 一种ar产品展示方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211736242.8A CN116030224B (zh) | 2022-12-30 | 2022-12-30 | 一种ar产品展示方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116030224A CN116030224A (zh) | 2023-04-28 |
| CN116030224B true CN116030224B (zh) | 2023-12-26 |
Family
ID=86077397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211736242.8A Active CN116030224B (zh) | 2022-12-30 | 2022-12-30 | 一种ar产品展示方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116030224B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
| CN106373085A (zh) * | 2016-09-20 | 2017-02-01 | 福州大学 | 一种基于增强现实的智能终端3d手表试戴方法及系统 |
| CN107103513A (zh) * | 2017-04-23 | 2017-08-29 | 广州帕克西软件开发有限公司 | 一种眼镜虚拟试戴方法 |
| CN111461814A (zh) * | 2020-03-11 | 2020-07-28 | 深圳市新镜介网络有限公司 | 虚拟眼镜的试戴方法、终端设备及存储介质 |
| CN111507806A (zh) * | 2020-04-23 | 2020-08-07 | 北京百度网讯科技有限公司 | 虚拟试鞋方法、装置、设备以及存储介质 |
| KR20210000044A (ko) * | 2019-06-24 | 2021-01-04 | 주식회사 이매지니어스 | 증강현실 기반 가상 피팅 시스템 및 방법 |
| CN112883919A (zh) * | 2021-03-22 | 2021-06-01 | 温州大学 | 一种基于人脸特征增强匹配的眼镜选配方法及装置 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
-
2022
- 2022-12-30 CN CN202211736242.8A patent/CN116030224B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
| CN106373085A (zh) * | 2016-09-20 | 2017-02-01 | 福州大学 | 一种基于增强现实的智能终端3d手表试戴方法及系统 |
| CN107103513A (zh) * | 2017-04-23 | 2017-08-29 | 广州帕克西软件开发有限公司 | 一种眼镜虚拟试戴方法 |
| KR20210000044A (ko) * | 2019-06-24 | 2021-01-04 | 주식회사 이매지니어스 | 증강현실 기반 가상 피팅 시스템 및 방법 |
| CN111461814A (zh) * | 2020-03-11 | 2020-07-28 | 深圳市新镜介网络有限公司 | 虚拟眼镜的试戴方法、终端设备及存储介质 |
| CN111507806A (zh) * | 2020-04-23 | 2020-08-07 | 北京百度网讯科技有限公司 | 虚拟试鞋方法、装置、设备以及存储介质 |
| CN112883919A (zh) * | 2021-03-22 | 2021-06-01 | 温州大学 | 一种基于人脸特征增强匹配的眼镜选配方法及装置 |
| CN114663199A (zh) * | 2022-05-17 | 2022-06-24 | 武汉纺织大学 | 一种动态展示的实时三维虚拟试衣系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Real-time occlusion handling for augmented reality assistance assembly systems with monocular images;Wang Li等;Journal of Manufacturing Systems;第561-574页 * |
| 仿射变换在增强现实智能针灸系统中的应用研究;滕玮;曾芬芳;;江苏科技大学学报(自然科学版)(第04期);第55-59页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116030224A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977818B2 (en) | Machine learning based model localization system | |
| CN109615703B (zh) | 增强现实的图像展示方法、装置及设备 | |
| Thies et al. | Facevr: Real-time facial reenactment and eye gaze control in virtual reality | |
| US20220012495A1 (en) | Visual feature tagging in multi-view interactive digital media representations | |
| CN106066701B (zh) | 一种ar和vr数据处理设备与方法 | |
| US20020158873A1 (en) | Real-time virtual viewpoint in simulated reality environment | |
| US20040104935A1 (en) | Virtual reality immersion system | |
| Levin | Real-time target and pose recognition for 3-d graphical overlay | |
| Pandey et al. | Volumetric capture of humans with a single rgbd camera via semi-parametric learning | |
| CN105869216A (zh) | 目标对象展示方法和装置 | |
| EP1941423A2 (en) | Personalizing a video | |
| KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
| Gonzalez-Franco et al. | Movebox: Democratizing mocap for the microsoft rocketbox avatar library | |
| CN113628322B (zh) | 图像处理、ar显示与直播方法、设备及存储介质 | |
| Elhayek et al. | Fully automatic multi-person human motion capture for vr applications | |
| KR20190011492A (ko) | 콘텐츠를 제공하기 위한 디바이스 및 그의 작동 방법 | |
| WO2004012141A2 (en) | Virtual reality immersion system | |
| Pei et al. | All-in-focus synthetic aperture imaging using image matting | |
| CN111583350B (zh) | 图像处理方法、装置、系统及服务器 | |
| CN107818596B (zh) | 一种场景参数确定方法、装置及电子设备 | |
| Baker et al. | CasualStereo: Casual capture of stereo panoramas with spherical structure-from-motion | |
| Lin et al. | Extracting 3D facial animation parameters from multiview video clips | |
| Feng et al. | Virtual glasses try-on based on large pose estimation | |
| CN116030224B (zh) | 一种ar产品展示方法、装置、电子设备及存储介质 | |
| EP4036858A1 (en) | Volumetric imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |