CN113744411A - 图像处理方法及装置、设备、存储介质 - Google Patents
图像处理方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN113744411A CN113744411A CN202011003538.XA CN202011003538A CN113744411A CN 113744411 A CN113744411 A CN 113744411A CN 202011003538 A CN202011003538 A CN 202011003538A CN 113744411 A CN113744411 A CN 113744411A
- Authority
- CN
- China
- Prior art keywords
- target object
- determining
- model
- face
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 230000002452 interceptive effect Effects 0.000 claims abstract description 152
- 238000000034 method Methods 0.000 claims abstract description 58
- 230000000694 effects Effects 0.000 claims abstract description 44
- 230000003190 augmentative effect Effects 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 239000011521 glass Substances 0.000 description 75
- 238000010586 diagram Methods 0.000 description 18
- 238000009877 rendering Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了一种图像处理方法及装置、设备和存储介质，其中，所述方法包括：对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；获取为所述目标对象确定的互动资源的3D模型；根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
Description
技术领域
本申请实施例涉及电子技术，涉及但不限于一种图像处理方法及装置、设备、存储介质。
背景技术
在零售行业中，线上的试穿、试戴等需求巨大。其中，试戴技术需要模拟真实的佩戴饰品的效果，使饰品跟随头部自然地运动，例如，眼镜、贴纸、发卡、发箍等。
目前，人脸检测、人脸识别、人脸深度信息重建等人脸技术应用广泛，但是由于现有的硬件限制，大多数移动终端都没有配备深度相机。因此，大多数移动终端都很难得到准确的3D(3-Dimension，三维)信息，在移动终端绝大多数人脸技术只实现了2D(2-Dimension，二维)人脸关键点方法。如此，在现有的2D人脸关键点系统中，如何提供AR(Augmented Reality，增强现实)试戴技术，成为本领域技术人员亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供一种图像处理方法及装置、设备、存储介质。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像处理方法，所述方法包括：
对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
获取为所述目标对象确定的互动资源的3D模型；
根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
第二方面，本申请实施例提供一种图像处理装置，所述装置包括：
提取单元，用于对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
确定单元，用于根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
获取单元，用于获取为所述目标对象确定的互动资源的3D模型；
处理单元，用于根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述图像处理方法中的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述所述图像处理方法中的步骤。
本申请实施例提供一种图像处理方法及装置、设备、存储介质，通过对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；获取为所述目标对象确定的互动资源的3D模型；根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，如此，能够基于2D关键点，不依赖3D信息，实现叠加互动资源的AR效果。
附图说明
图1为本申请实施例图像处理方法的实现流程示意图一；
图2为本申请实施例图像处理方法的实现流程示意图二；
图3为本申请实施例图像处理方法的实现流程示意图三；
图4为本申请实施例AR眼镜试戴系统的框图示意图；
图5为本申请实施例人脸宽度的示意图；
图6为本申请实施例2D人脸关键点与通用3D人脸模型的示意图；
图7为本申请实施例PnP求解原理的示意图；
图8为本申请实施例图像处理装置的组成结构示意图；
图9为本申请实施例电子设备的一种硬件实体示意图。
具体实施方式
下面结合附图和实施例对本申请的技术方案进一步详细阐述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本申请实施例提供一种图像处理方法，该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在所述电子设备的存储介质中。图1为本申请实施例图像处理方法的实现流程示意图一，如图1所示，所述方法包括：
步骤S101、对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
本申请实施例中，若所述目标对象为人脸，所述对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点，包括：基于人脸检测和人脸对齐算法，对获取的人脸图像进行处理，得到2D人脸关键点。
这里，所述电子设备可以为各种类型的具有信息处理能力的设备，例如手机、PDA(Personal Digital Assistant，个人数字助理)、导航仪、数字电话、视频电话、智能手表、智能手环、可穿戴设备、平板电脑、一体机等。
举例来说，若所述目标对象为人脸，则所述图像为人脸图像。
步骤S102、根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
举例来说，若所述目标对象为用户的人脸，则所述通用3D模型可以为平均脸模型，所述平均脸模型适用于通用的人脸，即不同用户对应的平均脸模型都是同一个平均脸模型。
步骤S103、获取为所述目标对象确定的互动资源的3D模型；
这里，当所述目标对象为人脸时，所述互动资源可以为眼镜、帽子、耳钉、耳机等。当所述目标对象为人体时，所述互动资源可以为衣服、裤子等。当所述目标对象为汽车时，所述互动资源可以为汽车内饰等。当所述目标对象为宠物时，所述互动资源可以为宠物物品，例如宠物衣服、项圈等。本申请实施例中对所述目标对象及其对应的互动资源的具体类型并不做限制。
这里，所述互动资源的3D模型，可以为通用的互动资源的3D模型，不随所述目标对象尺寸的不同而不同。所述互动资源的3D模型，还可以为适用于所述目标对象尺寸的3D模型，与所述目标对象的尺寸相匹配。
步骤S104、根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
在一些实施例中，所述根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，包括：根据所述2D关键点和所述通用3D模型，确定所述目标对象的3D模型；根据所述目标对象的3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
本申请实施例中，通过对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；获取为所述目标对象确定的互动资源的3D模型；根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，如此，能够基于2D关键点，不依赖3D信息，实现叠加互动资源的AR效果。
基于前述的实施例，本申请实施例再提供一种图像处理方法，图2为本申请实施例图像处理方法的实现流程示意图二，如图2所示，所述方法包括：
步骤S201、对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
步骤S202、根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
步骤S203、获取为所述目标对象确定的互动资源的3D模型；
这里，所述互动资源的3D模型为通用的互动资源的3D模型，不会随着目标对象尺寸的不同而不同。例如，当用户在线上试戴3D眼镜时，所述3D眼镜的模型的尺寸不会随着不同用户而改变。
步骤S204、根据所述2D关键点和所述互动资源的3D模型，确定锚点；
这里，可以在所述2D关键点中确定一个第一关键点(即定位点)，然后通过所述第一关键点在所述互动资源的3D模型中确定一个第二关键点，并将所述第一关键点与所述第二关键点进行关联，将关联后的点确定为锚点。并且，所述第一关键点与所述第二关键点可以为接触点。
步骤S205、根据所述2D关键点，确定所述互动资源的尺寸；
这里，所述互动资源的尺寸，指的是与所述图像中的目标对象的大小相匹配的尺寸。若拍摄图像时，目标对象距离摄像头较远，则所述目标对象在所述图像占的比例较小，对应地所述互动资源的尺寸就相对较小。若拍摄图像时，目标对象距离摄像头较近，则所述目标对象在所述图像中占的比例较大，对应地所述互动资源的尺寸就相对较大。
当然，所述互动资源的尺寸还可以是适合所述目标对象实体大小的尺寸。举例来说，在拍摄图像时，可以提示用户距离摄像头0.5米的距离进行拍摄，如此，可以在距离确定的情况下，根据图像中目标对象的大小，确定适合所述目标对象实体大小的互动资源的尺寸。
举例来说，当用户在线上试戴眼镜时，可以根据用户的2D人脸关键点，确定出所述眼镜的尺寸。如此，当用户选定想要试戴的眼镜后，可以根据确定出的所述尺寸，将适合所述人脸图像上的人脸大小的眼镜，佩戴到人脸图像中的人脸上。
步骤S206、根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；
这里，可以将所述目标对象的偏角等同于所述互动资源的偏角。
举例来说，当用户在线上试戴眼镜时，眼镜需要随着用户脸部的转动而转动，即眼镜相对于用户的脸部是静止的。因此，所述用户脸部的偏角就代表了眼镜的偏角。当用户脸部正对所述显示屏上的摄像头时，所述偏角为0度，当用户转头时，所述偏角为0～90度。
步骤S207、根据所述锚点、所述互动资源的尺寸和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
举例来说，若所述目标对象为人脸，所述互动资源为眼镜，在渲染时，可以根据所述锚点(眼镜的镜托中点，人脸鼻梁点)，将所述眼镜放到所述人脸上(即将眼镜的颈托中点与人脸鼻梁点相重合)，然后根据获取的眼镜尺寸调整所述眼镜的尺寸，根据获取的人脸的偏角调整所述眼镜的偏角，最后展示渲染后的图像。
本申请实施例中，通过对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；获取为所述目标对象确定的互动资源的3D模型；根据所述2D关键点和所述互动资源的3D模型，确定锚点；根据所述2D关键点，确定所述互动资源的尺寸；根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；根据所述锚点、所述互动资源的尺寸和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，如此，能够基于2D关键点，不依赖3D信息，实现叠加互动资源的AR效果。
基于前述的实施例，本申请实施例再提供一种图像处理方法，所述方法包括：
步骤S211、对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
步骤S212、根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
步骤S213、获取为所述目标对象确定的互动资源的3D模型；
步骤S214、在所述2D关键点中，将位于所述目标对象的特定位置上的关键点，确定为第一关键点；
步骤S215、在所述互动资源的3D模型对应的关键点中，将与所述第一关键点在任一相同平面上的投影点重合的点，确定第二关键点；
步骤S216、将所述第一关键点和所述第二关键点确定为锚点；
这里，可以将所述第一关键点作为定位点，并根据所述定位点，在所述互动资源中确定第二关键点，并将所述第一关键点与所述第二关键点相关联作为锚点，如此，在后续的渲染环节，根据所述锚点，将所述互动资源画到所述目标对象上。
步骤S217、根据所述2D关键点，确定所述互动资源的尺寸；
步骤S218、根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；
步骤S219、根据所述锚点、所述互动资源的尺寸和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
基于前述的实施例，本申请实施例再提供一种图像处理方法，所述方法包括：
步骤S221、对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
步骤S222、根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
步骤S223、获取为所述目标对象确定的互动资源的3D模型；
步骤S224、根据所述2D关键点和所述互动资源的3D模型，确定锚点；
步骤S225、根据所述2D关键点，确定所述目标对象的大小；
这里，根据所述2D关键点确定的目标对象的大小，指的是所述图像中的目标对象的大小。
步骤S226、确定所述目标对象的大小与所述图像的大小之间的比例；
在一些实施例中，所述目标对象为人脸，对应地，所述根据所述2D关键点，确定所述目标对象的大小，包括：根据获取的2D人脸关键点，确定所述人脸的宽度；所述确定所述目标对象的大小与所述图像的大小之间的比例，包括：确定所述人脸的宽度与获取的人脸图像的宽度之间的比例。
这里，所述方法应用于具备显示屏的电子设备，因此可以认为人脸的宽度与人脸图像的宽度之间的比例，与人脸到显示屏的距离，成线性关系。
在一些实施例中，所述根据获取的2D人脸关键点，确定所述人脸的宽度，包括：在所述2D人脸关键点中，确定N对关键点，所述N对关键点为人脸轮廓区域中的点，N为大于等于2的自然数；确定所述N对关键点中每一对关键点之间的距离；将所述N对关键点按距离从大到小进行排序，得到关键点序列；确定所述关键点序列中M对关键点的平均欧式距离，M为大于等于2的自然数且M小于等于N；将所述平均欧式距离，确定为人脸的宽度。
步骤S227、根据所述比例，确定所述目标对象到所述电子设备的显示屏的距离；
步骤S228、根据所述距离，确定所述互动资源的尺寸；
步骤S229、根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；
步骤S230、根据所述锚点、所述互动资源的尺寸和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
基于前述的实施例，本申请实施例再提供一种图像处理方法，所述方法包括：
步骤S231、对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
步骤S232、根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
步骤S233、获取为所述目标对象确定的互动资源的3D模型；
步骤S234、根据所述2D关键点和所述互动资源的3D模型，确定锚点；
步骤S235、根据所述2D关键点，确定所述互动资源的尺寸；
步骤S236、将所述2D关键点与所述通用3D模型中的3D点进行对齐，得到2D空间与3D空间的点对关系；
步骤S237、根据所述点对关系和采集所述图像的图像采集单元的内部参数，确定所述目标对象的偏角；
这里，如果用户对APP(Application，应用软件)授权了获取图像采集单元的内部参数的权限，则可以直接获取图像采集单元的内部参数。如果用户未对所述APP授权获取图像采集单元的内部参数的权限，则可以根据所述图像的参数，确定所述图像采集单元的内部参数。
步骤S238、根据所述锚点、所述互动资源的尺寸和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
在一些实施例中，所述步骤S237、根据所述点对关系和采集所述图像的图像采集单元的内部参数，确定所述目标对象的偏角，包括：
步骤S2371、根据所述点对关系和所述图像采集单元的内部参数，确定所述通用3D模型对应的世界坐标系与所述图像采集单元对应的相机坐标系的相对关系；
步骤S2372、根据所述相对关系，确定所述目标对象的偏角。
在一些实施例中，所述步骤S2371、根据所述点对关系和所述图像采集单元的内部参数，确定所述通用3D模型对应的世界坐标系与所述图像采集单元对应的相机坐标系的相对关系，包括：
步骤S2371a、基于PnP算法，根据所述点对关系和所述图像采集单元的内部参数，确定所述世界坐标系与所述相机坐标系的相对关系；
这里，所述PnP算法，即Perspective-n-Point算法，为求解3D到2D点对运动的方法，该方法描述了当知道多个3D空间点及其投影位置时，如何估计图像采集单元的位姿。
步骤S2371b、根据所述相对关系，确定所述目标对象的欧拉角；
步骤S2371c、将所述欧拉角确定为所述目标对象的偏角。
基于前述的实施例，本申请实施例再提供一种图像处理方法，应用于具备显示屏的电子设备，所述方法包括：
步骤S241、对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
步骤S242、根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
步骤S243、获取为所述目标对象确定的互动资源的3D模型；
步骤S244、在所述2D关键点中，将位于所述目标对象的特定位置上的关键点，确定为第一关键点；
本申请实施例中，所述第一关键点作为定位点在所述目标对象中要稳定，举例来说，当所述目标对象为人脸时，所述第一关键点可以为两个眼睛的中点，即鼻梁，在人脸做表情的情况下，鼻梁的坐标点在人脸中的位置基本不会发生变化。而嘴角等关键点，会随着人脸的表情在人脸中的位置发生上下左右的移动，因此，不能将嘴角等关键点作为定位点。
步骤S245、在所述互动资源的3D模型对应的关键点中，将与所述第一关键点在任一相同平面上的投影点重合的点，确定第二关键点；
步骤S246、将所述第一关键点和所述第二关键点确定为锚点；
步骤S247、根据所述2D关键点，确定所述目标对象的大小；
步骤S248、确定所述目标对象的大小与所述图像的大小之间的比例；
在一些实施例中，所述目标对象为人脸，对应地，所述根据所述2D关键点，确定所述目标对象的大小，包括：根据获取的2D人脸关键点，确定所述人脸的宽度；所述确定所述目标对象的大小与所述图像的大小之间的比例，包括：确定所述人脸的宽度与获取的人脸图像的宽度之间的比例。
在一些实施例中，所述根据获取的2D人脸关键点，确定所述人脸的宽度，包括：在所述2D人脸关键点中，确定N对关键点，所述N对关键点为人脸轮廓区域中的点，N为大于等于2的自然数；确定所述N对关键点中每一对关键点之间的距离；将所述N对关键点按距离从大到小进行排序，得到关键点序列；确定所述关键点序列中M对关键点的平均欧式距离，M为大于等于2的自然数且M小于等于N；将所述平均欧式距离，确定为人脸的宽度。
步骤S249、根据所述比例，确定所述目标对象到所述电子设备的显示屏的距离；
步骤S250、根据所述距离，确定所述互动资源的尺寸；
步骤S251、将所述2D关键点与所述通用3D模型中的3D点进行对齐，得到2D空间与3D空间的点对关系；
步骤S252、根据所述点对关系和采集所述图像的图像采集单元的内部参数，确定所述目标对象的偏角；
在一些实施例中，所述方法还包括：根据所述图像的长度和宽度，确定所述图像采集单元的焦距和光心；将所述图像采集单元的畸变系数设置为预设值；根据所述焦距、所述光心和所述畸变系数，确定所述图像采集单元的内部参数。
步骤S253、根据所述锚点、所述互动资源的尺寸和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
基于前述的实施例，本申请实施例再提供一种图像处理方法，图3为本申请实施例图像处理方法的实现流程示意图三，如图3所示，所述方法包括：
步骤S301、对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
步骤S302、根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
步骤S303、获取为所述目标对象确定的互动资源的3D模型；
步骤S304、根据所述2D关键点和所述互动资源的3D模型，确定锚点；
步骤S305、根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；
步骤S306、根据所述锚点和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
这里，在根据所述锚点和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果后，用户可以根据需要对所述互动资源的尺寸进行调整。例如，当用户在线上试穿衣服时，可以在试穿后的AR图像中，手动调整所述衣服在身体上的大小，以此来确定衣服的大小在身上试穿后的不同效果。
在一些实施例中，所述步骤S304、根据所述2D关键点和所述互动资源的3D模型，确定锚点，包括：
步骤S3041、在所述2D关键点中，将位于所述目标对象的特定位置上的关键点，确定为第一关键点；
步骤S3042、在所述互动资源的3D模型对应的关键点中，将与所述第一关键点在任一相同平面上的投影点重合的点，确定第二关键点；
步骤S3043、将所述第一关键点和所述第二关键点确定为锚点。在一些实施例中，所述步骤S305、根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角，包括：
步骤S3051、将所述2D关键点与所述通用3D模型中的3D点进行对齐，得到2D空间与3D空间的点对关系；
步骤S3052、根据所述点对关系和采集所述图像的图像采集单元的内部参数，确定所述目标对象的偏角。
在一些实施例中，所述步骤S3052、根据所述点对关系和采集所述图像的图像采集单元的内部参数，确定所述目标对象的偏角，包括：
步骤S3052a、根据所述点对关系和所述图像采集单元的内部参数，确定所述通用3D模型对应的世界坐标系与所述图像采集单元对应的相机坐标系的相对关系；
这里，所述根据所述点对关系和所述图像采集单元的内部参数，确定所述通用3D模型对应的世界坐标系与所述图像采集单元对应的相机坐标系的相对关系，包括：基于PnP算法，根据所述点对关系和所述图像采集单元的内部参数，确定所述世界坐标系与所述相机坐标系的相对关系；根据所述相对关系，确定所述目标对象的欧拉角；将所述欧拉角确定为所述目标对象的偏角。
步骤S3052b、根据所述相对关系，确定所述目标对象的偏角。
本申请实施例中，通过对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；获取为所述目标对象确定的互动资源的3D模型；根据所述2D关键点和所述互动资源的3D模型，确定锚点；根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；根据所述锚点和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，如此，能够基于2D关键点，不依赖3D信息，实现叠加互动资源的AR效果。
基于前述的实施例，本申请实施例再提供一种图像处理方法，应用于具备显示屏的电子设备，所述方法包括：
步骤S311、对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
步骤S312、根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
步骤S313、获取为所述目标对象确定的互动资源的3D模型；其中，所述互动资源的3D模型为互动资源的通用3D模型；
步骤S314、根据所述2D关键点和所述互动资源的3D模型，确定锚点；
步骤S315、根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；
步骤S316、根据所述2D关键点，确定所述互动资源的尺寸；
步骤S317、根据所述互动资源的尺寸和所述互动资源的通用3D模型，确定所述互动资源的叠加3D模型；
举例来说，当用户在线上试戴眼镜时，可以根据2D人脸关键点，确定人脸图像中人脸的宽度，然后根据所述人脸的宽度，确定所述眼镜的宽度，再根据所述眼镜的宽度和所述眼镜的通用3D模型，确定所述眼镜叠加到图像中人脸上的叠加3D模型。
步骤S318、根据所述锚点、所述互动资源的叠加3D模型和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
在一些实施例中，所述步骤S316、根据所述2D关键点，确定所述互动资源的尺寸，包括：
步骤S3161、根据所述2D关键点，确定所述目标对象的大小；
步骤S3162、确定所述目标对象的大小与所述图像的大小之间的比例；
在一些实施例中，所述目标对象为人脸，对应地，所述根据所述2D关键点，确定所述目标对象的大小，包括：根据获取的2D人脸关键点，确定所述人脸的宽度；所述确定所述目标对象的大小与所述图像的大小之间的比例，包括：确定所述人脸的宽度与获取的人脸图像的宽度之间的比例。
在一些实施例中，所述根据获取的2D人脸关键点，确定所述人脸的宽度，包括：在所述2D人脸关键点中，确定N对关键点，所述N对关键点为人脸轮廓区域中的点，N为大于等于2的自然数；确定所述N对关键点中每一对关键点之间的距离；将所述N对关键点按距离从大到小进行排序，得到关键点序列；确定所述关键点序列中M对关键点的平均欧式距离，M为大于等于2的自然数且M小于等于N；将所述平均欧式距离，确定为人脸的宽度。
步骤S3163、根据所述比例，确定所述目标对象到所述电子设备的显示屏的距离；
步骤S3164、根据所述距离，确定所述互动资源的尺寸。
基于前述的实施例，本申请实施例再提供一种图像处理方法，应用于具备显示屏的电子设备，所述方法包括：
步骤S321、基于人脸检测和人脸对齐算法，对获取的人脸图像进行处理，得到2D人脸关键点；
步骤S322、获取通用人脸3D模型和眼镜的3D模型，所述通用3D模型适用于通用的人脸；
步骤S323、在所述2D人脸关键点中，将位于所述人脸特定位置上的关键点，确定为第一关键点；
步骤S324、在所述眼镜的3D模型对应的关键点中，将与所述第一关键点在任一相同平面上的投影点重合的点，确定第二关键点；
步骤S325、将所述第一关键点和所述第二关键点确定为锚点；
这里，可以将2D人脸关键点中的第一关键点和所述眼镜的3D模型中的第二关键点进行关联，作为渲染时的锚点。
步骤S326、在所述2D人脸关键点中，确定N对关键点，所述N对关键点为人脸轮廓区域中的点，N为大于等于2的自然数；
步骤S327、确定所述N对关键点中每一对关键点之间的距离；
步骤S328、将所述N对关键点按距离从大到小进行排序，得到关键点序列；
步骤S329、确定所述关键点序列中M对关键点的平均欧式距离，M为大于等于2的自然数且M小于等于N；
这里，所述每一对关键点，都是有实际物理含义的，例如人脸两边两个太阳穴对应的点，就为一对关键点。且每一对关键点，都是人脸轮廓区域两边对称的两个关键点。
步骤S330、将所述平均欧式距离，确定为人脸的宽度；
步骤S331、确定所述人脸的宽度与获取的人脸图像的宽度之间的比例；
步骤S332、根据所述比例，确定所述人脸到所述电子设备的显示屏的距离；
步骤S333、根据所述距离，确定所述眼镜的尺寸；
步骤S321、将所述2D人脸关键点与所述通用人脸3D模型中的3D点进行对齐，得到2D空间与3D空间的点对关系；
步骤S334、基于PnP算法，根据所述点对关系和采集所述人脸图像的图像采集单元的内部参数，确定所述通用人脸3D模型对应的世界坐标系与所述图像采集单元对应的相机坐标系的相对关系；
步骤S335、根据所述相对关系，确定所述人脸的旋转向量和偏移向量；
步骤S336、根据所述旋转向量和偏移向量，确定所述人脸的欧拉角；
步骤S337、将所述人脸的欧拉角，确定为眼镜的偏角；
步骤S338、根据所述锚点、所述眼镜的尺寸和所述眼镜的偏角，在所述人脸图像上对所述眼镜进行渲染，以展示所述人脸图像与所述眼镜进行叠加之后的增强现实AR效果。
基于前述的实施例，本申请实施例提供一种AR眼镜试戴方法，应用于具备显示屏的电子设备，所述方法拓展了2D人脸关键点系统在AR试戴下的应用能力：系统输入单目的RGB(Red Green Blue，红绿蓝)图像，经过人脸检测、对齐，得到2D的人脸关键点信息。然后结合所述2D的人脸关键点的坐标与3D眼镜的模型，可以选定合适的关联点作为锚点，并且根据所述2D人脸关键点的坐标可以近似计算人脸的宽度，以得到眼镜的尺寸。再根据所述2D人脸关键点的坐标与3D平均人脸模型的对应关系可以求解PnP得到人脸的偏角，即眼镜佩戴时的偏角。最后，根据所述锚点、所述眼镜的尺寸、所述眼镜佩戴时的偏角这三个信息，可以将3D眼镜准确地佩戴在人脸上。
图4为本申请实施例AR眼镜试戴系统的框图示意图，如图4所示，系统输入为单目的RGB图像，对所述RGB图像进行人脸检测和人脸对齐，得到2D的人脸关键点信息。同时，可以获取需要试戴的3D眼镜的模型以及3D通用人脸模型。然后，根据所述2D的人脸关键点信息与3D眼镜的模型，确定锚点；根据所述2D的人脸关键点信息计算人脸的宽度，根据人脸的宽度计算3D眼镜的尺寸；根据所述2D的人脸关键点信息与3D通用人脸模型计算3D眼镜的PYR(Pitch Yaw Roll，欧拉角)；最后，根据所述锚点、3D眼镜的尺寸、和3D眼镜的PYR，将3D眼镜佩戴在人脸上，得到眼镜佩戴效果。
本申请实施例中，为了将眼镜佩戴在人脸上，主要步骤分为3个要素：准确的锚点、稳定的尺寸和PYR偏角。
其中，所述准确的锚点，主要通过以下方式获取：锚点决定了头部运动时眼镜整体与人脸的相对运动，想要眼镜与人脸相对静止需要两个要素：一、作为定位点的人脸关键点要稳定，二、选择合适的3D眼镜模型坐标与该定位点关联。
渲染时为了保证眼镜与人脸的相对静止，需要将眼镜上的锚点投影到与其关联的2D定位点上。为了保证这个操作确实产生眼镜与人脸相对静止的效果，眼镜锚点与2D定位点在三维空间应该是接触点，因为只有接触点在任何角度的2D投影面上是重合的。镜托中点与鼻梁接触，在任何视角下镜托中点与鼻梁点的2D投影都是同一个点，也就是欧式距离为0的两个点。如果不是接触点，那么这两个点只有在某些视角下是重合的，则这两个投影点的距离将是变量，这个变量会随人脸的姿态、不同人脸部凹凸的情况而改变，这时执行渲染操作眼镜和人脸会产生相对运动的效果。因此，在所述人脸图像中，若将鼻梁点确定为定位点，则将所述眼镜的镜托中点确定为与所述定位点关联的锚点。
这里，需要把2D人脸关键点和3D眼镜的模型中的点关联起来。而锚点本质上是眼镜上的3D坐标点，要投影到2D上，才能关联起来。这两个点在渲染的过程中会重合到一起。眼镜颈托中心和鼻梁的接触点在任何角度上的投影始终是同一点，距离为变量的话在渲染的过程中会导致眼镜在人脸上下左右变化。因此，在时间序列上，两个点在各个投影方向上的欧式距离都为0，则将此点确定为锚点。
其中，所述稳定的尺寸，主要通过以下方式获取：在眼镜试戴中，眼镜的尺寸只是视觉效果，可以将其转换为确定人脸与屏幕的距离。而脸宽与人脸图像宽度的比例一定程度上能反应人脸到屏幕的距离即，假设这个比例与人脸到屏幕的距离成线性关系。则确定出的人脸宽度，需要当人脸到屏幕的距离不变时，不会随转脸、仰头、低头发生变化。
图5为本申请实施例人脸宽度的示意图，如图5所示，在人脸图像中包括106个2D人脸关键点。其中，这些点是有对应关系的，可以形成一对点。例如，标号为0的点与标号为32的点为一对点，代表人脸上的太阳穴位置。标号为1的点与标号为31的点为一对点，标号为2的点与标号为30的点为一对点，标号为3的点与标号为29的点为一对点，标号为4的点与标号为28的点为一对点，标号为5的点与标号为27的点为一对点。而这6对点，是位于人脸面部轮廓区域中坐标变化最稳定的点，且这6对点中的每一对点之间都有一定的距离，在图中用连线进行展示。在所述6对点中，取距离最大的3对点的平均欧式距离作为脸宽。
其中，所述PYR偏角，主要通过以下方式获取：
求PYR偏角实际是求解人脸与图像采集单元的相对位置关系，可由PnP求解得到。PnP方案需要2D人脸关键点和通用3D人脸模型的坐标信息。图6为本申请实施例2D人脸关键点与通用3D人脸模型的示意图，如图6所示，图片61为2D人脸关键点示意图，包括了106个2D人脸关键点。图片62为通用3D人脸模型示意图，包括了68个3D点，即通用3D人脸模型采用了68点的平均脸3D模型。
首先将图片61中的106个2D人脸关键点与图片62中的68个3D点对齐，例如图片61中标号为0、2、4、6、8的2D关键点与图片62中标号为0、1、2、3、4的3D点分别进行对应，其中图片61中标号为1、3、5、7的2D关键点舍弃。用此种方法，将图片61与图片62中所有的点都进行对齐，如此形成了68对2D-3D的点对关系。
本申请实施例中的图像采集单元包括相机。
这里，由于眼镜试戴要求用户作表情时眼镜依旧稳定佩戴，因此不使用所有的关键点，尤其是在作表情时位移较大的点。本申请实施例中通过实验使用了脸颊、眉毛、鼻子等部位的关键点，舍弃了嘴角、下巴、眼睛等部位的关键点。
其次，求解PnP还需要图像采集单元的内部参数，按如下方式估计图像采集单元的内部参数：即利用公式(1)确定图像采集单元的焦距，利用公式(2)确定图像采集单元的光心，将畸变系数都设置为0。
fx＝fy＝max(img.Width，img.Height) (1)；
cx＝img.Width/2，cy＝img.Height/2 (2)；
这里，fx为横向焦距，fy为纵向焦距，cx为横向光心，cy为纵向光心，img.Width为人脸图像的宽度，img.Height为人脸图像的长度。
最后，可以利用所述2D-3D的点对关系，以及所述图像采集单元的内部参数，通过PnP求解世界坐标系和相机坐标系的相对关系，得到旋转向量和偏移向量，再将旋转向量和偏移向量转换为欧拉角PYR。
图7为本申请实施例PnP求解原理的示意图，如图7所示，图中包括三个坐标系，分别为世界坐标系，相机坐标系和图像坐标系。在图像坐标系中，图像平面71的中心为点c，相当于相机坐标系的Z轴与图像平面71的交点，所述图像平面71为图像成像的位置。P点为世界坐标系中的任一点，P点与相机坐标系的坐标原点o点的连线与图像平面71的交点为p点。o点到c点的距离即为图像采集单元的焦距。虚线代表世界坐标系和相机坐标系的关系，其中，R为旋转矩阵，t为偏移矩阵。旋转矩阵和偏移矩阵就代表了位姿。
本申请实施例提出了一种基于2D人脸关键点的眼镜试戴方案，将眼镜试戴分解成3要素：准确的锚点、稳定的尺寸和PYR偏角。该方案为在现有2D人脸关键点系统上实现眼镜试戴等类似AR应用提供了一种便捷的方式。通过2D人脸关键点与眼镜模型的对齐方式确定合适的锚点，通过选择合适的人脸关键点计算脸宽以近似眼镜模型的尺寸，并通过2D人脸关键点与通用3D人脸模型的对应关系求解PnP得到PYR偏角，实现眼镜的AR佩戴。
本申请实施例中的方案为现有的2D人脸关键点系统提供AR眼镜试戴的便捷方式。为了完成眼镜试戴也存在使用深度相机的试戴技术，但是需要推翻现有的2D人脸关键点系统。那么在基于2D的试戴技术中，可以将眼镜模型与3D人脸模型绑定，那么将眼镜试戴问题转化成求解2D-3D的PnP求解问题。
本申请实施例中，锚点是眼镜模型中与2D人脸关键点关联的3D点，该点需满足在各个视角下的投影点都与所关联的2D点重合。PnP算法即Perspective-n-Point算法，用于求解3D到2D点对运动的方法，该方法描述了当知道多个3D空间点及其投影位置时，如何估计相机的位姿。PYR即欧拉角，其中，P(Pitch，偏航角)、Y(Yaw，俯仰角)、R(Roll，翻滚角)，用于描述刚体在三维空间中的旋转运动，把刚体的运动分解成3次绕不同轴的旋转。
基于前述的实施例，本申请实施例提供一种图像处理装置，该装置包括所包括的各单元、以及各单元所包括的各模块、以及各模块所包括的各部件，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为CPU(Central Processing Unit，中央处理器)、MPU(Microprocessor Unit，微处理器)、DSP(Digital Signal Processing，数字信号处理器)或FPGA(Field Programmable GateArray，现场可编程门阵列)等。
图8为本申请实施例图像处理装置的组成结构示意图，如图8所示，所述装置800包括：
提取单元801，用于对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
确定单元802，用于根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
获取单元803，用于获取为所述目标对象确定的互动资源的3D模型；
处理单元804，用于根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
在一些实施例中，所述处理单元804，包括：锚点确定模块，用于根据所述2D关键点和所述互动资源的3D模型，确定锚点；尺寸确定模块，用于根据所述2D关键点，确定所述互动资源的尺寸；偏角确定模块，用于根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；处理模块，用于根据所述锚点、所述互动资源的尺寸和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
在一些实施例中，所述处理单元804，包括：所述锚点确定模块，还用于根据所述2D关键点和所述互动资源的3D模型，确定锚点；所述偏角确定模块，还用于根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；所述处理模块，还用于根据所述锚点和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
在一些实施例中，所述互动资源的3D模型为互动资源的通用3D模型，所述装置还包括：尺寸确定单元，用于根据所述2D关键点，确定所述互动资源的尺寸；
叠加3D模型确定单元，用于根据所述互动资源的尺寸和所述互动资源的通用3D模型，确定所述互动资源的叠加3D模型；
对应地，所述处理模块，包括：处理部件，用于根据所述锚点、所述互动资源的叠加3D模型和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
在一些实施例中，所述锚点确定模块，包括：第一关键点确定部件，用于在所述2D关键点中，将位于所述目标对象的特定位置上的关键点，确定为第一关键点；第二关键点确定部件，用于在所述互动资源的3D模型对应的关键点中，将与所述第一关键点在任一相同平面上的投影点重合的点，确定第二关键点；
锚点确定部件，用于将所述第一关键点和所述第二关键点确定为锚点。
在一些实施例中，所述尺寸确定模块，包括：目标对象尺寸确定部件，用于根据所述2D关键点，确定所述目标对象的大小；比例确定部件，用于确定所述目标对象的大小与所述图像的大小之间的比例；距离确定部件，用于根据所述比例，确定所述目标对象到所述电子设备的显示屏的距离；尺寸确定部件，用于根据所述距离，确定所述互动资源的尺寸。
在一些实施例中，所述偏角确定模块，包括：点对关系确定部件，用于将所述2D关键点与所述通用3D模型中的3D点进行对齐，得到2D空间与3D空间的点对关系；偏角确定部件，用于根据所述点对关系和采集所述图像的图像采集单元的内部参数，确定所述目标对象的偏角。
在一些实施例中，所述偏角确定部件，包括：偏角确定子部件，用于根据所述点对关系和所述图像采集单元的内部参数，确定所述通用3D模型对应的世界坐标系与所述图像采集单元对应的相机坐标系的相对关系；所述偏角确定子部件，还用于根据所述相对关系，确定所述目标对象的偏角。
在一些实施例中，所述偏角确定子部件，包括：相对关系确定部件，用于基于PnP算法，根据所述点对关系和所述图像采集单元的内部参数，确定所述世界坐标系与所述相机坐标系的相对关系；欧拉角确定部件，用于根据所述相对关系，确定所述目标对象的欧拉角；所述欧拉角确定部件，还用于将所述欧拉角确定为所述目标对象的偏角。
在一些实施例中，所述装置还包括：焦距光心确定单元，用于根据所述图像的长度和宽度，确定所述图像采集单元的焦距和光心；畸变系数确定单元，用于将所述图像采集单元的畸变系数设置为预设值；内部参数确定单元，用于根据所述焦距、所述光心和所述畸变系数，确定所述图像采集单元的内部参数。
在一些实施例中，所述目标对象为人脸，对应地，所述提取单元801，包括：提取模块，用于基于人脸检测和人脸对齐算法，对获取的人脸图像进行处理，得到2D人脸关键点。
在一些实施例中，所述目标对象为人脸，对应地，所述目标对象尺寸确定部件，包括：人脸宽度确定部件，用于根据获取的2D人脸关键点，确定所述人脸的宽度；所述比例确定部件，包括：人脸比例确定部件，用于确定所述人脸的宽度与获取的人脸图像的宽度之间的比例。
在一些实施例中，所述人脸宽度确定部件，包括：关键点确定部件，用于在所述2D人脸关键点中，确定N对关键点，所述N对关键点为人脸轮廓区域中的点，N为大于等于2的自然数；关键点距离确定部件，用于确定所述N对关键点中每一对关键点之间的距离；关键点序列确定部件，用于将所述N对关键点按距离从大到小进行排序，得到关键点序列；欧式距离确定部件，用于确定所述关键点序列中M对关键点的平均欧式距离，M为大于等于2的自然数且M小于等于N；宽度确定部件，用于将所述平均欧式距离，确定为人脸的宽度。
在一些实施例中，所述处理单元804，包括：目标对象3D模型确定单元，用于根据所述2D关键点和所述通用3D模型，确定所述目标对象的3D模型；展示单元，用于根据所述目标对象的3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、ROM(Read Only Memory，只读存储器)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
对应地，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的图像处理方法中的步骤。
对应地，本申请实施例提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，图9为本申请实施例电子设备的一种硬件实体示意图，如图9所示，该电子设备900的硬件实体包括：处理器901、通信接口902和存储器903，其中
处理器901通常控制电子设备900的总体操作。
通信接口902可以使电子设备900通过网络与其他终端或服务器通信。
存储器903配置为存储由处理器901可执行的指令和应用，还可以缓存待处理器901以及电子设备900中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过FLASH(闪存)或RAM(Random Access Memory，随机访问存储器)实现。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (17)
1.一种图像处理方法，其特征在于，所述方法包括：
对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
获取为所述目标对象确定的互动资源的3D模型；
根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，包括：
根据所述2D关键点和所述互动资源的3D模型，确定锚点；
根据所述2D关键点，确定所述互动资源的尺寸；
根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；
根据所述锚点、所述互动资源的尺寸和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
3.根据权利要求1所述的方法，其特征在于，所述根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，包括：
根据所述2D关键点和所述互动资源的3D模型，确定锚点；
根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角；
根据所述锚点和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
4.根据权利要求1所述的方法，其特征在于，所述根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，包括：
根据所述2D关键点和所述通用3D模型，确定所述目标对象的3D模型；
根据所述目标对象的3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
5.根据权利要求3所述的方法，其特征在于，所述互动资源的3D模型为互动资源的通用3D模型，所述方法还包括：
根据所述2D关键点，确定所述互动资源的尺寸；
根据所述互动资源的尺寸和所述互动资源的通用3D模型，确定所述互动资源的叠加3D模型；
对应地，所述根据所述锚点和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果，包括：根据所述锚点、所述互动资源的叠加3D模型和所述目标对象的偏角，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
6.根据权利要求2所述的方法，其特征在于，所述根据所述2D关键点和所述互动资源的3D模型，确定锚点，包括：
在所述2D关键点中，将位于所述目标对象的特定位置上的关键点，确定为第一关键点；
在所述互动资源的3D模型对应的关键点中，将与所述第一关键点在任一相同平面上的投影点重合的点，确定第二关键点；
将所述第一关键点和所述第二关键点确定为锚点。
7.根据权利要求2所述的方法，其特征在于，所述方法应用于具备显示屏的电子设备；对应地，所述根据所述2D关键点，确定所述互动资源的尺寸，包括：
根据所述2D关键点，确定所述目标对象的大小；
确定所述目标对象的大小与所述图像的大小之间的比例；
根据所述比例，确定所述目标对象到所述电子设备的显示屏的距离；
根据所述距离，确定所述互动资源的尺寸。
8.根据权利要求2所述的方法，其特征在于，所述根据所述2D关键点和所述通用3D模型，确定所述目标对象的偏角，包括：
将所述2D关键点与所述通用3D模型中的3D点进行对齐，得到2D空间与3D空间的点对关系；
根据所述点对关系和采集所述图像的图像采集单元的内部参数，确定所述目标对象的偏角。
9.根据权利要求8所述的方法，其特征在于，所述根据所述点对关系和采集所述图像的图像采集单元的内部参数，确定所述目标对象的偏角，包括：
根据所述点对关系和所述图像采集单元的内部参数，确定所述通用3D模型对应的世界坐标系与所述图像采集单元对应的相机坐标系的相对关系；
根据所述相对关系，确定所述目标对象的偏角。
10.根据权利要求9所述的方法，其特征在于，所述根据所述点对关系和所述图像采集单元的内部参数，确定所述通用3D模型对应的世界坐标系与所述图像采集单元对应的相机坐标系的相对关系，包括：
基于PnP算法，根据所述点对关系和所述图像采集单元的内部参数，确定所述世界坐标系与所述相机坐标系的相对关系；
根据所述相对关系，确定所述目标对象的欧拉角；
将所述欧拉角确定为所述目标对象的偏角。
11.根据权利要求8所述的方法，其特征在于，所述方法还包括：
根据所述图像的长度和宽度，确定所述图像采集单元的焦距和光心；
将所述图像采集单元的畸变系数设置为预设值；
根据所述焦距、所述光心和所述畸变系数，确定所述图像采集单元的内部参数。
12.根据权利要求1至11任一项所述的方法，其特征在于，所述目标对象为人脸；对应地，所述对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点，包括：
基于人脸检测和人脸对齐算法，对获取的人脸图像进行处理，得到2D人脸关键点。
13.根据权利要求7所述的方法，其特征在于，所述目标对象为人脸；对应地，所述根据所述2D关键点，确定所述目标对象的大小，包括：根据获取的2D人脸关键点，确定所述人脸的宽度；
所述确定所述目标对象的大小与所述图像的大小之间的比例，包括：确定所述人脸的宽度与获取的人脸图像的宽度之间的比例。
14.根据权利要求13所述的方法，其特征在于，所述根据获取的2D人脸关键点，确定所述人脸的宽度，包括：
在所述2D人脸关键点中，确定N对关键点，所述N对关键点为人脸轮廓区域中的点，N为大于等于2的自然数；
确定所述N对关键点中每一对关键点之间的距离；
将所述N对关键点按距离从大到小进行排序，得到关键点序列；
确定所述关键点序列中M对关键点的平均欧式距离，M为大于等于2的自然数且M小于等于N；
将所述平均欧式距离，确定为人脸的宽度。
15.一种图像处理装置，其特征在于，所述装置包括：
提取单元，用于对获取的包括目标对象的图像进行处理，得到所述目标对象的2D关键点；
确定单元，用于根据所述目标对象所属的类型获取通用3D模型，所述通用3D模型适用于通用的目标对象；
获取单元，用于获取为所述目标对象确定的互动资源的3D模型；
处理单元，用于根据所述2D关键点、所述通用3D模型和所述互动资源的3D模型，展示所述目标对象与所述互动资源进行叠加之后的增强现实AR效果。
16.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至14任一项所述图像处理方法中的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至14任一项所述图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011003538.XA CN113744411A (zh) | 2020-09-22 | 2020-09-22 | 图像处理方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011003538.XA CN113744411A (zh) | 2020-09-22 | 2020-09-22 | 图像处理方法及装置、设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113744411A true CN113744411A (zh) | 2021-12-03 |
Family
ID=78728045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011003538.XA Pending CN113744411A (zh) | 2020-09-22 | 2020-09-22 | 图像处理方法及装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744411A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661371A (zh) * | 2022-12-14 | 2023-01-31 | 深圳思谋信息科技有限公司 | 三维对象建模方法、装置、计算机设备及存储介质 |
| WO2024198085A1 (zh) * | 2023-03-31 | 2024-10-03 | 广东花至美容科技有限公司 | 人脸三维模型的重建方法、装置及可穿戴设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
| CN103456008A (zh) * | 2013-08-26 | 2013-12-18 | 刘晓英 | 一种面部与眼镜匹配方法 |
| CN104408764A (zh) * | 2014-11-07 | 2015-03-11 | 成都好视界眼镜有限公司 | 眼镜虚拟试戴方法、装置及系统 |
| CN104463938A (zh) * | 2014-11-25 | 2015-03-25 | 福建天晴数码有限公司 | 三维虚拟试妆方法和装置 |
| CN104881526A (zh) * | 2015-05-13 | 2015-09-02 | 深圳彼爱其视觉科技有限公司 | 一种基于3d的物品穿戴方法及眼镜试戴方法 |
| CN106570747A (zh) * | 2016-11-03 | 2017-04-19 | 济南博图信息技术有限公司 | 结合手势识别的眼镜在线适配方法及系统 |
| CN106910102A (zh) * | 2016-07-25 | 2017-06-30 | 湖南拓视觉信息技术有限公司 | 眼镜虚拟试戴方法及装置 |
| CN107103513A (zh) * | 2017-04-23 | 2017-08-29 | 广州帕克西软件开发有限公司 | 一种眼镜虚拟试戴方法 |
| US20180096537A1 (en) * | 2016-10-03 | 2018-04-05 | Ditto Technologies, Inc. | Using computed facial feature points to position a product model relative to a model of a face |
| CN109740511A (zh) * | 2018-12-29 | 2019-05-10 | 广州华多网络科技有限公司 | 一种人脸表情匹配方法、装置、设备及存储介质 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
-
2020
- 2020-09-22 CN CN202011003538.XA patent/CN113744411A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103400119A (zh) * | 2013-07-31 | 2013-11-20 | 南京融图创斯信息科技有限公司 | 基于人脸识别技术的混合显示眼镜交互展示方法 |
| CN103456008A (zh) * | 2013-08-26 | 2013-12-18 | 刘晓英 | 一种面部与眼镜匹配方法 |
| CN104408764A (zh) * | 2014-11-07 | 2015-03-11 | 成都好视界眼镜有限公司 | 眼镜虚拟试戴方法、装置及系统 |
| CN104463938A (zh) * | 2014-11-25 | 2015-03-25 | 福建天晴数码有限公司 | 三维虚拟试妆方法和装置 |
| CN104881526A (zh) * | 2015-05-13 | 2015-09-02 | 深圳彼爱其视觉科技有限公司 | 一种基于3d的物品穿戴方法及眼镜试戴方法 |
| CN106910102A (zh) * | 2016-07-25 | 2017-06-30 | 湖南拓视觉信息技术有限公司 | 眼镜虚拟试戴方法及装置 |
| US20180096537A1 (en) * | 2016-10-03 | 2018-04-05 | Ditto Technologies, Inc. | Using computed facial feature points to position a product model relative to a model of a face |
| CN106570747A (zh) * | 2016-11-03 | 2017-04-19 | 济南博图信息技术有限公司 | 结合手势识别的眼镜在线适配方法及系统 |
| CN107103513A (zh) * | 2017-04-23 | 2017-08-29 | 广州帕克西软件开发有限公司 | 一种眼镜虚拟试戴方法 |
| CN110674664A (zh) * | 2018-06-15 | 2020-01-10 | 阿里巴巴集团控股有限公司 | 视觉注意力的识别方法及系统、存储介质、处理器 |
| CN109740511A (zh) * | 2018-12-29 | 2019-05-10 | 广州华多网络科技有限公司 | 一种人脸表情匹配方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115661371A (zh) * | 2022-12-14 | 2023-01-31 | 深圳思谋信息科技有限公司 | 三维对象建模方法、装置、计算机设备及存储介质 |
| WO2024198085A1 (zh) * | 2023-03-31 | 2024-10-03 | 广东花至美容科技有限公司 | 人脸三维模型的重建方法、装置及可穿戴设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11838518B2 (en) | Reprojecting holographic video to enhance streaming bandwidth/quality | |
| AU2019419376B2 (en) | Virtual try-on systems and methods for spectacles | |
| US20200410775A1 (en) | Systems and methods for determining the scale of human anatomy from images | |
| US9779512B2 (en) | Automatic generation of virtual materials from real-world materials | |
| US20150235416A1 (en) | Systems and methods for genterating a 3-d model of a virtual try-on product | |
| US20140254939A1 (en) | Apparatus and method for outputting information on facial expression | |
| CN116528141A (zh) | 经由光学捕获的个性化hrtfs | |
| CN112509040A (zh) | 对提供镜面反射和反射修改的表面进行基于图像的检测 | |
| WO2014128747A1 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
| JP2023515517A (ja) | ライブフィッティングを含む眼鏡フレームのフィッティング | |
| CN113628322B (zh) | 图像处理、ar显示与直播方法、设备及存储介质 | |
| WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
| CN113744411A (zh) | 图像处理方法及装置、设备、存储介质 | |
| WO2022272230A1 (en) | Computationally efficient and robust ear saddle point detection | |
| Zhang et al. | Capture my head: a convenient and accessible approach combining 3D shape reconstruction and size measurement from 2D images for headwear design | |
| Tang et al. | Making 3D eyeglasses try-on practical | |
| US11681361B2 (en) | Reducing startup time of augmented reality experience | |
| JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
| CN114387388B (zh) | 一种近景三维人脸重建装置 | |
| JP6479836B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
| US20230055013A1 (en) | Accessory Detection and Determination for Avatar Enrollment | |
| CN118715476A (zh) | 用于记录头部图像的方法和对应的移动设备 | |
| CN109816746A (zh) | 素描图像生成方法及相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |