CN111710044A - 图像处理方法、装置和计算机可读存储介质 - Google Patents

图像处理方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111710044A
CN111710044A CN201910203398.1A CN201910203398A CN111710044A CN 111710044 A CN111710044 A CN 111710044A CN 201910203398 A CN201910203398 A CN 201910203398A CN 111710044 A CN111710044 A CN 111710044A
Authority
CN
China
Prior art keywords
model
try
image
information
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910203398.1A
Other languages
English (en)
Inventor
刘享军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910203398.1A priority Critical patent/CN111710044A/zh
Publication of CN111710044A publication Critical patent/CN111710044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提出一种图像处理方法、装置和计算机可读存储介质，涉及增强现实技术领域。本公开的一种图像处理方法包括：获取图像采集设备拍摄的试戴人图像的三维图像信息；获取试戴模型的三维图像信息；根据试戴人图像的三维图像信息和试戴模型的三维图像信息生成遮挡模型；根据遮挡模型、试戴模型和试戴人图像绘制试戴图像。通过这样的方法，基于试戴人和试戴模型的三维图像信息准确还原深度信息及准确的姿态，提高试戴图像中对尺寸匹配情况反映的准确度；还能够利用深度信息准确反映遮挡情况，提高试戴图像的真实度。

Description

图像处理方法、装置和计算机可读存储介质
技术领域
本公开涉及增强现实技术领域，特别是一种图像处理方法、装置和计算机可读存储介质。
背景技术
AR(Augmented Reality，增强现实)技术是一种实时计算摄像机位置和姿态，并在现实世界场景中叠加图像、视频和三维渲染模型的技术。这种技术从20世界90年代被首次提出，在提出之后的一段时间内，受设备计算能力的限制，没有被广泛普及。但是随着电子产品计算能力的提升，增强现实的应用越来越广泛。
移动端设备(手机、平板电脑等)目前已经普及，成本已经被大大降低，在移动端设备中集成增强现实类应用成为最近的一个热点。2016年7月，任天堂、精灵宝可梦、Niantic合作发布了世界上第一款增强现实类游戏，该游戏风靡全球，获得了游戏界的奥斯卡大奖，游戏背后可以看出增强现实技术已经走入了人们的日常生活。增强现实除了可以应用在游戏中，也可以应用在人们的日常生活中，例如在电商家居家装类应用中，用户可以在自己房间内摆放虚拟家具，来遴选确定自己最喜欢的、与已有房间最搭配的家具产品；在广告营销场景中，用户可以扫描某个厂商的标识来观看某个促销动画，参与某项优惠活动，领取优惠券等。
发明内容
本公开的一个目的在于提高AR试戴效果的准确性。
根据本公开的一些实施例的一个方面，提出一种图像处理方法，包括：获取图像采集设备拍摄的试戴人图像的三维图像信息；获取试戴模型的三维图像信息；根据试戴人图像的三维图像信息和试戴模型的三维图像信息生成遮挡模型；根据遮挡模型、试戴模型和试戴人图像绘制试戴图像。
在一些实施例中，遮挡模型包括试戴人图像对试戴模型的图像的遮挡位置信息。
在一些实施例中，根据试戴人图像的三维图像信息和试戴模型的三维图像信息生成遮挡模型包括：获取试戴人图像的眉心位置；基于眉心位置，根据试戴模型的三维图像信息和试戴人图像的三维图像信息确定试戴人图像和试戴模型的位置对应关系；根据三维图像信息中的深度信息，以及位置对应关系确定试戴人图像对试戴模型的图像的遮挡位置，生成遮挡模型。
在一些实施例中，根据试戴人图像的三维图像信息和试戴模型的三维图像信息生成遮挡模型包括：根据试戴人图像的三维图像信息生成规则几何三维模型；在规则几何三维模型上获取试戴人图像的眉心位置；基于眉心位置，根据规则几何三维模型的三维图像信息和试戴人图像的三维图像信息确定规则几何三维模型和试戴模型的位置对应关系；根据三维图像信息中的深度信息，以及位置对应关系确定规则几何三维模型对试戴模型的图像的遮挡位置，生成遮挡模型。
在一些实施例中，根据遮挡模型、试戴模型和试戴人图像绘制试戴图像包括：将遮挡模型中各点的深度信息写入深度信息缓冲区；在试戴模型的深度小于遮挡模型中对应点的深度信息的情况下，将试戴模型的深度信息写入深度信息缓冲区；根据遮挡模型和试戴模型，以及深度信息缓冲区中的深度信息绘制试戴图像。
在一些实施例中，根据遮挡模型、试戴模型和试戴人图像绘制试戴图像还包括：将遮挡模型的色彩信息写入颜色缓冲区；在试戴模型的非透明部分的深度小于遮挡模型中对应点的深度信息的情况下，将试戴模型的非透明部分的深度信息写入深度信息缓冲区；将试戴模型的透明部分的色彩信息写入颜色缓冲区；根据相对应位置的颜色缓冲区中遮挡模型的色彩信息和遮挡模型的色彩信息获取混合色彩信息；根据遮挡模型和试戴模型，混合色彩信息以及深度信息缓冲区中的深度信息绘制试戴图像。
在一些实施例中，图像处理方法还包括：获取试戴模型的顶点信息、纹理信息和法线信息；绘制试戴图像还包括：根据去纹理的试戴模型的色彩信息获取光照模型；根据光照模型、纹理信息和法线信息绘制试戴图像中的试戴模型部分的图像。
通过这样的方法，基于试戴人和试戴模型的三维图像信息准确还原深度信息及准确的姿态，提高试戴图像中对尺寸匹配情况反映的准确度；还能够利用深度信息准确反映遮挡情况，提高试戴图像的真实度。
根据本公开的另一些实施例的一个方面，提出一种图像处理装置，包括：试戴人图像信息获取单元，被配置为获取图像采集设备拍摄的试戴人图像的三维图像信息；模型信息获取单元，被配置为获取试戴模型的三维图像信息；遮挡模型生成单元，被配置为根据试戴人图像的三维图像信息和试戴模型的三维图像信息生成遮挡模型；图像绘制单元，被配置为根据遮挡模型、试戴模型和试戴人图像绘制试戴图像。
在一些实施例中，遮挡模型包括试戴人图像对试戴模型的图像的遮挡位置信息。
在一些实施例中，遮挡模型生成单元被配置为：获取试戴人图像的眉心位置；基于眉心位置，根据试戴模型的三维图像信息和试戴人图像的三维图像信息确定试戴人图像和试戴模型的位置对应关系；根据三维图像信息中的深度信息，以及位置对应关系确定试戴人图像对试戴模型的图像的遮挡位置，生成遮挡模型。
在一些实施例中，遮挡模型生成单元被配置为：根据试戴人图像的三维图像信息生成规则几何三维模型；在规则几何三维模型上获取试戴人图像的眉心位置；基于眉心位置，根据规则几何三维模型的三维图像信息和试戴人图像的三维图像信息确定规则几何三维模型和试戴模型的位置对应关系；根据三维图像信息中的深度信息，以及位置对应关系确定规则几何三维模型对试戴模型的图像的遮挡位置，生成遮挡模型。
在一些实施例中，图像绘制单元被配置为：将遮挡模型中各点的深度信息写入深度信息缓冲区；在试戴模型的深度小于遮挡模型中对应点的深度信息的情况下，将试戴模型的深度信息写入深度信息缓冲区；根据遮挡模型和试戴模型，以及深度信息缓冲区中的深度信息绘制试戴图像。
在一些实施例中，图像绘制单元还被配置为：将遮挡模型的色彩信息写入颜色缓冲区；在试戴模型的非透明部分的深度小于遮挡模型中对应点的深度信息的情况下，将试戴模型的非透明部分的深度信息写入深度信息缓冲区；将试戴模型的透明部分的色彩信息写入颜色缓冲区；根据相对应位置的颜色缓冲区中遮挡模型的色彩信息和遮挡模型的色彩信息获取混合色彩信息；根据遮挡模型和试戴模型，混合色彩信息以及深度信息缓冲区中的深度信息绘制试戴图像。
在一些实施例中，图像处理装置还包括：顶点着色单元，被配置为获取试戴模型的顶点信息、纹理信息和法线信息；图像绘制单元还被配置为：根据去纹理的试戴模型的色彩信息获取光照模型；根据光照模型、纹理信息和法线信息绘制试戴图像中的试戴模型部分的图像。
根据本公开的又一些实施例的一个方面，提出一种图像处理装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上文中任意一种图像处理方法。
这样的图像处理装置能够基于试戴人和试戴模型的三维图像信息准确还原深度信息及准确的姿态，提高试戴图像中对尺寸匹配情况反映的准确度；还能够利用深度信息准确反映遮挡情况，提高试戴图像的真实度。
根据本公开的再一些实施例的一个方面，提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上文中任意一种图像处理方法的步骤。
通过执行这样的计算机可读存储介质上存储的指令，能够基于试戴人和试戴模型的三维图像信息准确还原深度信息及准确的姿态，提高试戴图像中对尺寸匹配情况反映的准确度；还能够利用深度信息准确反映遮挡情况，提高试戴图像的真实度。
附图说明
此处所说明的附图用来提供对本公开的进一步理解，构成本公开的一部分，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1为本公开的图像处理方法的一些实施例的流程图。
图2为本公开的图像处理方法中获取遮挡模型的一些实施例的流程图。
图3为本公开的图像处理方法中遮挡模型的一些实施例的示意图。
图4为本公开的图像处理方法中坐标矩阵变换的一些实施例的示意图。
图5为本公开的图像处理方法中图像绘制的一些实施例的流程图。
图6为本公开的图像处理方法的另一些实施例的流程图。
图7为本公开的图像处理方法中渲染管线的一些实施例的示意图。
图8为本公开的图像处理装置的一些实施例的示意图。
图9为本公开的图像处理装置的另一些实施例的示意图。
图10为本公开的图像处理装置的又一些实施例的示意图。
具体实施方式
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
本公开的图像处理方法的一些实施例的流程图如图1所示。
在步骤101中，获取图像采集设备拍摄的试戴人图像的三维图像信息。在一些实施例中，可通过深度摄像机获取试戴人图像的三维图像信息。在一些实施例中，目前深度摄像头可分为以下三类主流技术：结构光、双目视觉和TOF(Time of Flight，飞行时间)法。例如，结构光方式是采用结构光投射器向被测物体表面投射可控制的光点、光条或光面结构，并由图像传感器获得图像，通过系统几何关系，利用三角原理计算得到物体的三维坐标。在一些实施例中，还可以利用手机配置的双摄像头、三摄像头实现双目或三目视觉探测，从而得到三维图像信息。
在步骤102中，获取试戴模型的三维图像信息。在一些实施例中，试戴模型可以以通用的标准模型格式从3dmax导出，如使用obj格式予以导出。针对obj格式，构建obj格式解析器，读取模型数据信息。在一些实施例中，根据应用场景需要，试戴模型可以为眼镜模型、二环模型或帽子模型等。
在步骤103中，根据试戴人图像的三维图像信息和试戴模型的三维图像信息生成遮挡模型。
在一些实施例中，可以先基于试戴人图像的三维图像信息调整试戴模型的放置深度，并按照近大远小的规则等比例调整其尺寸，使试戴人图像和试戴模型在相同的比例尺下。另外，根据试戴人图像中各个位置的深度关系、以及试戴模型各个位置的深度关系判断其遮挡关系，得到遮挡模型。
在一些实施例中，由于默认试戴模型会对试戴人造成遮挡，因此遮挡模型中着重记录试戴人图像对试戴模型的图像的遮挡位置信息。在一些实施例中，遮挡模型中包括试戴人图像中未被试戴模型遮挡的图像的位置信息。在一些实施例中，遮挡模型中包括的位置信息可以为包括深度信息和平面图像信息的三维图像信息。
在一些实施例中，当试戴模型包括透明或半透明部分的情况下，如透明眼镜或墨镜的镜片部分，不作为遮挡模型中试戴模型对试戴人图像遮挡的部分，遮挡模型中包括被试戴模型的透明或半透明部分遮挡的试戴人图像信息。
在步骤104中，根据遮挡模型、试戴模型和试戴人图像绘制试戴图像。
通过这样的方法，能够基于试戴人和试戴模型的三维图像信息准确还原深度信息及准确的姿态，提高试戴图像中对尺寸匹配情况反映的准确度；还能够利用深度信息准确反映遮挡情况，提高试戴图像的真实度。
由于试戴模型的尺寸会随试戴人图像的深度信息进行调节，因此无需严格限制用户在试戴时距离图像采集装置的距离，在保证尺寸匹配真实度的情况下提高了试戴效率；AR试戴的过程无需提供真实的试戴物品，降低试戴物的磨损度和损坏的可能性，也无需配置大量的服务人员，降低了产品成本和人力成本，有利于拓展应用。
本公开的图像处理方法中获取遮挡模型的一些实施例的流程图如图2所示。
在步骤201中，获取试戴人图像的眉心位置。在试戴人图像为面部或头部图像的情况下，由于眉心位置位于面部平面，能够定位面部纵轴的位置，与突出的鼻梁位置相比较，在较为侧脸的情况下对面部纵轴位置的定位更加准确。
在步骤202中，基于眉心位置，根据试戴模型的三维图像信息和试戴人图像的三维图像信息确定试戴人图像和试戴模型的位置对应关系。在一些实施例中，可以将试戴模型的中心位置与眉心位置对齐，然后以相同的尺度对齐试戴模型与试戴人图像，确定位置的对应关系。
例如，当试戴模型为眼镜时，根据眼镜模型的预定眉心位置和试戴人头部图像的眉心位置确定试戴模型与试戴人图像的对应关系；当试戴模型为耳环时，根据成对的耳环连接线的中心位置确定纵轴位置，进而根据纵轴位置与试戴人眉心确定的纵轴位置确定试戴模型与试戴人图像的位置对应关系。
在步骤203中，根据三维图像信息中的深度信息，以及位置对应关系确定试戴人图像对试戴模型的图像的遮挡位置，生成遮挡模型。在一些实施例中，在处理三维图像信息时，以垂直于图像平面的方向为深度方向，在试戴模型和试戴人图像在图像平面重叠的位置，保留试戴模型与试戴人图像中深度较小的，从而实现前后遮挡。
在一些实施例中，以试戴眼镜为例，由于眼镜模型绘制在摄像头图片之后，二维的图片不能遮挡住眼镜任何信息，无法形成头部对眼镜臂的遮挡效果，所以需要构建一个虚拟的头部模型，放置在头部位置，对眼镜臂形成遮挡，形成真实的试戴效果。在一些实施例中，可以借助ARFaceAnchor提供头部位置信息。
在一些实施例中，如图3所示，可以先使用长方体来对头部进行模拟，模型长宽高可以通过遍历人脸网格信息的顶点坐标计算获得，从而降低遮挡模型处理的复杂度，提高渲染效率。
为了不影响正常的显示，遮挡物体需要设置为透明不可见。为了既做到透明不可见，又能对眼镜臂形成遮挡，头部模型的渲染可以按如下方式设置：按透明物体的渲染方式开启混合模式，同时将遮挡模型的深度信息写入GPU(Graphics Processing Unit，图形处理器)的深度缓冲区。在渲染眼镜模型时，深度信息与头部遮挡模型的深度信息进行比较，从而达到遮挡的效果。
通过这样的方法，能够生成遮挡模型，在尺度和位置上对试戴人图像和试戴模型图像对准的同时，确定遮挡的位置，从而提供更加真实可信的AR试戴的视觉感受。
在一些实施例中，在将试戴人图像与试戴模型图像对准的过程中，由于两者的坐标系不同，因此需要进行坐标系的统一，如将三维图形一经过三维观察坐标到二维观察坐标的变换、裁剪以及投影之后，在二维显示器坐标的视图区内显示和输出，如图4所示。在一些实施例中，以试戴眼镜为例，头部的世界矩阵、相机矩阵和投影矩阵均可以通过ARkit获得，使用头部世界矩阵来设置眼镜和遮挡模型的世界矩阵。遮挡模型矩阵与头部一致，不需要修改。由于眼镜的几何中心一般与人脸眉心位置重合，所以眼镜的世界坐标设置为眉心的世界坐标。
通过这样的方法，实现了试戴人图像、试戴模型图像的坐标系统一，保证了试戴人图像、试戴模型图像位置对应关系确定的准确性。
在一些实施例中，可以先组织渲染队列，将需要渲染的图像依次写入。在一些实施例中，可以构建深度缓冲区，还可以构建色彩缓冲区。在一些实施例中，可以先将遮挡模型中的深度信息写入深度缓冲区，从而保证能够形成对试戴模型部分(如眼镜腿)遮挡的效果。
在一些实施例中，当遮挡模型具备透明区域时，如眼镜镜片，可以采用试戴人图像和透明区域图像色彩混合的效果以提高视觉效果的真实度。
本公开的图像处理方法中图像绘制的一些实施例的流程图如图5所示。
在步骤501中，将遮挡模型中各点的深度信息写入深度信息缓冲区。遮挡模型中包括试戴人图像对试戴模型的图像的遮挡位置信息。在一些实施例中，遮挡模型中还包括试戴人图像中未被试戴模型遮挡的部分的位置信息。
在步骤502中，将遮挡模型的色彩信息写入颜色缓冲区。
在步骤503中，在试戴模型的非透明部分的深度小于遮挡模型中对应点的深度信息的情况下，将试戴模型的非透明部分的深度信息写入深度信息缓冲区。不将所述试戴模型的非透明部分的色彩信息写入颜色缓冲区。
在步骤504中，将试戴模型的透明部分的色彩信息写入颜色缓冲区。在一些实施例中，若试戴模型包括透明部分，则遮挡模型中还包括被试戴模型的透明部分遮挡的试戴人图像信息。另外，不将所述试戴模型的透明部分的深度信息写入深度信息缓冲区。
在步骤505中，根据相对应位置的颜色缓冲区中遮挡模型的色彩信息和遮挡模型的色彩信息获取混合色彩信息。
在步骤506中，根据遮挡模型和试戴模型，混合色彩信息以及深度信息缓冲区中的深度信息绘制试戴图像。
通过这样的方法，能够分批次渲染图像，且对不同位置设置正确的渲染状态，提高视觉效果的真实性，且降低数据处理出错的概率，在动态试戴过程中提高图像显示的及时性。
本公开的图像处理方法的另一些实施例的流程图如图6所示。
在步骤601中，获取试戴人图像的三维图像信息。在一些实施例中，可以利用手持终端的摄像头获取试戴人图像的三维图像信息。
在步骤602中，加载试戴模型的三维信息。以眼镜模型为例，在一些实施例中，眼镜模型可以已通用的标准模型格式从3dmax导出。针对obj格式，构建obj格式解析器，读取下面三个方面的数据：
(1)读取顶点坐标、纹理坐标、法线向量以及三角形等数据到内存中。
(2)读取材质信息，材质信息保存在与obj配对使用mtl文件中。以Blin-Phong光照模型为例，读取每个材质对象的漫反射强度、高光强度以及光滑度等信息，并且根据材质信息的不同，将物体组织成不同的部分，方便后续按材质进行分批渲染。
(3)读取纹理贴图到GPU中。
眼镜模型的需要根据实物尺寸进行1:1的制作，保证在用户试戴虚拟眼镜模型后能够观察出大小是否合适。
在步骤603中，创建遮挡模型。可以采用上文中所示实施例中的方式创建遮挡模型。
在步骤604中，设置绘制矩阵信息，经过如图4所示的坐标系变化过程创建世界坐标系。
在步骤605中，组织渲染队列。在一些实施例中，可以采用先绘制遮挡模型，再绘制眼镜不透明部分，最后绘制透明部分的次序组织渲染队列。
在步骤606中，将渲染队列按照队列的前后顺序分批提交至GPU进行绘制。在一些实施例中，分批提交可以采用如图5所示的提交次序。
在一些实施例中，上述方法可在CPU(Central Processing Unit，中央处理器)部分计算实现。以下操作在GPU中实现。
在步骤607中，顶点着色器利用CPU提交的矩阵信息对顶点进行坐标变换，为光栅化阶段准备顶点坐标数据、纹理坐标数据和法线数据。
在步骤608中，GPU阶段光栅化后的片元着色器针对每一个片元进行运算，根据当前像素的纹理坐标去纹理图上获取颜色值，用来计算光照信息，在计算光照信息的同时，使用Blin-Phong光照模型
Ifinal＝Idiff+Ispec
Idiff＝Kd*(N·L)*C
Ispec＝Ks*((L+V)·N)S
其中,Ifinal表示最后输出到显示器的颜色值，Idiff表示漫反射颜色值，Ispec表示高光颜色值，Kd表示漫反射强度，N表示法线，L表示光线方向(可以为固定值)，C表示纹理贴图上采样的颜色，Ks表示高光强度，V表示视线方向，S表示光滑度系数(可以为固定值)。
在一些实施例中，可以利用Opengles实现渲染过程。如图7所示，渲染管线是opengles渲染场景的整个过程，是将3D对象渲染到平面上的流程，其中顶点着色器(VertexShader)，片元着色器(Fragment Shader)为可供编程的部分，由顶点着色器执行步骤607中的操作，由片元着色器执行步骤608中的操作。
通过这样的方法，能够运用图形学算法在ARkit提供的试戴人图像数据，如人脸数据，的基础上进行AR试戴的方案，如眼镜试戴，达到在尺寸上、遮挡效果上、纹理和光照影响等各方面的效果优化，进一步提高图像真实度。
本公开的图像处理装置的一些实施例的示意图如图8所示。试戴人图像信息获取单元801能够获取图像采集设备拍摄的试戴人图像的三维图像信息。在一些实施例中，可以利用手机配置的双摄像头、三摄像头实现双目、三目视觉探测，从而得到三维图像信息。
模型信息获取单元802能够获取试戴模型的三维图像信息。在一些实施例中，根据应用场景需要，试戴模型可以为眼镜模型、二环模型、帽子模型等。
遮挡模型生成单元803能够根据试戴人图像的三维图像信息和试戴模型的三维图像信息生成遮挡模型。在一些实施例中，可以先基于试戴人图像的三维图像信息调整试戴模型的放置深度，并按照近大远小的规则等比例调整其尺寸，使试戴人图像和试戴模型在相同的比例尺下。另外，根据试戴人图像中各个位置的深度关系、以及试戴模型各个位置的深度关系判断其遮挡关系，得到遮挡模型。
图像绘制单元804能够根据遮挡模型、试戴模型和试戴人图像绘制试戴图像。
这样的图像处理装置能够基于试戴人和试戴模型的三维图像信息准确还原深度信息及准确的姿态，提高试戴图像中对尺寸匹配情况反映的准确度，由于试戴模型的尺寸会随试戴人图像的深度信息进行调节，因此无需严格限制用户在试戴时距离图像采集装置的距离，在保证尺寸匹配真实度的情况下提高了试戴效率；还能够利用深度信息准确反映遮挡情况，提高试戴图像的真实度。
在一些实施例中，遮挡模型生成单元能够获取试戴人图像的眉心位置，再基于眉心位置，根据试戴模型的三维图像信息和试戴人图像的三维图像信息确定试戴人图像和试戴模型的位置对应关系，生成遮挡模型。在一些实施例中，遮挡模型生成单元803可以先根据试戴人图像的三维图像信息生成规则几何三维模型，如立方体模型，进而在规则几何三维模型上获取试戴人图像的眉心位置，生成遮挡模型。
这样的图像处理装置能够生成遮挡模型，在尺度和位置上对试戴人图像和试戴模型图像对准的同时，确定遮挡的位置，从而提供更加真实可信的AR试戴的视觉感受；采用生成规则几何三维模型的方式更是能够降低遮挡模型处理的复杂度，提高渲染效率。
在一些实施例中，图像绘制单元能够将遮挡模型中各点的深度信息写入深度信息缓冲区，进而在试戴模型的深度小于遮挡模型中对应点的深度信息的情况下，将试戴模型的深度信息写入深度信息缓冲区，再根据遮挡模型和试戴模型，以及深度信息缓冲区中的深度信息绘制试戴图像，从而保证能够形成对试戴模型部分(如眼镜腿)遮挡的效果，降低数据处理出错的概率，在动态试戴过程中提高图像显示的及时性。
在一些实施例中，图像绘制单元能够将遮挡模型的色彩信息写入颜色缓冲区；不将试戴模型的非透明部分的色彩信息写入颜色缓冲区；在试戴模型的非透明部分的深度小于遮挡模型中对应点的深度信息的情况下，将试戴模型的非透明部分的深度信息写入深度信息缓冲区；将试戴模型的透明部分的色彩信息写入颜色缓冲区，不将试戴模型的透明部分的深度信息写入深度信息缓冲区；根据相对应位置的颜色缓冲区中遮挡模型的色彩信息和遮挡模型的色彩信息获取混合色彩信息；根据遮挡模型和试戴模型，混合色彩信息以及深度信息缓冲区中的深度信息绘制试戴图像。
通过这样的方法，能够实现对透明、半透明区域的绘制，采用试戴人图像和透明区域图像色彩混合的效果以提高视觉效果的真实度。
在一些实施例中，图像处理装置还可以包括顶点着色单元805，能够获取试戴模型的顶点信息、纹理信息和法线信息。在一些实施例中，图像绘制单元804能够根据去纹理的试戴模型的色彩信息获取光照模型，再根据光照模型、纹理信息和法线信息绘制试戴图像中的试戴模型部分的图像。在一些实施例中，图像绘制单元804可以包括片元着色器。
通过这样的方法，能够运用图形学算法在ARkit提供的试戴人图像数据，如人脸数据的基础上进行AR试戴的方案，如眼镜试戴，达到在尺寸上、遮挡效果上、纹理和光照影响等各方面的效果优化，进一步提高图像真实度。
本公开图像处理装置的一些实施例的结构示意图如图9所示。图像处理装置包括存储器901和处理器902。其中：存储器901可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储上文中图像处理方法的对应实施例中的指令。处理器902耦接至存储器901，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器902用于执行存储器中存储的指令，能够提高试戴图像中对尺寸匹配情况反映的准确度，提高试戴图像的真实度。
在一些实施例中，还可以如图10所示，图像处理装置1000包括存储器1001和处理器1002。处理器1002通过BUS总线1003耦合至存储器1001。该图像处理装置1000还可以通过存储接口1004连接至外部存储装置1005以便调用外部数据，还可以通过网络接口1006连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够提高试戴图像中对尺寸匹配情况反映的准确度，提高试戴图像的真实度。
在另一些实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图像处理方法对应实施例中的方法的步骤。本领域内的技术人员应明白，本公开的实施例可提供为方法、装置、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
至此，已经详细描述了本公开。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
最后应当说明的是：以上实施例仅用以说明本公开的技术方案而非对其限制；尽管参照较佳实施例对本公开进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本公开的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本公开技术方案的精神，其均应涵盖在本公开请求保护的技术方案范围当中。

Claims (16)

1.一种图像处理方法，包括：
获取图像采集设备拍摄的试戴人图像的三维图像信息；
获取试戴模型的三维图像信息；
根据所述试戴人图像的三维图像信息和所述试戴模型的三维图像信息生成遮挡模型；
根据所述遮挡模型、试戴模型和所述试戴人图像绘制试戴图像。
2.根据权利要求1所述的方法，其中，所述遮挡模型包括所述试戴人图像对所述试戴模型的图像的遮挡位置信息。
3.根据权利要求1或2所述的方法，其中，所述根据所述试戴人图像的三维图像信息和所述试戴模型的三维图像信息生成遮挡模型包括：
获取所述试戴人图像的眉心位置；
基于所述眉心位置，根据所述试戴模型的三维图像信息和所述试戴人图像的三维图像信息确定所述试戴人图像和所述试戴模型的位置对应关系；
根据所述三维图像信息中的深度信息，以及所述位置对应关系确定所述试戴人图像对所述试戴模型的图像的遮挡位置，生成所述遮挡模型。
4.根据权利要求1或2所述的方法，其中，所述根据所述试戴人图像的三维图像信息和所述试戴模型的三维图像信息生成遮挡模型包括：
根据所述试戴人图像的三维图像信息生成规则几何三维模型；
在所述规则几何三维模型上获取所述试戴人图像的眉心位置；
基于所述眉心位置，根据所述规则几何三维模型的三维图像信息和所述试戴人图像的三维图像信息确定所述规则几何三维模型和所述试戴模型的位置对应关系；
根据所述三维图像信息中的深度信息，以及所述位置对应关系确定所述规则几何三维模型对所述试戴模型的图像的遮挡位置，生成所述遮挡模型。
5.根据权利要求2所述的方法，其中，所述根据所述遮挡模型、试戴模型和所述试戴人图像绘制试戴图像包括：
将所述遮挡模型中各点的深度信息写入深度信息缓冲区；
在所述试戴模型的深度小于所述遮挡模型中对应点的深度信息的情况下，将所述试戴模型的深度信息写入深度信息缓冲区；
根据所述遮挡模型和所述试戴模型，以及所述深度信息缓冲区中的深度信息绘制试戴图像。
6.根据权利要求5所述的方法，其中，所述根据所述遮挡模型、试戴模型和所述试戴人图像绘制试戴图像还包括：
将所述遮挡模型的色彩信息写入颜色缓冲区；
在所述试戴模型的非透明部分的深度小于所述遮挡模型中对应点的深度信息的情况下，将所述试戴模型的非透明部分的深度信息写入深度信息缓冲区；
将所述试戴模型的透明部分的色彩信息写入颜色缓冲区；
根据相对应位置的所述颜色缓冲区中遮挡模型的色彩信息和所述遮挡模型的色彩信息获取混合色彩信息；
根据所述遮挡模型和所述试戴模型，所述混合色彩信息以及所述深度信息缓冲区中的深度信息绘制试戴图像。
7.根据权利要求1中所述的方法，还包括：
获取所述试戴模型的顶点信息、纹理信息和法线信息；
所述绘制试戴图像还包括：
根据去纹理的试戴模型的色彩信息获取光照模型；
根据所述光照模型、所述纹理信息和所述法线信息绘制所述试戴图像中的试戴模型部分的图像。
8.一种图像处理装置，包括：
试戴人图像信息获取单元，被配置为获取图像采集设备拍摄的试戴人图像的三维图像信息；
模型信息获取单元，被配置为获取试戴模型的三维图像信息；
遮挡模型生成单元，被配置为根据所述试戴人图像的三维图像信息和所述试戴模型的三维图像信息生成遮挡模型；
图像绘制单元，被配置为根据所述遮挡模型、试戴模型和所述试戴人图像绘制试戴图像。
9.根据权利要求8所述的装置，其中，所述遮挡模型包括所述试戴人图像对所述试戴模型的图像的遮挡位置信息。
10.根据权利要求8或9所述的装置，其中，所述遮挡模型生成单元被配置为：
获取所述试戴人图像的眉心位置；
基于所述眉心位置，根据所述试戴模型的三维图像信息和所述试戴人图像的三维图像信息确定所述试戴人图像和所述试戴模型的位置对应关系；
根据所述三维图像信息中的深度信息，以及所述位置对应关系确定所述试戴人图像对所述试戴模型的图像的遮挡位置，生成所述遮挡模型。
11.根据权利要求8或9所述的装置，其中，遮挡模型生成单元被配置为：
根据所述试戴人图像的三维图像信息生成规则几何三维模型；
在所述规则几何三维模型上获取所述试戴人图像的眉心位置；
基于所述眉心位置，根据所述规则几何三维模型的三维图像信息和所述试戴人图像的三维图像信息确定所述规则几何三维模型和所述试戴模型的位置对应关系；
根据所述三维图像信息中的深度信息，以及所述位置对应关系确定所述规则几何三维模型对所述试戴模型的图像的遮挡位置，生成所述遮挡模型。
12.根据权利要求9所述的装置，其中，所述图像绘制单元，被配置为：
将所述遮挡模型中各点的深度信息写入深度信息缓冲区；
在所述试戴模型的深度小于所述遮挡模型中对应点的深度信息的情况下，将所述试戴模型的深度信息写入深度信息缓冲区；
根据所述遮挡模型和所述试戴模型，以及所述深度信息缓冲区中的深度信息绘制试戴图像。
13.根据权利要求12所述的装置，所述图像绘制单元还被配置为：
将所述遮挡模型的色彩信息写入颜色缓冲区；
在所述试戴模型的非透明部分的深度小于所述遮挡模型中对应点的深度信息的情况下，将所述试戴模型的非透明部分的深度信息写入深度信息缓冲区；
将所述试戴模型的透明部分的色彩信息写入颜色缓冲区；
根据相对应位置的所述颜色缓冲区中遮挡模型的色彩信息和所述遮挡模型的色彩信息获取混合色彩信息；
根据所述遮挡模型和所述试戴模型，所述混合色彩信息以及所述深度信息缓冲区中的深度信息绘制试戴图像。
14.根据权利要求8中所述的装置，还包括：
顶点着色单元，被配置为获取所述试戴模型的顶点信息、纹理信息和法线信息；
所述图像绘制单元还被配置为：
根据去纹理的试戴模型的色彩信息获取光照模型；
根据所述光照模型、所述纹理信息和所述法线信息绘制所述试戴图像中的试戴模型部分的图像。
15.一种图像处理装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行如权利要求1至7任一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现权利要求1至7任意一项所述的方法的步骤。
CN201910203398.1A 2019-03-18 2019-03-18 图像处理方法、装置和计算机可读存储介质 Pending CN111710044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910203398.1A CN111710044A (zh) 2019-03-18 2019-03-18 图像处理方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910203398.1A CN111710044A (zh) 2019-03-18 2019-03-18 图像处理方法、装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111710044A true CN111710044A (zh) 2020-09-25

Family

ID=72536338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910203398.1A Pending CN111710044A (zh) 2019-03-18 2019-03-18 图像处理方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111710044A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379886A (zh) * 2021-07-05 2021-09-10 中煤航测遥感集团有限公司 地理信息系统的三维渲染方法、装置、设备及存储介质
CN115063565A (zh) * 2022-08-08 2022-09-16 荣耀终端有限公司 一种可穿戴物品的试戴方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021590A (zh) * 2013-02-28 2014-09-03 北京三星通信技术研究有限公司 虚拟试穿试戴系统和虚拟试穿试戴方法
CN105404392A (zh) * 2015-11-03 2016-03-16 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统
CN107341827A (zh) * 2017-07-27 2017-11-10 腾讯科技（深圳）有限公司 一种视频处理方法、装置和存储介质
CN107452049A (zh) * 2016-05-30 2017-12-08 腾讯科技（深圳）有限公司 一种三维头部建模方法及装置
US20180158246A1 (en) * 2016-12-07 2018-06-07 Intel IP Corporation Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021590A (zh) * 2013-02-28 2014-09-03 北京三星通信技术研究有限公司 虚拟试穿试戴系统和虚拟试穿试戴方法
CN105404392A (zh) * 2015-11-03 2016-03-16 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统
CN107452049A (zh) * 2016-05-30 2017-12-08 腾讯科技（深圳）有限公司 一种三维头部建模方法及装置
US20180158246A1 (en) * 2016-12-07 2018-06-07 Intel IP Corporation Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays
CN107341827A (zh) * 2017-07-27 2017-11-10 腾讯科技（深圳）有限公司 一种视频处理方法、装置和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379886A (zh) * 2021-07-05 2021-09-10 中煤航测遥感集团有限公司 地理信息系统的三维渲染方法、装置、设备及存储介质
CN113379886B (zh) * 2021-07-05 2023-12-29 中煤航测遥感集团有限公司 地理信息系统的三维渲染方法、装置、设备及存储介质
CN115063565A (zh) * 2022-08-08 2022-09-16 荣耀终端有限公司 一种可穿戴物品的试戴方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US11790482B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
CN110889890B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
US11410269B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
US10607417B2 (en) Image generating apparatus and image generating method
US8878846B1 (en) Superimposing virtual views of 3D objects with live images
US20230230311A1 (en) Rendering Method and Apparatus, and Device
JP2020198066A (ja) 拡張現実アプリケーション用システム及び方法
Baričević et al. User-perspective augmented reality magic lens from gradients
US20190188902A1 (en) Determining pixel values using reference images
CN111710044A (zh) 图像处理方法、装置和计算机可读存储介质
US20210090338A1 (en) Ambient light based mixed reality object rendering
WO2019042028A1 (zh) 全视向的球体光场渲染方法
CN114758051A (zh) 一种图像渲染方法及其相关设备
Schwandt et al. Glossy reflections for mixed reality environments on mobile devices
US20210090322A1 (en) Generating and Modifying Representations of Objects in an Augmented-Reality or Virtual-Reality Scene
US8970626B2 (en) System, method, and computer program product for adding computer-generated scene elements into a representation of a real-world scene, using path tracing
US10713836B2 (en) Simulating lenses
CN115690363A (zh) 虚拟物体显示方法、装置和头戴式显示装置
Höll et al. Augmented reality oculus rift
JP7365981B2 (ja) 情報端末装置、方法及びプログラム
CN111862338A (zh) 模拟眼镜佩戴图像的显示方法及装置
Karlsson et al. Rendering Realistic Augmented Objects Using a Image Based Lighting Approach
CN111292423A (zh) 基于增强现实的着色方法、装置、电子设备与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination