CN111862296A - 三维重建方法及装置、系统、模型训练方法、存储介质 - Google Patents

三维重建方法及装置、系统、模型训练方法、存储介质 Download PDF

Info

Publication number
CN111862296A
CN111862296A CN201910333474.0A CN201910333474A CN111862296A CN 111862296 A CN111862296 A CN 111862296A CN 201910333474 A CN201910333474 A CN 201910333474A CN 111862296 A CN111862296 A CN 111862296A
Authority
CN
China
Prior art keywords
image
angle
target
target object
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910333474.0A
Other languages
English (en)
Other versions
CN111862296B (zh
Inventor
赵骥伯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910333474.0A priority Critical patent/CN111862296B/zh
Priority to US17/043,061 priority patent/US11403818B2/en
Priority to PCT/CN2020/077850 priority patent/WO2020215898A1/zh
Publication of CN111862296A publication Critical patent/CN111862296A/zh
Application granted granted Critical
Publication of CN111862296B publication Critical patent/CN111862296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • A47G1/02—Mirrors used as equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种三维重建方法及装置、系统、模型训练方法、存储介质，属于图像处理技术领域。该方法包括：获取第一摄像机采集的图像中的目标图像；采用角度识别模型确定目标图像的拍摄角度；基于目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定目标图像对应的角度区间；基于各个角度区间对应的目标对象相同的目标图像，对目标对象进行三维重建处理，得到目标对象的三维图像。在获取目标图像时，还获取了该目标图像的拍摄角度，在后续对目标对象进行三维重建处理时，无需再采用额外的算法对多帧目标图像进行排序，有效的减少了三维重建处理时的运算量，提高了获取三维图像时的效率。

Description

三维重建方法及装置、系统、模型训练方法、存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种三维重建方法及装置、系统、模型训练方法、存储介质。
背景技术
智能试衣镜可以在用户的不真实试穿衣服的情况下提供试穿效果，提高了试衣的便利性，节省了试衣的时间。
在使用智能试衣镜之前，需要获取目标对象(通常为使用智能试衣镜的用户)的三维图像，该三维图像通常是通过摄像头获取各个拍摄角度的包含目标对象的目标图像后，将各个拍摄角度的目标图像进行三维重建处理得到的。其中，每个拍摄角度位于一个角度区间内，多个角度区间用于对角度范围[0，360°)进行划分。为了得到质量较高的三维图像，需要摄像头获取的目标图像的个数较多，例如，按照顺时针顺序或逆时帧顺序每间隔15°采用摄像头对目标对象进行拍摄，然后再将获取的24帧目标图像进行三维重建处理。
在实现本发明的过程中，发明人发现目前在三维重建过程中，需要通过算法对摄像头获取的目标图像进行排序，保证相邻的两帧目标图像对应的两个角度区间相邻，导致三维重建处理时的运算量较大，从而导致获取三维图像的效率较低。
发明内容
本发明实施例提供了一种三维重建方法及装置、系统、模型训练方法、存储介质。可以解决现有技术的三维重建处理时的运算量较大，导致获取三维图像的效率较低的问题，所述技术方案如下：
第一方面，提供了一种三维重建方法，所述方法包括：
获取第一摄像机采集的图像中的目标图像，所述目标图像为所述图像中目标对象所在位置处的图像；
采用角度识别模型确定所述目标图像的拍摄角度，所述拍摄角度用于表征所述第一摄像机拍摄所述目标对象时的拍摄方向；
基于所述目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定所述目标图像对应的角度区间；
基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像。
可选的，所述采用角度识别模型确定所述目标图像的拍摄角度，包括：
向所述角度识别模型输入所述目标图像；
接收所述角度识别模型输出的角度信息；
将所述角度信息确定为所述拍摄角度；
其中，所述角度识别模型为对样本图像与所述样本图像的拍摄角度进行学习训练得到的模型。
可选的，在所述获取第一摄像机采集的图像中的目标图像之后，所述方法还包括：
采用目标识别算法对所述目标图像进行标记处理，得到所述目标图像的标签，所述标签用于对所述目标图像中的目标对象进行标记；
基于所述目标图像的标签，将目标对象相同的目标图像归类为一个图像集合；
在所述基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像之前，所述方法还包括：
基于所述图像集合，获取各个所述角度区间对应的目标对象相同的目标图像。
可选的，在基于所述目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定所述目标图像对应的角度区间之后，所述方法还包括：
基于所述图像集合，判断每个所述角度区间是否对应有多于两帧位于相同的图像集合内的目标图像；
若所述角度区间对应有所述多于两帧位于相同的图像集合内的目标图像，对所述多于两帧位于相同的图像集合内的目标图像进行图像质量评分处理，得到每帧目标图像的图像质量评分；
删除除图像质量评分最高的目标图像之外的目标图像。
可选的，在所述获取第一摄像机采集的图像中的目标图像之后，所述方法还包括：
判断所述目标图像的分辨率是否小于分辨率阈值；
若所述目标图像的分辨率小于所述分辨率阈值，删除所述目标图像；
若所述目标图像的分辨率不小于所述分辨率阈值，将所述目标图像修改为指定分辨率的图像，所述指定分辨率大于或等于所述分辨率阈值。
可选的，所述基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像，包括：
若所述多个角度区间中的每个角度区间均对应有目标对象相同的目标图像，基于每个角度区间对应的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像。
可选的，所述基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像，包括：
当接收到三维重建指令时，基于所述三维重建指令携带的待重建的目标对象的信息，获取多帧包含所述待重建的目标对象的目标图像；
基于每帧包含所述待重建的目标对象的目标图像，对所述待重建的目标对象进行三维重建处理，得到所述待重建的目标对象的三维图像；
判断所述三维图像是否为非完整的三维图像；
若所述三维图像是否为非完整的三维图像，对所述非完整的三维图像进行修复处理，得到修复处理后的三维图像。
第二方面，提供了一种三维重建装置，所述装置包括：
第一获取模块，用于获取第一摄像机采集的图像中的目标图像，所述目标图像为所述图像中目标对象所在位置处的图像；
第一确定模块，用于采用角度识别模型确定所述目标图像的拍摄角度，所述拍摄角度用于表征所述第一摄像机拍摄所述目标对象时的拍摄方向，所述角度识别模型为对样本图像与所述样本图像的拍摄角度进行学习训练得到的模型；
第二确定模块，用于基于所述目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定所述目标图像对应的角度区间；
三维重建模块，用于基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像。
第三方面，提供了一种三维重建系统，包括：重建服务器和第一摄像机，所述重建服务器包括：第二方面所述的三维重建装置。
可选的，所述系统还包括：智能试衣镜；
所述智能试衣镜用于在检测到目标对象时，向所述重建服务器发送携带有所述目标对象的信息的获取请求；
所述重建服务器用于基于所述获取请求所携带的目标对象的信息，向所述智能试衣镜发送携带有所述目标对象的三维图像的获取响应。
第四方面，提供了一种模型训练方法，用于训练角度识别模型，所述方法包括：
执行多次训练过程，直至所述角度识别模型对训练图像集中的样本图像的拍摄角度分类准确度达到设定阈值，其中，所述训练过程包括：
获取第二摄像机采集的包含样本对象的样本图像以及与所述样本图像对应的深度图；
获取所述深度图中的样本对象中两个关键点；
基于所述两个关键点的三维坐标，确定所述样本图像的拍摄角度，所述拍摄角度用于表征所述第二摄像机拍摄所述样本对象时的方向；
向深度学习模型输入样本图像，得到所述样本图像的预测拍摄角度，根据所述样本图像的拍摄角度和预测拍摄角度，确定所述拍摄角度的分类准确度。
可选的，基于所述两个关键点的三维坐标，确定所述样本图像的拍摄角度，包括：
采用角度计算公式计算所述样本图像的拍摄角度，所述角度计算公式为：
Figure BDA0002038385980000041
其中，所述两个关键点的三维坐标分别为(x1，y1，z1)和(x2，y2，z2)；V1表示所述两个关键点的连线在世界坐标系中的XZ平面内的向量；V2表示与V1垂直的单位向量；VZ表示与世界坐标系中与Z轴平行的单位向量；α表示所述拍摄角度。
可选的，在基于所述两个关键点的三维坐标，确定所述样本图像的拍摄角度之后，所述训练过程还包括：
基于所述样本图像，判断所述样本对象相对于所述第二摄像机的朝向姿态是否为背对朝向姿态；
当所述样本对象相对于所述第二摄像机的朝向姿态为所述背对朝向姿态时，采用修正计算公式对所述拍摄角度进行修正处理，得到修正后的拍摄角度，所述修正计算公式为：
α1＝α2+180°；
其中，α1为修正后的拍摄角度；α2为修正前的拍摄角度。
可选的，基于所述两个关键点的三维坐标，确定所述样本图像的拍摄角度之前，所述训练过程还包括：
判断所述两个关键点的距离是否小于距离阈值；
若所述两个关键点的距离小于所述距离阈值，确定所述样本图像的拍摄角度为指定角度，所述指定角度为位于固定范围的角度区间内的任一角度。
第五方面，提供了一种非易失性的计算机可读存储介质，所述存储介质中存储有代码指令，所述代码指令由处理器执行，以执行第一方面任一所述的三维重建方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
通过角度识别模型可以确定出目标图像的拍摄角度，基于该拍摄角度可以在多个角度区间中，确定目标图像对象的角度区间，后续可以基于各个角度区间对应的目标对象相同的目标图像，对该目标对象进行三维重建处理，得到该目标对象的三维图像。在获取目标图像时，还获取了该目标图像的拍摄角度，在后续对目标对象进行三维重建处理时，无需再采用额外的算法对多帧目标图像进行排序，可以直接基于拍摄角度获取到多帧目标图像的顺序，有效的减少了三维重建处理时的运算量，提高了获取三维图像时的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的三维重建方法所涉及的三维重建系统的框图；
图2是本发明实施例提供的模型训练方法所涉及的模型训练系统的框图；
图3是本发明实施例提供的一种三维重建方法的流程图；
图4是一种第一摄像机拍摄目标对象时的效果图；
图5是本发明实施例提供的另一种三维重建方法的流程图；
图6是本发明实施例提供的又一种三维重建方法的流程图；
图7是本发明实施例提供的一种训练过程的流程图；
图8是本发明实施例提供的一种样本对象的关节点的示意图；
图9是本发明实施例提供的一种三维重建装置的框图；
图10是本发明实施例提供的另一种三维重建装置的框图；
图11是本发明实施例提供的又一种三维重建装置的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
请参考图1，图1是本发明实施例提供的三维重建方法所涉及的三维重建系统的框图。该三维重建系统100可以包括：第一摄像机101和重建服务器102。
该第一摄像机101通常可以为包含诸如RGB摄像头或红外摄像头等监控摄摄像机，该第一摄像机101的个数通常为多个。多个第一摄像机101可以部署在商场或商店中的不同位置处。该重建服务器102可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，或者为一个计算机设备。该第一摄像机101可以与重建服务器102建立通信连接。
可选的，该三维重建系统100还可以包括：智能试衣镜103。该智能试衣镜103通常可以部署在诸如服装店的商店中，该智能试衣镜103能够为用户提供虚拟试衣服务。该智能试衣镜103可以与重建服务器102建立通信连接。
请参考图2，图2是本发明实施例提供的模型训练方法所涉及的模型训练系统的框图。该模型训练系统200可以包括：第二摄像机201和训练服务器202。
该第二摄像机201可以为包含深度摄像头的摄像机，或者为双目摄像机。该第二摄像机既可以获取彩色图(也称RGB图)，也可以获取深度图。该深度图中每个像素点的像素值为深度值，该深度值用于表示对应像素点距离第二摄像机的距离。该训练服务器202可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心，或者为一个计算机设备。该第二摄像机201可以与训练服务器202建立通信连接。
需要说明的是，本发明实施例中的通信连接可以为通过有线网络或者无线网络建立的通信连接。
请参考图3，图3是本发明实施例提供的一种三维重建方法的流程图。该三维重建方法应用于图1示出的三维重建系统100中的重建服务器102。该三维重建方法可以包括：
步骤301、获取第一摄像机采集的图像中的目标图像。该目标图像为第一摄像机采集的图像中目标对象所在位置处的图像。
步骤302、采用角度识别模型确定目标图像的拍摄角度。该拍摄角度用于表征第一摄像机拍摄目标对象时的拍摄方向。该角度识别模型为对样本图像与样本图像的拍摄角度进行学习训练得到的模型。
步骤303、基于目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定目标图像对应的角度区间。
在本发明实施例中，每个角度区间所包含的角度值均不同，该多个角度区间是对角度范围[0，360°)进行划分得到的。
示例的，请参考图4，图4是一种第一摄像机拍摄目标对象时的效果图，以目标对象01为中心，第一摄像机02从不同的方向拍摄该目标对象01，该第一摄像机02拍摄目标对象01时的拍摄方向可以用拍摄角度表证。例如，以目标对象01为中心逆时针旋转每隔15°为一个角度区间。每个角度区间中所包含的角度信息为步骤302获取的拍摄角度，因此在302获取的拍摄角度属于该多个角度区间中的一个角度区间。
步骤304、基于各个角度区间对应的目标对象相同的目标图像，对目标对象进行三维重建处理，得到目标对象的三维图像。
在相关技术中，为了能够获取目标对象的三维图像，需要通过摄像头获取各个拍摄角度的包含目标对象的目标图像。由于通过摄像头获取的目标图像缺乏该目标图像的拍摄角度的信息，因此需要基于特定的排序算法，对各个目标图像进行排序，保证相邻的两帧图像对应的两个角度区间相邻。导致三维重建处理时的运算量较大，从而导致获取三维图像的效率较低。
而在本发明实施例中，可以通过角度识别模型确定出目标图像的拍摄角度，基于该拍摄角度可以在多个角度区间中，确定目标图像对象的角度区间。因此，在获取目标图像时，还获取了该目标图像的拍摄角度，在后续对目标对象进行三维重建处理时，无需再采用额外的算法对多帧目标图像进行排序，可以直接基于拍摄角度获取到多帧目标图像的顺序，有效的减少了三维重建处理时的运算量，提高了获取三维图像时的效率。
综上所述，本发明实施例提供的三维重建方法，通过角度识别模型可以确定出目标图像的拍摄角度，基于该拍摄角度可以在多个角度区间中，确定目标图像对象的角度区间，后续可以基于各个角度区间对应的目标对象相同的目标图像，对该目标对象进行三维重建处理，得到该目标对象的三维图像。在获取目标图像时，还获取了该目标图像的拍摄角度，在后续对目标对象进行三维重建处理时，无需再采用额外的算法对多帧目标图像进行排序，可以直接基于拍摄角度获取到多帧目标图像的顺序，有效的减少了三维重建处理时的运算量，提高了获取三维图像时的效率。
请参考图5，图5是本发明实施例提供的另一种三维重建方法的流程图。该三维重建方法应用于图1示出的三维重建系统100中的重建服务器102。该三维重建方法可以包括：
步骤401、获取第一摄像机采集的图像中的目标图像。
该目标图像为第一摄像机采集的图像中目标对象所在位置处的图像。该目标对象可以为人、动物或者物体。若该第一摄像机为监控摄像摄像机，且该第一摄像机部署在商场或商店内，则该目标对象为在商场或商店内的人。
在本发明实施例中，假设第一摄像机采集到的一帧图像中包含了多个不同的目标对象，则重建服务器可以在该帧图像中的截取多帧目标图像，每帧目标图像中的目标对象均不同。
步骤402、判断目标图像的分辨率是否小于分辨率阈值。
示例的，若目标图像的分辨率小于分辨率阈值，执行步骤403；若目标图像的分辨率不小于分辨率阈值，执行步骤404。例如，该分辨率阈值为：224×112。
步骤403、若目标图像的分辨率小于分辨率阈值，删除该目标图像。
在本发明实施例中，若获取到的目标图像的分辨率较低，则后续进行三维重建后得到的三维图像的显示效果较差。因此，可以在三维重建处理之前，对分辨率较低的目标图片进行滤除。示例的，重建服务器可以判断目标图像的分辨率是否小于分辨率阈值，若重建服务器判断出目标图像分辨率小于分辨率阈值，删除该目标图像。
步骤404、若目标图像的分辨率不小于分辨率阈值，将该目标图像修改为分辨率为指定分辨率的图像。该指定分辨率大于或等于分辨率阈值。
在本发明实施例中，若重建服务器判断出目标图像分辨率不小于分辨率阈值，为了便于后续进行三维重建处理，可以将该目标图像修改为分辨率为指定分辨率的图像。示例的，若目标图像的分辨率大于该指定分辨率，重建服务器需要将目标图像的分辨率压缩为指定分辨率；若目标图像的分辨率小于该指定分辨率，重复服务器需要将目标图像的分辨率扩大至指定分辨率。
步骤405、采用目标识别算法对目标图像进行标记处理，得到目标图像的标签，标签用于对目标图像中的目标对象进行标记。
在本发明实施例中，假设第一摄像机部署在商店或商场中，目标对象为在商店或商场中的人，则该目标识别算法可以为行人动线检测算法。重建服务器通过该行人动线检测算法可以对目标图像进行标记处理，得到该目标图像的标签，该标签用于对目标图像中的目标对象进行标记。示例的，行人动线检测算法可以对目标对象的着装特征、人脸特征和形态特征中的至少一个进行分析，从而实现对目标图像的标记。
步骤406、基于目标图像的标签，将目标对象相同的目标图像归类为一个图像集合。
在本发明实施例中，在相同标签的目标图像中，目标图像中的目标对象也相同。因此，重建服务器可以基于目标图像的标签，将目标对象相同的目标图像归类为一个图像集合。
需要说明的是，通过步骤406将目标图像进行分类后，位于相同图像集合的目标图像中的目标对象相同，而位于不同的图像集合的目标图像中的目标对象不同。
步骤407、采用角度识别模型确定目标图像的拍摄角度。
在本发明实施例中，重建服务器可以采用角度识别模型确定每一帧目标图像的拍摄角度。该角度识别模型为对样本图像与样本图像的拍摄角度进行学习训练得到的模型。该角度识别模型的获取方法在后续的实施例进行介绍，在此不做赘述。
示例的，重建服务器采用角度识别模型确定目标图像的拍摄角度，可以包括以下步骤：
步骤A1、向角度识别模型输入目标图像。
步骤B1、接收该角度识别模型输出的角度信息。
步骤C1、将角度信息确定为目标图像的拍摄角度。
步骤408、基于目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定目标图像对应的角度区间。
在本发明实施例中，假设第一摄像机布置在商店或商场中，目标对象为在商店或商场中的人，则在目标对象行走过程中，重建服务器可以实时获取第一摄像机采集的包含该目标对象的不同拍摄角度的目标图像。示例的，以该目标对象为中心顺时针或逆时针旋转每隔15°为一个角度区间，则该多个角度区间的个数为24个。重建服务器可以基于每帧目标图像的拍摄角度，在多个角度区间中确定该目标图像对应的角度区间。例如，假设目标图像的拍摄角度为10°，则该目标图像对应的角度区间为[0，15°)。
步骤409、基于图像集合，判断每个角度区间是否对应有多于两帧位于相同的图像集合内的目标图像。
在本发明实施例中，由于重建服务器后续需要参考每个角度区间对应的目标对象相同的目标图像，对该目标对象进行三维重建处理的，而每个角度区间可能会对应多于两帧目标对象相同的目标图像，若重建服务器直接参考每个角度区间对应的目标对象相同的目标图像，对该目标对象进行三维重建处理，可能会影响对目标对象进行三维重建处理的效率。因此，该重建服务器可以基于图像集合，判断每个角度区间是否对应有多于两帧位于相同的图像集合内的目标图像。
示例的，建服务器可以在相同的图像集合中，判断每个角度区间是否对应有多于两帧的目标图像。若角度区间对应有多于两帧位于相同的图像集合内的目标图像，执行步骤410；若角度区间未对应有多于两帧位于相同的图像集合内的目标图像，重复执行步骤409。
步骤410、若角度区间对应有多于两帧位于相同的图像集合内的目标图像，对多于两帧位于相同的图像集合内的目标图像进行图像质量评分处理，得到每帧目标图像的图像质量评分。
示例的，若角度区间对应有多于两帧位于相同的图像集合内的目标图像，重建服务器可以采用图像质量评分算法对该角度区间对应的目标图像进行图像质量评分处理，得到每帧目标图像的质量评分。
步骤411、删除除图像质量评分最高的目标图像之外的目标图像。
在本发明实施例中，质量评分越高代表目标图像的清晰度越高，后续进行三维重建处理得到的三维图像的质量越好。因此，重建服务器可以删除除图像质量评分最高的目标图像之外的目标图像，保证每个角度区间只对应一帧清晰度较高目标图像，有效的提高了后续对目标对象进行三维处理所得到的三维图像的成像质量，并且减少了三维重建时需要参考的目标图像的帧数，从而提高了对目标对象进行三维重建处理的效率。
步骤412、基于各个角度区间对应的目标对象相同的目标图像，对目标对象进行三维重建处理，得到目标对象的三维图像。
需要说明的是，目标对象相同的目标图像属于同一图像集合，因此，在该步骤412之前，该三维重建方法还可以包括：基于图像集合，获取各个角度区间对应的目标对象相同的目标图像。还需要说明的是，重建服务器在得到目标对象的三维图像后，可以将该三维图像存储在重建服务器中存储器中。
在本发明实施例中，重建服务器可以对满足三维重建条件的目标对象进行三维重建处理。该三维重建条件有多种，本发明实施例以以下两种可选的实现方式进行示意性说明：
在第一种可选的实现方式中，在重建服务器确定出目标对象在多个角度区间中的每个角度区间均对应有包含该目标对象的目标图像时，该目标对象满足三维重建条件。
此时，该步骤412可以包括：若多个角度区间中的每个角度区间均对应有目标对象相同的目标图像，基于每个角度区间对应的目标图像，对目标对象进行三维重建处理，得到目标对象的三维图像。示例的，重建服务器可以采用运动重构(英文：Structure frommotion；简称：SFM)算法对目标对象进行三维重建处理，得到该目标对象的三维图像。
在本发明实施例中，重建服务器确定目标对象在多个角度区间中的每个角度区间均对应有包含该目标对象的目标图像的过程，可以包括以下步骤：
步骤A2、对于每个图像集合，获取该图像集合中的每帧目标图像对应的角度区间。
在本发明实施例中，通过上述步骤401至步骤411后，重建服务器可以确定出每个图像集合中的每帧目标图像对应的角度区间，且在同一图像集合中，每个角度区间仅对应一帧目标图像，因此对于每个图像集合，重建服务器可以实时获取该图像集合中每帧目标图像对应的角度区间。
步骤B2、判断该图像集合中的所有目标图像所对应的角度区间的个数是否与多个角度区间的个数相同。
示例的，若该图像集合中的所有目标图像所对应的角度区间的个数与多个角度区间的个数相同，重建服务器可以确定出多个角度区间中的每个角度区间均对应有目标对象相同的目标图像，也即是，执行步骤C2；若图像集合的所有目标图像所对应的角度区间的个数与多个角度区间的个数不同，重建服务器可以确定出多个角度区间中的存在一个角度区间未对应有包含该目标对象的目标图像，重复执行步骤A2。
步骤C2、若该图像集合的中所有目标图像所对应的角度区间的个数与多个角度区间的相同，确定多个角度区间中的每个角度区间均对应有目标对象相同的目标图像。
在本发明实施例中，在重建服务器确定出多个角度区间中的每个角度区间均对应有目标对象相同的目标图像后，重建服务器可以确定出目标对象在多个角度区间中的每个角度区间均对应有包含该目标对象的目标图像，该目标对象满足三维重建条件。
在第二种可选的实现方式中，在重建服务器服务器接收到携带有待重建的目标对象的信息的三维重建指令时，该目标对象满足三维重建条件。
此时，该步骤412可以以下几个步骤：
步骤A3、当接收到三维重建指令时，基于三维重建指令携带的待重建的目标对象的信息，获取多帧包含待重建的目标对象的目标图像。
示例的，三维重建系统还可以包括：智能试衣镜，该三维重建指令可以为智能试衣镜发送的指令。在本发明实施例中，当重建服务器接收到携带有待重建的目标对象的信息的三维重建指令时，该重建服务器可以基于该待重建的目标对象的信息，获取多帧包含待重建的目标对象的目标图像。
例如，该待重建的目标对象的信息的信息可以包含着装特征、人脸特征和形态特征中的至少一个。由于三维重建服务器获取到目标图像后，也会带该目标图像的着装特征、人脸特征和形态特征中的至少一个进行分析，因此重建服务器能够基于该待重建的目标对象的信息，获取多帧包含该待重建的目标对象的目标图像。
步骤B3、基于每帧包含待重建的目标对象的目标图像，对待重建的目标对象进行三维重建处理，得到待重建的目标对象的三维图像。
示例的，重建服务器可以基于每帧包含该待重建的目标对象的目标图像，采用SFM算法，对该待重建的目标对象进行三维重建处理，得到该待重建的目标对象的三维图像。
步骤C3、判断三维图像是否为非完整的三维图像。
在本发明实施例中，由于对待重建的目标对象进行三维重建处理时，重建服务器基于的目标图像的帧数较少，也即是，多个角度区间中可能存在至少一个角度区间未对应有包含该待重建的目标对象的目标图像，因此三维重建处理后得到的三维图像可能是非完整的三维图像，例如，该三维图像包含的孔洞角度。重建服务器可以判断该三维图像是否为非完整的三维图像，若三维图像为非完整的三维图像，执行步骤D3；若三维图像不为非完整的三维图像，结束动作。
步骤D3、若三维图像是否为非完整的三维图像，对非完整的三维图像进行修复处理，得到修复处理后的三维图像。
在本发明实施例中，重建服务器为了能够获取到图像质量较高的三维图像，在判断出三维图像为非完整的三维图像后，重建服务器需要对该非完整的三维图像进行修复处理，得到修复处理后的三维图像。例如，假设待重建的目标对象的人型目标对象，重建服务器可以通过人体的三维图像的规律对该三维图像进行修复处理。
需要说明的是，本发明实施例提供的三维重建方法步骤的先后顺序可以进行适当调整，例如，可以先执行步骤407，再执行步骤405至步骤406。步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供的三维重建方法，通过角度识别模型可以确定出目标图像的拍摄角度，基于该拍摄角度可以在多个角度区间中，确定目标图像对象的角度区间，后续可以基于各个角度区间对应的目标对象相同的目标图像，对该目标对象进行三维重建处理，得到该目标对象的三维图像。在获取目标图像时，还获取了该目标图像的拍摄角度，在后续对目标对象进行三维重建处理时，无需再采用额外的算法对多帧目标图像进行排序，可以直接基于拍摄角度获取到多帧目标图像的顺序，有效的减少了三维重建处理时的运算量，提高了获取三维图像时的效率。
请参考图6，图6是本发明实施例提供的又一种三维重建方法的流程图。该三维重建方法应用于图1示出的三维重建系统100，该三维重建方法可以包括：
步骤501、第一摄像机采集图像。
在本发明实施例中，该第一摄像机可以为监控摄像机，该第一摄像机的个数为多个，可以部署在商场或商店中的不同位置处。
步骤502、第一摄像机向重建服务器发送所采集的图像。
在本发明实施例中，第一摄像机可以将其实时采集的图像发送给重建服务器，便于重建服务器对目标对象进行三维重建处理。
步骤503、重建服务器基于第一摄像机采集的图像对目标对象进行三维重建处理，得到目标对象的三维图像。
需要说明的是，重建服务器基于第一摄像机采集的图像对目标对象进行三维重建处理，得到目标对象的三维图像的过程，可以参考前述步骤401至步骤412中的相关内容，在此不再赘述。
步骤504、智能试衣镜向重建服务器发送携带有目标对象的信息的获取请求。
在本发明实施例中，假设目标对象为站在智能试衣镜前的人，该智能试衣镜为了能够为该目标对象提供虚拟试衣服务，该智能试衣镜需要在重建服务器中获取该目标对象的三维图像。
示例的，该智能试衣镜中可以设置有试衣镜摄像头。该试衣镜摄像头可以采集位于该智能试衣镜之前的目标对象的信息，并向重建服务器发送携带有该目标对象的信息的获取请求。
步骤505、重建服务器基于获取请求所携带的目标对象的信息，向智能试衣镜发送携带有该目标对象的三维图像的获取响应。
可选的，重建服务器在接收到该获取请求后，可以先基于该获取请求所携带的目标对象的信息，判断是否存储有该目标对象的三维图像。
示例的，该目标对象的信息可以为人脸信息，重建服务器在获取目标对象的三维图像时，也会获取该目标对象的人脸信息。因此，重建服务器可以基于人脸信息判断其是否存储有该目标对象的三维图像。
若重建服务器判断出存储有该目标对象的三维图像，示例的，若该获取请求中所携带的目标对象的人脸信息，与重建服务器存储的三维图像对应的人脸信息相同，则重建服务器可以确定其存储有该目标对象的三维图像。此时，该重建服务器可以向该智能试衣镜发送携带有该目标对象的三维图像的获取响应。
若重建服务器判断出未存储有该目标对象的三维图像，示例的，在重建服务器中存储的所有的三维图像所对应人脸信息，与该获取请求中所携带的目标对象的人脸信息均不同，则重建服务器可以确定其未存储有该目标对象的三维图像。此时，重建服务器可以向智能试衣镜发送重建服务器中未存储有该目标对象的三维图像的响应；智能试衣镜可以基于该获取响应向重建服务器发送携带有该目标对象的信息的三维重建指令；重建服务器可以基于该三维重建指令，对该目标对象进行三维重建处理后，向该智能试衣镜发送携带有该目标对象的三维图像的获取响应。其中，重建服务器基于三维重建指令，对该目标对象进行三维重建处理的过程可以参考上述步骤412中的对应过程在此不再赘述。
步骤506、智能试衣镜基于获取响应向该目标对象提供虚拟试衣服务。
在本发明实施例中，智能试衣镜在接收到重建服务器发送的携带有该目标对象的三维图像的获取响应后，可以基于该获取响应向该目标对象提供虚拟试衣服务。
需要说明的是，获取响应所携带的目标对象的三维图像的图像质量可能较差，例如，当重建服务器在获取三维图像，所基于的包含该目标对象的目标图像的帧数较少时，重建服务器获取的三维图像的图像质量较差。因此，智能试衣镜可以对获取响应所携带的该目标对象的三维图像的图像质量进行分析，确定是否会对目标对象提高的虚拟试衣服务存在影响。若存在影响，智能试衣镜会发出用于提示目标对象旋转一圈的语音信息。此时，在目标对象旋转后，通过试衣镜摄像头可以重新采集该目标对象不同拍摄角度的目标图像，重建服务可以基于每帧目标图像重新对该目标对象进行三维重建处理，此时，得到该目标对象的三维图像的成像质量较高。
在相关技术中，在用户使用智能试衣镜的过程中，通常需要让用户在智能试衣镜前选转一圈，便于智能试衣镜中安装的摄像头采集包含该用户不同拍摄角度的目标图像，然后再进行三维重建处理，得到该用户的三维图像。因此，用户在使用智能试衣镜的过程中，需要得到三维重建处理获取三维图像的时长。
而在本发明实施例中，第一摄像机布置在商店或商场中，重建服务器可以实时获取第一摄像机采集的包含该用户的不同拍摄角度的目标图像，再满足三维重建的条件后，可以直接进行三维重建处理，然后再将得到的三维图像发送给智能试衣镜。当该用户使用该智能试衣镜时，无需在智能试衣镜前选转一圈，且无需等待三维重建处理获取三维图像的时长，便可以获取到该用户的三维图像，有效的提高了用户的使用体验。
需要说明的是，本发明实施例提供的三维重建方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
综上所述，本发明实施例提供的三维重建方法，通过角度识别模型可以确定出目标图像的拍摄角度，基于该拍摄角度可以在多个角度区间中，确定目标图像对象的角度区间，后续可以基于各个角度区间对应的目标对象相同的目标图像，对该目标对象进行三维重建处理，得到该目标对象的三维图像。在获取目标图像时，还获取了该目标图像的拍摄角度，在后续对目标对象进行三维重建处理时，无需再采用额外的算法对多帧目标图像进行排序，可以直接基于拍摄角度获取到多帧目标图像的顺序，有效的减少了三维重建处理时的运算量，提高了获取三维图像时的效率。并且，当用户使用智能试衣镜时，无需在智能试衣镜前选转一圈，且无需等待三维重建处理获取三维图像的时长，便可以获取到该用户的三维图像，有效的提高了用户的使用体验。
本发明实施例还提供了一种模型训练方法，该模型训练方法用于训练图3、图5或图6示出的三维重建方法中所采用的角度识别模型。该模型训练方法应用于图2示出的模型训练系统200中的训练服务器202。该模型训练方法可以包括：
执行多次训练过程，直至角度识别模型对训练图像集中的样本图像的拍摄角度分类准确度达到设定阈值。
其中，请参考图7，图7是本发明实施例提供的一种训练过程的流程图。该训练过程可以包括：
步骤601、获取第二摄像机采集的包含样本对象的样本图像以及与该样本图像对应的深度图。
在本发明实施例中，该样本对象可以为人、动物或者物体，训练服务器可以采用第二摄像机采集包含样本对象的样本图像以及与该样本图像对应的深度图。该第二摄像机可以为包含深度摄像头的摄像机，或者为双目摄像机。例如，该第二摄像机可以为诸如Kinect设备等带有深度摄像头的设备。需要说明的是，该第二摄像机能够同时采集深度图和彩色图，因此通过该第二摄像机拍摄样本对象后，训练服务器可以同时获取第二摄像机采集的包含样本对象的样本图像以及与该样本图像对应的深度图。
还需要说明的是，第二摄像机在拍摄样本对象后，获取到的彩色图和深度图中，不仅包含该样本对象，还包含除该样本对象之前的其他背景图像，为了便于后续的进行的图像处理，在第二摄像机对样本对象进行拍摄后，训练服务器还需要对获取到的深度图和彩色图进行截取，使得截取后的样本图像以及其对应的深度图中仅包含样本对象。
步骤602、获取深度图中的样本对象中两个关键点。
在本发明实施例中，若样本对象为人，则该样本对象中的两个关键点可以分别为人的两个双肩关节点。需要说明的是，Kinect设备在采集到含有样本对象的深度图后，该Kinect设备可以采集该样本对象中的所有的关节点。例如，如图8所示，该Kinect设备可以采集该样本对象中的14个关节点，此时，训练服务器可以获取该深度图中的样本对象中的两个双肩关节点a和b。
步骤603、基于两个关键点的三维坐标，确定样本图像的拍摄角度。该拍摄角度用于表征第二摄像机拍摄样本对象时的方向。
在本发明实施例中，可以将两个关键点的连线的垂直方向，与世界坐标系中的Z轴方向的夹角确定为该样本图像的拍摄角度。该世界坐标系中的Z轴方向通常与第二摄像机的光轴方向平行。训练服务器可以基于两个关键点的三维坐标，确定样本图像的拍摄角度。
其中，关键点的三维坐标在X轴和Y轴分量可以确定出该关键点在深度图中的位置，关键点的三维坐标在Z轴上的分量可以为该关键点的深度值。需要说明的是，训练服务器在获取到样本图像以及其对应的深度图后，可以确定出该深度图中任意一点的三维坐标。
示例的，基于该两个关键点的三维坐标，确定该样本图像的拍摄角度，可以包括：采用角度计算公式计算样本图像的拍摄角度，该角度计算公式为：
Figure BDA0002038385980000181
其中，两个关键点的三维坐标分别为(x1，y1，z1)和(x2，y2，z2)；V1表示两个关键点的连线在世界坐标系中的XZ平面内的向量；V2表示与V1垂直的单位向量；VZ表示与世界坐标系中与Z轴平行的单位向量；α表示拍摄角度。
在本发明实施例中，训练服务器确定样本图像的拍摄角度时有以下两种特殊情况：
第一种特殊情况，训练服务器若仅基于两个关键点的三维坐标，确定样本图像的拍摄角度，则可能会存在两帧拍摄角度相同，但第二摄像机的拍摄方向不同的样本图像。例如，第二摄像机以当前拍摄方向拍摄样本对象时的拍摄角度，和第二摄像机的拍摄方向旋转180°后拍摄样本对象时的拍摄角度相同。因此，为了区分两帧拍摄角度相同，但第二摄像机的拍摄方向不同的样本图像，在步骤603之后，该训练过程还可以包括：
步骤A4、基于样本图像，判断样本对象相对于第二摄像机的朝向姿态是否为背对朝向姿态。
在本发明实施例中，训练服务器可以基于样本图像，判断出样本对象相对于第二摄像机的朝向姿态是背向朝向姿态，还是正向朝向姿态。当训练服务器服务器判断出样本对象相对于第二摄像机的朝向姿态为背对朝向姿态时，需要对样本对象的拍摄角度进行修正，执行步骤B4；当训练服务器服务器判断出样本对象相对于第二摄像机的朝向姿态为正向朝向姿态时，无需对样本对象的拍摄角度进行修正。
步骤B4、当样本对象相对于第二摄像机的朝向姿态为背对朝向姿态时，采用修正计算公式对拍摄角度进行修正处理，得到修正后的拍摄角度。该修正计算公式为：
α1＝α2+180°；其中，α1为修正后的拍摄角度；α2为修正前的拍摄角度。
在本发明实施例中，训练服务器为了区分两帧拍摄角度相同，但第二摄像机的拍摄方向不同的样本图像，可以在判断出样本对象相对于第二摄像机的朝向姿态为背对朝向姿态时，将该样本图像的拍摄角度进行修正，使得任意两帧第二摄像机的拍摄方向不同的样本图像的拍摄角度也不同。
第二种特殊情况，若样本对象相对于第二摄像机的朝向姿态为侧向姿态，样本对象中的两个关键点几近重合，训练服务器基于两个关键点的三维坐标，确定样本图像的拍摄角度的准确性较低。因此，为了提高样本图像的拍摄角度的准确性，在步骤603之前，该训练过程还可以包括：
步骤A5、判断两个关键点的距离是否小于距离阈值。
示例的，如图8所示，假设样本对象为人，该样本对象中的两个关键点可以分别为人的两个双肩关节点a和b，该距离阈值可以为头关节点c与颈关节点d之间的距离。训练服务器可以计算出深度图中的样本对象中的两个双肩关节点a和b之间的距离，与头关节点c和颈关节点d之间的距离进行比较，以判断两个关键点的距离是否小于距离阈值。若两个关键点的距离小于距离阈值，执行步骤B5；若两个关键点的距离不小于距离阈值，执行上述步骤603。
步骤B5、若两个关键点的距离小于距离阈值，确定样本图像的拍摄角度为指定角度。该指定角度为位于固定范围的角度区间内的任一角度。
在本发明实施例中，训练服务器在判断出两个关键点之间的距离小于距离阈值后，该训练服务器可以将样本图像的拍摄角度确定为指定角度。
示例的，该指定角度可以为90°或270°。为了更精确的确定样本图像的拍摄角度，训练服务器需要基于样本图像，确定样本对象相对于第二摄像机的朝向姿态，并基于该样本对象相对于第二摄像机的朝向姿态确定样本图像的拍摄角度为90°，还是为270°。例如，样本对象相对于第二摄像机的朝向姿态还可以包括：向右侧向朝向姿态和向左侧向朝向姿态。当样本对象相对于第二摄像机的朝向姿态为向右侧朝向姿态时，该样本图像的拍摄角度为90°；当样本对象相对于第二摄像机的朝向姿态为向左侧朝向姿态时，该样本图像的拍摄角度为270°。
步骤604、向深度学习模型输入样本图像，得到样本图像的预测拍摄角度，根据样本图像的拍摄角度和预测拍摄角度，确定拍摄角度的分类准确度。
在本发明实施例中，深度学习模型可以学习样本图像与拍摄角度之间的对应关系。在深度学习模型对样本图像与拍摄角度之间的对应关系学习完成之后，可以得到样本图像的预测拍摄角度，根据该样本图像的拍摄角度和预测拍摄角度，确定拍摄角度的分类准确度后，训练服务器可以判断该分类准确度是否大于设定阈值；当该分类准确度大于或等于设定阈值时，结束对该样本图像的训练，后续可以向深度学习模型输入新样本图像；当该分类准确度小于设定阈值时，重复执行步骤604，重新向深度学习模型输入该样本图像。
需要说明的是，通过多次上述步骤601至步骤604的训练过程，可以得到角度识别模型，且该角度识别模型对训练图像集中的样本图像的拍摄角度分类准确度达到设定阈值。
示例的，在上述步骤604中，根据样本图像的拍摄角度和预测拍摄角度可以确定出损失函数的损失值，该损失函数的损失值LOSS可以通过以下计算公式确定：
Figure BDA0002038385980000201
其中，其中a代表样本图像的预测拍摄角度，
Figure BDA0002038385980000202
代表样本图像的真实的拍摄角度，CE代表交叉熵，MSE代表均方差，
Figure BDA0002038385980000203
代表二者的融合系数。
该深度学习模型的其他参数配置如下：输入的样本图像的分辨率为224×112，使用的优化器为Adam优化器，迭代次数为50次。其中，每次迭代指：深度学习模型对样本图像与该样本图像的拍摄角度之间的对应关系进行一次学习。
需要说明的是，通过上述步骤可以得到图3、图5或图6示出的三维重建方法中所采用的角度识别模型。当对该角度识别模型输入目标图像时，该角度模型可以输出该目标图像的拍摄角度。
请参考图9，图9是本发明实施例提供的一种三维重建装置的框图。该三维重建装置700可以集成在如图1示出的三维重建系统100中的重建服务器102中。该三维重建装置700可以包括：
第一获取模块701，用于获取第一摄像机采集的图像中的目标图像，目标图像为第一摄像机采集的图像中目标对象所在位置处的图像。
第一确定模块702，用于采用角度识别模型确定目标图像的拍摄角度，拍摄角度用于表征第一摄像机拍摄目标对象时的拍摄方向，角度识别模型为对样本图像与样本图像的拍摄角度进行学习训练得到的模型。
第二确定模块703，用于基于目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定目标图像对应的角度区间。
三维重建模块704，用于基于各个角度区间对应的目标对象相同的目标图像，对目标对象进行三维重建处理，得到目标对象的三维图像。
可选的，该第一确定模块702，用于：向角度识别模型输入目标图像；接收角度识别模型输出的角度信息；将角度信息确定为拍摄角度。
可选的，如图10，图10是本发明实施例提供的另一种三维重建装置的框图。该三维重建装置700还可以包括：
标记模块705，用于采用目标识别算法对目标图像进行标记处理，得到目标图像的标签，标签用于对目标图像中的目标对象进行标记。
归类模块706，用于基于目标图像的标签，将目标对象相同的目标图像归类为一个图像集合。
第二获取模块707，用于基于图像集合，获取各个角度区间对应的目标对象相同的目标图像。
可选的，如图10所示，该三维重建装置700还可以包括：
第一判断模块708，用于基于图像集合，判断每个角度区间是否对应有多于两帧位于相同的图像集合内的目标图像。
评分模块709，用于若角度区间对应有多于两帧位于相同的图像集合内的目标图像，对多于两帧位于相同的图像集合内的目标图像进行图像质量评分处理，得到每帧目标图像的图像质量评分。
第一删除模块710，用于删除除图像质量评分最高的目标图像之外的目标图像。
可选的，如图11，图11是本发明实施例提供的又一种三维重建装置的框图。该三维重建装置700还可以包括：
第二判断模块711，用于判断目标图像的分辨率是否小于分辨率阈值。
第二删除模块712，用于若目标图像的分辨率小于分辨率阈值，删除该目标图像。
修改模块713，用于若目标图像的分辨率不小于分辨率阈值，将目标图像修改为指定分辨率的图像，指定分辨率大于或等于分辨率阈值。
可选的，该三维重建模块704，用于：若多个角度区间中的每个角度区间均对应有目标对象相同的目标图像，基于每个角度区间对应的目标图像，对目标对象进行三维重建处理，得到目标对象的三维图像。
可选的，该三维重建模块704，用于：当接收到三维重建指令时，基于三维重建指令携带的待重建的目标对象的信息，获取多帧包含待重建的目标对象的目标图像；基于每帧包含待重建的目标对象的目标图像，对待重建的目标对象进行三维重建处理，得到待重建的目标对象的三维图像；判断三维图像是否为非完整的三维图像；若三维图像是否为非完整的三维图像，对非完整的三维图像进行修复处理，得到修复处理后的三维图像。
综上所述，本发明实施例提供的三维重建装置，通过角度识别模型可以确定出目标图像的拍摄角度，基于该拍摄角度可以在多个角度区间中，确定目标图像对象的角度区间，后续可以基于各个角度区间对应的目标对象相同的目标图像，对该目标对象进行三维重建处理，得到该目标对象的三维图像。在获取目标图像时，还获取了该目标图像的拍摄角度，在后续对目标对象进行三维重建处理时，无需再采用额外的算法对多帧目标图像进行排序，可以直接基于拍摄角度获取到多帧目标图像的顺序，有效的减少了三维重建处理时的运算量，提高了获取三维图像时的效率。
本发明实施例还提供了一种模型训练装置。该模型训练装置可以集成在图2示出的模型训练系统200中的训练服务器202中。该模型训练装置用于训练方法用于训练图3、图5或图6示出的三维重建方法中所采用的角度识别模型。该模型训练装置可以包括：
训练模块，用于执行多次训练过程，直至角度识别模型对训练图像集中的样本图像的拍摄角度分类准确度达到设定阈值。该训练过程可以包括：
获取第二摄像机采集的包含样本对象的样本图像以及与样本图像对应的深度图；
获取深度图中的样本对象中两个关键点；
基于两个关键点的三维坐标，确定样本图像的拍摄角度，拍摄角度用于表征第二摄像机拍摄样本对象时的方向；
向深度学习模型输入样本图像，得到样本图像的预测拍摄角度，根据样本图像的拍摄角度和预测拍摄角度，确定拍摄角度的分类准确度。
可选的，基于两个关键点的三维坐标，确定样本图像的拍摄角度，包括：
采用角度计算公式计算样本图像的拍摄角度，角度计算公式为：
Figure BDA0002038385980000231
其中，两个关键点的三维坐标分别为(x1，y1，z1)和(x2，y2，z2)；V1表示两个关键点的连线在世界坐标系中的XZ平面内的向量；V2表示与V1垂直的单位向量；VZ表示与世界坐标系中与Z轴平行的单位向量；α表示拍摄角度。
可选的，在基于两个关键点的三维坐标，确定样本图像的拍摄角度之后，该训练过程还包括：
基于样本图像，判断样本对象相对于第二摄像机的朝向姿态是否为背对朝向姿态；当样本对象相对于第二摄像机的朝向姿态为背对朝向姿态时，采用修正计算公式对拍摄角度进行修正处理，得到修正后的拍摄角度，修正计算公式为：α1＝α2+180°；其中，α1为修正后的拍摄角度；α2为修正前的拍摄角度。
可选的，在基于两个关键点的三维坐标，确定样本图像的拍摄角度之前，该训练过程还包括：
判断两个关键点的距离是否小于距离阈值；若两个关键点的距离小于距离阈值，确定样本图像的拍摄角度为指定角度，指定角度为位于固定范围的角度区间内的任一角度。
本发明实施例还提供了一种三维重建系统，该三维重建系统可以包括：重建服务器和第一摄像机。该三维重建系统的结构可以参考图1示出的三维重建系统示出的结构。该重建服务器可以包括：图9、图10或图11示出的三维重建装置700。
可选的，该三维重建系统包括：智能试衣镜。智能试衣镜用于在检测到目标对象时，向重建服务器发送携带有目标对象的信息的获取请求；重建服务器用于基于获取请求所携带的目标对象的信息，向智能试衣镜发送携带有目标对象的三维图像的获取响应。
本发明实施例还提供了一种模型训练系统，该模型训练系统可以包括：训练服务器和第二摄像机。该模型训练系统的结构可以参考图2示出的模型训练系统示出的结构。该训练服务器可以包括：上述实施例示出的训练模块。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，该存储介质为非易失性存储介质，该存储介质中存储有代码指令，该代码指令由处理器执行，以执行上述实施例示出的三维重建方法。示例的，其可以至少图3、图5或图6示出的三维重建方法。
本发明实施例还提供了另一种计算机可读存储介质，该存储介质为非易失性存储介质，该存储介质中存储有代码指令，该代码指令由处理器执行，以执行上述实施例示出的模型训练方法。示例的，其可以执行图7示出的训练过程。
在本发明实施例中，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的可选的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种三维重建方法，其特征在于，所述方法包括：
获取第一摄像机采集的图像中的目标图像，所述目标图像为所述图像中目标对象所在位置处的图像；
采用角度识别模型确定所述目标图像的拍摄角度，所述拍摄角度用于表征所述第一摄像机拍摄所述目标对象时的拍摄方向；
基于所述目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定所述目标图像对应的角度区间；
基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像。
2.根据权利要求1所述的方法，其特征在于，所述采用角度识别模型确定所述目标图像的拍摄角度，包括：
向所述角度识别模型输入所述目标图像；
接收所述角度识别模型输出的角度信息；
将所述角度信息确定为所述拍摄角度；
其中，所述角度识别模型为对样本图像与所述样本图像的拍摄角度进行学习训练得到的模型。
3.根据权利要求1所述的方法，其特征在于，在所述获取第一摄像机采集的图像中的目标图像之后，所述方法还包括：
采用目标识别算法对所述目标图像进行标记处理，得到所述目标图像的标签，所述标签用于对所述目标图像中的目标对象进行标记；
基于所述目标图像的标签，将目标对象相同的目标图像归类为一个图像集合；
在所述基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像之前，所述方法还包括：
基于所述图像集合，获取各个所述角度区间对应的目标对象相同的目标图像。
4.根据权利要求3所述的方法，其特征在于，在基于所述目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定所述目标图像对应的角度区间之后，所述方法还包括：
基于所述图像集合，判断每个所述角度区间是否对应有多于两帧位于相同的图像集合内的目标图像；
若所述角度区间对应有所述多于两帧位于相同的图像集合内的目标图像，对所述多于两帧位于相同的图像集合内的目标图像进行图像质量评分处理，得到每帧目标图像的图像质量评分；
删除除图像质量评分最高的目标图像之外的目标图像。
5.根据权利要求1至4任一所述的方法，其特征在于，在所述获取第一摄像机采集的图像中的目标图像之后，所述方法还包括：
判断所述目标图像的分辨率是否小于分辨率阈值；
若所述目标图像的分辨率小于所述分辨率阈值，删除所述目标图像；
若所述目标图像的分辨率不小于所述分辨率阈值，将所述目标图像修改为指定分辨率的图像，所述指定分辨率大于或等于所述分辨率阈值。
6.根据权利要求1至4任一所述的方法，其特征在于，所述基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像，包括：
若所述多个角度区间中的每个角度区间均对应有目标对象相同的目标图像，基于每个角度区间对应的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像。
7.根据权利要求1至4任一所述的方法，其特征在于，所述基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像，包括：
当接收到三维重建指令时，基于所述三维重建指令携带的待重建的目标对象的信息，获取多帧包含所述待重建的目标对象的目标图像；
基于每帧包含所述待重建的目标对象的目标图像，对所述待重建的目标对象进行三维重建处理，得到所述待重建的目标对象的三维图像；
判断所述三维图像是否为非完整的三维图像；
若所述三维图像是否为非完整的三维图像，对所述非完整的三维图像进行修复处理，得到修复处理后的三维图像。
8.一种三维重建装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一摄像机采集的图像中的目标图像，所述目标图像为所述图像中目标对象所在位置处的图像；
第一确定模块，用于采用角度识别模型确定所述目标图像的拍摄角度，所述拍摄角度用于表征所述第一摄像机拍摄所述目标对象时的拍摄方向，所述角度识别模型为对样本图像与所述样本图像的拍摄角度进行学习训练得到的模型；
第二确定模块，用于基于所述目标图像的拍摄角度，在角度范围[0，360°)包括的多个角度区间中确定所述目标图像对应的角度区间；
三维重建模块，用于基于各个所述角度区间对应的目标对象相同的目标图像，对所述目标对象进行三维重建处理，得到所述目标对象的三维图像。
9.一种三维重建系统，其特征在于，包括：重建服务器和第一摄像机，所述重建服务器包括：权利要求8所述的三维重建装置。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括：智能试衣镜；
所述智能试衣镜用于在检测到目标对象时，向所述重建服务器发送携带有所述目标对象的信息的获取请求；
所述重建服务器用于基于所述获取请求所携带的目标对象的信息，向所述智能试衣镜发送携带有所述目标对象的三维图像的获取响应。
11.一种模型训练方法，其特征在于，用于训练角度识别模型，所述方法包括：
执行多次训练过程，直至所述角度识别模型对训练图像集中的样本图像的拍摄角度分类准确度达到设定阈值，其中，所述训练过程包括：
获取第二摄像机采集的包含样本对象的样本图像以及与所述样本图像对应的深度图；
获取所述深度图中的样本对象中两个关键点；
基于所述两个关键点的三维坐标，确定所述样本图像的拍摄角度，所述拍摄角度用于表征所述第二摄像机拍摄所述样本对象时的方向；
向深度学习模型输入样本图像，得到所述样本图像的预测拍摄角度，根据所述样本图像的拍摄角度和预测拍摄角度，确定所述拍摄角度的分类准确度。
12.根据权利要求11所述的方法，其特征在于，基于所述两个关键点的三维坐标，确定所述样本图像的拍摄角度，包括：
采用角度计算公式计算所述样本图像的拍摄角度，所述角度计算公式为：
Figure FDA0002038385970000041
其中，所述两个关键点的三维坐标分别为(x1，y1，z1)和(x2，y2，z2)；V1表示所述两个关键点的连线在世界坐标系中的XZ平面内的向量；V2表示与V1垂直的单位向量；VZ表示与世界坐标系中与Z轴平行的单位向量；α表示所述拍摄角度。
13.根据权利要求11所述的方法，其特征在于，在基于所述两个关键点的三维坐标，确定所述样本图像的拍摄角度之后，所述训练过程还包括：
基于所述样本图像，判断所述样本对象相对于所述第二摄像机的朝向姿态是否为背对朝向姿态；
当所述样本对象相对于所述第二摄像机的朝向姿态为所述背对朝向姿态时，采用修正计算公式对所述拍摄角度进行修正处理，得到修正后的拍摄角度，所述修正计算公式为：
α1＝α2+180°；
其中，α1为修正后的拍摄角度；α2为修正前的拍摄角度。
14.根据权利要求11至13任一所述的方法，其特征在于，基于所述两个关键点的三维坐标，确定所述样本图像的拍摄角度之前，所述训练过程还包括：
判断所述两个关键点的距离是否小于距离阈值；
若所述两个关键点的距离小于所述距离阈值，确定所述样本图像的拍摄角度为指定角度，所述指定角度为位于固定范围的角度区间内的任一角度。
15.一种非易失性的计算机可读存储介质，其特征在于，所述存储介质中存储有代码指令，所述代码指令由处理器执行，以执行权利要求1至7任一所述的三维重建方法。
CN201910333474.0A 2019-04-24 2019-04-24 三维重建方法及装置、系统、模型训练方法、存储介质 Active CN111862296B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910333474.0A CN111862296B (zh) 2019-04-24 2019-04-24 三维重建方法及装置、系统、模型训练方法、存储介质
US17/043,061 US11403818B2 (en) 2019-04-24 2020-03-04 Three-dimensional reconstruction method, apparatus and system, model training method and storage medium
PCT/CN2020/077850 WO2020215898A1 (zh) 2019-04-24 2020-03-04 三维重建方法及装置、系统、模型训练方法、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910333474.0A CN111862296B (zh) 2019-04-24 2019-04-24 三维重建方法及装置、系统、模型训练方法、存储介质

Publications (2)

Publication Number Publication Date
CN111862296A true CN111862296A (zh) 2020-10-30
CN111862296B CN111862296B (zh) 2023-09-29

Family

ID=72940873

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910333474.0A Active CN111862296B (zh) 2019-04-24 2019-04-24 三维重建方法及装置、系统、模型训练方法、存储介质

Country Status (3)

Country Link
US (1) US11403818B2 (zh)
CN (1) CN111862296B (zh)
WO (1) WO2020215898A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819953A (zh) * 2021-02-24 2021-05-18 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN112884638A (zh) * 2021-02-02 2021-06-01 北京东方国信科技股份有限公司 虚拟试衣方法及装置
CN112907726A (zh) * 2021-01-25 2021-06-04 重庆金山医疗器械有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN113141498A (zh) * 2021-04-09 2021-07-20 深圳市慧鲤科技有限公司 信息生成方法、装置、计算机设备及存储介质
CN115361500A (zh) * 2022-08-17 2022-11-18 武汉大势智慧科技有限公司 用于三维建模的图像获取方法、系统及三维建模方法
WO2024040964A1 (zh) * 2022-08-22 2024-02-29 华为技术有限公司 识别模型训练方法、装置以及可移动智能设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586379B2 (en) * 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
US11727656B2 (en) 2018-06-12 2023-08-15 Ebay Inc. Reconstruction of 3D model with immersive experience
US20210365673A1 (en) * 2020-05-19 2021-11-25 Board Of Regents, The University Of Texas System Method and apparatus for discreet person identification on pocket-size offline mobile platform with augmented reality feedback with real-time training capability for usage by universal users
CN112734856A (zh) * 2021-01-05 2021-04-30 恒信东方文化股份有限公司 一种服装的拍摄角度的确定方法及系统
CN114125304B (zh) * 2021-11-30 2024-04-30 维沃移动通信有限公司 拍摄方法及其装置
CN114821497A (zh) * 2022-02-24 2022-07-29 广州文远知行科技有限公司 目标物位置的确定方法、装置、设备及存储介质
CN114999644B (zh) * 2022-06-01 2023-06-20 江苏锦业建设工程有限公司 一种建筑人员疫情防控可视化管理系统及管理方法
CN115222814B (zh) * 2022-06-02 2023-09-01 珠海云洲智能科技股份有限公司 救援设备导引方法、装置、终端设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271582A (zh) * 2008-04-10 2008-09-24 清华大学 基于多视角二维图像并结合sift算法的三维重建方法
US20120183238A1 (en) * 2010-07-19 2012-07-19 Carnegie Mellon University Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
CN102665838A (zh) * 2009-11-11 2012-09-12 微软公司 用于确定和跟踪目标的肢端的方法和系统
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN105427369A (zh) * 2015-11-25 2016-03-23 努比亚技术有限公司 移动终端及其三维形象的生成方法
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN106709746A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d扫描、模型测量一体化的互联网服装定制系统
CN107103641A (zh) * 2017-03-23 2017-08-29 微景天下（北京）科技有限公司 三维重建成像系统和三维重建成像方法
CN107392086A (zh) * 2017-05-26 2017-11-24 深圳奥比中光科技有限公司 人体姿态的评估装置、系统及存储装置
CN108229332A (zh) * 2017-12-08 2018-06-29 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN108921000A (zh) * 2018-04-16 2018-11-30 深圳市深网视界科技有限公司 头部角度标注、预测模型训练、预测方法、设备和介质
CN108960093A (zh) * 2018-06-21 2018-12-07 阿里体育有限公司 脸部转动角度的识别方法及设备
CN109389054A (zh) * 2018-09-21 2019-02-26 北京邮电大学 基于自动图像识别和动作模型对比的智能镜子设计方法
CN109522775A (zh) * 2017-09-19 2019-03-26 杭州海康威视数字技术股份有限公司 人脸属性检测方法、装置及电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1480903A (zh) * 1996-08-29 2004-03-10 ������������ʽ���� 特征信息赋予、物体抽取和立体模型生成方法及其装置
TWI346309B (en) * 2007-12-21 2011-08-01 Ind Tech Res Inst Method for reconstructing three dimension model
CN102244732B (zh) * 2011-07-01 2015-12-16 深圳超多维光电子有限公司 一种立体摄像机的参数设置方法、装置及该立体摄像机
CN105142447B (zh) * 2013-01-16 2017-03-08 范德维德股份有限公司 试衣间镜子
CN108053476B (zh) * 2017-11-22 2021-06-04 上海大学 一种基于分段三维重建的人体参数测量系统及方法
US11386614B2 (en) * 2018-06-15 2022-07-12 Google Llc Shading images in three-dimensional content system
CN109461180B (zh) * 2018-09-25 2022-08-30 北京理工大学 一种基于深度学习的三维场景重建方法
CN109272576B (zh) * 2018-09-30 2023-03-24 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备及装置
CN109377524B (zh) * 2018-10-29 2021-02-23 山东师范大学 一种单幅图像深度恢复方法和系统
US11062454B1 (en) * 2019-04-16 2021-07-13 Zoox, Inc. Multi-modal sensor data association architecture

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271582A (zh) * 2008-04-10 2008-09-24 清华大学 基于多视角二维图像并结合sift算法的三维重建方法
CN102665838A (zh) * 2009-11-11 2012-09-12 微软公司 用于确定和跟踪目标的肢端的方法和系统
US20120183238A1 (en) * 2010-07-19 2012-07-19 Carnegie Mellon University Rapid 3D Face Reconstruction From a 2D Image and Methods Using Such Rapid 3D Face Reconstruction
US20170316598A1 (en) * 2015-05-22 2017-11-02 Tencent Technology (Shenzhen) Company Limited 3d human face reconstruction method, apparatus and server
CN104966316A (zh) * 2015-05-22 2015-10-07 腾讯科技（深圳）有限公司 一种3d人脸重建方法、装置及服务器
CN104992441A (zh) * 2015-07-08 2015-10-21 华中科技大学 一种面向个性化虚拟试衣的真实人体三维建模方法
CN106709746A (zh) * 2015-11-17 2017-05-24 北京三件客科技有限公司 3d扫描、模型测量一体化的互联网服装定制系统
CN105427369A (zh) * 2015-11-25 2016-03-23 努比亚技术有限公司 移动终端及其三维形象的生成方法
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN107103641A (zh) * 2017-03-23 2017-08-29 微景天下（北京）科技有限公司 三维重建成像系统和三维重建成像方法
CN107392086A (zh) * 2017-05-26 2017-11-24 深圳奥比中光科技有限公司 人体姿态的评估装置、系统及存储装置
CN109522775A (zh) * 2017-09-19 2019-03-26 杭州海康威视数字技术股份有限公司 人脸属性检测方法、装置及电子设备
CN108229332A (zh) * 2017-12-08 2018-06-29 华为技术有限公司 骨骼姿态确定方法、装置及计算机可读存储介质
CN108921000A (zh) * 2018-04-16 2018-11-30 深圳市深网视界科技有限公司 头部角度标注、预测模型训练、预测方法、设备和介质
CN108960093A (zh) * 2018-06-21 2018-12-07 阿里体育有限公司 脸部转动角度的识别方法及设备
CN109389054A (zh) * 2018-09-21 2019-02-26 北京邮电大学 基于自动图像识别和动作模型对比的智能镜子设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
胡珍珍: "基于深度数据的人脸旋转角度估计及三维人脸识别的研究", 《中国优秀硕士学位论文全文数据库，信息科技辑》 *
胡珍珍: "基于深度数据的人脸旋转角度估计及三维人脸识别的研究", 《中国优秀硕士学位论文全文数据库，信息科技辑》, no. 09, 15 September 2011 (2011-09-15), pages 3 - 5 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907726A (zh) * 2021-01-25 2021-06-04 重庆金山医疗器械有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN112907726B (zh) * 2021-01-25 2022-09-20 重庆金山医疗技术研究院有限公司 一种图像处理方法、装置、设备及计算机可读存储介质
CN112884638A (zh) * 2021-02-02 2021-06-01 北京东方国信科技股份有限公司 虚拟试衣方法及装置
CN112819953A (zh) * 2021-02-24 2021-05-18 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN112819953B (zh) * 2021-02-24 2024-01-19 北京创想智控科技有限公司 三维重建方法、网络模型训练方法、装置及电子设备
CN113141498A (zh) * 2021-04-09 2021-07-20 深圳市慧鲤科技有限公司 信息生成方法、装置、计算机设备及存储介质
CN115361500A (zh) * 2022-08-17 2022-11-18 武汉大势智慧科技有限公司 用于三维建模的图像获取方法、系统及三维建模方法
WO2024040964A1 (zh) * 2022-08-22 2024-02-29 华为技术有限公司 识别模型训练方法、装置以及可移动智能设备

Also Published As

Publication number Publication date
US20210375036A1 (en) 2021-12-02
CN111862296B (zh) 2023-09-29
US11403818B2 (en) 2022-08-02
WO2020215898A1 (zh) 2020-10-29

Similar Documents

Publication Publication Date Title
CN111862296B (zh) 三维重建方法及装置、系统、模型训练方法、存储介质
US20210342990A1 (en) Image coordinate system transformation method and apparatus, device, and storage medium
US20240092344A1 (en) Method and apparatus for detecting parking space and direction and angle thereof, device and medium
JP6428266B2 (ja) 色補正装置、色補正方法および色補正用プログラム
KR101618814B1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
CN111445526A (zh) 一种图像帧之间位姿的估计方法、估计装置和存储介质
JP4951498B2 (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
CN111382613B (zh) 图像处理方法、装置、设备和介质
CN106971406B (zh) 物体位姿的检测方法和装置
CN103810475B (zh) 一种目标物识别方法及装置
JP6584208B2 (ja) 情報処理装置、情報処理方法、プログラム
CN110869978B (zh) 信息处理装置和信息处理方法
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
US10346709B2 (en) Object detecting method and object detecting apparatus
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
JP2021106025A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6662382B2 (ja) 情報処理装置および方法、並びにプログラム
CN112541423A (zh) 一种同步定位与地图构建方法和系统
CN115376034A (zh) 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
CN115049731A (zh) 一种基于双目摄像头的视觉建图和定位方法
CN110276233A (zh) 一种基于深度学习的多相机协同跟踪系统
TWI722558B (zh) 識別車體方向的方法和裝置
CN109690555A (zh) 基于曲率的脸部检测器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant