CN114937125B - 可重建度量信息预测方法、装置、计算机设备和存储介质 - Google Patents

可重建度量信息预测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114937125B
CN114937125B CN202210875073.XA CN202210875073A CN114937125B CN 114937125 B CN114937125 B CN 114937125B CN 202210875073 A CN202210875073 A CN 202210875073A CN 114937125 B CN114937125 B CN 114937125B
Authority
CN
China
Prior art keywords
target
image
target sampling
evaluated
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210875073.XA
Other languages
English (en)
Other versions
CN114937125A (zh
Inventor
黄惠
刘奕林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210875073.XA priority Critical patent/CN114937125B/zh
Publication of CN114937125A publication Critical patent/CN114937125A/zh
Application granted granted Critical
Publication of CN114937125B publication Critical patent/CN114937125B/zh
Priority to US18/356,815 priority patent/US20240037898A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种可重建度量信息预测方法、装置、计算机设备和存储介质该方法包括：获取针对目标采样点的多个待评估视点；目标采样点位于粗糙几何模型上；基于多个待评估视点与目标采样点的空间关系，得到目标采样点与多个待评估视点之间的空间特征；基于多个预采集视点从目标拍摄图像中提取目标采样点的图像特征；预采集视点是基于拍摄目标拍摄图像的相机姿态得到的；目标拍摄图像是拍摄到目标采样点的图像；基于图像特征和空间特征，预测针对目标采样点的可重建度量信息。采用本方法能够提高预测准确性。

Description

可重建度量信息预测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉领域，特别是涉及一种可重建度量信息预测方法、装置、计算机设备和存储介质。
背景技术
在进行城市三维重建数据采集之前，往往需要针对目标区域规划飞行航线。航线规划的好坏影响了对航拍图片进行重建得到的模型的效果。因此，需要筛选多个合适的采集视点从而来指定航线。在筛选多个采集视点的过程中，需要对多个采集视点的可重建度量进行预测。
一般情况下，是通过预飞行得到的场景粗糙模型，或通过从卫星图像获得场景粗糙模型计算可重建度量。但是，场景粗糙模型的误差或不确定性，将影响可重建度量的准确性。因此，需要对使用场景粗糙模型计算可重建度量的结果进一步优化，以提高可重建度量结果的准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高准确性的可重建度量信息预测方法、装置、计算机设备、存储介质和计算机程序产品。
第一方面，本申请提供了一种可重建度量信息预测方法。所述方法包括：
获取针对目标采样点的多个待评估视点；所述目标采样点位于粗糙几何模型上；
基于所述多个待评估视点与所述目标采样点的空间关系，得到所述目标采样点与所述多个待评估视点之间的空间特征；
基于多个预采集视点从目标拍摄图像中提取所述目标采样点的图像特征；所述预采集视点是基于拍摄所述目标拍摄图像的相机姿态得到的；所述目标拍摄图像是拍摄到所述目标采样点的图像；
基于所述图像特征和所述空间特征，预测针对所述目标采样点的可重建度量信息。
在其中一个实施例中，所述方法还包括：
所述可重建度量信息为综合可重建度量信息；所述方法还包括：
基于所述空间特征得到针对所述目标采样点的几何可重建度量信息。
在其中一个实施例中，所述基于所述多个待评估视点与所述目标采样点的空间关系，得到所述目标采样点与所述多个待评估视点之间的空间特征包括：
针对每个待评估视点，基于所述待评估视点与所述目标采样点的空间关系确定所述待评估视点的视点特征；
将多个所述待评估视点对应的多个视点特征进行融合，得到所述目标采样点的空间特征。
在其中一个实施例中，所述基于多个预采集视点从目标拍摄图像中提取所述目标采样点的图像特征包括：
基于拍摄所述目标拍摄图像的相机姿态得到多个预采集视点；
从所述目标拍摄图像中提取高维特征；
针对每个预采集视点，基于所述预采集视点的六维坐标，将所述目标采样点的三维信息转化为在所述目标拍摄图像中的二维信息；基于所述二维信息从所述高维特征中提取出所述目标采样点的点图像特征；
融合多个所述点图像特征得到所述目标采样点的图像特征
在其中一个实施例中，所述基于所述图像特征和所述空间特征，预测针对所述目标采样点的可重建度量信息包括：
基于所述空间特征和所述图像特征得到权重矩阵；
基于所述权重矩阵和所述图像特征得到针对所述目标采样点的可重建度量。
在其中一个实施例中，所述空间关系包括所述待评估视点相对于所述目标采样点的三维极坐标、所述目标采样点的法线和所述目标采样点到所述待评估视点的方向之间的第一夹角、所述待评估视点的垂直观察方向和所述待评估视点到所述目标采样点的方向之间的第二夹角。
第二方面，本申请还提供了一种可重建度量信息预测装置。所述装置包括：
空间特征确定模块，用于获取针对目标采样点的多个待评估视点；所述目标采样点位于粗糙几何模型上；基于所述多个待评估视点与所述目标采样点的空间关系，得到所述目标采样点与所述多个待评估视点之间的空间特征；
图像特征确定模块，用于基于多个预采集视点从目标拍摄图像中提取所述目标采样点的图像特征；所述预采集视点是基于拍摄所述目标拍摄图像的相机姿态得到的；所述目标拍摄图像是拍摄到所述目标采样点的图像；
信息预测模块，用于基于所述图像特征和所述空间特征，预测针对所述目标采样点的可重建度量信息。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行上述可重建度量信息预测方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行上述可重建度量信息预测方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行上述可重建度量信息预测方法的步骤。
上述可重建度量信息预测方法、装置、计算机设备、存储介质和计算机程序产品，通过获取针对目标采样点的多个待评估视点；所述目标采样点位于粗糙几何模型上。基于所述多个待评估视点与所述目标采样点的空间关系，得到所述目标采样点与所述多个待评估视点之间的空间特征。基于多个预采集视点从目标拍摄图像中提取所述目标采样点的图像特征。所述预采集视点是基于拍摄所述目标拍摄图像的相机姿态得到的；所述目标拍摄图像是拍摄到所述目标采样点的图像。基于所述图像特征和所述空间特征，预测针对所述目标采样点的可重建度量信息。这样，将使用真实的目标拍摄图像得到的图像特征和使用粗糙几何模型得到的空间特征相结合分析，从而提高了可重建度量信息的准确性。
附图说明
图1为一个实施例中可重建度量信息预测方法的应用环境图；
图2为一个实施例中可重建度量信息预测方法的流程示意图；
图3为一个实施例中可重建度量信息预测方法的原理示意图；
图4为一个实施例中可重建度量信息预测方法的原理示意图；
图5为一个实施例中可重建度量信息预测方法的效果示意图；
图6为一个实施例中可重建度量信息预测装置的结构框图；
图7为一个实施例中计算机设备的内部结构图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的可重建度量信息预测方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与服务器120进行通信。数据存储系统可以存储服务器120需要处理的数据。数据存储系统可以集成在服务器120上，也可以放在云上或其他网络服务器上。其中，终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
服务器120可以获取针对目标采样点的多个待评估视点。目标采样点位于粗糙几何模型上。服务器120基于多个待评估视点与目标采样点的空间关系，得到目标采样点与多个待评估视点之间的空间特征。服务器120基于多个预采集视点从目标拍摄图像中提取目标采样点的图像特征；预采集视点是基于拍摄目标拍摄图像的相机姿态得到的；目标拍摄图像是拍摄到目标采样点的图像。服务器120基于图像特征和空间特征，预测针对目标采样点的可重建度量信息。服务器120可以将可重建度信息发送给终端110。终端110使用可重建度量信息规划航拍路径。
在一个实施例中，终端110也可以由服务器替代，对此不限定。
在一个实施例中，服务器120也可以由终端替代，对此不限定。
在一个实施例中，如图2所示，提供了一种可重建度量信息预测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
S202，获取针对目标采样点的多个待评估视点；目标采样点位于粗糙几何模型上；基于多个待评估视点与目标采样点的空间关系，得到目标采样点与多个待评估视点之间的空间特征。
其中，粗糙几何模型是待重建的目标场景所对应的几何模型。可以理解，由于目标场景待重建，几何模型是比较粗糙的。空间关系可以是坐标信息和角度信息等等。
具体地，服务器选取出位于粗糙几何模型上的待重建的目标采样点，并获取针对目标采样点的多个待评估视点。服务器基于多个待评估视点与目标采样点的空间关系，得到目标采样点与多个待评估视点之间的空间特征。
在一个实施例中，空间关系包括待评估视点相对于目标采样点的坐标、待评估视点视点和目标采样点之间的角度信息等等。
在一个实施例中，服务器可以直接根据空间特征得到几何可重建度量信息。
在一个实施例中，服务器可以融合每个待评估视点相对于目标采样点的视点特征，从而得到空间特征。
S204，基于多个预采集视点从目标拍摄图像中提取目标采样点的图像特征；预采集视点是基于拍摄目标拍摄图像的相机姿态得到的；目标拍摄图像是拍摄到目标采样点的图像。
具体地，服务器基于拍摄目标拍摄图像的相机姿态得到预采集视点，确定拍摄到目标采样点的目标拍摄图像。进一步地，服务器基于多个预采集视点从目标拍摄图像中提取目标采样点的图像特征。预采集视点是对目标采样点预先进行采集的视点。
在一个实施例中，服务器可以使用预采集视点的六维坐标，提取出目标采样点对应于预采集视点的在目标拍摄图像中的点图像特征。服务器融合多个点图像特征得到空间特征。
S206，基于图像特征和空间特征，预测针对目标采样点的可重建度量信息。
其中，可重建度量信息可以用于表征能以多高的质量重建目标采样点。可重建度量信息可以对待评估视点进行评估。
具体地，服务器融合图像特征和空间特征，以预测针对目标采样点的可重建度量信息。
上述可重建度量信息预测方法，通过获取针对目标采样点的多个待评估视点；目标采样点位于粗糙几何模型上。基于多个待评估视点与目标采样点的空间关系，得到目标采样点与多个待评估视点之间的空间特征。基于多个预采集视点从目标拍摄图像中提取目标采样点的图像特征。预采集视点是基于拍摄目标拍摄图像的相机姿态得到的；目标拍摄图像是拍摄到目标采样点的图像。基于图像特征和空间特征，预测针对目标采样点的可重建度量信息。这样，将使用真实的目标拍摄图像得到的图像特征和使用粗糙几何模型得到的空间特征相结合分析，从而提高了可重建度量信息的准确性。
在一个实施例中，空间关系包括待评估视点相对于目标采样点的三维极坐标、目标采样点的法线和目标采样点到待评估视点的方向之间的第一夹角、待评估视点的垂直观察方向和待评估视点到目标采样点的方向之间的第二夹角。
具体地，空间关系包括待评估视点相对于目标采样点的三维极坐标、目标采样点的法线和目标采样点到待评估视点的方向之间的第一夹角、待评估视点的垂直观察方向和待评估视点到目标采样点的方向之间的第二夹角。
比如，如图3所示，对于每个目标采样点Pj，服务器确定多个待评估视点，并计算多个待评估视点与目标采样点Pj的空间关系。服务器确定待评估视点相对于目标采样点的三维极坐标(ω,φ,d)定目标采样点的法线和目标采样点到待评估视点的方向之间的第一夹角α，待评估视点的垂直观察方向和待评估视点到目标采样点的方向之间的第二夹角β。
在本实施例中，空间关系包括三维极坐标、第一夹角和第二夹角，从而提高生成的空间特征的有效性。
在一个实施例中，基于多个待评估视点与目标采样点的空间关系，得到目标采样点与多个待评估视点之间的空间特征包括：针对每个待评估视点，基于待评估视点与目标采样点的空间关系确定待评估视点的视点特征；将多个待评估视点对应的多个视点特征进行融合，得到目标采样点的空间特征。
具体地，服务器可以针对每个待评估视点，基于待评估视点与目标采样点的空间关系确定待评估视点的视点特征。服务器将多个待评估视点对应的多个视点特征进行融合，得到目标采样点的空间特征。
比如，服务器可以使用多层感知机(MLP,MultilayerPerceptron)
Figure 397820DEST_PATH_IMAGE002
提取视点特征
Figure 620991DEST_PATH_IMAGE004
。其中，R1×5是参数的维度，R1×256是返回值的 纬度，具体公式如下：
Figure 826844DEST_PATH_IMAGE006
其中，
Figure 819071DEST_PATH_IMAGE008
是目标采样点Pj的待评估视点Vi的视点特征，表示重建时单个待评估视点对局部场景几何体的影响。可以理解，这样可以更好地编码待评估视点Vi对采样点Pj的影响。
在多视点立体（multi view system，MVS）框架中，视点是高度耦合的。视点之间的 相对位置和方向的变化对最终重建有很大影响。因此，可以进一步提取视点之间的高阶相 关性。服务器可以采用Transformer模型的编码器来学习待评估视点和目标采样点之间的 相关性，提取每个待评估视点的贡献，然后将多个单个视点特征
Figure 216292DEST_PATH_IMAGE009
转换为融合的空间特 征
Figure 926759DEST_PATH_IMAGE011
。具体地，服务器预先训练好编码器，使得
Figure DEST_PATH_IMAGE013AAAA
Figure DEST_PATH_IMAGE015AAAA
其中K是在目标采样点Pj处可见的{Vi}中的视点数量；GQ、GK和GV是用于生成大小为 （K+1，K+1）的注意矩阵的查询矩阵、键矩阵和值矩阵；Fp为可训练参数；dk为隐层尺寸。服务 器可以通过编码器提取待评估视点的权重矩阵，使用可训练参数
Figure DEST_PATH_IMAGE017AAAA
来表示空间 相关性偏好，有助于预测融合的空间特征
Figure 14932DEST_PATH_IMAGE018
。
在本实施例中，服务器可以融合多个视点特征，使用数据驱动的方法动态学习待评估视点与待评估视点、待评估视点与目标场景的相关关系，以预测目标场景的可重建度，提高了准确性。
在一个实施例中，方法还包括：可重建度量信息为综合可重建度量信息；方法还包括：基于空间特征得到针对目标采样点的几何可重建度量信息。
具体地，可重建度量信息为综合可重建度量信息，即综合了图像特征和空间特征得到的可重建度量信息。在不具有目标拍摄图像的情况下，服务器可以基于空间特征得到针对目标采样点的几何可重建度量信息。
比如，服务器可以使用标准多层感知机
Figure DEST_PATH_IMAGE020_7A
，学习从融合的空间特征
Figure 569322DEST_PATH_IMAGE011
确定几何可重建度量信息Rj，具体公式如下：
Figure DEST_PATH_IMAGE022_7A
在本实施例中，基于空间特征得到几何可重建度量信息，从而支持在不具有目标拍摄图像的情况下，同样能预测可重建度量信息，提高了应用的广泛性。
在一个实施例中，基于多个预采集视点从目标拍摄图像中提取目标采样点的图像特征包括：基于拍摄目标拍摄图像的相机姿态得到多个预采集视点；从目标拍摄图像中提取高维特征；针对每个预采集视点，基于预采集视点的六维坐标，将目标采样点的三维信息转化为在目标拍摄图像中的二维信息；基于二维信息从高维特征中提取出目标采样点的点图像特征；融合多个点图像特征得到目标采样点的图像特征。
具体地，服务器确定目标拍摄图像，并基于拍摄目标拍摄图像的相机姿态得到多个预采集视点。服务器从目标拍摄图像中提取高维特征，并针对每个预采集视点，基于预采集视点的六维坐标，将目标采样点的三维信息转化为在目标拍摄图像中的二维信息。进一步地，服务器基于二维信息从高维特征中提取出目标采样点的点图像特征。融合多个点图像特征得到目标采样点的图像特征。
比如，对于粗糙几何模型上的每个目标采样点Pj，服务器可以从相机姿态Vl中收集 预采集视点
Figure 842171DEST_PATH_IMAGE024
（下文中所用到的多个^用于与上文的公式定义区别开来），并使用预 先训练的卷积神经网络，从每个目标拍摄图像
Figure 39934DEST_PATH_IMAGE026
中提取高维特征
Figure 587590DEST_PATH_IMAGE028
。点图像特征
Figure 85568DEST_PATH_IMAGE030
的计算公式如下：
Figure 326056DEST_PATH_IMAGE032
Figure 244072DEST_PATH_IMAGE034
其中，
Figure 595418DEST_PATH_IMAGE036
是预训练的特征提取模型，并且在训练期间被固定权重，用于生成高维 特征
Figure 947902DEST_PATH_IMAGE037
；
Figure 359292DEST_PATH_IMAGE039
将三维点Pj投影到预采集视点
Figure 266068DEST_PATH_IMAGE041
的二维图像平面；RoI是特征 插值算子，用于从高维特征
Figure 686685DEST_PATH_IMAGE042
中提取Pj点的点图像特征。
由于目标采样点可以在多个待评估视点上被看见，服务器可以采用另一个编码器
Figure 628097DEST_PATH_IMAGE044
关联并融合
Figure 210388DEST_PATH_IMAGE046
个点图像特征
Figure 135618DEST_PATH_IMAGE048
，以生成融合的图像特征
Figure 828768DEST_PATH_IMAGE050
。
Figure 359106DEST_PATH_IMAGE052
Figure 643457DEST_PATH_IMAGE054
其中，
Figure 23361DEST_PATH_IMAGE056
、
Figure 520201DEST_PATH_IMAGE058
、
Figure 701784DEST_PATH_IMAGE060
分别是编码器
Figure 360298DEST_PATH_IMAGE062
中的查询矩阵、键矩阵和值矩阵，而
Figure 728962DEST_PATH_IMAGE064
是 权重矩阵。
在本实施例中，通过提取出针对于每个预采集视点的点图像特征，融合多个点图像特征得到图像特征，从而提高了图像特征的准确性。
在一个实施例中，基于图像特征和空间特征，预测针对目标采样点的可重建度量信息包括：基于空间特征和图像特征得到权重矩阵；基于权重矩阵和图像特征得到针对目标采样点的可重建度量。
具体地，服务器可以基于空间特征和图像特征得到权重矩阵。服务器基于权重矩阵和图像特征得到针对目标采样点的可重建度量。
在一些实施例中，编码器中包括查询矩阵、键矩阵以及值矩阵。服务器可以将空间特征矩阵与查询矩阵相乘得到第一结果，将键矩阵与图像特征矩阵相乘得到第二结果，将第一结果和第二结果相乘，根据相乘的结果和编码器中的隐层尺寸生成权重矩阵。
比如，服务器可以使用目标采样点的图像特征来细化之前估计的空间特征Rj。服 务器采用编码器
Figure 295073DEST_PATH_IMAGE066
，提取图像特征
Figure 65583DEST_PATH_IMAGE067
对空间特 征
Figure 894999DEST_PATH_IMAGE068
的重要性，并输出融合特征
Figure 282118DEST_PATH_IMAGE070
。具体公式如下：
Figure 120761DEST_PATH_IMAGE072
其中，
Figure 480198DEST_PATH_IMAGE074
、
Figure 244629DEST_PATH_IMAGE076
、
Figure 853465DEST_PATH_IMAGE078
是解码器
Figure 495799DEST_PATH_IMAGE080
中的查询矩阵、键矩阵和值矩阵。
Figure 975322DEST_PATH_IMAGE082
是权 重矩阵，即基于空间特征和图像特征得到权重矩阵，公式中还涉及基于权重矩阵和图像特 征得到针对目标采样点的可重建度量。具体地，服务器使用之前估计的空间特征
Figure 943278DEST_PATH_IMAGE083
作为 查询张量来表示该目标采样点周围的纯空间特征。服务器还使用图像特征
Figure 508251DEST_PATH_IMAGE085
作 为关键字和值来细化空间特征，将Pj点周围的语义注入到预测中。
最后，服务器可以使用多层感知机
Figure 688697DEST_PATH_IMAGE087
，预测Pj点的最终感知不确 定性的空间可重建度量信息，即综合可重建度量信息。具体公式如下：
Figure 553885DEST_PATH_IMAGE089
在本实施例中，通过基于空间特征和图像特征得到权重矩阵；基于权重矩阵和图像特征得到针对目标采样点的可重建度量，从而使得综合可重建度量信息能感知到不确定性，从而增加了预测的准确性。
综合上述各实施例的步骤，服务器可以给定N个待评估视点
Figure 161584DEST_PATH_IMAGE091
和目标样本点 Pj，通过学习函数
Figure 213853DEST_PATH_IMAGE093
预测，具体公式如下：
Figure 463569DEST_PATH_IMAGE095
其中，每个待评估视点Vj由位置和方向组成；每个目标采样点Pj由位置和法向量组成；Rj是目标采样点的空间可重建度量信息，它衡量了多个待评估视点{Vj}重构目标采样点Pj的程度。
在具有目标拍摄图像的情况下，服务器可以在预测可重建度量信息时，考虑给定 目标场景几何体的不确定性。与上述空间关系函数Gs相比，目标拍摄图像提供了丰富的纹 理信息，这有助于可重建度量信息的预测和后续路径规划。具体来说，服务器可以学习另一 个函数
Figure 917684DEST_PATH_IMAGE097
，具体公式如下：
Figure 188960DEST_PATH_IMAGE099
其中
Figure 259684DEST_PATH_IMAGE101
是来自预飞行的RGB图像集（分辨率H×W）；
Figure 781933DEST_PATH_IMAGE103
是相关的相机姿 态；而
Figure 90554DEST_PATH_IMAGE105
是综合可重建度量，其考虑到粗糙几何体附近潜在的不确定性。综合各上述实施 例，对应的网络结构如图4所示。
在图4中，K是在目标采样点对应的第一视点的数量。
Figure 40056DEST_PATH_IMAGE107
是预采集视点的数量。预训 练特征提取器为pre-trained feature extractor，感兴趣区提取器为ROI extractor， Transformer 模型由 Encoder（编码器）和 Decoder（解码器）两个部分组成。在第一阶段， 服务器获取针对目标采样点的K个待评估视点；目标采样点位于粗糙几何模型上。服务器针 对每个待评估视点，确定待评估视点与目标采样点的空间关系。其中，空间关系包括待评估 视点相对于目标采样点的三维极坐标、目标采样点的法线和目标采样点到待评估视点的方 向之间的第一夹角、待评估视点的垂直观察方向和待评估视点到目标采样点的方向之间的 第二夹角，可以理解，空间关系包括有5个维度。服务器基于待评估视点与目标采样点的空 间关系确定待评估视点的视点特征（256个维度）。服务器将多个待评估视点对应的多个视 点特征进行融合，得到目标采样点的空间特征（256个维度）。服务器可以对空间特征使用多 层感知机得到针对目标采样点的几何可重建度量信息。在第二阶段，目标拍摄图像有3个， 服务器基于拍摄目标拍摄图像的相机姿态得到多个预采集视点，并从3个目标拍摄图像中 分别提取3个高维特征。服务器针对每个预采集视点，基于预采集视点的六维坐标，将目标 采样点的三维信息转化为在目标拍摄图像中的二维信息。服务器基于二维信息从高维特征 中提取出目标采样点的点图像特征（32个维度），服务器融合多个点图像特征得到目标采样 点的图像特征（32个维度）。服务器再次融合空间特征和图像特征，基于空间特征和图像特 征得到权重矩阵，基于权重矩阵和图像特征得到针对目标采样点的综合可重建度量。这样， 不仅分析出了多个待评估视点间的相互作用关系，同时结合目标拍摄图像实时估计出的给 定粗糙几何模型的不确定度，从而更加精确地预测多个待评估视点对待重建区域的重建质 量。
本方法在不同的目标场景上进行了可重建度量信息预测的测试。我们选用斯皮尔曼相关系数作为一个评价指标。一个更好的可重建度信息预测方法的预测结果应与最后的重建质量具有更高相关关系。本方法在4个场景，3种路径模式、2种不同采样率、4种不同的粗糙几何模型共计96条路径上进行测试。本方法相比于其它传统技术的方法能够平均提高153%。图5展示了本方法在一个测试场景上的预测结果。其中，待评估视点的颜色越深代表其在可重建度量信息预测过程中的权重越高。本方法能够有效地提取待评估视点与待评估视点之间的相关关系。例如距离目标采样点更远的待评估视点权重较低，重叠率大的待评估视点对可重建度量预测贡献较大。
应该理解的是，虽然本申请部分实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的可重建度量信息预测方法的可重建度量信息预测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个可重建度量信息预测装置实施例中的具体限定可以参见上文中对于可重建度量信息预测方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种可重建度量信息预测装置600，包括：空间特征确定模块602、图像特征确定模块604和信息预测模块606，其中：
空间特征确定模块602，用于获取针对目标采样点的多个待评估视点；目标采样点位于粗糙几何模型上；基于多个待评估视点与目标采样点的空间关系，得到目标采样点与多个待评估视点之间的空间特征。
图像特征确定模块604，用于基于多个预采集视点从目标拍摄图像中提取目标采样点的图像特征；预采集视点是基于拍摄目标拍摄图像的相机姿态得到的；目标拍摄图像是拍摄到目标采样点的图像。
信息预测模块606，用于基于图像特征和空间特征，预测针对目标采样点的可重建度量信息。
在一个实施例中，可重建度量信息为综合可重建度量信息，可重建度量信息预测装置600还用于基于空间特征得到针对目标采样点的几何可重建度量信息。
在一个实施例中，空间特征确定模块602还用于针对每个待评估视点，基于待评估视点与目标采样点的空间关系确定待评估视点的视点特征；将多个待评估视点对应的多个视点特征进行融合，得到目标采样点的空间特征。
在一个实施例中，图像特征确定模块604还用于基于拍摄目标拍摄图像的相机姿态得到多个预采集视点；从目标拍摄图像中提取高维特征；针对每个预采集视点，基于预采集视点的六维坐标，将目标采样点的三维信息转化为在目标拍摄图像中的二维信息；基于二维信息从高维特征中提取出目标采样点的点图像特征；融合多个点图像特征得到目标采样点的图像特征
在一个实施例中，信息预测模块606还用于基于空间特征和图像特征得到权重矩阵；基于权重矩阵和图像特征得到针对目标采样点的可重建度量。
在一个实施例中，空间关系包括待评估视点相对于目标采样点的三维极坐标、目标采样点的法线和目标采样点到待评估视点的方向之间的第一夹角、待评估视点的垂直观察方向和待评估视点到目标采样点的方向之间的第二夹角。
上述可重建度量信息预测装置，通过获取针对目标采样点的多个待评估视点；目标采样点位于粗糙几何模型上。基于多个待评估视点与目标采样点的空间关系，得到目标采样点与多个待评估视点之间的空间特征。基于多个预采集视点从目标拍摄图像中提取目标采样点的图像特征。预采集视点是基于拍摄目标拍摄图像的相机姿态得到的；目标拍摄图像是拍摄到目标采样点的图像。基于图像特征和空间特征，预测针对目标采样点的可重建度量信息。这样，将使用真实的目标拍摄图像得到的图像特征和使用粗糙几何模型得到的空间特征相结合分析，从而提高了可重建度量信息的准确性。
关于上述可重建度量信息预测装置的具体限定可以参见上文中对于上述可重建度量信息预测方法的限定，在此不再赘述。上述可重建度量信息预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种可重建度量信息预测方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种可重建度量信息预测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7和图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种可重建度量信息预测方法，其特征在于，所述方法包括：
获取针对目标采样点的多个待评估视点；所述目标采样点位于粗糙几何模型上；
基于所述多个待评估视点与所述目标采样点的空间关系，得到所述目标采样点与所述多个待评估视点之间的空间特征；
基于多个预采集视点从目标拍摄图像中提取所述目标采样点的图像特征；所述预采集视点是基于拍摄所述目标拍摄图像的相机姿态得到的；所述目标拍摄图像是拍摄到所述目标采样点的图像；
基于所述空间特征和所述图像特征得到权重矩阵；
基于所述权重矩阵和所述图像特征得到针对所述目标采样点的可重建度量信息。
2.根据权利要求1所述的方法，其特征在于，所述可重建度量信息为综合可重建度量信息；所述方法还包括：
基于所述空间特征得到针对所述目标采样点的几何可重建度量信息。
3.根据权利要求1所述的方法，其特征在于，所述基于所述多个待评估视点与所述目标采样点的空间关系，得到所述目标采样点与所述多个待评估视点之间的空间特征包括：
针对每个待评估视点，基于所述待评估视点与所述目标采样点的空间关系确定所述待评估视点的视点特征；
将多个所述待评估视点对应的多个视点特征进行融合，得到所述目标采样点的空间特征。
4.根据权利要求1所述的方法，其特征在于，所述基于多个预采集视点从目标拍摄图像中提取所述目标采样点的图像特征包括：
基于拍摄所述目标拍摄图像的相机姿态得到多个预采集视点；
从所述目标拍摄图像中提取高维特征；
针对每个预采集视点，基于所述预采集视点的六维坐标，将所述目标采样点的三维信息转化为在所述目标拍摄图像中的二维信息；基于所述二维信息从所述高维特征中提取出所述目标采样点的点图像特征；
融合多个所述点图像特征得到所述目标采样点的图像特征。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述空间关系包括所述待评估视点相对于所述目标采样点的三维极坐标、所述目标采样点的法线和所述目标采样点到所述待评估视点的方向之间的第一夹角、所述待评估视点的垂直观察方向和所述待评估视点到所述目标采样点的方向之间的第二夹角。
6.一种可重建度量信息预测装置，其特征在于，所述装置包括：
空间特征确定模块，用于获取针对目标采样点的多个待评估视点；所述目标采样点位于粗糙几何模型上；基于所述多个待评估视点与所述目标采样点的空间关系，得到所述目标采样点与所述多个待评估视点之间的空间特征；
图像特征确定模块，用于基于多个预采集视点从目标拍摄图像中提取所述目标采样点的图像特征；所述预采集视点是基于拍摄所述目标拍摄图像的相机姿态得到的；所述目标拍摄图像是拍摄到所述目标采样点的图像；
信息预测模块，用于基于所述空间特征和所述图像特征得到权重矩阵；基于所述权重矩阵和所述图像特征得到针对所述目标采样点的可重建度量信息。
7.根据权利要求6所述的装置，其特征在于，所述可重建度量信息为综合可重建度量信息，所述可重建度量信息预测装置还用于基于所述空间特征得到针对所述目标采样点的几何可重建度量信息。
8.根据权利要求6所述的装置，其特征在于，所述空间特征确定模块还用于针对每个待评估视点，基于所述待评估视点与所述目标采样点的空间关系确定所述待评估视点的视点特征；将多个所述待评估视点对应的多个视点特征进行融合，得到所述目标采样点的空间特征。
9.根据权利要求6所述的装置，其特征在于，所述图像特征确定模块还用于基于拍摄所述目标拍摄图像的相机姿态得到多个预采集视点；从所述目标拍摄图像中提取高维特征；针对每个预采集视点，基于所述预采集视点的六维坐标，将所述目标采样点的三维信息转化为在所述目标拍摄图像中的二维信息；基于所述二维信息从所述高维特征中提取出所述目标采样点的点图像特征；融合多个所述点图像特征得到所述目标采样点的图像特征。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202210875073.XA 2022-07-25 2022-07-25 可重建度量信息预测方法、装置、计算机设备和存储介质 Active CN114937125B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210875073.XA CN114937125B (zh) 2022-07-25 2022-07-25 可重建度量信息预测方法、装置、计算机设备和存储介质
US18/356,815 US20240037898A1 (en) 2022-07-25 2023-07-21 Method for predicting reconstructabilit, computer device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210875073.XA CN114937125B (zh) 2022-07-25 2022-07-25 可重建度量信息预测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114937125A CN114937125A (zh) 2022-08-23
CN114937125B true CN114937125B (zh) 2022-10-25

Family

ID=82868895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210875073.XA Active CN114937125B (zh) 2022-07-25 2022-07-25 可重建度量信息预测方法、装置、计算机设备和存储介质

Country Status (2)

Country Link
US (1) US20240037898A1 (zh)
CN (1) CN114937125B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100286B (zh) * 2022-07-25 2022-11-11 深圳大学 无人机采集视点确定方法、装置、计算机设备和存储介质
CN115879207B (zh) * 2023-02-22 2023-05-16 清华大学 室外空间围合度确定方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065061A (zh) * 2004-10-29 2007-10-31 强生消费者公司 拍摄并观看皮肤的图像的装置和方法
CN101082765A (zh) * 2006-06-01 2007-12-05 高宏 一种三维人像摄影系统及其实现方法
WO2020117657A1 (en) * 2018-12-03 2020-06-11 Google Llc Enhancing performance capture with real-time neural rendering
CN112884894A (zh) * 2021-04-28 2021-06-01 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质
WO2021184530A1 (zh) * 2020-03-18 2021-09-23 清华大学 基于强化学习的无标签六维物体姿态预测方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782490B (zh) * 2019-09-24 2022-07-05 武汉大学 一种具有时空一致性的视频深度图估计方法及装置
CN113407027B (zh) * 2021-06-04 2023-03-03 浙江商汤科技开发有限公司 位姿获取方法及装置和电子设备、存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101065061A (zh) * 2004-10-29 2007-10-31 强生消费者公司 拍摄并观看皮肤的图像的装置和方法
CN101082765A (zh) * 2006-06-01 2007-12-05 高宏 一种三维人像摄影系统及其实现方法
WO2020117657A1 (en) * 2018-12-03 2020-06-11 Google Llc Enhancing performance capture with real-time neural rendering
WO2021184530A1 (zh) * 2020-03-18 2021-09-23 清华大学 基于强化学习的无标签六维物体姿态预测方法及装置
CN112884894A (zh) * 2021-04-28 2021-06-01 深圳大学 场景重建数据采集方法、装置、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Offsite Aerial Path Planning for Efficient Urban Scene Reconstruction;XIAOHUI ZHOU等;《ACM Trans. Graph》;20201231;第39卷(第6期);1-16 *
VGF-Net: Visual-Geometric fusion learning for simultaneous drone navigation and height mapping;Yilin Liu等;《Graphical Models》;20211231;1-9 *
基于采样抠图和自适应颜色的图像合成算法;李娜等;《液晶与显示》;20180215(第02期);59-67 *
简单交互式医学图像隐式曲面配准方法;马林等;《计算机辅助设计与图形学学报》;20170215(第02期);22-28 *

Also Published As

Publication number Publication date
CN114937125A (zh) 2022-08-23
US20240037898A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
CN114937125B (zh) 可重建度量信息预测方法、装置、计算机设备和存储介质
CN111311685B (zh) 一种基于imu与单目图像的运动场景重构无监督方法
CN108805898B (zh) 视频图像处理方法和装置
CN109448090B (zh) 图像处理方法、装置、电子设备及存储介质
CN110599395A (zh) 目标图像生成方法、装置、服务器及存储介质
CN111062263B (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN114339409B (zh) 视频处理方法、装置、计算机设备及存储介质
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN111813689B (zh) 游戏测试方法、设备和介质
CN114782661B (zh) 下半身姿态预测模型的训练方法及装置
Chai et al. Monocular and binocular interactions oriented deformable convolutional networks for blind quality assessment of stereoscopic omnidirectional images
CN113643366A (zh) 一种多视角三维对象姿态估计方法及装置
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN110008835B (zh) 视线预测方法、装置、系统和可读存储介质
CN116524088B (zh) 珠宝虚拟试戴方法、装置、计算机设备和存储介质
CN117352126A (zh) 肌肉受力可视化方法、装置、计算机设备以及存储介质
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN114913287A (zh) 一种三维人体模型重建方法及系统
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和系统
CN114596475A (zh) 单应性流估计模型的训练方法、单应性流估计方法和装置
CN111767940A (zh) 目标物体识别方法、装置、设备和存储介质
CN115100286B (zh) 无人机采集视点确定方法、装置、计算机设备和存储介质
CN109002163A (zh) 三维交互姿势采样方法、装置、计算机设备及存储介质
CN116645468B (zh) 人体三维建模方法、训练人体结构生成模型的方法及装置
CN113139893B (zh) 图像翻译模型的构建方法和装置、图像翻译方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant