CN116883595A - 三维场景建模方法、装置、设备、存储介质和程序产品 - Google Patents

三维场景建模方法、装置、设备、存储介质和程序产品 Download PDF

Info

Publication number
CN116883595A
CN116883595A CN202310883436.9A CN202310883436A CN116883595A CN 116883595 A CN116883595 A CN 116883595A CN 202310883436 A CN202310883436 A CN 202310883436A CN 116883595 A CN116883595 A CN 116883595A
Authority
CN
China
Prior art keywords
matching
point
points
reference pixel
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310883436.9A
Other languages
English (en)
Inventor
殷虎
曹世伟
王艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310883436.9A priority Critical patent/CN116883595A/zh
Publication of CN116883595A publication Critical patent/CN116883595A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种三维场景建模方法、装置、装备、存储介质和程序产品，涉及虚拟现实技术领域。该方法包括：根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域；基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值；根据各参考像素点的视差值，构建目标场景的三维场景模型。上述方法，通过对参考图像进行分类，根据不同类型的参考图像确定各类参考图像中各参考像素点的视差值，基于上述方式可以更准确的确定出各参考像素点的视差值，提高了三维场景建模的准确性。

Description

三维场景建模方法、装置、设备、存储介质和程序产品
技术领域
本申请涉及虚拟现实技术领域，特别是涉及一种三维场景建模方法、装置、设备、存储介质和程序产品。
背景技术
随着大数据和人工智能等技术的快速发展，很多领域逐步实现了将现实场景虚拟化的效果，通过模拟和呈现真实世界的三维环境，为用户提供沉浸式的视听体验和交互式的操作方式。
在对现实场景进行线上虚拟化时，通常需要根据现实场景的左右视图确定各像素点的视差值，进而根据视差值获取三维建模所需的各像素点的深度信息。
然而，相关技术中确定的视差值不够准确，对三维场景建模的准确性有较大影响。
发明内容
基于此，有必要针对上述技术问题，提供一种三维场景建模方法、装置、设备、存储介质和程序产品，能够通过对参考图像进行分类，根据不同类型的参考图像，确定各类参考图像中各参考像素点的视差值，因不同类型参考图像的差异性，基于上述方式可以更加准确的确定出各参考像素点的视差值，提高了三维场景建模的准确性。
第一方面，本申请实施例提供了一种三维场景建模方法。该方法包括：
根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；
根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域；
基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值；
根据各参考像素点的视差值，构建目标场景的三维场景模型。
在其中一个实施例中，该方法还包括：
获取各参考像素点的第一灰度值和各匹配像素点的第二灰度值；
根据各第一灰度值和各第二灰度值，确定各参考像素点与各匹配像素点的匹配代价值；
根据各参考像素点与各匹配像素点的匹配代价值，确定各参考像素点和各匹配像素点之间的匹配点。
在其中一个实施例中，根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域，包括：
根据各参考像素点和各匹配像素点之间的匹配点，获取各参考图像中每个分割区域的匹配点数；
根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
在其中一个实施例中，预设分类条件包括匹配点数阈值和比例阈值；根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域，包括：
获取各分割区域中的像素点数；
对于任一分割区域，若分割区域的匹配点数大于或等于匹配点数阈值，且分割区域的匹配点数与分割区域中的像素点数的比值大于或等于比例阈值，则确定分割区域为匹配点密集区域；
若分割区域中的匹配点数小于匹配点数阈值，和/或分割区域的匹配点数与分割区域中的像素点数的比值小于比例阈值，则确定分割区域为匹配点稀疏区域。
在其中一个实施例中，基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值，包括：
获取各参考像素点的初始视差值；
根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值。
在其中一个实施例中，根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值，包括：
获取各匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各匹配点稀疏区域中多个第二参考像素点的第二像素坐标值；
根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值；
根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值；
根据各第一参考像素点的第一视差值和各第二参考像素点的第二视差值，确定各参考像素点的视差值。
在其中一个实施例中，根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值，包括：
根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域的密集区域模板参数；
根据各匹配点密集区域的密集区域模板参数、各第一像素坐标值和分割区域的区域模板模型，确定各匹配点密集区域中各第一参考像素点的第一视差值。
在其中一个实施例中，根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值，包括：
根据各匹配点密集区域的密集区域模板参数、各第一视差值和各第二参考像素点的第二像素坐标值，确定各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值；
根据各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值、各匹配点稀疏区域与相邻区域的边界长度，确定各匹配点稀疏区域的稀疏区域模板参数；
根据各匹配点稀疏区域的稀疏区域模板参数、各第二像素坐标值和区域模板模型，确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
在其中一个实施例中，根据各参考像素点的视差值，构建目标场景的三维场景模型，包括：
获取双目相机的基线距离和焦距；
根据基线距离、焦距和各参考像素点的视差值，确定各参考像素点的深度信息；
根据各参考像素点的深度信息，构建目标场景的三维场景模型。
第二方面，本申请实施例还提供了一种三维场景建模装置。该装置包括：
图像获取模块，用于根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；
第一确定模块，用于根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域；
第二确定模块，用于基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值；
模型构建模块，用于根据各参考像素点的视差值，构建目标场景的三维场景模型。
第三方面，本申请实施例还提供了一种计算机设备。计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面中任一实施例中的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质。计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面中任一实施例中的步骤。
第五方面，本申请实施例还提供了一种计算机程序产品。计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面中任一实施例中的步骤。
上述三维场景建模方法、装置、设备、存储介质和程序产品，通过根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像，进而根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域，之后基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值，最后根据各参考像素点的视差值，构建目标场景的三维场景模型。上述方法，通过根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，可以将各参考图像分为匹配点密集区域和匹配点稀疏区域，进而基于匹配点密集区域和匹配点稀疏区域，即可确定出各参考图像中各参考像素点的视差值，即通过对参考图像进行分类，根据不同类型的参考图像，确定各类参考图像中各参考像素点的视差值，因不同类型参考图像的差异性，基于上述方式可以更加准确的确定出各参考像素点的视差值，提高了三维场景建模的准确性。
附图说明
图1为一个实施例中三维场景建模方法的应用环境图；
图2为一个实施例中三维场景建模方法的流程示意图；
图3为一个实施例中确定匹配点的流程示意图；
图4为一个实施例中确定匹配点密集区域和匹配点稀疏区域的流程示意图；
图5为另一个实施例中确定匹配点密集区域和匹配点稀疏区域的流程示意图；
图6为一个实施例中确定各参考像素点的视差值的流程示意图；
图7为另一个实施例中确定各参考像素点的视差值的流程示意图；
图8为一个实施例中确定第一视差值的流程示意图；
图9为一个实施例中确定第二视差值的流程示意图；
图10为一个实施例中构建目标场景的三维场景模型的流程示意图；
图11为另一个实施例中三维场景建模方法的流程示意图；
图12为一个实施例中三维场景建模装置的结构示意图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的三维场景建模方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。可选的，终端102中可以集成可视化界面，用于展示构建出的目标场景的三维场景模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种三维场景建模方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
S201，根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像。
在本申请实施例中，目标场景即为具有三维场景建模请求的场景。双目图像即为使用双目相机采集的左右视图。参考图像和匹配图像可以为双目图像中的左视图或右视图；若参考图像为左视图，则匹配图像为右视图；若参考图像为右视图，则匹配图像为左视图。
可选的，目标场景中不同位置的双目图像可以为已经根据双目相机采集好，并预先存储于数据库中，在使用时可以从数据库中直接获取，进而以各组双目图像中的左视图或右视图为参考图像，以右视图或左视图为匹配图像。
S202，根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域。
在本申请实施例中，参考像素点即为参考图像中的像素点；匹配像素点即为匹配图像中的像素点。
一种可实现方式为可以将各参考图像中参考像素点和各匹配图像中匹配像素点输入至预先训练好的模型中，由模型输出各参考图像中的匹配点密集区域和匹配点稀疏区域。
另一种可实现方式为可以基于预先设定的确定匹配点密集区域和匹配点稀疏区域的确定逻辑，并结合各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域。
S203，基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值。
在一可实现方式中，可以将各参考图像中的匹配点密集区域和匹配点稀疏区域输入至预先训练好的模型中，由模型输出各参考图像中各参考像素点的视差值。
在另一可实现方式中，可以基于预先设定好的分析逻辑，对各参考图像中的匹配点密集区域和匹配点稀疏区域进行分析，以确定各参考图像中各参考像素点的视差值。
S204，根据各参考像素点的视差值，构建目标场景的三维场景模型。
可选的，可以根据各参考像素点的视差值先确定出各参考像素点的深度信息，进而根据各参考像素点的深度信息构建目标场景的三维场景模型。
本申请实施例提供的三维场景建模方法中，通过根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像，进而根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域，之后基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值，最后根据各参考像素点的视差值，构建目标场景的三维场景模型。上述方法，通过根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，可以将各参考图像分为匹配点密集区域和匹配点稀疏区域，进而基于匹配点密集区域和匹配点稀疏区域，即可确定出各参考图像中各参考像素点的视差值，即通过对参考图像进行分类，根据不同类型的参考图像，确定各类参考图像中各参考像素点的视差值，因不同类型参考图像的差异性，基于上述方式可以更加准确的确定出各参考像素点的视差值，提高了三维场景建模的准确性。
在确定各参考像素点和各匹配像素点之间的匹配点时，需要对每一参考像素点和每一匹配像素点的特征进行分析，以确定出可以与每一参考像素点匹配的匹配像素点。基于此，在一个实施例中，提供一种确定各参考像素点和各匹配像素点之间的匹配点的可选方式。如图3所示，可以包括如下步骤：
S301，获取各参考像素点的第一灰度值和各匹配像素点的第二灰度值。
S302，根据各第一灰度值和各第二灰度值，确定各参考像素点与各匹配像素点的匹配代价值。
S303，根据各参考像素点与各匹配像素点的匹配代价值，确定各参考像素点和各匹配像素点之间的匹配点。
在本申请实施例中，第一灰度值即为参考像素点的灰度值；第二灰度值即为匹配像素点的灰度值。匹配代价值即为各参考像素点与各匹配像素点的相关或相似程度。
示例性的，可以根据如下公式(1)确定各参考像素点与各匹配像素点的匹配代价值，并根据如下公式(2)确定各参考像素点和各匹配像素点之间的匹配点。
d(x，y)＝argminCdata(x，y，d) (Dmin≤d≤Dmax) (2)
其中，IL(x，y)为参考图像中各参考像素点的第一灰度值；IR(x，y)为匹配图像中各匹配像素点的第二灰度值；d为在利用匹配叠加窗口确定匹配点时各参考像素点的自适应视差值；CSAD(p，d)为各参考像素点与各匹配像素点的匹配代价值；WP为匹配叠加窗口的大小；d(x，y)为各参考像素点的初始视差值；Dmin和Dmax为视差范围；Cdata(x，y，d)为各参考像素点的匹配代价值。
可选的，根据上述两个公式确定出各参考像素点的初始视差值，进而可以直接根据各匹配图像中匹配叠加窗口中的匹配像素点，确定出各参考像素点对应的匹配像素点。
需要说明的是，匹配叠加窗口的大小可以根据各参考图像的特征自适应变化，在纹理丰富区域采用小窗口计算，在低纹理区域采用大窗口计算。另外，在通过上述方式确定匹配点时，不可避免地会存在误匹配点，可以采用一致性校验和相似点滤除等措施去除误匹配点。
本申请实施例中，通过引入匹配代价值，可以根据各参考像素点与各匹配像素点的匹配代价值，确定出各参考像素点和各匹配像素点之间的匹配点，为后续确定匹配点密集区域和匹配点稀疏区域提供了数据支撑。
在确定各参考图像中的匹配点密集区域和匹配点稀疏区域时，可以通过预先设定分类条件方式来确定。基于此，在一个实施例中，提供一种确定匹配点密集区域和匹配点稀疏区域的可选方式。如图4所示，可以包括如下步骤：
S401，根据各参考像素点和各匹配像素点之间的匹配点，获取各参考图像中每个分割区域的匹配点数。
S402，根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
可选的，可以根据各参考像素点和各匹配像素点之间的匹配点，先获取出各参考图像中每个分割区域的匹配点数，进而将各分割区域的匹配点数和预设分类条件输入至预先训练好的模型中，由模型输出各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
本申请实施例中，通过引入预设分类条件，根据各分割区域的匹配点数和预设分类条件，确定匹配点密集区域和匹配点稀疏区域，为确定各参考像素点的视差值提供了数据支撑。
预设分类条件中可以包括匹配点数阈值和比例阈值，进而可以根据各分割区域的匹配点数是否满足匹配点数阈值和比例阈值，来确定匹配点密集区域和匹配点稀疏区域。基于此，在一个实施例中，提供另一种确定匹配点密集区域和匹配点稀疏区域的可选方式。如图5所示，可以包括如下步骤：
S501，获取各分割区域中的像素点数。
S502，对于任一分割区域，若分割区域的匹配点数大于或等于匹配点数阈值，且分割区域的匹配点数与分割区域中的像素点数的比值大于或等于比例阈值，则确定分割区域为匹配点密集区域。
S503，若分割区域中的匹配点数小于匹配点数阈值，和/或分割区域的匹配点数与分割区域中的像素点数的比值小于比例阈值，则确定分割区域为匹配点稀疏区域。
示例性的，可以根据如下公式(3)和(4)确定每个分割区域的匹配点密集区域和匹配点稀疏区域。
Rreliability≥Rr (3)
其中，Rreliability为分割区域的匹配点数；Rr是匹配点数阈值，ηr是比例阈值，R是分割区域的像素点数。
可选的，对于任一分割区域，若同时满足上述公式(3)和(4)，则确定该分割区域为匹配点密集区域，否则，为匹配点稀疏区域。
本申请实施例中，提供了一种快速确定匹配点密集区域和匹配点稀疏区域的可选方式。
在确定各参考像素点和各匹配像素点之间的匹配点时，同时确定出了各参考像素点的初始视差值，可以采用一定的方式对初始视差值进行优化，得到各参考像素点的最终视差值。基于此，在一个实施例中，提供一种确定各参考像素点的视差值的可选方式。如图6所示，可以包括如下步骤：
S601，获取各参考像素点的初始视差值。
S602，根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值。
可选的，可以在获取到各参考像素点的初始视差值之后，根据各参考像素点的初始视差值，并结合各匹配点密集区域中各参考像素点的特征和各匹配点稀疏区域中各参考像素点的特征，确定各参考像素点的视差值。
本申请实施例中，为快速确定各参考像素点的视差值提供了一种可选方式。
匹配点密集区域和匹配点稀疏区域因类型的不同，可以分别根据各参考像素点的初始视差值确定出属于不同区域的不同视差值。基于此，在一个实施例中，提供另一种确定各参考像素点的视差值的可选方式。如图7所示，可以包括如下步骤：
S701，获取各匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各匹配点稀疏区域中多个第二参考像素点的第二像素坐标值。
S702，根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值。
S703，根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
S704，根据各第一参考像素点的第一视差值和各第二参考像素点的第二视差值，确定各参考像素点的视差值。
在本申请实施例中，第一参考像素点即为匹配点密集区域中的参考像素点；第一像素坐标值即为第一参考像素点的坐标值；第二参考像素点即为匹配点稀疏区域中的参考像素点；第二像素坐标值即为第二参考像素点的坐标值；第一视差值即为匹配点密集区域中各第一参考像素点的视差值；第二视差值即为匹配点稀疏区域中各第二参考像素点的视差值。
可选的，先获取各匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各匹配点稀疏区域中多个第二参考像素点的第二像素坐标值；之后将各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值输入至预先训练好的模型中，由模型输出各匹配点密集区域中各第一参考像素点的第一视差值，再将各第二参考像素点的第二像素坐标值和各第一视差值输入至预先训练好的模型中，由模型输出各匹配点稀疏区域中各第二参考像素点的第二视差值；最后将各第一参考像素点的第一视差值和各第二参考像素点的第二视差值，确定为各参考像素点的视差值。
本申请实施例中，分别采用不同的方式确定匹配点密集区域中各参考像素点的视差值和匹配点稀疏区域中各参考像素点的视差值，为确定各参考像素点的视差值提供了数据支撑。
每一分割区域即为一个平面，对于平面有其固定的平面模板模型，可以引入平面模板模型来确定匹配点密集区域和匹配点稀疏区域中各参考像素点的视差值。基于此，在一个实施例中，提供一种确定第一视差值的可选方式。如图8所示，可以包括如下步骤：
S801，根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域的密集区域模板参数。
S802，根据各匹配点密集区域的密集区域模板参数、各第一像素坐标值和分割区域的区域模板模型，确定各匹配点密集区域中各第一参考像素点的第一视差值。
示例性的，可以根据如下公式(5)-(9)确定各匹配点密集区域中各第一参考像素点的第一视差值。
d(x,y)＝ax+by+c (5)
wi＝e-Kt，t＝|(a′xi+b′yi+c′)-di| (8)
|a-a′|+|b-b′|+|c-c′|≤tcon (9)
其中，a、b和c为区域模板模型的模板参数；Δ为模板参数的误差；wi为第i个第一参考像素点的加权系数，第一次迭代时wi为1；di为第i个第一参考像素点的初始视差值；a′、b′和c′为上一次迭代确定的模板参数；tcon为10-6。
可选的，在确定各匹配点密集区域中各第一参考像素点的第一视差值时采用的是加权最小二乘法的算法，通过多次迭代确定出各匹配点密集区域的最优密集区域模板参数，最后将密集区域模板参数代入区域模板模型中，并根据各第一参考像素点的第一像素坐标值，确定出各第一参考像素点的第一视差值。
本申请实施例中，通过引入密集区域模板参数和区域模板模型，确定各匹配点密集区域中各第一参考像素点的第一视差值，提供了一种快速确定第一视差值的可选方式。
匹配点稀疏区域中各第二参考像素点的第二视差值在求解时，同样需要确定各匹配点稀疏区域的稀疏区域模板参数，而匹配点稀疏区域与匹配点密集区域不同，则需要采用特定的方式来确定各匹配点稀疏区域的稀疏区域模板参数。基于此，在一个实施例中，提供一种确定第二视差值的可选方式。如图9所示，可以包括如下步骤：
S901，根据各匹配点密集区域的密集区域模板参数、各第一视差值和各第二参考像素点的第二像素坐标值，确定各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值。
S902，根据各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值、各匹配点稀疏区域与相邻区域的边界长度，确定各匹配点稀疏区域的稀疏区域模板参数。
S903，根据各匹配点稀疏区域的稀疏区域模板参数、各第二像素坐标值和区域模板模型，确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
示例性的，可以根据如下公式(10)-(13)确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
C(S，P)＝∑c(x，y，d) (10)
E＝Edata+Esmooth (11)
Edata＝∑C(Sm，Pn) (12)
其中，S为匹配点密集区域；P为匹配点稀疏区域；C(S，P)为匹配点稀疏区域与匹配点密集区域的相似度匹配代价值；E为能量函数；Edata为数据项；Esmooth为平滑项；Sm为第m个匹配点稀疏区域；Pn为第n个匹配点稀疏区域；L(m，n)为匹配点稀疏区域与相邻区域的边界长度；δ为平滑因子，当Pm≠Pn时，δ为1，否则为0。
可选的，在确定各匹配点稀疏区域中各第二参考像素点的第二视差值时采用了动态规划算法对稀疏区域模板参数进行了全局优化，通过多次迭代确定出各匹配点稀疏区域的最优稀疏区域模板参数，最后将稀疏区域模板参数代入区域模板模型中，并根据各第二参考像素点的第二像素坐标值，确定出各第二参考像素点的第二视差值。
本申请实施例中，通过引入相似度匹配代价值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值，为快速确定第二视差值提供了一种可选方式。
在确定出各参考像素点的视差值之后，可以根据各参考像素点的视差值确定各参考像素点的深度信息，根据各参考像素点的深度信息即可以构建目标场景的三维场景模型。基于此，在一个实施例中，提供一种构建目标场景的三维场景模型的可选方式。如图10所示，可以包括如下步骤：
S1001，获取双目相机的基线距离和焦距。
S1002，根据基线距离、焦距和各参考像素点的视差值，确定各参考像素点的深度信息。
S1003，根据各参考像素点的深度信息，构建目标场景的三维场景模型。
可选的，可以根据如下公式(14)确定各参考像素点的深度信息。
其中，Zh为第h个参考像素点的深度信息；dh为第h个参考像素点的视差值；B为双目相机的基线距离；f为双目相机的焦距。
可选的，确定出各参考像素点的深度信息后，结合各参考像素点的横纵坐标值，即可以得到各参考图像的三维坐标，进而可以根据各参考图像的三维坐标构建目标场景的三维场景模型。
本申请实施例中，提供了一种构建目标场景的三维场景模型的可选方式。
另外，在一个实施例中，本申请实施例还提供一个三维场景建模方法的可选实例。结合图11所示，包括：
S1101，根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像。
S1102，根据各参考像素点和各匹配像素点之间的匹配点，获取各参考图像中每个分割区域的匹配点数。
S1103，根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
可选的，对于任一分割区域，若分割区域的匹配点数大于或等于匹配点数阈值，且分割区域的匹配点数与分割区域中的像素点数的比值大于或等于比例阈值，则确定分割区域为匹配点密集区域；若分割区域中的匹配点数小于匹配点数阈值，和/或分割区域的匹配点数与分割区域中的像素点数的比值小于比例阈值，则确定分割区域为匹配点稀疏区域。
S1104，获取各参考像素点的初始视差值。
S1105，获取各匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各匹配点稀疏区域中多个第二参考像素点的第二像素坐标值。
S1106，根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域的密集区域模板参数。
S1107，根据各匹配点密集区域的密集区域模板参数、各第一像素坐标值和分割区域的区域模板模型，确定各匹配点密集区域中各第一参考像素点的第一视差值。
S1108，根据各匹配点密集区域的密集区域模板参数、各第一视差值和各第二参考像素点的第二像素坐标值，确定各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值。
S1109，根据各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值、各匹配点稀疏区域与相邻区域的边界长度，确定各匹配点稀疏区域的稀疏区域模板参数。
S1110，根据各匹配点稀疏区域的稀疏区域模板参数、各第二像素坐标值和区域模板模型，确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
S1111，根据各第一参考像素点的第一视差值和各第二参考像素点的第二视差值，确定各参考像素点的视差值。
S1112，获取双目相机的基线距离和焦距。
S1113，根据基线距离、焦距和各参考像素点的视差值，确定各参考像素点的深度信息。
S1114，根据各参考像素点的深度信息，构建目标场景的三维场景模型。
上述S1101-S1114的过程可以参见上述方法实施例的描述，其实现原理和技术效果类似，在此不再赘述。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的三维场景建模方法的三维场景建模装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个三维场景建模装置实施例中的具体限定可以参见上文中对于三维场景建模方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种三维场景建模装置1，包括：图像获取模块10、第一确定模块20、第二确定模块30和模型构建模块40，其中：
图像获取模块10，用于根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；
第一确定模块20，用于根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域；
第二确定模块30，用于基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值；
模型构建模块40，用于根据各参考像素点的视差值，构建目标场景的三维场景模型。
在其中一个实施例中，上述三维场景建模装置1可以用于：
获取各参考像素点的第一灰度值和各匹配像素点的第二灰度值；根据各第一灰度值和各第二灰度值，确定各参考像素点与各匹配像素点的匹配代价值；根据各参考像素点与各匹配像素点的匹配代价值，确定各参考像素点和各匹配像素点之间的匹配点。
在其中一个实施例中，上述第一确定模块20可以用于：
根据各参考像素点和各匹配像素点之间的匹配点，获取各参考图像中每个分割区域的匹配点数；根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
在其中一个实施例中，上述第一确定模块20还用于：
获取各分割区域中的像素点数；对于任一分割区域，若分割区域的匹配点数大于或等于匹配点数阈值，且分割区域的匹配点数与分割区域中的像素点数的比值大于或等于比例阈值，则确定分割区域为匹配点密集区域；若分割区域中的匹配点数小于匹配点数阈值，和/或分割区域的匹配点数与分割区域中的像素点数的比值小于比例阈值，则确定分割区域为匹配点稀疏区域。
在其中一个实施例中，上述第二确定模块30可以用于：
获取各参考像素点的初始视差值；根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值。
在其中一个实施例中，上述第二确定模块30还用于：
获取各匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各匹配点稀疏区域中多个第二参考像素点的第二像素坐标值；根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值；根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值；根据各第一参考像素点的第一视差值和各第二参考像素点的第二视差值，确定各参考像素点的视差值。
在其中一个实施例中，上述第二确定模块30还用于：
根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域的密集区域模板参数；根据各匹配点密集区域的密集区域模板参数、各第一像素坐标值和分割区域的区域模板模型，确定各匹配点密集区域中各第一参考像素点的第一视差值。
在其中一个实施例中，上述第二确定模块30还用于：
根据各匹配点密集区域的密集区域模板参数、各第一视差值和各第二参考像素点的第二像素坐标值，确定各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值；根据各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值、各匹配点稀疏区域与相邻区域的边界长度，确定各匹配点稀疏区域的稀疏区域模板参数；根据各匹配点稀疏区域的稀疏区域模板参数、各第二像素坐标值和区域模板模型，确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
在其中一个实施例中，上述模型构建模块40可以用于：
获取双目相机的基线距离和焦距；根据基线距离、焦距和各参考像素点的视差值，确定各参考像素点的深度信息；根据各参考像素点的深度信息，构建目标场景的三维场景模型。
上述三维场景建模装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储三维场景建模数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维场景建模方法。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；
根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域；
基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值；
根据各参考像素点的视差值，构建目标场景的三维场景模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取各参考像素点的第一灰度值和各匹配像素点的第二灰度值；根据各第一灰度值和各第二灰度值，确定各参考像素点与各匹配像素点的匹配代价值；根据各参考像素点与各匹配像素点的匹配代价值，确定各参考像素点和各匹配像素点之间的匹配点。
在其中一个实施例中，处理器执行计算机程序中根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域的逻辑时，可以实现以下步骤：
根据各参考像素点和各匹配像素点之间的匹配点，获取各参考图像中每个分割区域的匹配点数；根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
在其中一个实施例中，处理器执行计算机程序中根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域的逻辑时，可以实现以下步骤：
获取各分割区域中的像素点数；对于任一分割区域，若分割区域的匹配点数大于或等于匹配点数阈值，且分割区域的匹配点数与分割区域中的像素点数的比值大于或等于比例阈值，则确定分割区域为匹配点密集区域；若分割区域中的匹配点数小于匹配点数阈值，和/或分割区域的匹配点数与分割区域中的像素点数的比值小于比例阈值，则确定分割区域为匹配点稀疏区域。
在其中一个实施例中，处理器执行计算机程序中基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值的逻辑时，可以实现以下步骤：
获取各参考像素点的初始视差值；根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值。
在其中一个实施例中，处理器执行计算机程序中根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值的逻辑时，可以实现以下步骤：
获取各匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各匹配点稀疏区域中多个第二参考像素点的第二像素坐标值；根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值；根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值；根据各第一参考像素点的第一视差值和各第二参考像素点的第二视差值，确定各参考像素点的视差值。
在其中一个实施例中，处理器执行计算机程序中根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值的逻辑时，可以实现以下步骤：
根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域的密集区域模板参数；根据各匹配点密集区域的密集区域模板参数、各第一像素坐标值和分割区域的区域模板模型，确定各匹配点密集区域中各第一参考像素点的第一视差值。
在其中一个实施例中，处理器执行计算机程序中根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值的逻辑时，可以实现以下步骤：
根据各匹配点密集区域的密集区域模板参数、各第一视差值和各第二参考像素点的第二像素坐标值，确定各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值；根据各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值、各匹配点稀疏区域与相邻区域的边界长度，确定各匹配点稀疏区域的稀疏区域模板参数；根据各匹配点稀疏区域的稀疏区域模板参数、各第二像素坐标值和区域模板模型，确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
在其中一个实施例中，处理器执行计算机程序中根据各参考像素点的视差值，构建目标场景的三维场景模型的逻辑时，可以实现以下步骤：
获取双目相机的基线距离和焦距；根据基线距离、焦距和各参考像素点的视差值，确定各参考像素点的深度信息；根据各参考像素点的深度信息，构建目标场景的三维场景模型。
上述提供的计算机设备，其在实现各实施例中的原理和过程可参见前述实施例中三维场景建模方法实施例中的说明，此处不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；
根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域；
基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值；
根据各参考像素点的视差值，构建目标场景的三维场景模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取各参考像素点的第一灰度值和各匹配像素点的第二灰度值；根据各第一灰度值和各第二灰度值，确定各参考像素点与各匹配像素点的匹配代价值；根据各参考像素点与各匹配像素点的匹配代价值，确定各参考像素点和各匹配像素点之间的匹配点。
在其中一个实施例中，计算机程序中根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域的逻辑被处理器执行时，可以实现以下步骤：
根据各参考像素点和各匹配像素点之间的匹配点，获取各参考图像中每个分割区域的匹配点数；根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
在其中一个实施例中，计算机程序中根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域的逻辑被处理器执行时，可以实现以下步骤：
获取各分割区域中的像素点数；对于任一分割区域，若分割区域的匹配点数大于或等于匹配点数阈值，且分割区域的匹配点数与分割区域中的像素点数的比值大于或等于比例阈值，则确定分割区域为匹配点密集区域；若分割区域中的匹配点数小于匹配点数阈值，和/或分割区域的匹配点数与分割区域中的像素点数的比值小于比例阈值，则确定分割区域为匹配点稀疏区域。
在其中一个实施例中，计算机程序中基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值的逻辑被处理器执行时，可以实现以下步骤：
获取各参考像素点的初始视差值；根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值。
在其中一个实施例中，计算机程序中根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值的逻辑被处理器执行时，可以实现以下步骤：
获取各匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各匹配点稀疏区域中多个第二参考像素点的第二像素坐标值；根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值；根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值；根据各第一参考像素点的第一视差值和各第二参考像素点的第二视差值，确定各参考像素点的视差值。
在其中一个实施例中，计算机程序中根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值的逻辑被处理器执行时，可以实现以下步骤：
根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域的密集区域模板参数；根据各匹配点密集区域的密集区域模板参数、各第一像素坐标值和分割区域的区域模板模型，确定各匹配点密集区域中各第一参考像素点的第一视差值。
在其中一个实施例中，计算机程序中根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值的逻辑被处理器执行时，可以实现以下步骤：
根据各匹配点密集区域的密集区域模板参数、各第一视差值和各第二参考像素点的第二像素坐标值，确定各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值；根据各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值、各匹配点稀疏区域与相邻区域的边界长度，确定各匹配点稀疏区域的稀疏区域模板参数；根据各匹配点稀疏区域的稀疏区域模板参数、各第二像素坐标值和区域模板模型，确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
在其中一个实施例中，计算机程序中根据各参考像素点的视差值，构建目标场景的三维场景模型的逻辑被处理器执行时，可以实现以下步骤：
获取双目相机的基线距离和焦距；根据基线距离、焦距和各参考像素点的视差值，确定各参考像素点的深度信息；根据各参考像素点的深度信息，构建目标场景的三维场景模型。
上述提供的计算机可读存储介质，其在实现各实施例中的原理和过程可参见前述实施例中三维场景建模方法实施例中的说明，此处不再赘述。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；
根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域；
基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值；
根据各参考像素点的视差值，构建目标场景的三维场景模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取各参考像素点的第一灰度值和各匹配像素点的第二灰度值；根据各第一灰度值和各第二灰度值，确定各参考像素点与各匹配像素点的匹配代价值；根据各参考像素点与各匹配像素点的匹配代价值，确定各参考像素点和各匹配像素点之间的匹配点。
在其中一个实施例中，计算机程序中根据各参考图像中参考像素点和各匹配图像中匹配像素点之间的匹配点，确定各参考图像中的匹配点密集区域和匹配点稀疏区域的逻辑被处理器执行时，可以实现以下步骤：
根据各参考像素点和各匹配像素点之间的匹配点，获取各参考图像中每个分割区域的匹配点数；根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
在其中一个实施例中，计算机程序中根据各分割区域的匹配点数和预设分类条件，确定各参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域的逻辑被处理器执行时，可以实现以下步骤：
获取各分割区域中的像素点数；对于任一分割区域，若分割区域的匹配点数大于或等于匹配点数阈值，且分割区域的匹配点数与分割区域中的像素点数的比值大于或等于比例阈值，则确定分割区域为匹配点密集区域；若分割区域中的匹配点数小于匹配点数阈值，和/或分割区域的匹配点数与分割区域中的像素点数的比值小于比例阈值，则确定分割区域为匹配点稀疏区域。
在其中一个实施例中，计算机程序中基于各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考图像中各参考像素点的视差值的逻辑被处理器执行时，可以实现以下步骤：
获取各参考像素点的初始视差值；根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值。
在其中一个实施例中，计算机程序中根据各参考像素点的初始视差值，以及各参考图像中的匹配点密集区域和匹配点稀疏区域，确定各参考像素点的视差值的逻辑被处理器执行时，可以实现以下步骤：
获取各匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各匹配点稀疏区域中多个第二参考像素点的第二像素坐标值；根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值；根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值；根据各第一参考像素点的第一视差值和各第二参考像素点的第二视差值，确定各参考像素点的视差值。
在其中一个实施例中，计算机程序中根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域中各第一参考像素点的第一视差值的逻辑被处理器执行时，可以实现以下步骤：
根据各第一参考像素点的第一像素坐标值和各参考像素点的初始视差值，确定各匹配点密集区域的密集区域模板参数；根据各匹配点密集区域的密集区域模板参数、各第一像素坐标值和分割区域的区域模板模型，确定各匹配点密集区域中各第一参考像素点的第一视差值。
在其中一个实施例中，计算机程序中根据各第二参考像素点的第二像素坐标值和各第一视差值，确定各匹配点稀疏区域中各第二参考像素点的第二视差值的逻辑被处理器执行时，可以实现以下步骤：
根据各匹配点密集区域的密集区域模板参数、各第一视差值和各第二参考像素点的第二像素坐标值，确定各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值；根据各匹配点稀疏区域与各匹配点密集区域的相似度匹配代价值、各匹配点稀疏区域与相邻区域的边界长度，确定各匹配点稀疏区域的稀疏区域模板参数；根据各匹配点稀疏区域的稀疏区域模板参数、各第二像素坐标值和区域模板模型，确定各匹配点稀疏区域中各第二参考像素点的第二视差值。
在其中一个实施例中，计算机程序中根据各参考像素点的视差值，构建目标场景的三维场景模型的逻辑被处理器执行时，可以实现以下步骤：
获取双目相机的基线距离和焦距；根据基线距离、焦距和各参考像素点的视差值，确定各参考像素点的深度信息；根据各参考像素点的深度信息，构建目标场景的三维场景模型。
上述提供的计算机程序产品，其在实现各实施例中的原理和具体过程可参见前述实施例中三维场景建模方法实施例中的说明，此处不再赘述。
需要说明的是，本申请所涉及的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (13)

1.一种三维场景建模方法，其特征在于，所述方法包括：
根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；
根据各所述参考图像中参考像素点和各所述匹配图像中匹配像素点之间的匹配点，确定各所述参考图像中的匹配点密集区域和匹配点稀疏区域；
基于各所述参考图像中的匹配点密集区域和匹配点稀疏区域，确定各所述参考图像中各参考像素点的视差值；
根据各所述参考像素点的视差值，构建所述目标场景的三维场景模型。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取各所述参考像素点的第一灰度值和各所述匹配像素点的第二灰度值；
根据各所述第一灰度值和各所述第二灰度值，确定各所述参考像素点与各所述匹配像素点的匹配代价值；
根据各所述参考像素点与各所述匹配像素点的匹配代价值，确定各所述参考像素点和各所述匹配像素点之间的匹配点。
3.根据权利要求1或2所述的方法，其特征在于，所述根据各所述参考图像中参考像素点和各所述匹配图像中匹配像素点之间的匹配点，确定各所述参考图像中的匹配点密集区域和匹配点稀疏区域，包括：
根据各所述参考像素点和各所述匹配像素点之间的匹配点，获取各所述参考图像中每个分割区域的匹配点数；
根据各所述分割区域的匹配点数和预设分类条件，确定各所述参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域。
4.根据权利要求3所述的方法，其特征在于，所述预设分类条件包括匹配点数阈值和比例阈值；所述根据各所述分割区域的匹配点数和预设分类条件，确定各所述参考图像中每个分割区域的匹配点密集区域和匹配点稀疏区域，包括：
获取各所述分割区域中的像素点数；
对于任一分割区域，若所述分割区域的匹配点数大于或等于所述匹配点数阈值，且所述分割区域的匹配点数与所述分割区域中的像素点数的比值大于或等于所述比例阈值，则确定所述分割区域为匹配点密集区域；
若所述分割区域中的匹配点数小于所述匹配点数阈值，和/或所述分割区域的匹配点数与所述分割区域中的像素点数的比值小于所述比例阈值，则确定所述分割区域为匹配点稀疏区域。
5.根据权利要求1或2所述的方法，其特征在于，所述基于各所述参考图像中的匹配点密集区域和匹配点稀疏区域，确定各所述参考图像中各参考像素点的视差值，包括：
获取各所述参考像素点的初始视差值；
根据各所述参考像素点的初始视差值，以及各所述参考图像中的匹配点密集区域和匹配点稀疏区域，确定各所述参考像素点的视差值。
6.根据权利要求5所述的方法，其特征在于，所述根据各所述参考像素点的初始视差值，以及各所述参考图像中的匹配点密集区域和匹配点稀疏区域，确定各所述参考像素点的视差值，包括：
获取各所述匹配点密集区域中多个第一参考像素点的第一像素坐标值，以及各所述匹配点稀疏区域中多个第二参考像素点的第二像素坐标值；
根据各所述第一参考像素点的第一像素坐标值和各所述参考像素点的初始视差值，确定各所述匹配点密集区域中各所述第一参考像素点的第一视差值；
根据各所述第二参考像素点的第二像素坐标值和各所述第一视差值，确定各所述匹配点稀疏区域中各所述第二参考像素点的第二视差值；
根据各所述第一参考像素点的第一视差值和各所述第二参考像素点的第二视差值，确定各所述参考像素点的视差值。
7.根据权利要求6所述的方法，其特征在于，所述根据各所述第一参考像素点的第一像素坐标值和各所述参考像素点的初始视差值，确定各所述匹配点密集区域中各所述第一参考像素点的第一视差值，包括：
根据各所述第一参考像素点的第一像素坐标值和各所述参考像素点的初始视差值，确定各所述匹配点密集区域的密集区域模板参数；
根据各所述匹配点密集区域的密集区域模板参数、各所述第一像素坐标值和分割区域的区域模板模型，确定各所述匹配点密集区域中各所述第一参考像素点的第一视差值。
8.根据权利要求6所述的方法，其特征在于，所述根据各所述第二参考像素点的第二像素坐标值和各所述第一视差值，确定各所述匹配点稀疏区域中各所述第二参考像素点的第二视差值，包括：
根据各所述匹配点密集区域的密集区域模板参数、各所述第一视差值和各所述第二参考像素点的第二像素坐标值，确定各所述匹配点稀疏区域与各所述匹配点密集区域的相似度匹配代价值；
根据各所述匹配点稀疏区域与各所述匹配点密集区域的相似度匹配代价值、各所述匹配点稀疏区域与相邻区域的边界长度，确定各所述匹配点稀疏区域的稀疏区域模板参数；
根据各所述匹配点稀疏区域的稀疏区域模板参数、各所述第二像素坐标值和所述区域模板模型，确定各所述匹配点稀疏区域中各所述第二参考像素点的第二视差值。
9.根据权利要求1或2所述的方法，其特征在于，所述根据各所述参考像素点的视差值，构建所述目标场景的三维场景模型，包括：
获取双目相机的基线距离和焦距；
根据所述基线距离、所述焦距和各所述参考像素点的视差值，确定各所述参考像素点的深度信息；
根据各所述参考像素点的深度信息，构建所述目标场景的三维场景模型。
10.一种三维场景建模装置，其特征在于，所述装置包括：
图像获取模块，用于根据目标场景中不同位置的双目图像，获取多个参考图像和多个匹配图像；
第一确定模块，用于根据各所述参考图像中参考像素点和各所述匹配图像中匹配像素点之间的匹配点，确定各所述参考图像中的匹配点密集区域和匹配点稀疏区域；
第二确定模块，用于基于各所述参考图像中的匹配点密集区域和匹配点稀疏区域，确定各所述参考图像中各参考像素点的视差值；
模型构建模块，用于根据各所述参考像素点的视差值，构建所述目标场景的三维场景模型。
11.一种计算机装备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法的步骤。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202310883436.9A 2023-07-18 2023-07-18 三维场景建模方法、装置、设备、存储介质和程序产品 Pending CN116883595A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310883436.9A CN116883595A (zh) 2023-07-18 2023-07-18 三维场景建模方法、装置、设备、存储介质和程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310883436.9A CN116883595A (zh) 2023-07-18 2023-07-18 三维场景建模方法、装置、设备、存储介质和程序产品

Publications (1)

Publication Number Publication Date
CN116883595A true CN116883595A (zh) 2023-10-13

Family

ID=88267662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310883436.9A Pending CN116883595A (zh) 2023-07-18 2023-07-18 三维场景建模方法、装置、设备、存储介质和程序产品

Country Status (1)

Country Link
CN (1) CN116883595A (zh)

Similar Documents

Publication Publication Date Title
CN111369681B (zh) 三维模型的重构方法、装置、设备及存储介质
CN109754064B (zh) 执行解卷积的神经网络的方法和装置
JP6663926B2 (ja) ＤｅｅｐＳｔｅｒｅｏ：実世界の画像から新たなビューを予測するための学習
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
GB2566443A (en) Cross-source point cloud registration
CN117581232A (zh) 基于NeRF的机器学习模型的加速训练
CN114067041A (zh) 三维模型的材质生成方法、装置、计算机设备和存储介质
CN105160699B (zh) 一种基于张量近似的海量数据多分辨率体绘制方法
EP4163873A1 (en) Method and apparatus with global localization
JP2019091436A (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
US11741662B2 (en) Shaped-based techniques for exploring design spaces
EP4350632A2 (en) Method and appratus with neural rendering based on view augmentation
US12086940B2 (en) Image processing method and apparatus
CN110852939A (zh) 一种基于二维对象和相关关系的三维布局预测方法及系统
CN116109799A (zh) 调整模型训练方法、装置、计算机设备及存储介质
CN116883595A (zh) 三维场景建模方法、装置、设备、存储介质和程序产品
CN114757822A (zh) 一种基于双目的人体三维关键点检测方法及系统
CN116051448A (zh) 平坦表面检测装置和方法
US11126330B2 (en) Shaped-based techniques for exploring design spaces
US11928773B2 (en) Shaped-based techniques for exploring design spaces
US20240362894A1 (en) Apparatus and method with image processing
US20240127573A1 (en) Device and method with two-dimensional scene reconstruction for dynamic three-dimensional space
CN116664746B (zh) 人脸重建方法及装置、计算机可读存储介质、终端
US20240221185A1 (en) Method and apparatus with target object tracking
CN117078427A (zh) 产品推荐方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination