CN116912533A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116912533A
CN116912533A CN202311015125.7A CN202311015125A CN116912533A CN 116912533 A CN116912533 A CN 116912533A CN 202311015125 A CN202311015125 A CN 202311015125A CN 116912533 A CN116912533 A CN 116912533A
Authority
CN
China
Prior art keywords
pixel point
target
target pixel
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311015125.7A
Other languages
English (en)
Inventor
王晓辰
臧宇彤
杨行
陈昊芝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Positive Negative Infinite Technology Co ltd
Original Assignee
Beijing Positive Negative Infinite Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Positive Negative Infinite Technology Co ltd filed Critical Beijing Positive Negative Infinite Technology Co ltd
Priority to CN202311015125.7A priority Critical patent/CN116912533A/zh
Publication of CN116912533A publication Critical patent/CN116912533A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，涉及多视图立体匹配技术领域。该方法包括：获取待处理的目标图像；针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像；从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点；基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；其中，参考图像与目标图像的采集目标相同、且位于不同的视差平面；根据各目标像素点的深度值，得到目标图像的深度信息。本申请实施例通过传统的视觉传感器就可得到三维图像信息，有效降低了三维图像信息的测量成本，提升了用户体验。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机图形学技术领域，具体而言，本申请涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
三维图像是一种由三个独立的视角所捕捉的图像，是模拟人眼看世界的原理，利用光学折射制作出来，三维图像可以使眼睛感观上看到物体的上下、左右、前后三维关系。与二维图像不同，三维图像可以显示物体的全貌，包括其表面和内部的特征。该技术在工业制造、建筑设计、虚拟现实和游戏等领域得到了广泛应用。
在现有技术中，可以采用TOF(Time of Flight，飞行时间)传感器或者结构光传感器对物体的三维图像信息(即深度信息)进行提取，以进行3D建模等应用；但是上述传感器的体积大、功耗高，价格也很贵，存在获取三维图像信息的成本较高的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质，可以解决现有技术中在获取三维图像信息时，成本较高的问题。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种图像处理方法，该方法包括：
获取待处理的目标图像；
针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像；从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点；基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；其中，参考图像与目标图像的采集目标相同、且位于不同的视差平面；
根据各目标像素点的深度值，得到目标图像的深度信息。
在一个可能的实现方式中，上述从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，包括：
分别确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与目标像素点和参考像素点之间的匹配程度相关联；
将最小的匹配代价值所对应的参考像素点，作为与目标像素点相匹配的匹配像素点。
在一个可能的实现方式中，上述分别确定目标像素点与各参考像素点的匹配代价值，包括：
针对每一参考像素点，确定目标像素点与参考像素点在RGB空间的第一差值；并根据目标像素点在目标图像中的第一灰度变化率，和参考像素点在参考图像中的第二灰度变化率，确定目标像素点和参考像素点的灰度变化率的第二差值；
基于第一差值和第二差值确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与第一差值正相关，匹配代价值与第二差值正相关。
在又一个可能的实现方式中，上述参考图像是基于如下方式得到的：
基于预设的初始视差值确定初始视差平面；其中，目标像素点位于初始视差平面中；
根据初始视差平面中的各候选像素点与目标像素点的目标代价值，对初始视差平面进行至少一次迭代更新操作，直至满足预设迭代终止条件，得到目标视差平面；
根据目标图像的大小、以目标像素点为中心，在目标视差平面中截取参考图像。
在又一个可能的实现方式中，上述迭代更新操作包括：
确定目标像素点的比对像素点所处的比对视差平面；其中，比对像素点包括与目标像素点空间相邻的像素点、目标像素点的同名点、与目标像素点时序相邻的图像帧中的像素点中的至少一项；
计算比对视差平面中的各比对像素点与目标像素点的比对代价值；
当比对代价值小于目标代价值，基于比对视差平面的参数更新初始视差平面，将更新参数后的初始视差平面作为下一次迭代更新前对应的初始视差平面。
在另一个可能的实现方式中，上述初始视差平面中的各候选像素点与目标像素点的目标代价值，是基于如下方式得到的：
根据预设的视差值确定目标像素点相对于初始视差平面的同名点；
针对初始视差平面中的每一候选像素点，根据第三差值和第四差值计算候选像素点和同名点的候选代价值；基于第三差值确定候选代价值的权重；其中，第三差值是基于候选像素点和同名点在RGB空间的差值信息得到的；第四差值是基于候选像素点和同名点在初始视差平面中的灰度变化率的差值信息得到的；第三差值与权重负相关；
将各候选像素点对应的候选代价值加权求和，得到目标代价值。
在另一个可能的实现方式中，上述基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值，包括：
分别确定目标像素点和匹配像素点的归一化平面坐标；
获取世界坐标系到目标像素点对应的相机坐标系的第一投影矩阵，和世界坐标系到匹配像素点对应的相机坐标系的第二投影矩阵；
基于归一化平面坐标、第一投影矩阵和第二投影矩阵计算目标像素点的深度值。
根据本申请实施例的另一个方面，提供了一种图像处理装置，该装置包括：
获取模块，用于获取待处理的目标图像；
筛选模块，用于针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像；从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点；基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；其中，参考图像与目标图像的采集目标相同、且位于不同的视差平面；
深度模块，用于根据各目标像素点的深度值，得到目标图像的深度信息。
在一个可能的实现方式中，上述筛选模块在从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点时，用于：
分别确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与目标像素点和参考像素点之间的匹配程度相关联；
将最小的匹配代价值所对应的参考像素点，作为与目标像素点相匹配的匹配像素点。
在一个可能的实现方式中，上述筛选模块在分别确定目标像素点与各参考像素点的匹配代价值时，用于：
针对每一参考像素点，确定目标像素点与参考像素点在RGB空间的第一差值；并根据目标像素点在目标图像中的第一灰度变化率，和参考像素点在参考图像中的第二灰度变化率，确定目标像素点和参考像素点的灰度变化率的第二差值；
基于第一差值和第二差值确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与第一差值正相关，匹配代价值与第二差值正相关。
在又一个可能的实现方式中，上述参考图像是基于如下方式得到的：
基于预设的初始视差值确定初始视差平面；其中，目标像素点位于初始视差平面中；
根据初始视差平面中的各候选像素点与目标像素点的目标代价值，对初始视差平面进行至少一次迭代更新操作，直至满足预设迭代终止条件，得到目标视差平面；
根据目标图像的大小、以目标像素点为中心，在目标视差平面中截取参考图像。
在又一个可能的实现方式中，上述迭代更新操作包括：
确定目标像素点的比对像素点所处的比对视差平面；其中，比对像素点包括与目标像素点空间相邻的像素点、目标像素点的同名点、与目标像素点时序相邻的图像帧中的像素点中的至少一项；
计算比对视差平面中的各比对像素点与目标像素点的比对代价值；
当比对代价值小于目标代价值，基于比对视差平面的参数更新初始视差平面，将更新参数后的初始视差平面作为下一次迭代更新前对应的初始视差平面。
在另一个可能的实现方式中，上述初始视差平面中的各候选像素点与目标像素点的目标代价值，是基于如下方式得到的：
根据预设的视差值确定目标像素点相对于初始视差平面的同名点；
针对初始视差平面中的每一候选像素点，根据第三差值和第四差值计算候选像素点和同名点的候选代价值；基于第三差值确定候选代价值的权重；其中，第三差值是基于候选像素点和同名点在RGB空间的差值信息得到的；第四差值是基于候选像素点和同名点在初始视差平面中的灰度变化率的差值信息得到的；第三差值与权重负相关；
将各候选像素点对应的候选代价值加权求和，得到目标代价值。
在另一个可能的实现方式中，上述筛选模块在基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值时，用于：
分别确定目标像素点和匹配像素点的归一化平面坐标；
获取世界坐标系到目标像素点对应的相机坐标系的第一投影矩阵，和世界坐标系到匹配像素点对应的相机坐标系的第二投影矩阵；
基于归一化平面坐标、第一投影矩阵和第二投影矩阵计算目标像素点的深度值。
根据本申请实施例的另一个方面，提供了一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上的计算机程序，上述处理器执行计算机程序以实现本申请实施例第一方面所示方法的步骤。
根据本申请实施例的再一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面所示方法的步骤。
根据本申请实施例的一个方面，提供了一种计算机程序产品，其包括计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面所示方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例通过确定与目标图像的采集目标相同、且位于不同的视差平面的参考图像，从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，并基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；进而根据各目标像素点的深度值，得到目标图像的深度信息。本申请实施例通过参考图像中的参考像素点与目标像素点的匹配关系，为每一目标像素点筛选相匹配的匹配像素点，以得到各个目标像素点的深度值。本申请实施例实现了目标物的二维图像信息(目标图像信息)至三维图像信息(深度信息)的转换；区别于现有技术中，基于体积大、功耗高的TOF传感器或者结构光传感器获取物体的三维图像信息，本申请实施例通过传统的视觉传感器就可得到三维图像信息，有效降低了三维图像信息的测量成本，提升了用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种图像处理方法的应用场景示意图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的一种图像处理方法中计算匹配代价值的流程示意图；
图4为本申请实施例提供的一种图像处理方法中迭代更新初始视差平面的流程示意图；
图5为本申请实施例提供的一个示例的图像处理方法的流程示意图；
图6为本申请实施例提供的一种图像处理装置的结构示意图；
图7为本申请实施例提供的一种图像处理电子设备的结构示意图。
具体实施方式
下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
AR(Augmented Reality，增强现实)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
AR的三大技术要点包括三维注册(跟踪注册技术)、虚拟现实融合显示、人机交互。其流程是首先通过摄像头和传感器将真实场景进行数据采集，并传入处理器对其进行分析和重构，再通过AR头显或智能移动设备上的摄像头、陀螺仪、传感器等配件实时更新用户在现实环境中的空间位置变化数据，从而得出虚拟场景和真实场景的相对位置，实现坐标系的对齐并进行虚拟场景与现实场景的融合计算，最后将其合成影像呈现给用户。其中，三维注册是AR技术之核心，即以现实场景中二维或三维物体为标识物，将虚拟信息与现实场景信息进行对位匹配，即虚拟物体的位置、大小、运动路径等与现实环境必须匹配，达到虚实相生的地步。
在AR的应用中，获取物体的三维图像数据至关重要，通常基于TOF传感器直接测量物体的三维图像信息，但是该传感器体积大、功耗高，相比于传统的视觉传感器成本较高。
本申请提供的图像处理方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。
如图1所示，本申请的图像处理方法，可以应用于图1所示的场景中，具体的，服务器102获取终端101发送的目标图像，并针对目标图像中的每一目标像素点，确定目标像素点对应的、与目标图像的采集目标相同、且位于不同视差平面的参考图像；接着从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，并基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值。服务器102根据各目标像素点的深度值，得到目标图像的深度信息，并将深度信息返回给终端101。
图1所示的场景中，上述图像处理方法可以在服务器中进行，在其他的场景中，也可以在终端中进行。
本技术领域技术人员可以理解，这里所使用的“终端”可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、MID(Mobile Internet Device，移动互联网设备)等；“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例中提供了一种图像处理方法，如图2所示，可以应用于进行图像处理的服务器或终端，该方法包括：
S201，获取待处理的目标图像。
具体的，用于进行图像处理的服务器或终端，可以通过图像采集设备对目标物进行图像采集，以获取目标图像。
其中，上述图像采集设备可以是摄像头，该摄像头可以集成于进行图像处理的服务器或终端之中，还可以独立于进行图像处理的服务器或终端，并与进行图像处理的服务器或终端进行无线网络连接。
S202，针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像；从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点；基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值。
其中，参考图像与目标图像的采集目标相同、且位于不同的视差平面。参考图像可以是基于目标像素点和预设的初始视差值生成的，参考图像的生成步骤将在下文详细介绍。
进一步地，用于进行图像处理的服务器或终端，可以计算目标像素点与各参考像素点的匹配代价值，然后基于匹配代价值从各参考像素点中筛选得到匹配像素点；同时，将目标像素点和匹配像素点的像素信息进行三角化计算，得到目标像素点的深度值。
S203，根据各目标像素点的深度值，得到目标图像的深度信息。
在本申请实施例中，目标图像可以是AR智能穿戴设备中的摄像头针对目标物体所采集的图像(二维图像信息)，可以基于目标图像中每一目标像素点对应的参考图像，分别确定与各目标像素点相匹配的匹配像素点，进而根据目标像素点和参考像素点进行三角化计算，得到各个目标像素点的深度信息(三维图像信息)，AR智能穿戴设备可以基于该深度信息做进一步计算和建模，以生成对应的三维立体画图，并将三维立体画面展现给用户，给用户制造身临其境的效果。
本申请实施例通过确定与目标图像的采集目标相同、且位于不同的视差平面的参考图像，从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，并基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；进而根据各目标像素点的深度值，得到目标图像的深度信息。本申请实施例通过参考图像中的参考像素点与目标像素点的匹配关系，为每一目标像素点筛选相匹配的匹配像素点，以得到各个目标像素点的深度值。本申请实施例实现了目标物的二维图像信息(目标图像信息)至三维图像信息(深度信息)的转换；区别于现有技术中，基于体积大、功耗高的TOF传感器或者结构光传感器获取物体的三维图像信息，本申请实施例通过传统的视觉传感器就可得到三维图像信息，有效降低了三维图像信息的测量成本，提升了用户体验。
本申请实施例中提供了一种可能的实现方式，上述从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，包括：
S301，分别确定目标像素点与各参考像素点的匹配代价值。
其中，匹配代价值与目标像素点和参考像素点之间的匹配程度相关联。上述匹配代价值越大，对应的目标像素点与参考像素点之间得匹配程度越低。
具体的，用于进行图像处理的服务器或终端，可以基于目标像素点与参考像素点的RGB像素值与灰度变化率，计算该目标像素点与参考像素点的匹配代价值。上述匹配代价值的详细计算方法将在下文具体介绍。
S302，将最小的匹配代价值所对应的参考像素点，作为与目标像素点相匹配的匹配像素点。
本申请实施例通过目标像素点与参考像素点的匹配代价值，对参考图像中的各参考像素点进行筛选，从参考图像中确定与目标像素点相匹配的匹配像素点，即最小匹配代价值所对应的参考像素点；本申请实施例实现了目标像素点与各参考像素点的匹配，为后续基于目标像素点与匹配像素点计算深度值打下良好基础。
本申请实施例中提供了一种可能的实现方式，如图3所示，上述分别确定目标像素点与各参考像素点的匹配代价值，包括：
S401，针对每一参考像素点，确定目标像素点与参考像素点在RGB空间的第一差值；并根据目标像素点在目标图像中的第一灰度变化率，和参考像素点在参考图像中的第二灰度变化率，确定目标像素点和参考像素点的灰度变化率的第二差值。
其中，第一差值可以表征目标像素点与参考像素点之间的颜色差异，第二插值可以表征目标像素点与参考像素点之间的梯度差异。
具体的，用于进行图像处理的服务器或终端，可以根据目标像素点与参考像素点的RGB L1范数的差值计算第一差值D1，具体计算公式如下：
D1＝||Ip-Iq||＝|r1-r2|+|g1-g2|+|b1-b2| (1)
其中，Ip＝(r1,g1,b1)为目标像素点的RGB值，Iq＝(r2,g2,b2)为参考像素点的RGB值。
进一步地，第二差值D2可以由如下公式计算得到：
其中，为目标像素点在目标图像中的灰度值的梯度，即第一灰度变化率；/>为参考像素点在参考图像中的灰度值的梯度，即第二灰度变化率。
S402，基于第一差值和第二差值确定目标像素点与各参考像素点的匹配代价值。
其中，匹配代价值与第一差值正相关，匹配代价值与第二差值正相关。
具体的，匹配代价值ρ(p,q)可以基于如下公式计算：
ρ(p,q)＝(1-α)﹒min(D1,τ1)+α﹒min(D2,τ2) (3)
其中，α为预设的常量参数，可以使得匹配代价值在颜色和梯度之间做一个平衡；τ1和τ2为截断参数，可以使得代价值保持在一个良好的局部范围内，增加计算结果的鲁棒性。
本申请实施例通过目标像素点和各参考像素点的RGB值和梯度信息，确定与目标像素点相匹配的匹配像素点；当两个像素点的颜色差异越大，梯度值相差越大，则二者不相关的程度越大；本申请实施例可以实现目标像素点与参考像素点的有效匹配，为后续确定每一目标像素点的深度值打下良好基础。
本申请实施例中提供了一种可能的实现方式，如图4所示，上述参考图像是基于如下方式得到的：
S501，基于预设的初始视差值确定初始视差平面。
其中，目标像素点位于初始视差平面中。上述初始视差值可以是随机获取的。
具体的，可以基于初始视差值和目标像素点的二维坐标构建一个三维坐标点，然后基于预设的单位法向量计算得到该目标像素点对应的初始视差平面。
例如，目标像素点的坐标为(x0,y0)，初始视差值为z0，则目标像素点对应的三维坐标点为(x0,y0,z0)。预设的单位法向量为(nx,ny,nz)，可以基于如下公式计算初始视差平面的平面参数(af,bf,cf):
af＝-x0/nz (4)
bf＝-y0/nz (5)
cf＝nxx0+nyy0+zz z0/nz (6)
基于上述平面参数即可得到初始视差平面。
S502，根据初始视差平面中的各候选像素点与目标像素点的目标代价值，对初始视差平面进行至少一次迭代更新操作，直至满足预设迭代终止条件，得到目标视差平面。
其中，上述迭代终止条件可以是迭代更新操作达到预设次数。
S503，根据目标图像的大小、以目标像素点为中心，在目标视差平面中截取参考图像。
具体的迭代更新操作将在下文详细介绍。
本申请实施例中提供了一种可能的实现方式，上述迭代更新操作包括：
S601，确定目标像素点的比对像素点所处的比对视差平面。
其中，比对像素点包括与目标像素点空间相邻的像素点、目标像素点的同名点、与目标像素点时序相邻的图像帧中的像素点中的至少一项；
S602，计算比对视差平面中的各比对像素点与目标像素点的比对代价值；
S603，当比对代价值小于目标代价值，基于比对视差平面的参数更新初始视差平面，将更新参数后的初始视差平面作为下一次迭代更新前对应的初始视差平面。
在本申请实施例中，目标代价值的计算步骤将在下文详细介绍。
本申请实施例中提供了一种可能的实现方式，上述初始视差平面中的各候选像素点与目标像素点的目标代价值，是基于如下方式得到的：
S701，根据预设的视差值确定目标像素点相对于初始视差平面的同名点。
具体的，由上文可知初始视差平面方程为Q(af,bf,cf)，设候选像素点q的坐标为q＝(qx,qy,qz)，则该初始视差平面的视差值dp＝afqx+bfqy+cfqz。可以基于如下公式计算得到目标像素点相对于初始视差平面的同名点q′为：
q′＝q-dp (7)
S702，针对初始视差平面中的每一候选像素点，根据第三差值和第四差值计算候选像素点和同名点的候选代价值；基于第三差值确定候选代价值的权重。
其中，第三差值是基于候选像素点和同名点在RGB空间的差值信息得到的；第四差值是基于候选像素点和同名点在初始视差平面中的灰度变化率的差值信息得到的；第三差值与权重负相关。
具体的，第三差值D3可以基于如下公式计算得到：
D3＝||Iq-Iq′||＝|rq-rq′|+|gq-gq′|+|bq-bq′| (8)
其中，Iq＝(rq,gq,bq)为候选像素点的RGB值，Iq′＝(rq′,gq′,bq′)为同名点的RGB值。
进一步地，第四差值D4可以由如下公式计算得到：
其中，为候选像素点的灰度值的梯度；/>为同名点的灰度值的梯度。
上述候选代价值的权重w(p,q)可以基于如下公式计算得到：
其中，γ为预设的常量参数。
S703，将各候选像素点对应的候选代价值加权求和，得到目标代价值。
其中，目标代价值m(p,f)可以基于如下公式计算：
m(p,f)＝∑q∈Wpw(p,q)·ρ(q,q′)
＝∑q∈Wpw(p,q)·(1-α)·min(D3,τ1)+α·min(D4,τ2) (11)
其中，α为预设的常量参数，可以使得匹配代价值在颜色和梯度之间做一个平衡；τ1和τ2为截断参数，可以使得代价值保持在一个良好的局部范围内，增加计算结果的鲁棒性。
本申请实施例中提供了一种可能的实现方式，上述基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值，包括：
S801，分别确定目标像素点和匹配像素点的归一化平面坐标。
S802，获取世界坐标系到目标像素点对应的相机坐标系的第一投影矩阵，和世界坐标系到匹配像素点对应的相机坐标系的第二投影矩阵。
S803，基于归一化平面坐标、第一投影矩阵和第二投影矩阵计算目标像素点的深度值。
其中，目标像素点的归一化平面坐标可以为xk1＝[uk1,vk1,1]T，匹配像素点的归一化平面坐标可以为xk2＝[uk2,vk2,1]T；
第一投影矩阵为Pk1＝[Rk1,tk1]；第二投影矩阵为Pk2＝[Rk2,tk2]；
设三维空间点在世界坐标系下的齐次坐标为y＝[x,y,z,,1]T，可以基于如下公式(12)所示的投影关系，利用线性三角化的原理求解目标像素点的深度值：
λkxk＝Pky (12)
其中，λk为像素点的深度值，xk为像素点的归一化平面坐标，Pk为像素点的投影矩阵；具体的线性三角化计算在本申请实施例中不做具体赘述。
为了更好的理解上述图像处理方法，下面结合图5详细阐述一个本申请的图像处理方法的示例，应用于智能穿戴设备501，该方法包括如下步骤：
S901，通过摄像头采集待处理的目标图像。
S902，针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像。
S903，针对参考图像中的每一参考像素点，确定该目标像素点与参考像素点在RGB空间的第一差值；并根据目标像素点在目标图像中的第一灰度变化率，和参考像素点在参考图像中的第二灰度变化率，确定目标像素点和参考像素点的灰度变化率的第二差值；基于第一差值和第二差值确定目标像素点与各参考像素点的匹配代价值。
其中，匹配代价值与第一差值正相关，匹配代价值与第二差值正相关。
第一差值可以表征目标像素点与参考像素点之间的颜色差异，第二插值可以表征目标像素点与参考像素点之间的梯度差异。
S904，将最小的匹配代价值所对应的参考像素点，作为与该目标像素点相匹配的匹配像素点。
S905，基于目标像素点和匹配像素点的像素信息确定该目标像素点的深度值。
S906，根据各目标像素点的深度值，得到目标图像的深度信息；智能穿戴设备501基于深度信息进行三维图像数据的显示。
本申请实施例通过确定与目标图像的采集目标相同、且位于不同的视差平面的参考图像，从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，并基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；进而根据各目标像素点的深度值，得到目标图像的深度信息。本申请实施例通过参考图像中的参考像素点与目标像素点的匹配关系，为每一目标像素点筛选相匹配的匹配像素点，以得到各个目标像素点的深度值。本申请实施例实现了目标物的二维图像信息(目标图像信息)至三维图像信息(深度信息)的转换；区别于现有技术中，基于体积大、功耗高的TOF传感器或者结构光传感器获取物体的三维图像信息，本申请实施例通过传统的视觉传感器就可得到三维图像信息，有效降低了三维图像信息的测量成本，提升了用户体验。
本申请实施例提供了一种图像处理装置，如图6所示，该图像处理装置60可以包括：获取模块601、筛选模块602和深度模块603；
其中，获取模块601，用于获取待处理的目标图像；
筛选模块602，用于针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像；从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点；基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；其中，参考图像与目标图像的采集目标相同、且位于不同的视差平面；
深度模块603，用于根据各目标像素点的深度值，得到目标图像的深度信息。
本申请实施例中提供了一种可能的实现方式，上述筛选模块602在从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点时，用于：
分别确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与目标像素点和参考像素点之间的匹配程度相关联；
将最小的匹配代价值所对应的参考像素点，作为与目标像素点相匹配的匹配像素点。
本申请实施例中提供了一种可能的实现方式，上述筛选模块602在分别确定目标像素点与各参考像素点的匹配代价值时，用于：
针对每一参考像素点，确定目标像素点与参考像素点在RGB空间的第一差值；并根据目标像素点在目标图像中的第一灰度变化率，和参考像素点在参考图像中的第二灰度变化率，确定目标像素点和参考像素点的灰度变化率的第二差值；
基于第一差值和第二差值确定目标像素点与各参考像素点的匹配代价值；其中，匹配代价值与第一差值正相关，匹配代价值与第二差值正相关。
本申请实施例中提供了一种可能的实现方式，上述参考图像是基于如下方式得到的：
基于预设的初始视差值确定初始视差平面；其中，目标像素点位于初始视差平面中；
根据初始视差平面中的各候选像素点与目标像素点的目标代价值，对初始视差平面进行至少一次迭代更新操作，直至满足预设迭代终止条件，得到目标视差平面；
根据目标图像的大小、以目标像素点为中心，在目标视差平面中截取参考图像。
本申请实施例中提供了一种可能的实现方式，上述迭代更新操作包括：
确定目标像素点的比对像素点所处的比对视差平面；其中，比对像素点包括与目标像素点空间相邻的像素点、目标像素点的同名点、与目标像素点时序相邻的图像帧中的像素点中的至少一项；
计算比对视差平面中的各比对像素点与目标像素点的比对代价值；
当比对代价值小于目标代价值，基于比对视差平面的参数更新初始视差平面，将更新参数后的初始视差平面作为下一次迭代更新前对应的初始视差平面。
本申请实施例中提供了一种可能的实现方式，上述初始视差平面中的各候选像素点与目标像素点的目标代价值，是基于如下方式得到的：
根据预设的视差值确定目标像素点相对于初始视差平面的同名点；
针对初始视差平面中的每一候选像素点，根据第三差值和第四差值计算候选像素点和同名点的候选代价值；基于第三差值确定候选代价值的权重；其中，第三差值是基于候选像素点和同名点在RGB空间的差值信息得到的；第四差值是基于候选像素点和同名点在初始视差平面中的灰度变化率的差值信息得到的；第三差值与权重负相关；
将各候选像素点对应的候选代价值加权求和，得到目标代价值。
本申请实施例中提供了一种可能的实现方式，上述筛选模块602在基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值时，用于：
分别确定目标像素点和匹配像素点的归一化平面坐标；
获取世界坐标系到目标像素点对应的相机坐标系的第一投影矩阵，和世界坐标系到匹配像素点对应的相机坐标系的第二投影矩阵；
基于归一化平面坐标、第一投影矩阵和第二投影矩阵计算目标像素点的深度值。
本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。
本申请实施例通过确定与目标图像的采集目标相同、且位于不同的视差平面的参考图像，从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，并基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；进而根据各目标像素点的深度值，得到目标图像的深度信息。本申请实施例通过参考图像中的参考像素点与目标像素点的匹配关系，为每一目标像素点筛选相匹配的匹配像素点，以得到各个目标像素点的深度值。本申请实施例实现了目标物的二维图像信息(目标图像信息)至三维图像信息(深度信息)的转换；区别于现有技术中，基于体积大、功耗高的TOF传感器或者结构光传感器获取物体的三维图像信息，本申请实施例通过传统的视觉传感器就可得到三维图像信息，有效降低了三维图像信息的测量成本，提升了用户体验。
本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行上述计算机程序以实现图像处理方法的步骤，与相关技术相比可实现：本申请实施例通过确定与目标图像的采集目标相同、且位于不同的视差平面的参考图像，从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点，并基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；进而根据各目标像素点的深度值，得到目标图像的深度信息。本申请实施例通过参考图像中的参考像素点与目标像素点的匹配关系，为每一目标像素点筛选相匹配的匹配像素点，以得到各个目标像素点的深度值。本申请实施例实现了目标物的二维图像信息(目标图像信息)至三维图像信息(深度信息)的转换；区别于现有技术中，基于体积大、功耗高的TOF传感器或者结构光传感器获取物体的三维图像信息，本申请实施例通过传统的视觉传感器就可得到三维图像信息，有效降低了三维图像信息的测量成本，提升了用户体验。
在一个可选实施例中提供了一种电子设备，如图7所示，图7所示的电子设备70包括：处理器701和存储器703。其中，处理器701和存储器703相连，如通过总线702相连。可选地，电子设备70还可以包括收发器704，收发器704可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器704不限于一个，该电子设备70的结构并不构成对本申请实施例的限定。
处理器701可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器701也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线702可包括一通路，在上述组件之间传送信息。总线702可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线702可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器703可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质，在此不做限定。
存储器703用于存储执行本申请实施例的计算机程序，并由处理器701来控制执行。处理器701用于执行存储器703中存储的计算机程序，以实现前述方法实施例所示的步骤。
其中，电子设备包括但不限于：诸如移动电话、笔记本电脑、PAD等等移动终端以及诸如数字TV、台式计算机等等固定终端。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行时实现如下情况：
获取待处理的目标图像；
针对目标图像中的每一目标像素点，确定目标像素点对应的参考图像；从参考图像内的参考像素点中筛选得到与目标像素点相匹配的匹配像素点；基于目标像素点和匹配像素点的像素信息确定目标像素点的深度值；其中，参考图像与目标图像的采集目标相同、且位于不同的视差平面；
根据各目标像素点的深度值，得到目标图像的深度信息。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。
应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。
以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (10)

1.一种图像处理方法，包括：
获取待处理的目标图像；
针对所述目标图像中的每一目标像素点，确定所述目标像素点对应的参考图像；从所述参考图像内的参考像素点中筛选得到与所述目标像素点相匹配的匹配像素点；基于所述目标像素点和匹配像素点的像素信息确定所述目标像素点的深度值；其中，所述参考图像与目标图像的采集目标相同、且位于不同的视差平面；
根据各所述目标像素点的深度值，得到所述目标图像的深度信息。
2.根据权利要求1所述的方法，其特征在于，所述从所述参考图像内的参考像素点中筛选得到与所述目标像素点相匹配的匹配像素点，包括：
分别确定所述目标像素点与各参考像素点的匹配代价值；其中，所述匹配代价值与目标像素点和参考像素点之间的匹配程度相关联；
将最小的匹配代价值所对应的参考像素点，作为与所述目标像素点相匹配的匹配像素点。
3.根据权利要求2所述的方法，其特征在于，所述分别确定所述目标像素点与各参考像素点的匹配代价值，包括：
针对每一参考像素点，确定所述目标像素点与所述参考像素点在RGB空间的第一差值；并根据所述目标像素点在所述目标图像中的第一灰度变化率，和所述参考像素点在所述参考图像中的第二灰度变化率，确定所述目标像素点和所述参考像素点的灰度变化率的第二差值；
基于所述第一差值和第二差值确定所述目标像素点与各参考像素点的匹配代价值；其中，所述匹配代价值与所述第一差值正相关，所述匹配代价值与所述第二差值正相关。
4.根据权利要求3所述的方法，其特征在于，所述参考图像是基于如下方式得到的：
基于预设的初始视差值确定初始视差平面；其中，所述目标像素点位于所述初始视差平面中；
根据所述初始视差平面中的各候选像素点与所述目标像素点的目标代价值，对所述初始视差平面进行至少一次迭代更新操作，直至满足预设迭代终止条件，得到目标视差平面；
根据所述目标图像的大小、以目标像素点为中心，在所述目标视差平面中截取参考图像。
5.根据权利要求4所述的方法，其特征在于，所述迭代更新操作包括：
确定所述目标像素点的比对像素点所处的比对视差平面；其中，所述比对像素点包括与所述目标像素点空间相邻的像素点、所述目标像素点的同名点、与所述目标像素点时序相邻的图像帧中的像素点中的至少一项；
计算所述比对视差平面中的各比对像素点与所述目标像素点的比对代价值；
当所述比对代价值小于所述目标代价值，基于所述比对视差平面的参数更新所述初始视差平面，将更新参数后的初始视差平面作为下一次迭代更新前对应的初始视差平面。
6.根据权利要求4所述的方法，其特征在于，所述初始视差平面中的各候选像素点与所述目标像素点的目标代价值，是基于如下方式得到的：
根据预设的视差值确定所述目标像素点相对于所述初始视差平面的同名点；
针对所述初始视差平面中的每一候选像素点，根据第三差值和第四差值计算所述候选像素点和所述同名点的候选代价值；基于所述第三差值确定所述候选代价值的权重；其中，所述第三差值是基于所述候选像素点和所述同名点在RGB空间的差值信息得到的；所述第四差值是基于所述候选像素点和所述同名点在所述初始视差平面中的灰度变化率的差值信息得到的；所述第三差值与权重负相关；
将各所述候选像素点对应的候选代价值加权求和，得到所述目标代价值。
7.根据权利要求1所述的方法，其特征在于，所述基于所述目标像素点和匹配像素点的像素信息确定所述目标像素点的深度值，包括：
分别确定所述目标像素点和匹配像素点的归一化平面坐标；
获取世界坐标系到目标像素点对应的相机坐标系的第一投影矩阵，和世界坐标系到匹配像素点对应的相机坐标系的第二投影矩阵；
基于所述归一化平面坐标、第一投影矩阵和第二投影矩阵计算所述目标像素点的深度值。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理的目标图像；
筛选模块，用于针对所述目标图像中的每一目标像素点，确定所述目标像素点对应的参考图像；从所述参考图像内的参考像素点中筛选得到与所述目标像素点相匹配的匹配像素点；基于所述目标像素点和匹配像素点的像素信息确定所述目标像素点的深度值；其中，所述参考图像与目标图像的采集目标相同、且位于不同的视差平面；
深度模块，用于根据各所述目标像素点的深度值，得到所述目标图像的深度信息。
9.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
CN202311015125.7A 2023-08-11 2023-08-11 图像处理方法、装置、电子设备及计算机可读存储介质 Pending CN116912533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311015125.7A CN116912533A (zh) 2023-08-11 2023-08-11 图像处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311015125.7A CN116912533A (zh) 2023-08-11 2023-08-11 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116912533A true CN116912533A (zh) 2023-10-20

Family

ID=88353289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311015125.7A Pending CN116912533A (zh) 2023-08-11 2023-08-11 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116912533A (zh)

Similar Documents

Publication Publication Date Title
JP6657214B2 (ja) 画像ベースの深さ検知システムの精度測定
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN108230384A (zh) 图像深度计算方法、装置、存储介质和电子设备
JP5809607B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2022017779A2 (en) Map for augmented reality
WO2023169283A1 (zh) 双目立体全景图像的生成方法、装置、设备、存储介质和产品
CN113220251A (zh) 物体显示方法、装置、电子设备及存储介质
CN113724391A (zh) 三维模型构建方法、装置、电子设备和计算机可读介质
CN108305281A (zh) 图像的校准方法、装置、存储介质、程序产品和电子设备
Mulligan et al. Stereo-based environment scanning for immersive telepresence
KR20190001896A (ko) Vr에서의 깊이 계층 이미지 표시장치 및 방법
CN109816791B (zh) 用于生成信息的方法和装置
Baričević et al. User-perspective AR magic lens from gradient-based IBR and semi-dense stereo
CN114815286B (zh) 全视差三维光场显示系统的参数确定方法、装置及设备
CN115937299B (zh) 在视频中放置虚拟对象的方法及相关设备
CN116912533A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114879377A (zh) 水平视差三维光场显示系统的参数确定方法、装置及设备
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
CN113592990A (zh) 针对二维图像的三维效果生成方法、装置、设备及介质
Xu et al. Depth prediction from a single image based on non-parametric learning in the gradient domain
US20240137481A1 (en) Method And Apparatus For Generating Stereoscopic Display Contents
CN113592875B (zh) 数据处理方法、图像处理方法、存储介质及计算设备
CN117557711B (zh) 可视域的确定方法、装置、计算机设备、存储介质
CN116681818B (zh) 新视角重建方法、新视角重建网络的训练方法及装置
CN112750195B (zh) 目标物体的三维重建方法和装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination