CN113256699B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及计算机视觉技术，提供了一种图像处理方法、装置、计算机设备和存储介质。其中方法包括：获取第一视角图像中各个第一像素点所对应的第一像素特征，获取第二视角图像中各个第二像素点所对应的第二像素特征；从第二像素点对应的第二像素特征中，确定与第一像素点对应的极线像素点所对应的极线像素特征；基于第一像素特征与极线像素特征得到的极线特征相似度得到极线像素特征所对应的极线特征关注度；基于极线特征关注度对第一极线像素特征进行特征关注处理，得到第一关注特征；将第一关注特征与第一像素特征进行融合，得到融合像素特征；基于融合像素特征以及第二像素特征得到图像视差。采用本方法能够提高图像视差准确性。

Description

图像处理方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，出现了立体匹配（Stereo Vision）技术，立体匹配通过利用成像设备从不同的位置获取物体的图像，通过确定被拍摄物体的同一物理点在图像上的对应投影位置来得到图像之间的图像视差。

传统技术中，通过从两幅图像上提取特征，基于两幅图像上隐含的像素特征匹配关系来确定视差，这种方式提取到的特征所包含的信息少，导致得到的图像视差的准确性低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高图像视差准确性的图像处理方法、装置、计算机设备和存储介质。

一种图像处理方法，所述方法包括：获取针对目标场景进行拍摄得到的第一视角图像和第二视角图像；获取所述第一视角图像中各个第一像素点所对应的第一像素特征，获取所述第二视角图像中各个第二像素点所对应的第二像素特征；从所述第二像素点对应的第二像素特征中，确定与所述第一像素点对应的极线像素点所对应的第一极线像素特征；基于所述第一像素特征与所述第一极线像素特征得到第一极线特征相似度，基于所述第一极线特征相似度得到所述第一极线像素特征所对应的第一极线特征关注度；基于所述第一极线特征关注度对所述第一极线像素特征进行特征关注处理，得到所述第一极线像素特征对应的第一关注特征；将所述第一关注特征与所述第一像素特征进行融合，得到所述第一像素点对应的融合像素特征；基于所述第一像素点对应的融合像素特征以及所述第二像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差。

一种图像处理装置，所述装置包括：图像获取模块，用于获取针对目标场景进行拍摄得到的第一视角图像和第二视角图像；特征获取模块，用于获取所述第一视角图像中各个第一像素点所对应的第一像素特征，获取所述第二视角图像中各个第二像素点所对应的第二像素特征；极线确定模块，用于从所述第二像素点对应的第二像素特征中，确定与所述第一像素点对应的极线像素点所对应的第一极线像素特征；关注度确定模块，用于基于所述第一像素特征与所述第一极线像素特征得到第一极线特征相似度，基于所述第一极线特征相似度得到所述第一极线像素特征所对应的第一极线特征关注度；特征关注模块，用于基于所述第一极线特征关注度对所述第一极线像素特征进行特征关注处理，得到所述第一极线像素特征对应的第一关注特征；特征融合模块，用于将所述第一关注特征与所述第一像素特征进行融合，得到所述第一像素点对应的融合像素特征；图像视差确定模块，用于基于所述第一像素点对应的融合像素特征以及所述第二像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取针对目标场景进行拍摄得到的第一视角图像和第二视角图像；获取所述第一视角图像中各个第一像素点所对应的第一像素特征，获取所述第二视角图像中各个第二像素点所对应的第二像素特征；从所述第二像素点对应的第二像素特征中，确定与所述第一像素点对应的极线像素点所对应的第一极线像素特征；基于所述第一像素特征与所述第一极线像素特征得到第一极线特征相似度，基于所述第一极线特征相似度得到所述第一极线像素特征所对应的第一极线特征关注度；基于所述第一极线特征关注度对所述第一极线像素特征进行特征关注处理，得到所述第一极线像素特征对应的第一关注特征；将所述第一关注特征与所述第一像素特征进行融合，得到所述第一像素点对应的融合像素特征；基于所述第一像素点对应的融合像素特征以及所述第二像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取针对目标场景进行拍摄得到的第一视角图像和第二视角图像；获取所述第一视角图像中各个第一像素点所对应的第一像素特征，获取所述第二视角图像中各个第二像素点所对应的第二像素特征；从所述第二像素点对应的第二像素特征中，确定与所述第一像素点对应的极线像素点所对应的第一极线像素特征；基于所述第一像素特征与所述第一极线像素特征得到第一极线特征相似度，基于所述第一极线特征相似度得到所述第一极线像素特征所对应的第一极线特征关注度；基于所述第一极线特征关注度对所述第一极线像素特征进行特征关注处理，得到所述第一极线像素特征对应的第一关注特征；将所述第一关注特征与所述第一像素特征进行融合，得到所述第一像素点对应的融合像素特征；基于所述第一像素点对应的融合像素特征以及所述第二像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差。

上述图像处理方法、装置、计算机设备和存储介质，通过获取第一视角图像中各个第一像素点所对应的第一像素特征，获取第二视角图像中各个第二像素点所对应的第二像素特征，从第二像素点对应的第二像素特征中，确定与第一像素点对应的极线像素点所对应的第一极线像素特征，基于第一像素特征与第一极线像素特征得到第一极线特征相似度，基于第一极线特征相似度得到第一极线像素特征所对应的第一极线特征关注度，基于第一极线特征关注度对第一极线像素特征进行特征关注处理，得到第一极线像素特征对应的第一关注特征，将第一关注特征与第一像素特征进行融合，得到第一像素点对应的融合像素特征，在基于第一像素点对应的融合像素特征以及第二像素特征得到第一视角图像与第二视角图像之间的图像视差时，由于融合像素特征是融合第一关注特征与第一像素特征得到的，因此包含了极线上表示像素特征相似性的信息，增强了极线上像素匹配特征，从而可以提取到目标场景中与深度有关的信息，使得得到的图像视差更加准确。

附图说明

图1A为一些实施例中图像处理方法的应用环境图；

图1B为一些实施例中根据第一视角图像和第二视角图像得到的视差图的示意图；

图2为一些实施例中图像处理方法的流程示意图；

图3为一个极线的确定原理示意图；

图4为一些实施例中得到图像视差的流程示意图；

图5为一些实施例中确定搜索区域和参考区域的示意图；

图6为一些实施例中图像处理方法的整体流程示意图；

图7为一些实施例中图像内部极线特征转换示意图；

图8为一些实施例中图像间极线特征转换示意图；

图9为一些实施例中立体匹配模型的训练过程示意图；

图10为一些实施例中图像处理装置的结构框图；

图11为一些实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例所提供的图像处理方法，其中第一视角图像、第二视角图像及第一视角图像与第二视角图像之间的图像视差均可保存于区块链上。区块链可对保存的第一视角图像、第二视角图像及第一视角图像与第二视角图像之间的图像视差生成查询码，将生成的查询码返回至终端，基于该查询码，可对第一视角图像、第二视角图像及第一视角图像与第二视角图像之间的图像视差进行查询。

本申请实施例所提供的图像处理方法或装置，其中多个服务器可组成为一区块链，而服务器为区块链上的节点。

本申请实施例提供的方案涉及人工智能的计算机视角、机器学习等技术，其中：

人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视角技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

计算机视角技术(Computer Vision, CV)计算机视角是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视角，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视角研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视角技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景。

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请涉及的计算机视角、机器学习等技术具体通过如下实施例进行说明：

本申请提供的图像处理方法，可以应用于如图1A所示的应用环境中。其中，运动设备102通过网络与服务器104进行通信。其中，运动设备102指的是可以自主运动的设备，运动设备可以是各种交通工具、机器人等等，运动设备102安装有第一摄像机和第二摄像机。服务器104可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。

本申请提供的图像处理方法旨在获取针对目标场景进行拍摄得到的两张图像来确定图像视差，进而可以根据图像视差来确定目标场景中目标对象的深度信息。参考图1B，以第一摄像机和第二摄像机为双目摄像机为例，第一摄像机对目标场景进行拍摄得到第一视角图像（a），第二摄像机对目标场景进行拍摄得到第二视角图像（b），获取第一视角图像中各个第一像素点所对应的第一像素特征，获取第二视角图像中各个第二像素点所对应的第二像素特征，从第二像素点对应的第二像素特征中，获取与第一像素点对应的极线像素点所对应的第一极线像素特征，基于第一像素特征与第一极线像素特征得到第一极线特征相似度，基于第一极线特征相似度得到第一极线像素特征所对应的第一极线特征关注度，基于第一极线特征关注度对第一极线像素特征进行特征关注处理，得到第一极线像素特征对应的第一关注特征，将第一关注特征与第一像素特征进行融合，得到第一像素点对应的融合像素特征，基于第一像素点对应的融合像素特征以及第二像素特征得到第一视角图像与第二视角图像之间的图像视差，图像视差包括各个像素位置所对应的视差值，视差值作为像素值以颜色进行显示即得到视差图（c）。

在一些实施例中，如图2所示，提供了一种图像处理方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于运动设备，还可以应用于包括运动设备和服务器的系统，并通过运动设备和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤202，获取针对目标场景进行拍摄得到的第一视角图像和第二视角图像。

其中，第一视角图像和第二视角图像可以是由双目摄像机拍摄得到的图像，或者两个独立的摄像机在同一时刻所采集到的关于同一时空场景的图像。其中的双目摄像机是指包含两个平行摄像头的摄像机，两个摄像头的焦距一致，拍摄方向一致，高度一致，两个摄像头之间的距离固定不变。

第一视角图像和第二视角图像表示针对目标场景在不同视角采集到的图像。在一些实施例中，第一视角图像和第二视角图像可以为左视角图像和右视角图像。例如，第一视角图像可以是左视角图像，第二视角图像可以是右视角图像；或者第一视角图像可以是右视角图像，第二视角图像可以是左视角图像，但本申请实施例对第一视角图像和第二视角图像的具体实现不作限定。目标场景包括自动驾驶场景、机器人跟踪场景、机器人定位场景等。目标场景中可以包括一个或多个目标对象，目标对象指的是目标场景中被拍摄的对象。

具体地，第一视角图像和第二视角图像可以实时拍摄得到的图像，那么对目标场景进行拍摄的摄像机所在的运动设备可以将拍摄得到的第一视角图像和第二视角图像发送至服务器。或者，第一视角图像和第二视角图像还可以是存储在存储器中的图像，那么在需要确定图像视差时，服务器可以直接从存储器中读取所需的第一视角图像和第二视角图像。当然，获取第一视角图像和第二视角图像还可以包括其他可能的获取方式，例如从互联网下载等，本申请实施例对此不做限制。

步骤204，获取第一视角图像中各个第一像素点所对应的第一像素特征，获取第二视角图像中各个第二像素点所对应的第二像素特征。

其中，像素点所对应的像素特征可包括纹理特征、颜色特征、梯度特征或者空间关系特征的至少一种等。纹理特征描述了图像中各目标的表面性质。颜色特征描述了图像中各目标的颜色。梯度特征描述了图像中各目标的形状和结构。空间关系特征是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。

具体地，服务器可以对第一视角图像进行特征提取，得到第一视角图像中各个第一像素点所对应的第一像素特征，对第二视角图像进行特征提取，得到第二视角图像中各个第二像素点所对应的第一像素特征。服务器在提取得到像素特征后，还可以对像素特征进行进一步处理，例如进行局部抑制滤波、进行特征关注处理等等。

在一些实施例中，服务器可以将第一视角图像和第一视角图像分别输入特征提取模型中，通过特征提取模型进行特征提取，得到第一视角图像中各个第一像素点所对应的第一像素特征以及第二视角图像中各个第二像素点所对应的第一像素特征。其中，特征提取模型指的是可以进行特征提取的机器学习模型，在具体实施时，特征提取模型具体可以采用深度卷积神经网络实现，例如可采用VGGnet（(Visual Geometry Group，计算机视角组）系列神经网络、ResNet（残差网络）系列神经网络等等，其中，VGGnet系列神经网络是由牛津大学计算机视角组（Visual Geometry Group）和Google DeepMind公司的研究员一起研发出的深度卷积神经网络，由5层卷积层、3层全连接层、softmax输出层构成，层与层之间使用max-pooling（最大化池）分开，所有隐层的激活单元都采用ReLU函数，ResNet系列神经网络是由残差块（Residual block）构建的神经网络。

在一些实施例中，服务器可以将第一视角图像输入特征提取模型中，通过特征提取模型的特征提取层进行特征提取，得到第一视角图像各个第一像素点的中间像素特征，各个中间像素特征形成中间特征图，将中间特征图分别输入特征提取模型的多个尺寸依次减小的池化层中，通过各个池化层分别对中间特征图进行划分并对划分得到的子特征图进行池化操作，得到各个子特征图的池化特征，合并各个子特征图的池化特征，得到第一视角图像对应的目标特征图，目标特征图中包括得到各个第一像素点所对应的第一提取像素特征。

步骤206，从第二像素点对应的第二像素特征中，确定与第一像素点对应的极线像素点所对应的第一极线像素特征。

其中，极线是指一张图像上的像素点在另一个视角图像上可能的投影所在的直线。一个像素的极线像素点指的是位于该像素对应的极线上的像素点。极线像素特征指的是极线上的像素点所对应的像素特征。

具体地，对于第一视角图像中的每一个第一像素点，服务器从第二视角图像中各个第二像素点中确定该第一像素点对应的极线像素点，将极线像素点对应的像素特征确定为该第一像素点所对应的第一极线像素特征。

在一些实施例中，当第一视角图像和第二视角图像是基于双目摄像机或者两个水平标定好的相机在同一时刻拍摄得到时，由于第一视角图像的像素点只可能与第二视角图像上相同高度的像素点对应，因此对于第一像素点，服务器可以从第二视角图像中确定与该第一像素点处于相同水平高度的直线上的像素点，作为该第一像素点的极线像素点。

在其他一些实施例中，当第一视角图像和第二视角图像是采用非水平标定的两个相机在同一时刻拍摄得到时，可以确定第一视角图像和第二视角图像对应的基础矩阵，从而基于基础矩阵得到第一像素点在对第二视角图像中对应的极线。

参考图3，为一些实施例中极线的确定原理示意图，如图3所示，在物理空间的某一位置处存在一个三维点X，分别在第一视角图像302和第二视角图像304中被观测采集到，在第一视角图像302中的投影点为XL，在第二视角图像304中的投影点为XR，第一视角图像302的采集点光心为OL，第二视角图像304的采集点光心为OR。根据多视图几何的对极几何约束，从OL到三维点X的射线在第二视角图像上的投影为一条直线，并且XR必然落在该直线上，该直线称为极线。为了估计第一视角图像302中每个点在第二视角图像304中对应的极线，需要通过关键点匹配估计出基础矩阵(Fundamental Matrix)。

基础矩阵用于表示第一视角图像在第二视角图像中的极线约束情况，从而根据基础矩阵和第一像素点，能够直接得到该第一像素点在第二视角图像内对应的极线。其中，基础矩阵的构建过程中，首先针对第一视角图像中的第一像素点，在第一视角图像中确定对应匹配的第二像素点。在确定对应匹配的第二像素点时，确定与该第一像素点匹配度最高的一个第二像素点，或确定与该第一像素点匹配度最高的多个第二像素点，如：两个或更多第二像素点。根据第一像素点和第二像素点的匹配情况，确定第一视角图像和第二视角图像对应的基础矩阵，该基础矩阵即用于表示第一视角图像在第二视角图像中的极线约束情况。针对第一视角图像中的第一像素点，基于基础矩阵在第二视角图像中进行极线搜索，得到对应的极线。

步骤208，基于第一像素特征与第一极线像素特征得到第一极线特征相似度，基于第一极线特征相似度得到第一极线像素特征所对应的第一极线特征关注度。

其中，极线特征相似度指的一张图像上的像素特征与该像素特征在另外一张图像的极线上的像素特征的特征相似度，特征相似度用于反映特征间的匹配程度。

具体地，服务器可以将单个像素点对应的像素特征作为像素特征单元，那么对于第一视角图像中每一个第一像素点，服务器可以计算该第一像素点对应的第一像素特征与该像素点在第二视角图像中的各个极线像素点的第二像素特征之间的特征相似度，将各个特征相似度分别作为各个极线像素点对应的第一极线特征相似度。其中，在计算特征相似度时，可通过计算第一像素点对应的第一像素特征与极线像素点的第二像素特征之间的内积来得到相似度。

举例说明，假设第一视角图像中的第一像素点对应的第一像素特征为

，其在第二视角图像中对应的极线上包括100个像素点，这些像素点对应的第二像素特征分别为

、

、……、

，则得到的极线特征相似度为：

。

在其他一些实施例中，为提高相似度计算效率，服务器可以对第一视角图像和第二视角图像分别进行图像切分，在计算相似度时，以第一视角图像中的图像块对应的图像块特征作为像素特征单元，计算该像素特征单元与第二视角图像中该图像块对应的极线图像块之间的特征相似度，将各个特征相似度分别作为各个极线图像块的第一极线特征相似度。

在得到第一极线特征相似度后，对第一极线特征相似度进行归一化处理，基于归一化处理后的第一极线特征相似度得到第一极线像素特征所对应的第一极线特征关注度。其中，第一极线特征关注度用于表征第一极线像素特征对其对应的第一像素点的第一像素特征的关注程度。极线特征相似度与特征关注度成正相关关系。特征相似度可以反映特征间的匹配程度，那么特征关注度同样可以反映特征间的匹配程度。

在一些实施例中，服务器可以将第一极线特征相似度进行归一化处理后直接作为第一极线像素特征所对应的特征关注度。在其他实施例中，可以对归一化处理后的第一极线特征相似度划分区间范围，每个区间对应一个特征关注度，那么服务器在得到某个第一极线像素特征对应的第一极线特征相似度后，确定该第一极线特征相似度所属的区间范围，将该区间范围对应的特征关注度作为该第一极线像素特征所对应的特征关注度。

举例说明，假设对极线特征相似度划分得到的区间范围为（0，0.3）、（0.3， 0.6）、（0.6，0.8）、（0.8、1），其中，（0，a1）对应的特征关注度为w1，（a1,a2）对应的特征关注度为w2、（a2,a3）对应的特征关注度为w3、（a3、1）对应的特征关注度为w3，服务器基于第一像素特征与第一极线像素特征得到的第一极线特征相似度经过归一化处理后为0.45，则得到第一极线像素特征所对应的特征关注度为w2。

步骤210，基于第一极线特征关注度对第一极线像素特征进行特征关注处理，得到第一极线像素特征对应的第一关注特征。

其中，特征关注处理指的是从特征中确定关注特征的过程。特征关注度越高，说明对该特征越关注。可以理解，由于特征关注度是基于极线的几何关系得到的，通过特征关注处理，可以关注到极线上相似度强的像素点。

具体地，由于第一极线特征关注度用于表征第一极线像素特征对其对应的第一像素点的第一像素特征的关注程度，那么对于每一个第一极线像素特征，服务器将该第一极线像素特征所对应的第一极线特征关注度作为权重与该第一极线像素特征进行相乘，从而得到该第一极线像素特征对应的第一关注特征。

步骤212，将第一关注特征与第一像素特征进行融合，得到第一像素点对应的融合像素特征。

其中，融合是指通过一个数据表示多于一个数据，并包含这多于一个数据表达的信息。融合具体可以是组合、拼接或者按权重加和等。

具体地，服务器将第一关注特征与第一像素特征进行融合，得到第一像素点对应的融合像素特征。

在一些实施例中，服务器可以将第一关注特征与第一像素点对应的第一像素特征在对应特征通道的特征值进行相加，得到第一像素点对应的融合像素特征。举例说明，假设第一关注特征为（x1,x2,……，xn）, 第一像素点对应的第一像素特征为（y1,y2,……，yn），则将第一关注特征与第一像素特征进行融合，得到第一像素点对应的融合像素特征为（x1+y1,x2+y2,……，xn+y2）。

步骤214，基于第一像素点对应的融合像素特征以及第二像素特征得到第一视角图像与第二视角图像之间的图像视差。

其中，第一视角图像与第二视角图像之间的图像视差可以是第一视角图像对应的图像视差，第一视角图像对应的图像视差包括第一图像中各个像素位置的视差值；第一视角图像与第二视角图像之间的图像视差可以是第二视角图像对应的图像视差，第二视角图像对应的图像视差包括第二图像中各个像素位置的视差值。这里的像素位置指的是像素点在图像中的绝对位置，像素位置例如可以是图像中第三行像素中的第三个像素。像素位置所对应的视差值指的是该像素位置与其所投影的物理点在另外一个视角图像上的投影所在像素位置之间的位置差异。在一些实施例中，当第一视角图像和第二视角图像是基于双目摄像头拍摄得到时，空间中的一个物理点在第一视角图像上的极线和第二视角图像上的投影在同一水平线上，那么像素位置所对应的视差值则指的是该像素位置与其对应的物理点在另外一个视角图像上的投影所在像素位置之间的水平距离。

在一些实施例中，服务器可以确定多个参考视差值，确定各个参考视差值下，第一像素点对应的融合像素特征与对应像素位置的第二像素特征之间的目标匹配代价，基于目标匹配代价确定第一视角图像与第二视角图像之间的图像视差。

在一些实施例中，服务器可以计算各个参考视差值下，第一像素点对应的融合像素特征与对应像素位置的第二像素特征之间的初始匹配代价，基于初始匹配代价进行代价聚合，并进一步通过代价聚合之后的匹配代价矩阵来确定第一视角图像中每一个像素位置对应的视差值。在一些实施例中，可以在每个像素位置的所有参考视差值下的匹配代价值中，选择最小匹配代价值所对应的视差值作为该像素位置所对应的视差值。

其中，代价聚合指的是建立邻接像素位置之间的联系，以一定的准则，如相邻像素应该具有连续的视差值，来对初始匹配代价进行优化，这种优化往往是全局的，每个像素位置在某个视差下的新匹配代价值都会根据其相邻像素在同一视差值或者附近视差值下的匹配代价值来重新计算。在一些实施例中，可以采用扫描线法、动态规划法、SGM（semi-global matching，半全局匹配）算法等方法来对初始匹配代价进行代价聚合。在其他一些实施例中，服务器在得到初始匹配代价后，可以将各个初始匹配代价组成的匹配代价矩阵输入立体匹配模型的代价聚合模块中，通过代价聚合模块进行匹配代价聚合。

在一些实施例中，服务器在得到像素位置所对应的视差值后，可以对视差值组成的视差图进行优化，包括剔除错误视差、适当平滑以及子像素精度优化等，一般采用左右一致性检查（Left-Right Check）算法剔除因为遮挡和噪声而导致的错误视差；采用剔除小连通区域算法来剔除孤立异常点；采用中值滤波（Median Filter）、双边滤波（BilateralFilter）等平滑算法对视差图进行平滑；采用鲁棒平面拟合（Robust Plane Fitting）、亮度一致性约束（Intensity Consistent）、局部一致性约束（Locally Consistent）等方法提高视差图质量。

上述图像处理方法中，通过获取第一视角图像中各个第一像素点所对应的第一像素特征，获取第二视角图像中各个第二像素点所对应的第二像素特征，从第二像素点对应的第二像素特征中，确定与第一像素点对应的极线像素点所对应的第一极线像素特征，基于第一像素特征与第一极线像素特征得到第一极线特征相似度，基于第一极线特征相似度得到第一极线像素特征所对应的第一极线特征关注度，基于第一极线特征关注度对第一极线像素特征进行特征关注处理，得到第一极线像素特征对应的第一关注特征，将第一关注特征与第一像素特征进行融合，得到第一像素点对应的融合像素特征，在基于第一像素点对应的融合像素特征以及第二像素特征得到第一视角图像与第二视角图像之间的图像视差时，由于融合像素特征是融合第一关注特征与第一像素特征得到的，因此包含了极线上表示像素特征相似性的信息，增强极线上像素匹配特征，从而可以提取到目标场景中与深度有关的信息，使得得到的图像视差更加准确。

在一些实施例中，基于第一像素特征以及第二像素点对应的融合像素特征得到第一视角图像与第二视角图像之间的图像视差包括：

步骤402，从第一像素点对应的像素特征中，确定与第二像素点对应的极线像素点所对应的第二极线像素特征。

其中，第一像素点对应的像素特征包括第一像素点对应的融合像素特征或者第一像素点对应的第一像素特征中的至少一个。

具体地，对于第二视角图像中的第二像素点，服务器从第一视角图像中各个第一像素点中确定该第二像素点对应的极线上的第一像素点，将确定的第一像素点作为极线像素点，则该第一像素点对应的像素特征即为该第二像素点所对应的第二极线像素特征。

在一些实施例中，当第一视角图像和第二视角图像是基于双目摄像机或者两个水平标定好的相机在同一时刻拍摄得到时，由于第一视角图像的像素点只可能与第二视角图像上相同高度的像素点对应，因此对于第二像素点，服务器可以从第一视角图像中确定处于与该第二像素点相同水平高度的直线上的第一像素点，作为该第二像素点的极线像素点。

在其他一些实施例中，当第一视角图像和第二视角图像是采用非水平标定的两个相机在同一时刻拍摄得到时，可以确定第一视角图像和第二视角图像对应的基础矩阵，从而基于基础矩阵得到第二像素点在对第一视角图像中对应的极线。

步骤404，基于第二像素特征与第二极线像素特征得到第二极线特征相似度，基于第二极线特征相似度得到第二极线像素特征所对应的第二极线特征关注度。

具体地，服务器可以将单个像素点对应的像素特征作为像素特征单元，那么对于第二视角图像中的第二像素点，服务器可以计算该第二像素点对应的第二像素特征与该第二像素点在第一视角图像中的各个极线像素点的第二极线像素特征之间的特征相似度，将各个特征相似度分别作为各个极线像素点对应的第二极线特征相似度。其中，在计算相似度时，可通过计算第二像素点对应的第二像素特征与第二极线像素特征之间的内积来得到相似度。

在其他一些实施例中，为提高相似度计算效率，服务器可以对第一视角图像和第二视角图像分别进行图像切分，在计算相似度时，以第二视角图像中的图像块对应的图像块特征作为像素特征单元，计算该像素特征单元与第一视角图像中该图像块对应的极线图像块之间的特征相似度，将该相似度作为各个极线图像块的第二极线特征相似度。

在得到第二极线特征相似度后，服务器对第二极线特征相似度进行归一化处理，基于归一化处理后的第二极线特征相似度得到第二极线像素特征所对应的第二极线特征关注度。其中，第二极线特征关注度用于表征第二极线像素特征对其对应的第二像素点的第二像素特征的关注程度。极线特征相似度与特征关注度成正相关关系。特征相似度可以反映特征间的匹配程度，那么特征关注度同样可以反映特征间的匹配程度。

在一些实施例中，服务器可以将第二极线特征相似度进行归一化处理后直接作为第二极线像素特征所对应的特征关注度。在其他实施例中，可以对归一化处理后的第二极线特征相似度划分区间范围，每个区间对应一个特征关注度，那么服务器在得到某个第二极线像素特征对应的第二极线特征相似度后，确定该第二极线特征相似度所属的区间范围，将该区间范围对应的特征关注度作为该第二极线像素特征所对应的特征关注度。

步骤406，基于第二极线特征关注度对第二极线像素特征进行特征关注处理，得第二极线像素特征对应的第二关注特征。

具体地，由于第二极线特征关注度用于表征第二极线像素特征对其对应的第二像素点的第二像素特征的关注程度，那么对于每一个第二极线像素特征，服务器将该第二极线像素特征所对应的特征关注度作为权重与该第二极线像素特征进行相乘，从而得到该第二极线像素特征对应的第二关注特征。

步骤408，将第二关注特征与第二像素特征进行融合，得到第二像素点所对应的融合像素特征。

具体地，服务器可以将第二关注特征与第二像素特征进行融合，得到第二像素点对应的融合像素特征。

步骤410，基于第一像素点对应的融合像素特征以及第二像素点对应的融合像素特征得到第一视角图像与第二视角图像之间的图像视差。

在一些实施例中，服务器可以确定多个参考视差值，确定各个参考视差值下，第一像素点对应的融合像素特征与对应像素位置的第二像素点所对应的融合像素特征之间的目标匹配代价，基于目标匹配代价确定第一视角图像与第二视角图像之间的图像视差。

本实施例中，由于第一像素点对应的融合像素特征中融合了第二视角图像中第一像素点所对应的极线像素点的匹配信息，同时第二像素点对应的融合像素特征中融合了第一视角图像中的第二像素点所对应的极线像素点的匹配信息，而匹配信息为与深度有关的信息，因此，基于融合像素特征可以得到更加准确的视差值。

在一些实施例中，第一视角图像与第二视角图像之间的图像视差包括各个像素位置所对应的视差值；基于第一像素点对应的融合像素特征以及第二像素点对应的融合像素特征得到第一视角图像与第二视角图像之间的图像视差包括：确定参考视差值集合；参考视差值集合中包括多个参考视差值；确定各个参考视差值下，第一像素点对应的融合像素特征与对应像素位置的第二像素点所对应的融合像素特征之间的目标匹配代价；基于目标匹配代价确定参考视差值的视差权重，参考视差值的视差权重与对应的目标匹配代价成负相关关系；基于参考视差值以及参考视差值对应的视差权重得到各个像素位置所对应的视差值。

其中，参考视差值集合中包括多个参考视差值，参考视差值为可能的视差值。参考视差值集合具体可以包括多个连续的视差值，这些连续的视差值组成参考视差范围。例如，参考视差值可以为0、1、2、3、……、192，这些参考视差值组成视差搜索搜索范围[0，192]。匹配代价用于衡量两个像素点之间的相关性。两个像素点无论是否为同名点，都可以计算匹配代价，代价越小则说明相关性越大，是同名点的概率也越大。同名点指的是两个像素点对应物理空间中同一个点。

需要说明的是，第一视角图像与第二视角图像之间的图像视差包括各个像素位置所对应的视差值，这里的视差值可以是第一视角图像中各个像素位置所对应的视差值，也可以是第二视角图像中各个像素位置所对应的视差值。本实施例中以视差值为第一视角图像中各个像素位置所对应的视差值为例来说明得到图像视差的步骤。第一像素点对应像素位置的第二像素点指的是跟第一像素点像素位置一致的第二像素点。

对于每一个参考视差值，服务器确定该参考视差值下，第一像素点对应的融合像素特征与对应像素位置的第二像素点所对应的融合像素特征之间的目标匹配代价，那么在该参考视差值下，第一视角图像中每个第一像素点都对应一个目标匹配代价。可以理解，当在参考视差值下，某个第一像素点不存在对应像素位置的第二像素点，则确定第一像素点对应的像素位置在该参考视差值下的目标匹配代价为0。

服务器进一步将目标匹配代价进行归一化处理，基于归一化处理后的目标匹配代价确定该参考视差值的视差权重，从而参考视差值对应于每一个第一像素点对应的像素位置都有一个视差权重，服务器进一步基于各个像素位置对应于各个参考视差值的视差权重对参考视差值进行加权求和得到各个像素位置所对应的视差值。视差权重的确定方法可参考上文实施例中基于极线特征相似度得到第一像素特征所对应的特征关注度中的描述，本申请在此不赘述。

考虑到匹配代价衡量的是像素之间的相关性，在基于匹配代价确定视差权重时，参考视差值的视差权重与对应的目标匹配代价是成负相关关系的。在具体实施时，像素位置所对应的视差值可通过以下公式（1）进行计算：

其中，

为参考视差值，

为像素位置所对应的视差值，

为在参考视差值下的目标匹配代价，D为参考视差值取值的最大值。

上述实施例中，参考视差值集合中包括多个参考视差值，各个参考视差值基于目标匹配代价得到视差权重，最后基于参考视差值以及参考视差值对应的视差权重得到各个像素位置所对应的视差值，由于综合考虑了各个可能的参考视差，得到的视差值更加准确。

在一些实施例中，确定各个参考视差值下，第一像素点对应的融合像素特征与对应像素位置的第二像素点所对应的融合像素特征之间的目标匹配代价包括：基于参考视差值对第一像素点对应的融合像素特征与对应像素位置的第二像素点对应的融合像素特征进行匹配代价计算，得到参考视差值下各个像素位置所对应的中间匹配代价，参考视差值下各个像素位置所对应的中间匹配代价组成匹配代价图；从匹配代价图中确定参考区域，根据参考区域确定搜索区域；计算参考区域与搜索区域之间的区域相似度，基于区域相似度对搜索区域对应的中间匹配代价进行调整，得到调整后的匹配代价图；将调整后的匹配代价图中各个像素位置所对应的匹配代价确定为各个像素位置所对应的目标匹配代价。

其中，参考区域指的是作为调整标准的区域，而搜索区域指的是根据参考区域在图像中进行搜索得到，以参考区域作为标准的待进行调整区域。

具体地，对于每一个参考视差值下，服务器基于该参考视差值对每一个第一像素点对应的融合像素特征与对应像素位置的第二像素点对应的融合像素特征进行匹配代价计算，得到参考视差值下各个像素位置所对应的中间匹配代价，将各个中间匹配代价作为对应像素位置的像素值组成匹配代价图。

服务器进一步可以在匹配代价图的中心位置处确定预设大小的区域作为参考区域，预设大小可以根据需要进行设定，根据进而可以从匹配代价图中确定多个与参考区域大小相同的区域作为搜索区域。

在一些实施例中，服务器可以将匹配代价图中所有与参考区域大小相同的区域确定为搜索区域。举例说明，如图5所示，为一些实施例中，确定搜索区域和参考区域的示意图。如图5中的（a）图所示，在图像的中心位置处确定参考区域（图5中的灰色区域），如图的（b）~（i）图所示，在图像的各个位置处分别确定与参考区域大小相同的区域作为搜索区域。实际应用中，可以将参考区域的位置固定，将图像分别往各个方向移动，将与固定区域重叠的部分作为搜索区域。

服务器进一步计算参考区域与每一个搜索区域之间的区域相似度，基于区域相似度确定搜索区域对应的中间匹配代价的调整权重，将调整权重与对应的中间匹配代价相乘，得到调整后的中间匹配代价，从而得到调整后的匹配代价图，将调整后的匹配代价图中各个像素位置所对应的匹配代价确定为各个像素位置所对应的目标匹配代价。

在一些实施例中，服务器在基于参考视差值对第一像素点对应的融合像素特征与对应像素位置的第二像素点对应的融合像素特征进行匹配代价计算时，可首先对第一像素点对应的融合像素特征与对应像素位置的第二像素点对应的融合像素特征计算初始匹配代价，接着基于计算得到的初始匹配代价进行代价聚合，得到参考视差值下各个像素位置所对应的中间匹配代价。

上述实施例中，通过确定参考区域和搜索区域，基于参考区域和搜索区域之间的相似度对搜索区域的中间匹配代价进行调整，能有效降噪，使得低纹理区域的视差估计更加平滑，边缘特征更加明显，减少因数据场景不同而导致的局部特征影响。

在一些实施例中，基于参考视差值对第一像素点对应的融合像素特征与对应像素位置的第二像素点对应的融合像素特征进行匹配代价计算包括：将第一像素点对应的融合像素特征所组成的第一融合像素特征图作为固定特征图，将第二像素点对应的融合像素特征所组成的第二融合像素特征图作为移动特征图；将第一视角图像相对于第二视角图像的视觉偏移方向作为移动方向；根据视觉偏移方向将移动特征图沿着极线移动参考视差值所对应的距离；计算固定特征图与移动后的移动特征图中各个重叠像素点所对应的匹配代价，得到参考视差值下各个像素位置所对应的中间匹配代价。

其中，第一视角图像相对于第二视角图像的视觉偏移方向指的是第一视角图像中的像素点对应的像素位置相对于该像素点在第二视角图像中的投影像素点对应的像素位置的偏移方向。举例说明，如图1B所示，假设第一视角图像为左视角图像如图1B中的（a）图所示，第二视角图像为右视角图像如图1B中的（b）图所示，由（a）图和（b）图可以看出，目标对象106对应的像素点在（a）图中所处的位置在图像的右侧，目标对象106对应的像素点在（b）图中所处的位置在图像的左侧，那么目标对象106对应的像素点在（a）图中所处的位置相对于其在（b）图中所处的位置往右偏移。

具体地，服务器将第一像素点对应的融合像素特征作为对应的像素位置的像素值组成第一融合像素特征图，将第二像素点对应的融合像素特征作为对应的像素位置的像素值组成第二融合像素特征图，将第一融合像素特征图作为固定特征图，将第二融合像素特征图作为移动特征图，将第一视角图像相对于第二视角图像的视觉偏移方向作为移动方向，根据视觉偏移方向将移动特征图沿着极线移动参考视差值所对应的距离。这里参考视差值对应的距离指的是将参考视差值作为移动停止时移动特征图和固定特征图之间的距离，因此，将移动特征图沿着极线移动时，具体的移动距离可根据移动特征图当前所处的位置确定，即移动的距离为参考视差值与移动特征图当前所处的位置与固定特征图之间的距离的差值，那么假设移动特征图当前所处的位置与固定特征图重叠时，移动的距离即为参考视差图。

举例说明，假设参考视差集合中包括多个连续的参考视差值组成视差搜索范围[0,192]，则可以将移动特征图可以从与固定特征图重叠的位置处开始移动，每次移动一个像素，每次移动停止时移动特征图与固定特征图之间的像素距离对应视差搜索范围内一个参考视差值。

服务器进一步计算固定特征图与移动后的移动特征图中各个重叠像素点所对应的匹配代价，得到参考视差值下各个像素位置所对应的中间匹配代价。可以理解的是，对于固定特征图中与移动后的移动特征图中任意一个像素点都不重叠的像素点，其对应的匹配代价为0。

上述实施例中，通过固定第一融合像素特征图移动第二融合像素特征图的方式来计算匹配代价，由于第二融合像素特征图是沿着极线且根据第一视角图像相对于第二视角图像的视觉偏移方向移动，可以方便快捷地得到参考视差值下各个像素位置所对应的中间匹配代价。

在一些实施例中，从第二像素点对应的第二像素特征中，获取与第一像素点对应的极线像素点所对应的第一极线像素特征包括：对第一视角图像和第二视角图像分别进行图像切分，得到第一视角图像对应的多个第一图像块以及第二视角图像对应的多个第二图像块；从第二视角图像对应的第二图像块中，确定第一像素点所在的第一图像块所对应的极线图像块，将极线图像块对应的第二像素特征作为第一像素点所对应的第一极线像素特征。

其中，第一像素点所在的第一图像块所对应的极线图像块指包含第一像素点所在的第一图像块中各个像素点对应的极线像素点的第二图像块。

具体地，服务器可以按照相同的方式对第一视角图像和第二视角图像分别进行图像切分，得到第一视角图像对应的多个第一图像块以及第二视角图像对应的多个第二图像块，从第二视角图像对应的第二图像块中，获取与第一像素点对应的极线像素点所在的第二图像块，将该第二图像块确定为第一像素点所在的第一图像块所对应的极线图像块，将极线图像块中的第二像素特征作为第一像素点所对应的极线像素特征。

举例说明，假设第一视角图像和第二视角图像为双目摄像头拍摄得到的图像，则第一视角图像和第二视角图像中每一行像素均为一条极线，服务器可以将每一条极线上的像素切分为N份（N大于或等于2）。

在一些实施例中，基于第一像素特征与第一像素点所对应的极线像素特征得到极线特征相似度，基于极线特征相似度得到第一像素特征所对应的特征关注度包括：将第一图像块对应的各个第一像素特征进行拼接，得到第一拼接特征；将极线图像块对应的第二像素特征进行拼接，得到第二拼接特征；计算第一拼接特征与第二拼接特征之间的特征相似度，作为第一极线特征相似度，基于第一极线特征相似度得到极线图像块对应的特征关注度。

具体地，服务器将第一图像块中的各个第一像素特征按照预设拼接顺序进行拼接，得到第一拼接特征，并将极线图像块中的第二像素特征按照相同顺序进行拼接，得到第二拼接特征，计算第一拼接特征与第二拼接特征之间的特征相似度，将计算得到的特征度作为第一极线特征相似度，基于第一极线特征相似度得到极线图像块对应的第一极线特征关注度，即极线图像块内各个像素点的特征关注度。其中，预设拼接顺序指的是拼接时像素位置之间的先后顺序，拼接具体可以是水平拼接。举个例子，假设第一图像块为1x4的图像块，对第一图像块中的四个像素的第一像素特征按照从左至右的顺序进行拼接，则对于极线图像块中的四个像素的第二像素特征同样按照从左至右的顺序进行拼接。

上述实施例中，以图像块为单位确定极线像素特征，从而可以在计算极线特征相似度时以图像块为单位进行计算，从而提高了计算效率。

在一些实施例中，获取第一视角图像中各个第一像素点所对应的第一像素特征包括：对第一视角图像中各个第一像素点进行特征提取，得到各个第一像素点所对应的第一提取特征；从第一像素点对应的第一提取特征中，确定与第一像素点处于同一极线的第一像素点所对应的第一提取特征，作为第一目标像素特征；基于第一像素点对应的第一像素特征与第一目标像素特征得到第一提取特征相似度，基于第一提取特征相似度得到第一目标像素特征对应的第一提取特征关注度；基于第一提取特征关注度对第一目标像素特征进行特征关注处理，得到第一目标像素特征对应的关注特征；将第一目标像素特征对应的关注特征与第一像素点对应的第一提取特征进行融合，得到第一像素点所对应的第一像素特征。

其中，第一提取特征关注度与第一提取特征相似度成正相关关系。在一些实施例中，可对第一提取特征相似度进行归一化处理后，确定为第一提取特征关注度；在其他一些实施例中，可预先划定多个相似度区间，每个归一化后的提取特征相似度区间对应一个提取特征关注度，从而服务器可以根据归一化的第一提取特征关注度所属的区间确定第一提取特征对应的第一提取特征关注度。

具体地，服务器可以基于特征提取模型对第一视角图像进行特征提取，得到各个第一像素点所对应的第一提取特征，假设第一视角图像中包括N个第一像素点，以其中一个第一像素点为例，服务器可以从第一视角图像中确定与该第一像素点处于同一极线的第一像素点得到目标像素点，将该目标像素点所对应的第一提取特征作为第一目标像素特征，进而服务器可以计算第一目标像素特征与该第一像素点对应的第一像素特征之间的相似度得到第一目标像素特征对应的第一提取特征相似度，基于第一提取特征相似度得到第一目标像素特征对应的第一提取特征关注度。

在一些实施例中，服务器可以将第一提取特征关注度与第一目标像素特征进行相乘，得到第一目标像素特征对应的关注特征，将该关注特征与第一像素点对应的第一提取特征相加，得到第一像素点所对应的第一像素特征。

可以理解的是，在其他一些实施例中，服务器可以对第一视角图像进行切分，得到多个图像块，在计算像素度时，可以以图像块作为单位，对于第一视角图像中的图像块，从第一视角图像中确定与该图像块处于同一极线上的图像块得到目标图像块，计算该图像块的提取特征与目标图像块的提取特征之间的相似度，基于该相似度得到目标图像块中各个像素点的第一提取特征关注度，进而将各个第一提取特征关注度与各个像素点相乘得到各个像素点对应的关注特征。

上述实施例中，由于第一提取特征关注度是处于同一极线的第一提取特征之间的特征相似度得到的，特征越相似，表示该对应位置的特征关注度越大，从而提取的特征将更加注意到相似度强的像素匹配关系，使得得到的视差值更加准确。

在一些实施例中，获取第二视角图像中各个第二像素点所对应的第二像素特征包括：对第二视角图像中各个第二像素点进行特征提取，得到各个第二像素点所对应的第二提取特征；从第二像素点对应的第二提取特征中，确定与第二像素点处于同一极线的第二像素点所对应的第二提取特征，作为第二目标像素特征；基于第二像素点对应的第二像素特征与第二目标像素特征得到第二提取特征相似度，基于第二提取特征相似度得到第二目标像素特征对应的第二提取特征关注度；基于第二提取特征关注度对第二目标像素特征进行特征关注处理，得到第二目标像素特征对应的关注特征；将第二目标像素特征对应的关注特征与第二像素点对应的第二提取特征进行融合，得到第二像素点所对应的第二像素特征。

其中，第二提取特征关注度与第二提取特征相似度成正相关关系。在一些实施例中，可对第二提取特征相似度进行归一化处理后，确定为第二提取特征关注度；在其他一些实施例中，可预先划定多个相似度区间，每个归一化后的提取特征相似度区间对应一个提取特征关注度，从而服务器可以根据归一化的第二提取特征关注度所属的区间确定第二提取特征对应的第二提取特征关注度。

具体地，服务器可以基于特征提取模型对第二视角图像进行特征提取，得到各个第二像素点所对应的第二提取特征，假设第二视角图像中包括N个第二像素点，以其中一个第二像素点为例，服务器可以从第二视角图像中确定与该第二像素点处于同一极线的第二像素点得到目标像素点，将该目标像素点所对应的第二提取特征作为第二目标像素特征，进而服务器可以计算第二目标像素特征与该第二像素点对应的第二像素特征之间的相似度得到第二目标像素特征对应的第二提取特征相似度，基于第二提取特征相似度得到第二目标像素特征对应的第二提取特征关注度。

在一些实施例中，服务器可以将第二提取特征关注度与第二目标像素特征进行相乘，得到第二目标像素特征对应的关注特征，将该关注特征与第二像素点对应的第二提取特征相加，得到第二像素点所对应的第二像素特征。

可以理解的是，在其他一些实施例中，服务器可以对第二视角图像进行切分，得到多个图像块，在计算像素度时，可以以图像块作为单位，对于第二视角图像中的图像块，从第二视角图像中确定与该图像块处于同一极线上的图像块得到目标图像块，计算该图像块的提取特征与目标图像块的提取特征之间的相似度，基于该相似度得到目标图 像块中各个像素点的第二提取特征关注度，进而将各个第二提取特征关注度与各个像素点相乘得到各个像素点对应的关注特征。

上述实施例中，由于第二提取特征关注度是处于同一极线的第二提取特征之间的特征相似度得到的，特征越相似，表示该对应位置的特征关注度越大，从而提取的特征将更加注意到相似度强的像素匹配关系，使得得到的视差值更加准确。

在一些实施例中，第一视角图像采用摄像设备的第一摄像机拍摄得到，第二视角图像采用摄像设备的第二摄像机拍摄得到；方法还包括：获取摄像设备的焦距，以及第一摄像机以及第二摄像机之间的摄像机距离；基于图像视差、焦距及摄像机距离确定目标场景对应的深度信息。

具体地，第一视角图像与第二视角图像之间的图像视差包括各个像素位置所对应的视差值，对于每一个视差值，服务器可以参照以下公式（2）计算对应的深度值，各个像素位置对应的深度值即组为目标场景对应的深度信息：

（2）

其中，

为深度值，

为摄像头距离，

为焦距，

为视差值。

在一些实施例中，摄像设备安装于运动设备上；目标场景中包括目标对象；方法还包括：基于深度信息确定目标对象与运动设备之间的视觉距离；基于视觉距离得到运动设备的控制信息，向运动设备发送控制信息，以使得运动设备基于控制信息进行运动。

其中，目标对象可以是目标场景中被拍摄的对象。根据目标场景的不同，目标对象也不相同。以目标场景为自动驾驶中道路场景为例，目标对象可以是道路中的车辆、障碍物或者道路要素。道路要素具体可以是电子眼、标牌、斑马线等等。控制信息包括速度信息或者方向信息中的至少一种。

具体地，服务器可以将目标对象的中心像素点的深度值确定为目标对象与运动设备之间的视觉距离，或者对目标对象的所有像素点的深度值取平均值，得到目标对象与运动设备之间的视觉距离，基于该视觉距离得到运动设备的控制信息，向运动设备发送控制信息，以使得运动设备基于控制信息中的速度信息或者方向信息中的至少一种进行运动。

本申请还提供一种应用场景，该应用场景应用上述的图像处理方法。在该应用场景中，运动设备为可实现自动驾驶的汽车。图6为该图像处理方法在该应用场景中应用时的流程示意图。参考图6，具体包括：获取双目图像、左图特征提取、右图特征提取、左图内部极线特征转换、右图内部极线特征转换、左右图间极线特征转换、匹配代价聚合以及生成视差图。下面对这些步骤进行具体说明：

一、获取双目图像。

服务器获取该可实现自动驾驶的车辆发送的左视角图像和右视角图像。左视角图像和右视角图像中包括一个或多个相同的目标对象。目标对象可以是车辆、障碍物、道路要素等等。

二、左图特征提取

服务器将左视角图像输入已训练的特征提取模型中，通过特征提取模型进行特征提取，得到左视角图像对应的提取特征。其中，特征提取模型包括编解码网络、局部抑制过滤器以及金字塔池化网络。假设用矩阵大小为[C,H,W]的三维矩阵表示该左视角图像，H，W分别表示图片的高度和宽度，单位为像素，C=3表示每个像素点在红绿蓝三个通道上的特征值，即RGB特征。对于左视角图像，通过编解码卷积网络将通道C的特征从3通道伸展到32，64，96，128通道（编码）再逐步从128压缩到32通道（解码），先后共有两个编解码网络对左视角图像的图像特征进行编解码。为了减少局部特征的影响，在编解码网络中插入了局部抑制过滤器（Non-local Filter），环绕像素点以十字交叉的方式滤波，可实现快速降噪的同时保持边缘特性。在每个编解码网络之后，采用金字塔池化网络，在不同大小的空间上对特征池化并合并，得到具有丰富感受野的提取特征。

三、右图特征提取

服务器将右视角图像输入已训练的特征提取模型中，通过特征提取模型进行特征提取，得到右视角图像对应的提取特征。具体可以参考上文左图特征提取的描述，本申请在此不赘述。

四、左图内部极线特征转换以及右图内部极线特征转换

分别对左视角图像和右视角图像进行图像切分，得到左视角图像对应的多个左图像块以及右视角图像对应的多个右图像块。

参考图7，对于左视角图像中每一个左图像块，服务器从左视角图像中确定与该左图像块处于同一水平线上的图像块，作为该左图像块对应的目标图像块，计算该左图像块的提取特征与各个目标图像块的提取特征之间的相似度作为各个目标图像块各自的提取特征相似度，对各个提取特征相似度进行归一化处理，得到各个目标图像块各自的提取特征关注度，将目标图像块的提取特征关注度作为该目标图像块中每一个像素点对应的提取特征关注度，将目标图像块中各个像素点对应的提取特征关注度分别和各个像素点各自对应的提取特征进行相乘，得到左视角图像对应的左图内关注特征，将左图内关注特征与左视角图像对应的提取特征相加，得到左视角图像对应的左图像素特征。

继续参考图7，对于右视角图像中每一个右图像块，服务器从右视角图像中确定与该右图像块处于同一水平线上的图像块，作为该右图像块对应的目标图像块，计算该右图像块的提取特征与各个目标图像块的提取特征之间的相似度作为各个目标图像块各自的提取特征相似度，对各个提取特征相似度进行归一化处理，得到各个目标图像块各自的提取特征关注度，将目标图像块的提取特征关注度作为该目标图像块中每一个像素点对应的提取特征关注度，将目标图像块中各个像素点对应的提取特征关注度分别和各个像素点各自对应的提取特征进行相乘，得到右视角图像对应的右图内关注特征，将右图内关注特征与右视角图像对应的提取特征相加，得到右视角图像对应的右图像素特征。

五、左右图间极线特征转换

参考图8，对于右视角图像中每一个右图像块，计算该右图像块的右图像素特征与左视角图像中对应极线上的所有左图像块的左图像素特征的极线特征相似度，对该极线特征相似度进行归一化处理，得到各个左图像块中每一个像素点对应的极线特征关注度，将左图像块中每一像素点对应的极线特征关注度分别和对应的左图像素特征进行相乘，然后求和，得到右视角图像对应的左右图间关注特征，将该左右图间关注特征与右视角图像对应的右图像素特征相加，得到右视角图像对应的融合像素特征。

继续参考图8，对于左视角图像中每一个左图像块，计算该左图像块的像素特征与右视角图像中对应极线上的所有右图像块的右图融合像素特征的相似度，对该极线特征相似度进行归一化处理，得到该右图像块中每一个像素点对应的极线特征关注度，将每一像素点对应的极线特征关注度分别和对应的右图融合像素特征进行相乘，然后求和，得到左视角图像对应的左右图间关注特征，将该左右图间关注特征与左视角图像对应的左图像素特征相加，得到左视角图像对应的融合像素特征。

六、匹配代价聚合以及生成视差图

1、首先将左视角图像与右视角图像进行重叠，然后固定住左视角图像，令右视角图像在图像的宽度所在维度（即极线上）水平位移，每次位移一个像素，移动的方向为使得左视角图像的右侧与左视角图像的左侧能够匹配的方向，每一次位移后的右视角图像与位移起始点（即左视角图像所在位置）之间的像素距离即为对应的参考视差值。在每一个参考视差值下，将左视角图像中，与右视角图像重叠的像素位置的像素值取值为右视角图像在该位置处的融合像素特征值，而左视角图像中与右视角图像不重叠的像素位置像素值取值为0，得到该参考视差值对应的三维特征，各个参考视差值对应的三维特征与左视角图像对应的融合像素特征（同样为三维特征）按照参考视差值的顺序排列形成匹配空间。举例说明，假设参考视差值取值在[0,192]之间，那么将得到的匹配空间的维度为[H,W,193,32]。

2、将得到的匹配空间输入到已训练的代价聚合模型中，通过代价聚合模型中的三维卷积核进行编解码得到中间匹配代价，各个像素位置对应的中间匹配代价组成匹配代价图，对该匹配代价图进行局部抑制过滤（具体可以参考图5），得到各个像素位置的目标匹配代价，那么左视角图像对应的匹配代价维度为[H,W,193,1]。进一步通过激活函数将各个像素位置的目标匹配代价归一化至[0,1]之间。

5、对于左视角图像中每一个像素位置，其在各个参考视差值下都有一个目标匹配代价，将各个参考视差值下归一化后的目标匹配代价作为该像素位置对应于各个参考视差值的视差权重，对该像素位置对应的视差权重进行加权求和，得到该像素位置对应的视差值，左视角图像中各个像素位置对应的视差值作为对应位置的像素值生成视差图。基于得到的视差图、以及双目摄像机的焦距、摄像头距离得到各个像素位置的深度值，将各个像素位置对应的深度值作为对应位置的像素值生成深度图。

6、根据深度图可以得到双目摄像机拍摄的左视角图像和右视角图像中各个目标对象与双目摄像机的距离。以目标对象为车辆为例，当前方的车辆与双目摄像机之间的距离较近时，服务器发送控制信息至该可实现自动驾驶的车辆，控制该车辆减速，以避免发生事故。通过对双目摄像机拍摄区域内各物体的距离远近进行分析，可以模拟人眼的视角感知，进而辅助实现车辆的自动化驾驶。

需要说明的是，上述特征提取模型和代价聚合模型是立体匹配模型中两个不同的模块。通过特征提取模型学习有深度有关的特征，通过代价聚合模型学习到全局最优匹配。本申请实施例中，可以获取已标注真实视差值的样本数据，每一个样本数据中包含针对同一目标场景拍摄的左视角图像和右视角图像，将样本数据中的一部分样本作为训练样本用于训练得到训练后的立体匹配模型，一部分样本作为测试数据对训练后的立体匹配模型进行训练。

在一些实施例中，如图9所示，为立体匹配模型的训练示意图。参考图9，服务器获取包含左视角图像、右视角图像以及真实视差值的训练样本，将训练样本输入立体匹配模型，通过该立体匹配模型的特征提取模型分别对左视角图像和右视角图像进行特征提取，得到左视角图像对应的提取特征和右视角图像对应的提取特征，将左视角图像对应的提取特征和右视角图像对应的提取特征进行特征转换，将特征转换后得到的特征通过极线上平移得到匹配空间，将匹配空间输入到代价聚合模型，通过代价聚合模型进行匹配代价聚合，基于代价聚合得到的结果进行视差计算，得到视差图，基于视差图中各个像素位置的视差值与真实值之间的差异得到损失值，反向传播损失值调整特征提取模型和代价聚合模型的模型参数直至满足训练停止条件，得到训练后的立体匹配模型。

对于训练后的立体匹配模型，通过测试数据对立体匹配模型进行测试，以测试训练后的立体匹配模型的准确度。继续参考图9，可以看出，测试过程中，立体匹配模型对左视角图像和右视角图像的处理过程与训练过程一致，本申请在此不赘述。

其中，特征转换包括左图内部极线特征转换以及右图内部极线特征转换和左右图间极线特征转换；训练停止条件可以是训练次数达到预设次数、训练时长达到预设时长或者损失值达到最小。具体参考上文实施例中的描述，本申请在此不赘述。

本申请训练得到的立体匹配模型可以将复杂场景中的深度信息提取出来，使训练的立体匹配模型能适应场景多变的众包数据，避免深度学习网络对单个数据集的依赖性，并且在训练过程中可以混合运用多种数据集，包括实际道路数据，模拟道路数据，模拟双目数据等，训练出泛化能力强的深度估计网络。训练得到的立体匹配模型可以广泛运用于自动驾驶定位，路标位置估计，障碍物检测场景中。

本申请还提供一种应用场景，该应用场景应用上述的图像处理方法。在该应用场景中，运动设备为机器人，机器人上的设置的双目设置机可以拍摄机器人前方位于拍摄区域的目标对象例如可以为货物，也可以为人。以目标对象为人为例，远方的人向机器人迎面走来，则双目摄像机可以拍摄下包括人像的左视角图像和右视角图像，并可采用本申请实施例提供的图像处理方法得到左视角图像和右视角图像之间的图像视差，从而根据图像视差进行深度预测，进而预测出人与双目摄像机之间的距离，从而调整双目摄像机的焦距，以实现对图像中的人的视线追踪，模拟在有人迎面走来时真人的视线变化。

又或者，当机器人前方的人希望与机器人击掌时，当人举起手掌时，双目摄像机可以拍摄下包括手掌的左视角图像和右视角图像，通过本申请实施例提供的图像处理方法对左视角图像和右视角图像之间的图像视差进行预测，从而确定手掌与双目摄像机之间的距离，进而控制机器人的机械手臂移动到相应距离位置，完成与人的击掌动作。

通过本申请实施例的图像处理方法，可以对双目摄像机拍摄区域内各物体的距离远近进行分析，从而使得机器人能够拥有类似于人眼的视角感知功能，使得机器人更加智能化，以辅助机器人完成相应的工作。

应该理解的是，虽然图2、图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，如图10所示，提供了一种图像处理装置1000，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：

图像获取模块1002，用于获取针对目标场景进行拍摄得到的第一视角图像和第二视角图像；

特征获取模块1004，用于获取第一视角图像中各个第一像素点所对应的第一像素特征，获取第二视角图像中各个第二像素点所对应的第二像素特征；

极线确定模块1006，用于从第二像素点对应的第二像素特征中，获取确定与第一像素点对应的极线像素点所对应的第一极线像素特征；

关注度确定模块1008，用于基于第一像素特征与第一极线像素特征得到第一极线特征相似度，基于第一极线特征相似度得到第一极线像素特征所对应的第一极线特征关注度；

特征关注模块1010，用于基于第一极线特征关注度对第一极线像素特征进行特征关注处理，得到第一极线像素特征对应的第一关注特征；

特征融合模块1012，用于将第一关注特征与第一像素特征进行融合，得到第一像素点对应的融合像素特征；

图像视差确定模块1014，用于基于第一像素点对应的融合像素特征以及第二像素特征得到第一视角图像与第二视角图像之间的图像视差。

上述图像处理装置，通过获取第一视角图像中各个第一像素点所对应的第一像素特征，获取第二视角图像中各个第二像素点所对应的第二像素特征，从第二像素点对应的第二像素特征中，确定与第一像素点对应的极线像素点所对应的第一极线像素特征，基于第一像素特征与第一极线像素特征得到第一极线特征相似度，基于第一极线特征相似度得到第一极线像素特征所对应的第一极线特征关注度，基于第一极线特征关注度对第一极线像素特征进行特征关注处理，得到第一极线像素特征对应的第一关注特征，将第一关注特征与第一像素特征进行融合，得到第一像素点对应的融合像素特征，在基于第一像素点对应的融合像素特征以及第二像素特征得到第一视角图像与第二视角图像之间的图像视差时，由于融合像素特征是融合第一关注特征与第一像素特征得到的，因此包含了极线上表示像素特征相似性的信息，增强了极线上像素匹配特征，从而可以提取到目标场景中与深度有关的信息，使得得到的图像视差更加准确。

在一些实施例中，图像视差确定模块还用于从第一像素点对应的像素特征中，确定与第二像素点对应的极线像素点所对应的第二极线像素特征；第一像素点对应的像素特征包括第一像素点对应的融合像素特征或者第一像素点对应的第一像素特征中的至少一个；基于第二像素特征与第二极线像素特征得到第二极线特征相似度，基于第二极线特征相似度得到第二极线像素特征所对应的第二极线特征关注度；基于第二极线特征关注度对第二极线像素特征进行特征关注处理，得第二极线像素特征对应的第二关注特征；将第二关注特征与第二像素特征进行融合，得到第二像素点所对应的融合像素特征；基于第一像素点对应的融合像素特征以及第二像素点对应的融合像素特征得到第一视角图像与第二视角图像之间的图像视差。

在一些实施例中，第一视角图像与第二视角图像之间的图像视差包括各个像素位置所对应的视差值；图像视差确定模块，还用于确定参考视差值集合；候选视差集合中包括多个参考视差值；确定各个参考视差值下，第一像素点对应的融合像素特征与对应像素位置的第二像素点所对应的融合像素特征之间的目标匹配代价；基于目标匹配代价确定参考视差值的视差权重，参考视差值的视差权重与对应的目标匹配代价成负相关关系；基于参考视差值以及参考视差值对应的视差权重得到各个像素位置所对应的视差值。

在一些实施例中，图像视差确定模块，还用于基于参考视差值对第一像素点对应的融合像素特征与对应像素位置的第二像素点对应的融合像素特征进行匹配代价计算，得到参考视差值下各个像素位置所对应的中间匹配代价，参考视差值下各个像素位置所对应的中间匹配代价组成匹配代价图；从中间匹配代价图中确定参考区域，根据参考区域确定搜索区域；计算参考区域与搜索区域之间的区域相似度，基于区域相似度对搜索区域对应的中间匹配代价进行调整，得到调整后的匹配代价图；将调整后的匹配代价图中各个像素位置所对应的匹配代价确定为各个像素位置所对应的目标匹配代价。

在一些实施例中，图像视差确定模块，还用于将第一像素点对应的融合像素特征所组成的第一融合像素特征图作为固定特征图，将第二像素点对应的融合像素特征所组成的第二融合像素特征图作为移动特征图；将第二视角图像相对于第一视角图像的视觉偏移方向作为移动方向；根据视觉偏移方向将移动特征图沿着极线移动参考视差值所对应的距离；计算固定特征图与移动后的移动特征图中各个重叠像素点所对应的匹配代价，参考视差值下各个像素位置所对应的中间匹配代价。

在一些实施例中，极线确定模块还用于对第一视角图像和第二视角图像分别进行图像切分，得到第一视角图像对应的多个第一图像块以及第二视角图像对应的多个第二图像块；从第二视角图像对应的第二图像块中，确定第一像素点所在的第一图像块所对应的极线图像块，将极线图像块对应的第二像素特征作为第一像素点所对应的第一极线像素特征。

在一些实施例中，关注度确定模块，还用于将第一图像块对应的各个第一像素特征进行拼接，得到第一拼接特征；将极线图像块对应的第二像素特征进行拼接，得到第二拼接特征；计算第一拼接特征与第二拼接特征之间的特征相似度，将计算得到的特征相似度作为第一极线特征相似度，基于第一极线特征相似度得到极线图像块对应的第一极线特征关注度。

在一些实施例中，特征获取模块，还用于对第一视角图像中各个第一像素点进行特征提取，得到各个第一像素点所对应的第一提取特征；从第一像素点对应的第一提取特征中，确定与第一像素点处于同一极线的第一像素点所对应的第一提取特征，作为第一目标像素特征；基于第一像素点对应的第一像素特征与第一目标像素特征得到第一提取特征相似度，基于第一提取特征相似度得到第一目标像素特征对应的第一提取特征关注度；基于第一提取特征关注度对第一目标像素特征进行特征关注处理，得到第一目标像素特征对应的关注特征；将第一目标像素特征对应的关注特征与第一像素点对应的第一提取特征进行融合，得到第一像素点所对应的第一像素特征。

在一些实施例中，特征获取模块，还用于从第二像素点对应的第二提取特征中，确定与第二像素点处于同一极线的第二像素点所对应的第二提取特征，作为第二目标像素特征；基于第二像素点对应的第二像素特征与第二目标像素特征得到第二提取特征相似度，基于第二提取特征相似度得到第二目标像素特征对应的第二提取特征关注度；基于第二提取特征关注度对第二目标像素特征进行特征关注处理，得到第二目标像素特征对应的关注特征；将第二目标像素特征对应的关注特征与第二像素点对应的第二提取特征进行融合，得到第二像素点所对应的第二像素特征。在一些实施例中，第一视角图像采用摄像设备的第一摄像机拍摄得到，第二视角图像采用摄像设备的第二摄像机拍摄得到；上述装置还包括深度信息确定模块，用于获取摄像设备的焦距，以及第一摄像机以及第二摄像机之间的摄像机距离；基于图像视差、焦距及摄像机距离确定目标场景对应的深度信息。

在一些实施例中，摄像设备安装于运动设备上；目标场景中包括目标对象；上述装置还包括控制信息确定模块，用于基于深度信息确定目标对象与运动设备之间的视觉距离；基于视觉距离得到运动设备的控制信息，向运动设备发送控制信息，以使得运动设备基于控制信息进行运动。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像处理数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

获取针对目标场景进行拍摄得到的第一视角图像和第二视角图像；

获取所述第一视角图像中各个第一像素点所对应的第一像素特征，获取所述第二视角图像中各个第二像素点所对应的第二像素特征；

从所述第二像素点对应的第二像素特征中，确定与所述第一像素点对应的极线像素点所对应的第一极线像素特征；

基于所述第一像素特征与所述第一极线像素特征得到第一极线特征相似度，基于所述第一极线特征相似度得到所述第一极线像素特征所对应的第一极线特征关注度；所述第一极线特征关注度用于表征所述第一极线像素特征对其对应的第一像素点的第一像素特征的关注程度；所述第一极线特征关注度与所述第一极线特征相似度成正相关关系；

将所述第一极线特征关注度作为权重与所述第一极线像素特征相乘，以得到所述第一极线像素特征对应的第一关注特征；

将所述第一关注特征与所述第一像素特征进行融合，得到所述第一像素点对应的融合像素特征；

基于所述第一像素点对应的融合像素特征以及所述第二像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一像素点对应的融合像素特征以及所述第二像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差包括：

从所述第一像素点对应的像素特征中，确定与所述第二像素点对应的极线像素点所对应的第二极线像素特征；所述第一像素点对应的像素特征包括所述第一像素点对应的融合像素特征或者所述第一像素点对应的第一像素特征中的至少一个；

基于所述第二像素特征与所述第二极线像素特征得到第二极线特征相似度，基于所述第二极线特征相似度得到所述第二极线像素特征所对应的第二极线特征关注度；

基于所述第二极线特征关注度对所述第二极线像素特征进行特征关注处理，得所述第二极线像素特征对应的第二关注特征；

将所述第二关注特征与所述第二像素特征进行融合，得到所述第二像素点所对应的融合像素特征；

基于所述第一像素点对应的融合像素特征以及所述第二像素点对应的融合像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差。

3.根据权利要求2所述的方法，其特征在于，所述第一视角图像与所述第二视角图像之间的图像视差包括各个像素位置所对应的视差值；所述基于所述第一像素点对应的融合像素特征以及所述第二像素点对应的融合像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差包括：

确定参考视差值集合；所述参考视差值集合中包括多个参考视差值；

确定各个所述参考视差值下，所述第一像素点对应的融合像素特征与对应像素位置的第二像素点所对应的融合像素特征之间的目标匹配代价；

基于所述目标匹配代价确定所述参考视差值的视差权重，所述参考视差值的视差权重与对应的所述目标匹配代价成负相关关系；

基于所述参考视差值以及所述参考视差值对应的视差权重得到各个像素位置所对应的视差值。

4.根据权利要求3所述的方法，其特征在于，所述确定各个所述参考视差值下，所述第一像素点对应的融合像素特征与对应像素位置的第二像素点所对应的融合像素特征之间的目标匹配代价包括：

基于所述参考视差值对所述第一像素点对应的融合像素特征与对应像素位置的所述第二像素点对应的融合像素特征进行匹配代价计算，得到所述参考视差值下各个像素位置所对应的中间匹配代价，所述参考视差值下各个像素位置所对应的中间匹配代价组成匹配代价图；

从所述匹配代价图中确定参考区域，根据所述参考区域确定搜索区域；

计算所述参考区域与所述搜索区域之间的区域相似度，基于所述区域相似度对所述搜索区域对应的中间匹配代价进行调整，得到调整后的匹配代价图；

将调整后的匹配代价图中各个像素位置所对应的匹配代价确定为各个像素位置所对应的目标匹配代价。

5.根据权利要求4所述的方法，其特征在于，所述基于所述参考视差值对所述第一像素点对应的融合像素特征与对应像素位置的所述第二像素点对应的融合像素特征进行匹配代价计算包括：

将第一像素点对应的融合像素特征所组成的第一融合像素特征图作为固定特征图，将第二像素点对应的融合像素特征所组成的第二融合像素特征图作为移动特征图；

将所述第一视角图像相对于所述第二视角图像的视觉偏移方向作为移动方向；

根据所述视觉偏移方向将所述移动特征图沿着极线移动所述参考视差值所对应的距离；

计算所述固定特征图与移动后的移动特征图中各个重叠像素点所对应的匹配代价，得到所述参考视差值下各个像素位置所对应的中间匹配代价。

6.根据权利要求1所述的方法，其特征在于，所述从所述第二像素点对应的第二像素特征中，确定与所述第一像素点对应的极线像素点所对应的第一极线像素特征包括：

对所述第一视角图像和所述第二视角图像分别进行图像切分，得到第一视角图像对应的多个第一图像块以及所述第二视角图像对应的多个第二图像块；

从所述第二视角图像对应的第二图像块中，确定所述第一像素点所在的第一图像块所对应的极线图像块，将所述极线图像块对应的第二像素特征作为所述第一像素点所对应的第一极线像素特征。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一像素特征与所述第一极线像素特征得到第一极线特征相似度，基于所述第一极线特征相似度得到所述第一极线像素特征所对应的第一极线特征关注度包括：

将所述第一图像块对应的各个所述第一像素特征进行拼接，得到第一拼接特征；

将所述极线图像块对应的第二像素特征进行拼接，得到第二拼接特征；

计算所述第一拼接特征与所述第二拼接特征之间的特征相似度，作为第一极线特征相似度，基于所述第一极线特征相似度得到所述极线图像块对应的第一极线特征关注度。

8.根据权利要求1所述的方法，其特征在于，所述获取所述第一视角图像中各个第一像素点所对应的第一像素特征包括：

对所述第一视角图像中各个第一像素点进行特征提取，得到各个所述第一像素点所对应的第一提取特征；

从所述第一像素点对应的第一提取特征中，确定与第一像素点处于同一极线的第一像素点所对应的第一提取特征，作为第一目标像素特征；

基于所述第一像素点对应的第一像素特征与所述第一目标像素特征得到第一提取特征相似度，基于所述第一提取特征相似度得到所述第一目标像素特征对应的第一提取特征关注度；

基于所述第一提取特征关注度对所述第一目标像素特征进行特征关注处理，得到所述第一目标像素特征对应的关注特征；

将所述第一目标像素特征对应的关注特征与所述第一像素点对应的第一提取特征进行融合，得到所述第一像素点所对应的第一像素特征。

9.根据权利要求1所述的方法，其特征在于，所述获取所述第二视角图像中各个第二像素点所对应的第二像素特征包括：

从所述第二像素点对应的第二提取特征中，确定与第二像素点处于同一极线的第二像素点所对应的第二提取特征，作为第二目标像素特征；

基于所述第二像素点对应的第二像素特征与所述第二目标像素特征得到第二提取特征相似度，基于所述第二提取特征相似度得到所述第二目标像素特征对应的第二提取特征关注度；

基于所述第二提取特征关注度对所述第二目标像素特征进行特征关注处理，得到所述第二目标像素特征对应的关注特征；

将所述第二目标像素特征对应的关注特征与所述第二像素点对应的第二提取特征进行融合，得到所述第二像素点所对应的第二像素特征。

10.根据权利要求1至9任意一项所述的方法，其特征在于，所述第一视角图像采用摄像设备的第一摄像机拍摄得到，所述第二视角图像采用所述摄像设备的第二摄像机拍摄得到；所述方法还包括：

获取所述摄像设备的焦距，以及所述第一摄像机以及所述第二摄像机之间的摄像机距离；

基于所述图像视差、所述焦距及所述摄像机距离确定所述目标场景对应的深度信息。

11.根据权利要求10所述的方法，其特征在于，所述摄像设备安装于运动设备上；所述目标场景中包括目标对象；所述方法还包括：

基于所述深度信息确定所述目标对象与所述运动设备之间的视觉距离；

基于所述视觉距离得到所述运动设备的控制信息，向所述运动设备发送所述控制信息，以使得所述运动设备基于所述控制信息进行运动。

12.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取针对目标场景进行拍摄得到的第一视角图像和第二视角图像；

特征获取模块，用于获取所述第一视角图像中各个第一像素点所对应的第一像素特征，获取所述第二视角图像中各个第二像素点所对应的第二像素特征；

极线确定模块，用于从所述第二像素点对应的第二像素特征中，确定与所述第一像素点对应的极线像素点所对应的第一极线像素特征；

关注度确定模块，用于基于所述第一像素特征与所述第一极线像素特征得到第一极线特征相似度，基于所述第一极线特征相似度得到所述第一极线像素特征所对应的第一极线特征关注度；所述第一极线特征关注度用于表征所述第一极线像素特征对其对应的第一像素点的第一像素特征的关注程度；所述第一极线特征关注度与所述第一极线特征相似度成正相关关系；

特征关注模块，用于将所述第一极线特征关注度作为权重与所述第一极线像素特征相乘，以得到所述第一极线像素特征对应的第一关注特征；

特征融合模块，用于将所述第一关注特征与所述第一像素特征进行融合，得到所述第一像素点对应的融合像素特征；

图像视差确定模块，用于基于所述第一像素点对应的融合像素特征以及所述第二像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差。

13.根据权利要求12所述的装置，其特征在于，所述图像视差确定模块还用于：从所述第一像素点对应的像素特征中，确定与所述第二像素点对应的极线像素点所对应的第二极线像素特征；所述第一像素点对应的像素特征包括所述第一像素点对应的融合像素特征或者所述第一像素点对应的第一像素特征中的至少一个；基于所述第二像素特征与所述第二极线像素特征得到第二极线特征相似度，基于所述第二极线特征相似度得到所述第二极线像素特征所对应的第二极线特征关注度； 基于所述第二极线特征关注度对所述第二极线像素特征进行特征关注处理，得所述第二极线像素特征对应的第二关注特征；将所述第二关注特征与所述第二像素特征进行融合，得到所述第二像素点所对应的融合像素特征；基于所述第一像素点对应的融合像素特征以及所述第二像素点对应的融合像素特征得到所述第一视角图像与所述第二视角图像之间的图像视差。

14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

Images