CN112258579A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN112258579A
CN112258579A CN202011260818.9A CN202011260818A CN112258579A CN 112258579 A CN112258579 A CN 112258579A CN 202011260818 A CN202011260818 A CN 202011260818A CN 112258579 A CN112258579 A CN 112258579A
Authority
CN
China
Prior art keywords
image
camera
calibration
determining
response function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011260818.9A
Other languages
English (en)
Other versions
CN112258579B (zh
Inventor
林枝叶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011260818.9A priority Critical patent/CN112258579B/zh
Publication of CN112258579A publication Critical patent/CN112258579A/zh
Priority to PCT/CN2021/116809 priority patent/WO2022100242A1/zh
Application granted granted Critical
Publication of CN112258579B publication Critical patent/CN112258579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、电子设备和存储介质。所述方法包括：获取待处理的第一图像和第二图像；第一图像由第一摄像头拍摄得到，第二图像由第二摄像头拍摄得到；基于第一摄像头与第二摄像头之间的像素映射关系，对第二图像进行像素映射，获得第二图像对应的映射图像；其中，像素映射关系基于第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定；将第二图像对应的映射图像和第一图像进行对齐。采用本方法能够提高图像对齐效果。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质，以及一种双目摄像头的像素映射关系方法、装置、电子设备和计算机可读存储介质。
背景技术
手机、平板电脑等各种电子设备已经成为现今生活中必不可少的工具，为满足人们记录美好时刻的需求，电子设备拍摄成为重要功能。随着电子设备的更新换代，越来越多的电子设备搭载多个摄像头，以满足人们日益增长的拍摄需求。
目前，为了增强电子设备拍摄的图像的画质，往往会将多个摄像头拍摄的图像进行对齐后融合，以将多个摄像头采集的信息进行融合，可以有效增强图像画质。然而，不同摄像头拍摄的图像由于信息来源差异，会出现图像信息结构相似但梯度不一致的问题，导致图像对齐的精度较差，对齐效果有限。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质，以及一种双目摄像头的像素映射关系方法、装置、电子设备和计算机可读存储介质，可以提高图像对齐效果。
一种图像处理方法，包括：
获取待处理的第一图像和第二图像；第一图像由第一摄像头拍摄得到，第二图像由第二摄像头拍摄得到；
基于第一摄像头与第二摄像头之间的像素映射关系，对第二图像进行像素映射，获得第二图像对应的映射图像；其中，像素映射关系基于第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定；
将第二图像对应的映射图像和第一图像进行对齐。
一种图像处理装置，装置包括：
待处理图像获取模块，用于获取待处理的第一图像和第二图像；第一图像由第一摄像头拍摄得到，第二图像由第二摄像头拍摄得到；
像素映射处理模块，用于基于第一摄像头与第二摄像头之间的像素映射关系，对第二图像进行像素映射，获得第二图像对应的映射图像；其中，像素映射关系基于第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定；
图像对齐处理模块，用于将第二图像对应的映射图像和第一图像进行对齐。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待处理的第一图像和第二图像；第一图像由第一摄像头拍摄得到，第二图像由第二摄像头拍摄得到；
基于第一摄像头与第二摄像头之间的像素映射关系，对第二图像进行像素映射，获得第二图像对应的映射图像；其中，像素映射关系基于第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定；
将第二图像对应的映射图像和第一图像进行对齐。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待处理的第一图像和第二图像；第一图像由第一摄像头拍摄得到，第二图像由第二摄像头拍摄得到；
基于第一摄像头与第二摄像头之间的像素映射关系，对第二图像进行像素映射，获得第二图像对应的映射图像；其中，像素映射关系基于第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定；
将第二图像对应的映射图像和第一图像进行对齐。
上述图像处理方法、装置、电子设备和存储介质，根据第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定的像素映射关系，对第二摄像头拍摄得到的第二图像进行像素映射，将获得的第二图像对应的映射图像和第一图像进行对齐。在图像处理过程中，利用第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定的像素映射关系对第二图像进行像素映射，可以利用摄像头的相机响应函数将第二图像映射到第一图像的像素空间，能够解决图像信息结构相似但梯度不一致的问题，确保图像对齐的精度，从而提高图像对齐的效果。
一种双目摄像头的像素映射关系确定方法，包括：
获取第一标定图像组和第二标定图像组；第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由双目摄像头中第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像；
基于各第一标定图像确定第一摄像头对应的第一相机响应函数；
基于各第二标定图像确定第二摄像头对应的第二相机响应函数；
根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系。
一种双目摄像头的像素映射关系确定装置，所述装置包括：
标定图像组获取模块，用于获取第一标定图像组和第二标定图像组；第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由双目摄像头中第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像；
第一相机响应函数确定模块，用于基于各第一标定图像确定第一摄像头对应的第一相机响应函数；
第二相机响应函数确定模块，用于基于各第二标定图像确定第二摄像头对应的第二相机响应函数；
像素映射关系确定模块，用于根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一标定图像组和第二标定图像组；第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由双目摄像头中第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像；
基于各第一标定图像确定第一摄像头对应的第一相机响应函数；
基于各第二标定图像确定第二摄像头对应的第二相机响应函数；
根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一标定图像组和第二标定图像组；第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由双目摄像头中第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像；
基于各第一标定图像确定第一摄像头对应的第一相机响应函数；
基于各第二标定图像确定第二摄像头对应的第二相机响应函数；
根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系。
上述双目摄像头的像素映射关系确定方法、装置、电子设备和存储介质，根据双目摄像头在相同场景、不同曝光时间条件下拍摄得到的图像，分别确定双目摄像头中第一摄像头对应的第一相机响应函数和第二摄像头对应的第二相机响应函数，并基于第一相机响应函数和第二相机响应函数确定第一摄像头与第二摄像头之间的像素映射关系。像素映射关系根据第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定，通过该像素映射关系可以利用摄像头的相机响应函数将双目摄像头中第二摄像头拍摄的第二图像映射到第一摄像头拍摄得到的第一图像的像素空间，能够解决图像信息结构相似但梯度不一致的问题，确保图像对齐的精度，从而提高图像对齐的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为RGB图像成像的分析示意图；
图2为NIR图像成像的分析示意图；
图3为一个实施例中图像处理方法或双目摄像头的像素映射关系确定方法的应用环境图；
图4为一个实施例中图像处理方法的流程图；
图5为一个实施例中确定第一相机响应函数的流程图；
图6为另一个实施例中图像处理方法的流程图；
图7为一个实施例中相机标定的流程图；
图8为一个实施例中标定CRF的流程图；
图9为一个实施例中相机响应曲线的示意图；
图10为另一个实施例中相机响应曲线的示意图；
图11为又一个实施例中相机响应曲线的示意图；
图12为一个实施例中双目摄像头的像素映射关系确定方法的流程图；
图13为一个实施例中图像处理装置的结构框图；
图14为一个实施例中双目摄像头的像素映射关系确定装置的结构框图；
图15为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
目前，电子设备拍摄通常是采用带Red、Green和Blue滤光片的传感器来接收物体反射光，生成彩色图像(RGB)，得到的彩色图像符合人类的视觉感知，但容易受到环境光照不足、雾天等恶劣天气影响。然而，描述物体热辐射的红外图像(NIR，Near Infra-redSpectrum，近红外光)，在光照不足、雾和其他恶劣天气下穿透能力强于RGB图像，细节好于RGB图像，但NIR图像不能提供色彩信息，并且图像分辨率较低。所以，为电子设备同时配备可见光摄像头和红外摄像头，拍摄得到RGB图像和NIR图像，通过RGB图像和NIR图像的信息之间融合，不仅可用于图像画质增强，还可用于极暗场景的物体识别、图像去噪、高动态范围(HDR，High-Dynamic Range)、图像去雾、皮肤去斑等。
RGB图像和NIR图像之间的信息融合包括两大步骤，图像对齐和图像融合，对齐是基础，融合是根本，若对齐误差较大，会导致在融合时出现伪影(artifact)如鬼影、重影等问题；若融合效果差，会出现色彩失真、白边等问题。传统RGB图像和RGB图像间对齐任务，常使用的方式是特征点检测和匹配，这些特征点包括Harris角点、FAST(Features FromAccelerated Segment Test，加速分割测试特征)特征算子、SURF(Speeded Up RobustFeatures，加速稳健特征)特征算子、SIFT(Scale-invariant features transform，尺度不变特征变换)特征算子等，具有旋转不变性和光照不变性。但这些基于特征点的图像对齐技术很大程度上依赖图像结构相似区域在梯度大小方向的一致性，尤其是SIFT特征算子。
然而，RGB图像和NIR图像由于信息来源差异，在同一场景不同物体之间结构相似但梯度方向不一致。如图1-2所示，图1为RGB图像，图2为NIR图像，两个黑色框代表的绿色植物区域，RGB图像较暗，而NIR图像较亮；白色框代表的极暗区域，RGB图像和其附近区域相比较暗，而NIR图像和其附近区域相比相当；天空和建筑其他区域，RGB图像和NIR图像亮度相当。出现这种问题的本质原因是RGB和NIR波段不同，对不同的物体透过率不一致。基于若依然用基于传统的特征点检测对齐技术，如采用SIFT特征点检测和匹配的对齐技术对RGB图像NIR图像进行对齐时，对齐精度较差，对齐的效果有限，无法满足后续图像融合的需求。
基于此，本申请提出一种可以提高图像对齐效果的图像处理方法、装置、电子设备、计算机可读存储介质，以及一种双目摄像头的像素映射关系方法、装置、电子设备和计算机可读存储介质，具体通过如下实施例进行说明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图3为一个实施例中图像处理方法的应用环境示意图。如图3所示，该应用环境包括电子设备302，电子设备302配备有多个摄像头，电子设备302可以通过多个摄像头进行拍摄，并将多个摄像头拍摄的图像进行对齐、融合，以增强拍摄成像的画质效果。具体地，电子设备302获取由第一摄像头拍摄得到的第一图像和由第二摄像头拍摄得到的第二图像，电子设备302根据第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定的像素映射关系，对第二摄像头拍摄得到的第二图像进行像素映射，将获得的第二图像对应的映射图像和第一图像进行对齐。此外，在其他应用中，上述图像处理方法还可以由服务器(图未示)实现，即由服务器获取待处理的第一图像和第二图像，如从数据库中获取待处理的第一图像和第二图像，或由电子设备302直接将拍摄的待处理的第一图像和第二图像通过网络发送至服务器，以由服务器进行图像对齐处理。
另一方面，图3为一个实施例中双目摄像头的像素映射关系确定方法的应用环境示意图。具体地，电子设备302获取第一标定图像组和第二标定图像组，第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由双目摄像头中第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像，电子设备302分别确定双目摄像头中第一摄像头对应的第一相机响应函数和第二摄像头对应的第二相机响应函数，并基于第一相机响应函数和第二相机响应函数确定第一摄像头与第二摄像头之间的像素映射关系。此外，在其他应用中，上述双目摄像头的像素映射关系确定方法还可以由服务器(图未示)实现，即由服务器获取第一标定图像组和第二标定图像组，如从数据库中获取第一标定图像组和第二标定图像组，或由电子设备302直接将拍摄的第一标定图像组和第二标定图像组通过网络发送至服务器，以由服务器进行双目摄像头的像素映射关系确定的处理。
其中，电子设备302可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等；服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
图4为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图3中的电子设备上为例进行描述。如图4所示，图像处理方法包括步骤402至步骤406。
步骤402，获取待处理的第一图像和第二图像；第一图像由第一摄像头拍摄得到，第二图像由第二摄像头拍摄得到。
具体地，第一图像和第二图像需要进行对齐处理图像，具体可以由两个摄像头分别针对相同场景拍摄得到，其中，第一图像由第一摄像头拍摄得到，第二图像由第二摄像头拍摄得到。例如，第一图像可以为可见光摄像头拍摄得到的彩色图像，第二图像可以为红外摄像头拍摄得到的红外图像。
在具体应用中，电子设备可以设有双目摄像头，包括第一摄像头和第二摄像头，如可以设置有两个后置摄像头，通过该两个摄像头可以同时进行拍摄，得到待处理的第一图像和第二图像。
步骤404，基于第一摄像头与第二摄像头之间的像素映射关系，对第二图像进行像素映射，获得第二图像对应的映射图像；其中，像素映射关系基于第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定。
其中，像素映射关系反映了第一摄像头与第二摄像头在针对相同场景同时进行拍摄时，第一摄像头拍摄的图像中各像素点的像素值与第二摄像头拍摄的图像中各像素点的像素值之间的映射关系，即通过像素映射关系可以将第一摄像头与第二摄像头各自拍摄的图像进行色彩空间映射，如将第一摄像头拍摄的图像映射至第二摄像头拍摄的图像对应的色彩空间中，以便克服第一摄像头与第二摄像头拍摄的图像由于信息来源差异，出现图像信息结构相似但梯度不一致而导致图像对齐的精度较差的问题。
第一摄像头与第二摄像头之间的像素映射关系根据第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定。其中，相机响应函数(Camera ResponseFunction，CRF)用于表征摄像头拍摄到的图像亮度和真实世界的照度(Radiance)存在的对应关系。一般地，真实世界观察到的亮度或者照度是不变的，不会随着摄像头的不同而改变，而摄像头拍摄到的图像亮度和真实世界的照度存在一定的对应关系，该对应关系通过相机响应函数描述。不同的摄像头的CRF曲线也不一样，但建立的均是摄像头拍摄的图像的亮度和真实世界的照度成一定关系，通过以真实世界照度为桥梁，可以将不同摄像头的色彩域映射到同一个空间，以克服不同摄像头获取的图像信息出现结构相似但梯度不一致的问题。相机响应函数可以预先通过摄像头拍摄的图像进行标定得到。映射图像为通过第一摄像头与第二摄像头之间的像素映射关系对第二图像进行像素映射处理得到，具体可以通过第一摄像头与第二摄像头之间的像素映射关系分别对第二图像中的各像素点的像素值进行更新，获得映射图像。
具体地，获得待处理的第一图像和第二图像后，电子设备获取第一摄像头与第二摄像头之间的像素映射关系，并基于该像素映射关系对第二图像进行像素映射，得到第二图像映射到第一图像的色彩空间的映射图像，相比于第二图像，映射图像与第一图像的图像信息结构相似但梯度不一致的问题得到解决，通过映射图像和第一图像进行对齐，可以确保图像对齐效果。
步骤406，将第二图像对应的映射图像和第一图像进行对齐。
第二图像对应的映射图像通过第一摄像头与第二摄像头之间的像素映射关系进行像素映射得到，映射图像与第一图像的梯度更加一致，对第二图像对应的映射图像和第一图像进行对齐，如通过SIFT特征检测和匹配的对齐方法对齐映射图像和第一图像，从而将第一摄像头拍摄的图像和第二摄像头拍摄的图像进行精确地对齐，提高了图像对齐的效果。
本实施例中的图像处理方法，根据第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定的像素映射关系，对第二摄像头拍摄得到的第二图像进行像素映射，将获得的第二图像对应的映射图像和第一图像进行对齐。在图像处理过程中，利用第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定的像素映射关系对第二图像进行像素映射，可以利用摄像头的相机响应函数将第二图像映射到第一图像的像素空间，能够解决图像信息结构相似但梯度不一致的问题，确保图像对齐的精度，从而提高图像对齐的效果。
在一个实施例中，图像处理方法还包括基于第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定像素映射关系的处理，具体包括：获取第一标定图像组和第二标定图像组；第一标定图像组包括由第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像；基于各第一标定图像确定第一摄像头对应的第一相机响应函数；基于各第二标定图像确定第二摄像头对应的第二相机响应函数；根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系。
其中，第一标定图像组包括由第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像。即第一标定图像组和第二标定图像组中的图像均是由对应的摄像头针对相同场景拍摄得到，且第一标定图像组中的各第一标定图像对应拍摄时的曝光时间不同，第二标定图像组中各第二标定图像对应拍摄时的曝光时间不同。在具体实现时，第一标定图像组和第二标定图像组对应的拍摄场景可以为包括过曝和过暗区域的高动态范围场景，以便确保确定的像素映射关系能够适用于高动态范围场景，保证像素映射关系的适用范围。第一标定图像和第二标定图像的数量及对应的曝光时间可以根据实际需要进行灵活设置，如第一标定图像和第二标定图像的数量均可以为5张，而对应拍摄的曝光时间可以递增，且第一标定图像和第二标定图像各自的曝光时间可以不同。曝光时间的调整可以通过修改电子设备的信号增益(gain值)和快门速度(shutter值)实现。
进一步地，电子设备在确定第一摄像头与第二摄像头之间的像素映射关系时，即电子设备在标定第一摄像头与第二摄像头之间的像素映射关系时，可以先分别对第一摄像头和第二摄像头进行自标定，确定第一摄像头对应的第一相机响应函数以及第二摄像头对应的第二相机响应函数，并利用第一相机响应函数和第二相机响应函数进行互标定，得到第一摄像头与第二摄像头之间的像素映射关系。
具体地，获得第一标定图像组和第二标定图像组后，电子设备分别基于各第一标定图像确定第一摄像头对应的第一相机响应函数，基于各第二标定图像确定第二摄像头对应的第二相机响应函数。具体地，电子设备可以先对第一标定图像组和第二标定图像组中的各标定图像进行对齐，如通过中值阈值位图的对齐方法对第一标定图像组和第二标定图像组中的各标定图像进行中值阈值对齐，并基于中值阈值对齐后的第一标定图像和中值阈值对齐后的第二标定图像确定相应的相机响应函数。具体可以由电子设备基于各第一标定图像的亮度通道图像和各第二标定图像的亮度通道图像，通过Debevec算法分别求取得到第一摄像头对应的第一相机响应函数和第二摄像头对应的第二相机响应函数。得到第一相机响应函数和第二相机响应函数后，电子设备基于第一相机响应函数和第二相机响应函数确定第一摄像头与第二摄像头之间的像素映射关系。例如，可以利用第一标定图像和第二标定图像间匹配点的像素值，以及匹配点根据第一相机响应函数和第二相机响应函数确定的相对照度值，确定第一摄像头与第二摄像头之间的照度映射关系，并基于该照度映射关系确定第一摄像头与第二摄像头之间的像素映射关系。
本实施例中，通过第一摄像头和第二摄像头各自拍摄的标定图像进行自标定，确定第一相机响应函数和第二相机响应函数，并根据得到的第一相机响应函数和第二相机响应函数进行互标定，得到第一摄像头与第二摄像头之间的像素映射关系。像素映射关系基于第一相机响应函数和第二相机响应函数确定，通过该像素映射关系可以将第一摄像头拍摄的图像和第二摄像头拍摄的图像的色彩空间进行映射，以确保图像对齐时的梯度一致性，能够有效提高图像对齐的效果。
在一个实施例中，第一摄像头为可见光摄像头；如图5所示，确定第一相机响应函数的处理步骤，即基于各第一标定图像确定第一摄像头对应的第一相机响应函数，包括步骤502至步骤508。
步骤502，获取各第一标定图像分别对应于目标色彩通道的目标通道图像。
其中，可见光摄像头可以拍摄得到彩色图像，如RBG摄像头，包括Red、Green、Blue滤光片的传感器来接收物体反射光，生成RGB彩色图像。目标色彩通道为需要构建对应相机响应函数的色彩通道。相机响应函数与摄像头本身相关，不同摄像头拍摄的图像亮度与真实世界的照度之间的对应关系不同，即不同的摄像头对应于不同的相机响应函数，而相同摄像头在不同色彩通道中，相机响应函数对应函数曲线的表现形式也不一样。例如，对于可见光摄像头拍摄的RGB图像，其由三个色彩通道构成，则可以分别基于R、G和B通道标定对应的相机响应函数，各通道对应的相机响应函数相互之间有一定差异，但各通道对应的相机响应函数均体现了可见光摄像头拍摄的图像的亮度与真实世界的照度之间的对应关系。目标通道图像为第一标定图像对应于目标色彩通道的图像，如第一标定图像为RGB图像，目标色彩通道为R通道，则目标通道图像可以为RGB图像进行通道分离后的R通道图像。目标色彩通道可以根据实际需求进行设置。
步骤504，确定相同场景中同一位置在各目标通道图像中所对应的第一特征点。
各第一标定图像均基于相同场景拍摄得到，对于相同场景中同一位置，确定该位置在各目标通道图像中所对应的第一特征点，各目标通道图像所对应的第一特征点均指向现实世界中场景的同一位置，但各目标通道图像的曝光时间不同。具体地，电子设备可以从各目标通道图像中确定对应于相同场景中同一位置的第一特征点。
步骤506，确定各第一特征点对应于目标色彩通道的通道亮度值。
得到各目标通道图像中相互对应的第一特征点后，电子设备进一步确定各第一特征点对应于目标色彩通道的通道亮度值。具体可以由电子设备确定第一特征点对应于目标色彩通道的通道像素值，基于该通道像素值得到第一特征点对应于目标色彩通道的通道亮度值。目标色彩通道为单通道时，通道亮度值与通道像素值的数值相等。
步骤508，根据各第一特征点对应于目标色彩通道的通道亮度值，确定第一摄像头对应的第一相机响应函数。
得到各第一特征点的通道亮度值后，基于各通道亮度值确定第一摄像头对应的第一相机响应函数。具体实现时，可以由电子设备基于Debevec算法，通过各第一特征点对应于目标色彩通道的通道亮度值，求取得到第一摄像头对应的第一相机响应函数。
本实施例中，对于可见光摄像头，通过其拍摄的第一标定图像对应于目标色彩通道的目标通道图像进行相机响应函数标定，能够根据实际需要确定第一摄像头对应于各种通道的相机响应函数。
在一个实施例中，获取各第一标定图像分别对应于目标色彩通道的目标通道图像，包括：对第一标定图像进行通道分离，得到各分离通道图像；根据各分离通道图像得到对应于目标色彩通道的目标通道图像。
其中，分离通道图像为第一标定图像进行通道分离处理后得到的对应于各个色彩通道的图像，分离通道图像与第一标定图像所处的色彩空间对应。如RGB图像进行通道分离后可以获得R通道图像、G通道图像和B通道图像；HSV(Hue-Saturation-Value，色调-饱和度-明度)图像进行通道分离后可以获得H通道图像、S通道图像和V通道图像。
具体地，目标色彩通道可以根据实际需求进行设置，在获取第一标定图像分别对应于目标色彩通道的目标通道图像时，电子设备对第一标定图像进行通道分离，得到各分离通道图像，基于得到的各分离通道图像确定对应于该目标色彩通道的目标通道图像。例如，可以从各分离通道图像中选择与目标色彩通道对应的分离通道图像作为目标通道图像；目标色彩通道包括所有分离通道时，也可以直接将所有分离通道图像均作为目标通道图像，以建立第一摄像头对应于各个色彩通道的相机响应函数。此外，还可以对各分离通道图像进行变换，得到目标通道图像。例如，在目标色彩通道为亮度通道，亮度通道指色彩空间中表征图像画面的明亮程度的通道，即目标通道图像为亮度通道图像，而第一标定图像对应的各分离通道图像包括R通道图像、G通道图像和B通道图像时，可以利用R、G和B通道与亮度通道的映射关系，如Y＝0.299*R+0.587*G+0.114*B，其中，Y为亮度，结合R通道图像、G通道图像和B通道图像得到亮度通道图像，即得到目标通道图像。
本实施例中，根据第一标定图像进行通道分离后得到的各分离通道图像，快速确定对应所需的目标通道图像，确保相机响应函数标定的处理效率。
在一个实施例中，获取各第一标定图像分别对应于目标色彩通道的目标通道图像，包括：将第一标定图像变换至包括目标色彩通道的目标色彩空间，得到目标色彩空间图像；根据目标色彩空间图像得到对应于目标色彩通道的目标通道图像。
其中，目标色彩通道根据实际需求预先进行设置，目标色彩空间的各色彩通道包括目标色彩通道，通过将第一标定图像变换至目标色彩空间，可以根据在目标色彩空间对应的图像得到对应于目标色彩通道的目标通道图像。
具体地，在获取目标通道图像时，电子设备对第一标定图像的色彩空间进行变换，如可以先确定包括目标色彩通道的目标色彩空间，并对第一标定图像进行色彩空间变换，将第一标定图像变换至目标色彩空间，得到在目标色彩空间中的目标色彩空间图像。电子设备根据该目标色彩空间图像得到对应于目标色彩通道的目标通道图像。具体地，电子设备可以对目标色彩空间图像进行通道分离，并从通道分离获得的分离通道图像中得到目标通道图像。
本实施例中，通过将第一标定图像进行色彩空间变换后，根据变换后的结果得到目标通道图像，能够通过通道变换处理，基于第一标定图像得到第一摄像头对应于各种通道的相机响应函数。
在一个实施例中，第二摄像头为红外摄像头；基于各第二标定图像确定第二摄像头对应的第二相机响应函数，包括：分别确定相同场景中同一位置在各第二标定图像中所对应的第二特征点；确定各第二特征点的像素值；根据各第二特征点的像素值确定第二摄像头对应的第二相机响应函数。
其中，红外摄像头工作原理是红外灯发出红外线照射物体，红外线漫反射，被监控摄像头接收，形成红外图像，如NIR图像。第二摄像头为红外摄像头，则第二摄像头拍摄得到的第二标定图像为单通道图像，第二标定图像的像素值的数值与其亮度值数值相同。基于此，可以直接基于相机响应函数确定算法，如基于Debevec算法，根据第二标定图像的像素值求取得到第二摄像头对应的第二相机响应函数。
具体地，第二摄像头为红外摄像头，标定第二摄像头的相机响应函数时，类同于第一摄像头的相机响应函数标定处理，电子设备分别确定相同场景中同一位置在各第二标定图像中所对应的第二特征点。各第二标定图像均基于相同场景拍摄得到，对于相同场景中同一位置，确定该位置在各第二标定图像中所对应的第二特征点，各第二标定图像所对应的第二特征点均指向现实世界中场景的同一位置，但各第二标定图像的曝光时间不同。具体地，电子设备可以从各第二标定图像中确定对应于相同场景中同一位置的第二特征点。得到各第二特征点后，电子设备获得各第二特征点分别对应的像素值，并基于Debevec算法，通过各第二特征点的像素值，求取得到第二摄像头对应的第二相机响应函数。
本实施例中，对于红外摄像头，不需要进行通道变换处理，直接通过其拍摄的第二标定图像的像素值直接进行相机响应函数标定，能够快速确定第二摄像头对应于的相机响应函数。
在一个实施例中，根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系，包括：获取至少一对匹配点对，匹配点对根据从第一标定图像中提取的第一匹配点和从第二标定图像中提取的第二匹配点进行特征匹配得到；分别确定匹配点对中第一匹配点的第一点像素值和第二匹配点的第二点像素值；根据第一点像素值和第一相机响应函数确定第一相对照度值；根据第二点像素值和第二相机响应函数确定第二相对照度值；基于第一相对照度值和第二相对照度值确定照度映射关系；根据照度映射关系确定第一摄像头与第二摄像头之间的像素映射关系。
其中，匹配点对根据第一匹配点和第二匹配点进行特征匹配得到，第一匹配点从第一标定图像中提取得到，第二匹配点从第二标定图像中提取得到。具体可以分别从第一标定图像和第二标定图像提取得到第一匹配点和第二匹配点，并将得到的各第一匹配点和各第二匹配点进行特征匹配，如根据特征匹配结果构建各匹配点对。匹配点对中包括来自第一标定图像的第一匹配点和来自第一标定图像的第二匹配点。具体实现时，可以通过特征点检测算法，如Fast、SUSA(Smallest Univalue Segment Assimilating Nucleus，最小单值段同化核)、SIFT、SURF或LBP(Local Binary Pattern、局部二值模式)等算法，分别对第一标定图像和第二标定图像进行处理，得到第一匹配点和第二匹配点。
特征匹配指将获得的第一匹配点和第二匹配点进行匹配，以确定第一标定图像和第二标定图像中对应的匹配点，一般为拍摄场景中相同的位置对应在第一标定图像和第二标定图像中的像素点。具体可以通过BRIEF(Binary Robust Independent ElementaryFeatures，二进制健壮的独立基本特征)算法、Hamming(汉明)距离算法等对第一匹配点和第二匹配点进行特征匹配，基于特征匹配结果构建匹配点对，每一匹配点对中包括相互匹配的第一匹配点和第二匹配点，第一匹配点来自第一标定图像，而第二匹配点来自第二标定图像。
其中，照度指单位面积上所接受可见光的能量。摄像头在现实世界拍摄得到的图像为摄像头感知到的相对照度，该相对照度与现实世界的真实照度存在一定比例关系。摄像头的相机响应函数反映的是摄像头拍摄的图像的像素值与相对照度值的关系，即通过摄像头拍摄的图像的像素值和相机响应函数可以得到对应的相对照度值。根据匹配点对中两个特征点对应的相对照度值，可以得到第一摄像头和第二摄像头相对照度之间的照度映射关系，基于该照度映射关系可以构建第一摄像头与第二摄像头之间的像素映射关系。
具体地，得到第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系时，电子设备获取至少一对匹配点对，并分别确定匹配点对中第一匹配点的第一点像素值和第二匹配点的第二点像素值。得到第一点像素值和第二点像素值后，电子设备基于第一点像素值和第一相机响应函数确定第一相对照度值，基于第二点像素值和第二相机响应函数确定第二相对照度值。电子设备根据各第一相对照度值和对应第二相对照度值确定照度映射关系，如电子设备可以对各第一相对照度值和对应第二相对照度值进行统计分析，得到第一摄像头和第二摄像头的照度映射关系。照度映射关系描述了在相同场景下，第一摄像头拍摄得到的图像对应的相对照度值与第二摄像头拍摄得到的图像对应相对照度值的对应关系。进一步地，电子设备基于确定的照度映射关系得到第一摄像头与第二摄像头之间的像素映射关系。像素映射关系描述了在相同场景下，第一摄像头拍摄得到的图像的像素值与第二摄像头拍摄得到的图像的像素值之间的对应关系，基于该对应关系可以实现第一摄像头拍摄得到的图像与第二摄像头拍摄得到的图像之间的像素映射。具体实现时，可以遍历第一摄像头拍摄得到的图像的像素值，通过第一相机响应参数确定各像素值对应的第一相对照度值，基于各第一相对照度值和照度映射关系确定对应的第二相对照度值，基于各第二相对照度值和第二相机响应参数确定第二摄像头拍摄得到的图像的像素值，基于第一摄像头拍摄得到的图像的像素值和第二摄像头拍摄得到的图像的像素值，构建得到第一摄像头与第二摄像头之间的像素映射关系。
本实施例中，通过从第一标定图像中提取的第一匹配点和从第二标定图像中提取的第二匹配点进行特征匹配得到的匹配点对中匹配点对应的像素值，确定第一摄像头与第二摄像头之间照度映射关系，并基于照度映射关系得到第一摄像头与第二摄像头之间的像素映射关系，从而实现了对第一摄像头和第二摄像头的互标定，通过像素映射关系可以解决图像信息结构相似但梯度不一致的问题，确保图像对齐的精度，从而提高图像对齐的效果。
在一个实施例中，第一标定图像和第二标定图像包括处于相同场景中具备不同区域的标定目标；根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系，包括：确定在第一标定图像中，标定目标的各区域分别对应的第一区域像素值；确定在第二标定图像中，标定目标的各区域分别对应的第二区域像素值；根据标定目标中相同区域的第一区域像素值和第二区域像素值之间的对应关系，确定第一摄像头与第二摄像头之间的像素映射关系。
其中，标定目标预先设置在第一摄像头和第二摄像头拍摄时对应的相同场景中，标定目标划分有不同区域，各区域可以设有相应的颜色。标定目标可以根据实际需求进行设置，如可以为色卡、灰阶卡等。第一摄像头和第二摄像头在相同场景进行拍摄时，会同时拍摄到场景中的标定目标，基于标定目标的各区域的像素值可以对第一摄像头与第二摄像头之间的像素映射关系进行标定。
具体地，得到第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系，且第一标定图像和第二标定图像包括处于相同场景中具备不同区域的标定目标，即第一摄像头和第二摄像头均拍摄到场景中的标定目标时，电子设备分别确定在第一标定图像中，标定目标的各区域分别对应的第一区域像素值，以及在第二标定图像中，标定目标的各区域分别对应的第二区域像素值。得到第一区域像素值和第二区域像素值后，电子设备根据标定目标中相同区域的第一区域像素值和第二区域像素值之间的对应关系，得到第一摄像头与第二摄像头之间的像素映射关系。具体地，标定目标划分有多个区域，电子设备可以针对每个区域在第一标定图像中的第一区域像素值以及在第二标定图像中的第二区域像素值之间的对应关系，确定第一摄像头和第二摄像头之间的照度映射关系，如根据第一区域像素值和第二区域像素值的比值得到照度映射关系，并基于照度映射关系确定第一摄像头与第二摄像头之间的像素映射关系。
本实施例中，基于在拍摄的相同场景中标定目标中相同区域在第一标定图像中的第一区域像素值，以及在第二标定图像中的第二区域像素值之间的对应关系，确定在第一标定图像中的第一区域像素值，从而实现了对第一摄像头和第二摄像头的互标定，通过像素映射关系可以解决图像信息结构相似但梯度不一致的问题，确保图像对齐的精度，从而提高图像对齐的效果。
在一个实施例中，标定目标中每个区域具有预设的对应的纯色。
其中，纯色是指一种不混有其他色调的色彩或色相。标定目标中每个区域具有预设的对应的纯色，每个区域之间的颜色可以相同也可以不同。标定目标中每个区域具有对应的纯色，从而可以确保每个区域内的颜色纯净且统一，可以提高区域像素值确定的准确性，从而确保像素映射关系确定的精度，有利于提高图像对齐的效果。在具体实现时，标定目标可以为灰阶卡、色阶卡、色阶图等。
在一个实施例中，基于第一摄像头与第二摄像头之间的像素映射关系，对第二图像进行像素映射，获得第二图像对应的映射图像，包括：分别确定第二图像中各像素点的原始像素值；基于第一摄像头与第二摄像头之间的像素映射关系对各原始像素值进行像素值映射，得到第二图像中各像素点分别对应的映射像素值；基于各映射像素值更新第二图像，获得第二图像对应的映射图像。
其中，原始像素值为第二摄像头拍摄得到的第二图像未进行像素映射时的像素值；映射像素值为通过像素映射关系对原始像素值进行像素映射后得到的像素值；映射图像为基于映射像素值对第二图像进行更新，即第二图像经过像素映射关系进行像素映射后获得的映射结果。
具体地，电子设备获得待处理的第一图像和第二图像后，分别确定第二图像中各像素点的原始像素值，如电子设备可以遍历第二图像中各像素点，得到各像素点对应的原始像素值。电子设备进一步获取第一摄像头与第二摄像头之间的像素映射关系，并基于该像素映射关系对各原始像素值进行像素值映射，即根据像素映射关系将各原始像素值映射至第一图像的色彩空间中，得到第二图像中各像素点的映射像素值。电子设备基于获得的各映射像素值更新第二图像，具体可以基于各映射像素值对第二图像中对应像素点的像素值进行更新，生成第二图像对应的映射图像，从而实现将第二图像映射至第一图像的色彩空间，克服了由于信息来源差异出现图像信息结构相似但梯度不一致，而导致图像对齐的精度较差的问题，基于第二图像对应的映射图像和第一图像进行融合，提高了图像融合效果。
在一个实施例中，将第一图像和第二图像对应的映射图像进行对齐，包括：分别对第一图像和第二图像对应的映射图像进行畸变校正，得到第一畸变校正图像和第二畸变校正图像；分别对第一畸变校正图像和第二畸变校正图像进行立体校正，获得第一校正图像和第二校正图像；将第一校正图像和第二校正图像进行网格对齐。
其中，畸变校正用于校正因镜头畸变现象而导致的图像失真问题，具体包括校正径向畸变、切向畸变等。立体校正用于确保两摄像机图像平面平行，校正成共面行对准，此时相机光轴共心，图像行对齐，从而有利于减少后续网格对齐搜索范围。由于场景中整个图像不是共面的，会多存在多个平面，在整个图像上进行图像对齐时，无法确保完全对齐，故通过采用网格对齐的方法，将图像划分成多个小网格，在划分的各网格内分别进行对齐，从而达到对齐效果。
具体地，电子设备获取第一摄像头和第二摄像头分别对应的标定参数，并通过第一摄像头和第二摄像头分别对应的标定参数进行畸变校正和立体校正。标定参数具体可以为两个摄像头预先标定得到的相机参数，具体包括内参、外参和畸变参数等。电子设备分别对第一图像和第二图像对应的映射图像进行畸变校正，得到第一畸变校正图像和第二畸变校正图像，以克服第一图像和第二图像对应的映射图像中存在的径向畸变、切向畸变等畸变问题，提高图像质量。进一步地，电子设备分别对第一畸变校正图像和第二畸变校正图像进行立体校正，具体可以基于Bouguet校正原理对第一畸变校正图像和第二畸变校正图像进行立体校正，获得第一校正图像和第二校正图像，以使获得的第一校正图像和第二校正图像所处平面平行，光轴和图像平面垂直，且极点处于无线远处。电子设备再将获得的第一校正图像和第二校正图像进行网格对齐，实现对第一摄像头的拍摄图像和第二摄像头的拍摄图像的对齐。
其中，其中，Bouguet校正原理是将OPencv求解出来的旋转和平移矩阵分解成左右相机各旋转一半的旋转和平移矩阵，分解的原则是使得左右图像重投影造成的畸变最小，左右视图的共同面积最大。具体地，基于Bouguet校正原理进行立体校正时，将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵Rl和Rr，作为左右相机的合成旋转矩阵。将左右相机各旋转一半，使得左右相机的光轴平行，此时左右相机的成像面达到平行，但是基线与成像平面不平行。构造变换矩阵Rrect使得基线与成像平面平行，构造的方法是通过右相机相对于左相机的偏移矩阵T完成的。通过合成旋转矩阵与变换矩阵相乘获得左右相机的整体旋转矩阵。左右相机坐标系乘以各自的整体旋转矩阵就可使得左右相机的主光轴平行，且像平面与基线平行，通过上述的两个整体旋转矩阵，就能够得到理想的平行配置的立体校正后的图像。
本实施例中，利用预先标定的摄像头的相机参数分别对第一图像和第二图像对应的映射图像依次进行畸变校正和立体校正，以克服摄像头拍摄的畸变现象，减少原始图像的失真；同时使两个摄像头拍摄得到的图像所处平面平行，光轴和图像平面垂直，且极点处于无线远处，并对校正后得到的第一校正图像和第二校正图像进行网格对齐，确保了图像对齐的效果。
在一个实施例中，将第一校正图像和第二校正图像进行网格对齐，包括：分别将第一校正图像和第二校正图像进行网格划分，获得第一校正图像对应的各第一网格和第二校正图像对应的各第二网格；分别对各第一网格和各第二网格中进行网格特征点检测，获得第一网格对应的第一网格特征点和第二网格对应的第二网格特征点；基于各第一网格特征点和第二网格特征点对第一校正图像和第二校正图像进行图像变换，以对齐第一校正图像和第二校正图像。
其中，网格划分用于将图像划分成多个小网格，并分别对各小网格进行对齐，以避免图像存在多个平面时无法整体进行对齐的问题。网格特征点检测用于检测网格中的特征点，以通过该特征点将网格进行对齐。
具体地，在将第一校正图像和第二校正图像进行网格对齐时，电子设备分别将第一校正图像和第二校正图像进行网格划分，获得第一校正图像对应的各第一网格和第二校正图像对应的各第二网格。网格的划分参数可以根据实际需要进行设置，如可以将第一校正图像和第二校正图像分别划分为N*N个网格。得到各网格后，电子设备分别对各第一网格和各第二网格中进行网格特征点检测，具体可以通过Fast、SUSA、SIFT、SURF或LBP等算法进行特征点检测，获得第一网格对应的第一网格特征点和第二网格对应的第二网格特征点。电子设备基于各第一网格特征点和第二网格特征点对第一校正图像和第二校正图像进行图像变换，以对齐第一校正图像和第二校正图像。具体实现时，电子设备可以针对各第一网格和对应的第二网格进行对齐，从而可以并行对多个网格对进行对齐，每个网格对包括相互匹配的第一网格和第二网格。具体地，得到第一网格对应的第一网格特征点和第二网格对应的第二网格特征点后，基于第一网格特征点和第二网格特征点进行特征匹配，以实现第一网格和第二网格的匹配，构建得到网格对。针对每个网格对进行误匹配去除处理，如可以通过RANSAC(Random Sample Consensus，随机抽样一致)算法去除特征点匹配对的误匹配网格对。电子设备进一步计算各网格对的单应矩阵，并基于单应矩阵对网格对中的第一网格和第二网格进行透视变换，以实现对网格对中的第一网格和第二网格的对齐，根据各网格对的对齐结果得到对齐的第一图像和对齐的第二图像。
本实施例中，将图像划分成多个小网格，并分别对各小网格进行对齐，以避免图像存在多个平面时无法整体进行对齐的问题，进一步提高了图像对齐效果。
在一个实施例中，在分别对第一畸变校正图像和第二畸变校正图像进行立体校正，获得第一校正图像和第二校正图像之后，还包括：根据第一校正特征点和第二校正特征点构建特征点匹配对；第一校正特征点从第一校正图像中提取得到，第二校正特征点从第二校正图像提取得到；基于各特征点匹配对中的校正特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数；通过投影参数对第一校正图像和第二校正图像进行投影对齐，得到第一投影对齐图像和第二投影对齐图像。
第一校正特征点从第一校正图像中提取得到，第二校正特征点从第二校正图像提取得到。具体地，可以通过特征点检测算法，如Fast、SUSA、SIFT、SURF、或LBP等算法分别对第一校正图像和第一校正图像进行处理，得到第一校正特征点和第二校正特征点。基于提取得到的第一校正特征点和第二校正特征点构建特征点匹配对，特征点匹配对反映了第一校正图像和第二校正图像中校正特征点的对应关系，特征点匹配对具体可以通过将获得的第一校正特征点和第二校正特征点进行特征匹配，并基于匹配成功对应的第一校正特征点和第二校正特征点构建得到。即每一特征点匹配对中包括相互匹配的第一校正特征点和第二校正特征点，第一校正特征点来自第一校正图像，而第二校正特征点来自第二校正图像。
偏移参数用于表征特征点匹配对中的校正特征点之间的对齐程度，若各特征点匹配对中的校正特征点的对齐程度高，那么对应的第一图像和第二图像的对齐效果也较高。具体应用中，偏移参数可以根据特征点匹配对中的校正特征点之间的距离，如欧式距离进行度量。投影参数用于图像对齐，具体可以通过投影参数对两张图像进行投影映射，以实现图像对齐。
对第一校正图像和第二校正图像进行对齐具体可以通过投影参数对第二校正图像或第一校正图像进行投影映射，以将第二校正图像投影至第一校正图像的坐标系中，或将第一校正图像投影至第二校正图像的坐标系中，从而实现第一图像和第二图像的投影对齐，得到第一投影对齐图像和第二投影对齐图像。
具体地，在获得第一校正图像和第二校正图像后，电子设备根据从第一校正图像中提取得到的第一校正特征点和从第二校正图像提取得到的第二校正特征点构建特征点匹配对。在构建得到特征点匹配对后，电子设备确定各特征点匹配对中的校正特征点之间的偏移参数，如可以分别计算每一特征点匹配对中的校正特征点之间的距离，并根据各特征点匹配对对应的距离构建图像偏移函数，通过求解该图像偏移函数确定投影参数。得到投影参数后，电子设备利用投影参数对第一校正图像和第二校正图像进行投影对齐，具体可以由电子设备通过投影参数将第一校正图像或第二校正图像进行投影映射，以实现对第一校正图像和第二校正图像的对齐。投影参数根据特征点匹配对中的校正特征点之间的偏移参数确定，可以根据图像拍摄的场景进行动态校准投影参数，能够降低随机误差的影响，从而提高利用该投影参数进行图像对齐的效果。
进一步地，将第一校正图像和第二校正图像进行网格对齐，包括：将第一投影对齐图像和第二投影对齐图像进行网格对齐。
得到投影对齐后的第一投影对齐图像和第二投影对齐图像后，将第一投影对齐图像和第二投影对齐图像进行网格对齐，以基于网格对齐方式将一投影对齐图像和第二投影对齐图像进行对齐，从而实现对第一图像和第二图像的对齐。
本实施例中，在图像对齐时，利用第一校正图像中的第一校正特征点和第二校正图像中的第二校正特征点构建特征点匹配对，可以确保特征点匹配对中各校正特征点的匹配精度，同时根据特征点匹配对中的校正特征点之间的偏移参数确定投影参数，可以根据图像拍摄的场景进行动态校准投影参数，降低了随机误差的影响，提高了利用该投影参数进行图像对齐的效果。再将第一投影对齐图像和第二投影对齐图像进行网格对齐，以避免图像存在多个平面时无法整体进行对齐的问题，进一步提高了图像的对齐效果。
在一个实施例中，提供了一种图像处理方法，该图像处理方法应用于手机的RGB相机拍摄的RGB图像与NIR相机拍摄的NIR图像的对齐处理过程中。具体地，如图6所示，第一图像为RGB相机拍摄得到的RGB图像，第二图像为NIR相机拍摄得到的NIR图像，在获得RGB图像和NIR图像后，对RGB图像和NIR图像进行CRF校正，具体根据RGB相机的第一相机响应函数与NIR相机的第二相机响应函数确定的像素映射关系，对NIR图像进行像素映射，将获得的NIR图像对应的映射图像和RGB图像进行对齐。进一步利用预先标定的相机参数分别对CRF校正后的RGB图像和CRF校正后的NIR图像进行畸变校正，得到畸变校正的RGB图像和畸变校正的NIR图像，再对畸变校正的RGB图像和畸变校正的NIR图像分别进行立体校正，获得立体校正的RGB图像和立体校正的NIR图像。分别对立体校正的RGB图像和立体校正的NIR图像依次构建网格、提取SIFT特征、特征匹配和去除误匹配、计算单应矩阵及透视变换，获得对齐后的RGB图像和对齐后的NIR图像。
其中，相机标定用来标定相机传感器的内外参和畸变参数。RGB相机只需要标定内参和畸变参数，NIR相机除标定内参和畸变参数外，还需要标定外参。如图7所示，在标定相机参数时，首先需要获取标定板图像对，获取RGB图像和NIR图像，标定板图像是在室内拍摄，光照强度较弱，拍摄过程需要全程补光，然后检测标定板的角点，采用张正友标定法分别对RGB相机、NIR相机进行标定，得到RGB相机、NIR相机的标定参数。获得的标定参数可进行存储，以用于后续的图像校正处理。
进一步地，相机的摄像头用来采集图像，一般需要在出厂前进行标定。RGB相机NIR相机的标定均可以通过单摄像头标定实现。单摄像头标定是指确定单摄像头内参和外参的值。单摄像头的内参可包括fx、fy、cx、cy，其中，fx表示焦距在图像坐标系x轴方向上单位像元大小，fy表示焦距在图像坐标系y轴方向上单位像元大小，cx、cy表示图像平面的主点坐标，主点是光轴与图像平面的交点。fx＝f/dx，fy＝f/dy，其中，f为单摄像头的焦距，dx表示图像坐标系x轴方向上一个像素的宽度，dy表示图像坐标系y轴方向上一个像素的宽度。图像坐标系是以摄像头拍摄的二维图像为基准建立的坐标系，用于指定物体在拍摄图像中的位置。图像坐标系中的(x,y)坐标系的原点位于摄像头光轴与成像平面的焦点(cx，cy)上，单位为长度单位，即米，像素坐标系中的(u，v)坐标系的原点在图像的左上角，单位为数量单位，即个。(x,y)用于表征物体从摄像头坐标系向图像坐标系的透视投影关系，(u，v)用于表征像素坐标。(x,y)与(u，v)之间的转换关系如公式(1)：
Figure BDA0002774570580000141
透视投影是指用中心投影法将形体投射到投影面上，从而获得的一种较为接近视觉效果的单面投影图。
单摄像头的外参包括世界坐标系下的坐标转换到摄像头坐标系下的坐标的旋转矩阵和平移矩阵。世界坐标系通过刚体变换到达摄像头坐标系，摄像头坐标系通过透视投影变换到达图像坐标系。刚体变换是指三维空间中，当物体不发生形变时，对一个几何物体做旋转、平移的运动，即为刚体变换。刚体变换如公式(2)，
Figure BDA0002774570580000142
Xc＝RX+T，
Figure BDA0002774570580000143
其中，Xc代表摄像头坐标系，X代表世界坐标系，R代表世界坐标系到摄像头坐标系的旋转矩阵，T代表世界坐标系到摄像头坐标系的平移矩阵。世界坐标系原点和摄像头坐标系原点之间的距离受x、y、z三个轴方向上的分量共同控制，具有三个自由度，R为分别绕X、Y、Z轴旋转的效果之和。tx表示x轴方向的平移量，ty表示y轴方向的平移量，tz表示z轴方向的平移量。
世界坐标系是客观三维空间的绝对坐标系，可以建立在任意位置。例如对于每张标定图像，世界坐标系可以建立在以标定板的左上角角点为原点，以标定板平面为XY平面，Z轴垂直标定板平面向上。摄像头坐标系是以摄像头光心为坐标系的原点，以摄像头的光轴作为Z轴，X轴、Y轴分别平行于图像坐标系的X轴Y轴。图像坐标系的主点是光轴与图像平面的交点。图像坐标系以主点为原点。像素坐标系是指原点定义在图像平面的左上角位置。
根据摄像头的内参和外参确定摄像头的畸变参数。在一个实施例中，可使用brown多项式作为畸变模型，brown模型包括5个参数，其中，3个径向畸变参数，2个切向畸变参数。在其他实施例中，也可进行分块曲面函数拟合得到畸变参数。
进一步地，在对RGB图像和NIR图像进行CRF校正之前，还包括标定CRF的处理。具体地，标定CRF目的是计算RGB图像和NIR图像的色彩映射关系，CRF标定包括CRF自标定和互标定两个过程，其中自标定用于计算真实世界照度和RGB图像或NIR图像亮度的关系，互标定是根据自标定得到的亮度和照度关系，找到RGB图像和NIR图像的像素关系。如图8所示，在标定CRF，确定RGB相机和NIR相机之间的像素映射关系时，获取RGB相机和NIR相机在不同曝光时间条件下拍摄得到的图像对，并基于图像对依次进行CRF自标定和互标定，确定RGB相机和NIR相机之间的像素映射关系。具体选择高动态范围场景(包括过曝和过暗区域)，分别用RGB相机和NIR相机拍摄5组不同曝光时间的图像，RGB图像为RGB_1～RGB_5，NIR图像为NIR_1～NIR_5。曝光时间通过手机的gain值(信号增益)和shutter值(快门速度)修改，以2的倍数递减，RGB相机和NIR相机的最大曝光时间可不一致，曝光时间分别为(EV-2,EV-1,EV0,EV+1,EV+2)。分别对RGB_1～RGB_5和NIR_1～NIR_5进行对齐，对齐方法采用中值阈值位图(median threshold bitmaps)，得到新的对齐图像为RGB’_1～RGB’_5，和NIR’_1～NIR’_5。
将所有RGB图像通道分离成R、G、B通道，计算其亮度通道，NIR图像是单通道，不需要分离。对RGB亮度通道和NIR图像分别采用Debevec方法求取相机响应函数对应的相机响应曲线。如图9为一个实施例中相机响应曲线的示意图。其中，横坐标为图像像素值(0～255)，纵坐标为相对照度值。曲线1为RGB亮度通道的相机响应曲线，曲线2为NIR图像的相机响应曲线。相对照度值和真实的照度存在一定比例关系，相机响应曲线代表图像的像素值和相对照度值之间的关系。
此外，除RGB色彩空间的相机响应函数外，还可以构建其他色彩空间的相响应函数，如HSV的V通道，RGB分离的R、G或B通道等，可以根据实际需求进行调整。如图10所示，曲线3为NIR图像的相机响应曲线，曲线4为RGB色彩空间中R通道图像的相机响应曲线，曲线5为RGB色彩空间中B通道图像的相机响应曲线，曲线6和曲线7重叠，分别为RAW图拜耳模式的RGGB色彩空间中的G1通道图像和G2通道图像分别对应的相机响应曲线。如图11所示，曲线8为NIR图像的相机响应曲线，曲线9为HSV色彩空间中V通道图像对应的相机响应曲线。
相机响应曲线只能算出图像像素值和相对照度值之间关系，需要通过CRF互标定得到相对照度和真实照度的关系。然而，真实照度需要用照度计测量得到，为了简化这个问题，通过计算RGB相机和NIR相机响应曲线中照度值之间的关系。具体实现时，一方面可以提取RGB图像和NIR图像间的匹配点，得到匹配点的像素值，以及其在响应区域的相对照度值，就可得到两者照度映射关系。另一方面，可以在RGB相机和NIR相机采集图像时的场景中放置一个灰阶卡，检测灰阶卡的区域，得到灰阶卡每个区域在RGB图像和NIR图像的像素值，然后像素值相除得到照度映射关系。基于互标定确定的照度映射关系建立RGB图像和NIR图像像素值之间的像素映射关系，像素映射关系描述了NIR亮度值与RGB某个通道亮度值之间的对应关系。采用CRF标定和校正，可将NIR图像校正到RGB图像的亮度域上，可以解决图像因不同传感器获取图像信息时出现结构相似但梯度不一致的问题，能够提高图像对齐效果。该像素映射关系可用表格存储，标定结束后可以离线保存，且只需要标定一次。在使用时只需要遍历查表即可，可以有效提高图像处理效率。
进一步地，对RGB图像和NIR图像进行CRF校正时，使用CRF标定结果，即RGB相机和NIR相机之间的像素映射关系，对NIR图像进行亮度映射，需要快速遍历NIR图像每个像素点，通过查找RGB图像和NIR图像像素值的映射关系，得到NIR图像中每个像素点新的像素值。
进一步地，对CRF校正结果进行畸变校正和立体校正，具体利用RGB相机和NIR相机标定的相机内外参数及畸变参数，对图像做畸变校正和立体校正，把图像非共面行对准，校正成共面行对准，此时相机光轴共心，图像行对齐，从而利于减少后面的网格对齐搜索范围。
得到立体校正的结果后，考虑到由于场景中整个图像不是共面的，会多存在多个平面，在整个图像上做基于SIFT特征的对齐方法，无法完全对齐。故采用网格对齐方法，将图像划分成多个小网格，在小网格内采用基于SIFT特征的对齐方法，从而达到对齐效果。具体地，将立体校正后的RGB图像和立体校正后的NIR图像均分成N*N网格，并遍历每个网格，需进行SIFT特征点提取、SIFT特征匹配、RANSAC去除误匹配点、计算单应性矩阵、透视变换，得到对齐后的RGB图像和对齐后的NIR图像。
图12为一个实施例中双目摄像头的像素映射关系确定方法的流程图。本实施例中的双目摄像头的像素映射关系确定方法，以运行于图3中的电子设备上为例进行描述。如图12所示，图像处理方法包括步骤1202至步骤1208。
步骤1202，获取第一标定图像组和第二标定图像组；第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由双目摄像头中第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像。
其中，第一标定图像组包括由双目摄像头中的第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由双目摄像头中的第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像。即第一标定图像组和第二标定图像组中的图像均是由对应的摄像头针对相同场景拍摄得到，且第一标定图像组中的各第一标定图像对应拍摄时的曝光时间不同，第二标定图像组中各第二标定图像对应拍摄时的曝光时间不同。在具体实现时，第一标定图像组和第二标定图像组对应的拍摄场景可以为包括过曝和过暗区域的高动态范围场景，以便确保确定的像素映射关系能够适用于高动态范围场景，保证像素映射关系的适用范围。第一标定图像和第二标定图像的数量及对应的曝光时间可以根据实际需要进行灵活设置，如第一标定图像和第二标定图像的数量均可以为5张，而对应拍摄的曝光时间可以递增，且第一标定图像和第二标定图像各自的曝光时间可以不同。曝光时间的调整可以通过修改电子设备的信号增益(gain值)和快门速度(shutter值)实现。进一步地，电子设备可以先对第一标定图像组和第二标定图像组中的各标定图像进行对齐，如通过中值阈值位图的对齐方法对第一标定图像组和第二标定图像组中的各标定图像进行中值阈值对齐，并基于中值阈值对齐后的第一标定图像和中值阈值对齐后的第二标定图像确定相应的相机响应函数。
步骤1204，基于各第一标定图像确定第一摄像头对应的第一相机响应函数。
其中，相机响应函数用于表征摄像头拍摄到的图像亮度和真实世界的照度存在的对应关系。一般地，真实世界观察到的亮度或者照度是不变的，不会随着摄像头的不同而改变，而摄像头拍摄到的图像亮度和真实世界的照度存在一定的对应关系，该对应关系通过相机响应函数描述。具体地，电子设备可以基于各第一标定图像的亮度通道图像，通过Debevec算法求取得到第一摄像头对应的第一相机响应函数。
步骤1206，基于各第二标定图像确定第二摄像头对应的第二相机响应函数。
与第一摄像头对应的第一相机响应函数的求取同理，电子设备可以基于各第二标定图像的亮度通道图像，通过Debevec算法求取得到第二摄像头对应的第二相机响应函数。
步骤1208，根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系。
其中，像素映射关系反映了第一摄像头与第二摄像头在针对相同场景同时进行拍摄时，第一摄像头拍摄的图像中各像素点的像素值与第二摄像头拍摄的图像中各像素点的像素值之间的映射关系，即通过像素映射关系可以将第一摄像头与第二摄像头各自拍摄的图像进行色彩空间映射，如将第一摄像头拍摄的图像映射至第二摄像头拍摄的图像对应的色彩空间中，以便克服第一摄像头与第二摄像头拍摄的图像由于信息来源差异，出现图像信息结构相似但梯度不一致而导致图像对齐的精度较差的问题。
具体地，得到第一相机响应函数和第二相机响应函数后，电子设备基于第一相机响应函数和第二相机响应函数确定第一摄像头与第二摄像头之间的像素映射关系。例如，可以利用第一标定图像和第二标定图像间匹配点的像素值，以及匹配点根据第一相机响应函数和第二相机响应函数确定的相对照度值，确定第一摄像头与第二摄像头之间的照度映射关系，并基于该照度映射关系确定第一摄像头与第二摄像头之间的像素映射关系。
上述双目摄像头的像素映射关系确定方法，根据双目摄像头在相同场景、不同曝光时间条件下拍摄得到的图像，分别确定双目摄像头中第一摄像头对应的第一相机响应函数和第二摄像头对应的第二相机响应函数，并基于第一相机响应函数和第二相机响应函数确定第一摄像头与第二摄像头之间的像素映射关系。像素映射关系根据第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定，通过该像素映射关系可以利用摄像头的相机响应函数将双目摄像头中第二摄像头拍摄的第二图像映射到第一摄像头拍摄得到的第一图像的像素空间，能够解决图像信息结构相似但梯度不一致的问题，确保图像对齐的精度，从而提高图像对齐的效果。
在一个实施例中，第一摄像头为可见光摄像头；基于各第一标定图像确定第一摄像头对应的第一相机响应函数，包括：获取各第一标定图像分别对应于目标色彩通道的目标通道图像；确定相同场景中同一位置在各目标通道图像所对应的第一特征点；确定各第一特征点对应于目标色彩通道的通道亮度值；根据各第一特征点对应于目标色彩通道的通道亮度值，确定第一摄像头对应的第一相机响应函数。
在一个实施例中，获取各第一标定图像分别对应于目标色彩通道的目标通道图像，包括：对第一标定图像进行通道分离，得到各分离通道图像；根据各分离通道图像得到对应于目标色彩通道的目标通道图像。
在一个实施例中，获取各第一标定图像分别对应于目标色彩通道的目标通道图像，包括：将第一标定图像变换至包括目标色彩通道的目标色彩空间，得到目标色彩空间图像；根据目标色彩空间图像得到对应于目标色彩通道的目标通道图像。
在一个实施例中，第二摄像头为红外摄像头；基于各第二标定图像确定第二摄像头对应的第二相机响应函数，包括：分别确定相同场景中同一位置在各第二标定图像中所对应的第二特征点；确定各第二特征点的像素值；根据各第二特征点的像素值确定第二摄像头对应的第二相机响应函数。
在一个实施例中，根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系，包括：获取至少一对匹配点对，匹配点对根据从第一标定图像中提取的第一匹配点和从第二标定图像中提取的第二匹配点进行位置匹配得到；分别确定匹配点对中第一匹配点的第一点像素值和第二匹配点的第二点像素值；根据第一点像素值和第一相机响应函数确定第一相对照度值；根据第二点像素值和第二相机响应函数确定第二相对照度值；基于第一相对照度值和第二相对照度值确定照度映射关系；根据照度映射关系确定第一摄像头与第二摄像头之间的像素映射关系。
在一个实施例中，第一标定图像和第二标定图像包括处于相同场景中具备不同区域的标定目标；根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系，包括：确定在第一标定图像中，标定目标的各区域分别对应的第一区域像素值；确定在第二标定图像中，标定目标的各区域分别对应的第二区域像素值；根据标定目标中相同区域的第一区域像素值和第二区域像素值之间的对应关系，确定第一摄像头与第二摄像头之间的像素映射关系。
在一个实施例中，标定目标中每个区域具有预设的对应的纯色。
应该理解的是，虽然图4-8、12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4-8、12中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图13为一个实施例的图像处理装置1300的结构框图。如图13所示，图像处理装置1300包括待处理图像获取模块1302、像素映射处理模块1304和图像对齐处理模块1306，其中：
待处理图像获取模块1302，用于获取待处理的第一图像和第二图像；第一图像由第一摄像头拍摄得到，第二图像由第二摄像头拍摄得到；
像素映射处理模块1304，用于基于第一摄像头与第二摄像头之间的像素映射关系，对第二图像进行像素映射，获得第二图像对应的映射图像；其中，像素映射关系基于第一摄像头的第一相机响应函数与第二摄像头的第二相机响应函数确定；
图像对齐处理模块1306，用于将第二图像对应的映射图像和第一图像进行对齐。
在一个实施例中，还包括标定图像组获取模块、第一相机响应函数确定模块、第二相机响应函数确定模块和像素映射关系确定模块；其中：标定图像组获取模块，用于获取第一标定图像组和第二标定图像组；第一标定图像组包括由第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像；第一相机响应函数确定模块，用于基于各第一标定图像确定第一摄像头对应的第一相机响应函数；第二相机响应函数确定模块，用于基于各第二标定图像确定第二摄像头对应的第二相机响应函数；像素映射关系确定模块，用于根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系。
在一个实施例中，第一摄像头为可见光摄像头；第一相机响应函数确定模块包括目标通道图像获取模块、第一特征点确定模块、通道亮度值确定模块和第一相机响应函数获得模块；其中：目标通道图像获取模块，用于获取各第一标定图像分别对应于目标色彩通道的目标通道图像；第一特征点确定模块，用于确定相同场景中同一位置在各目标通道图像中所对应的第一特征点；通道亮度值确定模块，用于确定各第一特征点对应于目标色彩通道的通道亮度值；第一相机响应函数获得模块，用于根据各第一特征点对应于目标色彩通道的通道亮度值，确定第一摄像头对应的第一相机响应函数。
在一个实施例中，目标通道图像获取模块包括通道分离模块和分离通道图像处理模块；其中：通道分离模块，用于对第一标定图像进行通道分离，得到各分离通道图像；分离通道图像处理模块，用于根据各分离通道图像得到对应于目标色彩通道的目标通道图像。
在一个实施例中，目标通道图像获取模块包括目标色彩空间图像获取模块和目标色彩空间图像处理模块；其中：目标色彩空间图像获取模块，用于将第一标定图像变换至包括目标色彩通道的目标色彩空间，得到目标色彩空间图像；目标色彩空间图像处理模块，用于根据目标色彩空间图像得到对应于目标色彩通道的目标通道图像。
在一个实施例中，第二摄像头为红外摄像头；第二相机响应函数确定模块包括第二特征点确定模块、第二特征点像素确定模块和第二特征点像素处理模块；其中：第二特征点确定模块，用于分别确定相同场景中同一位置在各第二标定图像中所对应的第二特征点；第二特征点像素确定模块，用于确定各第二特征点的像素值；第二特征点像素处理模块，用于根据各第二特征点的像素值确定第二摄像头对应的第二相机响应函数。
在一个实施例中，像素映射关系确定模块包括匹配点对获取模块、匹配点对像素确定模块、相对照度值确定模块、照度映射关系确定模块和照度映射关系处理模块；其中：匹配点对获取模块，用于获取至少一对匹配点对，匹配点对根据从第一标定图像中提取的第一匹配点和从第二标定图像中提取的第二匹配点进行特征匹配得到；匹配点对像素确定模块，用于分别确定匹配点对中第一匹配点的第一点像素值和第二匹配点的第二点像素值；相对照度值确定模块，用于根据第一点像素值和第一相机响应函数确定第一相对照度值；根据第二点像素值和第二相机响应函数确定第二相对照度值；照度映射关系确定模块，用于基于第一相对照度值和第二相对照度值确定照度映射关系；照度映射关系处理模块，用于根据照度映射关系确定第一摄像头与第二摄像头之间的像素映射关系。
在一个实施例中，第一标定图像和第二标定图像包括处于相同场景中具备不同区域的标定目标；像素映射关系确定模块包括第一区域像素确定模块、第二区域像素确定模块和区域像素分析模块；其中：第一区域像素确定模块，用于确定在第一标定图像中，标定目标的各区域分别对应的第一区域像素值；第二区域像素确定模块，用于确定在第二标定图像中，标定目标的各区域分别对应的第二区域像素值；区域像素分析模块，用于根据标定目标中相同区域的第一区域像素值和第二区域像素值之间的对应关系，确定第一摄像头与第二摄像头之间的像素映射关系。
在一个实施例中，标定目标中每个区域具有预设的对应的纯色。
在一个实施例中，像素映射处理模块1304包括原始像素确定模块、映射像素获得模块和图像更新模块；其中：原始像素确定模块，用于分别确定第二图像中各像素点的原始像素值；映射像素获得模块，用于基于第一摄像头与第二摄像头之间的像素映射关系对各原始像素值进行像素值映射，得到第二图像中各像素点分别对应的映射像素值；图像更新模块，用于基于各映射像素值更新第二图像，获得第二图像对应的映射图像。
在一个实施例中，图像对齐处理模块1306包括畸变校正模块、立体校正模块和网格对齐模块；其中：畸变校正模块，用于分别对第一图像和第二图像对应的映射图像进行畸变校正，得到第一畸变校正图像和第二畸变校正图像；立体校正模块，用于分别对第一畸变校正图像和第二畸变校正图像进行立体校正，获得第一校正图像和第二校正图像；网格对齐模块，用于将第一校正图像和第二校正图像进行网格对齐。
在一个实施例中，网格对齐模块包括网格划分模块、网格特征提取模块和图像变换模块；其中：括网格划分模块，用于分别将第一校正图像和第二校正图像进行网格划分，获得第一校正图像对应的各第一网格和第二校正图像对应的各第二网格；网格特征提取模块，用于分别对各第一网格和各第二网格中进行网格特征点检测，获得第一网格对应的第一网格特征点和第二网格对应的第二网格特征点；图像变换模块，用于基于各第一网格特征点和第二网格特征点对第一校正图像和第二校正图像进行图像变换，以对齐第一校正图像和第二校正图像。
在一个实施例中，还包括匹配对构建模块、投影参数确定模块和投影对齐模块；其中：匹配对构建模块，用于根据第一校正特征点和第二校正特征点构建特征点匹配对；第一校正特征点从第一校正图像中提取得到，第二校正特征点从第二校正图像提取得到；投影参数确定模块，用于基于各特征点匹配对中的校正特征点之间的偏移参数，确定第一校正图像和第二校正图像之间的投影参数；投影对齐模块，用于通过投影参数对第一校正图像和第二校正图像进行投影对齐，得到第一投影对齐图像和第二投影对齐图像；网格对齐模块还用于将第一投影对齐图像和第二投影对齐图像进行网格对齐。
图14为一个实施例的双目摄像头的像素映射关系确定装置1400的结构框图。如图14所示，双目摄像头的像素映射关系确定装置1400包括，其中：
标定图像组获取模块1402，用于获取第一标定图像组和第二标定图像组；第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，第二标定图像组包括由双目摄像头中第二摄像头在相同场景、不同曝光时间条件下拍摄获得的第二标定图像；
第一相机响应函数确定模块1404，用于基于各第一标定图像确定第一摄像头对应的第一相机响应函数；
第二相机响应函数确定模块1406，用于基于各第二标定图像确定第二摄像头对应的第二相机响应函数；
像素映射关系确定模块1408，用于根据第一相机响应函数和第二相机响应函数，确定第一摄像头与第二摄像头之间的像素映射关系。
在一个实施例中，第一摄像头为可见光摄像头；第一相机响应函数确定模块1404包括目标通道图像获取模块、第一特征点确定模块、通道亮度值确定模块和第一相机响应函数获得模块；其中：目标通道图像获取模块，用于获取各第一标定图像分别对应于目标色彩通道的目标通道图像；第一特征点确定模块，用于确定相同场景中同一位置在各目标通道图像中所对应的第一特征点；通道亮度值确定模块，用于确定各第一特征点对应于目标色彩通道的通道亮度值；第一相机响应函数获得模块，用于根据各第一特征点对应于目标色彩通道的通道亮度值，确定第一摄像头对应的第一相机响应函数。
在一个实施例中，目标通道图像获取模块包括通道分离模块和分离通道图像处理模块；其中：通道分离模块，用于对第一标定图像进行通道分离，得到各分离通道图像；分离通道图像处理模块，用于根据各分离通道图像得到对应于目标色彩通道的目标通道图像。
在一个实施例中，目标通道图像获取模块包括目标色彩空间图像获取模块和目标色彩空间图像处理模块；其中：目标色彩空间图像获取模块，用于将第一标定图像变换至包括目标色彩通道的目标色彩空间，得到目标色彩空间图像；目标色彩空间图像处理模块，用于根据目标色彩空间图像得到对应于目标色彩通道的目标通道图像。
在一个实施例中，第二摄像头为红外摄像头；第二相机响应函数确定模块1406包括第二特征点确定模块、第二特征点像素确定模块和第二特征点像素处理模块；其中：第二特征点确定模块，用于分别确定相同场景中同一位置在各第二标定图像中所对应的第二特征点；第二特征点像素确定模块，用于确定各第二特征点的像素值；第二特征点像素处理模块，用于根据各第二特征点的像素值确定第二摄像头对应的第二相机响应函数。
在一个实施例中，像素映射关系确定模块1408包括匹配点对获取模块、匹配点对像素确定模块、相对照度值确定模块、照度映射关系确定模块和照度映射关系处理模块；其中：匹配点对获取模块，用于获取至少一对匹配点对，匹配点对根据从第一标定图像中提取的第一匹配点和从第二标定图像中提取的第二匹配点进行特征匹配得到；匹配点对像素确定模块，用于分别确定匹配点对中第一匹配点的第一点像素值和第二匹配点的第二点像素值；相对照度值确定模块，用于根据第一点像素值和第一相机响应函数确定第一相对照度值；根据第二点像素值和第二相机响应函数确定第二相对照度值；照度映射关系确定模块，用于基于第一相对照度值和第二相对照度值确定照度映射关系；照度映射关系处理模块，用于根据照度映射关系确定第一摄像头与第二摄像头之间的像素映射关系。
在一个实施例中，第一标定图像和第二标定图像包括处于相同场景中具备不同区域的标定目标；像素映射关系确定模块1408包括第一区域像素确定模块、第二区域像素确定模块和区域像素分析模块；其中：第一区域像素确定模块，用于确定在第一标定图像中，标定目标的各区域分别对应的第一区域像素值；第二区域像素确定模块，用于确定在第二标定图像中，标定目标的各区域分别对应的第二区域像素值；区域像素分析模块，用于根据标定目标中相同区域的第一区域像素值和第二区域像素值之间的对应关系，确定第一摄像头与第二摄像头之间的像素映射关系。
在一个实施例中，标定目标中每个区域具有预设的对应的纯色。
上述图像处理装置或双目摄像头的像素映射关系确定装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将图像处理装置或双目摄像头的像素映射关系确定装置按照需要划分为不同的模块，以完成上述图像处理装置或双目摄像头的像素映射关系确定装置的全部或部分功能。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。关于双目摄像头的像素映射关系确定装置的具体限定可以参见上文中对于双目摄像头的像素映射关系确定方法的限定，在此不再赘述。上述图像处理装置或双目摄像头的像素映射关系确定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图15为一个实施例中电子设备的内部结构示意图。如图15所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法或双目摄像头的像素映射关系确定。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。
本申请实施例中提供的图像处理装置或双目摄像头的像素映射关系确定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行双目摄像头的像素映射关系确定方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行双目摄像头的像素映射关系确定方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (25)

1.一种图像处理方法，其特征在于，包括：
获取待处理的第一图像和第二图像；所述第一图像由第一摄像头拍摄得到，所述第二图像由第二摄像头拍摄得到；
基于所述第一摄像头与所述第二摄像头之间的像素映射关系，对所述第二图像进行像素映射，获得所述第二图像对应的映射图像；其中，所述像素映射关系基于所述第一摄像头的第一相机响应函数与所述第二摄像头的第二相机响应函数确定；
将所述第二图像对应的映射图像和所述第一图像进行对齐。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一标定图像组和第二标定图像组；所述第一标定图像组包括由所述第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，所述第二标定图像组包括由所述第二摄像头在所述相同场景、不同曝光时间条件下拍摄获得的第二标定图像；
基于各所述第一标定图像确定所述第一摄像头对应的第一相机响应函数；
基于各所述第二标定图像确定所述第二摄像头对应的第二相机响应函数；
根据所述第一相机响应函数和所述第二相机响应函数，确定所述第一摄像头与所述第二摄像头之间的像素映射关系。
3.根据权利要求2所述的方法，其特征在于，所述第一摄像头为可见光摄像头；所述基于各所述第一标定图像确定所述第一摄像头对应的第一相机响应函数，包括：
获取各所述第一标定图像分别对应于目标色彩通道的目标通道图像；
确定所述相同场景中同一位置在各所述目标通道图像中所对应的第一特征点；
确定各所述第一特征点对应于所述目标色彩通道的通道亮度值；
根据各所述第一特征点对应于所述目标色彩通道的通道亮度值，确定所述第一摄像头对应的第一相机响应函数。
4.根据权利要求3所述的方法，其特征在于，所述获取各所述第一标定图像分别对应于目标色彩通道的目标通道图像，包括：
对所述第一标定图像进行通道分离，得到各分离通道图像；
根据各所述分离通道图像得到对应于目标色彩通道的目标通道图像。
5.根据权利要求3所述的方法，其特征在于，所述获取各所述第一标定图像分别对应于目标色彩通道的目标通道图像，包括：
将所述第一标定图像变换至包括目标色彩通道的目标色彩空间，得到目标色彩空间图像；
根据所述目标色彩空间图像得到对应于所述目标色彩通道的目标通道图像。
6.根据权利要求2所述的方法，其特征在于，所述第二摄像头为红外摄像头；所述基于各所述第二标定图像确定所述第二摄像头对应的第二相机响应函数，包括：
分别确定所述相同场景中同一位置在各所述第二标定图像中所对应的第二特征点；
确定各所述第二特征点的像素值；
根据各所述第二特征点的像素值确定所述第二摄像头对应的第二相机响应函数。
7.根据权利要求2所述的方法，其特征在于，所述根据所述第一相机响应函数和所述第二相机响应函数，确定所述第一摄像头与所述第二摄像头之间的像素映射关系，包括：
获取至少一对匹配点对，所述匹配点对根据从所述第一标定图像中提取的第一匹配点和从所述第二标定图像中提取的第二匹配点进行特征匹配得到；
分别确定所述匹配点对中第一匹配点的第一点像素值和第二匹配点的第二点像素值；
根据所述第一点像素值和所述第一相机响应函数确定第一相对照度值；根据所述第二点像素值和所述第二相机响应函数确定第二相对照度值；
基于所述第一相对照度值和所述第二相对照度值确定照度映射关系；
根据所述照度映射关系确定所述第一摄像头与所述第二摄像头之间的像素映射关系。
8.根据权利要求2所述的方法，其特征在于，所述第一标定图像和所述第二标定图像包括处于所述相同场景中具备不同区域的标定目标；所述根据所述第一相机响应函数和所述第二相机响应函数，确定所述第一摄像头与所述第二摄像头之间的像素映射关系，包括：
确定在所述第一标定图像中，所述标定目标的各区域分别对应的第一区域像素值；
确定在所述第二标定图像中，所述标定目标的各区域分别对应的第二区域像素值；
根据所述标定目标中相同区域的第一区域像素值和第二区域像素值之间的对应关系，确定所述第一摄像头与所述第二摄像头之间的像素映射关系。
9.根据权利要求8所述的方法，其特征在于，所述标定目标中每个区域具有预设的对应的纯色。
10.根据权利要求1所述的方法，其特征在于，所述基于所述第一摄像头与所述第二摄像头之间的像素映射关系，对所述第二图像进行像素映射，获得所述第二图像对应的映射图像，包括：
分别确定所述第二图像中各像素点的原始像素值；
基于所述第一摄像头与所述第二摄像头之间的像素映射关系对各所述原始像素值进行像素值映射，得到所述第二图像中各像素点分别对应的映射像素值；
基于各所述映射像素值更新所述第二图像，获得所述第二图像对应的映射图像。
11.根据权利要求1至10任意一项所述的方法，其特征在于，所述将所述第一图像和所述第二图像对应的映射图像进行对齐，包括：
分别对所述第一图像和所述第二图像对应的映射图像进行畸变校正，得到第一畸变校正图像和第二畸变校正图像；
分别对所述第一畸变校正图像和所述第二畸变校正图像进行立体校正，获得第一校正图像和第二校正图像；
将所述第一校正图像和所述第二校正图像进行网格对齐。
12.根据权利要求11所述的方法，其特征在于，所述将所述第一校正图像和所述第二校正图像进行网格对齐，包括：
分别将所述第一校正图像和所述第二校正图像进行网格划分，获得所述第一校正图像对应的各第一网格和所述第二校正图像对应的各第二网格；
分别对各所述第一网格和各所述第二网格中进行网格特征点检测，获得所述第一网格对应的第一网格特征点和所述第二网格对应的第二网格特征点；
基于各所述第一网格特征点和所述第二网格特征点对所述第一校正图像和所述第二校正图像进行图像变换，以对齐所述第一校正图像和所述第二校正图像。
13.根据权利要求11所述的方法，其特征在于，在所述分别对所述第一畸变校正图像和所述第二畸变校正图像进行立体校正，获得第一校正图像和第二校正图像之后，还包括：
根据第一校正特征点和第二校正特征点构建特征点匹配对；所述第一校正特征点从所述第一校正图像中提取得到，所述第二校正特征点从所述第二校正图像提取得到；
基于各所述特征点匹配对中的校正特征点之间的偏移参数，确定所述第一校正图像和所述第二校正图像之间的投影参数；
通过所述投影参数对所述第一校正图像和所述第二校正图像进行投影对齐，得到第一投影对齐图像和第二投影对齐图像；
所述将所述第一校正图像和所述第二校正图像进行网格对齐，包括：
将所述第一投影对齐图像和所述第二投影对齐图像进行网格对齐。
14.一种双目摄像头的像素映射关系确定方法，其特征在于，包括：
获取第一标定图像组和第二标定图像组；所述第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，所述第二标定图像组包括由所述双目摄像头中第二摄像头在所述相同场景、不同曝光时间条件下拍摄获得的第二标定图像；
基于各所述第一标定图像确定所述第一摄像头对应的第一相机响应函数；
基于各所述第二标定图像确定所述第二摄像头对应的第二相机响应函数；
根据所述第一相机响应函数和所述第二相机响应函数，确定所述第一摄像头与所述第二摄像头之间的像素映射关系。
15.根据权利要求14所述的方法，其特征在于，所述第一摄像头为可见光摄像头；所述基于各所述第一标定图像确定所述第一摄像头对应的第一相机响应函数，包括：
获取各所述第一标定图像分别对应于目标色彩通道的目标通道图像；
确定所述相同场景中同一位置在各所述目标通道图像所对应的第一特征点；
确定各所述第一特征点对应于所述目标色彩通道的通道亮度值；
根据各所述第一特征点对应于所述目标色彩通道的通道亮度值，确定所述第一摄像头对应的第一相机响应函数。
16.根据权利要求15所述的方法，其特征在于，所述获取各所述第一标定图像分别对应于目标色彩通道的目标通道图像，包括：
对所述第一标定图像进行通道分离，得到各分离通道图像；
根据各所述分离通道图像得到对应于目标色彩通道的目标通道图像。
17.根据权利要求15所述的方法，其特征在于，所述获取各所述第一标定图像分别对应于目标色彩通道的目标通道图像，包括：
将所述第一标定图像变换至包括目标色彩通道的目标色彩空间，得到目标色彩空间图像；
根据所述目标色彩空间图像得到对应于所述目标色彩通道的目标通道图像。
18.根据权利要求14所述的方法，其特征在于，所述第二摄像头为红外摄像头；所述基于各所述第二标定图像确定所述第二摄像头对应的第二相机响应函数，包括：
分别确定所述相同场景中同一位置在各所述第二标定图像中所对应的第二特征点；
确定各所述第二特征点的像素值；
根据各所述第二特征点的像素值确定所述第二摄像头对应的第二相机响应函数。
19.根据权利要求14至18任意一项所述的方法，其特征在于，所述根据所述第一相机响应函数和所述第二相机响应函数，确定所述第一摄像头与所述第二摄像头之间的像素映射关系，包括：
获取至少一对匹配点对，所述匹配点对根据从所述第一标定图像中提取的第一匹配点和从所述第二标定图像中提取的第二匹配点进行位置匹配得到；
分别确定所述匹配点对中第一匹配点的第一点像素值和第二匹配点的第二点像素值；
根据所述第一点像素值和所述第一相机响应函数确定第一相对照度值；根据所述第二点像素值和所述第二相机响应函数确定第二相对照度值；
基于所述第一相对照度值和所述第二相对照度值确定照度映射关系；
根据所述照度映射关系确定所述第一摄像头与所述第二摄像头之间的像素映射关系。
20.根据权利要求14至18任意一项所述的方法，其特征在于，所述第一标定图像和所述第二标定图像包括处于所述相同场景中具备不同区域的标定目标；所述根据所述第一相机响应函数和所述第二相机响应函数，确定所述第一摄像头与所述第二摄像头之间的像素映射关系，包括：
确定在所述第一标定图像中，所述标定目标的各区域分别对应的第一区域像素值；
确定在所述第二标定图像中，所述标定目标的各区域分别对应的第二区域像素值；
根据所述标定目标中相同区域的第一区域像素值和第二区域像素值之间的对应关系，确定所述第一摄像头与所述第二摄像头之间的像素映射关系。
21.根据权利要求20所述的方法，其特征在于，所述标定目标中每个区域具有预设的对应的纯色。
22.一种图像处理装置，其特征在于，包括：
待处理图像获取模块，用于获取待处理的第一图像和第二图像；所述第一图像由第一摄像头拍摄得到，所述第二图像由第二摄像头拍摄得到；
像素映射处理模块，用于基于所述第一摄像头与所述第二摄像头之间的像素映射关系，对所述第二图像进行像素映射，获得所述第二图像对应的映射图像；其中，所述像素映射关系基于所述第一摄像头的第一相机响应函数与所述第二摄像头的第二相机响应函数确定；
图像对齐处理模块，用于将所述第二图像对应的映射图像和所述第一图像进行对齐。
23.一种双目摄像头的像素映射关系确定装置，其特征在于，包括：
标定图像组获取模块，用于获取第一标定图像组和第二标定图像组；所述第一标定图像组包括由双目摄像头中第一摄像头在相同场景、不同曝光时间条件下拍摄获得的第一标定图像，所述第二标定图像组包括由所述双目摄像头中第二摄像头在所述相同场景、不同曝光时间条件下拍摄获得的第二标定图像；
第一相机响应函数确定模块，用于基于各所述第一标定图像确定所述第一摄像头对应的第一相机响应函数；
第二相机响应函数确定模块，用于基于各所述第二标定图像确定所述第二摄像头对应的第二相机响应函数；
像素映射关系确定模块，用于根据所述第一相机响应函数和所述第二相机响应函数，确定所述第一摄像头与所述第二摄像头之间的像素映射关系。
24.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至21中任一项所述的方法的步骤。
25.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至21中任一项所述的方法的步骤。
CN202011260818.9A 2020-11-12 2020-11-12 图像处理方法、装置、电子设备和计算机可读存储介质 Active CN112258579B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011260818.9A CN112258579B (zh) 2020-11-12 2020-11-12 图像处理方法、装置、电子设备和计算机可读存储介质
PCT/CN2021/116809 WO2022100242A1 (zh) 2020-11-12 2021-09-07 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011260818.9A CN112258579B (zh) 2020-11-12 2020-11-12 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112258579A true CN112258579A (zh) 2021-01-22
CN112258579B CN112258579B (zh) 2023-03-24

Family

ID=74265659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011260818.9A Active CN112258579B (zh) 2020-11-12 2020-11-12 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN112258579B (zh)
WO (1) WO2022100242A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298187A (zh) * 2021-06-23 2021-08-24 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质
CN113538538A (zh) * 2021-07-29 2021-10-22 北京的卢深视科技有限公司 双目图像对齐方法、电子设备和计算机可读存储介质
CN113837133A (zh) * 2021-09-29 2021-12-24 维沃移动通信有限公司 摄像头数据迁移方法及其装置
CN114240866A (zh) * 2021-12-09 2022-03-25 广东省农业科学院环境园艺研究所 基于二维图像与三维生长信息的组培苗分级方法及装置
WO2022100242A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN115797426A (zh) * 2023-02-13 2023-03-14 合肥的卢深视科技有限公司 图像对齐方法、电子设备及存储介质
WO2024002186A1 (zh) * 2022-06-28 2024-01-04 中兴通讯股份有限公司 图像融合方法、装置及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114792327B (zh) * 2022-06-23 2022-11-04 中国科学院空天信息创新研究院 图像处理方法及系统
CN116309760B (zh) * 2023-05-26 2023-09-19 安徽高哲信息技术有限公司 谷物的图像对齐方法及谷物检测设备
CN116993643B (zh) * 2023-09-27 2023-12-12 山东建筑大学 基于人工智能的无人机摄影测量图像校正方法
CN117455767B (zh) * 2023-12-26 2024-05-24 深圳金三立视频科技股份有限公司 全景图像拼接方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN108319709A (zh) * 2018-02-06 2018-07-24 广东欧珀移动通信有限公司 位置信息处理方法、装置、电子设备及存储介质
WO2020097130A1 (en) * 2018-11-06 2020-05-14 Flir Commercial Systems, Inc. Response normalization for overlapped multi-image applications

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430298A (zh) * 2015-12-08 2016-03-23 天津大学 通过立体摄像系统同时曝光合成hdr图像的方法
CN111741281B (zh) * 2020-06-30 2022-10-21 Oppo广东移动通信有限公司 图像处理方法、终端及存储介质
CN112258579B (zh) * 2020-11-12 2023-03-24 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105933617A (zh) * 2016-05-19 2016-09-07 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
CN108319709A (zh) * 2018-02-06 2018-07-24 广东欧珀移动通信有限公司 位置信息处理方法、装置、电子设备及存储介质
WO2020097130A1 (en) * 2018-11-06 2020-05-14 Flir Commercial Systems, Inc. Response normalization for overlapped multi-image applications

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022100242A1 (zh) * 2020-11-12 2022-05-19 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN113298187A (zh) * 2021-06-23 2021-08-24 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质
CN113538538A (zh) * 2021-07-29 2021-10-22 北京的卢深视科技有限公司 双目图像对齐方法、电子设备和计算机可读存储介质
CN113837133A (zh) * 2021-09-29 2021-12-24 维沃移动通信有限公司 摄像头数据迁移方法及其装置
CN114240866A (zh) * 2021-12-09 2022-03-25 广东省农业科学院环境园艺研究所 基于二维图像与三维生长信息的组培苗分级方法及装置
CN114240866B (zh) * 2021-12-09 2022-07-08 广东省农业科学院环境园艺研究所 基于二维图像与三维生长信息的组培苗分级方法及装置
WO2024002186A1 (zh) * 2022-06-28 2024-01-04 中兴通讯股份有限公司 图像融合方法、装置及存储介质
CN115797426A (zh) * 2023-02-13 2023-03-14 合肥的卢深视科技有限公司 图像对齐方法、电子设备及存储介质
CN115797426B (zh) * 2023-02-13 2023-05-12 合肥的卢深视科技有限公司 图像对齐方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022100242A1 (zh) 2022-05-19
CN112258579B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN112258579B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110689581B (zh) 结构光模组标定方法、电子设备、计算机可读存储介质
CN110660088B (zh) 一种图像处理的方法和设备
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN107563964B (zh) 大面阵亚米级夜景遥感影像的快速拼接方法
CN108024107B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
EP3849170B1 (en) Image processing method, electronic device, and computer-readable storage medium
US20220036589A1 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
CN109685853B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2021184302A1 (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
CN108616700B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US10785466B2 (en) Multi-image color-refinement with application to disparity estimation
WO2023273094A1 (zh) 一种光谱反射率的确定方法、装置及设备
CN107403410B (zh) 一种热红外图像的拼接方法
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20220020178A1 (en) Method and system for enhancing images using machine learning
WO2023273412A1 (zh) 一种光谱反射率的确定方法、装置及设备
CN111383254A (zh) 一种深度信息获取方法、系统及终端设备
CN116158087A (zh) 一种多相机色彩一致性校正方法和装置
CN114485953A (zh) 温度测量方法、装置及系统
CN116704111A (zh) 图像处理方法和设备
CN115631140A (zh) 一种基于图像融合的工业机器人图像处理方法
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
CN116170569A (zh) 一种高光谱影像正摄校正方法及装置、存储介质
Pashchenko et al. An algorithm for the visualization of stereo images simultaneously captured with different exposures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant