CN108230395A - 双视角图像校准及图像处理方法、装置、存储介质和电子设备 - Google Patents

双视角图像校准及图像处理方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN108230395A
CN108230395A CN201710448540.XA CN201710448540A CN108230395A CN 108230395 A CN108230395 A CN 108230395A CN 201710448540 A CN201710448540 A CN 201710448540A CN 108230395 A CN108230395 A CN 108230395A
Authority
CN
China
Prior art keywords
image
matrix
pair
information
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710448540.XA
Other languages
English (en)
Inventor
孙文秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201710448540.XA priority Critical patent/CN108230395A/zh
Priority to JP2019569277A priority patent/JP6902122B2/ja
Priority to SG11201912033WA priority patent/SG11201912033WA/en
Priority to PCT/CN2018/091085 priority patent/WO2018228436A1/zh
Publication of CN108230395A publication Critical patent/CN108230395A/zh
Priority to US16/710,033 priority patent/US11380017B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明实施例提供一种双视角图像校准及图像处理方法、装置、存储介质和电子设备。其中，双视角图像校准方法包括：特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；根据所述第一优化基础矩阵校准所述第一图像对。采用本发明的技术方案，可以实现双视角图像的自动校准，避免因摄像设备标定参数出现误差导致的校准误差。

Description

双视角图像校准及图像处理方法、装置、存储介质和电子设备
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及一种双视角图像校准方法、装置、存储介质和电子设备，以及一种图像处理方法、装置、存储介质和电子设备。
背景技术
双视角图像校准是对两个不同视角图像(如双摄像头拍摄的两张图像)进行处理的关键步骤，用于使两张图像上对应的像素点位于同一水平线上，是进行图像景深计算等处理的前提条件。现有的双视角图像校准方法，主要是通过在双摄像头模组出厂前搭载双摄标定设备来获取标定参数，根据标定参数进行校准。
发明内容
本发明实施例提供一种双视角图像校准技术方案以及一种图像处理方案。
根据本发明实施例的一方面，提供一种双视角图像校准方法，包括：特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；根据所述第一优化基础矩阵校准所述第一图像对。
可选地，获取表示深深第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息，包括：根据所述第一基础矩阵对所述第一图像对中的二张图像进行映射变换；根据每张图像中至少一对映射前后相应的特征点之间的距离，获取所述第一图像变形信息。
可选地，所述根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，包括：分别根据第一特征点对集中至少二个不同的特征点对子集生成至少二个第一基础矩阵。
可选地，所述方法还包括：确定每个特征点对子集的匹配误差信息；所述至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵，包括：根据所述匹配误差信息和所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵。
可选地，所述匹配误差信息包括：特征点对子集中不满足预定匹配条件的特征点对在特征点对子集或第一特征点对集的占比。
可选地，所述方法还包括：存储或更新所述第一优化基础矩阵。
可选地，所述方法还包括：存储或更新所述第一特征点对集中至少一对满足预定匹配条件的特征点对的信息。
可选地，所述存储或更新的特征点对的对数相对特征点对集所包括的总特征点对数的占比，小于设定阈值。
可选地，所述至少一对满足预定匹配条件的特征点对的信息，包括：至少一对满足预定匹配条件的特征点对的坐标。
可选地，所述方法还包括：根据所述第一优化基础矩阵校准第二图像对。
可选地，所述方法还包括：特征匹配第二图像对以得到第二特征点对集；根据所述第二特征点对集确定映射代价信息，所述映射代价信息包括所述第二图像对的第二图像变形信息和/或特征点对子集的匹配误差信息；根据所述第一优化基础矩阵校准第二图像对，包括：响应于所述映射代价信息满足预定门限条件，根据所述第一优化基础矩阵校准所述第二图像对。
可选地，所述方法还包括：响应于所述映射代价信息不满足预定门限条件，获取所述第二图像对对应的第二优化基础矩阵；根据所述第二优化基础矩阵对所述第二图像对进行校准。
可选地，所述获取所述第二图像对对应的第二优化基础矩阵，包括：特征匹配第二图像对以得到所述第二图像对的第二特征点对集；根据所述第二特征点对集和存储的特征点对，获取所述第二图像对的多个不同的第二基础矩阵，以及获取各所述第二基础矩阵对应的第二图像变形信息；至少根据所述第二图像变形信息从所述多个第二基础矩阵中确定所述第二优化基础矩阵。
可选地，所述方法还包括：采用所述第二优化基础矩阵更新已存储的所述第一优化基础矩阵；和/或，采用所述第二特征点集中至少一对满足预定匹配条件的特征点对的信息更新已存储的特征点对信息。
可选地，所述方法还包括：通过设有二个摄像头的设备拍摄图像对。
可选地，所述带有二个摄像头的设备包括：双摄移动终端、双摄智能眼镜、双摄机器人、双摄无人机或双摄无人车。
根据本发明实施例的第二方面，还提供一种图像处理方法，采用前述任一项双视角图像校准方法对对应同一场景的二个不同视角分别拍摄而得的至少一个图像对进行校准；基于校准后的图像对进行应用处理，所述应用处理包括以下至少之一：三维重建处理、图像虚化处理、景深计算、增强现实处理。
根据本发明实施例的第三方面，还提供一种双视角图像校准装置，包括：特征匹配模块，用于特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；第一获取模块，用于至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；第一确定模块，用于至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；第一校准模块，用于根据所述第一优化基础矩阵校准所述第一图像对。
可选地，所述第一获取模块包括第一获取单元，用于根据所述第一基础矩阵对所述第一图像对中的二张图像进行映射变换；根据每张图像中至少一对映射前后相应的特征点之间的距离，获取所述第一图像变形信息。
可选地，所述第一获取模块还包括第二获取单元，用于分别根据第一特征点对集中至少二个不同的特征点对子集生成至少二个第一基础矩阵。
可选地，所述装置还包括第二确定模块，用于确定每个特征点对子集的匹配误差信息；所述第一确定模块用于根据所述匹配误差信息和所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵。
可选地，所述匹配误差信息包括：特征点对子集中不满足预定匹配条件的特征点对在特征点对子集或第一特征点对集的占比。
可选地，所述装置还包括第一存储模块，用于存储或更新所述第一优化基础矩阵。
可选地，所述第一存储模块还用于存储或更新所述第一特征点对集中至少一对满足预定匹配条件的特征点对的信息。
可选地，所述存储或更新的特征点对的对数相对特征点对集所包括的总特征点对数的占比，小于设定阈值。
可选地，所述至少一对满足预定匹配条件的特征点对的信息，包括：至少一对满足预定匹配条件的特征点对的坐标。
可选地，所述装置还包括：第二校准模块，用于根据所述第一优化基础矩阵校准第二图像对。
可选地，所述装置还包括第三确定模块，用于特征匹配第二图像对以得到第二特征点对集；根据所述第二特征点对集确定映射代价信息，所述映射代价信息包括所述第二图像对的第二图像变形信息和/或特征点对子集的匹配误差信息；所述第二校准模块用于响应于所述映射代价信息满足预定门限条件，根据所述第一优化基础矩阵校准所述第二图像对。
可选地，所述装置还包括：第二获取模块，用于响应于所述映射代价信息不满足预定门限条件，获取所述第二图像对对应的第二优化基础矩阵；第三校准模块，用于根据所述第二优化基础矩阵对所述第二图像对进行校准。
可选地，所述第二获取模块包括：特征匹配单元，用于特征匹配第二图像对以得到所述第二图像对的第二特征点对集；第三获取单元，用于根据所述第二特征点对集和存储的特征点对，获取所述第二图像对的多个不同的第二基础矩阵，以及获取各所述第二基础矩阵对应的第二图像变形信息；确定单元，用于至少根据所述第二图像变形信息从所述多个第二基础矩阵中确定所述第二优化基础矩阵。
可选地，所述装置还包括第二存储模块，用于采用所述第二优化基础矩阵更新已存储的所述第一优化基础矩阵；和/或，采用所述第二特征点集中至少一对满足预定匹配条件的特征点对的信息更新已存储的特征点对信息。
可选地，所述装置还包括拍摄模块，用于通过设有二个摄像头的设备拍摄图像对。
可选地，所述带有二个摄像头的设备包括：双摄移动终端、双摄智能眼镜、双摄机器人、双摄无人机或双摄无人车。
根据本发明实施例的第四方面，还提供一种图像处理装置，采用前述任一项双视角图像校准方法对对应同一场景的二个不同视角分别拍摄而得的至少一个图像对进行校准；基于校准后的图像对进行应用处理，所述应用处理包括以下至少之一：三维重建处理、图像虚化处理、景深计算、增强现实处理。
根据本发明实施例的第五方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述任一项双视角图像校准方法的步骤。
根据本发明实施例的第六方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现前述图像处理方法的步骤。
根据本发明实施例的第七方面，还提供一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行前述任一项双视角图像校准方法对应的操作；和/或，所述可执行指令使所述处理器执行前述图像处理方法对应的操作。
可选地，还包括至少二个摄像头，所述处理器和所述至少二个摄像头通过所述通信总线完成相互间的通信。
根据本发明实施例的双视角图像校准方法，通过对在不同视角拍摄同一场景得到的第一图像对进行特征匹配，获取第一图像对的第一特征点对集，并根据第一特征点对集来获取多个不同的第一基础矩阵，以及各第一基础矩阵对应的第一图像变形信息，从而根据第一图像变形信息来确定第一优化基础矩阵，进一步根据第一优化基础矩阵来对第一图像对进行校准，实现了对双视角图像对的自动校准，相对于现有技术中根据摄像机标定参数对双视角图像进行校准的方法，可以有效地避免摄镜头因碰撞产生位移导致标定参数出现误差造成的校准误差。
附图说明
图1是示出根据本发明实施例一的一种双视角图像校准方法的流程图；
图2是示出根据本发明实施例二的一种双视角图像校准方法的流程图；
图3是示出根据本发明实施例二的第一图像对的第一图像；
图4是示出根据本发明实施例二的第一图像对的第二图像；
图5是示出根据本发明实施例二的第一图像对的合成图像；
图6是示出根据本发明实施例二的经过校准的第一图像对的第一图像；
图7是示出根据本发明实施例二的经过校准的第一图像对的第二图像；
图8是示出根据本发明实施例二的经过校准的第一图像对的合成图像；
图9是示出根据本发明实施例四的一种双视角图像校准装置的逻辑框图；
图10是示出根据本发明实施例五的一种双视角图像校准装置的逻辑框图；
图11是示出根据本发明实施例七的一种电子设备的结构示意图；
图12是示出根据本发明实施例七的双摄手机的结构示意图；
图13是示出根据本发明实施例八的一种电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
图1是示出根据本发明实施例一的一种双视角图像校准方法的流程图。
参照图1，在步骤S102，特征匹配第一图像对以得到第一特征点对集。其中，第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像。
可选地，第一图像对包括的二张图像，由二个摄像元件基于二个不同视角在同一时刻拍摄同一场景得到，所述二个摄像元件可以集成或分离设置，例如，由集成有二个摄像头的双摄设备(如双摄手机)一次拍摄得到的图像对。或者，第一图像对包括的二张图像，由同一摄像机基于二个不同视角在不同时刻拍摄同一场景得到。
本实施例中，在获取第一图像对之后，对第一图像对包括的二张图像进行特征检测和提取，并将从二张图像提取的特征点进行匹配，获取二张图像上匹配的特征点对的集合，作为第一特征点对集。其中，在对第一图像对进行特征检测和提取时，可以采用卷积神经网络、颜色直方图、方向梯度直方图(Histogram of Oriented Gradient，HOG)、角点检测算法(Small univalue segment assimilating nucleus，SUSAN)等方法，但不限于此。在对提取的特征点进行特征匹配时，可以采用灰度相关匹配、SIFT(Scale-invariant featuretransform，尺度不变特征变换)算法、SURF(Speeded-Up Robust Features，加速健壮特征)算法等方法，但不限于此。
在步骤S104，至少根据第一特征点对集获取第一图像对的多个不同的第一基础矩阵，以及获取表示第一图像对经过第一基础矩阵映射变换前后的相对变形的第一图像变形信息。。
其中，基础矩阵(Fundamental matrix)为同一三维场景在两个不同视点处得到的两幅二维图像之间的几何关系。在本实施例中，基础矩阵可以指示第一图像对的二张图像上的特征点对之间的匹配关系。例如，基础矩阵可以为一个3×3的矩阵，表示第一图像和第二图像之间的对极几何关系。
本实施例中，对获取第一基础矩阵以及第一图像变形信息的具体方法不做限定，能够根据第一图像对的第一特征点对集计算多个第一基础矩阵，以及计算对应的第一图像变形信息的方法，均可以应用至本实施例来获取第一图像变形信息。例如，可以采用线性计算基础矩阵的8点法，或者非线性计算基础矩阵的随机采样一致性算法(RANdom SampleComsensus，RANSAC)等方法，来根据第一特征点对集获取多个不同的第一基础矩阵。再例如，在计算第一图像变形信息时，可以针对第一图像对中的二张图像，根据映射变换前后的图像上相应的特征点对的数量变化，或者特征点对之间的距离等，分别计算二张图像的变形程度，再经过加权、求和等处理来综合计算第一图像变形信息。
在步骤S106，至少根据第一图像变形信息从多个第一基础矩阵中确定第一优化基础矩阵。
其中，第一优化基础矩阵为获取的多个第一基础矩阵中，能够较为准确表示第一特征点对集中特征点对的匹配关系的第一基础矩阵。根据第一图像变形信息来确定第一优化基础矩阵，相当于根据图像变形程度来确定第一优化基础矩形，例如，可以确定使得第一图像对的变形程度较小的第一基础矩阵为第一优化基础矩阵，由此提高了获取的第一优化基础矩阵的准确性。
可选地，根据第一图像变形信息，从多个第一基础矩阵中，获取第一图像对之间的相对变形程度最小的第一基础矩阵，作为第一优化基础矩阵。
在实际应用中，还可以将第一图像变形信息与第一基础矩阵的匹配误差、以及满足第一基础矩阵的匹配误差的特征点对的占比等其他因素相结合，来确定第一优化基础矩阵，以进一步提高确定的第一优化基础矩阵的准确性。
在步骤S108，根据第一优化基础矩阵校准第一图像对。
可选地，将第一优化基础矩阵分解为第一变换矩阵和第二变换矩阵，并基于第一转换矩阵和第二转换矩阵，分别对第一图像对中的二张图像进行变换，实现对第一图像对的校准。经过校准的第一图像对中的二张图像，匹配的关键点对位于同一水平线上，校准后的第一图像对的匹配的关键点对可以位于同一深度，方便对第一图像对进行三维重建处理、图像虚化处理、景深计算、增强现实处理等后续的图像处理操作。
根据本发明实施例的双视角图像校准方法，通过对在不同视角拍摄同一场景得到的第一图像对进行特征匹配，获取第一图像对的第一特征点对集，并根据第一特征点对集来获取多个不同的第一基础矩阵，以及各第一基础矩阵对应的第一图像变形信息，从而根据第一图像变形信息来确定第一优化基础矩阵，进一步根据第一优化基础矩阵来对第一图像对进行校准，实现了对双视角图像对的自动校准。
在实际应用中，可以采用本实施例的双视角校准方法对双摄设备拍摄的图像对进行全自动校准，相对于现有技术中根据双摄设备的标定参数对双摄图像进行校准的方法，可以有效地避免双摄镜头在使用过程中因碰撞等因素产生位移导致的标定误差造成的校准误差；而且，对于双摄设备，无需在出厂前搭设工艺复杂的双摄标定设备，也无需专人的人员通过拍摄棋盘格图像进行校准，降低了双摄设备的生产难度，并提高了生产效率。
本实施例的双视角图像校准方法可以由摄像机、处理器或者双摄设备等来执行，但本领域技术人员应明了，在实际应用中，任意具有相应的图像处理和数据处理功能的设备或处理器，均可以参照本实施例来执行本发明实施例的双视角图像校准方法。
实施例二
图2是示出根据本发明实施例二的一种双视角图像校准方法的流程图。
参照图2，在步骤S202，特征匹配第一图像对以得到第一特征点对集。
其中，第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像。第一图像对可以由二个分离设置的摄像头拍摄而得或者由设有二个摄像头的设备一次拍摄得到，也可以由一个摄像机在不同视角顺序拍摄同一场景得到。
本实施例中，以设有二个摄像头的设备(双摄设备)拍摄的图像对为例，来说明本发明的双视角图像校准方法。
例如，图3和图4示出双摄设备拍摄的第一图像对包括的第一图像和第二图像，二张图像具有同一图像主体，但二张图像上对应的特征点对不能完全对齐。参照图5示出的第一图像对的合成图像，男孩的头顶、衣服和鞋子等没有对齐。
一种可选地的实施方式中，获取双摄设备拍摄的第一图像对，通过卷积神经网络或SUSAN算法等任意可进行图像特征提取的方法，对第一图像对进行特征提取操作，并通过SIFT算法或SURF算法等任意可进行特征匹配的方法，对从第一图像对的二张图像中提取的特征进行特征匹配，获取第一图像对的第一特征点对集。
在步骤S204，分别根据第一特征点对集中多个不同的特征点对子集生成多个第一基础矩阵。
本实施例中，在获取第一图像对的第一特征点对集之后，从中任意选取多个(多个为至少两个)特征点对子集，并分别根据各特征点对子集生成相应的第一基础矩阵。也即，根据每个特征点对子集根据分别生成一个对应第一基础矩阵。其中，特征点对子集包括第一特征点对集中的部分特征点对，且选取的多个特征点对子集包括特征点对不完全相同，也即，多个特征点对子集包括特征点对可以完全不同，也可以部分相同。
可选地，生成第一基础矩阵时，获取包括至少8组特征点对的特征点对子集，采用RANSAC算法来计算对应至少一个匹配矩阵，并将匹配误差最小的匹配矩阵确定为第一基础矩阵。如果x1和x2分别为特征点对子集中特征点对的坐标，x1和x2可用齐次坐标(homogeneous coordinates)进行表示，也即，用三维列向量表示二位坐标。例如，x1＝[u,v,1]'，计算得到的特征点对的匹配误差为x2'Fx1，其中，“'”表示转置。匹配误差越小，表示对应的匹配阵所指示特征点对的匹配关系越准确，匹配误差的理想值为零。
在步骤S206，确定每个特征点对子集的匹配误差信息。
可选地，根据每个特征点对子集对应的第一基础矩阵，确定相应的匹配误差信息。
一种可选的实施方式中，匹配误差信息包括特征点对子集中不满足匹配条件的特征点对在特征点对子集或第一特征点对集中的占比。例如，针对各特征点对子集(或针对各第一基础矩阵)，获取不满足预定匹配条件的特征点对在特征点对子集中或第一特征点对集的占比。其中，预定匹配条件可以为特征点对子集中特征点对的匹配误差小于预设的匹配误差阈值。例如，若第一特征点对集中的特征点对的总数为P，特征点对子集中满足匹配误差x2'Fx1<t1的关键点对的数量为T，则获取的占比为(P-T)/P。这里，t1(例如t1为0.3)为匹配误差阈值，用于从特征点对子集中筛选出能够满足第一基础矩阵所指示的匹配关系的特征点对，或者过滤掉不能满足第一基础矩阵所指示的匹配关系的关键点对。通过将该占比作为特征点对子集的匹配误差信息，可以判断对应的第一基础矩阵所指示的匹配关系所满足的特征点对的数量，进而判断第一基础矩阵的准确度。
在这里说明，特征点对子集的匹配误差信息可视为对应的第一基础矩阵的匹配误差信息，匹配误差信息的具体形式不限于上述占比，还可以为能够用于判断第一基础矩阵表述的匹配关系的准确度的其他形式。
在步骤S208，根据第一基础矩阵对第一图像对进行映射变换。
可选地，将第一优化基础矩阵分解为第一变换矩阵和第二变换矩阵，基于第一变换矩阵和第二变换矩阵，分别对第一图像对中的二张图像进行映射变换。
在步骤S210，根据每张图像中至少一对映射前后的相应的特征点之间的距离，获取第一图像变形信息。
可选地，获取第一图像对中第一图像的第一顶点，与映射变换后的第一图像上对应的第一映射点之间的第一距离；以及，第一图像对中第二图像的第二顶点，与映射变换后的第二图像上对应的第二映射点之间的第二距离；根据第一距离和第二距离获取第一图像变形信息。其中，第一距离和第二距离可以为但不限于欧氏距离。
例如，第一顶点可以包括第一图像的四个顶点(0,0)，(0,h-1)，(w-1,0)，(w-1,h-1)，第一距离可以为这四个顶点与对应的映射点之间的平均距离D1；相应地，第二距离可以为第二图像上的四个顶点与对应的映射点之间的平均距离D2；则第一图像变形信息可以为α(D1+D2)，这里，α为权重常数。
在这里说明，在实际应用中，还可以在先执行上述步骤S208-S210获取第一图像变形信息之后，再执行步骤S206获取匹配误差信息。
在步骤S212，根据匹配误差信息和第一图像变形信息从多个第一基础矩阵中确定第一优化基础矩阵。
可选地，根据匹配误差信息和第一图像变形信息，从多个第一基础矩阵中，选择匹配误差较小和/或图像变形较小的第一基础矩阵，作为第一优化基础矩阵。例如，优先考虑第一图像变形信息，选择图像变形最小的第一基础矩阵作为第一优化基础矩阵，这种情况相当于仅根据第一图像变形信息来确定第一优化基础矩阵；若图像变形最小的第一基础矩阵的数量为至少两个，再根据匹配误差信息从中选择匹配误差最小的作为第一优化基础矩阵。再例如，通过为匹配误差信息和第一图像变形信息设置不同的权重值，考虑两方面的因素来选择第一优化基础矩阵。
一种可行的实施方式中，通过设置映射代价分数cost＝(P-T)/P+α(D1+D2)，从多个第一基础矩阵中选择映射代价分数cost最小的作为第一优化基础矩阵。其中，cost的第一项为匹配误差信息的一种可选表示方式(P-T)/P，第二项为图像变形信息的一种可选表达方式α(D1+D2)。应当理解，以上仅为示例，匹配误差信息和图像变形信息并不限于上述表达。
在步骤S214，根据第一优化基础矩阵校准第一图像对。
例如，将第一最优匹配矩阵分解为第一变换矩阵和第二变换矩阵，基于第一变换矩阵和第二变换矩阵，分别对图3和图4示出的第一图像对的第一图像和第二图像进行映射变换，变换后的图像可分别参照图6和图7示出的经过校准的第一图像和第二图像。参照图8，将变换后的第一图像和第二图像进行合并后，可以确定变换后的第一图像和第二图像上的特征点基本位于同一水平线上，例如，图8示出的合并图像中男孩的头顶、衣服和鞋子等均已对齐。
在实际应用中，可以将图3和图4示出的第一图像对作为输入，执行上述步骤S202至步骤S214，经过特征匹配、计算基础矩阵、确定优化基础矩阵和校准等处理，输出图6和图7示出的经过校准的第一图像对。
在步骤S216，存储或更新第一优化基础矩阵。
本实施例中，在确定第一优化基础矩阵之后，存储第一优化基础矩阵，可用于对同一摄像设备拍摄的其他图像对进行校准。其中，若之前存储有第一优化基础矩阵，则通过本次确定的第一优化基础矩阵，更新存储的第一优化基础矩阵。
可选地，存储或更新第一特征点对集中至少一对满足预定匹配条件的特征点对的信息。若之前存储有特征点对，则更新存储的特征点对。其中，满足预定匹配条件的特征点对的匹配信息，符合拍摄图像对的摄像设备的基本属性，可以在对同一摄像设备拍摄的其他图像对进行校准时，在依据其他图像对的特征点对的信息之外，还可以依据存储的特征点对的信息，对其他图像对进行校准，也即，采用增量校准的方式对其他图像对进行校准。其中，存储的特征点对的信息至少包括，但不限于特征点对的坐标，以便根据存储的特征点对计算相应的基础矩阵。
可选地，存储或更新的特征点对的对数相对特征点对集所包括的总特征点对数的占比，小于设定阈值。也就是说，限制每次存储的特征点对的数量，以避免占用过大存储空间。此外，还可以限制存储的特征点对的总数量，在存储的特征点对的总数量达到设定数量时，删除之前存储的部分特征点对，例如删除存储时间最早的部分特征点对，或者删除坐标重合的部分特征点对。
在步骤S218，特征匹配第二图像对以得到第二特征点对集，根据第二特征点对集确定映射代价信息。其中，映射代价信息包括第二图像对的第二图像变形信息和/或特征点对子集的匹配误差信息。
其中，第二图像对与第一图像对为同一摄像机拍摄的二个图像对，且第二图像对与第一图像对可以为在不同时间、不同场景下拍摄而得二个图像对。
可选地，参见前述步骤S202中示出的特征匹配第一图像对的方式，来特征匹配第二图像对，获取第二特征点对集。进一步地，参见前述步骤S204至步骤S210，根据第二图像对集获取第二图像对的第二图像变形信息，和/或特征点对子集的匹配误差信息。
一种可选的实施方式中，映射代价信息包括上述映射代价分数cost＝(P-T)/P+α(D1+D2)，其中，第一项为第二图像对的特征点对子集的匹配误差信息，第二项为第二图像对的第二图像变形信息。在这里说明，映射代价信息的具体方式不限于上述映射代价分数。
在步骤S220，判断映射代价信息是否满足预定门限条件。
如果映射代价信息满足预定门限条件，则执行步骤S222；如果映射代价信息不满足预定门限条件满足，则执行步骤S224。通过预定门限条件可以判断第一优化基础矩阵所指示的匹配关系，是否能够准确地反应第二图像对的特征点对之间的匹配关系，进而确定采用第一优化基础矩阵来校准第二图像对，还是重新计算第二优化基础矩阵来校准第二图像对。
可选地，在映射代价信息为上述映射代价分数cost时，cost的第二项为图像变形信息α(D1+D2)，(D1+D2)用于衡量第二图像对中二张图像的图像变形程度，一般不能超过图像对角线长度的10％；α可以为第二图像对中的任一张图像的对角线长度的倒数，也即，映射代价分数cost小于0.2，则可以预设分数阈值为0.2，相应的预定门限条件可以为映射代价分数小于0.2。
在步骤S222，根据第一优化基础矩阵校准第二图像对。
响应于映射代价信息满足预定门限条件，根据存储的第一优化基础矩阵校准第二图像对，具体方式参见前述步骤S214中校准第一图像对的方式。
在步骤S224，获取第二图像对对应的第二优化基础矩阵，根据第二优化基础矩阵校准第二图像对。
响应于映射代价信息不满足预定门限条件，获取第二图像对对应的第二优化基础矩阵，并根据第二优化基础矩阵校准第二图像对。
可选地，在映射代价信息不满足预定门限条件时，特征匹配第二图像对以得到第二图像对的第二特征点对集，根据第二特征点对集和存储的特征点对，获取第二图像对的多个不同的第二基础矩阵，以及获取各第二基础矩阵对应的第二图像变形信息，至少根据第二图像变形信息从多个第二基础矩阵中确定第二优化基础矩阵，根据确定的第二优化基础矩阵第二图像对进行校准。进一步地，还可以获取第二图像对的特征点对子集的匹配误差信息，以结合第二图像变形信息来确定第二优化基础矩阵。
上述为本实施例的双视角图像校准方法，在实际应用中，该方法可用于对双摄设备(设有二个摄像头的设备)拍摄的图像对进行校准，也可以对普通摄影设备顺序拍摄同一场景的双视角图像进行校准。
针对双摄设备拍摄的图像对，可以在后期的图像处理过程中，执行该方法来校准拍摄的图像对，或者，在拍摄图像对并生成图像对的过程中，也可以执行该方法。
其中，通过双摄设备拍摄并生成图像对的过程中，执行该方法对获取的图像对进行校准，以直接生成校准后的图像对，方便双摄设备绑定其他应用处理，提高图像处理效率。这里，双摄设备包括但不限于双摄移动终端、双摄智能眼镜、双摄机器人、双摄无人机或双摄无人车等。
例如，双摄移动终端(如双摄手机)在拍摄图像对的过程中执行该方法，直接得到校准后的图像对，而且，还方便对得到的校准后的图像对直接进行景深计算、图像虚化处理等。再例如，双摄无人机在拍摄图像对的过程中执行该方法，生成校准后的图像对，方便直接从校准后的图像对中获取信息用于立体匹配、三维场景重建等处理，可以高效地获取立体视觉系统。
而且本实施例的双视角校准方法，可以对双摄设备拍摄的图像对进行全自动校准，可以有效地避免双摄镜头在使用过程中发生移动导致的标定误差造成的校准误差；而且，对于双摄设备，无需在出厂前搭设工艺复杂的双摄标定设备，降低了双摄设备的生产难度，并提高了生产效率。
根据本发明实施例的双视角图像校准方法，通过对在不同视角拍摄同一场景得到的第一图像对进行特征匹配，获取第一图像对的第一特征点对集，并根据第一特征点对集来获取多个不同的第一基础矩阵，以及各第一基础矩阵对应的第一图像变形信息，从而根据第一图像变形信息来确定第一优化基础矩阵，进一步根据第一优化基础矩阵来对第一图像对进行校准，实现了对双视角图像对的自动校准；并且，通过存储第一优化基础矩阵和第一图像对的特征点对，并通过预定门限条件来选择用于校准第二图像对的优化基础矩阵，来对第二图像对进行增量校准，保证了准确度，并提高了处理效率。
本实施例的双视角图像校准方法可以由摄像机、处理器或者双摄设备等来执行，但本领域技术人员应明了，在实际应用中，任意具有相应的图像处理和数据处理功能的设备或处理器，均可以参照本实施例来执行本发明实施例的双视角图像校准方法。
实施例三
本实施例提供一种图像处理方法，采用上述实施例一或实施例二中的双视角图像校准方法，对对应同一场景的二个不同视角分别拍摄而得的至少一个图像对进行校准，并给予校准后的图像对进行应用处理。其中，应用处理包括以下至少之一：三维重建处理、图像虚化处理、景深计算、增强现实处理。
在实际应用中，本实施例的图像处理方法可以由摄像设备执行，对拍摄的图像对进行实时处理来提高图像处理效率。例如，通过采用双视角图像校准方法对拍摄的图像对进行校准处理，使得获得的图像对中匹配的特征点对位于同一深度，方便对图像对进行在线的景深计算，进而可以进行在线的图像虚化处理来生成具有虚化效果的图像，或者进行在线的立体匹配、三维重建、增强显示等处理，来获得三维立体视觉图像。
本实施例的图像处理方法还可以通过处理器调用图像处理指令或程序执行，对输入图像处理程序的双视角图像对进行后期处理。例如，通过采用双视角图像校准方法对图像对进行校准处理，方便对校准后的图像对进行景深计算，并可根据计算得到深度信息进行进一步的图像处理；而且，还可以在图像处理程序中设置人机交互项，方便用户选择来设置图像处理的项目，增加图像处理的可操作性，提高用户体验。
实施例四
图9是示出根据本发明实施例四的双视角图像校准装置的逻辑框图。
参照图9，本实施例的双视角图像校准装置包括：特征匹配模块402，用于特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；第一获取模块404，用于至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；第一确定模块406，用于至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；第一校准模块408，用于根据所述第一优化基础矩阵校准所述第一图像对。
本实施例的双视角图像校准装置用于实现前述方法实施例中相应的双视角图像校准方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例五
图10是示出根据本发明实施例五的双视角图像校准装置的逻辑框图。
照图10，本实施例的双视角图像校准装置包括：特征匹配模块502，用于特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；第一获取模块505，用于至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；第一确定模块506，用于至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；第一校准模块508，用于根据所述第一优化基础矩阵校准所述第一图像对。
可选地，第一获取模块504包括第一获取单元5042，用于根据所述第一基础矩阵对所述第一图像对中的二张图像进行映射变换；根据每张图像中至少一对映射前后相应的特征点之间的距离，获取所述第一图像变形信息。
可选地，第一获取模块504还包括第二获取单元5044，用于分别根据第一特征点对集中至少二个不同的特征点对子集生成至少二个第一基础矩阵。
可选地，所述装置还包括第二确定模块510，用于确定每个特征点对子集的匹配误差信息；第一确定模块506用于根据所述匹配误差信息和所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵。
可选地，所述匹配误差信息包括：特征点对子集中不满足预定匹配条件的特征点对在特征点对子集或第一特征点对集的占比。
可选地，所述装置还包括第一存储模块512，用于存储或更新所述第一优化基础矩阵。
可选地，第一存储模块512还用于存储或更新所述第一特征点对集中至少一对满足预定匹配条件的特征点对的信息。
可选地，所述存储或更新的特征点对的对数相对特征点对集所包括的总特征点对数的占比，小于设定阈值。
可选地，所述至少一对满足预定匹配条件的特征点对的信息，包括：至少一对满足预定匹配条件的特征点对的坐标。
可选地，所述装置还包括：第二校准模块516，用于根据所述第一优化基础矩阵校准第二图像对。
可选地，所述装置还包括第三确定模块514，用于特征匹配第二图像对以得到第二特征点对集；根据所述第二特征点对集确定映射代价信息，所述映射代价信息包括所述第二图像对的第二图像变形信息和/或特征点对子集的匹配误差信息；第二校准模块516用于响应于所述映射代价信息满足预定门限条件，根据所述第一优化基础矩阵校准所述第二图像对。
可选地，所述装置还包括：第二获取模块518，用于响应于所述映射代价信息不满足预定门限条件，获取所述第二图像对对应的第二优化基础矩阵；第三校准模块520，用于根据所述第二优化基础矩阵对所述第二图像对进行校准。
可选地，第二获取模块518包括：特征匹配单元(图中未示出)，用于特征匹配第二图像对以得到所述第二图像对的第二特征点对集；第三获取单元(图中未示出)，用于根据所述第二特征点对集和存储的特征点对，获取所述第二图像对的多个不同的第二基础矩阵，以及获取各所述第二基础矩阵对应的第二图像变形信息；确定单元(图中未示出)，用于至少根据所述第二图像变形信息从所述多个第二基础矩阵中确定所述第二优化基础矩阵。
可选地，所述装置还包括第二存储模块522，用于采用所述第二优化基础矩阵更新已存储的所述第一优化基础矩阵；和/或，采用所述第二特征点集中至少一对满足预定匹配条件的特征点对的信息更新已存储的特征点对信息。
可选地，所述装置还包括拍摄模块(图中未示出)，用于通过设有二个摄像头的设备拍摄图像对。
可选地，所述带有二个摄像头的设备包括：双摄移动终端、双摄智能眼镜、双摄机器人、双摄无人机或双摄无人车。
本实施例的双视角图像校准装置用于实现前述方法实施例中相应的双视角图像校准方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例六
本发明实施例还提供了一种图像处理装置，采用前述实施例一或实施例二的双视角图像校准方法，对对应同一场景的二个不同视角分别拍摄而得的至少一个图像对进行校准；基于校准后的图像对进行应用处理，所述应用处理包括以下至少之一：三维重建处理、图像虚化处理、景深计算、增强现实处理。
在实际应用中，本实施例的图像处理装置，可以包括前述实施例四或实施例五的双视角图像校准装置。
本实施例的图像处理装置用于实现前述方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例七
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图11，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备700的结构示意图。
如图11所示，电子设备700包括一个或多个第一处理器、第一通信元件等，所述一个或多个第一处理器例如：一个或多个中央处理单元(CPU)701，和/或一个或多个图像处理器(GPU)713等，第一处理器可以根据存储在只读存储器(ROM)702中的可执行指令或者从存储部分708加载到随机访问存储器(RAM)703中的可执行指令而执行各种适当的动作和处理。本实施例中，第一只读存储器702和随机访问存储器703统称为第一存储器。第一通信元件包括通信组件712和/或通信接口709。其中，通信组件712可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口709包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口709经由诸如因特网的网络执行通信处理。
第一处理器可与只读存储器702和/或随机访问存储器703中通信以执行可执行指令，通过第一通信总线704与通信组件712相连、并经通信组件712与其他目标设备通信，从而完成本发明实施例提供的任一项双视角图像校准方法对应的操作，例如，特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；根据所述第一优化基础矩阵校准所述第一图像对。
此外，在RAM 703中，还可存储有装置操作所需的各种程序和数据。CPU701或GPU713、ROM702以及RAM703通过第一通信总线704彼此相连。在有RAM703的情况下，ROM702为可选模块。RAM703存储可执行指令，或在运行时向ROM702中写入可执行指令，可执行指令使第一处理器执行上述通信方法对应的操作。输入/输出(I/O)接口705也连接至第一通信总线704。通信组件712可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口709。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
需要说明的，如图11所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图11的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的双视角图像校准方法步骤对应的指令，例如，特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；根据所述第一优化基础矩阵校准所述第一图像对。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被第一处理器执行时，执行本发明实施例的方法中限定的上述功能。
可选地，电子设备700还包括至少二个摄像头，第一处理器(包括上述中央处理单元CPU 701，和/或上述图像处理器GPU713)和至少二个摄像头通过第一通信总线完成相互间侧通信。
在实际应用中，电子设备700可以为如图12示出的集成有二个摄像头A的双摄手机。图12中未示内置在双摄手机内侧的第一处理器和通信总线等部件。在用户使用该手机拍摄到图像对时，二个摄像头将拍摄的图像通过第一通信总线传输给第一处理器，第一处理器可以采用本发明实施例的双视角图像校准方法对图像对进行校准，也即，双摄手机可以对拍摄的图像对进行自动校准。
当然，在实际应用中，电子设备700还可以为除双摄手机之外的其他双摄移动终端，或者双摄智能眼镜、双摄机器人、双摄无人机、双摄无人车等。
实施例八
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图13，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备800的结构示意图。
如图13所示，电子设备800包括一个或多个第二处理器、第二通信元件等，所述一个或多个第二处理器例如：一个或多个中央处理单元(CPU)801，和/或一个或多个图像处理器(GPU)813等，第二处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。本实施例中，第二只读存储器802和随机访问存储器803统称为第二存储器。第二通信元件包括通信组件812和/或通信接口809。其中，通信组件812可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口809包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口809经由诸如因特网的网络执行通信处理。
第二处理器可与只读存储器802和/或随机访问存储器803中通信以执行可执行指令，通过第二通信总线804与通信组件812相连、并经通信组件812与其他目标设备通信，从而完成本发明实施例提供的图像处理方法对应的操作，例如，采用前述实施例一或实施例二的双视角图像校准方法，对对应同一场景的二个不同视角分别拍摄而得的至少一个图像对进行校准；基于校准后的图像对进行应用处理，所述应用处理包括以下至少之一：三维重建处理、图像虚化处理、景深计算、增强现实处理。
此外，在RAM 803中，还可存储有装置操作所需的各种程序和数据。CPU801或GPU813、ROM802以及RAM803通过第二通信总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使第二处理器执行上述通信方法对应的操作。输入/输出(I/O)接口805也连接至第二通信总线804。通信组件812可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口809。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
需要说明的，如图13所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图13的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的图像处理方法步骤对应的指令，例如，采用前述实施例一或实施例二的双视角图像校准方法，对对应同一场景的二个不同视角分别拍摄而得的至少一个图像对进行校准；基于校准后的图像对进行应用处理，所述应用处理包括以下至少之一：三维重建处理、图像虚化处理、景深计算、增强现实处理。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被第二处理器执行时，执行本发明实施例的方法中限定的上述功能。
可选地，电子设备800还包括至少二个摄像头，第二处理器(包括上述中央处理单元CPU 801，和/或上述图像处理器GPU713)和至少二个摄像头通过第二通信总线完成相互间侧通信。
在实际应用中，电子设备800可以为如图12示出的集成有二个摄像头A的双摄手机。在双摄手机拍摄到图像对时，二个摄像头将拍摄的图像通过第二通信总线传输给第二处理器，第二处理器可以采用本发明实施例的图像处理方法对图像对进行处理，可以直接基于本发明实施例的双视角图像校准方法校准后的图像对进行处理，图像处理效率较高。
当然，在实际应用中，电子设备800还可以为除双摄手机之外的其他类型的双摄移动终端，以及双摄机器人、双摄智能眼镜、双摄无人机或者双摄无人车等其他双摄设备。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种双视角图像校准方法，包括：
特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；
至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；
至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；
根据所述第一优化基础矩阵校准所述第一图像对。
2.根据权利要求1所述的方法，其特征在于，获取表示深深第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息，包括：
根据所述第一基础矩阵对所述第一图像对中的二张图像进行映射变换；
根据每张图像中至少一对映射前后相应的特征点之间的距离，获取所述第一图像变形信息。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，包括：
分别根据第一特征点对集中至少二个不同的特征点对子集生成至少二个第一基础矩阵。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
确定每个特征点对子集的匹配误差信息；
所述至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵，包括：
根据所述匹配误差信息和所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵。
5.一种图像处理方法，其特征在于，采用权1至4中任一项所述的校准方法对对应同一场景的二个不同视角分别拍摄而得的至少一个图像对进行校准；
基于校准后的图像对进行应用处理，所述应用处理包括以下至少之一：三维重建处理、图像虚化处理、景深计算、增强现实处理。
6.一种双视角图像校准装置，包括：
特征匹配模块，用于特征匹配第一图像对以得到第一特征点对集，所述第一图像对包括对应同一场景的二个不同视角分别拍摄而得的二张图像；
第一获取模块，用于至少根据所述第一特征点对集获取所述第一图像对的多个不同的第一基础矩阵，以及获取表示所述第一图像对经过第一基础矩阵进行映射变换前后的相对变形的第一图像变形信息；
第一确定模块，用于至少根据所述第一图像变形信息从所述多个第一基础矩阵中确定第一优化基础矩阵；
第一校准模块，用于根据所述第一优化基础矩阵校准所述第一图像对。
7.一种图像处理装置，其特征在于，采用权1至4中任一项任一所述的校准方法对对应同一场景的二个不同视角分别拍摄而得的至少一个图像对进行校准；
基于校准后的图像对进行应用处理，所述应用处理包括以下至少之一：三维重建处理、图像虚化处理、景深计算、增强现实处理。
8.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求1至4中任一项所述的双视角图像校准方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述程序指令被处理器执行时实现权利要求5所述的图像处理方法的步骤。
10.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至4中任一项所述的双视角图像校准方法对应的操作；和/或，所述可执行指令使所述处理器执行如权利要求5所述的图像处理方法对应的操作。
CN201710448540.XA 2017-06-14 2017-06-14 双视角图像校准及图像处理方法、装置、存储介质和电子设备 Pending CN108230395A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710448540.XA CN108230395A (zh) 2017-06-14 2017-06-14 双视角图像校准及图像处理方法、装置、存储介质和电子设备
JP2019569277A JP6902122B2 (ja) 2017-06-14 2018-06-13 ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
SG11201912033WA SG11201912033WA (en) 2017-06-14 2018-06-13 Dual-view angle image calibration method and apparatus, storage medium and electronic device
PCT/CN2018/091085 WO2018228436A1 (zh) 2017-06-14 2018-06-13 双视角图像校准及图像处理方法、装置、存储介质和电子设备
US16/710,033 US11380017B2 (en) 2017-06-14 2019-12-11 Dual-view angle image calibration method and apparatus, storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710448540.XA CN108230395A (zh) 2017-06-14 2017-06-14 双视角图像校准及图像处理方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN108230395A true CN108230395A (zh) 2018-06-29

Family

ID=62656659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710448540.XA Pending CN108230395A (zh) 2017-06-14 2017-06-14 双视角图像校准及图像处理方法、装置、存储介质和电子设备

Country Status (5)

Country Link
US (1) US11380017B2 (zh)
JP (1) JP6902122B2 (zh)
CN (1) CN108230395A (zh)
SG (1) SG11201912033WA (zh)
WO (1) WO2018228436A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040746A (zh) * 2018-08-01 2018-12-18 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN109040745B (zh) * 2018-08-01 2019-12-27 Oppo广东移动通信有限公司 摄像头自校准方法和装置、电子设备、计算机存储介质
WO2020024576A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN112598751A (zh) * 2020-12-23 2021-04-02 Oppo（重庆）智能科技有限公司 标定方法及装置、终端和存储介质
CN112785519A (zh) * 2021-01-11 2021-05-11 普联国际有限公司 基于全景图的定位误差校准方法、装置、设备及存储介质
CN113884099A (zh) * 2021-12-07 2022-01-04 智道网联科技(北京)有限公司 一种路端移动物体位置测量方法及装置
CN115439555A (zh) * 2022-08-29 2022-12-06 佛山职业技术学院 一种无公共视场多相机外参数标定方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210133981A1 (en) * 2019-10-30 2021-05-06 Allen Institute Biology driven approach to image segmentation using supervised deep learning-based segmentation
EP3882857A1 (en) * 2020-03-19 2021-09-22 Sony Group Corporation Extrinsic calibration of multi-camera system
US11232315B2 (en) * 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
CN113628283A (zh) * 2021-08-10 2021-11-09 地平线征程(杭州)人工智能科技有限公司 摄像装置的参数标定方法、装置、介质以及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065313A (zh) * 2010-11-16 2011-05-18 上海大学 平行式相机阵列的未标定多视点图像校正方法
CN103345736A (zh) * 2013-05-28 2013-10-09 天津大学 一种虚拟视点绘制方法
CN104019799A (zh) * 2014-05-23 2014-09-03 北京信息科技大学 一种利用局部参数优化计算基础矩阵的相对定向方法
CN104316057A (zh) * 2014-10-31 2015-01-28 天津工业大学 一种无人机视觉导航方法
CN104581136A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 图像校准系统和立体摄像机的校准方法
CN105635719A (zh) * 2014-11-20 2016-06-01 三星电子株式会社 用于校准图像的方法和设备
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916454B (zh) 2010-04-08 2013-03-27 董洪伟 基于网格变形和连续优化的高分辨率人脸重建方法
JP5768684B2 (ja) * 2011-11-29 2015-08-26 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5901447B2 (ja) * 2012-06-27 2016-04-13 オリンパス株式会社 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
US10489912B1 (en) * 2013-12-20 2019-11-26 Amazon Technologies, Inc. Automated rectification of stereo cameras
US9648300B2 (en) * 2014-05-23 2017-05-09 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
CN105654459B (zh) * 2014-11-28 2018-04-24 深圳超多维光电子有限公司 计算场景主体的深度分布方法与装置
JP2017059049A (ja) * 2015-09-17 2017-03-23 キヤノン株式会社 画像処理装置およびその制御方法
JP6493885B2 (ja) * 2016-03-15 2019-04-03 富士フイルム株式会社 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065313A (zh) * 2010-11-16 2011-05-18 上海大学 平行式相机阵列的未标定多视点图像校正方法
CN103345736A (zh) * 2013-05-28 2013-10-09 天津大学 一种虚拟视点绘制方法
CN104581136A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 图像校准系统和立体摄像机的校准方法
CN104019799A (zh) * 2014-05-23 2014-09-03 北京信息科技大学 一种利用局部参数优化计算基础矩阵的相对定向方法
CN104316057A (zh) * 2014-10-31 2015-01-28 天津工业大学 一种无人机视觉导航方法
CN105635719A (zh) * 2014-11-20 2016-06-01 三星电子株式会社 用于校准图像的方法和设备
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘怡光等: "《用于3维重建的立体图像校正》", 《四川大学学报（工程科学版）》 *
马永壮等: "《非标定立体图像对鲁棒性校正新算法》", 《计算机工程》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040746A (zh) * 2018-08-01 2018-12-18 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN109040746B (zh) * 2018-08-01 2019-10-25 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN109040745B (zh) * 2018-08-01 2019-12-27 Oppo广东移动通信有限公司 摄像头自校准方法和装置、电子设备、计算机存储介质
WO2020024576A1 (zh) * 2018-08-01 2020-02-06 Oppo广东移动通信有限公司 摄像头校准方法和装置、电子设备、计算机可读存储介质
US11158086B2 (en) 2018-08-01 2021-10-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Camera calibration method and apparatus, electronic device, and computer-readable storage medium
CN112598751A (zh) * 2020-12-23 2021-04-02 Oppo（重庆）智能科技有限公司 标定方法及装置、终端和存储介质
CN112785519A (zh) * 2021-01-11 2021-05-11 普联国际有限公司 基于全景图的定位误差校准方法、装置、设备及存储介质
CN113884099A (zh) * 2021-12-07 2022-01-04 智道网联科技(北京)有限公司 一种路端移动物体位置测量方法及装置
CN113884099B (zh) * 2021-12-07 2022-04-12 智道网联科技(北京)有限公司 一种路端移动物体位置测量方法及装置
CN115439555A (zh) * 2022-08-29 2022-12-06 佛山职业技术学院 一种无公共视场多相机外参数标定方法

Also Published As

Publication number Publication date
JP2020523703A (ja) 2020-08-06
SG11201912033WA (en) 2020-01-30
US20200111234A1 (en) 2020-04-09
JP6902122B2 (ja) 2021-07-14
US11380017B2 (en) 2022-07-05
WO2018228436A1 (zh) 2018-12-20

Similar Documents

Publication Publication Date Title
CN108230395A (zh) 双视角图像校准及图像处理方法、装置、存储介质和电子设备
CN108509848B (zh) 三维物体的实时检测方法及系统
CN109859296B (zh) Smpl参数预测模型的训练方法、服务器及存储介质
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN108460338B (zh) 人体姿态估计方法和装置、电子设备、存储介质、程序
CN110427917B (zh) 用于检测关键点的方法和装置
CN107330439B (zh) 一种图像中物体姿态的确定方法、客户端及服务器
CN107111833B (zh) 快速3d模型适配和人体测量
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
CN108416902A (zh) 基于差异识别的实时物体识别方法和装置
CN109711472B (zh) 训练数据生成方法和装置
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
CN108427927A (zh) 目标再识别方法和装置、电子设备、程序和存储介质
CN109948397A (zh) 一种人脸图像校正方法、系统及终端设备
CN112070782B (zh) 识别场景轮廓的方法、装置、计算机可读介质及电子设备
CN114863037B (zh) 基于单手机的人体三维建模数据采集与重建方法及系统
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN111754622B (zh) 脸部三维图像生成方法及相关设备
CN113220251A (zh) 物体显示方法、装置、电子设备及存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN113808277A (zh) 一种图像处理方法及相关装置
CN107798292A (zh) 对象识别方法、计算机程序、存储介质及电子设备
CN109166176B (zh) 三维人脸图像的生成方法与装置
CN115409949A (zh) 模型训练方法、视角图像生成方法、装置、设备及介质
EP3579138A1 (en) Method for determining a type and a state of an object of interest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180629