CN112634372B - 一种实时的双目相机矫正方法、装置及存储介质 - Google Patents
一种实时的双目相机矫正方法、装置及存储介质 Download PDFInfo
- Publication number
- CN112634372B CN112634372B CN202011352851.4A CN202011352851A CN112634372B CN 112634372 B CN112634372 B CN 112634372B CN 202011352851 A CN202011352851 A CN 202011352851A CN 112634372 B CN112634372 B CN 112634372B
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate
- binocular camera
- coordinates
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000012937 correction Methods 0.000 title claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 49
- 230000015654 memory Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000009795 derivation Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种实时的双目相机矫正方法、装置及存储介质，该方法将矫正过程部署到FPGA上进行，包括：通过双目相机获取第一图像中多个像素点坐标，所述第一图像为矫正前的图像；将多个所述像素点坐标分别存储在所述FPGA上的多个随机存储器中；利用所述FPGA上的多个随机存储器，并根据多个所述像素点坐标，利用双线性插值法进行插值，得到第二图像，所述第二图像为矫正后的图像。本发明能够解决现有矫正方法存在的高延迟、高功耗、高资源等问题，通过将双目相机矫正过程部署到FPGA硬件设备上，可以实时高效的对相机进行矫正处理。为将整个立体匹配过程部署到硬件上做了很好的铺垫；同时，本发明能够实现基于FPGA的低功耗、低资源的同时，实时高效地进行矫正处理。本发明可广泛应用于机器视觉领域。
Description
技术领域
本发明涉及机器视觉领域，尤其是一种实时的双目相机矫正方法、装置及存储介质。
背景技术
立体视觉是从立体摄像机中获取三维信息的一种常用技术。通过立体匹配可以估计场景内点的深度；立体视觉广泛应用于智能机器人导航、自动驾驶障碍物检测、增强虚拟现实、三维视觉辅助手术设备等应用领域，因此立体匹配要求具有很高的实时性能；相机矫正是立体匹配重要的预处理过程，目前的相机矫正过程基本都是在软件端实现，如opencv和matlab中就含有相机矫正的工具包，在软件端直接调用函数就可以实现相机矫正，然而这些矫正方法无法做到实时性、无法部署到硬件上；某些在硬件实现的相机矫正过程是通过利用存储事先计算好的矫正前后像素坐标的映射map来实现的。这种方法需要消耗大量的外部存储资源，并且功耗高，可移植性差。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种实时的双目相机矫正方法、装置及存储介质。
本发明所采取的技术方案是：
一方面，本发明实施例包括一种实时的双目相机矫正方法，将矫正过程部署到FPGA上进行，包括：
通过双目相机获取第一图像中多个像素点坐标，所述第一图像为矫正前的图像；
将多个所述像素点坐标分别存储在所述FPGA上的多个随机存储器中；
利用所述FPGA上的多个随机存储器，并根据多个所述像素点坐标，利用双线性插值法进行插值，得到第二图像，所述第二图像为矫正后的图像。
进一步地，在通过双目相机获取第一图像中多个像素点坐标之前，还采用张正友标定法对双目相机进行标定。
进一步地，所述将多个所述像素点坐标分别存储在所述FPGA上的多个随机存储器中具体为：
设置选择器将多个所述像素点坐标根据坐标地址分别存储在所述FPGA上的多个随机存储器中。
进一步地，所述双线性插值法的公式为：
prec(y′,x′)＝(x6-x)*(y6-y)*p(y5,x5)+(x6-x)*(y-y5)*p(y6,x5)+(x-x5)*(y6-y)*p(y5,x6)+(x-x5)*(y-y5)*p(y6,x6)
式中，prec(y′,x′)表示所述第二图像的像素值，p(y5,x5)、p(y6,x5)、p(y5,x6)和p(y6,x6)分别表示所述第一图像中的4个相邻的像素点坐标对应的像素值。
另一方面，本发明实施例还包括一种实时的双目相机矫正方法，包括正向推导过程和逆向推导过程；
所述正向推导过程包括以下步骤：
通过双目相机获取第三图像中多个像素点坐标，所述第三图像为矫正前的图像；
通过第一投影处理，将所述像素点坐标转换成第一坐标，所述第一坐标为第一相机坐标系下的坐标；
通过去畸变和极线矫正处理，将所述第一坐标转换成第二坐标，所述第二坐标为第二相机坐标系下的坐标；
通过第二投影处理，将所述第二坐标转换成第三坐标，所述第三坐标为矫正后的坐标；
根据所述第三坐标，得到第四图像，所述第四图像为矫正后的图像；
所述逆向推导过程包括以下步骤：
通过所述双目相机矫正方法得到所述第二图像；
将所述第二图像与所述第四图像进行比对，确定所述第二图像与所述第四图像一致。
进一步地，所述矫正方法还包括：
对所述双目相机进行标定，获取内参和外参，所述内参包括内参矩阵、径向畸变系数和切向畸变系数，所述外参包括旋转矩阵和平移矩阵。
进一步地，所述通过去畸变和极线矫正处理，将所述第一坐标转换成第二坐标这一步骤，具体包括：
根据所述径向畸变系数和切向畸变系数，对所述第一坐标进行去畸变处理得到第四坐标；
根据所述旋转矩阵，对所述第四坐标进行极线矫正处理得到所述第二坐标。
进一步地，所述通过第二投影处理，将所述第二坐标转换成第三坐标具体为：
根据所述内参矩阵，对所述第二坐标进行第二投影处理得到所述第三坐标。
另一方面，本发明实施例还包括一种实时的双目相机矫正装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的双目相机矫正方法。
另一方面，本发明实施例还包括计算机可读存储介质，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现所述的双目相机矫正方法。
本发明的有益效果是：
本发明提出的一种实时的双目相机矫正方法，能够解决现有的双目相机矫正方法存在的高延迟、高功耗、高资源等问题，通过将双目相机矫正过程部署到FPGA硬件设备上，可以实时高效的对相机进行矫正处理。为将整个立体匹配过程部署到硬件上做了很好的铺垫；同时，本发明能够实现基于FPGA的低功耗、低资源的同时，实时高效地进行矫正处理。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所述的双目相机矫正方法流程图；
图2为本发明一实施例所述双目相机矫正过程的流程图；
图3为本发明一实施例所述双目相机矫正计算过程的示意图；
图4为本发明一实施例所述矫正前后的像平面示意图；
图5为本发明一实施例所述双目相机矫正装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面结合附图，对本申请实施例作进一步阐述。
参照图1，本发明实施例包括一种实时的双目相机矫正方法，将矫正过程部署到FPGA上进行，包括但不限于以下步骤：
S1.通过双目相机获取第一图像中多个像素点坐标，所述第一图像为矫正前的图像；
S2.将多个所述像素点坐标分别存储在所述FPGA上的多个随机存储器中；
S3.利用所述FPGA上的多个随机存储器，并根据多个所述像素点坐标，利用双线性插值法进行插值，得到第二图像，所述第二图像为矫正后的图像。
本实施例中，在步骤S1之前，也就是在通过双目相机获取第一图像中多个像素点坐标之前，还采用张正友标定法对双目相机进行标定。
具体地，步骤S3，也就是所述将多个所述像素点坐标分别存储在所述FPGA上的多个随机存储器中具体为：
设置选择器将多个所述像素点坐标根据坐标地址分别存储在所述FPGA上的多个随机存储器中。
另一方面，本发明实施例还包括一种实时的双目相机矫正方法，包括正向推导过程和逆向推导过程：
所述正向推导过程包括但不限于以下步骤：
D1.通过双目相机获取第三图像中多个像素点坐标，所述第三图像为矫正前的图像；
D2.通过第一投影处理，将所述像素点坐标转换成第一坐标，所述第一坐标为第一相机坐标系下的坐标；
D3.通过去畸变和极线矫正处理，将所述第一坐标转换成第二坐标，所述第二坐标为第一相机坐标系下的坐标；
D4.通过第二投影处理，将所述第二坐标转换成第三坐标，所述第三坐标为矫正后的坐标；
D5.根据所述第三坐标，得到第四图像，所述第四图像为矫正后的图像；
所述逆向推导过程包括但不限于以下步骤：
P1.通过图1所示方法得到所述第二图像；
P2.将所述第二图像与所述第四图像进行比对，确定所述第二图像与所述第四图像一致。
具体地，所述矫正方法还包括：
D0.对所述双目相机进行标定，获取内参和外参，所述内参包括内参矩阵、径向畸变系数和切向畸变系数，所述外参包括旋转矩阵和平移矩阵。
具体地，步骤D3，也就是所述通过去畸变和极线矫正处理，将所述第一坐标转换成第二坐标这一步骤，具体包括：
D301.根据所述径向畸变系数和切向畸变系数，对所述第一坐标进行去畸变处理得到第四坐标；
D302.根据所述旋转矩阵，对所述第四坐标进行极线矫正处理得到所述第二坐标。
具体地，步骤D4，也就是所述通过第二投影处理，将所述第二坐标转换成第三坐标具体为：
根据所述内参矩阵，对所述第二坐标进行第二投影处理得到所述第三坐标。
参照图2，图2为本发明一实施例所述双目相机矫正过程的流程图，所述矫正过程包括标定和矫正两个主要步骤。相机标定是相机矫正的预处理过程，其作用是计算双目相机的内参和外参，其中，内参包括相机的内参矩阵、径向畸变系数和切向畸变系数，外参包括相机的旋转矩阵和平移矩阵。所述矫正过程采用张正友标定法进行相机标定，只需一个标定板就可以获得双目相机的内参和外参。
参照图3，图3为本发明一实施例所述双目相机矫正计算过程的示意图，示意图3中，从右到左为图1所示矫正方法的推导方向，矫正前的图像经过投影、去畸变、极线矫正、投影、插值五个过程得到矫正后的图像。虽然使用矫正前的图像坐标(x,y)可以逐一映射得到矫正后的图像坐标(x′,y′)，但是遍历矫正前的图像坐标(x,y)得到的矫正后的图像坐标(x′,y′)，发现其并不是连续变化的，所以在硬件中无法使用流水线操作，同时此计算过程存在非线性运算，这些计算直接在硬件上是难以实现的，所以正向的计算过程对硬件是非常不友好的，是无法在硬件上实现的。因此，本发明实施例设计了如图1所示的矫正方法，按照图3中的逆向计算过程进行计算，可在硬件上实现矫正过程，且利于流水线操作的计算过程，通过部署在FPGA硬件设备上，实现实时相机矫正过程。
具体地，在图3中，从左往右逆过程的计算过程包括：
(1)逆投影：将矫正后图像的像素坐标(x′,y′)转换成齐次坐标，并用矩阵形式表示得到通过公式(1)从像素坐标系变换到相机坐标系2(矫正后的像素坐标系)，其中，表示像素坐标系下的齐次坐标，/>表示相机坐标系2下的齐次坐标，M表示双目相机从矫正后的像素坐标系变换到相机坐标系2的内参矩阵，此过程中左右相机使用共同的内参矩阵；公式(1)如下：
(2)去除极线矫正：通过公式2，可以去除极线矫正，此时，世界坐标中的物点P在左右图中不处在同一行中，其中，表示极线矫正后的齐次坐标，/>表示极线矫正前的坐标，R表示相机的旋转矩阵；公式(2)如下：
(3)还原畸变：通过公式(3)-(7)，得到含有畸变的坐标，其中x3、y3为归一化坐标，x4、y4表示去畸变前的坐标，k1、k2和k3为双目相机的径向畸变参数，p1和p2为双目相机的切向畸变参数，r表示归一化坐标点到相机畸变中心点的距离；公式(3)-(7)分别如下：
x3＝x2/z2----公式(3)；
y3＝y2/z2----公式(4)；
r2＝x3 2+y3 2----公式(5)；
x4＝x3(1+k1*r2+k2*r4+k3*r6)+2*p1*x3*y3+p2*(r2+2*x3 2)----公式(6)；
y4＝y3*(1+k1*r2+k2*r4+k3*r6)+2*p2*x3*y3+p1*(r2+2*y3 2)----公式(7)；
(4)投影：通过公式(8)，将坐标变换到像素坐标系，得到矫正前图像的像素坐标，M′表示从相机坐标系1(矫正前的像素坐标系)变换到矫正前的像素坐标系的内参矩阵，左右相机拥有不同的内参矩阵，表示矫正前的齐次坐标，公式(8)如下：
(5)插值：根据矫正前后图像坐标的对应关系，采用双线性插值法进行插值处理，得到矫正后的图像。双线性插值公式如公式(9)-(13)所示。其中floor表示向下取整函数，p(x,y)表示矫正前的像素值，prec(x′,y′)表示矫正后的像素值。双线性插值需要缓存一部分矫正前的像素值用于插值计算，由于FPGA的lut资源是非常有限的，所以我们利用FPGA上的RAM资源来存储像素值，因为硬件计算过程中要在一个周期同时读出计算所需的4个像素值，而对于一块RAM而言一个周期只能进行一次读取操作，所以需要四块RAM才能满足双线性插值的要求。根据分析，双线性插值每次插值所需的四个点都是上下左右(边界除外)相邻的四个点，所以，本实施例中，设计了一种地址重排方法，如图3虚线框部分所示，设置了一个选择器来将所需的四个像素点根据坐标地址分别存储于四个RAM中(深度为原来RAM的四分之一)，如此，FPGA的RAM资源使用只有原来的四分之一，极大的节省了FPGA的RAM资源；公式(9)-(13)具体如下：
x5＝floor(x)----公式(9)；
x6＝floor(x+1)----公式(10)；
y5＝floor(y)----公式(11)；
y6＝floor(y+1)----公式(12)；
公式(13)中，prec(y′,x′)表示矫正后图像的像素值，p(y5,x5)、p(y6,x5)、p(y5,x6)和p(y6,x6)分别表示所述矫正前图像的4个相邻的像素点坐标对应的像素值。
参照图4，图4为本发明一实施例所述矫正前后的像平面示意图，如图4所示，矫正之前，左右相机的像平面不共面，物点在左右像平面中的像点并不位于同一行中，而矫正后左右的像平面共面，且物点在左右像平面中的像点处于同一行中，同时，相机的畸变也被消除。
综上所述，本实施例中所述的一种实时的双目相机的矫正方法具有以下优点：
本发明实施例提出的一种实时的双目相机矫正方法，能够解决现有的双目相机矫正方法存在的高延迟、高功耗、高资源等问题，通过将双目相机矫正过程部署到FPGA硬件设备上，可以实时高效的对相机进行矫正处理。为将整个立体匹配过程部署到硬件上做了很好的铺垫；同时，本发明能够实现基于FPGA的低功耗、低资源的同时，实时高效地进行矫正处理。
参见图5，本发明实施例还提供了一种实时的双目相机矫正装置200，具体包括：
至少一个处理器210；
至少一个存储器220，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器210执行，使得所述至少一个处理器210实现如图1所示的方法。
其中，存储器220作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。存储器220可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器220可选包括相对于处理器210远程设置的远程存储器，这些远程存储器可以通过网络连接至处理器210。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
可以理解到，图5中示出的装置结构并不构成对装置200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示的装置200中，处理器210可以调取存储器220中储存的程序，并执行但不限于图1所示实施例的步骤。
以上所描述的装置200实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现实施例的目的。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如图1所示的方法。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
可以理解的是，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (8)
1.一种实时的双目相机矫正方法，将矫正过程部署到FPGA上进行，其特征在于，包括：
通过双目相机获取第一图像中多个像素点坐标，所述第一图像为矫正前的图像；
将多个所述像素点坐标分别存储在所述FPGA上的多个随机存储器中；
利用所述FPGA上的多个随机存储器，并根据多个所述像素点坐标，利用双线性插值法进行插值，得到第二图像，所述第二图像为矫正后的图像；
所述将多个所述像素点坐标分别存储在所述FPGA上的多个随机存储器中具体为：设置选择器将多个所述像素点坐标根据坐标地址分别存储在所述FPGA上的多个随机存储器中；
所述双线性插值法的公式为：
prec(y′,x′)＝(x6-x)*(y6-y)*p(y5,x5)+(x6-x)*(y-y5)*p(y6,x5)+
(x-x5)*(y6-y)*p(y5,x6)+(x-x5)*(y-y5)*p(y6,x6)
式中，prec(y′,x′)表示所述第二图像的像素值，p(y5,x5)、p(y6,x5)、p(y5,x6)和p(y6,x6)分别表示所述第一图像中的4个相邻的像素点坐标对应的像素值。
2.根据权利要求1所述的一种实时的双目相机矫正方法，其特征在于，在获取第一图像中多个像素点坐标之前，还采用张正友标定法对双目相机进行标定。
3.一种实时的双目相机矫正方法，其特征在于，包括正向推导过程和逆向推导过程；
所述正向推导过程包括以下步骤：
通过双目相机获取第三图像中多个像素点坐标，所述第三图像为矫正前的图像；
通过第一投影处理，将所述像素点坐标转换成第一坐标，所述第一坐标为第一相机坐标系下的坐标；
通过去畸变和极线矫正处理，将所述第一坐标转换成第二坐标，所述第二坐标为第二相机坐标系下的坐标；
通过第二投影处理，将所述第二坐标转换成第三坐标，所述第三坐标为矫正后的坐标；
根据所述第三坐标，得到第四图像，所述第四图像为矫正后的图像；
所述逆向推导过程包括以下步骤：
通过权利要求1-2任一项所述方法得到所述第二图像；
将所述第二图像与所述第四图像进行比对，确定所述第二图像与所述第四图像一致。
4.根据权利要求3所述的一种实时的双目相机矫正方法，其特征在于，所述矫正方法还包括：
对所述双目相机进行标定，获取内参和外参，所述内参包括内参矩阵、径向畸变系数和切向畸变系数，所述外参包括旋转矩阵和平移矩阵。
5.根据权利要求4所述的一种实时的双目相机矫正方法，其特征在于，所述通过去畸变和极线矫正处理，将所述第一坐标转换成第二坐标这一步骤，具体包括：
根据所述径向畸变系数和切向畸变系数，对所述第一坐标进行去畸变处理得到第四坐标；
根据所述旋转矩阵，对所述第四坐标进行极线矫正处理得到所述第二坐标。
6.根据权利要求4所述的一种实时的双目相机矫正方法，其特征在于，所述通过第二投影处理，将所述第二坐标转换成第三坐标具体为：
根据所述内参矩阵，对所述第二坐标进行第二投影处理得到所述第三坐标。
7.一种实时的双目相机矫正装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6任一项所述的方法。
8.计算机可读存储介质，其特征在于，其上存储有处理器可执行的程序，所述处理器可执行的程序在被处理器执行时用于实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011352851.4A CN112634372B (zh) | 2020-11-27 | 2020-11-27 | 一种实时的双目相机矫正方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011352851.4A CN112634372B (zh) | 2020-11-27 | 2020-11-27 | 一种实时的双目相机矫正方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112634372A CN112634372A (zh) | 2021-04-09 |
| CN112634372B true CN112634372B (zh) | 2024-02-20 |
Family
ID=75304174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011352851.4A Active CN112634372B (zh) | 2020-11-27 | 2020-11-27 | 一种实时的双目相机矫正方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634372B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674340A (zh) * | 2021-07-05 | 2021-11-19 | 北京物资学院 | 一种基于路标点的双目视觉导航方法与装置 |
| CN115494648A (zh) * | 2022-10-21 | 2022-12-20 | 广东高云半导体科技股份有限公司 | 一种抬头显示装置 |
| CN118691687A (zh) * | 2024-08-22 | 2024-09-24 | 中国科学院深海科学与工程研究所 | 一种双目水下相机拍摄系统的极线矫正算法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN107492080A (zh) * | 2017-09-25 | 2017-12-19 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头图像径向畸变矫正方法 |
| CN107665483A (zh) * | 2017-09-27 | 2018-02-06 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 |
| CN110728638A (zh) * | 2019-09-25 | 2020-01-24 | 深圳疆程技术有限公司 | 一种图像的畸变矫正方法、车机及汽车 |
-
2020
- 2020-11-27 CN CN202011352851.4A patent/CN112634372B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
| CN106683045A (zh) * | 2016-09-28 | 2017-05-17 | 深圳市优象计算技术有限公司 | 一种基于双目像机的全景图像拼接方法 |
| CN107492080A (zh) * | 2017-09-25 | 2017-12-19 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头图像径向畸变矫正方法 |
| CN107665483A (zh) * | 2017-09-27 | 2018-02-06 | 天津智慧视通科技有限公司 | 免定标便捷的单目镜头鱼眼图像畸变矫正方法 |
| CN110728638A (zh) * | 2019-09-25 | 2020-01-24 | 深圳疆程技术有限公司 | 一种图像的畸变矫正方法、车机及汽车 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112634372A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634372B (zh) | 一种实时的双目相机矫正方法、装置及存储介质 | |
| EP3664443B1 (en) | Panoramic image generation method and device | |
| CN112634374B (zh) | 双目相机的立体标定方法、装置、系统及双目相机 | |
| CN110602474B (zh) | 一种图像视差的确定方法、装置及设备 | |
| US11282232B2 (en) | Camera calibration using depth data | |
| CN106780374A (zh) | 一种基于鱼眼成像模型的鱼眼图像畸变矫正方法 | |
| CN111145271B (zh) | 相机参数的精确度的确定方法、装置、存储介质及终端 | |
| CN108564551A (zh) | 鱼眼图像处理方法及鱼眼图像处理装置 | |
| CN111179195B (zh) | 深度图像空洞填充方法、装置、电子设备及其存储介质 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| US20120257088A1 (en) | Image processing apparatus and method thereof | |
| CN109427040B (zh) | 图像处理装置及方法 | |
| CN110599586A (zh) | 一种半稠密场景重建方法、装置、电子设备及存储介质 | |
| CN111435539A (zh) | 一种基于联合优化的多相机系统外参标定方法 | |
| CN117437303B (zh) | 一种标定相机外参的方法及系统 | |
| WO2020181510A1 (zh) | 一种图像数据处理方法、装置及系统 | |
| CN117745845A (zh) | 一种外参信息确定方法、装置、设备和存储介质 | |
| CN117196955A (zh) | 一种全景图像拼接方法及终端 | |
| CN114445583A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN112419383B (zh) | 一种深度图的生成方法、装置及存储介质 | |
| CN115176459B (zh) | 虚拟视点合成方法、电子设备和计算机可读介质 | |
| CN112422848B (zh) | 一种基于深度图和彩色图的视频拼接方法 | |
| CN116363238A (zh) | 视差图生成方法、装置、设备及计算机可读存储介质 | |
| CN117422650B (zh) | 全景影像畸变校正方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |