CN108053375A - 图像数据修正方法、装置及其汽车 - Google Patents
图像数据修正方法、装置及其汽车 Download PDFInfo
- Publication number
- CN108053375A CN108053375A CN201711279516.4A CN201711279516A CN108053375A CN 108053375 A CN108053375 A CN 108053375A CN 201711279516 A CN201711279516 A CN 201711279516A CN 108053375 A CN108053375 A CN 108053375A
- Authority
- CN
- China
- Prior art keywords
- image
- coordinate
- acquisition
- imaging apparatus
- vehicle mounted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000003384 imaging method Methods 0.000 claims abstract description 73
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 65
- 238000009434 installation Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 84
- 230000006870 function Effects 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000001568 sexual effect Effects 0.000 claims description 2
- 238000003702 image correction Methods 0.000 abstract description 3
- 238000013519 translation Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开了一种图像数据修正方法、装置及其汽车，其中的方法包括：控制处于标准安装姿态的第一车载摄像装置对标定模板图像进行拍摄，对第一采集图像进行畸变校正处理并获取多个像点的第一坐标；控制第二车载摄像装置对标定模板图像进行拍摄，获取多个像点在第二采集图像中的第二坐标，基于预设的图像算法并根据第一坐标和第二坐标确定单应性关系，根据单应性关系修正第二车载摄像装置获取的图像。本发明的方法、装置及其汽车，能够基于单应性关系对由于摄像装置安装误差产生的图像坐标误差进行修正，可以不调整摄像装置，仅需要对一固定位置的标定板拍摄一幅图像，即可将图像坐标修正为标准坐标值，提高了进行图像修正的工作效率。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种图像数据修正方法、装置及其汽车。
背景技术
随着人类科学技术的不断发展和需要，摄像机的应用越来越广泛，在社会生活方面发挥极其重要的作用。对于智能汽车的无人驾驶功能的实现，很大程度上依托于计算机视觉进行环境感知。在通过摄像机或相机获取外界信息时，实现外部环境与车辆自身的信息关联，无可避免的涉及到了摄像机或相机的安装问题，需要对摄像机或相机安装中引进的误差需要进行修正。在现有的修正方案中大多涉及到与激光器的结合使用，在对感兴趣目标的空间定位前需要进行激光器与相机的相对位姿确定，利用相机对激光器打出的激光进行拍摄等方法完成定位功能，修正摄像机与各种传感器的相对位姿关系，这种修正方法对以视觉信息为基础的系统来说操作比较繁琐，过程复杂，成本高。
发明内容
有鉴于此，本发明实施例提供一种图像数据修正方法、装置及其汽车，可以对由于摄像装置安装误差产生的图像坐标误差进行修正。
根据本发明实施例的一个方面，提供一种图像数据修正方法，包括：控制处于标准安装姿态的第一车载摄像装置对标定模板图像或实体标定物进行拍摄，获得第一采集图像；利用所述第一车载摄像装置的参数对所述第一采集图像进行畸变校正处理，在经过畸变校正处理后的所述第一采集图像中获取多个像点的第一坐标；控制第二车载摄像装置对处于同一位置的所述标定模板图像或实体标定物进行拍摄，获得第二采集图像，并获取所述多个像点在所述第二采集图像中的第二坐标；基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系，根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标。
可选地，所述基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系包括：基于所述第一坐标、所述第二坐标分别生成第一坐标矩阵、第二坐标矩阵；根据所述第一坐标矩阵和所述第二坐标矩阵并通过所述图像算法的函数计算单应性矩阵。
可选地，所述图像算法的函数包括：OPENCV算法的findHomography函数。
可选地，所述根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标包括：将所述第二采集图像以及所述其它采集图像中的每个像素点的图像坐标与所述单应性矩阵相乘。
可选地，在显示屏中显示所述标定模板图像或实体标定物；控制所述第一车载摄像装置的光心对准所述标定模板图像或实体标定物的中心并保持与所述显示屏垂直，以使所述第一车载摄像装置处于标准安装姿态。
可选地，所述显示屏包括：LCD显示屏。
可选地，控制所述标定模板图像或实体标定物变换空间姿态；控制所述第一车载摄像装置对于显示屏中显示的具有不同空间姿态的标定模板图像或实体标定物进行拍摄，获得多个标定图像；基于预设的单目标定算法并根据所述多个标定图像标定所述第一车载摄像装置的参数。
可选地，所述基于预设的单目标定算法并根据所述多个标定图像标定所述第一车载摄像装置的参数包括：确定位于所述标定模板图像或实体标定物中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述第一车载摄像装置的参数。
可选地，所述单目标定算法包括：张正友标定算法；所述第一车载摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。
可选地，所述标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子；所述像点和所述标定像点为所述黑色格子和所述白色格子的交叉角点。
根据本发明的另一方面，提供一种图像数据修正装置，包括：第一图像数据采集模块，用于控制处于标准安装姿态的第一车载摄像装置对标定模板图像或实体标定物进行拍摄，获得第一采集图像；利用所述第一车载摄像装置的参数对所述第一采集图像进行畸变校正处理，在经过畸变校正处理后的所述第一采集图像中获取多个像点的第一坐标；第二图像数据采集模块，用于控制第二车载摄像装置对处于同一位置的的所述标定模板图像或实体标定物进行拍摄，获得第二采集图像，并获取所述多个像点在所述第二采集图像中的第二坐标；误差修正模块，用于基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系，根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标。
可选地，所述误差修正模块，用于基于所述第一坐标、所述第二坐标分别生成第一坐标矩阵、第二坐标矩阵；根据所述第一坐标矩阵和所述第二坐标矩阵并通过所述图像算法的函数计算单应性矩阵。
可选地，所述图像算法的函数包括：OPENCV算法的findHomography函数。
可选地，所述误差修正模块，用于将所述第二采集图像以及所述其它采集图像中的每个像素点的图像坐标与所述单应性矩阵相乘。
可选地，图像控制模块，用于在显示屏中显示所述标定模板图像或实体标定物；姿态调整模块，用于控制所述第一车载摄像装置的光心对准所述标定模板图像或实体标定物的中心并保持与所述显示屏垂直，以使所述第一车载摄像装置处于标准安装姿态。
可选地，所述显示屏包括：LCD显示屏。
可选地，所述图像控制模块，用于控制所述标定模板图像或实体标定物变换空间姿态；还包括：摄像装置标定模块，用于控制所述第一车载摄像装置对于显示屏中显示的具有不同空间姿态的标定模板图像或实体标定物进行拍摄，获得多个标定图像；基于预设的单目标定算法并根据所述多个标定图像标定所述第一车载摄像装置的参数。
可选地，所述摄像装置标定模块，用于确定位于所述标定模板图像或实体标定物中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述第一车载摄像装置的参数。
可选地，所述单目标定算法包括：张正友标定算法；所述第一车载摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。
可选地，所述标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子；所述像点和所述标定像点为所述黑色格子和所述白色格子的交叉角点。
根据本发明的又一方面，提供一种汽车，包括如上所述的图像数据修正装置。
根据本发明的又一方面，提供一种图像数据修正装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的图像数据修正方法。
根据本发明的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现如上的图像数据修正方法的步骤。
本发明的图像数据修正方法、装置及其汽车，控制处于标准安装姿态的第一车载摄像装置对标定模板图像进行拍摄，对第一采集图像进行畸变校正处理并获取多个像点的第一坐标；控制第二车载摄像装置对标定模板图像进行拍摄，获取多个像点在第二采集图像中的第二坐标，基于预设的图像算法并根据第一坐标和第二坐标确定单应性关系，根据单应性关系修正第二车载摄像装置获取图像中的像素坐标；能够基于单应性关系对由于摄像装置安装误差产生的图像坐标误差进行修正，可以在不调整摄像装置的前提下，仅需要对一固定位置的标定板拍摄一幅图像，即可将摄像装置在此状态下拍摄的图像中的图像坐标修正为标准坐标值，修正后的图像能极大程度的恢复到标准位姿下的拍摄效果，提高了进行图像修正的工作效率。
本发明实施例附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图：
图1为根据本发明的图像数据修正方法的一个实施例的流程图；
图2为图像之间的单应性关系的示意图；
图3A为处于标准姿态下的摄像装置拍摄的图片，图3B为待校正的摄像装置拍摄的图片，图3C和图3D为经过修正后的图像效果示意图；
图4为根据本发明的图像数据修正方法的一个实施例中的进行摄像装置标定的流程图；
图5为根据本发明的图像数据修正装置的一个实施例的模块示意图；
图6为根据本发明的图像数据修正装置的另一个实施例的模块示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
下文中的“第一”、“第二”仅用于描述上相区别，并没有其它特殊的含义。
图1为根据本发明的图像数据修正方法的一个实施例的流程图，如图1所示：
步骤101，控制处于标准安装姿态的第一车载摄像装置对标定模板图像或实体标定物进行拍摄，获得第一采集图像。
车载摄像装置可以为摄像头、相机等，标定模板图像包括棋盘格图像等，实体标定物可以有多种。可以基于标定模板图像或实体标定物进行图像数据修正，下文以标定模板图像为例进行说明。
步骤102，利用第一车载摄像装置的参数对第一采集图像进行畸变校正处理，在经过畸变校正处理后的第一采集图像中获取多个像点的第一坐标。第一车载摄像装置的参数可以为内参数矩阵等，对图像进行畸变校正处理可以采用现有的多种方法。
步骤103，控制第二车载摄像装置对处于同一位置的标定模板图像进行拍摄，获得第二采集图像，并获取多个像点在第二采集图像中的第二坐标。第一采集图像和第二采集图像所对应的标定模板图像与汽车的相对位置相同，由此可矫正摄像装置相对汽车的位置不变。
步骤104，基于预设的图像算法并根据第一坐标和第二坐标确定单应性关系，根据单应性关系修正第二采集图像以及通过第二车载摄像装置获取的其它采集图像中的像素坐标。
通过上述实施例中的图像数据修正方法，能够基于单应性关系对由于摄像装置安装误差产生的图像坐标误差进行修正，可以在不调整摄像装置的前提下，仅需要对一固定位置的标定板拍摄一幅图像，即可将摄像装置在此状态下拍摄的图像中的图像坐标修正为标准坐标值。
如图2所示，相机对空间中一点进行拍摄而构成的图像坐标系与该点的世界坐标系间存在一种单应性关系，以一个单应性矩阵H1来表示，安装在不同位置的相机对同一点拍摄后形成了另一个单应性关系，用单应性矩阵H2表示，则有对应关系：
m1＝H1Xw,m2＝H2Xw
m2＝Hm1 (1－1)；
由1－1式可以得出：H＝H2H1 -1。只要能够求得两个摄像装置对同一目标物体成像图之间的单应性矩阵，就可以将实际安装位置上所拍摄得到的图像上每一个像素点多对应的理想点位置解算出来。
在一个实施例中，基于第一坐标、第二坐标分别生成第一坐标矩阵、第二坐标矩阵，根据第一坐标矩阵和第二坐标矩阵并通过图像算法的函数计算单应性矩阵，将第二采集图像以及其它采集图像中的每个像素点的图像坐标与单应性矩阵相乘。图像算法的函数包括：OPENCV算法的findHomography函数等。
OpenCV是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。OpenCV利用公式能够计算单应性矩阵，可以使用同一物体的多个图像来计算每个视场的旋转和平移，同时也计算摄像机的内参数。OpenCV提供了函数findHomography确定第一采集图像与第二采集图像之间的单应性矩阵。
可以在显示屏中显示标定模板图像，显示屏包括LCD显示屏等。控制第一车载摄像装置的光心对准标定模板图像的中心并保持与显示屏垂直，以使第一车载摄像装置处于标准安装姿态。控制第一车载摄像装置的安装姿态可以采用自动方式也可以采用手动方式。标定模板图像可以为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子，选取的像点和标定像点可以为黑色格子和白色格子的交叉角点。
在一个实施例中，预先对第一摄像装置进行离线标定，确定第一摄像装置的内参数矩阵。第一摄像装置在汽车上安装后，将第一摄像装置的安装姿态确定为标准姿态。第一摄像装置安装拍摄车身上一固定位置的棋盘格标定板，得到一幅棋盘格图像A，如图3A所示。
利用标定好的第一摄像装置的内参对图像A进行畸变校正，提取图像A中的棋盘格内角点坐标矩阵在之后对于摄像装置的工业化安装过程中，重复上述的步骤，得到每次安装的摄像装置所拍摄的图像B和与图像B相对应的内焦点坐标矩阵例如，其中一个摄像装置拍摄的图像B如图3B所示。
通过函数findHomography计算图A与图B间的单应性矩阵H，图像B上每个像素点的图像坐标通过左乘H可以得到标准安装角度下的像素坐标值，完成后续的计算工作。可以提取图A和图B中相同的48个像点，分别提取图A和图B中48个像点的坐标矩阵计算单应性矩阵H，对图B进行修正，得到修正结果如图3C、3D所示，误差在一个像素左右，能极大程度恢复到标准位姿下的拍摄效果。
图4为根据本发明的图像数据修正方法的一个实施例中的进行摄像装置标定的流程图，如图4所示：
步骤401，控制标定模板图像变换空间姿态。
步骤402，控制第一车载摄像装置对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个标定图像。
步骤403，基于预设的单目标定算法并根据多个标定图像标定第一车载摄像装置的参数。
可以确定位于标定模板图像中的多个标定像点，获取多个标定像点在每个采集图像中的坐标值，根据坐标值并通过单目标定算法计算第一车载摄像装置的参数。单目标定算法包括张正友标定算法等。第一摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子等。
微软研究院的张正友提出了基于移动平面模板的相机标定方法，即张正友标定算法。基于张正友标定算法对于平面模板进行标定，原理为图像上一个像素点坐标m(u,v)T对应的标定板上一点空间坐标M(x,y,z)T，它们的齐次坐标和有如下关系：
在1－2式中，相机的旋转矩阵和平移矩阵记为R、t，是相机外参数；s为尺度因子，A是相机的内参数矩阵。假定世界坐标系xy面与标定板平面相重合，所以z＝0，对于标定板上的像点有：
设H＝A[r1r2t]，称为单应性矩阵，H矩阵使与mi相差最小，可以得出两个内参数基本约束为：
其中可以有如下定义：
由于B是对称的，则基本约束方程可以表示为：
对标定板拍摄n幅图片，得到n个方程组，组合起来为：
Vb＝0 (1－6)
矩阵V可以是2x6矩阵，即每张图片可以建立两个方程组，包含六个未知数，至少需要六个方程组，因此，至少需要三张图片才能解出所有未知数。b解出后就可以解出相机的内参矩阵A，然后可以解得每张图像的外部参数R、t。例如，如果n≥3，则可以列出6个以上的方程，从而解出一个带有比例因子的b，最终求得左、右摄像装置的内参矩阵A和相对应的R、t。
对于张正友标定算法的标定点选取，一般选择能均匀分布于整个图像的多个点。例如，取用了同一相机从不同角度拍摄的六幅图像，从每幅图像中取十个特征点来进行相机的标定(这十个点的世界坐标相同)。把被取的十个点的世界坐标(齐次坐标)进行转置，对单应性矩阵求解并优化，把六幅图的单应矩阵求解出来后求解出6个向量(B矩阵)，求解后得到相机的内参矩阵A。对畸变系数进行求解，得到相机坐标(Xc,Yc,Zc)，调用函数对内参和畸变系数进行优化，根据优化后的结果求解外参矩阵。
在一个实施例中，本发明提供一种图像数据修正装置50，包括：第一图像数据采集模块51、第二图像数据采集模块52、误差修正模块53、图像控制模块54、姿态调整模块55、摄像装置标定模块56。
第一图像数据采集模块51控制处于标准安装姿态的第一车载摄像装置对标定模板图像进行拍摄，获得第一采集图像。第一图像数据采集模块51利用第一车载摄像装置的参数对第一采集图像进行畸变校正处理，在经过畸变校正处理后的第一采集图像中获取多个像点的第一坐标。姿态调整模块55控制第一车载摄像装置的光心对准标定模板图像的中心并保持与显示屏垂直，以使第一车载摄像装置处于标准安装姿态。
第二图像数据采集模块52控制第二车载摄像装置对标定模板图像进行拍摄，获得第二采集图像，并获取多个像点在第二采集图像中的第二坐标。误差修正模块53基于预设的图像算法并根据第一坐标和第二坐标确定单应性关系，根据单应性关系修正第二采集图像以及通过第二车载摄像装置获取的其它采集图像中的像素坐标。
误差修正模块53基于第一坐标、第二坐标分别生成第一坐标矩阵、第二坐标矩阵。误差修正模块53根据第一坐标矩阵和第二坐标矩阵并通过图像算法的函数计算单应性矩阵。误差修正模块53将第二采集图像以及其它采集图像中的每个像素点的图像坐标与单应性矩阵相乘。图像算法的函数包括：OPENCV算法的findHomography函数等。
图像控制模块54在显示屏中显示标定模板图像，显示屏包括LCD显示屏等。标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子，像点和标定像点为黑色格子和白色格子的交叉角点。
图像控制模块54控制标定模板图像变换空间姿态。摄像装置标定模块56控制第一车载摄像装置对于显示屏中显示的具有不同空间姿态的标定模板图像进行拍摄，获得多个标定图像。摄像装置标定模块56基于预设的单目标定算法并根据多个标定图像标定第一车载摄像装置的参数。
摄像装置标定模块56确定位于标定模板图像中的多个标定像点。摄像装置标定模块56获取多个标定像点在每个采集图像中的坐标值，；根据坐标值并通过单目标定算法计算第一车载摄像装置的参数。单目标定算法包括：张正友标定算法等。第一车载摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子等。
根据本发明的又一方面，提供一种汽车，包括如上任一实施例中的图像数据修正装置。
在一个实施例中，如图6所示，提供一种图像数据修正装置，该装置可包括存储器61和处理器62，存储器61用于存储指令，处理器62耦合到存储器61，处理器62被配置为基于存储器61存储的指令执行实现上述的图像数据修正方法。
存储器61可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器61也可以是存储器阵列。存储器61还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器62可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本发明的图像数据修正方法的一个或多个集成电路。
在一个实施例中，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的图像数据修正方法。
上述实施例提供的图像数据修正方法、装置及其汽车，控制处于标准安装姿态的第一车载摄像装置对标定模板图像进行拍摄，对第一采集图像进行畸变校正处理并获取多个像点的第一坐标；控制第二车载摄像装置对标定模板图像进行拍摄，获取多个像点在第二采集图像中的第二坐标，基于预设的图像算法并根据第一坐标和第二坐标确定单应性关系，根据单应性关系修正第二采集图像以及通过第二车载摄像装置获取的其它采集图像中的像素坐标；能够基于单应性关系对由于摄像装置安装误差产生的图像坐标误差进行修正，可以在不调整摄像装置的前提下，仅需要对一固定位置的标定板拍摄一幅图像，即可将摄像装置在此状态下拍摄的图像中的图像坐标修正为标准坐标值，修正后的图像能极大程度的恢复到标准位姿下的拍摄效果，操作简捷，提高了进行图像修正的工作效率，可应用于各种车辆。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
本发明的实施例提供了A1、一种图像数据修正方法，其中，包括：控制处于标准安装姿态的第一车载摄像装置对标定模板图像或实体标定物进行拍摄，获得第一采集图像；利用所述第一车载摄像装置的参数对所述第一采集图像进行畸变校正处理，在经过畸变校正处理后的所述第一采集图像中获取多个像点的第一坐标；控制第二车载摄像装置对处于同一位置的所述标定模板图像或实体标定物进行拍摄，获得第二采集图像，并获取所述多个像点在所述第二采集图像中的第二坐标；基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系，根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标。
A2、如A1所述的方法，其中，所述基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系包括：基于所述第一坐标、所述第二坐标分别生成第一坐标矩阵、第二坐标矩阵；根据所述第一坐标矩阵和所述第二坐标矩阵并通过所述图像算法的函数计算单应性矩阵。
A3、如A2所述的方法，其中，所述图像算法的函数包括：OPENCV算法的findHomography函数。
A4、如A2所述的方法，其中，所述根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标包括：将所述第二采集图像以及所述其它采集图像中的每个像素点的图像坐标与所述单应性矩阵相乘。
A5、如A1所述的方法，其中，还包括：在显示屏中显示所述标定模板图像或实体标定物；控制所述第一车载摄像装置的光心对准所述标定模板图像或实体标定物的中心并保持与所述显示屏垂直，以使所述第一车载摄像装置处于标准安装姿态。
A6、如A5所述的方法，其中，所述显示屏包括：LCD显示屏。
A7、如A5所述的方法，其中，还包括：控制所述标定模板图像或实体标定物变换空间姿态；控制所述第一车载摄像装置对于显示屏中显示的具有不同空间姿态的标定模板图像或实体标定物进行拍摄，获得多个标定图像；基于预设的单目标定算法并根据所述多个标定图像标定所述第一车载摄像装置的参数。
A8、如A7所述的方法，其中，所述基于预设的单目标定算法并根据所述多个标定图像标定所述第一车载摄像装置的参数包括：确定位于所述标定模板图像或实体标定物中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述第一车载摄像装置的参数。
A9、如A8所述的方法，其中，所述单目标定算法包括：张正友标定算法；所述第一车载摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。
A10、如A8所述的方法，其中，所述标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子；所述像点和所述标定像点为所述黑色格子和所述白色格子的交叉角点。
B11、一种图像数据修正装置，其中，包括：第一图像数据采集模块，用于控制处于标准安装姿态的第一车载摄像装置对标定模板图像或实体标定物进行拍摄，获得第一采集图像；利用所述第一车载摄像装置的参数对所述第一采集图像进行畸变校正处理，在经过畸变校正处理后的所述第一采集图像中获取多个像点的第一坐标；第二图像数据采集模块，用于控制第二车载摄像装置对处于同一位置的的所述标定模板图像或实体标定物进行拍摄，获得第二采集图像，并获取所述多个像点在所述第二采集图像中的第二坐标；误差修正模块，用于基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系，根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标。
B12、如B11所述的装置，其中，所述误差修正模块，用于基于所述第一坐标、所述第二坐标分别生成第一坐标矩阵、第二坐标矩阵；根据所述第一坐标矩阵和所述第二坐标矩阵并通过所述图像算法的函数计算单应性矩阵。
B13、如B12所述的装置，其中，所述图像算法的函数包括：OPENCV算法的findHomography函数。
B14、如B12所述的装置，其中，所述误差修正模块，用于将所述第二采集图像以及所述其它采集图像中的每个像素点的图像坐标与所述单应性矩阵相乘。
B15、如B11所述的装置，其中，还包括：图像控制模块，用于在显示屏中显示所述标定模板图像或实体标定物；姿态调整模块，用于控制所述第一车载摄像装置的光心对准所述标定模板图像或实体标定物的中心并保持与所述显示屏垂直，以使所述第一车载摄像装置处于标准安装姿态。
B16、如B15所述的装置，其中，所述显示屏包括：LCD显示屏。
B17、如B15所述的装置，其中，所述图像控制模块，用于控制所述标定模板图像或实体标定物变换空间姿态；还包括：摄像装置标定模块，用于控制所述第一车载摄像装置对于显示屏中显示的具有不同空间姿态的标定模板图像或实体标定物进行拍摄，获得多个标定图像；基于预设的单目标定算法并根据所述多个标定图像标定所述第一车载摄像装置的参数。
B18、如B17所述的装置，其中，所述摄像装置标定模块，用于确定位于所述标定模板图像或实体标定物中的多个标定像点；获取所述多个标定像点在每个所述采集图像中的坐标值；根据所述坐标值并通过所述单目标定算法计算所述第一车载摄像装置的参数。
B19、如B18所述的装置，其中，所述单目标定算法包括：张正友标定算法；所述第一车载摄像装置的参数包括：内参数矩阵、旋转矩阵、平移矩阵、缩放因子。
B20、如B18所述的装置，其中，所述标定模板图像为棋盘格图像，包括间隔排布的多个黑色格子和多个白色格子；所述像点和所述标定像点为所述黑色格子和所述白色格子的交叉角点。
C21、一种汽车，其中，包括如B11至20任一项所述的图像数据修正装置。
D22、一种图像数据修正装置，其中，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求A1至A10中任一项所述的图像数据修正方法。
E23、一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求A1至A10任意一项所述的图像数据修正方法的步骤。
Claims (10)
1.一种图像数据修正方法，其特征在于，包括：
控制处于标准安装姿态的第一车载摄像装置对标定模板图像或实体标定物进行拍摄，获得第一采集图像；
利用所述第一车载摄像装置的参数对所述第一采集图像进行畸变校正处理，在经过畸变校正处理后的所述第一采集图像中获取多个像点的第一坐标；
控制第二车载摄像装置对处于同一位置的所述标定模板图像或实体标定物进行拍摄，获得第二采集图像，并获取所述多个像点在所述第二采集图像中的第二坐标；
基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系，根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标。
2.如权利要求1所述的方法，其特征在于，所述基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系包括：
基于所述第一坐标、所述第二坐标分别生成第一坐标矩阵、第二坐标矩阵；
根据所述第一坐标矩阵和所述第二坐标矩阵并通过所述图像算法的函数计算单应性矩阵。
3.如权利要求2所述的方法，其特征在于，
所述图像算法的函数包括：OPENCV算法的findHomography函数。
4.如权利要求2所述的方法，其特征在于，所述根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标包括：
将所述第二采集图像以及所述其它采集图像中的每个像素点的图像坐标与所述单应性矩阵相乘。
5.一种图像数据修正装置，其特征在于，包括：
第一图像数据采集模块，用于控制处于标准安装姿态的第一车载摄像装置对标定模板图像或实体标定物进行拍摄，获得第一采集图像；利用所述第一车载摄像装置的参数对所述第一采集图像进行畸变校正处理，在经过畸变校正处理后的所述第一采集图像中获取多个像点的第一坐标；
第二图像数据采集模块，用于控制第二车载摄像装置对处于同一位置的的所述标定模板图像或实体标定物进行拍摄，获得第二采集图像，并获取所述多个像点在所述第二采集图像中的第二坐标；
误差修正模块，用于基于预设的图像算法并根据所述第一坐标和所述第二坐标确定单应性关系，根据所述单应性关系修正所述第二采集图像以及通过所述第二车载摄像装置获取的其它采集图像中的像素坐标。
6.如权利要求5所述的装置，其特征在于，
所述误差修正模块，用于基于所述第一坐标、所述第二坐标分别生成第一坐标矩阵、第二坐标矩阵；根据所述第一坐标矩阵和所述第二坐标矩阵并通过所述图像算法的函数计算单应性矩阵。
7.如权利要求6所述的装置，其特征在于，
所述图像算法的函数包括：OPENCV算法的findHomography函数。
8.一种汽车，其特征在于，
包括如权利要求5至7任一项所述的图像数据修正装置。
9.一种图像数据修正装置，其特征在于，包括：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至4中任一项所述的图像数据修正方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，该指令被一个或多个处理器执行时实现权利要求1至4任意一项所述的图像数据修正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711279516.4A CN108053375B (zh) | 2017-12-06 | 2017-12-06 | 图像数据修正方法、装置及其汽车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711279516.4A CN108053375B (zh) | 2017-12-06 | 2017-12-06 | 图像数据修正方法、装置及其汽车 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108053375A true CN108053375A (zh) | 2018-05-18 |
| CN108053375B CN108053375B (zh) | 2020-06-05 |
Family
ID=62122442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711279516.4A Active CN108053375B (zh) | 2017-12-06 | 2017-12-06 | 图像数据修正方法、装置及其汽车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108053375B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410122A (zh) * | 2018-08-27 | 2019-03-01 | 上海途擎微电子有限公司 | 车载系统及其车载图像调整的方法 |
| CN109472829A (zh) * | 2018-09-04 | 2019-03-15 | 顺丰科技有限公司 | 一种物体定位方法、装置、设备和存储介质 |
| CN111598956A (zh) * | 2020-04-30 | 2020-08-28 | 商汤集团有限公司 | 标定方法、装置和系统 |
| CN112991465A (zh) * | 2021-03-26 | 2021-06-18 | 禾多科技（北京）有限公司 | 相机标定方法、装置、电子设备和计算机可读介质 |
| CN113034604A (zh) * | 2019-12-25 | 2021-06-25 | 南京极智嘉机器人有限公司 | 标定系统、方法及自导引机器人 |
| CN115984126A (zh) * | 2022-12-05 | 2023-04-18 | 北京拙河科技有限公司 | 一种基于输入指令的光图像修正方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710932A (zh) * | 2009-12-21 | 2010-05-19 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| WO2013145072A1 (ja) * | 2012-03-26 | 2013-10-03 | 三菱電機株式会社 | カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置 |
| CN103761737A (zh) * | 2014-01-22 | 2014-04-30 | 北京工业大学 | 基于稠密光流的机器人运动估计方法 |
| CN103942796A (zh) * | 2014-04-23 | 2014-07-23 | 清华大学 | 一种高精度的投影仪-摄像机标定系统及标定方法 |
| CN106910221A (zh) * | 2017-02-04 | 2017-06-30 | 景致三维（江苏）股份有限公司 | 一种全局标定的方法及装置 |
-
2017
- 2017-12-06 CN CN201711279516.4A patent/CN108053375B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710932A (zh) * | 2009-12-21 | 2010-05-19 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| WO2013145072A1 (ja) * | 2012-03-26 | 2013-10-03 | 三菱電機株式会社 | カメラキャリブレーション方法、カメラキャリブレーションプログラムおよびカメラキャリブレーション装置 |
| CN103761737A (zh) * | 2014-01-22 | 2014-04-30 | 北京工业大学 | 基于稠密光流的机器人运动估计方法 |
| CN103942796A (zh) * | 2014-04-23 | 2014-07-23 | 清华大学 | 一种高精度的投影仪-摄像机标定系统及标定方法 |
| CN106910221A (zh) * | 2017-02-04 | 2017-06-30 | 景致三维（江苏）股份有限公司 | 一种全局标定的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 杨晓辉: "基于双目立体视觉的三维重建方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109410122A (zh) * | 2018-08-27 | 2019-03-01 | 上海途擎微电子有限公司 | 车载系统及其车载图像调整的方法 |
| CN109472829A (zh) * | 2018-09-04 | 2019-03-15 | 顺丰科技有限公司 | 一种物体定位方法、装置、设备和存储介质 |
| CN109472829B (zh) * | 2018-09-04 | 2022-10-21 | 顺丰科技有限公司 | 一种物体定位方法、装置、设备和存储介质 |
| CN113034604A (zh) * | 2019-12-25 | 2021-06-25 | 南京极智嘉机器人有限公司 | 标定系统、方法及自导引机器人 |
| CN111598956A (zh) * | 2020-04-30 | 2020-08-28 | 商汤集团有限公司 | 标定方法、装置和系统 |
| CN112991465A (zh) * | 2021-03-26 | 2021-06-18 | 禾多科技（北京）有限公司 | 相机标定方法、装置、电子设备和计算机可读介质 |
| CN115984126A (zh) * | 2022-12-05 | 2023-04-18 | 北京拙河科技有限公司 | 一种基于输入指令的光图像修正方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108053375B (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108053375A (zh) | 图像数据修正方法、装置及其汽车 | |
| CN109509226B (zh) | 三维点云数据配准方法、装置、设备及可读存储介质 | |
| CN107564069B (zh) | 标定参数的确定方法、装置及计算机可读存储介质 | |
| CN108470370B (zh) | 三维激光扫描仪外置相机联合获取三维彩色点云的方法 | |
| CN108038886B (zh) | 双目摄像系统标定方法、装置及其汽车 | |
| TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| CN109754426B (zh) | 一种用于摄像标定参数验证的方法、系统和装置 | |
| CN105118055B (zh) | 摄影机定位修正标定方法及系统 | |
| CN101998136B (zh) | 单应矩阵的获取方法、摄像设备的标定方法及装置 | |
| TWI555378B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| US20170127045A1 (en) | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| CN107705252B (zh) | 适用于双目鱼眼图像拼接展开校正的方法及系统 | |
| CN108234984A (zh) | 双目深度相机系统和深度图像生成方法 | |
| US20060215935A1 (en) | System and architecture for automatic image registration | |
| CN109754427A (zh) | 一种用于标定的方法和装置 | |
| WO2011009108A2 (en) | System and method for automatic calibration of stereo images | |
| CN111145269B (zh) | 一种鱼眼相机与单线激光雷达的外方位元素的标定方法 | |
| CN109559349A (zh) | 一种用于标定的方法和装置 | |
| CN109146781A (zh) | 激光切割中的图像校正方法及装置、电子设备 | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN115564842A (zh) | 双目鱼眼相机的参数标定方法、装置、设备及存储介质 | |
| CN112258581B (zh) | 一种多鱼眼镜头全景相机的现场标定方法 | |
| JP7474137B2 (ja) | 情報処理装置およびその制御方法 | |
| CN116051652A (zh) | 一种参数标定方法及电子设备、存储介质 | |
| JP2005275789A (ja) | 三次元構造抽出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |