CN116128744A - 消除图像畸变的方法、电子设备、存储介质及车辆 - Google Patents

消除图像畸变的方法、电子设备、存储介质及车辆 Download PDF

Info

Publication number
CN116128744A
CN116128744A CN202211477879.XA CN202211477879A CN116128744A CN 116128744 A CN116128744 A CN 116128744A CN 202211477879 A CN202211477879 A CN 202211477879A CN 116128744 A CN116128744 A CN 116128744A
Authority
CN
China
Prior art keywords
coordinate system
camera
preset
real
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211477879.XA
Other languages
English (en)
Inventor
谭竞扬
王光甫
叶年进
陈现岭
赵龙
贾澜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202211477879.XA priority Critical patent/CN116128744A/zh
Publication of CN116128744A publication Critical patent/CN116128744A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请提供一种消除图像畸变的方法、电子设备、存储介质及车辆；该方法包括：在构建的标定坐标系中标定出多个预设点，利用所述多个预设点各自在预置的真实相机图像中的像素坐标，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系；根据所述第一位姿关系，确定所述真实相机图像的拍摄高度；在预置的虚拟相机坐标系中标定出所述多个预设点，利用所述多个预设点各自的所述像素坐标，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系；根据所述第二位姿关系，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现。

Description

消除图像畸变的方法、电子设备、存储介质及车辆
技术领域
本申请的实施例涉及图像处理的技术领域，尤其涉及一种消除图像畸变的方法、电子设备、存储介质及车辆。
背景技术
对于具有广角功能的相机，例如车辆使用的鱼眼相机，所采集到的图像往往会含有巨大的畸变，另一方面，为了更多地采集到车身周围的信息，鱼眼相机会有一个向下的倾角。
基于上述情况，导致图像在去除广角相机本身的畸变之后，会有明显的透视畸变。
基于此，需要一种能够去除广角相机本身畸变和透视畸变的方案。
发明内容
有鉴于此，本申请的目的在于提出一种消除图像畸变的方法、电子设备、存储介质及车辆，以消除广角相机本身所产生的畸变和透视畸变。
基于上述目的，本申请提供了消除图像畸变的方法，包括：
在构建的标定坐标系中标定出多个预设点，利用所述多个预设点各自在预置的真实相机图像中的像素坐标，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系；
根据所述第一位姿关系，确定所述真实相机图像的拍摄高度；
在预置的虚拟相机坐标系中标定出所述多个预设点，利用所述多个预设点各自的所述像素坐标，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系；
根据所述第二位姿关系，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现。
进一步地，在构建的标定坐标系中标定出多个预设点之前，包括：
设置所述多个预设点；
利用任一预设点为原点，构建所述标定坐标系；
在所述标定坐标系中确定所述多个预设点各自的标定坐标。
进一步地，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系，包括：
利用预置的相机内参，构建关于所述真实相机坐标系和所述标定坐标系之间的第一透视投影关系；
根据所述第一透视投影关系，利用多个像素坐标和多个标定坐标，建立关于第一相机外参的多个第一线性方程，并利用所述多个第一线性方程确定所述第一相机外参；
根据所述第一相机外参确定所述第一位姿关系。
进一步地，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系，包括：
利用所述相机内参，构建关于所述真实相机坐标系和所述虚拟坐标系之间的第二透视投影关系；
根据所述第二透视投影关系，利用多个像素坐标和多个虚拟相机坐标，建立关于第二相机外参的多个第二线性方程，并利用所述多个第二线性方程确定所述第二相机外参；
根据所述第二相机外参确定所述第二位姿关系；
所述多个虚拟相机坐标，通过在所述虚拟相机坐标系中标定出所述多个预设点得到。
进一步地，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，包括：
确定所述真实相机坐标系的原点与预设平面之间的垂直向量；
利用所述垂直向量、所述相机内参、所述拍摄高度、所述第二相机外参构建投影变换矩阵；
根据所述投影变换矩阵确定所述投影变换关系。
进一步地，利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现，包括：
确定所述真实相机图像中全部像素的像素坐标；
对所述真实相机坐标系下的所述全部像素的像素坐标，按照所述投影变换关系的比例转换至所述虚拟相机坐标系中；
并按照转换后的像素坐标呈现图像。
基于同一发明构思，本申请还提供了一种消除图像畸变的装置，包括：第一位姿关系确定模块、拍摄高度确定模块、第二位姿关系确定模块和投影变换模块；
其中，所述第一位姿关系确定模块，被配置为，在构建的标定坐标系中标定出多个预设点，利用所述多个预设点各自在预置的真实相机图像中的像素坐标，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系；
所述拍摄高度确定模块，被配置为，根据所述第一位姿关系，确定所述真实相机图像的拍摄高度；
所述第二位姿关系确定模块，被配置为，在预置的虚拟相机坐标系中标定出所述多个预设点，利用所述多个预设点各自的所述像素坐标，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系；
所述投影变换模块，被配置为，根据所述第二位姿关系，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现。
基于同一发明构思，本申请还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一项所述的消除图像畸变的方法。
基于同一发明构思，本申请还提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述消除图像畸变的方法。
基于同一发明构思，本申请还提供了一种车辆，所述车辆包括消除图像畸变的装置和电子设备，所述电子设备执行如上任意一项所述的消除图像畸变的方法。
从上面所述可以看出，本申请提供的消除图像畸变的方法，在真实相机拍摄时，可以基于标定的多个预设点和标定坐标系，可以建立真实相机坐标系与标定坐标系之间的第一位姿关系，通过该第一位姿关系，可以确定真实相机在标定坐标系中的拍摄高度；同时，基于多个预设点和设置的虚拟相机，可以建立真实相机坐标系与虚拟相机坐标系之间的第二位姿关系；基于此，通过结合第二位姿关系和拍摄高度，可以确定出真实相机与虚拟相机之间的投影变换关系，通过利用该投影变换关系，可以将真实相机所拍摄的真实相机图像映射至虚拟相机下，来得到消除畸变的图像。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的车辆的相机设置示意图；
图2为本申请实施例的消除图像畸变的方法的流程图；
图3为本申请实施例的虚拟相机的设置示意图；
图4为本申请实施例的确定第一位姿关系的流程图；
图5为本申请实施例的确定第二位姿关系的流程图；
图6为本申请实施例的确定投影变换关系的流程图；
图7为本申请实施例的未消除畸变的原始广角相机图像；
图8为本申请实施例的未消除透视畸变的图像；
图9为本申请实施例的消除图像畸变的效果图；
图10为本申请实施例的消除图像畸变的装置结构示意图；
图11为本申请实施例的电子设备结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。
需要说明的是，除非另外定义，本申请的实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请的实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如背景技术部分所述，相关的消除图像畸变的方法还难以满足用户的实际需要。
申请人在实现本申请的过程中发现，相关的消除图像畸变的方法存在的主要问题在于：对于具有广角功能的相机，例如车辆使用的鱼眼相机，所采集到的图像往往会含有巨大的畸变，另一方面，为了更多地采集到车身周围的信息，鱼眼相机会有一个向下的倾角。
基于上述情况，导致图像在去除广角相机本身的畸变之后，会有明显的透视畸变，即呈现出物体的近大远小的效果，表现为真实世界中垂直于地面的物体在图像中严重倾斜。
申请人在研究中还发现，相关的消除畸变的方式中，往往选择以下三种方式：1、只对鱼眼相机捕获到的图像进行去畸变；2、对鱼眼相机捕获到的图像做一定程度上的去畸变。
其中，对于方式1来说，缺点是去畸变后的图像仍具有透视畸变，也就是说，本该是直立的物体去畸变之后变成了斜的，例如柱子等物体，在图像中呈现倾斜的状态，这也会给图像的使用者带来困扰。
进一步地，对于2来说，虽然对鱼眼图做了部分的去畸变，因此图像中的物体呈现弧状，虽然整体上的视觉效果要好一些，但是仍然不符合人类的视觉习惯。
基于此，本申请中的一个或多个实施例提供了消除图像畸变的方法，以解决广角相机采集的图像中，既包含了相机本身的畸变，又包含了透视畸变。
以下结合附图详细说明本申请的实施例。
在本申请的实施例中，作为具体示例的车辆具备至少一个摄像头，也即相机，在图1所示的示例中，该车辆具备前摄像头、后摄像头、左摄像头和右摄像头4个摄像头，并分别可以拍摄前后左右四个不同的方位的前摄图像、后摄图像、左摄图像和右摄图像。
其中，每个摄像头各自均内置有真实相机坐标系，并以相机的光心作为该相机的真实相机坐标系的坐标原点。
在本实施例中，以任意摄像头为例，为了使驾驶员能够通过摄像头观察的范围更加宽阔，该摄像头可以是具有广角功能的鱼眼相机，以使捕获到的图像比普通相机具有更大的视野范围。
进一步地，在设置摄像头时，以后摄相机为例，为了使其更多地采集到车身周围的信息，以一个向下的倾角来设置后摄像头。
参考图2，本申请一个实施例的消除图像畸变的方法，应用于广角鱼眼相机，并具体包括以下步骤：
步骤S201、在构建的标定坐标系中标定出多个预设点，利用所述多个预设点各自在预置的真实相机图像中的像素坐标，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系。
在本申请的实施例中，基于构建的标定坐标系、相机中预置的真实相机坐标系，以及预先标出的多个预设点，可以采取PNP算法(Prespective N Point算法，多点透视算法)来确定标定坐标系与真实相机坐标系之间的外参，也即，标定坐标系与真实相机坐标系之间的第一位姿关系。
具体地，将上述的后摄像头作为真实相机时，在真实相机坐标系下，真实相机中将生成真实相机图像。
其中，真实相机图像中设置有真实图像坐标系，真实图像坐标系可以根据真实相机坐标系设置，即通过预先设置的相机内参，令真实图像坐标系与真实相机坐标系之间形成固定的转换关系。
基于此，通过将多个预设点在真实相机坐标系中进行标定，可以确定各个预设点各自在真实图像坐标系下的像素坐标。
在本实施例中，在车辆的周围设置有标定板，也称标定布，图3示出了在车辆后方，接近后摄像头的位置所设置的标定板，其中，标定板铺设于地面。
进一步地，在图3中，选择标定板中两个黑色方格各自的4个角点作为预设点，也即总共选择8个预设点。
在一些其他实施例中，也可以选择其他个数，例如6个预设点来实施本方法。
进一步地，基于上述选取的多个预设点，通过选择其中的任意一个预设点作为原点，可以构建三维的标定坐标系，可以看出，该标定坐标系可以被视为真实世界中的坐标系。
在具体的示例中，基于选取的8个预设点，可以选取图3中左上角的角点作为原点，并将垂直于标定板的方向，也即垂直于地面的方向，作为标定坐标系中的一个维度，也即，其中一个坐标轴的方向，并基于此，可以确定另外两个坐标轴的方向均平行于地面。
可以看出，通过选取原点，设置坐标轴方向，可以得到标定坐标系。
进一步地，基于构建的标定坐标系，将各个预设点在标定坐标系中进行标定后，可以得到各个预设点在标定坐标系中的坐标，并将其作为标定坐标。
在本实施例中，基于多个预设点各自的像素坐标，以及，多个预设点各自的标定坐标，可以采取PNP算法来确定真实相机坐标系与标定坐标系之间的外参，并利用该外参确定真实相机坐标系与标定坐标系之间的位姿关系，也即，第一位姿关系。
具体地，在真实相机中，可以预先设置相机内参，或者确定出预先设置的相机内参。
进一步地，基于该相机内参，可以构建真实相机坐标系与标定坐标系之间的第一透视投影关系，并进一步利用该第一透视投影关系可以建立多个第一线性方程。
其中，第一线性方程可以视为是真实相机坐标系与标定坐标系之间，关于第一相机外参的线性方程。
具体地，第一相机外参包括第一旋转矩阵R1和第一平移矩阵t1。
进一步地，通过联合多个第一线性方程，可以确定出第一相机外参，其中，第一相机外参表示了两个坐标系之间在转换时的计算关系，在将该计算关系代入到两个坐标系之间时，则体现为两个坐标系之间，在位置上的第一位姿关系。
可以看出，第一位姿关系表明了真实相机坐标系与标定坐标系之间的位置关系，并具体通过外参来量化表示。
步骤S202、根据所述第一位姿关系，确定所述真实相机图像的拍摄高度。
在本申请的实施例中，基于上述确定的第一位姿关系，可以通过对第一位姿关系中相应的第一相机外参进行转换，来得到真实相机在拍摄时所处的拍摄高度。
在具体的示例中，基于上述的第一相机外参R1和t1，通过对第一旋转矩阵R1求逆，可以将第一平移矩阵t1转换到标定坐标系下，并将其第二维作为后摄像机拍摄时所处的拍摄高度。
步骤S203、在预置的虚拟相机坐标系中标定出所述多个预设点，利用所述多个预设点各自的所述像素坐标，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系。
在本申请的实施例中，基于构建的虚拟相机坐标系、相机中预置的真实相机坐标系，以及上述的多个预设点，可以采取PNP算法(Prespective N Point算法，多点透视算法)来确定虚拟相机坐标系与真实相机坐标系之间的外参，也即，虚拟相机坐标系与真实相机坐标系之间的第一位姿关系。
具体地，通过在真实相机的拍摄位置设置出一个虚拟相机，可以模拟出人眼正视正前方的人眼视角。
进一步地，基于设置的该虚拟相机，可以确定出虚拟相机坐标系。
在具体的示例中，图3示出了虚拟相机的设置方式，其中，虚拟相机设置于图3中X轴、Y轴和Z轴的相交点，基于此，该相交点为虚拟相机坐标系的原点。
可以看出，与真实相机坐标系相同，该虚拟相机坐标系的X轴和Z轴平行于地面，也即平行于标定板，而Y轴垂直于地面。
基于此，可以将多个预设点在虚拟相机坐标系中进行标定，并分别得到各个各自预设点在虚拟相机坐标系当中的虚拟相机坐标。
在本实施例中，基于多个预设点各自的像素坐标，以及，多个预设点各自的虚拟相机坐标，可以采取PNP算法来确定真实相机坐标系与虚拟相机坐标系之间的外参，并利用该外参确定真实相机坐标系与虚拟相机坐标系之间的位姿关系，也即，第二位姿关系。
具体地，基于前述步骤中的真实相机内参，可以构建真实相机坐标系与虚拟相机坐标系之间的第二透视投影关系，并进一步利用该第二透视投影关系可以建立多个第二线性方程。
其中，第二线性方程可以视为是真实相机坐标系与虚拟相机坐标系之间，关于第二相机外参的线性方程。
具体地，第二相机外参包括第二旋转矩阵R2和第二平移矩阵t2。
进一步地，通过联合多个第二线性方程，可以确定出第二相机外参，其中，第二相机外参表示了上述两个坐标系之间在转换时的计算关系，在将该计算关系代入到两个坐标系之间时，则体现为两个坐标系之间，在位置上的第二位姿关系。
可以看出，第二位姿关系表明了真实相机坐标系与虚拟相机坐标系之间的位置关系，并具体通过外参来量化表示。
步骤S204、根据所述第二位姿关系，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现。
在本申请的实施例中，基于上述确定的第二位姿关系，可以在虚拟相机坐标系与真实相机坐标系之间构建坐标的转换关系，也即投影变换关系。
具体地，基于上述确定的拍摄高度，可以通过构建投影变换矩阵来描述投影变换关系。
在具体的示例中，由于虚拟相机模拟了正视正前方的人眼视角，因此，可以通过设定一个垂直于地面的平面，来作为模拟人眼视角的虚拟相机所观察的目标平面。
进一步地，目标平面可以是距离拍摄位置的一个平面，该预平面与真实相机之间的具体垂直距离可以根据相机的具体拍摄需求进行设置。
进一步地，根据该垂直距离、第二相机外参、拍摄高度和预置的相机内参，可以构建真实相机与虚拟相机之间的投影变换矩阵。
其中，该投影变换矩阵具体描述了真实相机所得到的真实相机图像，与虚拟相机预计呈现的图像，即与虚拟相机图像之间的变换关系，在本实施例中将该变换关系作为投影变换关系。
具体地，基于确定的真实相机图像，可以确定出真实相机图像中全部像素的像素坐标。
进一步地，通过该真实相机与虚拟相机之间的投影变换关系，可以对真实相机图像中的全部像素各自的像素坐标均按照投影变换矩阵的比例关系进行转换，并在映射后得到新的像素坐标。
例如，可以将全部像素各自在真实相机图像中的像素坐标乘以该投影变换矩阵，并在计算后，将得到的新的像素坐标作为在虚拟相机图像下的像素坐标，并按照该新的像素坐标来呈现图像。
可以看出，通过投影变换关系，可以按照固定的比例，将真实相机图像映射至虚拟相机图像，以去除真实相机图像中的图像畸变。
在本申请的另一实施例中，如图4所示，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系，可以包括以下步骤：
步骤S401、利用预置的相机内参，构建关于所述真实相机坐标系和所述标定坐标系之间的第一透视投影关系。
在本申请的实施例中，基于确定的真实相机的相机内参，可以通过其次坐标的方式，建立真实相机坐标系与标定坐标系之间的第一透视投影矩阵，以其量化描述第一透视投影关系。
具体地，将预设点在标定坐标系中的坐标表示为：[Xw，Yw，Zw]T，将像素坐标表示为：[uc，vc]T。
基于此，可以进一步将标定坐标的齐次坐标表示为：[Xw，Yw，Zw，1]T，将像素坐标的齐次坐标表示为：[u，v，1]T。
进一步地，将真实相机的相机的内参矩阵表示为K，对于多个预设点中的每一个，可以利用相机的内参中的第一旋转矩阵R1和第一平移矩阵t1，来构建如下所示的关于该预设点的第一透视投影矩阵：
Figure BDA0003960062620000101
其中，zc表示真实相机坐标中在与uc和vc不相同的另一坐标轴上，该预设点的坐标。
基于此，通过像素坐标的齐次坐标与标定坐标的齐次坐标之间的计算关系，可以利用该计算关系来描述真实相机坐标系与标定坐标系之间的转换关系，也即，第一透视投影关系。
步骤S402、根据所述第一透视投影关系，利用多个像素坐标和多个标定坐标，建立关于第一相机外参的多个第一线性方程，并利用所述多个第一线性方程确定所述第二相机外参。
在本申请的实施例中，基于上述确定的第一透视投影关系，可以基于对第一透视投影矩阵的整理，通过对多个第一透视投影矩阵的联立，来求解第一相机外参，也即，第一旋转矩阵R1和第一平移矩阵t1。
具体地，对于上述的第一透视投影矩阵，通过将相机内参K乘入
Figure BDA0003960062620000111
中，可以将其展开为如下所示的展开形式：
Figure BDA0003960062620000112
进一步地，其中，f表示将K乘入
Figure BDA0003960062620000113
后得到的中间参量，并以角标表示中间参量在矩阵中行和列的位置。
进一步地，可以将上述展开形式整理为如下所示的方程组形式：
zcuc＝f11Xw+f12Yw+f13Zw+f14
zcvc＝f21Xw+f22Yw+f23Zw+f24
zc＝f31Xw+f32Yw+f33Zw+f34
基于此，对于每个预设点，可以确定出在真实相机坐标系中的真实相机坐标，以及与真实相机坐标对应的像素坐标，以此来得到关于该预设点的一组三维与二维之间的匹配点。
进一步地，基于多个预设点，可以确定出多组匹配点，利用多组匹配点，可以建立多组上述的方程组，并通过联立多组方程组来求解出第一旋转矩阵R1和第一平移矩阵t1，也即确定第一相机外参。
步骤S403、根据所述第一相机外参确定所述第一位姿关系。
在本申请的实施例中，基于上述确定的第一相机外参，可以利用该相机外参来量化描述真实相机坐标系与标定坐标系之间的第一位姿关系。
可以看出，基于像素坐标的齐次坐标，并基于标定坐标的齐次坐标，所构建出的第一透视投影矩阵，描述了真实相机坐标系与标定坐标系之间，在计算上的转换关系，并具体表达了上述两个坐标系之间在透视投影上的关系的量化，基于此，可以求解出第一相机外参，并以此来确定出第一位姿关系。
在本申请的另一实施例中，如图5所示，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系，可以包括以下步骤：
步骤S501、利用所述相机内参，构建关于所述真实相机坐标系和所述虚拟坐标系之间的第二透视投影关系。
在本申请的实施例中，基于确定的真实相机的相机内参，可以通过其次坐标的方式，建立真实相机坐标系与虚拟相机坐标系之间的第二透视投影矩阵，以其量化描述第二透视投影关系。
具体地，将预设点在虚拟相机坐标系中的坐标表示为：[Xv，Yv，Zv]T，将像素坐标表示为：[uc，vc]T。
基于此，可以进一步将虚拟相机坐标的齐次坐标表示为：[Xv，Yv，Zv，1]T，将像素坐标的齐次坐标表示为：[u，v，1]T。
进一步地，将真实相机的相机的内参矩阵表示为K，对于多个预设点中的每一个，可以利用相机的内参中的第二旋转矩阵R2和第二平移矩阵t2，来构建如下所示的关于该预设点的第二透视投影矩阵：
Figure BDA0003960062620000121
其中，zc表示真实相机坐标中在与uc和vc不相同的另一坐标轴上，该预设点的坐标。
基于此，通过像素坐标的齐次坐标与虚拟相机坐标的齐次坐标之间的计算关系，可以利用该计算关系来描述真实相机坐标系与虚拟相机坐标系之间的转换关系，也即，第二透视投影关系。
步骤S502、根据所述第二透视投影关系，利用多个像素坐标和多个虚拟相机坐标，建立关于第二相机外参的多个第二线性方程，并利用所述多个第二线性方程确定所述第二相机外参。
在本申请的实施例中，基于上述确定的第二透视投影关系，可以基于对第二透视投影矩阵的整理，通过对多个第二透视投影矩阵的联立，来求解第二相机外参，也即，第二旋转矩阵R2和第二平移矩阵t2。
具体地，对于上述的第二透视投影矩阵，通过将相机内参K乘入
Figure BDA0003960062620000122
中，可以将其展开为如下所示的展开形式：
Figure BDA0003960062620000123
进一步地，其中，f′表示将K乘入
Figure BDA0003960062620000124
后得到的中间参量，并以角标表示中间参量在矩阵中行和列的位置。
进一步地，可以将上述展开形式整理为如下所示的方程组形式：
zcuc＝f′11Xw+f′12Yw+f′13Zw+f′14
zcvc＝f′21Xw+f′22Yw+f′23Zw+f′24
zc＝f′31Xw+f′32Yw+f′33Zw+f′34
基于此，对于每个预设点，可以确定出在真实相机坐标系中的真实相机坐标，以及与真实相机坐标对应的像素坐标，以此来得到关于该预设点的一组三维与二维之间的匹配点。
进一步地，基于多个预设点，可以确定出多组匹配点，利用多组匹配点，可以建立多组上述的方程组，并通过联立多组方程组来求解出第二旋转矩阵R2和第二平移矩阵t2，也即确定第二相机外参。
步骤S503、根据所述第二相机外参确定所述第二位姿关系。
在本申请的实施例中，基于上述确定的第二相机外参，可以利用该相机外参来量化描述真实相机坐标系与虚拟相机坐标系之间的第二位姿关系。
可以看出，基于像素坐标的齐次坐标，并基于虚拟相机坐标的齐次坐标，所构建出的第二透视投影矩阵，描述了真实相机坐标系与虚拟相机坐标系之间，在计算上的转换关系，并具体表达了上述两个坐标系之间在透视投影上的关系的量化，基于此，可以求解出第二相机外参，并以此来确定出第二位姿关系。
在本申请的另一实施例中，如图6所示，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，可以包括以下步骤：
步骤S601、确定所述真实相机坐标系的原点与预设平面之间的垂直向量。
在本实施例中，基于该预设平面，可以确定真实相机与预设平面之间的垂直距离，也即，真实相机坐标系的原点至预设平面的距离。
在具体的示例的运算中，可以将该垂直距离视为描述真实相机的光心至该预设平面的垂直向量。
步骤S602、利用所述垂直向量、所述相机内参、所述拍摄高度、所述第二相机外参构建投影变换矩阵。
在本实施例中，基于上述确定的垂直向量、相机内参、拍摄高度，可以构建如下所示的投影变换矩阵：
Figure BDA0003960062620000131
其中，H表示投影变换矩阵，K表示相机内参，R2表示第二旋转矩阵，t2表示第二平移矩阵，T表示对矩阵的转置，N表示垂直向量，d表示拍摄高度。
步骤S603、根据所述投影变换矩阵确定所述投影变换关系。
在本实施例中，可以利用上述确定的投影变换矩阵，来具体量化由真实相机向虚拟相机映射时的计算关系，也即投影变换关系。
可以看出，投影变换考虑的就是平面之间的投影，通过选取远处的某一垂直于地面的平面，可以直接影响到真实相机图像中，产生畸变的部分，选取垂直于地面的平面可以使真实世界中下垂直于地面的物体，在进行投影变换后的图像中也呈现出垂直于地面的效果，与人类的视觉习惯相符。
可见，本申请的实施例的消除图像畸变的方法，在真实相机拍摄时，可以基于标定的多个预设点和标定坐标系，可以建立真实相机坐标系与标定坐标系之间的第一位姿关系，通过该第一位姿关系，可以确定真实相机在标定坐标系中的拍摄高度；同时，基于多个预设点和设置的虚拟相机，可以建立真实相机坐标系与虚拟相机坐标系之间的第二位姿关系；基于此，通过结合第二位姿关系和拍摄高度，可以确定出真实相机与虚拟相机之间的投影变换关系，通过利用该投影变换关系，可以将真实相机所拍摄的真实相机图像映射至虚拟相机下，来得到消除畸变的图像。
在具体的图像示例中，图7示出了广角鱼眼相机所拍摄的，未经处理的原始图像，可以看出，在未经任何处理时，原始图像中所呈现的物体带有巨大的畸变。
进一步地，图8示出了消除广角鱼眼相机本身的相机畸变之后的图像，可以看出，在未消除透视畸变之前，图像中的物体，尤其是远处的平面，仍带有巨大的透视畸变，以至于应该垂直于地面的墙体，产生歪斜的效果，令人在观察图像时，对实际环境产生误解。
进一步地，图9示出了通过实施本申请中消除图像畸变的方法之后，所得到的效果图像，可以看出，在基于图8的基础上，在消除透视畸变之后，图像中垂直于地面的平面，尤其是远处的墙体，呈现符合人类视觉的效果，还原了真实的拍摄环境。
需要说明的是，本申请的实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请的实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种消除图像畸变的装置。
参考图10，所述消除图像畸变的装置，包括：第一位姿关系确定模块1001、拍摄高度确定模块1002、第二位姿关系确定模块1003和投影变换模块1004；
其中，所述第一位姿关系确定模块1001，被配置为，在构建的标定坐标系中标定出多个预设点，利用所述多个预设点各自在预置的真实相机图像中的像素坐标，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系；
所述拍摄高度确定模块1002，被配置为，根据所述第一位姿关系，确定所述真实相机图像的拍摄高度；
所述第二位姿关系确定模块1003，被配置为，在预置的虚拟相机坐标系中标定出所述多个预设点，利用所述多个预设点各自的所述像素坐标，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系；
所述投影变换模块1004，被配置为，根据所述第二位姿关系，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现。
作为一个可选的实施例，所述第一位姿关系确定模块1001，具体被配置为：
设置所述多个预设点；
利用任一预设点为原点，构建所述标定坐标系；
在所述标定坐标系中确定所述多个预设点各自的标定坐标。
进一步地，利用预置的相机内参，构建关于所述真实相机坐标系和所述标定坐标系之间的第一透视投影关系；
根据所述第一透视投影关系，利用多个像素坐标和多个标定坐标，建立关于第一相机外参的多个第一线性方程，并利用所述多个第一线性方程确定所述第一相机外参；
根据所述第一相机外参确定所述第一位姿关系。
作为一个可选的实施例，所述第二位姿关系确定模块1003，具体被配置为：
利用所述相机内参，构建关于所述真实相机坐标系和所述虚拟坐标系之间的第二透视投影关系；
根据所述第二透视投影关系，利用多个像素坐标和多个虚拟相机坐标，建立关于第二相机外参的多个第二线性方程，并利用所述多个第二线性方程确定所述第二相机外参；
根据所述第二相机外参确定所述第二位姿关系；
所述多个虚拟相机坐标，通过在所述虚拟相机坐标系中标定出所述多个预设点得到。
作为一个可选的实施例，所述投影变换模块1004，具体被配置为：
确定所述真实相机坐标系的原点与预设平面之间的垂直向量；
利用所述垂直向量、所述相机内参、所述拍摄高度、所述第二相机外参构建投影变换矩阵；
根据所述投影变换矩阵确定所述投影变换关系。
进一步地，确定所述真实相机图像中全部像素的像素坐标；
对所述真实相机坐标系下的所述全部像素的像素坐标，按照所述投影变换关系的比例转换至所述虚拟相机坐标系中；
并按照转换后的像素坐标呈现图像。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请的实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的消除图像畸变的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的消除图像畸变的方法。
图11示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备、动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本申请实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的装置用于实现前述任一实施例中相应的消除图像畸变的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种车辆，所述车辆包括消除图像畸变的装置和电子设备，所述电子设备执行如上任意一项所述的消除图像畸变的方法。
基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的消除图像畸变的方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的消除图像畸变的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请的实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请的实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请的实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请的实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请的实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本申请的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请的实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种消除图像畸变的方法，其特征在于，包括：
在构建的标定坐标系中标定出多个预设点，利用所述多个预设点各自在预置的真实相机图像中的像素坐标，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系；
根据所述第一位姿关系，确定所述真实相机图像的拍摄高度；
在预置的虚拟相机坐标系中标定出所述多个预设点，利用所述多个预设点各自的所述像素坐标，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系；
根据所述第二位姿关系，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现。
2.根据权利要求1所述的方法，其特征在于，所述在构建的标定坐标系中标定出多个预设点之前，包括：
设置所述多个预设点；
利用任一预设点为原点，构建所述标定坐标系；
在所述标定坐标系中确定所述多个预设点各自的标定坐标。
3.根据权利要求1所述的方法，其特征在于，所述确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系，包括：
利用预置的相机内参，构建关于所述真实相机坐标系和所述标定坐标系之间的第一透视投影关系；
根据所述第一透视投影关系，利用多个像素坐标和多个标定坐标，建立关于第一相机外参的多个第一线性方程，并利用所述多个第一线性方程确定所述第一相机外参；
根据所述第一相机外参确定所述第一位姿关系。
4.根据权利要求3所述的方法，其特征在于，所述确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系，包括：
利用所述相机内参，构建关于所述真实相机坐标系和所述虚拟坐标系之间的第二透视投影关系；
根据所述第二透视投影关系，利用多个像素坐标和多个虚拟相机坐标，建立关于第二相机外参的多个第二线性方程，并利用所述多个第二线性方程确定所述第二相机外参；
根据所述第二相机外参确定所述第二位姿关系；
所述多个虚拟相机坐标，通过在所述虚拟相机坐标系中标定出所述多个预设点得到。
5.根据权利要求4所述的方法，其特征在于，所述构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，包括：
确定所述真实相机坐标系的原点与预设平面之间的垂直向量；
利用所述垂直向量、所述相机内参、所述拍摄高度、所述第二相机外参构建投影变换矩阵；
根据所述投影变换矩阵确定所述投影变换关系。
6.根据权利要求1所述的方法，其特征在于，所述利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现，包括：
确定所述真实相机图像中全部像素的像素坐标；
对所述真实相机坐标系下的所述全部像素的像素坐标，按照所述投影变换关系的比例转换至所述虚拟相机坐标系中；
并按照转换后的像素坐标呈现图像。
7.一种消除图像畸变的装置，其特征在于，包括：第一位姿关系确定模块、拍摄高度确定模块、第二位姿关系确定模块和投影变换模块；
其中，所述第一位姿关系确定模块，被配置为，在构建的标定坐标系中标定出多个预设点，利用所述多个预设点各自在预置的真实相机图像中的像素坐标，确定预置的真实相机坐标系与所述标定坐标系之间的第一位姿关系；
所述拍摄高度确定模块，被配置为，根据所述第一位姿关系，确定所述真实相机图像的拍摄高度；
所述第二位姿关系确定模块，被配置为，在预置的虚拟相机坐标系中标定出所述多个预设点，利用所述多个预设点各自的所述像素坐标，确定所述真实相机坐标系与所述虚拟相机坐标系之间的第二位姿关系；
所述投影变换模块，被配置为，根据所述第二位姿关系，构建所述虚拟相机和所述真实相机之间在所述拍摄高度下的投影变换关系，利用所述投影变换关系将所述真实相机图像映射至所述虚拟相机坐标系中并呈现。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至6中任意一项所述的方法。
10.一种车辆，其特征在于，包括如权利要求7所述的消除图像畸变的装置或权利要求8所述的电子设备。
CN202211477879.XA 2022-11-23 2022-11-23 消除图像畸变的方法、电子设备、存储介质及车辆 Pending CN116128744A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211477879.XA CN116128744A (zh) 2022-11-23 2022-11-23 消除图像畸变的方法、电子设备、存储介质及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211477879.XA CN116128744A (zh) 2022-11-23 2022-11-23 消除图像畸变的方法、电子设备、存储介质及车辆

Publications (1)

Publication Number Publication Date
CN116128744A true CN116128744A (zh) 2023-05-16

Family

ID=86293764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211477879.XA Pending CN116128744A (zh) 2022-11-23 2022-11-23 消除图像畸变的方法、电子设备、存储介质及车辆

Country Status (1)

Country Link
CN (1) CN116128744A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014589A (zh) * 2023-09-27 2023-11-07 北京凯视达科技股份有限公司 投影方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117014589A (zh) * 2023-09-27 2023-11-07 北京凯视达科技股份有限公司 投影方法、装置、电子设备和存储介质
CN117014589B (zh) * 2023-09-27 2023-12-19 北京凯视达科技股份有限公司 投影方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
WO2018119889A1 (zh) 三维场景定位方法和装置
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN113240769B (zh) 空间链接关系识别方法及装置、存储介质
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
CN103914876A (zh) 用于在3d地图上显示视频的方法和设备
CN108344401A (zh) 定位方法、装置及计算机可读存储介质
CN113256742A (zh) 界面展示方法、装置、电子设备和计算机可读介质
CN116128744A (zh) 消除图像畸变的方法、电子设备、存储介质及车辆
CN111246189B (zh) 虚拟屏幕投影实现方法、装置及电子设备
CN111127661B (zh) 一种数据处理方法、装置及电子设备
CN113034582A (zh) 位姿优化装置及方法、电子设备及计算机可读存储介质
CN110378948B (zh) 3d模型重建方法、装置及电子设备
JP5748355B2 (ja) ３次元座標算出装置、３次元座標算出方法、及びプログラム
CN115164823B (zh) 一种摄像机陀螺仪信息的获取方法及设备
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
CN112634439B (zh) 一种3d信息展示方法及装置
CN114596407A (zh) 资源对象三维模型生成交互方法和装置，显示方法和装置
CN112652056B (zh) 一种3d信息展示方法及装置
CN114882194A (zh) 房间点云数据的处理方法和装置、电子设备和存储介质
CN110727489B (zh) 截屏图像的生成方法、电子设备及计算机可读存储介质
JP6967150B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
JP6073121B2 (ja) 立体表示装置及び立体表示システム
WO2015141214A1 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
CN115937299B (zh) 在视频中放置虚拟对象的方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination