CN107256535A - 全景环视图像的显示方法及装置 - Google Patents
全景环视图像的显示方法及装置 Download PDFInfo
- Publication number
- CN107256535A CN107256535A CN201710419476.2A CN201710419476A CN107256535A CN 107256535 A CN107256535 A CN 107256535A CN 201710419476 A CN201710419476 A CN 201710419476A CN 107256535 A CN107256535 A CN 107256535A
- Authority
- CN
- China
- Prior art keywords
- mtr
- mtd
- msup
- msub
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
本发明提供了一种全景环视图像的显示方法和装置，该方法包括：采集车身前后左右四面的四幅鱼眼视野图像；对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值；根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。该方法实现了对全景环视图像的显示，使驾驶员能够清楚的看到车辆周围道路的实际情况，避免造成刮擦现象或造成交通事故。
Description
技术领域
本发明实施例涉及车载环视领域，尤其涉及一种全景环视图像的显示方法和装置。
背景技术
随着人们生活水平的提高，交通业越来越发达，汽车已经成为人们出行不可或缺的交通工具。然而随着用地资源的日益紧张。道路、停车场等场所的停车位大小有限，对驾驶员的泊车技术要求越来越高。
现有技术中，驾驶员进行泊车时，通常通过后视镜、倒车雷达、倒车摄像头综合查看道路或停车场的情况进行泊车。这种泊车方式由于在汽车两边和四个角落存在视觉盲区，驾驶员无法看到汽车周围的停车位的实际情况，很容易导致刮擦现象或造成交通事故。
发明内容
本发明实施例提供一种全景环视图像的显示方法及装置，实现了对全景环视图像的显示，使驾驶员能够清楚的看到车辆周围的道路的实际情况，避免造成刮擦现象或造成交通事故。
本发明实施例提供一种全景环视图像的显示方法，包括：
采集车身前后左右四面的四幅鱼眼视野图像；
对所述四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；
根据所述鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定所述屏幕上每个像素点对应的像素值；
根据所述像素值在所述显示屏屏幕上显示世界坐标系下的全景环视图像。
本发明实施例提供一种全景环视图像的显示装置，包括：
采集模块，用于采集车身前后左右四面的四幅鱼眼视野图像；
融合拼接模块，用于对所述四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；
确定模块，用于根据所述鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定所述显示屏幕上每个像素点对应的像素值；
显示模块，用于根据所述像素值在所述显示屏幕上显示世界坐标系下的全景环视图像。
本发明实施例提供一种全景环视图像的显示方法和装置，该方法包括：采集车身前后左右四面的四幅鱼眼视野图像；对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值；根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。该方法实现了对全景环视图像的显示，使驾驶员能够清楚的看到车辆周围道路的实际情况，避免造成刮擦现象或造成交通事故。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明全景环视图像的显示方法实施例一的流程图；
图2为本发明全景环视图像的显示方法实施例二的流程图；
图3为本发明全景环视图像的显示装置实施例一的结构示意图；
图4为本发明全景环视图像的显示装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明全景环视图像的显示方法实施例一的流程图，如图1所示，本实施例的执行主体为计算机，具体为计算机中的GPU处理器。则本实施例提供的全景环视图像的显示方法包括：
步骤101，采集车身前后左右四面的四幅鱼眼视野图像。
本实施例中，在车身的前后左右四侧分别安装鱼眼摄像头，每个鱼眼摄像头分别用于采集对应方位上的鱼眼视野图像。采集到的鱼眼视觉图像上的像素点坐标表示为(u,v)，在每个像素点都对应一个像素值，该像素值表示对应像素点的颜色。
步骤102，对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像。
本实施例中，由于鱼眼摄像头拍摄的鱼眼视觉图像有重叠部分，所以对四幅鱼眼视野图像的重叠部分进行融合和拼接处理，形成鱼眼全景环视图像。
其中，对四幅鱼眼视野图像的重叠部分进行融合处理时，可采用alpha图像融合方法进行融合处理。
本实施例中，在对四幅鱼眼视野图像的重叠部分进行融合拼接时，记录融合拼接部分的像素点坐标及像素点对应的像素值。
步骤103，根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定屏幕上每个像素点对应的像素值。
本实施例中，由于鱼眼摄像头的坐标系与世界坐标系也不同，所以鱼眼摄像头拍摄的鱼眼视野图像与普通的摄像头拍摄的视野图像不同，并且在鱼眼视野图像进行融合拼接后，形成的鱼眼全景环视图像与显示屏幕的大小也不同，所以需要确定鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，在确定鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系后，确定屏幕上每个像素点对应的像素值。
本实施例中，显示屏幕上的像素点为世界坐标系下的像素点。
本实施例中，可先确定显示屏幕上像素点与世界坐标系下的网格坐标数据的对应关系，再确定世界坐标系下的网格坐标数据与鱼眼全景环视图像像素点的对应关系，以达到确定显示屏幕上每个像素点与鱼眼全景环视图像像素点的对应关系的目的。
步骤104，根据像素值在显示屏屏幕上显示世界坐标系下的全景环视图像。
本实施例中，在将显示屏幕上的每个像素点以对应的鱼眼全景环视图像像素点的像素值进行显示，以显示世界坐标系下的全景环视图像。
本实施例中，在步骤101中，鱼眼摄像头采集的鱼眼视野图像是实时采集的，所以在显示屏幕上显示世界坐标系下的全景环视图像也是不断变化的。
本实施例提供的全景环视图像的显示方法，包括：采集车身前后左右四面的四幅鱼眼视野图像；对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值；根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。该方法实现了对全景环视图像的显示，使驾驶员能够清楚的看到车辆周围道路的实际情况，避免造成刮擦现象或造成交通事故。
图2为本发明全景环视图像的显示方法实施例二的流程图，如图2所示，本实施例的执行主体为计算机，具体为计算机中的GPU处理器。则本实施例提供的全景环视图像的显示方法包括：
步骤201，采集车身前后左右四面的四幅鱼眼视野图像。
本实施例中，在通过车身的前后左右四侧的鱼眼摄像头采集车身前后左右四面的四幅鱼眼视野图像之前，准备帧缓存区域，以存储采集到的四幅鱼眼视野图像。
本实施例中，在采集车身前后左右四面的四幅鱼眼视野图像后，对图像进行进一步处理，如抗抖动处理等，以使后续进行融合拼接的鱼眼全景环视图像更准确。
步骤202，对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像。
本实施例中，可采用alpha图像融合方法进行融合处理。
形成的鱼眼全景环视图像所展示的场景的大小，在长度上可以为：车身长度尺寸+车身前方距离景物的距离+车身后方距离景物的距离，宽度上可以为：车身宽度尺寸+车身左方距离景物的距离+车身右方距离景物的距离。
在形成的鱼眼全景环视图像中，鱼眼全景环视图像的像素点坐标表示为(u,v)，在每个像素点都对应一个像素值，该像素值表示对应像素点的颜色，如可采用0-255中的某个值表示像素点的颜色。
本实施例中，对鱼眼全景环视图像中每个像素点所属的鱼眼视觉图像进行记录，以便在后续根据鱼眼摄像头成像模型确定有效网格坐标数据对应的有效鱼眼全景环视图像像素点时，找到对应的鱼眼摄像头成像模型。
步骤203，获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离。
本实施例中，获取的车身前后左右方向距离景物的距离可以为鱼眼摄像头所能拍摄到的车身前后左右方向距离最远景物的距离，也可以为车身前后左右方向距离景物的预设距离，本实施例中不做限定。
本实施例中，获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离后，车周围实际场景的长度为：车身长度尺寸+车身前方距离景物的距离+车身后方距离景物的距离，车周围实际场景的宽度为：车身宽度尺寸+车身左方距离景物的距离+车身右方距离景物的距离。
本实施例中，车周围实际场景的大小与鱼眼全景环视图像所展示场景的大小相同。
步骤204，根据车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，按照预设采集间隔，生成在世界坐标系下的所有网格坐标数据。
本实施例中，根据车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离确定车周围实际场景的大小，如车周围实际场景的大小为6m*6m，采样间隔预先设定，如可以为5cm，也可以为其他数值，本实施例中不做限定。
本实施例中，在车周围实际场景中按照预设采样间隔进行采样，生成在世界坐标系下的所有网格坐标数据。如在上述举例中，车周围实际场景的大小为6m*6m，采样间隔为5cm，则生成的世界坐标系下的所有网格坐标数据有120*120个坐标点。
本实施例中，可在执行完步骤201-步骤202后执行步骤203-步骤204，也可在执行步骤203-步骤204后执行步骤201-步骤202，本实施例中不做限定。
步骤205，根据投影矩阵确定显示屏幕上每个像素点对应的有效网格坐标数据。
本实施例中，可将世界坐标系下的所有网格坐标数据X,Y,Z三个方向上都映射到[-1，1]中。由于本实施例中的世界坐标系下的所有网格坐标数据在Y方向上的坐标数据都为零，所以在将世界坐标系下的所有网格坐标数据X,Y,Z三个方向上都映射到[-1，1]中后，进行透视除法，生成平面图，然后根据显示屏幕的大小和网格坐标数据所包含的车周围实际场景范围确定显示屏幕和网格坐标数据之间的投影矩阵。
本实施例中，在确定完显示屏幕和网格坐标数据之间的投影矩阵后，根据投影矩阵确定显示屏幕上每个像素点对应的有效网格坐标数据。其中，有效网格坐标数据为与显示屏幕上的像素点有对应关系的网格坐标数据。
步骤206，对鱼眼摄像头成像模型中的内参和外参进行标定。
本实施例中，对每个鱼眼摄像头的成像模型中的内参和外参进行标定。
具体地，鱼眼摄像头成像模型表示为如下大括号中所示：
其中，(Xw,Yw,Zw)表示世界坐标系下的一个有效网格坐标数据，(Xc,Yc,Zc)表示对应的鱼眼摄像头坐标系下的坐标，R表示旋转矩阵，T表示平移向量，(fx,fy)为焦距，(cx,cy)为鱼眼摄像头中心，k1.k2.k3,k4为径向畸变系数，(u,v)为所述鱼眼全景环视图像像素点的坐标。
在鱼眼摄像头成像模型中，径向畸变系数k1.k2.k3,k4，焦距(fx,fy)和鱼眼摄像头中心坐标(cx,cy)为内参，旋转矩阵R和平移向量T为外参。
本实施例中，有效网格坐标数据可以为二维坐标数据，在有效网格坐标数据为二维坐标数据时，Yw取值为零。
本实施例中，对鱼眼成像模型的内参和外参进行标定的方法与现有技术相同，在此不再一一赘述。
步骤207，根据鱼眼摄像头成像模型确定有效网格坐标数据对应的有效全景环视图像像素点。
本实施例中，以有效网格坐标数据为输入，输入到鱼眼摄像头成像模型中，输出的(u,v)，即为与有效网格坐标数据对应的鱼眼全景环视图像像素点坐标。
本实施例中，与有效网格坐标数据有对应关系的鱼眼全景环视图像像素点为有效鱼眼全景环视图像像素点。
步骤208，将有效鱼眼全景环视图像像素点对应的像素值赋值给显示屏幕上对应的像素点，根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。
本实施例中，由于预先存储了鱼眼全景环视图像每个像素点坐标及像素值。则在确定显示屏幕上每个像素点对应的鱼眼全景环视图像的像素点之后，将有效鱼眼全景环视图像像素点对应的像素值赋值给显示屏幕上对应的像素点，根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。
本实施例提供的全景环视图像的显示方法，获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，根据车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，按照预设采集间隔，生成在世界坐标系下的所有网格坐标数据，根据投影矩阵确定显示屏幕上每个像素点对应的有效网格坐标数据，并根据鱼眼摄像头成像模型确定有效网格坐标数据对应的有效全景环视图像像素点，将有效鱼眼全景环视图像像素点对应的像素值赋值给显示屏幕上对应的像素点，根据像素值在显示屏幕上显示世界坐标系下的全景环视图像，不仅使驾驶员能够清楚的看到车辆周围的停车位的实际情况，避免造成刮擦现象或造成交通事故，而且由于全景环视图像的拼接显示过程都是在GPU处理器的作用下完成的，避免了通过DSP芯片中进行全景环视图像拼接，再将拼接后的图像传输给GPU进行显示使拼接显示效率低的缺点，提高了全景环视图像的显示速度。
图3为本发明全景环视图像的显示装置实施例一的结构示意图，如图3所示，本实施例提供的全景环视图像的显示装置包括：采集模块301，融合拼接模块302，确定模块303和显示模块304。
其中，采集模块301，用于采集车身前后左右四面的四幅鱼眼视野图像。融合拼接模块302，用于对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像。确定模块303，用于根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值。显示模块304，用于根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。
本实施例提供的全景环视图像的显示装置可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4为本发明全景环视图像的显示装置实施例二的结构示意图；如图4所示，本实施例提供的全景环视图像的显示装置包括：采集模块401，融合拼接模块402，确定模块403，显示模块404，获取模块405，生成模块406,和标定模块407。
其中，采集模块401，用于采集车身前后左右四面的四幅鱼眼视野图像。融合拼接模块402，用于对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像。确定模块403，用于根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值。显示模块404，用于根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。
进一步地，确定模块403具体用于：根据投影矩阵确定显示屏幕上每个像素点对应的有效网格坐标数据；根据鱼眼摄像头成像模型确定有效网格坐标数据对应的有效鱼眼全景环视图像像素点；将有效鱼眼全景环视图像像素点对应的像素值赋值给显示屏幕上对应的像素点。
进一步地，获取模块405，用于获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离。生成模块406，用于根据车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，按照预设采样间隔，生成在世界坐标系下的所有网格坐标数据。
进一步地，本实施例提供的全景环视图像的显示装置中，鱼眼摄像头成像模型具体表示为：
其中，(Xw,Yw,Zw)表示世界坐标系下的一个有效网格坐标数据，(Xc,Yc,Zc)表示对应的鱼眼摄像头坐标系下的坐标数据，R表示旋转矩阵，T表示平移向量，(fx,fy)为焦距，(cx,cy)为鱼眼摄像头中心坐标，k1.k2.k3,k4为径向畸变系数，(u,v)为鱼眼全景环视图像像素点的坐标。
进一步地，标定模块407，用于对鱼眼摄像头成像模型中的内参和外参进行标定；其中，径向畸变k1.k2.k3,k4，焦距(fx,fy)和鱼眼摄像头中心坐标(cx,cy)为内参，旋转矩阵R和平移向量T为外参。
本实施例提供的全景环视图像的显示装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种全景环视图像的显示方法，其特征在于，包括：
采集车身前后左右四面的四幅鱼眼视野图像；
对所述四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；
根据所述鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定所述显示屏幕上每个像素点对应的像素值；
根据所述像素值在所述显示屏幕上显示世界坐标系下的全景环视图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定所述显示屏幕上每个像素点对应的像素值具体包括：
根据投影矩阵确定所述显示屏幕上每个像素点对应的有效网格坐标数据；
根据鱼眼摄像头成像模型确定所述有效网格坐标数据对应的有效鱼眼全景环视图像像素点；
将有效鱼眼全景环视图像像素点对应的像素值赋值给所述显示屏幕上对应的像素点。
3.根据权利要求2所述的方法，其特征在于，所述根据投影矩阵确定所述显示屏幕上每个像素点对应的有效网格坐标数据之前，还包括：
获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离；
根据所述车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，按照预设采样间隔，生成在世界坐标系下的所有网格坐标数据。
4.根据权利要求2或3所述的方法，其特征在于，所述鱼眼摄像头成像模型具体表示为：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
<mi>c</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
<mi>c</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
<mi>c</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>R</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
<mi>w</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
<mi>w</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
<mi>w</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mi>T</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>a</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>X</mi>
<mi>c</mi>
</mrow>
<mrow>
<mi>Z</mi>
<mi>c</mi>
</mrow>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>b</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>Y</mi>
<mi>c</mi>
</mrow>
<mrow>
<mi>Z</mi>
<mi>c</mi>
</mrow>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>r</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>a</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>b</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<mi>a</mi>
<mi> </mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mi>&theta;</mi>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msup>
<mi>&theta;</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mi>&theta;</mi>
<mn>4</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>3</mn>
</msub>
<msup>
<mi>&theta;</mi>
<mn>6</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>4</mn>
</msub>
<msup>
<mi>&theta;</mi>
<mn>8</mn>
</msup>
<mo>)</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
<mi>r</mi>
</mfrac>
<mi>a</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
<mi>r</mi>
</mfrac>
<mi>b</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>u</mi>
<mo>=</mo>
<mi>f</mi>
<mi>x</mi>
<mo>*</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<mi>c</mi>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
<mo>=</mo>
<mi>f</mi>
<mi>y</mi>
<mo>*</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<mi>c</mi>
<mi>y</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
其中，(Xw,Yw,Zw)表示世界坐标系下的一个有效网格坐标数据，(Xc,Yc,Zc)表示对应的鱼眼摄像头坐标系下的坐标数据，R表示旋转矩阵，T表示平移向量，(fx,fy)为焦距，(cx,cy)为鱼眼摄像头中心坐标，k1.k2.k3,k4为径向畸变系数，(u,v)为所述鱼眼全景环视图像像素点的坐标。
5.根据权利要求4所述的方法，其特征在于，所述根据鱼眼摄像头成像模型确定所述有效网格坐标数据对应的有效全景环视图像像素点之前，还包括：
对所述鱼眼摄像头成像模型中的内参和外参进行标定；
其中，所述径向畸变系数k1.k2.k3,k4，所述焦距(fx,fy)和所述鱼眼摄像头中心坐标(cx,cy)为内参，所述旋转矩阵R和所述平移向量T为外参。
6.一种全景环视图像的显示装置，其特征在于，包括：
采集模块，用于采集车身前后左右四面的四幅鱼眼视野图像；
融合拼接模块，用于对所述四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；
确定模块，用于根据所述鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定所述显示屏幕上每个像素点对应的像素值；
显示模块，用于根据所述像素值在所述显示屏幕上显示世界坐标系下的全景环视图像。
7.根据权利要求6所述的装置，其特征在于，所述确定模块具体用于：
根据投影矩阵确定所述显示屏幕上每个像素点对应的有效网格坐标数据；根据鱼眼摄像头成像模型确定所述有效网格坐标数据对应的有效鱼眼全景环视图像像素点；将有效鱼眼全景环视图像像素点对应的像素值赋值给所述显示屏幕上对应的像素点。
8.根据权利要求7所述的装置，其特征在于，还包括：
获取模块，用于获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离；
生成模块，用于根据所述车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，按照预设采样间隔，生成在世界坐标系下的所有网格坐标数据。
9.根据权利要求7或8所述的装置，其特征在于，所述鱼眼摄像头成像模型具体表示为：
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
<mi>c</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
<mi>c</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
<mi>c</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mi>R</mi>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>X</mi>
<mi>w</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Y</mi>
<mi>w</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>Z</mi>
<mi>w</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mi>T</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>a</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>X</mi>
<mi>c</mi>
</mrow>
<mrow>
<mi>Z</mi>
<mi>c</mi>
</mrow>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>b</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>Y</mi>
<mi>c</mi>
</mrow>
<mrow>
<mi>Z</mi>
<mi>c</mi>
</mrow>
</mfrac>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>r</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mi>a</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>b</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<mi>a</mi>
<mi> </mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>r</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
<mo>=</mo>
<mi>&theta;</mi>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>1</mn>
</msub>
<msup>
<mi>&theta;</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>2</mn>
</msub>
<msup>
<mi>&theta;</mi>
<mn>4</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>3</mn>
</msub>
<msup>
<mi>&theta;</mi>
<mn>6</mn>
</msup>
<mo>+</mo>
<msub>
<mi>k</mi>
<mn>4</mn>
</msub>
<msup>
<mi>&theta;</mi>
<mn>8</mn>
</msup>
<mo>)</mo>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
<mi>r</mi>
</mfrac>
<mi>a</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<msub>
<mi>&theta;</mi>
<mi>d</mi>
</msub>
<mi>r</mi>
</mfrac>
<mi>b</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>u</mi>
<mo>=</mo>
<mi>f</mi>
<mi>x</mi>
<mo>*</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<mi>c</mi>
<mi>x</mi>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>v</mi>
<mo>=</mo>
<mi>f</mi>
<mi>y</mi>
<mo>*</mo>
<msup>
<mi>y</mi>
<mo>&prime;</mo>
</msup>
<mo>+</mo>
<mi>c</mi>
<mi>y</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
2
其中，(Xw,Yw,Zw)表示世界坐标系下的一个有效网格坐标数据，(Xc,Yc,Zc)表示对应的鱼眼摄像头坐标系下的坐标数据，R表示旋转矩阵，T表示平移向量，(fx,fy)为焦距，(cx,cy)为鱼眼摄像头中心坐标，k1.k2.k3,k4为径向畸变系数，(u,v)为所述鱼眼全景环视图像像素点的坐标。
10.根据权利要求9所述的装置，其特征在于，还包括：
标定模块，用于对所述鱼眼摄像头成像模型中的内参和外参进行标定；
其中，所述径向畸变系数k1.k2.k3,k4，所述焦距(fx,fy)和所述鱼眼摄像头中心坐标(cx,cy)为内参，所述旋转矩阵R和所述平移向量T为外参。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710419476.2A CN107256535A (zh) | 2017-06-06 | 2017-06-06 | 全景环视图像的显示方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710419476.2A CN107256535A (zh) | 2017-06-06 | 2017-06-06 | 全景环视图像的显示方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107256535A true CN107256535A (zh) | 2017-10-17 |
Family
ID=60022951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710419476.2A Pending CN107256535A (zh) | 2017-06-06 | 2017-06-06 | 全景环视图像的显示方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107256535A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993488A (zh) * | 2017-12-13 | 2018-05-04 | 深圳市航盛电子股份有限公司 | 一种基于鱼眼相机的车位识别方法、系统及介质 |
| CN108154472A (zh) * | 2017-11-30 | 2018-06-12 | 惠州市德赛西威汽车电子股份有限公司 | 融合导航信息的泊车位视觉检测方法与系统 |
| CN109754363A (zh) * | 2018-12-26 | 2019-05-14 | 斑马网络技术有限公司 | 基于鱼眼相机的环视图像合成方法和装置 |
| CN110827197A (zh) * | 2019-10-08 | 2020-02-21 | 武汉极目智能技术有限公司 | 一种基于深度学习检测和识别车辆环视目标的方法和装置 |
| CN111028534A (zh) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
| CN111582080A (zh) * | 2020-04-24 | 2020-08-25 | 杭州鸿泉物联网技术股份有限公司 | 车辆360度环视监控实现方法及装置 |
| CN111754390A (zh) * | 2020-05-11 | 2020-10-09 | 上海欧菲智能车联科技有限公司 | 环视图显示方法、装置、计算机设备和存储介质 |
| CN112598212A (zh) * | 2020-11-09 | 2021-04-02 | 东风汽车集团有限公司 | 一种虚实结合的驾驶视野评价系统 |
| CN113888401A (zh) * | 2021-12-09 | 2022-01-04 | 深圳佑驾创新科技有限公司 | 图像转换方法及装置 |
| TWI814624B (zh) * | 2022-10-26 | 2023-09-01 | 財團法人資訊工業策進會 | 環景影像的地標識別標註系統及其方法 |
| CN117893719A (zh) * | 2024-03-15 | 2024-04-16 | 鹰驾科技（深圳）有限公司 | 一种自适应车体的环视拼接方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102629372A (zh) * | 2012-02-22 | 2012-08-08 | 北京工业大学 | 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法 |
| CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
| CN106127701A (zh) * | 2016-06-16 | 2016-11-16 | 深圳市凌云视迅科技有限责任公司 | 鱼眼镜头图像畸变校正方法及装置 |
| US20170127045A1 (en) * | 2015-10-28 | 2017-05-04 | Toppano Co., Ltd. | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof |
-
2017
- 2017-06-06 CN CN201710419476.2A patent/CN107256535A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102629372A (zh) * | 2012-02-22 | 2012-08-08 | 北京工业大学 | 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法 |
| CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
| US20170127045A1 (en) * | 2015-10-28 | 2017-05-04 | Toppano Co., Ltd. | Image calibrating, stitching and depth rebuilding method of a panoramic fish-eye camera and a system thereof |
| CN106127701A (zh) * | 2016-06-16 | 2016-11-16 | 深圳市凌云视迅科技有限责任公司 | 鱼眼镜头图像畸变校正方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 赵小松: "全景泊车辅助系统的算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154472A (zh) * | 2017-11-30 | 2018-06-12 | 惠州市德赛西威汽车电子股份有限公司 | 融合导航信息的泊车位视觉检测方法与系统 |
| CN108154472B (zh) * | 2017-11-30 | 2021-10-08 | 惠州市德赛西威汽车电子股份有限公司 | 融合导航信息的泊车位视觉检测方法与系统 |
| CN107993488A (zh) * | 2017-12-13 | 2018-05-04 | 深圳市航盛电子股份有限公司 | 一种基于鱼眼相机的车位识别方法、系统及介质 |
| CN107993488B (zh) * | 2017-12-13 | 2021-07-06 | 深圳市航盛电子股份有限公司 | 一种基于鱼眼相机的车位识别方法、系统及介质 |
| CN111028534A (zh) * | 2018-10-09 | 2020-04-17 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
| CN111028534B (zh) * | 2018-10-09 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 一种泊车位检测方法及装置 |
| CN109754363A (zh) * | 2018-12-26 | 2019-05-14 | 斑马网络技术有限公司 | 基于鱼眼相机的环视图像合成方法和装置 |
| CN109754363B (zh) * | 2018-12-26 | 2023-08-15 | 斑马网络技术有限公司 | 基于鱼眼相机的环视图像合成方法和装置 |
| CN110827197A (zh) * | 2019-10-08 | 2020-02-21 | 武汉极目智能技术有限公司 | 一种基于深度学习检测和识别车辆环视目标的方法和装置 |
| CN111582080A (zh) * | 2020-04-24 | 2020-08-25 | 杭州鸿泉物联网技术股份有限公司 | 车辆360度环视监控实现方法及装置 |
| CN111582080B (zh) * | 2020-04-24 | 2023-08-08 | 杭州鸿泉物联网技术股份有限公司 | 车辆360度环视监控实现方法及装置 |
| CN111754390A (zh) * | 2020-05-11 | 2020-10-09 | 上海欧菲智能车联科技有限公司 | 环视图显示方法、装置、计算机设备和存储介质 |
| CN112598212A (zh) * | 2020-11-09 | 2021-04-02 | 东风汽车集团有限公司 | 一种虚实结合的驾驶视野评价系统 |
| CN113888401A (zh) * | 2021-12-09 | 2022-01-04 | 深圳佑驾创新科技有限公司 | 图像转换方法及装置 |
| TWI814624B (zh) * | 2022-10-26 | 2023-09-01 | 財團法人資訊工業策進會 | 環景影像的地標識別標註系統及其方法 |
| CN117893719A (zh) * | 2024-03-15 | 2024-04-16 | 鹰驾科技（深圳）有限公司 | 一种自适应车体的环视拼接方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107256535A (zh) | 全景环视图像的显示方法及装置 | |
| CN111369439B (zh) | 基于环视的自动泊车车位识别全景环视图像实时拼接方法 | |
| CN108263283B (zh) | 多编组变角度车辆全景环视系统标定及拼接方法 | |
| CN105894549A (zh) | 一种全景辅助泊车系统、装置及全景图像显示方法 | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| CN111582080B (zh) | 车辆360度环视监控实现方法及装置 | |
| CN103366339B (zh) | 车载多广角摄像头图像合成处理装置及方法 | |
| CN112224132B (zh) | 一种车用全景环视障碍物预警方法 | |
| CN107945149B (zh) | 增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法 | |
| CN101931772B (zh) | 一种全景视频融合方法、系统及视频处理设备 | |
| CN103617606A (zh) | 用于辅助驾驶的车辆多视角全景生成方法 | |
| CN105354796B (zh) | 用于行车辅助的图像处理方法及系统 | |
| JP2017220923A (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| CN103763517A (zh) | 一种车载环视显示方法及系统 | |
| CN102629372A (zh) | 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法 | |
| CN106855999A (zh) | 汽车环视图像的生成方法及装置 | |
| JP2018531530A6 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| JP2018531530A (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| CN109087251B (zh) | 一种车载全景图像显示方法及系统 | |
| CN102298771A (zh) | 全景泊车辅助系统的鱼眼图像快速校正方法 | |
| CN103072528A (zh) | 一种车辆及其全景泊车方法、系统 | |
| CN102510475A (zh) | 基于红外标定的汽车全景成像装置及方法 | |
| CN108174089B (zh) | 基于双目摄像头的倒车影像拼接方法和装置 | |
| CN108171655A (zh) | 基于单目摄像头的倒车影像拼接方法和装置 | |
| CN107364393A (zh) | 车辆后视图像的显示方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171017 |