CN104937634B - 用于生成环绕视图的方法和系统 - Google Patents

用于生成环绕视图的方法和系统 Download PDF

Info

Publication number
CN104937634B
CN104937634B CN201280077896.2A CN201280077896A CN104937634B CN 104937634 B CN104937634 B CN 104937634B CN 201280077896 A CN201280077896 A CN 201280077896A CN 104937634 B CN104937634 B CN 104937634B
Authority
CN
China
Prior art keywords
point
msub
height
mtr
mtd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280077896.2A
Other languages
English (en)
Other versions
CN104937634A (zh
Inventor
贺甲
诺曼·韦里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104937634A publication Critical patent/CN104937634A/zh
Application granted granted Critical
Publication of CN104937634B publication Critical patent/CN104937634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

提供用于生成环绕视图的方法和系统。所述方法可以包括：建立环绕表面；获得多个环境图像；和基于所述环绕表面上的点与所述图像上的像素之间的投影关系将所述图像投影到所述环绕表面上以生成环绕视图，其中所述投影关系可以随着所述环绕表面上的所述点的高度而变化。可以获得改善的投影效果。

Description

用于生成环绕视图的方法和系统
技术领域
本公开大体上涉及一种用于生成环绕视图的方法和系统。
背景技术
现今，在驾驶辅助系统中尤其是在停车辅助系统中，越来越广泛地使用3D环绕视图。当前，存在将显示车辆周围的景物的图像投影到模拟3D弯曲表面(环绕表面)上的解决方案。环绕表面可以被配置成具有预定形状。为了获得这些解决方案的信息，请参考美国专利公开第2012/0262580 A1号。然而，在这些解决方案中可能发生图像失真。因此，需要提供一种用于生成环绕视图的更稳健的方法和系统。
发明内容
根据本公开的一个实施方案，提供一种生成环绕视图的方法。所述方法可以包括：建立环绕表面；获得多个环境图像；和基于环绕表面上的点与图像上的像素之间的投影关系将图像投影到环绕表面上以生成环绕视图，其中投影关系可以随着环绕表面上的点的高度而变化。点的高度意指从点到环绕表面的底部表面或最低切平面的距离。
在一些实施方案中，可以基于方程式(3)获得多个图像中的一个与环绕表面之间的投影关系：
方程式(3)
其中Xw、Yw和Zw为环绕表面上的点在世界坐标系中的世界坐标，Xc、Yc和Zc为点在对应于图像的相机坐标系中的相机坐标，R代表从世界坐标系到相机坐标系的旋转矩阵，T代表从世界坐标系到相机坐标系的平移矩阵，且W为可以随着环绕表面上的点的高度而变化的加权因子。对应于图像的相机坐标系意指在捕捉图像时建立的相机坐标系。基于方程式(3)，可以将点的世界坐标变换成对应的相机坐标。然后，基于相机坐标和相机本征参数(诸如焦距)，可以在图像上识别对应于该点的像素。此后，可以将像素投影到该点上。
在一些实施方案中，当点的高度大于世界坐标系的原点的高度时加权因子W可以等于0，当点的高度不大于原点的高度时加权因子W可以大于0且小于1，且当点的高度为0时可以等于1。在一些实施方案中，当点的高度不大于世界坐标系的原点的高度时，加权因子W可以随着点的高度增加而减小。在一些实施方案中，可以基于方程式(4)计算加权因子W：
方程式(4)
其中H0代表世界坐标系的原点的高度且H1代表点的高度。因此，获得环绕视图中地平面和地平面附近的物体的显示效果可以得到改善。
根据本公开的一个实施方案，提供一种用于生成环绕视图的系统。所述系统可以包括处理装置，其被配置来：建立环绕表面；获得多个环境图像；和基于环绕表面上的点与图像上的像素之间的投影关系将图像投影到环绕表面上以生成环绕视图，其中投影关系可以随着环绕表面上的点的高度而变化。且所述系统可以包括用于显示环绕视图的显示装置。
在一些实施方案中，所述处理装置可以被配置来基于方程式(3)获得多个图像中的一个与环绕表面之间的投影关系：
方程式(3)
其中Xw、Yw和Zw为环绕表面上的点在世界坐标系中的世界坐标，Xc、Yc和Zc为点在对应于图像的相机坐标系中的相机坐标，R代表从世界坐标系到相机坐标系的旋转矩阵，T代表从世界坐标系到相机坐标系的平移矩阵，且W为可以随着环绕表面上的点的高度而变化的加权因子。
在一些实施方案中，当点的高度大于世界坐标系的原点的高度时加权因子W可以等于0，当点的高度不大于原点的高度时加权因子W可以大于0且小于1，且当点的高度为0时可以等于1。在一些实施方案中，当点的高度不大于世界坐标系的原点的高度时，加权因子W可以随着点的高度增加而减小。在一些实施方案中，可以基于方程式(4)计算加权因子W：
方程式(4)
其中H0代表世界坐标系的原点的高度且H1代表点的高度。
在一些实施方案中，所述系统可以包括用于捕捉环境图像的多个相机。
通过采用本公开的方法或系统，失真可以被校正到某个程度，尤其是地平面的环绕视图的失真。
附图简述
从结合附图进行的下文描述和所附权利要求书，本公开的前述特征和其它特征将变得完全明显。应了解，这些图式仅描绘根据本公开的若干实施方案且因此，不应被视为限制其范围，将通过附图的使用描述本公开的额外细节和详情。
图1示出根据本公开的一个实施方案的用于生成环绕视图的方法100的示意流程图；
图2示意地示出环绕表面的实例；
图3示意地示出沿图2中所示的车辆和环绕表面的X-Y平面的横截面视图；
图4A到图4D示出四个环境图像，分别显示车辆的前、左、后和右视场；
图5示出通过基于现存解决方案将图4A到图4D投影到环绕表面上而生成的环绕视图；
图6示意地示出沿车辆和环绕表面的X-Z平面的横截面视图；
图7示出根据本公开的一个实施方案的通过基于投影关系投影图4A到图4D而生成的环绕视图；和
图8示意地示出根据本公开的一个实施方案的基于投影关系的在图6中的点A的投影。
详述
在下文详述中，参考形成其部分的附图。在附图中，除非上下文另有规定，否则相似符号通常标识相似组件。在详述、附图和权利要求书中所述的说明性实施方案并非意在限制性。在不背离本文所提出的主题的精神或范围的情况下，可以利用其它实施方案，且可以作出其它变化。将容易了解，可按各种不同配置排列、替换、组合和设计如在本文中大体上所述且在图中所示的本公开的方面，所有这些被明确预期且构成本公开的部分。
图1示出根据本公开的一个实施方案的用于生成环绕视图的方法100的示意流程图。
在S101中，建立环绕表面。
环绕表面意指具有特定形状的模拟3D表面，其至少可以包围物体。物体可以为车辆、检测器等。
图2示意地示出包围车辆300的环绕表面200的实例。在一些实施方案中，环绕表面200可以建有碗状形状以模拟人的视场。此外，环绕表面200可以从其底部包围车辆300。因此，不仅车辆300周围的景物，而且车辆300附近的在地平面400上的障碍物也可以投影到环绕表面200上。
应注意，可以基于实际需求设置环绕表面200的特定配置，例如，大小、位置、形状等。在一些实施方案中，环绕表面200可以具有底部平面201，其为与地平面400一致的环绕表面200的最低切平面。
环绕表面200可以建立在世界坐标系中。因此，环绕表面200上的点可以具有世界坐标，其可以用于投影计算。在一些实施方案中，原点可以为车辆中心，或设置在车辆中的驾驶员位置处。可以平行于地平面设置世界坐标系的一个轴。图2示出世界坐标系的一个实例。世界坐标系被示出具有平行于地平面400的X轴、垂直于地平面400的Z轴以及垂直于X和Z轴的Y轴。世界坐标系的这种配置(不限于此)在本领域中是熟知的且本文将不作详细描述。
在S103中，获得多个环境图像。
“环境图像”意指图像可以包括包围车辆300的景物。在一些实施方案中，可以由按不同方向定向的多个相机捕捉图像。在一些实施方案中，相机可以为具有约190°视场的鱼眼相机，因此，需要至少两个鱼眼相机，优选地但不限于，四个鱼眼相机。
在S105中，基于环绕表面200上的点与图像上的像素之间的投影关系将图像投影到环绕表面200上，其中投影关系可以随着环绕表面200上的点的高度而变化。
图3示意地示出沿图2中所示的车辆300和环绕表面200的X-Y平面的横截面视图。如图3中所示，在一些实施方案中，四个相机310、330、350和370可以安装在车辆300上的不同位置处，分别面向前、左、后和右方向。由四个相机捕捉的四个图像可以投影到环绕表面200上。应注意，四个图像可以分别投影到环绕表面的对应部分上。对应部分意指在相机视场内的环绕表面200上的部分。然而，视场可以重叠，从而生成“过渡区”。在两个相机的过渡区内的环绕表面200可以分类成任一个相机的对应部分，或根据某个比率来划分，其可以不在下文作描述。
图4A到图4D示出四个环境图像，分别显示车辆300的前、左、后和右视场。
在一些实施方案中，非本征变换和本征变换可以用于建立环绕表面200上的点与图像上的像素之间的投影关系。
在现存解决方案中，可以基于方程式(1)执行非本征变换：
方程式(1)
其中Xw、Yw和Zw为环绕表面200上的点的世界坐标，Xc、Yc和Zc为点在对应相机坐标系中的相机坐标，R代表从世界坐标系到相机坐标系的旋转矩阵，且T代表从世界坐标系到相机坐标系的平移矩阵。
可以基于相机的光学中心的位置和其光学轴的方向建立相机坐标系。相机坐标系的旋转矩阵、平移矩阵和配置在本领域中是熟知的，且下文将不作详细描述。
因此，点的世界坐标可以变换成相机坐标。此后，在本征变换中，相机坐标可以变换成图像坐标，其可以与相机的本征参数(诸如焦距)相关。因此，对应于某点的像素可以在图像中得以识别且接着投影到该点上。
然而，基于非本征变换和本征变换，可能发生失真。图5示出通过基于现存解决方案将图4A到图4D投影到环绕表面200上而生成的环绕视图。可见，一些区域投影效果理想，但一些区域扭曲。这是因为平移矩阵T在图像上的不同区域中影响不同，但图像上的像素基于相同投影关系投影到环绕表面200上。
具体来说，将参考图6示出平移矩阵T的影响。图6示意地示出沿车辆300和环绕表面200的X-Z平面的横截面视图。参考图6，为了方便起见，前置相机310可以设置在X轴上的某个位置处，可以平行于X轴设置前置相机310的光学轴，且由前置相机310捕捉的图像可以仅包括地平面400。因此，旋转矩阵和平移矩阵可以为：
R＝1
方程式(2)
其中N代表从世界坐标系的原点到前置相机310的光学中心(即，相机坐标系的原点)的距离。
环绕视图被提议来模拟人的视场。理想地，地平面400上的点B应投影到环绕表面200上的点A上，点A和点B与世界坐标系的原点在相同的直线上。因此，前置相机310的图像311上的像素C应投影到点A上。然而，基于常规方程式(1)，对应于地平面400上的点B’的在图像311上的像素C’可以投影到点A上，像素C’、点A和点B’与相机的光学中心在相同的直线上。
对于环绕表面200的最低切平面上的点D，理想地，地平面400上的点E应示出在点D上。因为通常最低切平面可以被配置成与地平面400一致，所以点D和点E位于相同位置处。因此，对应于点E的在图像上的像素F可以基于方程式(1)投影到点D上。
鉴于上述内容，在车辆300附近的实际区域中，与环绕表面200的最低切平面一致的地面区域可以正确地投影在环绕视图中。然而，较远的景物可能扭曲。
因此，投影关系需要调整。在一些实施方案中，投影关系可以随着环绕表面200上的点的高度而变化。所述高度可以从环绕表面200的底部表面开始计算，或者，当所述环绕表面不具备底部表面时，从所述环绕表面的最低切平面开始计算。
在一些实施方案中，可以基于方程式(3)计算投影关系：
方程式(3)
其中可以随着环绕表面200上的点的高度而变化的加权因子W引入到方程式(3)中以调整投影关系。
通常，在环绕表面200上的较高区域上，可以示出远离车辆300的景物。且，平移矩阵T对较远景物具有较小影响。因此，在一些实施方案中，加权因子W可以随着环绕表面200上的点的高度增加而减小。
具体来说，在一些实施方案中，当点的高度大于世界坐标系的原点的高度时，加权因子W可以等于0。通常，原点的高度可以被配置为与相机的安装高度相同。因此，这些点(高于世界坐标系的原点)可以代表高处的景物，例如，天空或远处建筑物。基本上，平移矩阵T对这些景物不具有影响。因此，可以确定加权因子W为零。
在一些实施方案中，当点的高度为0时，加权因子W可以等于1。这些点(高度为0)通常代表车辆300附近的地面区域。平移矩阵T对所述点具有最大影响。因此，可以确定加权因子W为1。
在一些实施方案中，当点的高度为不大于原点的高度时，加权因子W可以大于0且小于1。这些点可以代表车辆300周围的障碍物。在一些实施方案中，对于这些点，加权因子W可以为常数。在一些实施方案中，加权因子W可以随着点的高度增加而减小。在一些实施方案中，可以基于方程式(4)计算加权因子W：
方程式(4)
其中H0代表世界坐标系的原点的高度且H1代表环绕表面200上的点的高度。因此，对于高于环绕表面200的底部表面但低于世界坐标系的原点的这些点，可以基于方程式(5)获得投影关系：
方程式(5)
通过采用上述方法，可以减少失真，尤其是地平面400和车辆300附近的障碍物的失真。图7示出通过基于上述调整的投影关系投影图4A到图4D而生成的环绕视图。
请参考图8，提供方程式(4)的推导过程
图8示意地示出在图6中的点A基于调整过的投影关系的投影位置。参考图8，在基于方程式(3)从世界坐标变换到相机坐标之后，如果点A的对应相机坐标可以表示为虚拟点A’，且虚拟点A’位于相机的光学中心和地平面400上的点B所连接的直线上，那么在图像上的像素C(像素C对应于地平面400上的点B)就可以理想地投影到环绕表面200上的点A上。
假设点A因为基于方程式(3)的变换结果而沿X轴平移距离M到虚拟点A’，那么将点A的世界坐标、点A’的相机坐标、旋转矩阵和平移矩阵代入方程式(3)中，从而获得方程式(6)。
方程式(6)
用基于图8中的线的几何关系获得的约束方程式(7)对方程式(6)求解，
方程式(7)
可以计算方程式(4)。
方程式(4)
根据本公开的一个实施方案，提供一种用于生成环绕视图的系统。所述系统可以包括：多个相机，其被调适来捕捉环境图像；处理装置，其被配置来进行方法100的S101到S105以生成环绕视图；和显示装置，其被调适来显示环绕视图。所述系统可以安装在车辆300、检测器等上。
系统方面的硬件实施方式与软件实施方式之间存在极小区别；硬件或软件的使用通常为表示成本相对效率权衡的设计选择。例如，如果实施者确定速度和精度最重要，那么实施者可以选择以硬件和/或固件为主的车辆300；如果灵活性最重要，那么实施者可以选择以软件为主的实施方式；或，又或者，实施者可以选择硬件、软件和/或固件的某个组合。
虽然本文中已公开各种方面和实施方案，但其它方面和实施方案将对本领域的技术人员明显。本文中所公开的各种方面和实施方案用于说明目的且并非意在限制性，其中由下文权利要求书指示真实范围和精神。

Claims (14)

1.一种用于生成环绕视图的方法，其包括：
建立环绕表面；
获得多个环境图像；和
基于所述环绕表面上的点与所述图像上的像素之间的投影关系将所述图像投影到所述环绕表面上以生成环绕视图，其中所述投影关系随着所述环绕表面上的所述点的高度而变化，所述投影关系包括：从所述环绕表面上的点所在的世界坐标系到所述图像所在的相机坐标系的平移矩阵、以及作用于所述平移矩阵的加权因子，所述加权因子随着所述环绕表面上的点的高度而变化。
2.根据权利要求1所述的方法，其中基于以下方程式获得所述多个图像中的一个与所述环绕表面上的点之间的所述投影关系：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>c</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>R</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mi>W</mi> <mi>T</mi> </mrow>
其中Xw、Yw和Zw为所述环绕表面上的点在世界坐标系中的世界坐标，Xc、Yc和Zc为所述点在对应于所述图像的相机坐标系中的相机坐标，R代表从所述世界坐标系到所述相机坐标系的旋转矩阵，T代表从所述世界坐标系到所述相机坐标系的平移矩阵，且W为随着所述环绕表面上的所述点的所述高度而变化的加权因子。
3.根据权利要求2所述的方法，其中当所述点的所述高度等于0时，所述加权因子W等于1。
4.根据权利要求2所述的方法，其中当所述点的所述高度大于所述世界坐标系的原点的高度时，所述加权因子W等于0。
5.根据权利要求2所述的方法，其中当所述点的所述高度不大于所述世界坐标系的原点的高度时，所述加权因子W大于0且小于1。
6.根据权利要求5所述的方法，其中当所述点的所述高度不大于所述世界坐标系的原点的高度时，所述加权因子W随着所述点的所述高度增加而减小。
7.根据权利要求6所述的方法，其中当所述点的所述高度不大于所述世界坐标系的原点的高度时，所述加权因子W基于以下方程式而变化：
<mrow> <mi>W</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>H</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> </mrow> <msub> <mi>H</mi> <mn>0</mn> </msub> </mfrac> </mrow>
其中H0代表所述世界坐标系的所述原点的所述高度且H1代表所述点的所述高度。
8.一种用于生成环绕视图的系统，其包括：
处理装置，其被配置来：
建立环绕表面，
获得多个环境图像，和
基于所述环绕表面上的点与所述图像上的像素之间的投影关系将所述图像投影到所述环绕表面上以生成环绕视图，其中所述投影关系随着所述环绕视图上的所述点的高度而变化，所述投影关系包括：从所述环绕表面上的点所在的世界坐标系到所述图像所在的相机坐标系的平移矩阵、以及作用于所述平移矩阵的加权因子，所述加权因子随着所述环绕表面上的点的高度而变化；和
显示装置，其用于显示所述环绕视图。
9.根据权利要求8所述的系统，其中基于以下方程式获得所述多个图像中的一个与所述环绕表面之间的所述投影关系：
<mrow> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>c</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>c</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mi>R</mi> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>X</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Y</mi> <mi>w</mi> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>Z</mi> <mi>w</mi> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>+</mo> <mi>W</mi> <mi>T</mi> </mrow>
其中Xw、Yw和Zw为所述环绕表面上的点在世界坐标系中的世界坐标，Xc、Yc和Zc为所述点在对应于所述图像的相机坐标系中的相机坐标，R代表从所述世界坐标系到所述相机坐标系的旋转矩阵，T代表从所述世界坐标系到所述相机坐标系的平移矩阵，且W为随着所述环绕表面上的所述点的所述高度而变化的加权因子。
10.根据权利要求9所述的系统，其中当所述点的所述高度等于0时，所述加权因子W等于1。
11.根据权利要求9所述的系统，其中当所述点的所述高度大于所述世界坐标系的原点的高度时，所述加权因子W等于0。
12.根据权利要求9所述的系统，其中当所述点的所述高度不大于所述世界坐标系的原点的高度时，所述加权因子W大于0且小于1。
13.根据权利要求12所述的系统，其中当所述点的所述高度不大于所述世界坐标系的原点的高度时，所述加权因子W随着所述点的所述高度增加而减小。
14.根据权利要求13所述的系统，其中当所述点的所述高度不大于所述世界坐标系的原点的高度时，所述加权因子W基于以下方程式而变化：
<mrow> <mi>W</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>H</mi> <mn>0</mn> </msub> <mo>-</mo> <msub> <mi>H</mi> <mn>1</mn> </msub> </mrow> <msub> <mi>H</mi> <mn>0</mn> </msub> </mfrac> </mrow>
其中H0代表所述世界坐标系的所述原点的所述高度且H1代表所述点的所述高度。
CN201280077896.2A 2012-12-26 2012-12-26 用于生成环绕视图的方法和系统 Active CN104937634B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/087468 WO2014100985A1 (en) 2012-12-26 2012-12-26 Method and system for generating a surround view

Publications (2)

Publication Number Publication Date
CN104937634A CN104937634A (zh) 2015-09-23
CN104937634B true CN104937634B (zh) 2018-04-03

Family

ID=51019662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280077896.2A Active CN104937634B (zh) 2012-12-26 2012-12-26 用于生成环绕视图的方法和系统

Country Status (4)

Country Link
US (1) US10075634B2 (zh)
EP (1) EP2939211B1 (zh)
CN (1) CN104937634B (zh)
WO (1) WO2014100985A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101519209B1 (ko) * 2013-08-06 2015-05-11 현대자동차주식회사 Avm 영상 제공 장치 및 방법
US10210597B2 (en) * 2013-12-19 2019-02-19 Intel Corporation Bowl-shaped imaging system
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US20160301864A1 (en) * 2015-04-10 2016-10-13 Caterpillar Inc. Imaging processing system for generating a surround-view image
EP3206184A1 (en) 2016-02-11 2017-08-16 NXP USA, Inc. Apparatus, method and system for adjusting predefined calibration data for generating a perspective view
CN106856003B (zh) * 2016-12-31 2019-06-25 南京理工大学 轴类工件侧表面缺陷检测图像的展开校正方法
JP6958163B2 (ja) 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079151A (zh) * 2006-10-13 2007-11-28 浙江师范大学 一种基于序列静态图像的360°环视全景生成方法
CN102842127A (zh) * 2011-05-10 2012-12-26 哈曼贝克自动系统股份有限公司 环景显示系统摄像机仅对外参数的自动标定

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035479B2 (en) * 2002-02-22 2006-04-25 The Regents Of The University Of California Graded zooming
US7149367B2 (en) * 2002-06-28 2006-12-12 Microsoft Corp. User interface for a system and method for head size equalization in 360 degree panoramic images
JP3937414B2 (ja) * 2004-08-11 2007-06-27 本田技研工業株式会社 平面検出装置及び検出方法
JP2008187564A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP2008271308A (ja) * 2007-04-23 2008-11-06 Sanyo Electric Co Ltd 画像処理装置及び方法並びに車両
EP1990674A1 (en) 2007-05-09 2008-11-12 Harman Becker Automotive Systems GmbH Head-mounted display system
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
CN101354790B (zh) * 2008-09-05 2010-10-06 浙江大学 基于泰勒级数模型的全向相机n面透视全景图展开方法
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
CN102236790B (zh) * 2011-05-23 2013-06-05 杭州华三通信技术有限公司 一种图像处理方法和设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079151A (zh) * 2006-10-13 2007-11-28 浙江师范大学 一种基于序列静态图像的360°环视全景生成方法
CN102842127A (zh) * 2011-05-10 2012-12-26 哈曼贝克自动系统股份有限公司 环景显示系统摄像机仅对外参数的自动标定

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
数码相机系统标定的数学模型;蔡吉花 等;《数学的实践与认识》;20100731;第40卷(第14期);55-56页第3.1节 *

Also Published As

Publication number Publication date
US20150334301A1 (en) 2015-11-19
WO2014100985A1 (en) 2014-07-03
CN104937634A (zh) 2015-09-23
EP2939211B1 (en) 2018-02-14
EP2939211A1 (en) 2015-11-04
EP2939211A4 (en) 2016-11-09
US10075634B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
CN104937634B (zh) 用于生成环绕视图的方法和系统
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
US20220286654A1 (en) Projector Keystone Correction Method, Apparatus And System, And Readable Storage Medium
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
US10176595B2 (en) Image processing apparatus having automatic compensation function for image obtained from camera, and method thereof
US9241147B2 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
CN101000461B (zh) 一种鱼眼图像生成立方体全景的方法
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
CN102984453B (zh) 利用单摄像机实时生成半球全景视频图像的方法及系统
CN105243637B (zh) 一种基于三维激光点云进行全景影像拼接方法
CN107431796A (zh) 全景虚拟现实内容的全方位立体式捕捉和渲染
CN107749979A (zh) 一种投影机左右梯形校正方法
CN105303615A (zh) 一种图像二维拼接与三维表面重建的组合方法
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
AU2018249563B2 (en) System, method and software for producing virtual three dimensional images that appear to project forward of or above an electronic display
CN108629756A (zh) 一种Kinect v2深度图像无效点修复方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN107633489A (zh) 鱼眼镜头圆心重提取映射法畸变矫正方法
CN106296811A (zh) 一种基于单光场相机的目标物三维重构方法
CN111047709A (zh) 一种双目视觉裸眼3d图像生成方法
CN104217461B (zh) 一种基于深度图模拟实时凹凸效果的视差映射方法
CN107798702A (zh) 一种用于增强现实的实时图像叠加方法以及装置
JP2015506030A (ja) ビデオムービーを撮影するためのシステム
CN105959669A (zh) 一种基于重映射的集成成像微图像阵列快速生成方法

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant