CN111080519B - 汽车全景环视图像融合方法 - Google Patents

汽车全景环视图像融合方法 Download PDF

Info

Publication number
CN111080519B
CN111080519B CN201911193146.1A CN201911193146A CN111080519B CN 111080519 B CN111080519 B CN 111080519B CN 201911193146 A CN201911193146 A CN 201911193146A CN 111080519 B CN111080519 B CN 111080519B
Authority
CN
China
Prior art keywords
fusion
zone
image
pixel point
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911193146.1A
Other languages
English (en)
Other versions
CN111080519A (zh
Inventor
周卓赟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Citos Software Co ltd
Original Assignee
Changzhou Haipai Intelligent Technology Co ltd
Changzhou Citos Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Haipai Intelligent Technology Co ltd, Changzhou Citos Software Co ltd filed Critical Changzhou Haipai Intelligent Technology Co ltd
Priority to CN201911193146.1A priority Critical patent/CN111080519B/zh
Publication of CN111080519A publication Critical patent/CN111080519A/zh
Application granted granted Critical
Publication of CN111080519B publication Critical patent/CN111080519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种汽车全景环视图像融合方法，包括以下步骤：基于世界坐标系将环视模型划分出融合区，所述融合区包括右前融合区、左前融合区、左后融合区和右后融合区：A1、分别确定所述右前融合区、左前融合区、左后融合区和右后融合区的参考原点；建立对照表，所述对照表的查询条件为雷达编号以及对应雷达的数据，所述对照表的查询结果为至少一个融合区的修正融合角度和修正融合范围；这种汽车全景环视图像融合方法将环视模型分割出四个融合区，根据采集到的车辆数据来修正融合区的融合角度和融合范围，从而确定融合区中的像素点的融合系数，进而计算得到像素点的颜色，最终生成效果较好的全景环视影像，有效提升驾驶人员的驾驶体验和安全性。

Description

汽车全景环视图像融合方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种汽车全景环视图像融合方法。
背景技术
汽车全景环视影像系统主要用于辅助驾驶员进行泊车操作，环视影像中的画面能够有效减少驾驶员盲区，辅助感知车身周围的环境。根据环视系统实现原理，车身的左前、右前、左后、右后四个区域的画面需要融合两个摄像头的图像，而这四个区域的融合效果会影响整个环视系统的使用体验。
由于四个摄像头安装位置和角度差异比较大，因此对于模型上相同的顶点，不同位置的摄像头看到的内容都是不同的，导致实际物体在两个摄像头中会存在明显的差别，而且受运算复杂度限制，在汽车的全景环视应用中无法通过图像算法对图像进行配准和拉伸，所以最终呈现出的全景影像比较失真。
发明内容
本发明要解决的技术问题是：为了解决现有技术中汽车上的全景影像失真严重，本发明提供了一种汽车全景环视图像融合方法来解决上述问题。
本发明解决其技术问题所采用的技术方案是：一种汽车全景环视图像融合方法，包括以下步骤：
基于世界坐标系将环视模型划分出融合区，所述融合区包括右前融合区、左前融合区、左后融合区和右后融合区：
A1、分别确定所述右前融合区、左前融合区、左后融合区和右后融合区的参考原点；
A2、预设右前融合区的初始融合角度θ10和初始融合范围α10，左前融合区的初始融合角度θ20和初始融合范围α20，左后融合区的初始融合角度θ30和初始融合范围α30，右后融合区的初始融合角度θ40和初始融合范围α40；
建立对照表，所述对照表的查询条件为雷达编号以及对应雷达的数据，所述对照表的查询结果为至少一个融合区的修正融合角度和修正融合范围；
S1、获取雷达数据，根据雷达编号和雷达数据查找对照表，获得修正融合角度和修正融合范围；
根据修正融合角度和修正融合范围对相应融合区的融合角度和融合范围进行修正，得到右前融合区的修正融合角度θ11和修正融合范围α11，左前融合区的修正融合角度θ21和修正融合范围α21，左后融合区的修正融合角度θ31和修正融合范围α31，右后融合区的修正融合角度θ41和修正融合范围α41；
前置摄像机拍摄的前方影像的像素点的颜色为texture1；
左置摄像机拍摄的左方影像的像素点的颜色为texture2；
后置摄像机拍摄的后方影像的像素点的颜色为texture3；
右置摄像机拍摄的右方影像的像素点的颜色为texture4；
计算前方影像的像素点与右前融合区的参考原点的夹角β1前，计算右方影像的像素点与右前融合区的参考原点的夹角β1右，根据夹角β1前得到前方影像位于右前融合区中的像素点的颜色texture1，根据夹角β1右得到右方影像位于右前融合区中的像素点的颜色texture4，
得到右前融合区的像素点的融合系数为：
右前融合区中的像素点的颜色为：
color1＝(1-γ1)×texture1+γ1×texture4；
计算前方影像的像素点与左前融合区的参考原点的夹角β2前，计算左方影像的像素点与左前融合区的参考原点的夹角β2左，根据夹角β2前得到前方影像位于左前融合区中的像素点的颜色texture1，根据夹角β2左得到左方影像位于左前融合区中的像素点的颜色texture2，
得到左前融合区的像素点的融合系数为：
左前融合区中的像素点的颜色为：
color2＝(1-γ2)×texture2+γ2×texture1；
计算左方影像的像素点与左后融合区的参考原点的夹角β3左，计算后方影像的像素点与左后融合区的参考原点的夹角β3后，根据夹角β3左得到左方影像位于左后融合区中的像素点的颜色texture2，根据夹角β3后得到后方影像位于左后融合区中的像素点的颜色texture3，
得到左后融合区的像素点的融合系数为：
左后融合区中的像素点的颜色为：
color3＝(1-γ3)×texture3+γ3×texture2；
计算后方影像的像素点与右后融合区的参考原点的夹角β4后，计算右方影像的像素点与右后融合区的参考原点的夹角β4右，根据夹角β4后得到后方影像位于右后融合区中的像素点的颜色texture3，根据夹角β4右得到右方影像位于右后融合区中的像素点的颜色texture4，
得到右后融合区的像素点的融合系数为：
右后融合区中的像素点的颜色为：
color4＝(1-γ4)×texture4+γ4×texture3；
或者所述对照表的查找结果为至少一个融合区的修正融合系数；
S1、获取雷达数据，根据雷达编号和雷达数据查找对照表，获得修正融合系数，根据修正融合系数设置融合区中的像素点的颜色。
作为优选，还包括以下步骤：
为所述右前融合区、左前融合区、左后融合区和右后融合区设置存放布尔值的标志位F1、F2、F3和F4；
获取四个摄像机的外参并且根据下表设置标志位F1、F2、F3和F4的值：
在所述步骤S1之前判断标志位的值，如果标志位的值为true，则不允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正，如果标志位的值为flase，则允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正，修正后将修正的融合区的标志位的值修改为true。
作为优选，包括以下步骤：
根据下表修正四个融合区的融合角度和融合范围：
F1 F2 F3 F4 θ11 α11 θ21 α21 θ31 α31 θ41 α41
true true flase flase 89° 10° 101° 10°
flase true true flase 179° 10° 191° 10°
flase flase true true 269° 10° 281° 10°
true flase flase true 11° 10° 359° 10°
将标志位的值为true的两个融合区夹着的非融合区的影像设置为黑色。
作为优选，包括以下步骤：
设置阈值T，0＜T＜π/4
获取虚拟相机的heading分量为ωc，如果虚拟相机的视角内的融合区的标志位的值为flase则根据下表对融合区的融合角度进行修正：
作为优选，
所述阈值T＝π/9。
具体的，通过以下公式计算融合区内的像素点与参考原点的夹角：
其中Px和Py分别代表像素点的x坐标以及y坐标。
本发明的有益效果是，这种汽车全景环视图像融合方法将环视模型分割出四个融合区，根据采集到的车辆数据来修正融合区的融合角度和融合范围，从而确定融合区中的像素点的融合系数，进而计算得到像素点的颜色，最终生成效果较好的全景环视影像，有效提升驾驶人员的驾驶体验和安全性。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是一种环视模型的鸟瞰图。
图2是一种汽车全景环视图像融合方法的实施例的流程图。
图3是鸟瞰示意图和一个视角的三维视图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所
汽车的车头、左侧车体、后备箱门和右侧车体上分别安装了前置摄像机、左置摄像机、后置摄像机和右置摄像机，环视模型由这四个摄像机拍摄的影像构成，将车头方向作为y轴正方向，车右侧作为x轴正方向，车身正上方为z轴正方向建立世界坐标，世界坐标原点位置位于车身中间位置的地面上。如图1所示，前置摄像机、左置摄像机、后置摄像机和右置摄像机通过拍摄获得前方影像、左方影像、后方影像和右方影像，环视模型又这些影像融合构成。
如图2所示，是一种汽车全景环视图像融合方法的实施例，包括以下步骤：
基于世界坐标系将环视模型划分出融合区，融合区包括右前融合区、左前融合区、左后融合区和右后融合区，环视模型的其它部分为前非融合区、左非融合器、后非融合区以及由非融合区。相邻两个影像之间重叠的部分并非是最终确定的融合区，因此在不同的环境和车况下，融合区的融合参数应该针对性进行修正，才能最终获得较好的融合影像，此实例中融合参数包括融合角度和融合范围。
A1、一共有四个影像重叠区域，分别对应一个融合区，对于每个重叠区域，计算重叠区域中的像素点与世界坐标原点之间的距离，把距离最小的点作为该重叠区域对应融合区的参考原点，通过此方法分别确定右前融合区、左前融合区、左后融合区和右后融合区的参考原点；
A2、预设右前融合区的初始融合角度θ10和初始融合范围α10，左前融合区的初始融合角度θ20和初始融合范围α20，左后融合区的初始融合角度θ30和初始融合范围α30，右后融合区的初始融合角度θ40和初始融合范围α40；
进行实车测试，测试各种雷达数据的条件下，能够产生观测效果较好的融合影像的融合参数，然后构建对照表，对照表的查询条件为雷达编号以及对应雷达的数据，对照表的查询结果为至少一个融合区的修正融合角度和修正融合范围。在环视系统软件初始化阶段，将该表格加载到内存中。
S1、获取雷达数据，根据雷达编号和雷达数据查找对照表，获得修正融合角度和修正融合范围；
根据修正融合角度和修正融合范围对相应融合区的融合角度和融合范围进行修正，得到右前融合区的修正融合角度θ11和修正融合范围α11，左前融合区的修正融合角度θ21和修正融合范围α21，左后融合区的修正融合角度θ31和修正融合范围α31，右后融合区的修正融合角度θ41和修正融合范围α41；如果某个雷达没有数据，则融合参数使用初始值，例如左前、前侧和右前雷达没有数据，则θ11＝θ10，α11＝α10，θ21＝θ20，α21＝α20。
前置摄像机拍摄的前方影像的像素点的颜色为texture1；
左置摄像机拍摄的左方影像的像素点的颜色为texture2；
后置摄像机拍摄的后方影像的像素点的颜色为texture3；
右置摄像机拍摄的右方影像的像素点的颜色为texture4；
计算前方影像的像素点与右前融合区的参考原点的夹角β1前，计算右方影像的像素点与右前融合区的参考原点的夹角β1右，根据夹角β1前得到前方影像位于右前融合区中的像素点的颜色texture1，根据夹角β1右得到右方影像位于右前融合区中的像素点的颜色texture4，
得到右前融合区的像素点的融合系数为：
右前融合区中的像素点的颜色为：
color1＝(1-γ1)×texture1+γ1×texture4；
计算前方影像的像素点与左前融合区的参考原点的夹角β2前，计算左方影像的像素点与左前融合区的参考原点的夹角β2左，根据夹角β2前得到前方影像位于左前融合区中的像素点的颜色texture1，根据夹角β2左得到左方影像位于左前融合区中的像素点的颜色texture2，
得到左前融合区的像素点的融合系数为：
左前融合区中的像素点的颜色为：
color2＝(1-γ2)×texture2+γ2×texture1；
计算左方影像的像素点与左后融合区的参考原点的夹角β3左，计算后方影像的像素点与左后融合区的参考原点的夹角β3后，根据夹角β3左得到左方影像位于左后融合区中的像素点的颜色texture2，根据夹角β3后得到后方影像位于左后融合区中的像素点的颜色texture3，
得到左后融合区的像素点的融合系数为：
左后融合区中的像素点的颜色为：
color3＝(1-γ3)×texture3+γ3×texture2；
计算后方影像的像素点与右后融合区的参考原点的夹角β4后，计算右方影像的像素点与右后融合区的参考原点的夹角β4右，根据夹角β4后得到后方影像位于右后融合区中的像素点的颜色texture3，根据夹角β4右得到右方影像位于右后融合区中的像素点的颜色texture4，
得到右后融合区的像素点的融合系数为：
右后融合区中的像素点的颜色为：
color4＝(1-γ4)×texture4+γ1×texture3。
具体通过以下公式计算融合区内的像素点与参考原点的夹角：
其中Px和Py分别代表像素点的x坐标以及y坐标。
在另一些实施方式汇总，将上述计算得到的融合系数的技术结果直接作为对照表 的查找结果；那么步骤S1则变成S1、获取雷达数据，根据雷达编号和雷达数据查找对照表，获得修正融合系数，根据修正融合系数设置融合区中的像素点的颜色。
根据其它的一些实施方式，在修正融合参数前首先要考虑摄像机的状态，例如车门打开或者后备箱门打开都会导致摄像机错位或者被障碍遮蔽，所以为右前融合区、左前融合区、左后融合区和右后融合区设置存放布尔值的标志位F1、F2、F3和F4；
获取四个摄像机的外参并且根据下表设置标志位F1、F2、F3和F4的值：
在根据雷达数据修改融合参数之前先判断标志位的值，如果标志位的值为true，则不允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正，如果标志位的值为flase，则允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正，修正后将修正的融合区的标志位的值修改为true。
如果有某个摄像机出现错位或者被遮挡的情况，则根据下表修正四个融合区的融合角度和融合范围：
F1 F2 F3 F4 θ11 α11 θ21 α21 λ31 α31 θ41 α41
true true flase flase 89° 10° 101° 10°
flase true true flase 179° 10° 191° 10°
flase flase true true 269° 10° 281° 10°
true flase flase true 11° 10° 359° 10°
将标志位的值为true的两个融合区夹着的非融合区的影像设置为黑色。例如左侧车门被打开，F2和F3的值应该为true，那么左方影像的非融合区的部分设置成黑色，此时左前融合区和左后融合区收到了影响，根据上表修改左前融合区和左后融合区的融合参数。
如图3所示，环视影像包括鸟瞰试图和三维视图，当用户根据需要选择四个方向中的一个视角的三维视图时则适配一个虚拟相机，
设置阈值T，0＜T＜π/4；此实例中阈值T＝π/9。
获取虚拟相机的heading分量为ωc，如果虚拟相机的视角内的融合区的标志位的值为flase则根据下表对融合区的融合角度进行修正：
其中，NA表示不需要修改配置，由于虚拟相机的视角不可能超过180°，因此不在视野范围的区域不需要进配置；为了避免融合区域中心出现在虚拟相机的正前方造成模糊现象，因此ωc在其它角度时也不需要修改融合参数。根据上表修改融合区域，能够尽可能让虚拟相机看到的画面来自同一个摄像头。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种汽车全景环视图像融合方法，其特征在于，包括以下步骤：
基于世界坐标系将环视模型划分出融合区，所述融合区包括右前融合区、左前融合区、左后融合区和右后融合区：
A1、分别确定所述右前融合区、左前融合区、左后融合区和右后融合区的参考原点；
A2、预设右前融合区的初始融合角度θ10和初始融合范围α10，左前融合区的初始融合角度θ20和初始融合范围α20，左后融合区的初始融合角度θ30和初始融合范围α30，右后融合区的初始融合角度θ40和初始融合范围α40；
建立对照表，所述对照表的查询条件为雷达编号以及对应雷达的数据，所述对照表的查询结果为至少一个融合区的修正融合角度和修正融合范围；
S1、获取雷达数据，根据雷达编号和雷达数据查找对照表，获得修正融合角度和修正融合范围；
根据修正融合角度和修正融合范围对相应融合区的融合角度和融合范围进行修正，得到右前融合区的修正融合角度θ11和修正融合范围α11，左前融合区的修正融合角度θ21和修正融合范围α21，左后融合区的修正融合角度θ31和修正融合范围α31，右后融合区的修正融合角度θ41和修正融合范围α41；
前置摄像机拍摄的前方影像的像素点的颜色为texture1；
左置摄像机拍摄的左方影像的像素点的颜色为texture2；
后置摄像机拍摄的后方影像的像素点的颜色为texture3；
右置摄像机拍摄的右方影像的像素点的颜色为texture4；
计算前方影像的像素点与右前融合区的参考原点的夹角β1前，计算右方影像的像素点与右前融合区的参考原点的夹角β1右，根据夹角β1前得到前方影像位于右前融合区中的像素点的颜色texture1，根据夹角β1右得到右方影像位于右前融合区中的像素点的颜色texture4，
得到右前融合区的像素点的融合系数为：
右前融合区中的像素点的颜色为：
color1＝(1-γ1)×texture1+γ1×texture4；
计算前方影像的像素点与左前融合区的参考原点的夹角β2前，计算左方影像的像素点与左前融合区的参考原点的夹角β2左，根据夹角β2前得到前方影像位于左前融合区中的像素点的颜色texture1，根据夹角β2左得到左方影像位于左前融合区中的像素点的颜色texture2，
得到左前融合区的像素点的融合系数为：
左前融合区中的像素点的颜色为：
color2＝(1-γ2)×texture2+γ2×texture1；
计算左方影像的像素点与左后融合区的参考原点的夹角β3左，计算后方影像的像素点与左后融合区的参考原点的夹角β3后，根据夹角β3左得到左方影像位于左后融合区中的像素点的颜色texture2，根据夹角β3后得到后方影像位于左后融合区中的像素点的颜色texture3，
得到左后融合区的像素点的融合系数为：
左后融合区中的像素点的颜色为：
color3＝(1-γ3)×texture3+γ3×texture2；
计算后方影像的像素点与右后融合区的参考原点的夹角β4后，计算右方影像的像素点与右后融合区的参考原点的夹角β4右，根据夹角β4后得到后方影像位于右后融合区中的像素点的颜色texture3，根据夹角β4右得到右方影像位于右后融合区中的像素点的颜色texture4，
得到右后融合区的像素点的融合系数为：
右后融合区中的像素点的颜色为：
color4＝(1-γ4)×texture4+γ4×texture3。
2.如权利要求1所述的汽车全景环视图像融合方法，其特征在于，还包括以下步骤：
为所述右前融合区、左前融合区、左后融合区和右后融合区设置存放布尔值的标志位F1、F2、F3和F4；
获取四个摄像机的外参并且根据下表设置标志位F1、F2、F3和F4的值：
在所述步骤S1之前判断标志位的值，如果标志位的值为true，则不允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正，如果标志位的值为flase，则允许根据雷达数据对相应的融合区的融合角度和融合范围进行修正，修正后将修正的融合区的标志位的值修改为true。
3.如权利要求2所述的汽车全景环视图像融合方法，其特征在于，包括以下步骤：
根据下表修正四个融合区的融合角度和融合范围：
F1 F2 F3 F4 θ11 α11 θ21 α21 λ31 α31 θ41 α41 true true flase flase 89° 10° 101° 10° flase true true flase 179° 10° 191° 10° flase flase true true 269° 10° 281° 10° true flase flase true 11° 10° 359° 10°
将标志位的值为true的两个融合区夹着的非融合区的影像设置为黑色。
4.如权利要求2所述的汽车全景环视图像融合方法，其特征在于，包括以下步骤：
设置阈值T，0<T<π/4
获取虚拟相机的heading分量为ωc，如果虚拟相机的视角内的融合区的标志位的值为flase则根据下表对融合区的融合角度进行修正：
5.如权利要求4所述的汽车全景环视图像融合方法，其特征在于：
所述阈值T＝π/9。
6.如权利要求1～5任一项所述的汽车全景环视图像融合方法，其特征在于：通过以下公式计算融合区内的像素点与参考原点的夹角：
其中Px和Py分别代表像素点的x坐标以及y坐标。
CN201911193146.1A 2019-11-28 2019-11-28 汽车全景环视图像融合方法 Active CN111080519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911193146.1A CN111080519B (zh) 2019-11-28 2019-11-28 汽车全景环视图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911193146.1A CN111080519B (zh) 2019-11-28 2019-11-28 汽车全景环视图像融合方法

Publications (2)

Publication Number Publication Date
CN111080519A CN111080519A (zh) 2020-04-28
CN111080519B true CN111080519B (zh) 2024-08-09

Family

ID=70312535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911193146.1A Active CN111080519B (zh) 2019-11-28 2019-11-28 汽车全景环视图像融合方法

Country Status (1)

Country Link
CN (1) CN111080519B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521817A (zh) * 2011-11-22 2012-06-27 广州致远电子有限公司 一种用于全景泊车系统的图像融合方法
CN109552315A (zh) * 2017-09-26 2019-04-02 纵目科技（上海）股份有限公司 全视野摄像头主机控制系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105430263A (zh) * 2015-11-24 2016-03-23 努比亚技术有限公司 长曝光全景图像拍摄装置和方法
WO2018213338A1 (en) * 2017-05-15 2018-11-22 Ouster, Inc. Augmenting panoramic lidar results with color
CN108364263B (zh) * 2018-02-05 2022-01-07 苏州沃科汽车科技有限公司 一种标清输入高清输出的车载图像处理方法
CN109085598A (zh) * 2018-08-13 2018-12-25 吉利汽车研究院（宁波）有限公司 用于车辆的障碍物探测系统
CN110348476A (zh) * 2019-05-30 2019-10-18 上海思致汽车工程技术有限公司 自动驾驶车辆传感器数据融合方法、装置、系统及车辆

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521817A (zh) * 2011-11-22 2012-06-27 广州致远电子有限公司 一种用于全景泊车系统的图像融合方法
CN109552315A (zh) * 2017-09-26 2019-04-02 纵目科技（上海）股份有限公司 全视野摄像头主机控制系统

Also Published As

Publication number Publication date
CN111080519A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN109741455B (zh) 一种车载立体全景显示方法、计算机可读存储介质及系统
CN109948398B (zh) 全景泊车的图像处理方法及全景泊车装置
CN103177439B (zh) 一种基于黑白格角点匹配的自动标定方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
KR20170077223A (ko) 자동차 카메라 시스템의 온라인 교정
KR20190047027A (ko) 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법
CN112489136B (zh) 标定方法、位置确定方法、装置、电子设备及存储介质
WO2014171100A1 (ja) 車両用画像処理装置
DE102015206477A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
CN110751598B (zh) 车辆铰接点坐标标定方法、装置、计算机设备和存储介质
CN113034616B (zh) 车辆环视系统的相机外参标定方法、系统及环视系统
DE102015209764A1 (de) Extrinsische Kalibrierung einer Bilderfassungseinrichtung eines Fahrzeugs
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
US20160121806A1 (en) Method for adjusting output video of rear camera for vehicles
CN105335927B (zh) 鱼眼图像处理方法、装置及车辆
CN111080519B (zh) 汽车全景环视图像融合方法
CN113610927B (zh) 一种avm摄像头参数标定方法、装置及电子设备
US10291846B2 (en) Method for producing an overall image of surroundings of a vehicle, and corresponding device
CN105323447A (zh) 多鱼眼图像处理方法、装置及车辆
JP4706896B2 (ja) 広角画像の補正方法及び車両の周辺監視システム
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
CN114493990A (zh) 车辆底盘区域图像生成方法、电子装置和存储介质
JP7162489B2 (ja) キャリブレーション装置及びキャリブレーション方法
JP4696825B2 (ja) 車両用死角映像表示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240912

Address after: 213000 333-1, 9-1 Taihu East Road, Xinbei District, Changzhou City, Jiangsu Province

Patentee after: CHANGZHOU CITOS SOFTWARE CO.,LTD.

Country or region after: China

Address before: 213000 333-1, 9-1 Taihu East Road, Xinbei District, Changzhou City, Jiangsu Province

Patentee before: CHANGZHOU CITOS SOFTWARE CO.,LTD.

Country or region before: China

Patentee before: Changzhou Haipai Intelligent Technology Co.,Ltd.

TR01 Transfer of patent right