CN110139084B - 车辆周围影像处理方法及装置 - Google Patents

车辆周围影像处理方法及装置 Download PDF

Info

Publication number
CN110139084B
CN110139084B CN201910593719.3A CN201910593719A CN110139084B CN 110139084 B CN110139084 B CN 110139084B CN 201910593719 A CN201910593719 A CN 201910593719A CN 110139084 B CN110139084 B CN 110139084B
Authority
CN
China
Prior art keywords
image
vehicle
view
perspective
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910593719.3A
Other languages
English (en)
Other versions
CN110139084A (zh
Inventor
林冠廷
吴怡正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Via Technologies Inc
Original Assignee
Via Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Via Technologies Inc filed Critical Via Technologies Inc
Publication of CN110139084A publication Critical patent/CN110139084A/zh
Application granted granted Critical
Publication of CN110139084B publication Critical patent/CN110139084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0616—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
    • G01B11/0625—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating with measurement of absorption or reflection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/56—Measuring geometric parameters of semiconductor structures, e.g. profile, critical dimensions or trench depth

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种车辆周围影像处理方法及装置。此方法利用配置于车辆上的多个相机拍摄车辆周围多个透视视野的影像，并分别将这些透视视野的影像转换为俯视视野的影像，然后在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像，最后则将切割后的地面侧影像及墙面侧影像拼接，以产生车辆周围的合成影像。本发明能够获得可清楚显露车辆周围地面及景物的合成影像。

Description

车辆周围影像处理方法及装置
本申请是申请日为2016年7月7日、申请号为201610530598.4、发明名称为“车辆周围影像处理方法及装置”的申请的分案申请。
技术领域
本发明是有关于一种影像处理方法及装置，且特别是有关于一种车辆周围影像处理方法及装置。
背景技术
汽车360度环景显示系统主要是利用装载于车身前、后、左、右的四个相机撷取车辆周围四个不同方向上的影像，通过对影像进行转换、合成、拼贴等处理，而可获得以车辆上方俯视车身视野呈现的车辆周围实景影像。此360度环景影像可协助车辆驾驶在停车或行驶于狭小巷弄时，能够清楚地判断车身与停车格或其他障碍物之间的相对位置，以避免发生碰撞意外。
然而，目前的环景显示系统只能提供车辆四周(包含车身及周围景物或障碍物)一定距离内的俯视影像，但此俯视影像并不能反映出景物或障碍物的真实样貌，也与驾驶实际观看到的景像不符。据此，有必要提供一种影像处理方法，除了提供车辆的俯视影像外，也能够提供更清楚的周围景物影像，以协助驾驶精准地判断车身与周围景物的相对位置。
发明内容
本发明提供一种车辆周围影像处理方法及装置，通过将车辆周围影像及俯视影像适当地裁切为地面侧影像及墙面侧影像，并进行适当地合并及拼接，借此产生可清楚显露车辆周围景物的影像。
本发明的车辆周围影像处理方法适用于配置于车辆上的电子装置。此电子装置连接配置于车辆上的多个相机。此方法包括利用相机拍摄车辆周围多个透视视野(perspective view)的影像，并分别将这些透视视野的影像转换为俯视视野(top view)的影像。然后，在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像，最后则将切割后的地面侧影像及墙面侧影像拼接，产生车辆周围的合成影像。
本发明的车辆周围影像处理装置包括连接装置、储存装置及处理器。其中，连接装置用以连接配置于车辆上的多个相机。储存装置用以储存多个模块。处理器耦接连接装置及储存装置，用以载入并执行储存装置中的模块，这些模块包括影像拍摄模块、视野转换模块、影像切割模块及影像拼接模块。影像拍摄模块利用相机拍摄车辆周围多个透视视野的影像；视野转换模块分别将这些透视视野的影像转换为俯视视野的影像；影像切割模块是在转换后的俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像；影像拼接模块会将切割后的地面侧影像及墙面侧影像拼接，以产生车辆周围的合成影像。
基于上述，本发明的车辆周围影像处理方法及装置通过将以多个不同透视视野拍摄的车辆周围影像转换为俯视视野影像，并找出转换后影像在纵向上的连续空洞像素的区间，而据以裁切、合并及拼接影像，借此可获得经适当处理的可清楚显露车辆周围景物的合成影像。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依照本发明一实施例所绘示的车辆周围影像处理装置的方块图。
图2是依照本发明一实施例所绘示的车辆周围影像处理方法的流程图。
图3是本发明一实施例所绘示的拍摄车辆周围影像的范例。
图4是本发明一实施例所绘示的鱼眼校正的范例。
图5是依照本发明一实施例所绘示的车辆周围影像处理方法的范例。
图6是依照本发明一实施例所绘示的拼接不同视野影像以获得车辆周围合成影像的方法流程图。
图7是依照本发明一实施例所绘示的合并透视视野的墙面侧影像及俯视视野的地面侧影像的范例。
图8A及图8B是依照本发明一实施例所绘示的调整墙面侧影像的范例。
图9是依照本发明一实施例所绘示的调整墙面侧影像高度的范例。
图10是依照本发明一实施例所绘示的拼接合并影像的范例。
图11是依照本发明一实施例所绘示的建立三维模型的范例。
图12A至图12G是依照本发明一实施例所绘示的显示车辆周围影像的范例。
其中，附图中符号的简单说明如下：
10：电子装置
12：连接装置
14：储存装置
142：影像拍摄模块
144：视野转换模块
146：影像切割模块
148：影像拼接模块
16：处理器
30：车辆
32、34、36、38：相机
32a、34a、36a、38a：透视视野影像
42：鱼眼影像
44：去鱼眼影像
52、54、80、92、94、110：影像
56：一行像素
58：区间
72：俯视视野影像
74：透视视野影像
76、102、104、106、108：合并影像
722、742、762：墙面侧影像
724、744、764：地面侧影像
80a、80b：转换后影像
82、84、86、88：区域
92a、94a：调整后影像
100：合成影像
112：三维模型
122、124、126、128、130、132、134：车辆周围影像
S202～S208：本发明一实施例的车辆周围影像处理方法的方法步骤
S602～S606：本发明一实施例的拼接不同视野影像以获得车辆周围合成影像的方法步骤。
具体实施方式
针对车辆环景系统相机所拍摄的透视视野(perspective view)影像，本发明的装置除了将其转换为可辅助停车的俯视视野(top view)影像外，还利用转换后影像中的空洞分布，决定一个可切割出清晰地面侧影像的分割线。通过此分割线对转换前后的影像进行分割，并将俯视视野影像中的地面侧影像与透视视野影像中的墙面侧影像合并，可获得地面侧与墙面侧影像皆清晰的合并影像。最后，将各个视野的合并影像拼接，从而获得可清楚显露车辆周围地面及景物的合成影像。此外，通过将上述合成影像映射于车辆周围空间的三维模型，使得本发明的装置还可依使用者的观看需求或是车辆的动作方式，提供适于使用者当下观看的影像。
图1是依照本发明一实施例所绘示的车辆周围影像处理装置的方块图。本实施例的车辆周围影像处理装置是以图1中的电子装置10为例，其例如是车用计算机，或是具备运算功能的手机、平板计算机或个人计算机或其他装置，其中至少包括连接装置12、储存装置14及处理器16，其功能分述如下：
连接装置12例如是通用串行总线(Universal Serial Bus，USB)、RS232、蓝芽、无线保真(Wireless fidelity，Wi-Fi)等有线或无线的传输介面，其可用以连接配置于车辆上的相机，从而接收相机所拍摄的影像。
储存装置14例如是任何型态的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。在本实施例中，储存装置14用以记录影像拍摄模块142、视野转换模块144、影像切割模块146及影像拼接模块148。
处理器16例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application SpecificIntegrated Circuits，ASIC)、可程序化逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合，其与连接装置12及储存装置14连接。
在本实施例中，储存在储存装置14中的模块例如是计算机程序，而可由处理器16载入，据以执行本实施例的车辆周围影像处理的方法。以下即举实施例说明此方法的详细步骤。
图2是依照本发明一实施例所绘示的车辆周围影像处理方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述图1的电子装置10，以下即搭配图1中电子装置10的各项装置，说明本实施例车辆周围影像处理方法的详细步骤：
首先，由影像拍摄模块142利用连接装置12所连接的相机拍摄车辆周围多个透视视野的影像(步骤S202)。上述的相机可以包括配置于车辆前、后、左、右四个位置的相机，用以拍摄车身前方、后方、左方、右方等透视视野的影像，但不限于此。本领域技术人员可视实际需要，在车辆的其他位置额外配置相机，以增加所拍摄影像的涵盖范围。
举例来说，图3是本发明一实施例所绘示的拍摄车辆周围影像的范例。请参照图3，本实施例是在车辆30的前、后、左、右四个位置分别配置相机32、34、36、38。其中，相机32、34、36、38分别用以拍摄车身前方、后方、左方、右方等透视视野的影像32a、34a、36a、38a。
需说明的是，在上述实施例中，配置在车辆上的相机例如是使用鱼眼镜头，其具有接近180度的视角，而可拍摄涵盖范围较广的影像。基于使用鱼眼镜头拍摄的影像会产生变形(例如影像32a、34a、36a、38a所示的圆形扭曲)，故本申请实施例可额外由处理器16执行鱼眼校正模块(未绘示)，从而对这些影像进行鱼眼校正。
鱼眼校正模块例如会依据各个相机的鱼眼镜头的焦距、视角、中心解析度、边缘解析度等镜头参数，对相机所拍摄的影像进行裁切，以将鱼眼镜头的中心移动至影像中心。详言之，由鱼眼镜头拍摄的景物仅会出现在影像中心的圆形区域中，其周围则会是黑边。若左右黑边的宽度不同，则代表镜头中心已偏离影像中心。此时鱼眼校正模块例如会裁切影像，以使影像两边黑边的宽度一致，从而将鱼眼镜头的中心移动至影像中心，确保后续执行鱼眼校正时影像可还原为原始形状。
在校正影像中心之后，鱼眼校正模块还会分别依据各个相机的上述镜头参数，对相机所拍摄的影像执行鱼眼校正，而从影像的中心开始向外校正影像，使得原本扭曲变形的影像可还原为所拍摄景物的原始形状。
详言之，假设所拍摄鱼眼影像的宽度为dw、高度为dh，校正后原始影像的宽度为sw、高度为sh；假设(dx,dy)为校正前鱼眼影像的像素位置，而(sx,sy)为校正后的来源影像的像素位置；假设鱼眼镜头的去鱼眼(de-fish)系数为f。其中，像素(dx,dy)与影像中心(dw/2,dh/2)的距离(rx,ry)的关系为：
Figure BDA0002116917040000071
校正后的来源影像(即去鱼眼影像)的像素位置(sx,sy)为：
Figure BDA0002116917040000072
其中
Figure BDA0002116917040000073
其中
Figure BDA0002116917040000074
其中d(i,j)为欧式距离(Euclidean distance)。在另一实施例中，若配置在车辆上的相机不是使用鱼眼镜头，可以不进行鱼眼校正或进行对应于相机镜头的其他种类校正。
举例来说，图4是本发明一实施例所绘示的鱼眼校正的范例。请参照图4，本实施例是针对配置于车辆前方的相机使用鱼眼镜头所拍摄的鱼眼影像42执行鱼眼校正。鱼眼影像42中像素的位置可经由上述公式转换至去鱼眼影像44中的对应位置，从而获得无变形失真的去鱼眼影像44。其中，而由于鱼眼镜头的限制，去鱼眼影像44的上部中间与下部中间将出现黑边。
接着，视野转换模块144会分别将透视视野的影像转换为俯视视野的影像(步骤S204)。其中，视野转换模块144例如会利用一个预先建立的转换矩阵，将透视视野影像中的多个像素的位置转换至俯视视野影像中的对应位置。
关于上述的转换矩阵，视野转换模块144例如是使用上述的相机分别拍摄包括参考物件(例如是绘制地面上的定位格线或图案)在内的透视视野的第一影像，并使用配置于参考物件上方的另一独立相机拍摄包括相同参考物件在内的真实俯视视野的第二影像。然后，视野转换模块144会撷取第一影像中参考物件的多个像素的位置作为目标位置，并撷取第二影像中相同参考物件的多个对应像素的位置作为来源位置，据以解出转换矩阵中的多个转换系数。
举例来说，假设(xi,yj)为来源影像(即上述俯视视野的第二影像)中的像素位置；(ui,vj)为目标影像(即上述透视视野的第一影像)中的像素位置。在来源影像中取预先决定的4个像素并在目标影像中取预先决定的4个对应像素带入下列算式：
Figure BDA0002116917040000081
通过解出上列线性系统中的系数Cij(i,j＝0～2，其中C22＝1)可得到一对应的3×3矩阵C，即可由C的反矩阵获得本实施例用来将透视视野影像转换为俯视视野影像的转换矩阵。得到上述将透视视野影像转换为俯视视野影像的转换矩阵后，便可将车辆的相机所拍摄的透视视野影像像素的对应向量(ui,vi,1)乘以转换矩阵得到俯视视野影像像素的对应向量(xi,yi,1)。虽然本实施例中以4个像素计算转换矩阵，但在其他实施例中可以使用其他数目的像素来计算转换矩阵。在一实施例中，在车辆的不同位置的各个相机所拍摄的影像可以使用相同或不同的转换矩阵来转换，以配合各相机的角度与镜头参数。在一实施例中，可以预先根据上述转换矩阵建立各透视视野影像像素映射(map)至各俯视视野影像像素的一对应表(mapping table)，再由查表的方式进行转换。
回到图2的流程，在获得转换后的俯视视野影像后，影像切割模块146会在转换后俯视视野的各个影像的其中一行像素中，找出由至少一个预设数目的连续多个空洞像素构成的区间，进而根据此区间在影像中的高度，将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像(步骤S206)。上述的一行像素例如是位于影像中线上的一行像素或是位于影像中特定物件上的一行像素，而上述的预设数目例如为10或是其他依据解析度等影像参数而定的数目，在此不设限。
详言之，由于透视视野影像中各像素的资料在转换为俯视视野后会集中于影像下方(即地面侧影像)，并且会随着影像高度的增加(即与影像下方的距离拉长)而递减。因此，俯视视野影像中会留下许多无影像资料的空洞像素，且这些空洞像素会随着影像高度的增加而递增。
本申请实施例即根据此特性，为此空洞像素的分布设定一个数量上的预设值，若俯视视野影像在纵向上的连续空洞像素的数量超过此预设值时，即代表此区间上方的影像中的空洞像素会过多而导致影像失真。据此，影像切割模块146即根据此区间在影像中的高度，将透视视野影像切割为地面侧影像及墙面侧影像，借以保留较为清楚的地面侧影像。其中，影像切割模块146例如会使用此区间中点的高度，或是使用位于此区间上端或下端具有影像资料的像素的高度，决定分割线的位置。
举例来说，图5是依照本发明一实施例所绘示的车辆周围影像处理方法的范例。请参照图5，影像52是经过鱼眼校正后的车辆左侧影像，将影像52的视角转换至俯视视角后，则可获得影像54。由影像54可知，影像资料主要集中于地面侧影像，而随着影像高度的增加，空洞像素(位于影像上部横线之间的黑色区域)也逐渐增多。据此，本发明即取影像54中线上的一行像素56来决定切割影像54的分割线位置。请参照影像54右侧的该行像素56的放大图，该行像素56包括高度为297至317的多个像素，如像素301，其中像素A、B为具有影像资料的像素，而其他像素则为不具有影像资料的空洞像素。基于这些空洞像素的数量达到10个，本发明即利用这些空洞像素形成的区间58来决定切割影像54的分割线位置。其中，本发明可使用区间58的中点在影像54中的高度，或是使用像素A或B在影像54中的高度，作为分割线的高度。
回到图2的流程，在将透视视野及俯视视野的影像切割为地面侧影像及墙面侧影像之后，影像拼接模块148即会将切割后的地面侧影像及墙面侧影像拼接起来，以产生车辆周围的合成影像(步骤S208)。其中，影像拼接模块148例如会对相同视野的地面侧及墙面侧的清晰影像进行合并，然后再对相邻视野的合并影像进行拼接，并适当地调整其中墙面侧影像的高度，使得所拼接影像中墙面侧影像的高度对应一致，最后即可产生可环绕车辆周围360度的合成影像。
详言之，图6是依照本发明一实施例所绘示的拼接不同视野影像以获得车辆周围合成影像的方法流程图。请同时参照图1及图6，本实施例的方法适用于上述图1的电子装置10，以下即搭配图1中电子装置10的各项装置，说明本实施例影像拼接方法的详细步骤：
首先，由影像拼接模块148针对各个透视视野的影像及其对应的俯视视野的影像，将切割后的透视视野的墙面侧影像及切割后的俯视视野的地面侧影像合并，以产生该透视视野的合并影像(步骤S602)。其中，基于俯视视野的地面侧影像较为清晰且接近真实影像，而透视视野的墙面侧影像较为清晰且接近真实影像，故影像拼接模块148在将两者合并后，即可获得地面侧及墙面侧影像均为清晰且接近真实影像的合并影像。
举例来说，图7是依照本发明一实施例所绘示的合并透视视野的墙面侧影像及俯视视野的地面侧影像的范例。请参照图7，影像74是车辆前方相机所拍摄影像经鱼眼校正后所得的透视视野影像，影像72则是对影像74进行视野转换所得的俯视视野影像。基于前述实施例的分割线决定方法，可得到适于切割影像72、74的分割线。利用此分割线，可将俯视视野影像72切割为墙面侧影像722及地面侧影像724，以及将透视视野影像74切割为墙面侧影像742及地面侧影像744。据此，本实施例将影像较为清晰的俯视视野影像72的地面侧影像724以及透视视野影像74的墙面侧影像742合并，以获得合并影像76。其中，本实施例在合并地面侧影像724与墙面侧影像742时，还可进一步根据地面侧影像724及墙面侧影像742中的对应特征(例如可通过习知的影像辨识方法来辨识对应特征)，缩放地面侧影像724与墙面侧影像742，而获得位置相对应的地面侧影像764与墙面侧影像762。本实施例的墙面侧影像762即是由墙面侧影像742缩放而得。
需说明的是，本实施例的墙面侧影像是取自经过鱼眼校正后的透视视野影像，但即便经过鱼眼校正，透视视野影像中的墙面侧影像的物件仍有可能会有偏斜的情形，且离影像中线愈远，偏斜的情形愈明显。对此，本实施例在将墙面侧影像与地面侧影像合并之前，例如还会针对墙面侧影像进行偏斜调整，使得调整后墙面侧影像中的物件能够对齐。
举例来说，图8A及图8B是依照本发明一实施例所绘示的调整墙面侧影像的范例。请参照图8A，影像80是车辆前方相机所拍摄影像经鱼眼校正后所得的透视视野影像。其中，本实施例取用影像80中位于区域82内的多个像素的位置作为来源位置，并预设将区域82转换为区域84，借以调整区域82内偏斜的物件，使其在转换至区域84内后可彼此对齐。
由转换后影像80a中的柱子可知，转换后影像80a中的柱子仍然向左偏斜。据此，本实施例将转换所取用像素的区域82调整至区域86，即向左扩大所取用像素的区域，并预设转换后区域88，此区域88的尺寸与形状是与区域84相同的。由转换后影像80b中的柱子可知，转换后影像80b中的柱子彼此对齐，也与影像的轴线(垂直线)方向一致。通过上述的调整方式，即可解决透视视野影像的墙面侧影像中物件偏斜的问题。
回到图6的流程，接着由影像拼接模块148针对相邻透视视野的合并影像，调整这些合并影像中的墙面侧影像的高度，使得这些合并影像中的墙面侧影像的高度一致(步骤S604)。详言之，由于相邻的透视视野会有重叠，故相邻透视视野影像中的部分区域会有重叠，但由于视野方向的不同，这些重叠区域的高度不一定相同。若直接将相邻透视视野影像拼接在一起，上述高度不一致的问题将造成拼接影像的不连续。据此，本申请实施例即通过比对相邻透视视野的合并影像中的对应特征，据以调整合并影像的高度，使其一致。
举例来说，图9是依照本发明一实施例所绘示的调整墙面侧影像高度的范例。请参照图9，影像92是车辆左方相机所拍摄影像经过上述实施例的鱼眼校正、切割及合并后所得的左方透视视野的合并影像，影像94则是车辆前方相机所拍摄影像经过鱼眼校正、切割及合并后所得的前方透视视野的合并影像，由影像92、94的上方区域可知，其中的墙面有重叠。然而，影像92中的墙面高度(向右箭头)显然比影像94的墙面高度(向左箭头)为高，因此若直接合并影像92与影像94，势必会产生墙面高度不一致的情形。对此，本实施例可通过上述图8A与图8B的调整方式，将影像92中的墙面侧影像减少高度(等同于减少墙面高度)，而获得调整后的影像92a，以及将影像94中的墙面侧影像增加高度(等同于增加墙面高度)，而获得调整后的影像94a。由于调整后的影像92a与影像94a中的墙面高度相同，故即便将影像92与影像94合并，其中的墙面高度也会是一致的，而不会产生上述影像不连续的情况。调整后的影像可以比照前述方法建立另一转换矩阵，使透视视野影像中的墙面侧影像乘上该转换矩阵后即完成影像调整。在另一实施例中，也可比照前述方法通过使用上述的相机分别拍摄包括参考物件(例如是绘制墙面上的定位格线或图案)在内的墙面侧影像，并使用配置于参考物件前方的另一独立相机拍摄包括相同参考物件在内的真实墙面侧影像，以相同方式据以解出墙面侧影像的转换矩阵。
最后，由影像拼接模块148根据相邻透视视野的合并影像中的多个对应特征，将这些合并影像拼接，以产生合成影像(步骤S606)。上述的对应特征例如是在相邻透视视野的两张合并影像中均有出现的物件的特征。影像拼接模块148例如可对应车辆的方向，将车辆的前方、后方、左方、右方四张影像进行旋转，然后再根据上述合并影像中的物件特征对这些合并影像进行平移及/或缩放，使得这些合并影像可以拼接为同一张合成影像。
举例来说，图10是依照本发明一实施例所绘示的拼接合并影像的范例。图10左方的影像102、104、106、108例如分别是车辆前方、后方、左方及右方的合并影像。在进行拼接时，除了车辆前方的影像102维持原方向外，车辆左方的影像会逆时针旋转90度；车辆右方的影像会顺时针旋转90度；车辆后方的影像则会旋转180度。其中，由于影像102、104、106、108中有出现柱子、停车格线、电灯等相同物件，故本实施例的装置即可根据这些相同物件所在位置及大小，对旋转后的影像102、104、106、108进行拼接，从而获得包括车辆周围地面与景物的合成影像100。拼接后的影像可以比照前述方法对车辆前方、后方、左方及右方的合并影像建立对应的转换矩阵以完成影像拼接。
基于上述影像拼接模块148所拼接的车辆周围的合成影像包括清楚的车辆周围各方向上的墙面侧与地面侧影像，在另一实施例中，本发明还可由处理器16执行三维模型模块，从而将清晰的合成影像映射至车辆周围空间的三维模型。借此，当电子装置10接收到对于车辆周围影像的观看需求，即可根据观看需求中的观看角度，使用上述建立的三维模型，提供此观看角度上的周围影像。
举例来说，图11是依照本发明一实施例所绘示的建立三维模型的范例。图11的影像110例如是由上述实施例的车辆周围影像处理方法所产生的车辆周围的合成影像。其中，本实施例的装置例如会先建立车辆周围空间的三维模型112，从而将此影像110中的各个像素映射至三维模型112中的对应位置。需说明的是，本实施例的影像110是由配置于车辆前、后、左、右等四个相机所拍摄影像经过处理所获得，所以当影像110被映射至三维模型112，这些由车辆前、后、左、右等四个相机所拍摄的透视视野影像的合并影像中的各个像素将会对应至三维模型中的其中一个像素。据此，本实施例的装置即可针对上述四个相机所拍摄影像中的像素，找出其在三维模型中的对应位置，从而建立一个对应表。借此，每当装置接收到这四个相机所拍摄的影像时，即可通过查表直接将这些影像中的像素转换至三维模型中的对应位置，从而快速地建立车辆周围空间的三维模型。在图11的实施例中，车辆前方、后方、左方及右方的影像所各自对应的三维模型112中的各平面彼此以接近直角的方式相接；在其他实施例中，各平面可以用其他角度相接或是以弧面的方式彼此相接。
在三维模型建立之后，本实施例的装置即可利用此三维模型，根据观看需求提供不同观看角度的车辆周围影像，借以作为驾驶行驶车辆的参考。在一实施例中，上述的观看需求例如是依使用者在装置上所选择的观看角度或观看模式来决定。在另一实施例中，此观看需求也可以是根据车辆的动作来决定。例如，当车辆在倒车时，即自动显示后方的车辆周围影像；车辆在左弯时，则自动显示左前方的车辆周围影像，在此不设限。
举例来说，图12A至图12G是依照本发明一实施例所绘示的显示车辆周围影像的范例。本实施例例如是由使用者手动选择对应的观看角度，或是直接根据车辆的动作参数，自动选择对应的观看角度。其中，图12A绘示俯视视角的影像122；图12B绘示车辆后方的影像124；图12C绘示由后往前看的影像126；图12D绘示车辆左前方朝右后方视角的影像128；图12E绘示车辆右前方朝左后方视角的影像130；图12F绘示车辆左后方朝右前方视角的影像132；图12G绘示车辆右后方朝右左前方视角的影像134。
综上所述，本发明的车辆周围影像处理方法及装置通过将车辆周围以多个不同视野拍摄的影像转换为俯视视野影像，并找出转换后影像在纵向上的连续空洞像素的区间，而决定一个分割线。根据此分割线裁切、合并及拼接影像，借此可获得经适当处理的可清楚显露车辆周围景物的合成影像。而通过将此合成影像映射至车辆周围空间的三维模型，则可根据观看需求，自动显示车辆周围影像。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

Claims (10)

1.一种车辆周围影像处理方法，其特征在于，适用于配置于车辆上的电子装置，该电子装置耦接配置于该车辆上的多个相机，该方法包括下列步骤：
利用所述相机拍摄该车辆周围多个透视视野的影像；
根据参考对象的透视视野的第一影像的多个像素的位置以及所述参考对象的真实俯视视野的第二影像的多个像素的位置，分别转换所述透视视野的所述影像为俯视视野的影像；
根据转换后的该俯视视野的各所述影像中的区间的高度切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像，其中所述区间的高度方向上的连续空洞像素的数量超过预设值；
产生该车辆周围的合成影像，其中该合成影像是由切割后的该俯视视野的所述地面侧影像及该透视视野的所述墙面侧影像拼接而成；以及
根据第一对应表映射该合成影像至该车辆周围空间的三维模型，其中所述第一对应表是根据所述相机拍摄的该车辆周围多个透视视野的各所述影像中的多个像素在该车辆周围空间的所述三维模型中的对应位置所建立的。
2.根据权利要求1所述的车辆周围影像处理方法，其特征在于，根据参考对象的透视视野的第一影像的多个像素的位置以及所述参考对象的真实俯视视野的第二影像的多个像素的位置，分别转换所述透视视野的所述影像为俯视视野的影像的步骤包括：
建立所述透视视野的所述影像的多个像素映射至所述俯视视野的所述影像的多个像素的第二对应表，再根据所述第二对应表进行转换。
3.根据权利要求1所述的车辆周围影像处理方法，其特征在于，产生该车辆周围的合成影像的步骤包括：
针对各所述透视视野的该影像及其对应的该俯视视野的该影像，合并切割后的该透视视野的该墙面侧影像及切割后的该俯视视野的该地面侧影像，以产生该透视视野的合并影像；以及
根据相邻所述透视视野的所述合并影像中的多个对应特征，拼接所述合并影像，以产生该合成影像。
4.根据权利要求1所述的车辆周围影像处理方法，其特征在于，还包括：
接收对于车辆周围影像的观看需求，以根据该观看需求中的观看角度，使用该三维模型提供该观看角度上的该车辆周围影像。
5.根据权利要求4所述的车辆周围影像处理方法，其特征在于，接收对于该车辆周围影像的该观看需求，以根据该观看需求中的该观看角度，使用该三维模型提供该观看角度上的该车辆周围影像的步骤包括：
接收该车辆的动作参数，据以判断该车辆动作所对应的该观看角度，而使用该三维模型提供该观看角度上的该车辆周围影像。
6.一种车辆周围影像处理装置，其特征在于，包括：
连接装置，连接配置于车辆上的多个相机；
储存装置，储存多个模块；以及
处理器，耦接该连接装置及该储存装置，载入并执行该储存装置中的所述模块，所述模块包括：
影像拍摄模块，利用所述相机拍摄该车辆周围多个透视视野的影像；
视野转换模块，根据参考对象的透视视野的第一影像的多个像素的位置以及所述参考对象的真实俯视视野的第二影像的多个像素的位置，分别转换所述透视视野的所述影像为俯视视野的影像；
影像切割模块，根据转换后的该俯视视野的各所述影像中的区间的高度切割该透视视野及该俯视视野的所述影像为地面侧影像及墙面侧影像，其中所述区间的高度方向上的连续空洞像素的数量超过预设值；
影像拼接模块，产生该车辆周围的合成影像，其中该合成影像是由切割后的该俯视视野的所述地面侧影像及该透视视野的所述墙面侧影像拼接而成；以及
三维模型模块，根据第一对应表映射该合成影像至该车辆周围空间的三维模型，其中所述第一对应表是根据所述相机拍摄的该车辆周围多个透视视野的各所述影像中的多个像素在该车辆周围空间的所述三维模型中的对应位置所建立的。
7.根据权利要求6所述的车辆周围影像处理装置，其特征在于，该视野转换模块建立所述透视视野的所述影像的多个像素映射至所述俯视视野的所述影像的多个像素的第二对应表，再根据所述第二对应表进行转换。
8.根据权利要求6所述的车辆周围影像处理装置，其特征在于，该影像拼接模块针对各所述透视视野的该影像及其对应的该俯视视野的该影像，合并切割后的该透视视野的该墙面侧影像及切割后的该俯视视野的该地面侧影像，以产生该透视视野的合并影像，以及根据相邻所述透视视野的所述合并影像中的多个对应特征，拼接所述合并影像，以产生该合成影像。
9.根据权利要求6所述的车辆周围影像处理装置，其特征在于，该三维模型模块接收对于车辆周围影像的观看需求，以根据该观看需求中的观看角度，使用该三维模型提供该观看角度上的该车辆周围影像。
10.根据权利要求9所述的车辆周围影像处理装置，其特征在于，该三维模型模块包括接收该车辆的动作参数，据以判断该车辆动作所对应的该观看角度，而使用该三维模型提供该观看角度上的该车辆周围影像。
CN201910593719.3A 2016-05-05 2016-07-07 车辆周围影像处理方法及装置 Active CN110139084B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
TW105113922 2016-05-05
TW105113922A TWI613106B (zh) 2016-05-05 2016-05-05 車輛周圍影像處理方法及裝置
CN201610530598.4A CN106101635B (zh) 2016-05-05 2016-07-07 车辆周围影像处理方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201610530598.4A Division CN106101635B (zh) 2016-05-05 2016-07-07 车辆周围影像处理方法及装置

Publications (2)

Publication Number Publication Date
CN110139084A CN110139084A (zh) 2019-08-16
CN110139084B true CN110139084B (zh) 2021-01-19

Family

ID=57213172

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201610530598.4A Active CN106101635B (zh) 2016-05-05 2016-07-07 车辆周围影像处理方法及装置
CN201910593719.3A Active CN110139084B (zh) 2016-05-05 2016-07-07 车辆周围影像处理方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201610530598.4A Active CN106101635B (zh) 2016-05-05 2016-07-07 车辆周围影像处理方法及装置

Country Status (3)

Country Link
US (1) US9992481B2 (zh)
CN (2) CN106101635B (zh)
TW (1) TWI613106B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018009109A1 (en) * 2016-07-07 2018-01-11 Saab Ab Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft
US20180210442A1 (en) * 2017-01-23 2018-07-26 Qualcomm Incorporated Systems and methods for controlling a vehicle using a mobile device
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN107176101A (zh) * 2017-05-24 2017-09-19 维森软件技术（上海）有限公司 同步显示方法
CN109547766B (zh) * 2017-08-03 2020-08-14 杭州海康威视数字技术股份有限公司 一种全景图像生成方法及装置
TWI645372B (zh) * 2017-08-28 2018-12-21 華利納企業股份有限公司 影像校正系統及影像校正方法
US10694103B2 (en) 2018-04-24 2020-06-23 Industrial Technology Research Institute Building system and building method for panorama point cloud
TWI667529B (zh) * 2018-04-24 2019-08-01 財團法人工業技術研究院 環景點雲資料的建立方法與建立系統
JP6802864B2 (ja) * 2019-01-30 2020-12-23 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視装置、監視方法、及び、コンピュータプログラム
TWI702577B (zh) * 2019-07-10 2020-08-21 中華汽車工業股份有限公司 行車輔助影像產生方法及系統
CN112208438B (zh) * 2019-07-10 2022-07-29 台湾中华汽车工业股份有限公司 行车辅助影像产生方法及系统
JP7256463B2 (ja) * 2019-10-11 2023-04-12 トヨタ自動車株式会社 車両駐車支援装置
CN110910311B (zh) * 2019-10-30 2023-09-26 同济大学 一种基于二维码的多路环视相机自动拼接方法
CN112550152A (zh) * 2020-12-18 2021-03-26 雄狮汽车科技(南京)有限公司 一种汽车盲区监控系统及其监控方法
CN113610927B (zh) * 2021-08-06 2022-04-15 镁佳(北京)科技有限公司 一种avm摄像头参数标定方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868812A (zh) * 2007-11-20 2010-10-20 三洋电机株式会社 驾驶辅助系统、车辆及立体物区域推定方法
CN103843326A (zh) * 2011-09-29 2014-06-04 丰田自动车株式会社 图像显示装置及图像显示方法
CN103971598A (zh) * 2013-02-05 2014-08-06 业鑫科技顾问股份有限公司 图像补偿装置及其制造方法
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN104516136A (zh) * 2013-09-27 2015-04-15 业鑫科技顾问股份有限公司 显示装置、拼接式显示器及背光模组

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001030832A (ja) * 1999-07-15 2001-02-06 Masaharu Wada 自動車運行安全確認用ミラー
JP2004297423A (ja) * 2003-03-27 2004-10-21 Hitachi Ltd 人工衛星からの情報を利用する情報処理方法及び情報処理端末
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
CN1921621A (zh) * 2006-09-18 2007-02-28 李博航 全景可视驾驶辅助设备
JP2008271308A (ja) * 2007-04-23 2008-11-06 Sanyo Electric Co Ltd 画像処理装置及び方法並びに車両
TW200927537A (en) * 2007-12-28 2009-07-01 Altek Corp Automobile backup radar system that displays bird's-eye view image of automobile
CN101487895B (zh) * 2008-01-15 2011-07-20 华晶科技股份有限公司 显示鸟瞰车辆图像的倒车雷达系统
TWI361396B (en) * 2008-01-18 2012-04-01 Univ Nat Chiao Tung Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム
CN102014293B (zh) * 2010-12-20 2012-08-22 清华大学 平面视频的立体渲染方法
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
TW201403553A (zh) * 2012-07-03 2014-01-16 Automotive Res & Testing Ct 自動校正鳥瞰影像方法
JP6036228B2 (ja) * 2012-11-30 2016-11-30 株式会社デンソー 車両用映像処理装置および車両用映像処理システム
CN103895573A (zh) * 2012-12-27 2014-07-02 鸿富锦精密工业（深圳）有限公司 汽车泊车辅助系统及方法
CN103929613A (zh) * 2013-01-11 2014-07-16 深圳市灵动飞扬科技有限公司 一种三维立体鸟瞰行车辅助的方法、装置以及系统
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN104691415B (zh) * 2013-12-07 2017-02-01 惠州市德赛西威汽车电子股份有限公司 全景泊车辅助装置
TWI476471B (zh) * 2014-03-13 2015-03-11 Tdk Taiwan Corp 鏡頭模組定位結構
CN105539290A (zh) * 2015-12-24 2016-05-04 科世达（上海）管理有限公司 一种用于显示车辆3d全景影像的系统及方法
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101868812A (zh) * 2007-11-20 2010-10-20 三洋电机株式会社 驾驶辅助系统、车辆及立体物区域推定方法
CN103843326A (zh) * 2011-09-29 2014-06-04 丰田自动车株式会社 图像显示装置及图像显示方法
CN103971598A (zh) * 2013-02-05 2014-08-06 业鑫科技顾问股份有限公司 图像补偿装置及其制造方法
CN104516136A (zh) * 2013-09-27 2015-04-15 业鑫科技顾问股份有限公司 显示装置、拼接式显示器及背光模组
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2D转3D视频的关键技术及系统设计;胡泉;《中国优秀硕士学位论文全文数据库信息科技辑》;20131115(第11期);全文 *

Also Published As

Publication number Publication date
CN106101635A (zh) 2016-11-09
US20170324948A1 (en) 2017-11-09
US9992481B2 (en) 2018-06-05
CN110139084A (zh) 2019-08-16
TWI613106B (zh) 2018-02-01
TW201739647A (zh) 2017-11-16
CN106101635B (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110139084B (zh) 车辆周围影像处理方法及装置
US10434877B2 (en) Driver-assistance method and a driver-assistance apparatus
CN109948398B (zh) 全景泊车的图像处理方法及全景泊车装置
CN106846410B (zh) 基于三维的行车环境成像方法及装置
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
EP2437494B1 (en) Device for monitoring area around vehicle
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
KR101592740B1 (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US9225942B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
US8774495B2 (en) Image synthesizing apparatus and method of synthesizing images
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
CN106856000B (zh) 一种车载全景图像无缝拼接处理方法及系统
CN110400255B (zh) 车辆全景影像的生成方法、系统和车辆
CN101978694A (zh) 图像处理装置和方法、驾驶支持系统、车辆
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
US11055541B2 (en) Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
JP2008102620A (ja) 画像処理装置
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
KR100948872B1 (ko) 카메라 영상 보정 방법 및 장치
US10861139B2 (en) Method and system for handling images
CN115936995A (zh) 一种车辆四路鱼眼摄像头全景拼接方法
JP2007172501A (ja) 車両運転支援装置
US20200294215A1 (en) Image processing apparatus and method
JP6293089B2 (ja) 後方モニタ
TWM591940U (zh) 全景停車輔助系統及其裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant