CN1801216A - 驾驶支持系统和产生俯视图像的方法 - Google Patents

驾驶支持系统和产生俯视图像的方法 Download PDF

Info

Publication number
CN1801216A
CN1801216A CNA2005101146571A CN200510114657A CN1801216A CN 1801216 A CN1801216 A CN 1801216A CN A2005101146571 A CNA2005101146571 A CN A2005101146571A CN 200510114657 A CN200510114657 A CN 200510114657A CN 1801216 A CN1801216 A CN 1801216A
Authority
CN
China
Prior art keywords
image
vehicle
stitching position
graphics processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101146571A
Other languages
English (en)
Other versions
CN100367314C (zh
Inventor
知野见聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN1801216A publication Critical patent/CN1801216A/zh
Application granted granted Critical
Publication of CN100367314C publication Critical patent/CN100367314C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

一种驾驶支持系统，其包括：至少两个照相机，以拍摄车辆周围区域的图像，照相机的视野范围相互部分重叠；控制单元，其对由照相机拍摄的图像进行预定的坐标变换，并将变换后图像拼接在一起，以产生俯视图像；以及显示单元，其显示该俯视图像。该控制单元改变俯视图像内变换后图像的拼接位置。

Description

驾驶支持系统和产生俯视图像的方法
技术领域
本发明涉及一种驾驶支持系统和一种产生俯视图像的方法。
背景技术
日本特开2002-125224号公报公开了一种驾驶支持系统，该系统为司机提供从位于车辆上方的虚拟视点观察的车辆周围区域的虚拟图像(下文中称作“俯视图像”)。在该系统中，多个照相机安装在车辆上，以拍摄车辆周围区域的图像，每个车辆周围区域的图像经过处理被变换为俯视图像的组成图像。该俯视图像是各组成图像和车辆俯视图像的合成图像，当停车或开到路边时呈现给司机相对于停车位的标记线或路缘的车辆位置的视觉信息。
在上述驾驶支持系统中，由照相机拍摄的图像被进行从照相机坐标系统到虚拟视点坐标系统的坐标变换，以产生俯视图像的组成图像，其中，将由照相机拍摄的图像的点变换至预定基准面(例如路面)。因此，位于基准面上的二维物体可在组成图像的拼接处保持连续性地进行变换，然而，具有位于基准面上方和下方的部分的三维物体可能在组成图像的拼接处不连续。
此外，尽管实际上在对应于拼接处的位置具有三维物体，由于遮盖了沿组成图像的拼接处的区域或由于照相机的未对准，几十厘米宽的三维物体可能不会出现在俯视图像上。
发明内容
本发明根据前述问题做出。本发明的目的是提供一种驾驶支持系统和产生俯视图像的方法，其能够抑制由于合成图像的不连续性导致的图像质量劣化。
本发明的一方面是一种驾驶支持系统，其包括：多个图像拍摄装置，其拍摄车辆周围区域的图像，具有相互部分重叠的视野范围；图像处理单元，对由图像拍摄装置拍摄的图像进行预定的坐标变换，以产生变换后图像并在拼接处将变换后图像相互拼接，以产生从虚拟视点观察的虚拟图像，其中，图像处理单元可以改变虚拟图像中拼接处的位置；以及显示单元，其显示虚拟图像。
本发明的另一方面是一种在驾驶支持系统中产生将要被显示的虚拟图像的方法，其包括：拍摄车辆周围区域的相互部分重叠的图像；对拍摄的图像进行预定的坐标变换，以产生变换后图像；以及将变换后图像在虚拟图像中不同于其前一位置的位置上的拼接处拼接在一起。
附图说明
现在将参考附图描述本发明，其中：
图1是根据本发明实施例的驾驶支持系统的方框图。
图2示出将设有第一照相机101至第四照相机104作为多个照相机101至10n的例子。
图3示出图2中所示的第一照相机101至第四照相机104的视野范围。图3A和3B分别示出第二照相机102和第四照相机104的视野范围。图3C示出第二照相机102和第四照相机104的视野范围相互重叠的区域。
图4示出俯视图像的例子。
图5示出车辆正在平行于街道边缘停车的场景。
图6A示出当在图5中车辆正在平行停车时显示的俯视图像的一个例子。图6B示出已从图6A所示的俯视图像中消失的物体的位置。
图7A和7B示出在变换后图像(组成图像)的拼接位置在改变前和改变后获得的俯视图像。图7A示出改变前的一个例子，而
图7B示出改变后的一个例子。
图8A至8E示出变换后图像的拼接位置连续变化的情形。图8A至8E分别示出拼接位置的第一至第五例子。
图9A至9C说明基于俯视图像中的像素数据确定是否停止改变变换后图像的拼接位置的过程。图9A示出拼接位置改变前的俯视图像的例子，图9B示出该位置正在改变的例子，图9C示出改变后的例子。
图10A至10C说明基于俯视图像中的像素数据确定是否停止改变变换后图像的拼接位置的第二过程。图10A示出拼接位置改变前的俯视图像的例子，图10B示出该位置正在改变的例子，图10C示出改变后的例子。
图11示出根据本实施例的驾驶支持系统的改进例子。
图12示出根据改进例子的驾驶支持系统的操作。
具体实施方式
下面将参考附图说明本发明的实施例，其中，相似构件用相似的附图标记表示。
如图1和3所示，根据本实施例的驾驶支持系统1为主车辆101的司机提供从位于主车辆101上方的虚拟视点向下观察的主车辆101周围区域的虚拟图像(下文中称作“俯视图像”)。
驾驶支持系统1包括多个照相机(图像拍摄装置)101至10n、图像处理单元20、控制单元(确定单元)30、显示单元40、操作单元50、以及车辆信号接收单元60。
多个照相机101至10n朝向不同，以拍摄主车辆101周围不同区域A 1至A4的图像，并将拍摄图像的数据发送给图像处理单元20。
第一至第四照相机101至104在下面被描述为多个照相机101至10n的例子。如图2所示，第一照相机101设置在主车辆101的前端并朝前，第二照相机102设置在车辆101的后端并朝后，第三照相机103设置在车辆101的右外后视镜处并朝右，以及第四照相机104设置在车辆101的左外后视镜处并朝左。第一至第四照相机101至104为广角照相机，每一个照相机具有180度的视角。第一至第四照相机101、102、103、104的视野范围分别对应于车辆101前方包括区域A1-4和A1-3的区域A1、其后方包括区域A2-4和A2-3的区域A2、其右侧包括区域A1-3和A2-3的区域A3、以及其左侧包括区域A1-4和A2-4的区域A4。这四个照相机由此拍摄主车辆101周围所有区域的图像。
A1至A4的视野范围在区域A1-4、A1-3、A2-4和A2-3内部分地重叠。例如，图3A中所示的第二照相机102的视野范围A2与图3B中所示的第四照相机104的视野范围A4部分地重叠为图3C中在车辆101的左侧并至后方的阴影区域A2-4。类似地，第一照相机101的视野范围A 1与第三照相机103的视野范围A3在车辆101的右侧前方的区域A1-3相互部分重叠，第一照相机101的视野范围A1与第四照相机104的视野范围A4在车辆101的左侧前方的区域A1-4部分重叠，以及第二照相机102的视野范围A2与第三照相机103的视野范围A3在车辆101的右侧并至后方的区域A2-3部分重叠。
图像处理单元20对由第一至第四照相机101至104拍摄的图像进行从照相机坐标系统到虚拟视点坐标系统的坐标变换，以产生变换后图像，并将它们相互拼接，以产生从虚拟视点观察的虚拟图像(本实施例中的俯视图像)。具体地，图像处理单元20以路面作为基准面，对由第一至第四照相机101至104拍摄的图像的像素坐标进行坐标变换。即，进行坐标变换，以使至少位于路面上的二维物体可以在变换后图像的拼接处保持其连续性。然后，图像处理单元20将四个变换后图像相互拼接。这里，单元20具有转换表，每个转换表为第一至第四照相机101至104中的每一个照相机存储由照相机拍摄的图像和变换后图像之间像素坐标的对应关系，并且每一个照相机被配置为使用各自的转换表对由第一至第四照相机101至104拍摄的图像的像素坐标进行坐标变换。
控制单元30控制整个系统1。控制单元30将在图像处理单元20内产生的俯视图像数据发送至显示单元40。显示单元40利用发送的俯视图像数据依次显示在图像处理单元20内产生的俯视图像。
俯视图像通过将变换后图像TIa、变换后图像TIb、变换后图像TIc和变换后图像TId相互拼接而产生，其中，变换后图像TIa通过对由第一照相机101拍摄的图像进行坐标变换获得，变换后图像TIb通过对由第二照相机102拍摄的图像进行坐标变换获得，变换后图像TIc通过对由第三照相机103拍摄的图像进行坐标变换获得，变换后图像TId通过对由第四照相机104拍摄的图像进行坐标变换获得。如图4所示，俯视图像包括与变换后图像TIa的全部或部分对应的第一图像区100a、与变换后图像TIb的全部或部分对应的第二图像区100b、与变换后图像TIc的全部或部分对应的第三图像区100c、与变换后图像TId的全部或部分对应的第四图像区100d。除此之外，主车辆101的计算机图形图像(CG)在俯视图像的中心合成，由此司机可有客观地了解主车辆相对于周围物体的位置。
变换后图像TIa至TId在与照相机视野范围的重叠区域A1-4、A1-3、A2-4和A2-3对应的图像区域内部分地重叠。更具体地，变换后图像TIa和TIc在与第一照相机101和第三照相机103的视野范围的重叠区域A1-3对应的图像区域部分地重叠。变换后图像TI-a和TI-d在与第一照相机101和第四照相机104的视野范围的重叠区域A1-4对应的图像区域部分地重叠。变换后图像TI-b和TI-c在与第二照相机102和第三照相机103的视野范围的重叠区域A2-3对应的图像区域部分地重叠。变换后图像TI-b和TI-d在与第二照相机102和第四照相机104的视野范围的重叠区域A2-4对应的图像区域部分地重叠。
变换后图像TIa至TId的拼接处位于重叠的图像区域上。变换后图像TIa和TIc的拼接处，即第一和第三图像区域100a和100c的拼接处，位于与重叠区域A1-3对应的图像区域内。沿该拼接处设有第一遮盖线(masking line)102a，以减轻司机由不连续的显示图像引起的不适。类似地，变换后图像TIa和TId的拼接处，即第一和第四图像区域100a和100d的拼接处，位于与重叠区域A1-4对应的图像区域内，并且第二遮盖线102b沿该拼接处设置。变换后图像TIb和TIc的拼接处，即第二和第三图像区域100b和100c的拼接处，位于与重叠区域A2-3对应的图像区域内，并且第三遮盖线102c沿该拼接处设置。变换后图像TIb和TId的拼接处，即第二和第四图像区域100b和100d的拼接处，位于与重叠区域A2-4对应的图像区域内，并且第四遮盖线102d沿该拼接处设置。第一至第四遮盖线102a至102d按实际比例设置为大约10到20厘米宽。
操作单元50接收方向盘、变速杆和换向器的司机操作。一旦接收到司机的操作，操作单元50将与该操作对应的信号发送至控制单元30。
车辆信号接收单元60通过检测行驶速度、发动机的转数等采集表示车辆行为的信号。单元60被配置为将采集的信号发送至控制单元30。
控制单元30用作检测器，用于基于来自操作单元50和车辆信号接收单元60的信号检测司机的操作和车辆动作。更具体地，当表示所选择的齿轮速比范围的齿轮速比范围信号GR被输入到控制单元30时，单元30用作检测当前变速杆位置或所选择的齿轮速比范围的检测器。当表示方向盘操作的转向信号WA被输入到控制单元30时，单元30用作检测方向盘的转向角或操作量的检测器。
下面描述的是当车辆101平行停车时，根据本发明实施例的驾驶支持系统1是如何工作的。假定车辆103已经停在停车位，在其后方，主车辆101正如图5所示一前一后地停车。在该位置，车辆101在停放的车辆103右侧的位置A开始向后移动，经过右侧的位置B到达车辆103的后方，并停在另一停车位的位置C处。
在该停车过程中，第一至第四照相机101至104拍摄从车辆101到多个方向的周围区域的图像，并采集所拍摄图像的时间序列数据(time series data)。图像处理单元20对采集的数据进行坐标变换，并拼接变换后图像，以产生俯视图像的时间序列数据。显示单元40随后显示所产生的俯视图像。由此，司机能够在客观地环顾车辆周围的同时停放主车辆。
在所产生的俯视图像中，停放的车辆103现在被不连续地显示，并被分为前部和后部，如图6A所示。因此，图6A所示的俯视图像不能使司机直观地了解到在他或她的车辆左侧显示的图像。此外，尽管事实上物体已经位于车辆的左前方，如图6B所示，但是，没有物体显示在图6A中的俯视图像上。物体的这种消失由坐标变换过程的特征引起，或由照相机几厘米的错位引起，其中，这些特征为：路面上方的三维物体在其经过坐标变换后被压扁，而位于路面上的二维物体如其上印刷的标记线被如实再现。由于第一至第四遮盖线102a至102d按实际比例为10至20厘米宽，若宽度测量为10至20厘米的小物体位于车辆周围，该物体可能被第一至第四遮盖线102a至102d掩盖。
由于该原因，根据本实施例的驾驶支持系统1抑制了前述的由俯视图像在拼接处的不连续性引起的图像质量的劣化。更具体地，驾驶支持系统1的图像处理单元20将当前俯视图像中变换后图像的拼接位置从在前一处理产生的俯视图像中的拼接位置改变，当产生当前俯视图像时，在不同于以前各拼接处的拼接处拼接变换后图像。
也就是说，图像处理单元20将图6A中的第一至第四遮盖线102a至102d的位置变为不同于图6A中所示的那些位置的其它位置。在该拼接处，图像处理单元20在与重叠区域A1-4、A1-3、A2-4和A2-3对应的变换后图像区域内改变第一至第四遮盖线102a至102d的位置。换句话说，对于多个照相机10的视野重叠区域，图像处理单元20可利用任何重叠的变换后图像产生俯视图像。因此，图像处理单元20可在变换后图像的重叠区域内自由地改变拼接位置。
作为一个例子，下面描述如图7A所示的第一至第四遮盖线102a至102d的位置如何改变为图7B中所示的那些位置。
在改变遮盖线的位置之前，在主车辆101左侧的停车位停放的车辆103的图像被沿第二和第四图像区域100b和100d之间的拼接处设置的第四遮盖线102d分隔，并变得不连续，如图7A所示，这使主车辆101的司机难以直观地识别出显示在其左侧的图像。
然而，当第一至第四遮盖线102a至102d的位置变为图7B中所示时，第四线102d没有分隔停放的车辆103而保持其连续性。因此，主车辆101的司机可通过看一眼显示单元40而识别它为车辆。
因此，在本实施例中，显示单元40显示第一至第四遮盖线102a至102d的位置被改变了的俯视图像，由此车辆101周围的物体不会在拼接处消失或不连续。这可以抑制由于不适当的拼接而导致的图像质量劣化。
这里，图像处理单元20被配置为通过接收司机对操作单元50的输入，即通过他或她的切换操作，改变拼接位置，其中一次切换操作改变拼接位置一次。
另一方面，拼接位置可以如图8所示依次改变，而不考虑司机的操作。在该情况下，图像处理单元20首先产生图8A中所示的俯视图像。然后，单元20沿图中箭头α的方向同时移动遮盖线102a至102d，以产生图8B中所示的俯视图像。接着，单元20进一步沿箭头α的方向移动遮盖线102a至102d，以产生图8C中所示的俯视图像。在类似方式下，单元20将然后产生图8D和8E中所示的俯视图像。
图像处理单元20随后沿箭头β的方向移动遮盖线102a至102d，以在产生图8E中所示的俯视图像之后产生图8D中所示的俯视图像。之后，单元20依次产生图8C至8A中所示的俯视图像。按照该方式，图像处理单元20连续改变图像之间的拼接位置，即遮盖线102a至102d的位置。
拼接位置的连续变化消除了司机进行操作如切换操作，以改变拼接位置的需要，这更便于平稳停车。
图像处理单元20可用于根据车辆的行为改变图像之间的拼接位置。也就是说，图像处理单元20可用于在主车辆101非倒退的过程中改变拼接位置，和在主车辆101倒退的过程中停止改变拼接位置。
控制单元30例如根据由操作单元50接收的与操作相关的信号或根据由车辆信号接收单元60采集的与车辆行为相关的信号确定车辆是否向后移动。当控制单元30确定为车辆已向后移动时，图像处理单元20将停止改变图像之间的拼接位置。在主车辆101配备自动变速器的情况下，当停车制动器被松开、其变速杆位于倒档“R”时，控制单元30确定为车辆101向后移动，并停止改变拼接位置。可选择地，驾驶支持系统1可被配置为检测行驶速度，以确定车辆是否倒退，由此停止改变图像之间的拼接位置。
从而，系统1通过在车辆正倒退时停止改变拼接位置，并通过在车辆未倒退如停放的过程中改变拼接位置合适地支持司机。通常，当司机在停车时预见到车辆周围的区域内有物体时，临时停止移动他/她的车辆。当车辆正在停放时，系统1改变拼接位置，以使司机通过系统1显示的图像检查车辆周围的区域。当司机完成检查之后开始再次倒车时，由于系统1保持图像之间的拼接位置，可维持高度可视性。
在上述实施例中，改变图像之间的拼接位置取决于车辆是否正在倒退，然而，并不总取决于此。即使当车辆未在倒退时，图像处理单元20可用于根据所产生的俯视图像的像素数据确定是否应该停止改变图像之间的拼接位置，并在单元20确定为应停止改变时停止改变图像之间的拼接位置。
下面根据图9A至9C描述如何根据俯视图像的像素数据确定图像处理单元20是否应停止改变图像之间的拼接位置。
在图像处理单元20确定其是否应停止改变图像之间的拼接位置之前，单元20首先设置多个确定区域104，这些确定区域104在所产生的俯视图像内在第一至第四遮盖线102a至102d上延伸。让我们假定确定区域104现在仅设置在第四遮盖线102d上，如图9A所示以简化描述。
确定区域104包括设置在拼接处一侧的一个图像区域内并以该拼接处为界的第一确定区域104a，和设置在该拼接处另一侧的另一图像区域内并以该拼接处为界的第二确定区域104b。
图像处理单元20分别在前述一个和另一个区域寻找色值的模式即最大频率值。换句话说，图像处理单元20确定在第一确定区域104a内的像素数据中哪个色值的数值最大。更具体地，图像处理单元20识别在第一确定区域104a内的每一像素对应于例如256个灰度级中的哪个色值，然后确定在其中个数最大的色值。类似地，图像处理单元20确定在第二确定区域104b内的像素数据中哪个色值的个数最大。
若第四遮盖线102d与停放车辆103或某物重叠，则在第一和第二确定区域104a和104b中像素的色值模式彼此相等。也就是说，由于一个物体跨越由第四遮盖线102d分离的第一和第二确定区域104a和104b，在这些区域内最大频率地检测出特定的共同的色值。因此，若相同的色值被检测到在第一和第二确定区域104a和104b两者内为个数最大，即若像素的色值模式在这些区域内彼此相等，图像处理单元20则确定为应改变图像的拼接位置，以便司机可轻而易举地识别物体。
然后，图像处理单元20将图像的拼接位置改变为图9B中的位置。在该阶段，第四遮盖线102d仍与停放车辆103重叠。所以，相同的色值被检测到在第一和第二确定区域104a和104b都个数最大，即像素的色值模式在这些区域内彼此相等，由此图像处理单元20确定为应改变图像的拼接位置。
之后，图像处理单元20将图像的拼接位置改变为图9C中的位置。第四遮盖线102d现在离开停放车辆103，不再与其在显示的图像上重叠。此时，在第一和第二确定区域104a和104b检测到最大频率的色值相互不同，换句话说，在第一和第二确定区域104a和104b里的像素的色值模式变得相互不同，由此图像处理单元20确定为第四遮盖线102d未与停放车辆103重叠，然后停止改变图像的拼接位置。
总之，图像处理单元20在确定第一和第二确定区域104a和104b的每一个中的像素色值模式的同时连续移动图像之间的拼接位置。当第一和第二确定区域104a和104b各自中的像素色值模式变得不同时，图像处理单元20确定为应停止改变图像的拼接位置。因此，不用司机的任何帮助，系统1依靠图像的拼接位置的自动改变以及该改变的自动停止，可产生并显示与车辆周围环境相匹配的合适的俯视图像。
关于图像拼接位置的自动改变以及该改变的自动停止，是否改变图像的拼接位置或停止改变不总是依赖于图9A至9C中所示的情况。在图10A至10C中所示的例子中，图像处理单元20使用以图像的拼接处为界的一个区域作为确定区域105，用于确定是否应该停止改变图像的拼接位置。为简化下列描述，以第四遮盖线102d和第三遮盖线102c为界的一个区域，即车辆后方以第四和第三遮盖线102d和102c为界的区域(图10A至10C中的阴影部分)被用作确定区域105。
图像处理单元20首先寻找确定区域105中像素的色值模式。换句话说，单元20确定在确定区域105内的像素数据中哪个色值个数最大。在图10A所示的例子中，路面占确定区域105的大部分。这意味着图像处理单元20确定在确定区域105中像素的色值模式为路面的颜色。另外，图像处理单元20计算色值为色值模式的像素相对于整个确定区域105的百分比，即，色值为色值模式的像素相对于确定区域105内像素总数的百分比。
然后，图像处理单元20如图10B所示改变图像的拼接位置。在图10A所示的例子中，第四遮盖线102d与停放车辆103重叠，该车辆的后部包括在确定区域105内。随着第四遮盖线102d沿γ方向即图中的逆时针方向移动，车辆103离开区域105，这增大了区域105内色值为色值模式(路面的颜色)的像素的百分比。也就是说，图像处理单元20继续移动拼接位置，并当色值为色值模式的像素的百分比在以拼接处为界的一个区域内增大时，图像处理单元20估计到拼接处与物体重叠，然后确定为其应改变该拼接位置。
之后，如图10C所示，让我们假定图像处理单元20将图像的拼接位置移动到第四线102d未与停放车辆103重叠的位置。在该阶段，即使线102d进一步沿γ方向移动，区域105内色值为色值模式的像素的百分比也不会增大。然后，图像处理单元20确定为第四线102d未与车辆103重叠，并停止改变图像的拼接位置。
如上所述，在位于图像的拼接处一侧并以其为界的确定区域105内寻找像素的色值模式的同时，图像处理单元20计算色值为色值模式的像素占整个确定区域105内像素总数的百分比，只要该百分比增大就继续移动图像的拼接位置，并当该百分比停止增大时确定为其应停止改变拼接位置。由此系统1可通过自动改变图像的拼接位置并停止改变其位置来显示与车辆周围环境相匹配的合适的俯视图像。
下面参考图11描述驾驶支持系统1的改进实施例。与该改进实施例相关的驾驶支持系统1配备有多个障碍检测传感器701至70n，并配置为只改变多个图像之间的一部分拼接处的位置。
图11示出了系统1，其具有四个障碍检测传感器701至704作为多个障碍检测传感器701至70n的例子。第一障碍检测传感器701固定到车辆101的右前角，且第二障碍检测传感器702固定到车辆101的左前角。第三障碍检测传感器703固定到车辆101的右后角，且第四障碍检测传感器704固定到车辆101的左后角。这四个障碍检测传感器检测接近车辆的各个角的物体。
与改进实施例相关的驾驶支持系统1只改变位于有物体接近车辆101的方向上的区域内的图像拼接位置。在图12所示的例子中，停放车辆103接近车辆101的左侧，特别是车辆101的左后角。当第四障碍检测传感器704检测到停放车辆103时，图像处理单元20只改变位于障碍存在方向上的第四遮盖线102d的位置。这意味着系统1只改变在安全方面重要的方向上的图像拼接位置，与所有拼接处的位置都改变的情况相比，进一步提高了整个系统的处理速度。
前述改进实施例基于来自多个障碍检测传感器701至704的信息确定图像拼接位置的改变方向。选择欲移动的拼接处的标准不必取决于来自障碍检测传感器701至704的信息，并且可选择地，可根据司机对变速杆或方向盘的操作来选择欲移动的图像拼接处。
如图1所示，控制单元30通过接收表示所选择的齿轮速比范围的齿轮速比范围信号GR确定例如车辆101沿其纵向的移动方向。图像处理单元20改变位于所确定的移动方向前方的图像之间的拼接位置。
可选择地，控制单元30通过接收表示转向操作的转向信号WA确定车辆101沿其横向的移动方向。图像处理单元20改变位于所确定的移动方向前方的图像拼接位置。
在位于不同于车辆移动方向的方向，即车辆将不会碰到位于这些方向上的区域内的物体的方向，其前方的拼接位置将不会改变，由此俯视图像为司机提供了准确和所需的信息。
本实施例中的图像处理单元20在拼接经过坐标变换以产生俯视图像的图像中，将拼接位置变化为不同于前一过程产生的俯视图像的拼接位置的位置。换句话说，在俯视图像中的变换后图像的每一个拼接处不连续存在于固定位置上。因此，物体既不会不连续地显示在拼接处，也不会持续消失。因此，可抑制由图像的不恰当拼接引起的图像质量劣化。
除了上述内容，系统被设计为连续改变图像之间的拼接位置，而与司机改变拼接位置的操作无关。这不再需要司机的切换操作，使停车更顺利。
此外，系统1被设计为，在车辆没有倒退的过程中改变图像之间的拼接位置，并在车辆正在倒退时停止改变拼接位置。通常，当在停车时预见到车辆周围有物体时，司机临时停止移动他/她的车辆。在该阶段，系统1改变图像的拼接位置，由此司机可确定他的或她的预测。当他或她对环境感觉不安时，系统1为此通过重复停止和倒退使司机确定车辆周围的环境。而且，系统1不会不必要地改变图像的拼接位置，这提高了可见性。因此，系统1适当地帮助了司机停车。
即使当车辆没有倒退时，系统1根据在所产生的俯视图像内的像素数据确定其是否应停止改变拼接位置。当确定系统应停止改变时，其停止改变拼接位置。更具体地，在以拼接处为界的第一和第二确定区域104a和104b内寻找像素的色值模式，并且同时，拼接位置继续被移动。当各自区域104a和104b内的像素的色值模式相互不同时，系统确定为应停止改变拼接位置。更进一步地，当在以拼接处为界的确定区域105内寻找像素的色值模式时，色值为色值模式的像素占整个确定区域105内像素的百分比被确定。拼接位置继续移动直至该百分比停止增大。在该点，系统确定为其应停止改变拼接位置。
作为结果，在车辆未被倒退时，系统自动改变拼接位置并且也自动停止改变拼接位置。因此，系统可显示与车辆周围环境相匹配的合适的俯视图像，而不会带给司机任何麻烦。
更进一步地，当有多个拼接处时，系统1改变多个拼接处中一部分的位置。这与改变所有拼接处的位置的情况相比可总体上提高系统的处理速度。
更进一步地，系统1通过接收表示所选择的齿轮速比范围的齿轮速比范围信号GR确定车辆沿其纵向的移动方向，然后改变位于所确定的移动方向前方的图像拼接的位置。车辆沿其横向的移动方向通过接收表示转向操作的转向信号WA确定，然后改变位于所确定的移动方向前方的图像拼接位置。如上所述，通过确定车辆的移动方向并改变位于该方向前方的拼接处的位置，在车辆可能碰到周围物体的方向上的拼接位置被改变。另一方面，系统不改变在不同于车辆移动方向的方向上，也就是说，在车辆不会碰到周围物体的方向上的拼接位置。这意味着只改变需要方向上的拼接处的位置，使合适的俯视图像能够被显示。
这里描述的优选实施例是示意性的，并不是限定性的，并且本发明可以以其它方式实践或实施，而不脱离其精神或实质特征。本发明的范围由权利要求表明，并且所有落在权利要求意义内的变化都被包含于此。
本公开涉及主题包含在2004年10月25日提交的日本专利申请No.2004-309590，通过引用其公开内容被清楚地整体包含于此。

Claims (12)

1.一种驾驶支持系统，其包括：
多个图像拍摄装置，其拍摄车辆周围区域的图像，并且具有相互部分重叠的视野范围；
图像处理单元，其对由图像拍摄装置拍摄的图像进行预定的坐标变换，以产生变换后图像，并将该变换后图像在拼接处相互拼接，以产生从虚拟视点观察的虚拟图像，其中，该图像处理单元可改变该虚拟图像中的拼接位置；以及
显示单元，其显示该虚拟图像。
2.根据权利要求1所述的驾驶支持系统，其特征在于，该图像处理单元独立于司机的操作而连续地改变拼接位置。
3.根据权利要求1所述的驾驶支持系统，其特征在于，该图像处理单元在车辆未倒退时连续地改变拼接位置，并在车辆正在倒退时停止改变拼接位置。
4.根据权利要求3所述的驾驶支持系统，其还包括确定单元，用于通过检测司机的操作或车辆的行为确定车辆是否正在倒退，其中，当确定单元确定为车辆正在倒退时，该图像处理单元停止改变拼接位置。
5.根据权利要求3所述的驾驶支持系统，其特征在于，即使车辆未在倒退时，该图像处理单元也基于所产生的虚拟图像的像素数据确定是否停止改变拼接位置，并且当确定为停止时停止改变拼接位置。
6.根据权利要求5所述的驾驶支持系统，其特征在于，该图像处理单元在改变拼接位置的同时，在虚拟图像的设置在拼接处两侧并以拼接处为界的预定区域内寻找像素的色值模式，并在各个区域内的像素的色值模式变得相互不同的时刻确定为停止改变拼接位置。
7.根据权利要求5所述的驾驶支持系统，其特征在于，该图像处理单元在虚拟图像以拼接处为界的预定区域内寻找像素的色值模式，并在改变拼接位置的同时，计算色值为色值模式的像素占预定区域内像素总数的百分比，并且在该百分比停止增大的时刻确定为停止改变拼接位置。
8.根据权利要求1所述的驾驶支持系统，其特征在于，若该虚拟图像包括多个拼接处，该图像处理单元只改变一部分拼接处的位置。
9.根据权利要求8所述的驾驶支持系统，其还包括确定单元，用于通过接收表示所选择的齿轮速比范围的齿轮速比范围信号确定车辆沿其纵向的移动方向，其中，该图像处理单元改变在由该确定单元确定的移动方向上位于前方的拼接位置。
10.根据权利要求8所述的驾驶支持系统，其还包括确定单元，用于通过接收表示方向盘操作的转向信号确定车辆沿其横向的移动方向，其中，该图像处理单元改变在由该确定单元确定的移动方向上位于前方的拼接位置。
11.一种在驾驶支持系统中产生将要被显示的虚拟图像的方法，其包括：
拍摄车辆周围区域的相互部分重叠的图像；
对被拍摄图像进行预定的坐标变换，以产生变换后图像；以及
将该变换后图像在该虚拟图像中不同于前一位置的位置上的拼接处拼接在一起。
12.一种驾驶支持系统，其包括：
多个图像拍摄装置，其用于拍摄车辆周围区域的图像，并且具有相互部分重叠的视野范围；
图像处理装置，其用于对由图像拍摄装置拍摄的图像进行预定的坐标变换，以产生变换后图像，并将变换后图像在拼接处相互拼接，以产生从虚拟视点观察的虚拟图像，其中，该图像处理装置可改变在该虚拟图像中的拼接位置；以及
显示装置，其用于显示该虚拟图像。
CNB2005101146571A 2004-10-25 2005-10-25 驾驶支持系统和产生俯视图像的方法 Active CN100367314C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004309590 2004-10-25
JP2004309590A JP4639753B2 (ja) 2004-10-25 2004-10-25 運転支援装置

Publications (2)

Publication Number Publication Date
CN1801216A true CN1801216A (zh) 2006-07-12
CN100367314C CN100367314C (zh) 2008-02-06

Family

ID=35730010

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101146571A Active CN100367314C (zh) 2004-10-25 2005-10-25 驾驶支持系统和产生俯视图像的方法

Country Status (5)

Country Link
US (1) US7684593B2 (zh)
EP (1) EP1650080B1 (zh)
JP (1) JP4639753B2 (zh)
CN (1) CN100367314C (zh)
DE (1) DE602005026088D1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101819678A (zh) * 2010-03-16 2010-09-01 昆明理工大学 驾驶模拟系统三维虚拟图像的标定方法
CN101082488B (zh) * 2007-06-30 2011-11-09 徐春云 异地遥测之图像拼接方法
CN102473239A (zh) * 2009-08-05 2012-05-23 戴姆勒股份公司 用于监控车辆的周围环境的方法
CN102653260A (zh) * 2012-05-09 2012-09-05 邝君 汽车定点定位引导系统
CN102783145A (zh) * 2010-03-12 2012-11-14 爱信精机株式会社 图像控制装置
CN102792334A (zh) * 2010-04-12 2012-11-21 住友重机械工业株式会社 图像生成装置及操作支持系统
CN102848977A (zh) * 2011-07-01 2013-01-02 现代摩比斯株式会社 基于以太网的车辆用电子系统及车辆中配备的多个摄像装置与 avm 装置间的网络联动方法
CN102137247B (zh) * 2010-01-22 2013-01-30 财团法人工业技术研究院 全周鸟瞰图像距离界面产生方法与系统
CN102917205A (zh) * 2011-08-05 2013-02-06 哈曼贝克自动系统股份有限公司 车辆环绕视图系统
CN103241177A (zh) * 2012-02-10 2013-08-14 矢崎总业株式会社 用于车辆的显示装置
CN103661107A (zh) * 2013-11-29 2014-03-26 北京理工大学 周向视场可控的非直视驾驶系统
CN103987582A (zh) * 2011-12-15 2014-08-13 松下电器产业株式会社 驾驶辅助装置
CN104754197A (zh) * 2015-03-25 2015-07-01 胡振强 平面视图拍摄装置
CN105678799A (zh) * 2012-04-05 2016-06-15 岩崎电气株式会社 眩光测量系统
WO2018171429A1 (zh) * 2017-03-22 2018-09-27 腾讯科技（深圳）有限公司 图像拼接方法、装置、终端及存储介质
CN108883777A (zh) * 2016-03-28 2018-11-23 日本精机株式会社 驾驶辅助系统和显示装置
CN111660935A (zh) * 2014-08-12 2020-09-15 索尼公司 车辆显示装置、显示控制方法和后视监视系统
CN111845559A (zh) * 2019-04-19 2020-10-30 帷享科技股份有限公司 用于车辆的影像整合警示系统

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
FR2891934B1 (fr) * 2005-10-12 2008-01-18 Valeo Electronique Sys Liaison Dispositif de traitement de donnees video pour un vehicule automobile
WO2007129582A1 (ja) * 2006-05-09 2007-11-15 Nissan Motor Co., Ltd. 車両周辺画像提供装置及び車両周辺画像提供方法
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP4656005B2 (ja) 2006-06-02 2011-03-23 日産自動車株式会社 画像処理システム及び画像処理方法
JP4863791B2 (ja) * 2006-07-05 2012-01-25 アルパイン株式会社 車両周辺画像生成装置および画像切替方法
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
JP2008114691A (ja) * 2006-11-02 2008-05-22 Mitsubishi Electric Corp 車両周辺監視装置および車両周辺監視映像表示方法
JP4832321B2 (ja) * 2007-01-26 2011-12-07 三洋電機株式会社 カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
US8712105B2 (en) * 2007-04-16 2014-04-29 Redflex Traffic Systems Pty, Ltd. Vehicle speed verification system and method
GB2452041B (en) * 2007-08-20 2012-09-26 Snell Ltd Video framing control
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
JP5163165B2 (ja) * 2008-02-05 2013-03-13 日産自動車株式会社 車両周辺画像処理装置及び車両周辺状況提示方法
JP5286811B2 (ja) * 2008-02-06 2013-09-11 株式会社デンソー 駐車支援装置
US8044781B2 (en) * 2008-11-10 2011-10-25 Volkswagen Ag System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
US9206589B2 (en) * 2009-03-31 2015-12-08 Caterpillar Inc. System and method for controlling machines remotely
KR101117969B1 (ko) * 2009-09-04 2012-03-05 현대자동차일본기술연구소 차량 주위 노면 정보 제공 장치
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
TWI417639B (zh) 2009-12-30 2013-12-01 Ind Tech Res Inst 全周鳥瞰影像無縫接合方法與系統
TWI392366B (zh) 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5548002B2 (ja) 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP5592138B2 (ja) 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
EP2481637B1 (en) 2011-01-28 2014-05-21 Nxp B.V. Parking Assistance System and Method
EP2481636A1 (en) 2011-01-28 2012-08-01 Nxp B.V. Parking assistance system and method
US20140111648A1 (en) * 2011-06-02 2014-04-24 Hitachi Contruction Machinery Co., Ltd. Device For Monitoring Area Around Working Machine
CN103782591B (zh) 2011-08-26 2017-02-15 松下知识产权经营株式会社 驾驶辅助装置
JP5750344B2 (ja) * 2011-09-16 2015-07-22 日立建機株式会社 作業機の周囲監視装置
EP2763406A4 (en) * 2011-09-30 2015-06-17 Panasonic Ip Man Co Ltd APPARATUS FOR PRODUCING IMAGES FROM THE BIRDS 'PERSPECTIVE, METHOD FOR PRODUCING IMAGES FROM THE BIRDS' PERSPECTIVE AND PROGRAM FOR GENERATING PICTURES FROM THE BIRDS 'PERSPECTIVE
CN103297786B (zh) * 2012-02-22 2015-04-22 能晶科技股份有限公司 鸟瞰影像系统及其补偿方法
WO2013126715A2 (en) 2012-02-22 2013-08-29 Magna Electronics, Inc. Vehicle camera system with image manipulation
JP2013196454A (ja) * 2012-03-21 2013-09-30 Honda Elesys Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
US9598836B2 (en) * 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
KR101947826B1 (ko) * 2012-04-10 2019-02-13 현대자동차주식회사 차량의 주차구획 인식방법
US9288446B2 (en) 2012-09-10 2016-03-15 Nissan North America, Inc. Vehicle video system
TWI578271B (zh) 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
EP2927075B1 (en) * 2012-11-27 2017-04-05 Nissan Motor Co., Ltd. Vehicle acceleration suppression device and vehicle acceleration suppression method
GB2514151A (en) * 2013-05-15 2014-11-19 Nissan Motor Mfg Uk Ltd Event detection and recording methods and systems
JP6232994B2 (ja) 2013-12-16 2017-11-22 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
DE102014001496A1 (de) * 2014-01-29 2015-07-30 Man Truck & Bus Ag Verfahren zur bildlichen Darstellung eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Birdview-System
US10449900B2 (en) * 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
GB2527510B (en) * 2014-06-23 2016-12-14 Jaguar Land Rover Ltd Launch speed ratio selection in an automatic transmission
JP6939737B2 (ja) * 2014-08-12 2021-09-22 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム
CN104859542B (zh) * 2015-05-26 2017-06-27 寅家电子科技（上海）有限公司 车载监控系统及车载监控处理方法
JP6582557B2 (ja) * 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
JP6802008B2 (ja) * 2016-08-25 2020-12-16 キャタピラー エス エー アール エル 建設機械
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
JP6662762B2 (ja) * 2016-12-19 2020-03-11 株式会社クボタ 作業車
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
JP6835004B2 (ja) * 2018-02-09 2021-02-24 株式会社デンソー 画像生成装置
JP7108855B2 (ja) * 2018-02-27 2022-07-29 パナソニックＩｐマネジメント株式会社 画像合成装置、及び、制御方法
US11537811B2 (en) * 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
JP2021111843A (ja) * 2020-01-08 2021-08-02 株式会社Ｊｖｃケンウッド 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
US7366595B1 (en) 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP3300337B2 (ja) * 2000-04-28 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2001315603A (ja) 2000-05-09 2001-11-13 Matsushita Electric Ind Co Ltd 運転支援装置
JP3599639B2 (ja) * 2000-05-26 2004-12-08 松下電器産業株式会社 画像処理装置
EP1168248A3 (en) * 2000-06-30 2003-12-10 Matsushita Electric Industrial Co., Ltd. Rendering device
KR20020033816A (ko) 2000-07-19 2002-05-07 마츠시타 덴끼 산교 가부시키가이샤 감시시스템
JP3753681B2 (ja) * 2000-07-19 2006-03-08 松下電器産業株式会社 監視システム
JP3372944B2 (ja) * 2000-07-19 2003-02-04 松下電器産業株式会社 監視システム
JP3773433B2 (ja) 2000-10-11 2006-05-10 シャープ株式会社 移動体の周囲監視装置
JP3695319B2 (ja) * 2000-11-30 2005-09-14 トヨタ自動車株式会社 車両周辺モニタ装置
JP2002199257A (ja) 2000-12-25 2002-07-12 Sharp Corp 撮像装置
JP3645196B2 (ja) 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
JP4641125B2 (ja) 2001-08-23 2011-03-02 クラリオン株式会社 画像合成の際のつなぎ目部処理方法及びその画像信号処理装置及びこれを用いた車両周囲監視表示装置
DE60207655T2 (de) * 2001-09-07 2006-06-08 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung
JP2003132349A (ja) 2001-10-24 2003-05-09 Matsushita Electric Ind Co Ltd 描画装置
JP3819284B2 (ja) 2001-11-29 2006-09-06 クラリオン株式会社 車両周囲監視装置
JP3855814B2 (ja) * 2002-03-22 2006-12-13 日産自動車株式会社 車両用画像処理装置
DE10227171B4 (de) * 2002-06-18 2019-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
JP3968271B2 (ja) 2002-06-25 2007-08-29 株式会社オートネットワーク技術研究所 車輌周辺視認装置
JP3868876B2 (ja) 2002-09-25 2007-01-17 株式会社東芝 障害物検出装置及び方法
DE10247563A1 (de) 2002-10-11 2004-04-22 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Unterstützung des Fahrers
JP2004240480A (ja) 2003-02-03 2004-08-26 Matsushita Electric Ind Co Ltd 運転支援装置
JP2004274114A (ja) 2003-03-05 2004-09-30 Nissan Motor Co Ltd 画像表示装置および画像表示方法
JP2004309590A (ja) 2003-04-02 2004-11-04 Seiko Epson Corp 電気光学装置及びその製造方法並びに電子機器
WO2004104614A1 (en) * 2003-05-22 2004-12-02 Koninklijke Philips Electronics N.V. Magnetic resonance imaging device with sound-absorbing means

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101082488B (zh) * 2007-06-30 2011-11-09 徐春云 异地遥测之图像拼接方法
US8750572B2 (en) 2009-08-05 2014-06-10 Daimler Ag Method for monitoring an environment of a vehicle
CN102473239A (zh) * 2009-08-05 2012-05-23 戴姆勒股份公司 用于监控车辆的周围环境的方法
CN102137247B (zh) * 2010-01-22 2013-01-30 财团法人工业技术研究院 全周鸟瞰图像距离界面产生方法与系统
CN102783145B (zh) * 2010-03-12 2015-11-25 爱信精机株式会社 图像控制装置
CN102783145A (zh) * 2010-03-12 2012-11-14 爱信精机株式会社 图像控制装置
CN101819678A (zh) * 2010-03-16 2010-09-01 昆明理工大学 驾驶模拟系统三维虚拟图像的标定方法
CN102792334A (zh) * 2010-04-12 2012-11-21 住友重机械工业株式会社 图像生成装置及操作支持系统
CN102848977B (zh) * 2011-07-01 2015-09-02 现代摩比斯株式会社 基于以太网的车辆用电子系统及车辆中的网络联动方法
CN102848977A (zh) * 2011-07-01 2013-01-02 现代摩比斯株式会社 基于以太网的车辆用电子系统及车辆中配备的多个摄像装置与 avm 装置间的网络联动方法
CN102917205B (zh) * 2011-08-05 2017-08-18 哈曼贝克自动系统股份有限公司 车辆环绕视图系统
CN102917205A (zh) * 2011-08-05 2013-02-06 哈曼贝克自动系统股份有限公司 车辆环绕视图系统
CN103987582A (zh) * 2011-12-15 2014-08-13 松下电器产业株式会社 驾驶辅助装置
US9697735B2 (en) 2011-12-15 2017-07-04 Panasonic Intellectual Property Management Co., Ltd. Drive assistance device
CN103241177A (zh) * 2012-02-10 2013-08-14 矢崎总业株式会社 用于车辆的显示装置
CN105678799A (zh) * 2012-04-05 2016-06-15 岩崎电气株式会社 眩光测量系统
CN102653260A (zh) * 2012-05-09 2012-09-05 邝君 汽车定点定位引导系统
CN102653260B (zh) * 2012-05-09 2014-08-13 邝君 汽车定点定位引导系统
CN103661107B (zh) * 2013-11-29 2015-12-09 北京理工大学 周向视场可控的非直视驾驶系统
CN103661107A (zh) * 2013-11-29 2014-03-26 北京理工大学 周向视场可控的非直视驾驶系统
CN111660935A (zh) * 2014-08-12 2020-09-15 索尼公司 车辆显示装置、显示控制方法和后视监视系统
CN111660935B (zh) * 2014-08-12 2023-11-24 索尼公司 车辆显示装置、显示控制方法和后视监视系统
CN104754197A (zh) * 2015-03-25 2015-07-01 胡振强 平面视图拍摄装置
CN108883777A (zh) * 2016-03-28 2018-11-23 日本精机株式会社 驾驶辅助系统和显示装置
CN108883777B (zh) * 2016-03-28 2022-02-01 日本精机株式会社 驾驶辅助系统和显示装置
US10878537B2 (en) 2017-03-22 2020-12-29 Tencent Technology (Shenzhen) Company Limited Image splicing method, apparatus, terminal, and storage medium
WO2018171429A1 (zh) * 2017-03-22 2018-09-27 腾讯科技（深圳）有限公司 图像拼接方法、装置、终端及存储介质
CN111845559A (zh) * 2019-04-19 2020-10-30 帷享科技股份有限公司 用于车辆的影像整合警示系统

Also Published As

Publication number Publication date
US7684593B2 (en) 2010-03-23
EP1650080B1 (en) 2011-01-26
US20060088190A1 (en) 2006-04-27
EP1650080A3 (en) 2006-05-03
JP2006121587A (ja) 2006-05-11
JP4639753B2 (ja) 2011-02-23
DE602005026088D1 (de) 2011-03-10
EP1650080A2 (en) 2006-04-26
CN100367314C (zh) 2008-02-06

Similar Documents

Publication Publication Date Title
CN1801216A (zh) 驾驶支持系统和产生俯视图像的方法
CN2769853Y (zh) 车辆倒车辅助装置
CN1210958C (zh) 车辆附近图像处理设备
EP1895766B1 (en) Camera with two or more angles of view
US8553081B2 (en) Apparatus and method for displaying an image of vehicle surroundings
CN1727848A (zh) 驾驶辅助设备
JP6828501B2 (ja) 駐車支援装置
CN1865849A (zh) 影像显示装置及影像显示方法
US20200082185A1 (en) Periphery monitoring device
US20120169875A1 (en) Rearward view assistance apparatus
CN112644472B (zh) 驻车辅助装置
CN113313935B (zh) 图像处理装置及图像处理方法
JP2020068515A (ja) 画像処理装置
JP2017163206A (ja) 情報処理装置及びプログラム
US9884589B2 (en) System and method for assisting vehicle driving for using smart phone
JP2016101778A (ja) 駐車支援装置
JP2010215170A (ja) 駐車結果表示システム
CN116252712A (zh) 驾驶员辅助设备、车辆及控制车辆的方法
JP2009213063A (ja) 監視装置
JP4999748B2 (ja) サイドミラー装置
JP7359541B2 (ja) 画像処理装置および画像処理方法
KR20120063770A (ko) 센서 퓨전 알고리즘의 검지 성능 향상 방법 및 시스템
JP2012181691A (ja) 路面上パターン認識方法および車両用情報記録装置
JP2006036048A (ja) 車両ライト制御装置
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant