CN103786644A - 用于追踪外围车辆位置的装置和方法 - Google Patents

用于追踪外围车辆位置的装置和方法 Download PDF

Info

Publication number
CN103786644A
CN103786644A CN201210599202.3A CN201210599202A CN103786644A CN 103786644 A CN103786644 A CN 103786644A CN 201210599202 A CN201210599202 A CN 201210599202A CN 103786644 A CN103786644 A CN 103786644A
Authority
CN
China
Prior art keywords
vehicle
peripheral
visual angle
peripheral vehicle
converted image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210599202.3A
Other languages
English (en)
Other versions
CN103786644B (zh
Inventor
成甲济
李仲烈
安准植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of CN103786644A publication Critical patent/CN103786644A/zh
Application granted granted Critical
Publication of CN103786644B publication Critical patent/CN103786644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种用于追踪外围车辆位置的装置和方法。该装置包括：处理器；存储器；图像获取单元，被配置成接收来自于布置在车辆上的一个或多个摄像机的一个或多个图像；外围车辆检测单元，被配置成分析一个或多个图像以检测在一个或多个图像中的外围车辆；位置追踪单元，被配置成追踪在一个或多个图像中检测到的外围车辆的位置；视角转换单元，被配置成通过基于所述外围车辆的追踪位置对外围图像的视角进行转换，从而生成视角转换图像；以及输出控制单元，被配置成将视角转换图像输出到设置在该车辆中的显示器。

Description

用于追踪外围车辆位置的装置和方法
技术领域
本发明涉及一种用于追踪外围车辆位置的装置和方法，更特别涉及一种基于外围车辆的位置来提供视角转换图像的装置和方法。
背景技术
在驾驶车辆时，驾驶者通常利用后视镜和左右侧视镜来确定相邻/外围车辆的位置。很遗憾，使用此类镜子，尤其是侧视镜，存在一个明显的缺陷，即镜子的定位会产生驾驶者看不到的“盲区”。如果外围车辆位于驾驶者的盲区中，且如果驾驶者仅仅依靠单一的左、右侧视镜以及后视镜，则驾驶者可能无法察觉到该车辆。
解决该问题的传统方案是在车辆外部能够使摄像机拍摄到驾驶者盲区处图像的位置安装摄像机。然而遗憾的是，此类传统技术方案面临的一个不足是摄像机以固定的角度安装于车辆的外部。此外，此类传统技术方案通常在摄像机上安装广角镜头，以保证较宽的视野。但是不幸的是，使用广角镜头所提供的图像是扭曲且难以辨识的。特别地，广角镜头的使用使成像图像中实际覆盖驾驶者盲区的视野最小化了。因此，即便使用此类传统技术方案，位于驾驶者盲区中的车辆仍然有可能不被察觉，而这将导致事故的发生。因此，本领域需要一种使驾驶者能够识别并追踪驾驶者车辆附近的车辆、特别是位于驾驶者盲区中车辆的技术。
发明内容
因此，本发明提供一种用于追踪外围/相邻车辆的位置的装置和方法，其能够使用户利用通过基于外围车辆的位置对外围图像的视角进行转换的视角转换图像(view-converted image)来识别外围车辆的位置，并且将该视角转换图像提供给用户。此外，本发明还提供一种用于追踪外围车辆位置的装置和方法，其允许通过提供经视角转换以使被检测到的外围车辆的图像置于外围图像中央的图像，使驾驶者可以容易地识别出外围车辆的位置。
在本发明的一方面中，用于追踪外围车辆位置的装置包括：外围车辆检测单元，其分析由设置在车辆上的摄像机所获取的外围图像，以检测外围图像中的外围车辆；位置追踪单元，追踪在外围图像中所检测到的外围车辆的位置；视角转换单元，通过基于外围车辆的追踪位置对外围图像的视角(view)进行转换以生成视角转换图像；以及输出控制单元，允许视角转换图像通过设置在车辆中的显示器被输出。
视角转换单元可以将外围车辆的图像布置在视角转换图像中，以使外围车辆的图像被定位在视角转换图像的中央。视角转换单元可以修剪掉视角转换图像中除外围车辆之外的剩余图像区域。视角转换单元可产生视角转换图像，使其包含关于该车辆与外围车辆之间的位置关系的信息。
位置追踪单元可以在外围图像中检测到外围车辆期间，实时地更新外围车辆的位置信息。
在本发明的另一个方面，提供一种用于追踪外围车辆位置的方法，该方法包括：分析由设置于车辆上的摄像机所获取的外围图像，以检测外围图像中的外围车辆；追踪在外围图像中所检测到的外围车辆的位置；通过基于所述外围车辆的追踪位置对外围图像的视角进行转换以生成视角转换图像；以及允许视角转换图像通过设置在车辆中的显示器被输出。
在生成视角转换图像过程中，视角转换图像中的外围车辆的图像可被布置成被定位在视角转换图像的中央。该方法还可以包括修剪掉视角转换图像中除外围车辆之外的图像的剩余区域。在生成视角转换图像中，可以生成包含关于该车辆与外围车辆之间位置关系的信息的视角转换图像。
在外围车辆的位置的追踪过程中，可以在外围图像中检测到外围车辆期间实时地更新外围车辆的位置信息。
附图说明
通过以下的详细描述，并结合附图，本发明的以上和其它目的、特征和优点将会更加显而易见，其中：
图1示出一种可应用根据本发明示例性实施例的用于追踪外围车辆位置的装置的示例性情形；
图2是示出根据本发明示例性实施例的用于追踪外围车辆位置的装置的结构的方框图；
图3是用于描述根据本发明示例性实施例的用于追踪外围车辆的位置的视角转换操作的简图；
图4和5是示出在根据本发明示例性实施例的用于追踪外围车辆位置的装置中提供视角转换图像的例子的简图；以及
图6是示出根据本发明示例性实施例的用于追踪外围车辆位置的方法的操作流程的流程图。
附图标记说明：
10：车辆
11A、11B：摄像机
21、22：外围车辆
100：用于追踪外围车辆位置的装置
110：处理器
120：图像获取单元
130：输出单元
140：存储器
150：外围车辆检测单元
160：位置追踪单元
170：视角转换单元
180：输出控制单元
具体实施方式
下面详细参考本发明的各种实施方式，本发明的实施例在附图中被图解并且在下面被描述。尽管本发明将结合示范性实施例被描述，然而可以理解的是，本描述并不意在将本发明限制到那些示范性实施例上。相反地，本发明意在不仅仅覆盖示范性实施例，而且覆盖各种可选形式、变型、等价形式和其它实施例，其可被包含在由所附权利要求所限定的本发明的精神和范围中。
本文所用的术语仅用于描述特定实施例的目的，而并非旨在限制本发明。除非上下文明确指出，否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。还应该理解的是，在本说明书中使用“包括”和/或“包含”等术语时，是意图说明存在该特征、整数、步骤、操作、元素和/或组件，而不排除一个或多个其它特征、整数、步骤、操作、元素、组件、和/或其组合的存在或增加。如本文中所使用的，术语“和/或”包括一个或多个相关列出项目的任何和所有组合。
除非文中指明或显而易见的，否则此处所用的术语“大约”被理解为在本领域的正常公差范围内，例如在平均数的2个标准偏差内。“大约”可被理解为在规定值的10％，9％，8％，7％，6％，5％，4％，3％，2％，1％，0.5％，0.1％，0.05％，或0.01％内。除非文中另外明确指出，否则此处提供的所有数值都由“大约”修饰。
此处提供的范围应当被理解为范围内所有值的缩写。例如，范围1至50应当被理解为包含任意值，数字的集合，或包含1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32、33、34、35、36、37、38、39、40、41、42、43、44、45、46、47、48、49或50的组的子范围，以及介于上述整数之间的所有十进制数，例如，1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8和1.9。关于子范围，从范围内的任一末端延伸的“嵌套子范围”被明确预期。例如，示例范围1至50的嵌套子范围可包含在一个方向上的1～10、1～20、1～30、以及1～40，或者在另一个方向上的50～40、50～30、50～20，以及50～10。
此外地，应当理解为下述方法由至少一个控制器执行。术语控制器涉及包含存储器和处理器的硬件装置。该存储器被配置为储存模块，且处理器特别地被配置为执行所述模块以执行一个或多个程序，下面将进行描述。
此外，本发明的控制逻辑可被实施为包含由处理器、控制器等执行的可执行程序命令的计算机可读介质上的非短暂计算机可读介质。计算机可读介质的例子包括，但不局限于，ROM、RAM、光盘(CD)-ROM、磁带、闪存盘、智能卡和光数据存储装置。计算机可读记录介质也可以分布在连接计算机系统的网络中，以使计算机可读介质可以以分布式方式，例如，通过电信息通信服务器或控制器区域网(CAN)，被存储和执行。
图1示出可应用根据本发明示例性实施例的用于追踪外围车辆的位置的装置的示例性情形。参照图1，车辆10的左侧和右侧可设有用于拍摄车辆的外围图像的摄像机11a和11b。摄像机11a和11b在车辆10启动时工作，并且被配置成实时拍摄车辆10附近的移动物体(例如，外围车辆，位于驾驶者盲区中的车辆等)。尽管在本发明的示例性实施例中移动物体被描述成外围车辆21和22，然而可预期的是，在公开的范围内，移动物体可以是在车辆附近移动的任何目标，诸如行人，自行车等等。
由设置在车辆10左、右两侧的摄像机11a和11b所拍摄的外围图像可被传送至用于追踪外围车辆位置的装置100，并且用于追踪外围车辆位置的装置100基于由设置在车辆左、右侧的摄像机11a和11b所拍摄的外围图像追踪外围车辆21和22的位置，通过基于外围车辆21和22的追踪位置对外围图像的视角进行转换以生成视角转换图像，并且将所生成的视角转换图像实时地提供给用户。由于提供给用户的视角转换图像是基于外围车辆的位置、经视角转换过的图像，因此用户可以更加容易地识别外围车辆的位置。
用于追踪外围车辆位置的装置100可被实施为多种配置。例如，装置100可被实施在车辆10中作为车辆控制单元的模块化部件。此外，装置100还可被实施为独立模块的形式，然后连接于车辆控制单元。在另一个示例性实施例中，装置100可被实施为外部装置，且通过设置在车辆10的前面板中的接口单元等连接至车辆控制单元。如上所述，装置100实施在车辆10中的形式不限于任何一种方式。
因此，将参照图2详细描述用于追踪外围车辆位置的装置100(例如，控制器)的结构，该装置100向用户提供基于外围车辆21和22的位置的视角转换图像，图2示出根据本发明示例性实施例的用于追踪外围车辆位置的装置的结构的方框图。参照图2，根据本发明示例性实施例的用于追踪外围车辆位置的装置100被配置为包含处理器110和存储器140。在一个示例性实施例中，该装置可包含由处理器执行的多个单元(例如，软件模块)，这些单元包括：图像获取单元120，输出单元130，外围车辆检测单元150，位置追踪单元160，视角转换单元170，以及输出控制单元180。在此，处理器110控制用于追踪外围车辆位置的装置的每个单元的操作。
图像获取单元120获取由设置于车辆的至少一个摄像机所拍摄的车辆的外围图像。在此，图像获取单元120以预定的时间间隔，例如，时间间隔的范围可以是1-1000毫秒、1-60秒等，来获得为移动的外围车辆所拍摄的外围图像。
在此，设置在车辆上的摄像机可以是布置在车辆的前部，后部，左侧，和/或右侧的摄像机。此外，设置在车辆上的摄像机，除了布置于车辆前部、后部、左侧、和右侧之外，还可以是布置在其它方向上的摄像机。图像获取单元120被配置为允许将由布置在车辆前部、后部、左侧、和右侧的摄像机所拍摄的车辆前部，后部，左侧，和右侧的外围图像被存储到存储器140中。
输出单元130连接于显示单元，以便将来自视角转换单元170的视角转换图像输出到显示单元。在此，显示单元可以是设置在车辆中的监视器、导航系统等等。此外，显示单元可被配置在车辆驾驶期间易于被用户确认的位置。
用于说明地，可以在车辆的前面板中央布置一个显示单元，也可以在车辆的左、右车窗附近或者在车辆内部侧视镜的相应位置上设置两个显示单元。因此，将参照图4和图5详细说明通过显示单元输出视角转换图像的过程。
存储器140中存储用于追踪外围车辆位置的装置操作所需的设定值等。此外，存储器140还可存储由图像获取单元120获取的外围图像以及由视角转换单元170经视角转换过的视角转换图像。此外，存储器140还可存储从位置追踪单元160所追踪的外围车辆的各图像中提取的信息和位置信息。
外围车辆检测单元150分析来自于布置在车辆中的摄像机的外围图像，以检测外围图像中的外围车辆。作为例子，外围车辆检测单元150可从两个或多个外围图像中的不同图象检测移动的外围车辆。在外围车辆检测单元150中从外围图像中检测外围车辆的配置不限于任何一种配置，而是可以是通过图像分析来检测移动物体的任何一种配置。
位置追踪单元160追踪在外围图像中检测到的外围车辆的位置。在此情况下，位置追踪单元160于在外围图像中检测外围车辆期间实时地更新外围车辆的位置信息。换言之，只要外围车辆出现在设置于车辆的摄像机的拍摄范围内，位置追踪单元160就会实时地更新移动着的外围车辆的位置信息。作为一个例子，位置追踪单元160以预定间隔更新外围车辆的位置信息，直到外围车辆从车辆的左后方移至车辆的左前方为止。
在此，位置追踪单元160可以基于摄像机的设定值和外围车辆的方位角信息，坐标信息等来追踪外围车辆的位置，以及基于由设置在车辆上的多个传感器获取的传感器值来追踪外围车辆的位置。位置追踪单元160追踪外围车辆位置的配置并不限于任何一种配置，而是可以应用检测外围车辆位置的任何配置。视角转换单元170基于由位置追踪单元160所追踪的外围车辆的位置，对外围图像的视角进行转换以生成视角转换图像。在此情况下，视角转换单元170执行基于设置于车辆的摄像机的位置和方位角信息所生成的数学模型，并基于所生成的数学模型执行虚拟摄像头(virtual camera)。因此，视角转换单元170根据该外围车辆的追踪位置转换虚拟摄像头的视角，以便为原始的外围图像生成经视角转换的图像。
在此情况下，视角转换单元170将视角转换图像中的外围车辆的图像布置在视角转换图像的中央。同时，视角转换单元170还可修剪掉(crop)视角转换图像中除了外围车辆之外的其它图像区域。
此外，视角转换单元170基于相应车辆的位置信息以及所追踪的外围车辆的位置信息限定车辆与外围车辆之间的位置关系，并且在生成视角转换图像时将车辆与外围车辆之间的位置关系信息包含到视角转换图像中。车辆与外围车辆之间的位置关系的相关信息被显示在视角转换图像中的位置，可以是视角转换图像中的任何位置。
同时，当外围车辆的位置信息通过位置追踪单元160被更新时，视角转换单元170基于由图像获取单元120获得的外围图像和外围车辆的更新位置信息，为外围车辆生成更新位置的视角转换图像。下面将参照图3的(a)～(d)详细描述在视角转换单元170中根据外围车辆的位置生成视角转换图像的过程。
输出控制单元180允许通过视角转换单元170产生的视角转换图像通过输出单元130被输出。在此，通过输出单元130输出的视角转换图像，可通过设置于车辆中的显示器来显示。
图3中的(a)-(d)是用于描述根据本发明示例性实施例的用于追踪外围车辆的位置的视角转换操作的简图。尽管图3(a)-(d)中的例子是基于由用于追踪外围车辆位置的装置获取的外围图像中沿着车辆的侧方向获得的图像来描述的，然而根据示例性实施例，还适用于其它多个方向。
参考图3(a)-(d)，如图3(a)-(d)所示的原始图像是利用置于车辆的摄像机在预定时间间隔，通过拍摄外围车辆而获得的外围图像。在此，拍摄外围车辆时摄像机的角度是固定的。用于追踪外围车辆位置的装置检测如图3(a)-(d)所示的外围图像中的每个外围车辆，以便追踪在外围图像中检测到的外围车辆的位置，并且基于所跟踪的位置转换虚拟摄像头的视角。
在图3(a)所示的原始图像中，由于外围车辆位于相应车辆的左后方，因此用于追踪外围车辆位置的装置将虚拟摄像头的视角转换成适于车辆的左后方。此外，在图3(b)所示的原始图像中，由于外围车辆位于相应车辆的左后方，但相比图3(a)的位置位于靠前的位置，该用于追踪外围车辆位置的装置将虚拟摄像头的视角转换成适于所追踪外围车辆的位置。
此外，在图3(c)所示的原始图像中，由于外围车辆位于相应车辆的左方，因此用于追踪外围车辆位置的装置将虚拟摄像头的视角转换成适于车辆的左方。此外，在图3(d)所示的原始图像中，由于外围车辆位于相应车辆的左前方，因此用于追踪外围车辆位置的装置将虚拟摄像头的视角转换成适于车辆的左前方。
如上所述，用于追踪外围车辆位置的装置基于所追踪的外围车辆的位置对虚拟摄像头的视角进行转换，并且将各原始图像应用到经视角转换的虚拟摄像头以便适应于外围车辆的位置，由此生成视角转换图像。在此，生成的各个视角转换图像与图3(a)至(d)中示出的视角转换图像相对应。
用于追踪外围车辆位置的装置可以限定在获取各原始图像的时间点上相应车辆和外围车辆之间的位置关系，并且允许所限定的位置关系被显示在视角转换图像上。在此，相应车辆和外围车辆之间的位置关系可以以俯视的形式显示，且可以与外围车辆的移动轨迹一起被显示。例如，图像中包含的信息可以是从车辆至外围车辆的距离，或者外围车辆相对于车辆的位置角度(例如，外围车辆的接近或离开角，无论车辆之间的横向距离是否在减小，例如，外围车辆正在换入到该车辆的车道等)。位置信息还可包含外围车辆的移动方向，例如，可以是外围车辆正在超车，或被超车。
图4和5是示出在根据本发明示例性实施例的用于追踪外围车辆位置的装置中提供视角转换图像的例子的简图。
首先，图4示出显示单元布置在车辆前面板中央的一个例子。参照图4，用于追踪外围车辆位置的装置允许基于与车辆左方或右方获取的外围图像相关的外围车辆的位置而进行视角转换的视角转换图像，通过置于车辆前面板中央的显示单元被显示。
在此，显示单元的屏幕被分成两个屏幕，使得用于左侧外围车辆的视角转换图像和用于右侧外围车辆的视角转换图像可通过分开的屏幕分别被显示。
因此，通过显示在显示单元上的左侧视角转换图像和右侧视角转换图像，驾驶者可容易地识别车辆与位于车辆左侧或右侧的外围车辆之间的位置关系。
同时，图5示出两个显示单元分别布置于车辆前面板两侧的一个例子。参照图5，用于追踪外围车辆位置的装置允许基于在车辆左侧或右侧获得的外围图像相关的外围车辆的位置进行视角转换的视角转换图像，通过布置于车辆前面板左侧的第一显示单元和前面板右侧的第二显示单元分别被显示。
换言之，用于追踪外围车辆位置的装置允许用于左侧外围车辆的视角转换图像通过第一显示单元被显示，并且用于右侧外围车辆的视角转换图像通过第二显示单元被显示。
因此，通过显示在第一和第二显示单元上的左侧视角转换图像和右侧视角转换图像，驾驶者可容易地识别车辆与位于车辆左侧和右侧的外围车辆之间的位置关系。
下面将详细描述具有如上配置的根据本发明示例性实施例的用于追踪外围车辆位置的装置的操作流程。
图6是示出根据本发明示例性实施例的用于追踪外围车辆位置的方法的操作流程的流程图。参照图6，根据本发明示例性实施例的用于追踪外围车辆位置的装置获取由设置在车辆侧面的摄像头所拍摄的外围图像(S100)。然后，用于追踪外围车辆位置的装置检测在步骤S100中获得的外围图像中的外围车辆(S110)，并且追踪在步骤S110中检测的外围车辆的位置(S120)。接着，用于追踪外围车辆位置的装置基于步骤S120中追踪的外围车辆的位置，对在步骤S100获得的原始图像的视角进行转换，以生成视角转换图像(S130)，并允许在步骤S130中生成的视角转换图像通过设置在车辆中的输出单元被输出(S140)。步骤S100至S140重复执行，直到输入操作结束命令。因此，用于追踪外围车辆位置的装置实时地更新移动的外围车辆的位置，基于更新的外围车辆位置生成视角转换图像，并且将所生成的视角转换图像实时地提供给使用者。同时，当通过启动-停止、独立开关的操作等来输入操作结束命令时(S150)，用于追踪外围车辆位置的装置结束相应操作。
根据本发明的示例性实施例，基于外围车辆的位置对外围图像的视角进行转换，并进而提供给用户，使得用户可以通过视角转换图像来识别外围车辆的位置。
此外，根据本发明的示例性实施例，将经视角转换以便在外围图像中被检测到的外围车辆的图像置于外围图像中央的图像提供给用户，使得外围车辆的位置可容易地被识别。
尽管已经参照附图对根据本发明示例性实施例的用于追踪外围车辆位置的装置和方法进行了描述，然而本发明并不限于在本说明书中公开的示例性实施例和附图，在不脱离本发明原理和范围的情况下还可以对其进行修改。

Claims (12)

1.一种用于追踪外围车辆位置的装置，所述装置包括：
处理器；
存储器；
图像获取单元，被配置成接收来自于布置在车辆上的一个或多个摄像机的一个或多个图像；
外围车辆检测单元，被配置成分析所述一个或多个图像以检测在所述一个或多个图像中的外围车辆；
位置追踪单元，被配置成追踪在所述一个或多个图像中检测到的所述外围车辆的位置；
视角转换单元，被配置成通过基于所述外围车辆的追踪位置对所述外围图像的视角进行转换，从而生成视角转换图像；以及
输出控制单元，被配置成将所述视角转换图像输出到设置在所述车辆中的显示器。
2.如权利要求1所述的装置，其中所述视角转换单元被配置成将所述外围车辆定位在所述视角转换图像的中央。
3.如权利要求2所述的装置，其中所述视角转换单元对所述视角转换图像进行修剪，使得所述视角转换图像中仅保留所述外围车辆。
4.如权利要求1所述的装置，其中所述视角转换图像包含关于所述车辆与所述外围车辆之间的位置关系的信息。
5.如权利要求4所述的装置，其中所述信息选自与所述车辆的距离、相对于所述车辆的位置角度、以及相对于所述车辆的移动方向。
6.如权利要求所述1的装置，其中所述位置追踪单元被配置成在所述外围图像中检测到所述外围车辆期间，实时地更新所述外围车辆的位置信息。
7.一种用于追踪外围车辆位置的方法，所述方法包括：
接收来自于布置在车辆上的一个或多个摄像机的一个或多个图像；
分析所述一个或多个图像以检测所述一个或多个图像中的外围车辆；
追踪在所述一个或多个图像中检测到的所述外围车辆的位置；
通过基于所述外围车辆的追踪位置对所述一个或多个图像的视角进行转换，从而生成视角转换图像；以及
将所述视角转换图像输出到设置于所述车辆中的显示器。
8.如权利要求7所述的方法，其中所述外围车辆的图像被定位在所述视角转换图像的中央。
9.如权利要求8所述的方法，还包括对所述视角转换图像进行修剪，使得所述视角转换图像中仅保留所述外围车辆的图像。
10.如权利要求7所述的方法，其中所述视角转换图像被生成以便包含关于所述车辆与所述外围车辆之间的位置关系的信息。
11.如权利要求10所述的方法，其中所述信息选自与所述车辆的距离、相对于所述车辆的位置角度、以及相对于所述车辆的移动方向。
12.如权利要求10所述的方法，其中在所述外围图像中检测到所述外围车辆期间，实时地更新所述位置信息。
CN201210599202.3A 2012-10-31 2012-12-28 用于追踪外围车辆位置的装置和方法 Active CN103786644B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120122043A KR101896715B1 (ko) 2012-10-31 2012-10-31 주변차량 위치 추적 장치 및 방법
KR10-2012-0122043 2012-10-31

Publications (2)

Publication Number Publication Date
CN103786644A true CN103786644A (zh) 2014-05-14
CN103786644B CN103786644B (zh) 2018-04-20

Family

ID=50479743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210599202.3A Active CN103786644B (zh) 2012-10-31 2012-12-28 用于追踪外围车辆位置的装置和方法

Country Status (5)

Country Link
US (1) US9025819B2 (zh)
JP (1) JP6196444B2 (zh)
KR (1) KR101896715B1 (zh)
CN (1) CN103786644B (zh)
DE (1) DE102012223481B4 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108859958A (zh) * 2017-05-08 2018-11-23 现代自动车株式会社 图像转换装置
CN110023141A (zh) * 2016-11-30 2019-07-16 伟摩有限责任公司 用于在车辆转弯时调整虚拟相机的朝向的方法和系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491451B2 (en) 2011-11-15 2016-11-08 Magna Electronics Inc. Calibration system and method for vehicular surround vision system
US9598012B2 (en) * 2014-03-11 2017-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Surroundings monitoring system for a vehicle
KR102299501B1 (ko) * 2014-06-05 2021-09-09 현대자동차주식회사 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
DE112014007205B4 (de) * 2014-11-26 2020-12-17 Mitsubishi Electric Corporation Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
KR101714876B1 (ko) * 2015-06-01 2017-03-09 엘지전자 주식회사 차량 운전 보조 장치 및 차량
KR101860610B1 (ko) * 2015-08-20 2018-07-02 엘지전자 주식회사 디스플레이 장치 및 이를 포함하는 차량
JP6444835B2 (ja) * 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
CN110197587A (zh) * 2019-05-31 2019-09-03 京东方科技集团股份有限公司 一种行车处理方法，以及车辆、服务器和行车系统
US11238292B2 (en) * 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image
WO2022195323A1 (en) * 2021-03-15 2022-09-22 One Game Studio S.A.P.I De C.V. System and method to interpret a surround of a user to generate an augmented reality environment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
US20070230745A1 (en) * 2006-03-31 2007-10-04 Denso Corporation System, program, and apparatus for image processing
CN201499250U (zh) * 2009-03-25 2010-06-02 广东好帮手电子科技股份有限公司 一种车载全景监控倒车装置
CN201792814U (zh) * 2010-06-09 2011-04-13 德尔福技术有限公司 全方位泊车辅助系统
US20110293145A1 (en) * 2009-04-23 2011-12-01 Panasonic Corporation Driving support device, driving support method, and program

Family Cites Families (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7209221B2 (en) * 1994-05-23 2007-04-24 Automotive Technologies International, Inc. Method for obtaining and displaying information about objects in a vehicular blind spot
US7852462B2 (en) * 2000-05-08 2010-12-14 Automotive Technologies International, Inc. Vehicular component control methods based on blind spot monitoring
US20020080279A1 (en) * 2000-08-29 2002-06-27 Sidney Wang Enhancing live sports broadcasting with synthetic camera views
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
US6882287B2 (en) * 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
JP2004198211A (ja) * 2002-12-18 2004-07-15 Aisin Seiki Co Ltd 移動体周辺監視装置
JP4172284B2 (ja) 2003-02-13 2008-10-29 日産自動車株式会社 車両周辺監視装置
JP2005075190A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
DE102004004492A1 (de) * 2004-01-29 2005-08-18 Robert Bosch Gmbh Radarsystem für Kraftfahrzeuge
US7835854B2 (en) * 2004-02-20 2010-11-16 Sharp Kabushiki Kaisha Condition detection and display system, condition detection and display method, control program for condition detection and display system, and storage medium storing the control program
JP2005268847A (ja) * 2004-03-16 2005-09-29 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
JP4406381B2 (ja) * 2004-07-13 2010-01-27 株式会社東芝 障害物検出装置及び方法
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
JP4557819B2 (ja) * 2005-06-21 2010-10-06 アルパイン株式会社 車両周辺情報提供装置
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
FR2904910B1 (fr) * 2006-08-14 2009-02-06 Ulis Soc Par Actions Simplifie Detecteur de rayonnement infrarouge et dispositif d'aide a la conduite ou au pilotage comprenant un tel dispositif
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
US20080137910A1 (en) * 2006-11-27 2008-06-12 Hanae Suzuki Locating method for locating a predetermined spot on a road and a locating apparatus using the method
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
US7786849B2 (en) * 2007-02-02 2010-08-31 Chrysler Group Llc Trailer detection system
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
KR100836073B1 (ko) * 2007-02-07 2008-06-09 에이치케이이카 주식회사 캔통신을 이용한 차량용 영상블랙박스 시스템
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
JP4434224B2 (ja) * 2007-03-27 2010-03-17 株式会社デンソー 走行支援用車載装置
WO2008139516A1 (ja) * 2007-04-27 2008-11-20 Aisin Aw Co., Ltd. 運転支援装置
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
JP2009017462A (ja) * 2007-07-09 2009-01-22 Sanyo Electric Co Ltd 運転支援システム及び車両
JP4396743B2 (ja) * 2007-08-08 2010-01-13 トヨタ自動車株式会社 走行計画生成装置
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
JP5053776B2 (ja) * 2007-09-14 2012-10-17 株式会社デンソー 車両用視界支援システム、車載装置、及び、情報配信装置
DE102007045561B4 (de) * 2007-09-24 2018-02-15 Robert Bosch Gmbh Verfahren zum Betrieb eines Fahrerassistenzsystems
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US8190355B2 (en) * 2007-10-10 2012-05-29 International Business Machines Corporation Driving assistance and monitoring
JP2009096273A (ja) * 2007-10-16 2009-05-07 Hitachi Ltd 衝突回避制御装置
US20090140887A1 (en) * 2007-11-29 2009-06-04 Breed David S Mapping Techniques Using Probe Vehicles
JP4359710B2 (ja) * 2008-02-04 2009-11-04 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4416039B2 (ja) * 2008-03-19 2010-02-17 日本電気株式会社 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
WO2009119110A1 (ja) * 2008-03-27 2009-10-01 パナソニック株式会社 死角表示装置
JP4716139B2 (ja) * 2008-05-14 2011-07-06 アイシン精機株式会社 周辺監視装置
JP5177515B2 (ja) * 2008-06-02 2013-04-03 アイシン精機株式会社 周辺認知支援システム
TWM353849U (en) * 2008-09-17 2009-04-01 Jyh-Chiang Liou Integrated driving assistance apparatus
US8363104B2 (en) * 2008-09-25 2013-01-29 Clarion Co., Ltd. Lane determining device and navigation system
EP2377094B1 (en) * 2008-10-01 2014-06-11 Connaught Electronics Limited A method and a system for calibrating an image capture device
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5300443B2 (ja) * 2008-12-01 2013-09-25 富士通テン株式会社 画像処理装置
US20100201508A1 (en) * 2009-02-12 2010-08-12 Gm Global Technology Operations, Inc. Cross traffic alert system for a vehicle, and related alert display method
JP5233797B2 (ja) * 2009-03-30 2013-07-10 株式会社デンソー 移動体周辺撮影装置
KR100996482B1 (ko) 2009-04-02 2010-11-24 상지영서대학 산학협력단 원거리 차량 추적 시스템 및 방법
KR101023275B1 (ko) * 2009-04-06 2011-03-18 삼성전기주식회사 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛
JP5282816B2 (ja) * 2009-04-15 2013-09-04 トヨタ自動車株式会社 運転支援システム
JP5509712B2 (ja) * 2009-07-31 2014-06-04 富士通株式会社 運転支援システム、運転支援装置、運転支援方法、及び運転支援プログラム
EP2473871B1 (en) * 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP5240149B2 (ja) 2009-09-28 2013-07-17 三菱自動車工業株式会社 車両周辺監視装置
WO2011043006A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 制御装置および車両周囲監視装置
US20110080304A1 (en) * 2009-10-07 2011-04-07 Ford Global Technologies, Llc Vehicle Park Assist System and Method for Parking a Vehicle Using Such System
WO2011064831A1 (ja) * 2009-11-30 2011-06-03 富士通株式会社 診断装置及び診断方法
JP2011118483A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
US9165468B2 (en) * 2010-04-12 2015-10-20 Robert Bosch Gmbh Video based intelligent vehicle control system
US9047779B2 (en) * 2010-05-19 2015-06-02 Mitsubishi Electric Corporation Vehicle rear view monitoring device
WO2011158307A1 (ja) * 2010-06-18 2011-12-22 本田技研工業株式会社 運転者の車線変更意図を予測するシステム
US8620023B1 (en) * 2010-09-13 2013-12-31 The Boeing Company Object detection and location system
KR20120053713A (ko) * 2010-11-18 2012-05-29 에스엘 주식회사 차량용 카메라의 제어 장치 및 방법
JP2012119755A (ja) * 2010-11-29 2012-06-21 Panasonic Corp 運転支援表示装置
US9900522B2 (en) * 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
KR101199940B1 (ko) 2010-12-15 2012-11-09 전자부품연구원 이동체 탑재형 영상 추적 장치
JP5554261B2 (ja) * 2011-02-24 2014-07-23 アルパイン株式会社 立体物検出装置および立体物検出方法
WO2012145818A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Method and system for dynamically calibrating vehicular cameras
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
JP5668857B2 (ja) * 2011-07-29 2015-02-12 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9019347B2 (en) * 2011-10-13 2015-04-28 Aisin Seiki Kabushiki Kaisha Image generator
TWI458653B (zh) * 2011-10-25 2014-11-01 Altek Autotronics Corp 盲區偵測系統及其盲區偵測方法
US9146898B2 (en) * 2011-10-27 2015-09-29 Magna Electronics Inc. Driver assist system with algorithm switching
TWM437948U (en) * 2012-02-14 2012-09-21 Ken Sean Ind Co Ltd Vehicle traveling data recorder
US8930063B2 (en) * 2012-02-22 2015-01-06 GM Global Technology Operations LLC Method for determining object sensor misalignment
JP2013186245A (ja) * 2012-03-07 2013-09-19 Denso Corp 車両周辺監視装置
US9129211B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Bayesian network to track objects using scan points using multiple LiDAR sensors
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1344470A (zh) * 1999-04-16 2002-04-10 松下电器产业株式会社 图象处理装置及监视系统
US20070230745A1 (en) * 2006-03-31 2007-10-04 Denso Corporation System, program, and apparatus for image processing
CN201499250U (zh) * 2009-03-25 2010-06-02 广东好帮手电子科技股份有限公司 一种车载全景监控倒车装置
US20110293145A1 (en) * 2009-04-23 2011-12-01 Panasonic Corporation Driving support device, driving support method, and program
CN201792814U (zh) * 2010-06-09 2011-04-13 德尔福技术有限公司 全方位泊车辅助系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110023141A (zh) * 2016-11-30 2019-07-16 伟摩有限责任公司 用于在车辆转弯时调整虚拟相机的朝向的方法和系统
CN110023141B (zh) * 2016-11-30 2023-08-08 伟摩有限责任公司 用于在车辆转弯时调整虚拟相机的朝向的方法和系统
CN108859958A (zh) * 2017-05-08 2018-11-23 现代自动车株式会社 图像转换装置
CN108859958B (zh) * 2017-05-08 2022-05-24 现代自动车株式会社 图像转换装置

Also Published As

Publication number Publication date
DE102012223481A1 (de) 2014-04-30
KR20140055353A (ko) 2014-05-09
US9025819B2 (en) 2015-05-05
DE102012223481B4 (de) 2021-06-24
JP6196444B2 (ja) 2017-09-13
JP2014093071A (ja) 2014-05-19
CN103786644B (zh) 2018-04-20
KR101896715B1 (ko) 2018-09-07
US20140119597A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
CN103786644A (zh) 用于追踪外围车辆位置的装置和方法
US10960868B2 (en) Systems and methods for braking a vehicle based on a detected object
CN103778795B (zh) 用于辅助在无停车线区域停车的装置和方法
CN106853798B (zh) 用于提供车辆周围图像信息的系统和方法
CN110126820B (zh) 自动泊车系统、泊车方法及车辆
US20180334099A1 (en) Vehicle environment imaging systems and methods
CN103730026A (zh) 用于确定停车区的装置和方法
US20160314357A1 (en) Method and Device for Monitoring an External Dimension of a Vehicle
KR102288950B1 (ko) 차량 및 그 제어 방법
CN104424477A (zh) 用于检测障碍物的装置和方法
US11341682B2 (en) Testing and validation of a camera under electromagnetic interference
CN103853462A (zh) 车辆内使用手形痕迹识别提供用户界面的系统和方法
CN104517096A (zh) 环景监视系统的图像处理方法和系统
CN108169765A (zh) 提高自动驾驶可靠性的方法及电子设备
CN116674468A (zh) 影像显示方法及相关装置、车辆、存储介质和程序
US9308918B2 (en) Object collision warning system and method for a motor vehicle
JP6600342B2 (ja) 深度値に基づいたジェスチャ操作方法および深度値に基づいたジェスチャ操作システム
US9884589B2 (en) System and method for assisting vehicle driving for using smart phone
WO2018143064A1 (ja) 車載カメラ
EP3349201B1 (en) Parking assist method and vehicle parking assist system
JP5957182B2 (ja) 路面上パターン認識方法および車両用情報記録装置
CN114821544A (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
CN110995981B (zh) 图像处理装置及其控制方法、非暂时性可读记录介质、信息处理系统
KR102300652B1 (ko) 차량 및 그 제어 방법
KR101659276B1 (ko) Avm 시스템 및 avm 영상을 이용한 문 열림 감지 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant