CN110696743A - 用于车辆的广域环视监控装置及其控制方法 - Google Patents

用于车辆的广域环视监控装置及其控制方法 Download PDF

Info

Publication number
CN110696743A
CN110696743A CN201910610229.XA CN201910610229A CN110696743A CN 110696743 A CN110696743 A CN 110696743A CN 201910610229 A CN201910610229 A CN 201910610229A CN 110696743 A CN110696743 A CN 110696743A
Authority
CN
China
Prior art keywords
vehicle
image
camera
control unit
neighboring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910610229.XA
Other languages
English (en)
Other versions
CN110696743B (zh
Inventor
赵兴来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Mobis Co Ltd
Original Assignee
Hyundai Mobis Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Mobis Co Ltd filed Critical Hyundai Mobis Co Ltd
Publication of CN110696743A publication Critical patent/CN110696743A/zh
Application granted granted Critical
Publication of CN110696743B publication Critical patent/CN110696743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

用于车辆的广域环视监控装置，包括：相机模块，其安装在本车中，并且配置为获取环绕图像，无线发送所获取的环绕图像，无线接收来自邻近车辆的相机图像以测量RSSI，并且通过车辆网络发送具有本车的环绕图像和邻近车辆的相机图像的RSSI；控制单元，配置为从相机模块接收本车的环绕图像，邻近车辆的相机图像和RSSI，确定并输出与邻近车辆碰撞的可能性，通过将本车的环绕图像和邻近车辆的相机图像进行合成来配置广域SVM视图，并通过计算本车的可能驾驶空间来生成局部广域图像地图，从而通过加宽周围视野来增加驾驶员的驾驶便利性，支持基于局部广域图像地图的自动驾驶，并防止与邻近车辆发生碰撞。

Description

用于车辆的广域环视监控装置及其控制方法
相关申请的交叉引用
本申请要求2018年7月9日提交的、申请号为10-2018-0079384的韩国申请的优先权，其全部内容通过引用并入本文。
技术领域
本发明涉及一种用于车辆的广域环视监控装置及其控制方法，更具体地，涉及一种用于车辆的广域环视监控装置及其控制方法，其中所述用于车辆的广域环视监控装置接收来自邻近车辆的相机图像，通过将邻近车辆的相机图像与本车的环绕图像进行合成来生成广域环绕视图，通过图像之间的重叠程度提供防碰撞功能，并且生成环绕本车的局部广域图像地图。
背景技术
随着汽车工业的发展，车辆得到了广泛的普及。为了不仅提高车辆的稳定性而且促进驾驶员的便利性，各种高科技电子技术已被应用于车辆。
这种高科技电子技术可以包括用于车辆的环视监控系统，其捕获车辆周围环境的图像，并且为驾驶员显示俯视图或环视图，以便能以肉眼方便地检查周围环境。
用于车辆的环视监控系统通过安装在车辆的前部、后部、左侧和右侧的相机捕获周围环境的图像，基于捕获的图像校正重叠区域，使得重叠区域看起来自然，并在屏幕上显示车辆的周围环境。因此，驾驶员可以通过所显示的周围环境准确地识别车辆的周围环境，并且可以在不看侧视镜或后视镜的情况下方便地停放或驾驶车辆。
本发明的相关技术在2016年3月28日公布的题为“用于车辆的环视监控系统及其方法”、专利号为1603609的韩国专利中公开。
由于环视监控系统基于由安装在本车上的多个相机获取的有限图像来生成环绕视图，因此环视监控系统在将环视区域扩展到邻近车辆的图像区域以生成广域环绕视图时具有限制。此外，由于环视监控系统在不同时间合成图像帧，因此环视监控系统可能不会反映图像随时间的变化。
发明内容
本发明的实施方式涉及一种用于车辆的广域环视监控装置，其接收来自邻近车辆的相机图像，通过将邻近车辆的相机图像与本车的环绕图像进行合成来生成广域环绕视图，通过图像之间的重叠程度提供防碰撞功能，并且生成围绕本车的局部广域图像地图及其控制方法。
在一个实施方式中，用于车辆的广域环视监控装置可以包括：相机模块，其安装在本车中，并且被配置为获取环绕图像，无线地发送所获取的环绕图像，无线地接收来自邻近车辆的相机图像以测量接收信号强度指示(received signal strength indication,RSSI)，并且通过车辆网络发送具有本车的环绕图像和邻近车辆的相机图像的RSSI；控制单元，被配置为通过车辆网络从相机模块接收本车的环绕图像、邻近车辆的相机图像和RSSI，确定并输出与邻近车辆碰撞的可能性，通过将本车的环绕图像与邻近车辆的相机图像进行合成以配置广域环视监控(surround view monitoring,SVM)视图，并通过计算本车的可能驾驶空间来生成局部广域图像地图。
所述控制单元可基于RSSI，以及本车的环绕图像与邻近车辆的相机图像之间的重叠程度来确定与邻近车辆发生碰撞的可能性，并将确定结果输出到自动驾驶单元。
所述控制单元可以针对未接收到邻近车辆的相机图像的方向加宽相机模块的目标视图方向，并且获取本车的环绕图像以配置广域SVM视图。
相机模块可以是可变视场(field of view,FOV)相机模块，其上应用了包括多个透镜的多层透镜结构，并且所述相机模块的FOV是变化的，因为焦距和各个透镜的折射率是受控的。
控制单元可以将用于针对未接收到邻近车辆的相机图像的方向加宽FOV的控制信息发送到相机模块，然后获取本车的环绕图像以配置广域SVM视图。
控制单元可以基于到邻近车辆的接近距离，接近物体的识别状态和从相机模块输入的图像的最大区域来计算可能的驾驶空间，并且生成与导航系统相关的局部广域图像地图。
在另一个实施方式中，一种用于车辆的广域环视监控装置的控制方法可以包括：由相机模块获取本车的环绕图像；由相机模块无线地接收来自邻近车辆的相机图像；由相机模块测量接收到的相机图像的RSSI；由相机模块通过车辆网络发送具有本车的环绕图像和邻近车辆的相机图像的RSSI；由控制单元从相机模块接收具有本车的环绕图像和邻近车辆的相机图像的RSSI，并确定与邻近车辆发生碰撞的可能性；由控制单元通过将本车的环绕图像与邻近车辆的相机图像进行合成来配置广域SVM视图；以及由控制单元通过计算本车的可能驾驶空间来生成局部广域图像地图。
所述确定与邻近车辆发生碰撞的可能性可以包括：由控制单元确定本车的环绕图像与邻近车辆的相机图像之间的重叠程度；由控制单元基于RSSI确定到邻近车辆的车辆间距离；以及由控制单元基于重叠程度和车辆间距离确定与邻近车辆发生碰撞的可能性。
该控制方法还可以包括由控制单元将与邻近车辆发生碰撞的可能性输出到自动驾驶单元。
所述配置广域SVM视图可以包括：由控制单元确定是否存在未接收到邻近车辆的相机图像的方向；当存在未接收到邻近车辆的相机图像的方向时，由控制单元在未接收到邻近车辆的相机图像的方向上扩展本车的环绕图像；并且，由控制单元通过将本车的环绕图像与邻近车辆的相机图像进行合成来配置广域SVM视图。
在扩展本车的环绕图像中，控制单元可以针对未接收到邻近车辆的相机图像的方向加宽相机模块的目标视图方向，并获取本车的环绕图像。
在扩展本车的环绕图像中，控制单元可以将用于针对未收到邻近车辆的相机图像的方向加宽FOV的控制信息发送到相机模块，然后获取本车的环绕图像。
所述生成局部广域图像地图可以包括：由控制单元计算到邻近车辆的接近距离；由控制单元识别接近物体；由控制单元基于到邻近车辆的接近距离，接近物体的识别状态和从相机模块输入的图像的最大区域计算可能的驾驶空间；以及，由控制单元根据可能的驾驶空间，生成与导航系统相关的局部广域图像地图。
所述生成局部广域图像地图还可以包括：由控制单元执行感测频率控制和相机FOV控制，用于根据可能的驾驶空间扩展相机模块的图像。
根据本发明的实施例，用于车辆的广域环视监控装置及其控制方法可以通过接收来自邻近车辆的相机图像，并将本车的环绕图像和所述相机图像进行合成来生成广域环绕视图，通过图像之间的重叠程度提供防碰撞功能，并生成围绕本车的局部广域图像地图。因此，当车辆在高速公路上行驶，在市中心的街道上低速行驶或处于停车模式时，广域环视监控装置和控制方法可以通过加宽周围视野来增加驾驶员的驾驶便利性，支持基于局部广域图像地图的自动驾驶，而无需添加高分辨率HD地图和高性能GPS或IMU，并防止与邻近车辆发生碰撞。
附图说明
图1是示出了根据本发明实施例的用于车辆的广域环视监控装置的框图；
图2是示出了根据本发明实施例的用于车辆的广域环视监控装置中的相机模块排布的图；
图3A和3B是示出了根据本发明实施例的用于车辆的广域环视监控装置中图像彼此重叠的图；
图4A至4C是示出了根据本发明实施例的用于车辆的广域环视监控装置配置广域环视监控(surround view monitoring,SVM)视图的示例的图；
图5A至5D是示出了根据本发明实施例的用于车辆的广域环视监控装置扩展图像以配置广域SVM视图的示例的图；
图6A和6B是示出了根据本发明实施例的用于车辆的广域环视监控装置配置局部广域图像地图的示例的图；
图7A至7D是示出了根据本发明实施例的用于车辆的广域环视监控装置扩展用于生成局部广域图像地图的示例的图；
图8是用于描述根据本发明实施例的用于车辆的广域环视监控装置的控制方法的流程图；和
图9是用于描述在根据本发明实施例的用于车辆的广域环视监控装置的控制方法中配置局部广域图像地图的过程的流程图。
具体实施方式
在下文中参考示出本发明的实施例的附图更全面地描述本发明。然而，本发明可以以许多不同的形式实施，并且不应该被解释为限于本文阐述的实施方式。相反，提供这些实施方式是为了使本公开彻底，并且完全地将本发明的范围传达给本领域技术人员。附图中相同的附图标记表示相同的元件。
从参考附图对实施方式的以下描述，本发明的各种优点和特征以及实现其的方法将变得显而易见。然而，本发明可以以许多不同的形式实现，而不限于本文阐述的实施方式。可以提供本发明的实施方式以使本发明的公开内容完整，并且完全地将本发明的范围传达给本领域技术人员，因此本发明将在权利要求的范围内进行限定。贯穿说明书中的相同的附图标记表示相同的元件。
除非另外定义，否则应理解，说明书中使用的所有术语(包括技术和科学术语)具有与本领域技术人员所理解的术语相同的含义。此外，除非明确定义，否则通常使用的字典所定义的术语不应理想地或过于正式地定义。应当理解，出于本公开的目的，“X，Y和Z中的至少一个”可以被解释为仅X，仅Y、Z，或者X、Y和Z中两个或更多个项的任意组合(例如，XYZ，XYY，YZ，ZZ)。除非特别相反地描述，否则本文所述的术语“包括”，“配置”，“具有”等将被理解为暗示包含所述组件，因此应被解释为包括其他组件，而不是排除任何其他元素。
除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。诸如在常用词典中定义的那些术语应当被解释为具有与其在相关领域的上下文中的含义一致的含义，并且除非在此明确定义，将不以理想化或过于正式的含义来解释。
如在相应领域中的传统，一些示例性实施例可以在附图中以功能块、单元和/或模块方式示出。本领域普通技术人员将理解，这些块、单元和/或模块通过电子(或光学)电路，例如逻辑电路、离散组件、处理器、硬连线电路、存储元件、接线等物理地实现。当所述块、单元和/或模块由处理器或类似硬件实现时，可以使用软件(例如，代码)对它们进行编程和控制，以执行本文所讨论的各种功能。或者，每个块、单元和/或模块可以由专用硬件实现，或者实现为执行某些功能的专用硬件和执行其他功能的处理器(例如一个或多个编程处理器和相关电路)的组合。在不脱离本发明构思的范围的情况下，一些示例性实施例的每个块、单元和/或模块可以在物理上分成两个或更多个交互的和离散的块、单元和/或模块。此外，在不脱离本发明构思的范围的情况下，一些示例性实施例的块、单元和/或模块可以物理地组合成更复杂的块、单元和/或模块。
以下，将参照附图详细描述根据本发明的实施例的用于车辆的广域环视监控装置及其控制方法。应当注意，附图不是精确的比例，并且为了描述方便和清楚起见，可能夸大线的粗细或部件的尺寸。此外，本文使用的术语是通过考虑本发明的功能来定义的，并且可以根据用户或操作者的习惯或意图来改变。因此，术语的定义应根据本文所述的总体公开内容进行。
图1是示出了根据本发明实施例的用于车辆的广域环视监控装置的框图，图2是示出了根据本发明实施例的用于车辆的广域环视监控装置中的相机模块排布的图，图3A和3B是示出了根据本发明实施例的用于车辆的广域环视监控装置中图像彼此重叠的图，图4A至4C是示出了根据本发明实施例的用于车辆的广域环视监控装置配置广域环视监控(SVM)视图的示例的图，图5A至5D是示出了根据本发明实施例的用于车辆的广域环视监控装置扩展图像以配置广域SVM视图的示例的图，图6A和6B是示出了根据本发明实施例的用于车辆的广域环视监控装置配置局部广域图像地图的示例的图，图7A至7D是示出了根据本发明实施例的用于车辆的广域环视监控装置扩展用于生成局部广域图像地图的示例的图。
如图1和图2中所示，根据本发明实施例的用于车辆的广域环视监控设备可包括相机模块100和控制单元200。
如图2所示，相机模块100可以安装在本车的前、后、左、右和中心，获取环绕图像，无线地发送所获取的环绕图像，无线地接收来自邻近车辆的相机图像，计算接收信号强度指示(Received Signal Strength Indication,RSSI)，并通过车辆网络发送具有本车的环绕图像和邻近车辆的相机图像的RSSI。
在本实施例中，相机模块100可以是可变视场(Field Of View,FOV)相机模块，其上应用包括多个透镜的多层透镜结构，并且其中FOV是变化的，因为焦距和各个透镜的折射率是受控的。
该可变FOV相机模块可以通过根据施加到其上的电信号改变构成各个透镜的晶体材料的特性来控制各个透镜的折射率。此外，随着焦距减小，所述FOV可以增加而分辨率可以降低，并且随着焦距增加，所述FOV可以减小而分辨率可以提高。因此，可变FOV相机模块可以通过焦距和各个透镜的折射率的组合而具有各种FOV。也就是说，可变FOV相机模块的FOV是可以变化的。
可以如下所述更详细地描述相机模块100的配置。相机模块100可以包括用于控制相机模块100的操作的CPU，和用于临时存储通过图像传感器获取的环绕图像或者不仅存储相机模块100的控制信息并且存储用于操作相机模块100的程序的存储器。
这样来说，相机模块100可以通过由图像传感器感测周围环境来获取环绕图像，通过由无线发送器/接收器与邻近车辆的相机通信来接收邻近车辆的相机图像，当向邻近车辆无线地发送相机图像或无线地接收来自邻近车辆的相机图像时，通过编码/解码模块维持安全性，通过RSSI测量模块测量接收来自邻近车辆的图像信号的RSSI，然后基于通过定位确定模块测量到的RSSI确定与邻近车辆的车辆间距离。
此外，相机模块100可以包括可变FOV控制模块，用于通过调整相机模块100的FOV，和控制图像传感器的感测频率来获取扩展图像。
相机模块100可以通过车辆网络接口(interface,I/F)，将具有本车的环绕图像和邻近车辆的相机图像的RSSI发送到控制单元200，其中控制单元200是基于控制器局域网(Controller Area Network,CAN)或以太网。
控制单元200可以通过车辆网络I/F从相机模块100接收本车的环绕图像、邻近车辆的相机图像和RSSI，将接收到的信息存储在存储器中，通过重叠区域、接近距离确定模块和碰撞确定模块确定与邻近车辆碰撞的可能性，输出所确定的可能性，由广域SVM配置模块通过合成本车的环绕图像和邻近车辆的相机图像来配置广域SVM视图，由可能的驾驶空间计算模块和局部广域图像地图生成模块通过计算本车的可能驾驶空间生成局部广域图像地图，并输出生成的局部广域图像地图到显示单元300和自动驾驶单元400。
更具体地，控制单元200可以分别从前摄像头模块110、后摄像头模块120、左摄像头模块130、右摄像头模块140和中心摄像头模块150接收本车的环绕图像，它们安装在如图2所示的本车的前部、后部、左侧、右侧和中央。
每个相机模块100可以根据FOV控制和感测频率控制来获取环绕图像，所述FOV控制和感测频率控制由控制单元200通过可变FOV控制模块执行。
控制单元200可以基于RSSI以及本车的环绕图像与邻近车辆的相机图像之间的重叠程度来确定与邻近车辆碰撞的可能性，如图3所示。
也就是说，当本车的环绕图像和邻近车辆的相机图像如图3A所示彼此不重叠时，不存在碰撞的可能性。此外，即使当RSSI低时，碰撞的可能性也可能低。
在图3B中所示的情况下，然而，本车的环绕图像和邻近车辆的相机图像可以彼此部分地重叠。在这种情况下，控制单元200可以甚至通过RSSI确定本车与邻近车辆接近，并确定碰撞的可能性高。
控制单元200可以将碰撞可能性的确定结果输出到自动驾驶单元400，并且根据与邻近的车辆碰撞的可能性，控制自主驾驶单元400执行转向和制动控制并发出碰撞警告。
控制单元200可以经由广域SVM配置模块，通过将本车的环绕图像与邻近车辆的相机图像进行合成来配置广域SVM视图，如图4A至4C所示。
也就是说，当邻近车辆如图4A所示地出现在本车周围时，使得邻近车辆的相机图像在所有方向上被接收，邻近车辆的相机图像可以被布置在如图4B所示的本车的环绕图像的边缘处。因此，当控制单元200将本车的环绕图像与邻近车辆的相机图像合成时，可以如图4C所示配置广域SVM视图，从而扩展了本车的可见区域。
另一方面，当存在如5A至图5D所示的，存在未接收到邻近车辆的相机图像的方向时，控制单元200可以扩展相机模块100的目标视图方向，并获取本车的环绕图像以配置广域SVM视图。
或者，控制单元200可以通过可变FOV控制模块将用于加宽FOV的控制信息发送到相机模块100，然后获取本车的环绕图像以配置广域SVM视图。
也就是说，当如图5A所示，在本车的左侧不存在邻近车辆时，邻近车辆的相机图像可以如图5C所示不设置在本车的环绕图像的边缘的左侧。因此，控制单元200可以如图5B所示地扩展本车的环绕图像，并通过将本车的环绕图像与邻近车辆的相机图像进行合成配置如图5D所示的广域SVM视图，从而扩展本车的可见区域。
控制单元200可基于与邻近车辆的接近距离，接近物体的识别状态和从相机模块输入的图像的最大区域来计算可能的驾驶空间，并生成与导航系统相关的局部广域图像地图。
如图6A中所示，控制单元200可以通过以高相机感测频率，周期性地改变相机模块100的FOV来扩展和获取本车的环绕图像，并且识别与邻近车辆和接近物体的接近距离。
如图6B所示，当控制单元200计算本车周围的广域中的可能驾驶空间，并且配置与导航系统相关的局部广域图像地图时，自动驾驶单元400可以仅通过由导航系统提供的最小GPS信息执行用于自动驾驶的全局和局部路径规划，而无需高分辨率HD地图和高性能GPS/IMU传感器的帮助。
当改变相机模块100的感测频率时，控制单元200可以利用在下一个感测周期中的相机模块100的图像，来补偿低质量图像区域或由于车辆的移动而未确保的图像区域，从而确保整个广域图像数据。以这种方式确保的局部广域图像地图可以存储在车辆内的存储空间中，或者输出到显示单元300和自动驾驶单元400。
当通过增加相机感测频率及改变FOV来配置局部广域图像地图时，控制单元200可以考虑车辆速度和时间信息主动地改变和控制相机模块100的感测频率和FOV，使得广域图像数据可以充分地覆盖车辆移动距离，以配置没有未确保的图像的连续且自然的局部广域图像地图。
控制单元200可以通过如图7A至7C所示将第一阶段中的相机模块100的FOV改变到第三阶段中的相机模块100的FOV来合并/合成图像(如图7D所示)，从而确保广域图像数据。
根据本发明的实施方式，用于车辆的广域环视监控装置可以通过从邻近车辆接收相机图像，并且利用相机图像合成本车的环绕图像来生成广域环绕视图，通过图像之间的重叠程度提供防碰撞功能，并生成围绕本车的局部广域图像地图。因此，当车辆在高速公路上行驶，在市中心街道上低速行驶或处于停车模式时，该广域环视监控装置可以通过加宽周围视野来增加驾驶员的驾驶便利性，支持基于局部广域图像地图的自动驾驶，而无需添加高分辨率HD地图和高性能GPS或IMU，并可防止与邻近车辆发生碰撞。
图8是用于描述根据本发明实施例的用于车辆的广域环视监控装置的控制方法的流程图，图9是用于描述在根据本发明实施例的用于车辆的广域环视监控装置的控制方法中配置局部广域图像地图的过程的流程图。
如图8中所示，根据本发明的实施例的用于车辆的广域环视监控装置的控制方法可以从步骤S10开始，其中相机模块100获取本车的环绕图像。
在步骤S10中获取本车的环绕图像之后，相机模块100可以在步骤S20中无线地接收来自邻近车辆的相机图像。
在步骤S20中无线地接收来自邻近车辆的相机图像之后，相机模块100可以在步骤S30中无线地测量相机图像的RSSI。
在步骤S30中测量相机图像的RSSI之后，相机模块100可以在步骤S40中通过车辆网络将具有本车的环绕图像和邻近车辆的相机图像的RSSI发送到控制单元200。
在步骤S50中，控制单元200可以接收在步骤S40中通过车辆网络发送的本车的环绕图像、邻近车辆的相机图像和RSSI。
在步骤S50中接收到从相机模块100发送的本车的环绕图像和邻近车辆的相机图像之后，控制单元200可以在步骤S60中确定本车的环绕图像和邻近车辆的相机图像之间的重叠区域，并基于RSSI确定与邻近车辆的接近距离。
在步骤S60中确定重叠区域和接近距离之后，控制单元200可以在步骤S70中基于该重叠区域和接近距离确定与邻近车辆碰撞的可能性，并将碰撞可能性输出到自动驾驶单元400。
控制单元200可以基于RSSI，以及如图3所示的本车的环绕图像与邻近车辆的相机图像之间的重叠程度来确定与邻近车辆碰撞的可能性。
也就是说，当本车的环绕图像和邻近车辆的相机图像如图3A所示彼此不重叠时，不存在碰撞的可能性。此外，即使当RSSI低时，碰撞的可能性也可能低。
在图3B中所示的情况下，然而，本车的环绕图像和邻近车辆的相机图像可以彼此部分地重叠。在这种情况下，控制单元200可以通过RSSI确定本车与邻近车辆接近，并确定碰撞的可能性高。
这样，控制单元200可以将碰撞可能性的确定结果输出到自动驾驶单元400，从而控制自主驾驶单元400根据与邻近车辆发生碰撞的可能性，执行转向和制动控制并发出碰撞警告。
在步骤S70中确定与邻近车辆碰撞的可能性之后，控制单元200可以在步骤S80中通过将本车的环绕图像与邻近车辆的相机图像进行合成来配置广域SVM视图。
当邻近车辆如图4A所示地存在于本车周围时，使得邻近车辆的相机图像在所有方向上被接收，邻近车辆的相机图像可以被布置在如图4B所示的本车的环绕图像的边缘处。因此，控制单元200可以通过将本车的环绕图像与邻近车辆的相机图像进行合成来配置如图4C中所示的广域SVM视图，从而扩展本车的可见区域。
另一方面，如图5A至图5D中所示，当存在未接收到邻近车辆的相机图像的方向时，控制单元200可以扩展相机模块100的目标视图方向以获取本车的环绕图像，并配置广域SVM视图。
或者，在步骤S85中，控制单元200可以将用于加宽FOV的相机控制信息发送到相机模块100。
当控制单元200在步骤S85中发送用于改变相机模块100的FOV的相机控制信息时，相机模块100可以在步骤S110中接收相机控制信息，并且重复获取环绕图像的过程。
这样，控制单元200可以通过合成本车的环绕图像和邻近车辆的相机图像来配置广域SVM视图，其中所述本车的环绕图像在将用于加宽FOV的控制信息在步骤S85中发送到相机模块100之后获取。
也就是说，即使如图5A所示在本车的左侧不存在邻近车辆时，邻近车辆的相机图像可以如图5C所示不设置在本车的环绕图像边缘的左侧。因此，控制单元200可以通过如图5B所示扩展本车的环绕图像，及将本车的扩展环绕图像和邻近车辆的相机图像合成来配置如图5D所示的广域SVM视图，从而扩展本车的可见区域。
在步骤S80中配置广域SVM视图之后，控制单元200可以在步骤S90中计算本车的可能驾驶空间。
在步骤S90中计算本车的可能驾驶空间之后，控制单元200可以在步骤S105中将用于FOV控制和感测频率控制的相机控制信息发送到相机模块100。然后，在步骤S100中，控制单元200可以基于从相机模块100接收的本车的环绕图像生成局部广域图像地图。
将参考图9更详细地描述生成局部广域图像地图的过程。在步骤S200中，控制单元200可以基于本车的环绕图像、邻近车辆的相机图像和RSSI来计算到邻近车辆的接近距离。
基于在步骤S200中计算的接近距离，控制单元200可以在步骤S210中识别接近物体。
基于在步骤S200中计算的到邻近车辆的接近距离，在步骤S210中识别的接近物体的状态，以及通过改变FOV从相机模块100输入的图像的最大区域，控制单元200可以在步骤S220中计算本车的可能驾驶空间。
控制单元200可以在步骤S230中接收与导航系统相关的GPS信息。
在步骤S220中计算本车的可能驾驶空间之后，控制单元200可以在步骤S240中根据可能的驾驶空间，通过用于扩展相机模块的图像的相机FOV控制来改变FOV，并且在步骤S250中执行感测频率控制。
然后，在步骤S260中，控制单元200可以基于从相机模块100接收的本车的环绕图像生成局部广域图像地图。
如图6A中所示，控制单元200可以通过以高相机感测频率周期性地改变相机模块100的FOV来扩展和获取本车的环绕图像，并且识别到邻近车辆和接近物体的接近距离。
当控制单元200通过计算如图6B所示的本车周围广域的可能驾驶空间来配置与导航系统相关的局部广域图像地图时，自动驾驶单元400可以仅通过导航系统提供的最小GPS信息执行用于自动驾驶的全局和局部路径规划，而无需高分辨率HD地图和高性能GPS/IMU传感器的帮助。
当改变相机模块100的感测频率时，控制单元200可以利用在下一个感测周期中的相机模块100的图像，来补偿低质量图像区域或由于车辆的移动而未确保的图像区域，从而确保整个广域图像数据。
当通过增加相机感测频率及改变FOV来配置局部广域图像地图时，控制单元200可以考虑车辆速度和时间信息来主动地改变和控制相机模块100的感测频率和FOV，使得广域图像数据可以充分地覆盖车辆移动距离，以配置没有未确保的图像的连续且自然的局部广域图像地图。
在步骤S100中生成的局部广域图像地图可以存储在车辆内的存储空间中，或者在步骤S120中输出到显示单元300和自动驾驶单元400。
根据本发明的实施方式，用于车辆的广域环视监控装置的控制方法可以通过接收来自邻近车辆的相机图像，并且将本车的环绕图像和所述相机图像进行合成来生成广域环绕视图，通过图像之间的重叠程度提供防碰撞功能，并生成本车周围的局部广域图像地图。因此，当车辆在高速公路上行驶，在市中心的街道上低速行驶或处于停车模式时，该控制方法可以通过加宽周围视野来增加驾驶员的驾驶便利性，支持基于局部广域图像地图的自动驾驶，而无需添加高分辨率HD地图和高性能GPS或IMU，并防止与邻近车辆发生碰撞。
尽管出于说明性目的公开了本发明的优选实施方式，但是本领域技术人员将理解，在不脱离技术方案限定的本发明的范围和精神的情况下，各种修改、添加和替换是可能的。

Claims (14)

1.一种用于车辆的广域环视监控装置，包括：
相机模块，其安装在本车中并且被配置为获取环绕图像，无线地发送所述获取的环绕图像，无线地接收来自邻近车辆的相机图像以测量接收信号强度指示(RSSI)，并且通过车辆网络发送具有所述本车的环绕图像和所述邻近车辆的相机图像的所述RSSI；和
控制单元，被配置为通过所述车辆网络从所述相机模块接收所述本车的环绕图像，所述邻近车辆的相机图像和所述RSSI，确定并输出与所述邻近车辆发生碰撞的可能性，通过将所述本车的环绕图像和所述邻近车辆的相机图像进行合成以配置广域环视监控(SVM)视图，并通过计算所述本车的可能驾驶空间来生成局部广域图像地图。
2.根据权利要求1所述的广域环视监控装置，其中所述控制单元基于所述RSSI以及所述本车的环绕图像与所述邻近车辆的相机图像之间的重叠程度来确定与所述邻近车辆发生碰撞的可能性，并将确定结果输出到自动驾驶单元。
3.根据权利要求1所述的广域环视监控装置，其中所述控制单元针对未接收到所述邻近车辆的相机图像的方向加宽所述相机模块的目标视图方向，并获取所述本车的环绕图像以配置所述广域SVM视图。
4.根据权利要求1所述的广域环视监控装置，其中所述相机模块是可变视场(FOV)相机模块，其上应用包括多个透镜的多层透镜结构，并且所述相机模块的FOV是变化的，因为焦距和各个透镜的折射率是受控的。
5.根据权利要求4所述的广域环视监控装置，其中所述控制单元将用于针对未接收到所述邻近车辆的相机图像的方向加宽FOV的控制信息发送到所述相机模块，然后获取所述本车的环绕图像用以配置所述广域SVM视图。
6.根据权利要求1中所述的广域环视监控装置，其中所述控制单元基于到所述邻近车辆的接近距离，接近物体的识别状态以及从所述相机模块输入的图像的最大区域来计算可能的驾驶空间，并生成与导航系统相关的所述局部广域图像地图。
7.一种用于车辆的广域环视监控装置的控制方法，包括：
由相机模块获取本车的环绕图像；
由所述相机模块无线地接收来自邻近车辆的相机图像；
由所述相机模块测量接收到的相机图像的RSSI；
由所述相机模块通过车辆网络发送具有所述本车的环绕图像和所述邻近车辆的相机图像的所述RSSI；
由控制单元从所述相机模块接收具有所述本车的环绕图像和所述邻近车辆的相机图像的所述RSSI，并确定与所述邻近车辆发生碰撞的可能性；
由所述控制单元通过将所述本车的环绕图像与所述邻近车辆的相机图像进行合成来配置广域SVM视图；以及
由所述控制单元通过计算所述本车的可能驾驶空间来生成局部广域图像地图。
8.根据权利要求7所述的控制方法，其中所述确定与所述邻近车辆发生碰撞的可能性包括：
由所述控制单元确定所述本车的环绕图像与所述邻近车辆的相机图像之间的重叠程度；
由所述控制单元基于所述RSSI确定到所述邻近车辆的车辆间距离；以及
由所述控制单元基于所述重叠程度和所述车辆间距离确定与所述邻近车辆发生碰撞的可能性。
9.根据权利要求8所述的控制方法，还包括由所述控制单元将与所述邻近车辆发生碰撞的可能性输出到自动驾驶单元。
10.根据权利要求7所述的控制方法，其中所述配置广域SVM视图包括：
由所述控制单元确定是否存在未接收到所述邻近车辆的相机图像的方向；
当存在未接收到所述邻近车辆的相机图像的方向时，由所述控制单元在未接收到所述邻近车辆的相机图像的方向上扩展所述本车的环绕图像；以及
由所述控制单元通过将所述本车的环绕图像与所述邻近车辆的相机图像进行合成来配置所述广域SVM视图。
11.根据权利要求10所述的控制方法，其中在扩展所述本车的环绕图像中，所述控制单元针对未接收到所述邻近车辆的相机图像的方向加宽所述相机模块的目标视图方向，并获取所述本车的环绕图像。
12.根据权利要求10所述的控制方法，其中在扩展所述本车的环绕图像中，所述控制单元将用于针对未收到所述邻近车辆的相机图像的方向加宽FOV的控制信息发送到所述相机模块，然后获取所述本车的环绕图像。
13.根据权利要求7所述的控制方法，其中所述生成局部广域图像地图包括：
由所述控制单元计算到所述邻近车辆的接近距离；
由所述控制单元识别接近物体；
由所述控制单元基于到所述邻近车辆的接近距离，接近物体的识别状态和从所述相机模块输入的图像的最大区域计算可能的驾驶空间；以及
由所述控制单元根据所述可能的驾驶空间生成与导航系统相关的所述局部广域图像地图。
14.根据权利要求13所述的控制方法，其中所述生成局部广域图像地图还包括：由所述控制单元执行感测频率控制和相机FOV控制，用于根据可能的驾驶空间扩展所述相机模块的图像。
CN201910610229.XA 2018-07-09 2019-07-08 用于车辆的广域环视监控装置及其控制方法 Active CN110696743B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0079384 2018-07-09
KR1020180079384A KR102554594B1 (ko) 2018-07-09 2018-07-09 차량의 광역 서라운드 뷰 모니터링 장치 및 그 제어방법

Publications (2)

Publication Number Publication Date
CN110696743A true CN110696743A (zh) 2020-01-17
CN110696743B CN110696743B (zh) 2023-12-26

Family

ID=69101801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910610229.XA Active CN110696743B (zh) 2018-07-09 2019-07-08 用于车辆的广域环视监控装置及其控制方法

Country Status (3)

Country Link
US (1) US20200010017A1 (zh)
KR (1) KR102554594B1 (zh)
CN (1) CN110696743B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113183878A (zh) * 2021-04-15 2021-07-30 杭州鸿泉物联网技术股份有限公司 360度环视方法、装置、车辆和电子设备
CN113660391A (zh) * 2020-04-29 2021-11-16 三星电机株式会社 使用车辆相机的系统、方法和车辆

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
US11410545B2 (en) * 2019-07-19 2022-08-09 Ford Global Technologies, Llc Dynamic vehicle perimeter definition and reporting
KR102131717B1 (ko) * 2020-02-26 2020-07-09 주식회사 아이오토 서라운드뷰 모니터링 시스템
KR20230117685A (ko) 2022-02-02 2023-08-09 아주자동차대학 산학협력단 친환경 수소 자동차의 동력 제공 장치
CN114454832B (zh) * 2022-03-14 2023-07-07 陈潇潇 智能驾驶发生意外的独立证据和完整事实的记录方法
CN114779253A (zh) * 2022-04-18 2022-07-22 深圳市七洲电子有限公司 一种主动防止后车碰撞的方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242523A (zh) * 2007-02-06 2008-08-13 株式会社电装 现场监视设备
JP2014074626A (ja) * 2012-10-03 2014-04-24 Denso Corp 車両用ナビゲーションシステム
CN104349026A (zh) * 2013-08-06 2015-02-11 现代自动车株式会社 用于提供环视监视图像的装置和方法
US20150103171A1 (en) * 2013-10-14 2015-04-16 Hyundai Mobis Co., Ltd. Camera position recognition system
CN106162072A (zh) * 2015-05-11 2016-11-23 三星电子株式会社 周围观看方法和周围观看系统
US20170031363A1 (en) * 2015-07-31 2017-02-02 Delphi Technologies, Inc. Variable Object Detection Field-Of-Focus For Automated Vehicle Control
CN106467060A (zh) * 2015-08-20 2017-03-01 Lg电子株式会社 显示装置及包括该显示装置的车辆
US20170293198A1 (en) * 2016-04-07 2017-10-12 Lg Electronics Inc. Driver assistance apparatus and vehicle
US20170332068A1 (en) * 2014-12-19 2017-11-16 Stereolabs System for three-dimensional image capture while moving
US20180096600A1 (en) * 2016-10-04 2018-04-05 International Business Machines Corporation Allowing drivers or driverless vehicles to see what is on the other side of an obstruction that they are driving near, using direct vehicle-to-vehicle sharing of environment data
US20180113331A1 (en) * 2016-10-25 2018-04-26 GM Global Technology Operations LLC Smart sensor-cover apparatus and methods and computer products for implementing same
CN108099783A (zh) * 2017-12-22 2018-06-01 戴姆勒股份公司 一种用于车辆的驾驶辅助系统及其操作方法
CN108216220A (zh) * 2016-12-16 2018-06-29 现代自动车株式会社 基于边界的车辆碰撞控制的设备和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345098B2 (en) * 2008-03-17 2013-01-01 International Business Machines Corporation Displayed view modification in a vehicle-to-vehicle network
KR101395089B1 (ko) * 2010-10-01 2014-05-16 안동대학교 산학협력단 장애물 감지 시스템 및 방법
KR101949352B1 (ko) * 2016-11-22 2019-05-10 엘지전자 주식회사 자율 주행 차량 및 자율 주행 차량의 동작 방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101242523A (zh) * 2007-02-06 2008-08-13 株式会社电装 现场监视设备
JP2014074626A (ja) * 2012-10-03 2014-04-24 Denso Corp 車両用ナビゲーションシステム
CN104349026A (zh) * 2013-08-06 2015-02-11 现代自动车株式会社 用于提供环视监视图像的装置和方法
US20150103171A1 (en) * 2013-10-14 2015-04-16 Hyundai Mobis Co., Ltd. Camera position recognition system
US20170332068A1 (en) * 2014-12-19 2017-11-16 Stereolabs System for three-dimensional image capture while moving
CN106162072A (zh) * 2015-05-11 2016-11-23 三星电子株式会社 周围观看方法和周围观看系统
US20170031363A1 (en) * 2015-07-31 2017-02-02 Delphi Technologies, Inc. Variable Object Detection Field-Of-Focus For Automated Vehicle Control
CN106467060A (zh) * 2015-08-20 2017-03-01 Lg电子株式会社 显示装置及包括该显示装置的车辆
US20170293198A1 (en) * 2016-04-07 2017-10-12 Lg Electronics Inc. Driver assistance apparatus and vehicle
US20180096600A1 (en) * 2016-10-04 2018-04-05 International Business Machines Corporation Allowing drivers or driverless vehicles to see what is on the other side of an obstruction that they are driving near, using direct vehicle-to-vehicle sharing of environment data
US20180113331A1 (en) * 2016-10-25 2018-04-26 GM Global Technology Operations LLC Smart sensor-cover apparatus and methods and computer products for implementing same
CN108216220A (zh) * 2016-12-16 2018-06-29 现代自动车株式会社 基于边界的车辆碰撞控制的设备和方法
CN108099783A (zh) * 2017-12-22 2018-06-01 戴姆勒股份公司 一种用于车辆的驾驶辅助系统及其操作方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660391A (zh) * 2020-04-29 2021-11-16 三星电机株式会社 使用车辆相机的系统、方法和车辆
CN113660391B (zh) * 2020-04-29 2024-04-30 三星电机株式会社 使用车辆相机的系统、方法和车辆
CN113183878A (zh) * 2021-04-15 2021-07-30 杭州鸿泉物联网技术股份有限公司 360度环视方法、装置、车辆和电子设备

Also Published As

Publication number Publication date
KR102554594B1 (ko) 2023-07-12
US20200010017A1 (en) 2020-01-09
KR20200005865A (ko) 2020-01-17
CN110696743B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN110696743B (zh) 用于车辆的广域环视监控装置及其控制方法
US10176594B2 (en) Progressive in-vehicle camera calibrator, image generator, in-vehicle camera calibration method, and image generation method
US20190120645A1 (en) Image processing apparatus, image processing method, computer program and computer readable recording medium
JP5461065B2 (ja) 現在位置特定装置とその現在位置特定方法
US9020746B2 (en) Vehicle-mounted information processing apparatus and information processing method
US11181737B2 (en) Head-up display device for displaying display items having movement attribute or fixed attribute, display control method, and control program
US20230048230A1 (en) Method for displaying lane information and apparatus for executing the method
JP6973351B2 (ja) センサ校正方法、及びセンサ校正装置
US11325472B2 (en) Line-of-sight guidance device
CN109927629B (zh) 用于控制投影设备的显示控制设备、显示控制方法及车辆
JP2017117039A (ja) 標識情報表示装置及び方法
JP2007102691A (ja) 車両用視界支援装置
US20190333252A1 (en) Display control device, display system, and display control method
US20190197730A1 (en) Semiconductor device, imaging system, and program
US11536583B2 (en) Information display device, control method, and storage medium
CN111862226B (zh) 用于车辆中的摄像机校准和图像预处理的硬件设计
US20230061098A1 (en) Apparatus for determining a traffic light, system having the same and method thereof
JP2016143088A (ja) 位置検出システム及び車載情報処理装置
JP2007153098A (ja) 周辺車両位置検出装置および周辺車両の位置予測方法
JP6451352B2 (ja) 位置検出システム及び車載情報処理装置
JP6523199B2 (ja) 車両通信装置
US20210129751A1 (en) Side and rear reflection controller and side and rear reflection control method
JPWO2019111307A1 (ja) 表示制御装置及び表示制御方法
US20160133129A1 (en) Traffic signal state detection apparatus
WO2023189568A1 (ja) 画像生成装置、方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant