CN107306338A - 用于对象检测和跟踪的全景摄像机系统 - Google Patents

用于对象检测和跟踪的全景摄像机系统 Download PDF

Info

Publication number
CN107306338A
CN107306338A CN201710256753.2A CN201710256753A CN107306338A CN 107306338 A CN107306338 A CN 107306338A CN 201710256753 A CN201710256753 A CN 201710256753A CN 107306338 A CN107306338 A CN 107306338A
Authority
CN
China
Prior art keywords
vehicle
image
video cameras
visual field
multiple video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710256753.2A
Other languages
English (en)
Inventor
J.王
U.P.穆达利奇
X.肖
J.尹
W.张
G.J.邹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN107306338A publication Critical patent/CN107306338A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Abstract

本发明涉及用于对象检测和跟踪的全景摄像机系统。一种装备车辆以执行对象检测和跟踪的方法以及用于执行对象检测和跟踪的全景摄像机系统包括分别布置在车辆的两个或多个位置处的两个或多个摄像机。摄像机捕获在两个或多个摄像机的视野内的图像。处理系统从两个或多个摄像机获得图像，并执行图像处理以在两个或多个摄像机的视野中检测和跟踪对象。

Description

用于对象检测和跟踪的全景摄像机系统
相关申请的交叉引用
本申请要求于2016年4月19日提交的美国临时申请第62/324,602号的优先权的权益，其公开的全部内容通过引用并入本文。
技术领域
本主题公开涉及一种用于对象检测和跟踪的全景摄像机系统（surround viewcamera system）。
背景技术
摄像机越来越多地在车辆（例如，汽车、施工设备、农场设备、自动化制造设施）中用于自动化和安全系统。例如，全景或后置摄像机在停车期间提供促进增强视图的图像。例如，前视摄像机被单独或与其他传感器（例如，雷达、激光雷达）组合使用以检测和跟踪对象并实现半自主驾驶。然而，在许多情景中前视摄像机的视野不足。例如，在其他车辆或行人可能从任何方向接近的停车场中，前视摄像机系统不能检测到潜在的碰撞威胁。作为另一示例，当相邻车辆在不允许足够的空间的情况下改变车道时，前视摄像机系统可能不能检测到该车辆。因此，期望提供一种用于对象检测和跟踪的全景摄像机系统。
发明内容
在一个示例性实施例中，一种车辆中的全景摄像机系统包括两个或多个摄像机，其分别布置在所述车辆的两个或多个位置处。所述两个或多个摄像机捕获所述两个或多个摄像机的视野内的图像。所述系统还包括处理系统，以从所述两个或多个摄像机获得所述图像并执行图像处理以检测和跟踪所述两个或多个摄像机的视野中的对象。
除本文中描述的特征中的一个或多个之外，所述处理系统执行图像处理包括所述处理系统单独地预处理所述图像中的每一个，包括使所述图像中的每一个去变形（de-warping）。
除本文中描述的特征中的一个或多个之外，所述处理系统被配置为执行图像处理包括所述处理系统被配置为执行视觉识别技术以检测在所述对象出现在其中的所述图像中的每一个中的对象。
除本文中描述的特征中的一个或多个之外，所述处理系统被配置为执行图像处理包括所述处理系统被配置为基于在由所述两个或多个摄像机获得的所述图像中的重叠区域来执行图像间检测以检测对象。
除本文中描述的特征中的一个或多个之外，所述处理系统被配置为执行图像处理包括所述处理系统被配置为在逐帧的基础上执行时序检测以跟踪对象的运动。
除本文中描述的特征中的一个或多个之外，所述处理系统还被配置为获得关于所述车辆的车辆动态信息。
除本文中描述的特征中的一个或多个之外，所述处理系统还被配置为从所述车辆的其他传感器获得信息，所述其他传感器包括雷达系统、激光雷达系统、或超声波传感器系统。
除本文中描述的特征中的一个或多个之外，所述处理系统还被配置为在车辆坐标系中输出关于对象在所述两个或多个摄像机的视野中的位置的信息。
除本文中描述的特征中的一个或多个之外，所述处理系统还被配置为在所述两个或多个摄像机的视野中在三维边界框（BBOX）中呈现对象。
除本文中描述的特征中的一个或多个之外，所述处理系统还被配置为向所述车辆中的控制器提供关于所述两个或多个摄像机的视野中的对象的信息，所述控制器被配置为控制所述车辆的安全和自主系统。
在另一示例性实施例中，一种用全景摄像机系统装备车辆以执行对象检测和跟踪的方法包括将两个或多个摄像机布置在车辆的相应两个或多个位置处。所述两个或多个摄像机捕获在所述两个或多个摄像机的视野内的图像。所述方法还包括使处理系统从所述两个或多个摄像机获得图像，并执行图像处理以检测和跟踪所述两个或多个摄像机的视野中的对象。
除本文中描述的特征中的一个或多个之外，执行所述图像处理包括单独地预处理所述图像中的每一个，所述预处理包括使所述图像中的每一个去变形。
除本文中描述的特征中的一个或多个之外，执行所述图像处理包括执行视觉识别技术以检测在对象出现在其中的图像中的每一个中的对象。
除本文中描述的特征中的一个或多个之外，执行所述图像处理包括基于在由所述两个或多个摄像机获得的所述图像中的重叠区域来执行图像间检测以检测对象。
除本文中描述的特征中的一个或多个之外，执行所述图像处理包括在逐帧的基础上执行时序检测以跟踪对象的运动。
除本文中描述的特征中的一个或多个之外，执行所述图像处理包括获得关于所述车辆的车辆动态信息。
除本文中描述的特征中的一个或多个之外，执行所述图像处理包括从所述车辆的其他传感器获得信息，所述其他传感器包括雷达系统、激光雷达系统、或超声波传感器系统。
除本文中描述的特征中的一个或多个之外，所述方法包括所述处理系统在车辆坐标系中输出关于对象在所述两个或多个摄像机的视野中的位置的信息。
除本文中描述的特征中的一个或多个之外，所述方法包括所述处理系统在所述两个或多个摄像机的视野中在三维边界框（BBOX）中呈现对象。
除本文中描述的特征中的一个或多个之外，所述方法包括所述处理系统将关于所述两个或多个摄像机的视野中的对象的信息提供给所述车辆中的控制器，并且所述控制器控制所述车辆的安全和自主系统。
本公开还包括下述技术方案：
技术方案1. 一种车辆中的全景摄像机系统，所述系统包括：
两个或多个摄像机，其相应地布置在所述车辆的两个或多个位置处，并被配置为捕获在所述两个或多个摄像机的视野内的图像；和
处理系统，其被配置为从所述两个或多个摄像机获得所述图像，并执行图像处理以检测和跟踪在所述两个或多个摄像机的所述视野中的对象。
技术方案2. 根据技术方案1所述的系统，其中，所述处理系统被配置为执行图像处理包括所述处理系统被配置为单独地预处理所述图像中的每一个，包括使所述图像中的每一个去变形。
技术方案3. 根据技术方案1所述的系统，其中，所述处理系统被配置为执行图像处理包括所述处理系统被配置为执行视觉识别技术以检测在所述对象出现在其中的所述图像中的每一个中的所述对象。
技术方案4. 根据技术方案1所述的系统，其中，所述处理系统被配置为执行图像处理包括所述处理系统被配置为基于由所述两个或多个摄像机获得的所述图像中的重叠区域来执行图像间检测以检测所述对象。
技术方案5. 根据技术方案1所述的系统，其中，所述处理系统被配置为执行图像处理包括所述处理系统被配置为在逐帧的基础上执行时序检测以跟踪所述对象的运动。
技术方案6. 根据技术方案1所述的系统，其中，所述处理系统还被配置为获得关于所述车辆的车辆动态信息。
技术方案7. 根据技术方案1所述的系统，其中，所述处理系统还被配置为从所述车辆的其他传感器获得信息，所述其他传感器包括雷达系统、激光雷达系统、或超声波传感器系统。
技术方案8. 根据技术方案1所述的系统，其中，所述处理系统还被配置为在车辆坐标系中输出关于所述对象在所述两个或多个摄像机的所述视野中的位置的信息。
技术方案9. 根据技术方案1所述的系统，其中，所述处理系统还被配置为在所述两个或多个摄像机的所述视野中在三维边界框（BBOX）中呈现所述对象。
技术方案10. 根据技术方案1所述的系统，其中，所述处理系统还被配置为向所述车辆中的控制器提供关于所述两个或多个摄像机的所述视野中的所述对象的信息，所述控制器被配置为控制所述车辆的安全和自主系统。
技术方案11. 一种用全景摄像机系统装备车辆以执行对象检测和跟踪的方法，所述方法包括：
将两个或多个摄像机布置在所述车辆的相应两个或多个位置处，并且配置所述两个或多个摄像机以捕获在所述两个或多个摄像机的视野内的图像；并且
配置处理系统以从所述两个或多个摄像机获得所述图像，并执行图像处理以检测和跟踪在所述两个或多个摄像机的所述视野中的对象。
技术方案12. 根据技术方案11所述的方法，其中，所述执行所述图像处理包括单独地预处理所述图像中的每一个，所述预处理包括使所述图像中的每一个去变形。
技术方案13. 根据技术方案11所述的方法，其中，所述执行所述图像处理包括执行视觉识别技术以检测在所述对象出现在其中的所述图像中的每一个中的所述对象。
技术方案14. 根据技术方案11所述的方法，其中，所述执行所述图像处理包括基于由所述两个或多个摄像机获得的所述图像中的重叠区域来执行图像间检测以检测所述对象。
技术方案15. 根据技术方案11所述的方法，其中，所述执行所述图像处理包括在逐帧的基础上执行时序检测以跟踪所述对象的运动。
技术方案16. 根据技术方案11所述的方法，其中，所述执行所述图像处理包括获得关于所述车辆的车辆动态信息。
技术方案17. 根据技术方案11所述的方法，其中，所述执行所述图像处理包括从所述车辆的其他传感器获得信息，所述其他传感器包括雷达系统、激光雷达系统、或超声波传感器系统。
技术方案18. 根据技术方案11所述的方法，其还包括配置所述处理系统以在车辆坐标系中输出关于所述对象在所述两个或多个摄像机的所述视野中的位置的信息。
技术方案19. 根据技术方案11所述的方法，其还包括配置所述处理系统以在所述两个或多个摄像机的所述视野中在三维边界框（BBOX）中呈现所述对象。
技术方案20. 根据技术方案11所述的方法，其还包括配置所述处理系统以向所述车辆中的控制器提供关于所述两个或多个摄像机的所述视野中的所述对象的信息，所述控制器被配置为控制所述车辆的安全和自主系统。
本公开的上述特征和优点以及其他特征和优点从结合附图的以下详细描述中是显而易见的。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，该详细描述参考附图，在附图中：
图1描绘根据一个或多个实施例的全景摄像机系统的示例性实施例；
图2示出根据一个或多个实施例其中全景摄像机系统促进对象的检测和跟踪的示例性情景；
图3是根据一个或多个实施例利用全景摄像机系统执行对象检测和跟踪的方法的过程流程；
图4示出根据一个或多个实施例的全景摄像机系统的示例性输出；
图5描绘根据更多实施例中的一个的全景摄像机系统的两个示例性输出；及
图6示出根据一个或多个实施例的全景摄像机系统的另一示例性输出。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，贯穿附图，对应的附图标记指示相似或对应的部分和特征。
如前所述的，前视摄像机系统已被用于对象检测。例如，所获得的关于车辆前方的对象的信息可用于自适应巡航控制（ACC）、自动紧急制动（AEB）或前向碰撞警告（FCW）。为了解决其他情景并增强自动化系统，关于不一定仅在车辆前方的接近车辆的对象的信息是期望的。虽然全景摄像机提供车辆周围的图像，但这些摄像机图像尚未用于对象检测和跟踪。本文中详述的系统和方法的实施例涉及用于对象检测和跟踪的全景摄像机系统。具体来说，全景摄像机系统不仅仅是将前视摄像机系统中所使用的处理扩展到设置在车辆周围的多个摄像机。相反，多个视图能够提供单张摄像机图像无法获得的增强信息。例如，来自不同视图中的每一个的图像被预处理，重叠的图像被解析，并且不同视图中的图像被用于过滤假警报或调整检测阈值。
图1描绘根据一个或多个实施例的全景摄像机系统100的示例性实施例。图1中所示的车辆101是汽车102。全景摄像机系统100包括在图1中所示的示例性实施例中的四个摄像机140a至140d（总体上称为140）。摄像机140a捕获在车辆101的乘客侧的图像，并且摄像机140c捕获在车辆101的驾驶员侧的图像。摄像机140b从车辆101的前方捕获图像，并且摄像机140d捕获在车辆101的后方的图像。在替代实施例中，可使用更少或更多摄像机140并且能够将其布置在车辆101的其他部分中。
将来自不同摄像机140的图像发送到全景摄像机系统100的处理系统110以进行处理。摄像机140和处理系统110之间的通信可以通过电线（其围绕车辆101布线），或者可以是无线的。处理系统110可包括专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享的、专用的、或组）和存储器、组合逻辑电路、和/或提供所述功能的其他适当部件。图1中示出车辆101的控制器120。该控制器120可与处理系统110分离并且联接到处理系统110，或者在替代实施例中，针对处理系统110描述的功能可由控制器120的部件执行。控制器120能够包括系统（诸如执行ACC、AEB.FCW以及其他安全和自主驾驶功能的系统）或与该系统通信。额外已知的传感器130（例如，雷达、激光雷达、超声波传感器）可并入车辆101中，并且可用于处理来自摄像机140的信息。
摄像机140可包括超广角镜头，使得由摄像机140获得的图像失真（即，鱼眼图像）。超广角镜头具有超宽的视野，并且因此利用图1中所示的四个摄像机140提供促进360度覆盖车辆101周围的图像。采用超广角镜头获得的原始图像还需要对图像进行预处理以使图像失真或鱼眼效果去变形，如参考图3进一步讨论的。预处理还可包括图像增强和虚拟摄像机视图合成。
图2示出了根据一个或多个实施例的示例性情景210a至210d，其中全景摄像机系统100促进对象220的检测和跟踪。情景210a示出了在包括全景摄像机系统100的车辆101的侧盲区中的对象220，另一车辆。全景摄像机系统100的视野（FOV）201被指示且示出对象220的一部分在FOV 201内。因此，即使对象220在侧镜中不可见，例如，全景摄像机系统100仍将检测到对象220。
在情景210b中，对象220（其为另一车辆）切入车辆101的车道。前视摄像机系统可能仅在对象220处于图2中所示的位置时才看到对象220。例如，用于ACC的典型的前视摄像机系统具有50度视野，其不足以捕获对象220。对象220可能在驾驶员的A柱盲点中并且在前视摄像机系统的盲点中，直到其切入车辆101的车道中。根据本文中所述的一个或多个实施例，全景摄像机系统100能够检测和跟踪对象220。也就是说，在情景210b中正切入车辆101的车道中的对象220将在其接近车辆101（在情景210a中所示的位置中）时或者当其在车辆101的侧面（在情景210a和210b中示出的位置之间）时被检测到。通过在对象220处于FOV201中时对其进行检测和跟踪，全景摄像机系统100能够更好地使车辆101的驾驶员或自动化系统为情景210b中所示的切入做准备。
情景210c和210d示出在相对于车辆101的各种位置处在FOV 201中的若干对象220。前视摄像机系统100将仅检测到在全景摄像机系统100的FOV 201内示出的对象220中的一些。如参考图3进一步讨论的，全景摄像机系统100的多个摄像机140还基于若干视图促进识别假警报和检测低分辨率对象220。
图3是根据一个或多个实施例的采用全景摄像机系统100执行对象检测和跟踪的方法的过程流程。在框310处，过程包括由处理系统110从全景摄像机140获取图像，处理系统110可与控制器120分离或可以是控制器120的部分。在框320处，预处理所述图像能够包括基于获得的图像的类型的若干图像处理操作。例如，当摄像机140具有超宽的视野并且提供鱼眼图像时，预处理包括去变形。摄像机140的校准参数能够用于这个已知程序。预处理还可包括其他已知的程序，诸如平滑化和图像增强。
在框330处，获得车辆信息包括获得例如能够帮助跟踪对象220的运动信息。示例性车辆信息包括速度、运动角度、加速度或来自全球定位系统（GPS）接收器的信息。该信息可通过控制器120提供给处理系统110，或者直接来自获得关于车辆动力学的信息的其他车辆系统。根据替代的或额外的实施例，在框330处获得的车辆信息还能够包括来自安装在车辆101上的其他传感器130（例如，雷达，激光雷达）的数据。
在框340处，基于由摄像机140获得的图像来执行操作以检测和跟踪对象220。例如，这些操作包括已知的图像处理、计算机视觉、和机器学习操作，并且可由深度学习神经网络执行。可用作框340的一部分的已知算法和过程包括深度学习方法，例如，深卷积神经网络（DCNN），或其他计算机视觉方法，诸如可变形部分模型（DPM）以及其他视觉识别技术。在框340处的处理促进在框350处组织并输出检测和跟踪信息。
在框340处的处理包括在框343处执行单独的帧检测。例如，该过程可使用已知的DPM算法，以在由摄像机140中的每一个获得的各个帧中的每一个内执行对象220的检测。在框345处执行图像间检测也是在框340处的处理的一部分。图像间检测操作涉及关联和匹配由全景摄像机系统100的多于一个的摄像机140捕获的对象220。本质上，能够基于来自两个或多个摄像机140的图像来对对象220的位置进行三角测量。例如，该过程有助于通过过滤假警报或调整检测阈值来解析重叠图像。
根据图1中所示的示例性布置，在车辆101的乘客侧的摄像机140a在其像场中与位于车辆101的后方的摄像机140d具有重叠区域。如果，例如，在框343处的处理在由摄像机140a在重叠区域中获得的帧中检测到对象220，但是没有在由摄像机140d获得的帧中检测到该同一对象220，则减小用于处理来自摄像机140d的帧（在框343处）的检测阈值。如果对象220仍然没有被检测到，则在来自摄像机140a的帧中的对象220的检测可被认为是假警报。另一方面，如果两个摄像机140检测到对象220并匹配其检测以确定它们检测到同一对象220，则能够基于两个（或多个）摄像机140根据三角测量技术来估计对象位置。这是基于由全景摄像机系统100的不同摄像机140获得的图像进行图像间检测处理（在框345处）以解析对象220的一个示例。
在框347处，执行时序检测也是在框340处的处理的一部分。（根据框343或额外地，345）检测到的对象220的位置基于其从一帧到下一帧的位置被及时跟踪。虽然时序跟踪（在框347处）依赖于在框343或345处的检测，但时序跟踪（在框347处）也可增强在框343或345处的检测。例如，对象220（其可能否则作为假警报被不予理会）可替代地基于在框347处的时序检测被确定为已从两个摄像机140的覆盖范围的重叠区域移出。时序检测（在框347处）促进确定对象220相对于车辆101的运动。例如，对象220是否正朝向或远离车辆101运动的确定能够影响通过控制器120提供给其他车辆系统（例如，ACC、AEB）的信息。也就是说，对象220运动远离车辆101可不被用于触发AEB系统，同时对象220朝向车辆101运动可触发AEB系统。
正如讨论所指示的和如图3中所示的，在框343、345、和347处的处理是相互关联的并且能够是迭代的。另外，在框340处的处理能够使用在框330处获得的车辆信息。如前所述的，车辆信息能够包括关于车辆101的动力学的信息，并且能够额外地包括来自其他传感器130的数据。该额外信息中的一些或全部能够用于在与框340相关联的过程中的任一个中解析对象220。例如，能够用由雷达或激光雷达系统提供的到对象220的距离信息来帮助使用时序检测（在框347处）跟踪对象220。作为另一示例，关于车辆101的速度或轨迹的信息能够促进对对象220的相对运动的增强的检测。
图4示出了根据一个或多个实施例的全景摄像机系统100的示例性输出410。输出410是与图1中所示的示例性摄像机140位置对应的四个图像420a、420b、420c和420d的拼接在一起的图像。因此，例如，图像420b是在车辆101的前方由摄像机140b获得的图像。对象220在图像420a至420d内通过例如如所示的边界框指示。例如，可向驾驶员显示该输出410，并且还可将该输出410提供给高级驾驶员辅助系统（ADAS）以提供驾驶员警报或增强的信息。
图5描绘了根据更多实施例中的一个的全景摄像机系统100的两个示例性输出510a、510b。输出510a、510b二者都在车辆坐标系上。示出了在车辆101周围的对象220和对象220中的每一个的轨迹。通过提供公共参照系将关于对象220的信息投影到车辆坐标系促进与其他车辆系统的简易通信。除了提供给控制器120以与其他车辆系统协调之外，输出510a、510b也可显示给驾驶员。
输出510a示出了俯视图，其示出车辆101和车辆101周围的五个不同对象220。每个对象220相对于车辆101的角度均被示出并且指示每个对象220的行进方向。输出510b也示出了车辆101和车辆101周围的五个对象220的俯视图。如图5中所示，对象220可通过图案进行颜色编码或编码。编码可指示行进方向、相对速度、对象220的检测的置信水平或其他特性。例如，对象220a可以是静止对象，同时对象220b正运动远离车辆101（相对于彼此在相反的方向上），并且对象220c正朝向车辆101（相对于彼此在相反的方向上）运动。替代地，对象220b可沿与车辆101相同的方向运动，并且对象220c可沿与车辆101相反的方向运动。根据又另一实施例，对象220b可以比对象220c运动地慢。
图6示出了根据一个或多个实施例的全景摄像机系统100的另一示例性输出。三维边界框（BBOX）用于指示由全景摄像机系统100检测到的每个对象220。颜色或图案编码可用于指示关于对象220的额外信息。例如，对象220a可能已被侧摄像机140a、140c（图1）中的一个检测到，而对象220b可能已被前或后摄像机140b、140d检测到。
虽然已经参考示例性实施例描述了上述公开，但本领域技术人员将理解，可作出各种改变并且等效物可代替本发明的元件而不脱离本发明的范围。此外，可作出许多修改以使特定情况或材料适应本公开的教导而不脱离其本质范围。因此，预期本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种车辆中的全景摄像机系统，所述系统包括：
两个或多个摄像机，其相应地布置在所述车辆的两个或多个位置处，并被配置为捕获在所述两个或多个摄像机的视野内的图像；和
处理系统，其被配置为从所述两个或多个摄像机获得所述图像，并执行图像处理以检测和跟踪在所述两个或多个摄像机的所述视野中的对象。
2.根据权利要求1所述的系统，其中，所述处理系统被配置为执行图像处理包括所述处理系统被配置为单独地预处理所述图像中的每一个，包括使所述图像中的每一个去变形，或执行视觉识别技术以检测在所述对象出现在其中的所述图像中的每一个中的所述对象。
3.根据权利要求1所述的系统，其中，所述处理系统被配置为执行图像处理包括所述处理系统被配置为基于由所述两个或多个摄像机获得的所述图像中的重叠区域来执行图像间检测以检测所述对象，或在逐帧的基础上执行时序检测以跟踪所述对象的运动。
4.根据权利要求1所述的系统，其中，所述处理系统还被配置为获得关于所述车辆的车辆动态信息，或从所述车辆的其他传感器获得信息，所述其他传感器包括雷达系统、激光雷达系统、或超声波传感器系统。
5.根据权利要求1所述的系统，其中，所述处理系统还被配置为在车辆坐标系中输出关于所述对象在所述两个或多个摄像机的所述视野中的位置的信息，在所述两个或多个摄像机的所述视野中在三维边界框（BBOX）中呈现所述对象，或向所述车辆中的控制器提供关于所述两个或多个摄像机的所述视野中的所述对象的信息，所述控制器被配置为控制所述车辆的安全和自主系统。
6.一种用全景摄像机系统装备车辆以执行对象检测和跟踪的方法，所述方法包括：
将两个或多个摄像机布置在所述车辆的相应两个或多个位置处，并且配置所述两个或多个摄像机以捕获在所述两个或多个摄像机的视野内的图像；并且
配置处理系统以从所述两个或多个摄像机获得所述图像，并执行图像处理以检测和跟踪在所述两个或多个摄像机的所述视野中的对象。
7.根据权利要求6所述的方法，其中，所述执行所述图像处理包括单独地预处理所述图像中的每一个，所述预处理包括使所述图像中的每一个去变形，或执行视觉识别技术以检测在所述对象出现在其中的所述图像中的每一个中的所述对象。
8.根据权利要求6所述的方法，其中，所述执行所述图像处理包括基于由所述两个或多个摄像机获得的所述图像中的重叠区域来执行图像间检测以检测所述对象，或在逐帧的基础上执行时序检测以跟踪所述对象的运动。
9.根据权利要求6所述的方法，其中，所述执行所述图像处理包括获得关于所述车辆的车辆动态信息，或从所述车辆的其他传感器获得信息，所述其他传感器包括雷达系统、激光雷达系统、或超声波传感器系统。
10.根据权利要求6所述的方法，其还包括配置所述处理系统以在车辆坐标系中输出关于所述对象在所述两个或多个摄像机的所述视野中的位置的信息，在所述两个或多个摄像机的所述视野中在三维边界框（BBOX）中呈现所述对象，或向所述车辆中的控制器提供关于所述两个或多个摄像机的所述视野中的所述对象的信息，所述控制器被配置为控制所述车辆的安全和自主系统。
CN201710256753.2A 2016-04-19 2017-04-19 用于对象检测和跟踪的全景摄像机系统 Pending CN107306338A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662324602P 2016-04-19 2016-04-19
US62/324602 2016-04-19
US15/487521 2017-04-14
US15/487,521 US20170297488A1 (en) 2016-04-19 2017-04-14 Surround view camera system for object detection and tracking

Publications (1)

Publication Number Publication Date
CN107306338A true CN107306338A (zh) 2017-10-31

Family

ID=60039817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710256753.2A Pending CN107306338A (zh) 2016-04-19 2017-04-19 用于对象检测和跟踪的全景摄像机系统

Country Status (2)

Country Link
US (1) US20170297488A1 (zh)
CN (1) CN107306338A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111516677A (zh) * 2020-04-28 2020-08-11 深圳市国脉畅行科技股份有限公司 车辆行驶盲区监测方法、装置、计算机设备及存储介质
WO2020248910A1 (zh) * 2019-06-10 2020-12-17 华为技术有限公司 目标检测方法和装置
CN112215053A (zh) * 2019-07-12 2021-01-12 通用汽车环球科技运作有限责任公司 多传感器多对象跟踪

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US10733697B2 (en) * 2016-12-27 2020-08-04 Intel IP Corporation Convolutional neural network for wide-angle camera images
USD858381S1 (en) 2017-04-28 2019-09-03 Waymo Llc Fender sensor housing
CN108725319B (zh) * 2017-10-31 2021-05-04 无锡职业技术学院 一种影像式倒车指导方法
US10816693B2 (en) * 2017-11-21 2020-10-27 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in a field of interest
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
USD957968S1 (en) 2019-02-20 2022-07-19 Waymo Llc Sensor housing
USD950404S1 (en) 2019-05-01 2022-05-03 Waymo Llc Roof pod housing
USD902756S1 (en) 2019-02-20 2020-11-24 Waymo Llc Sensor assembly
USD915913S1 (en) 2019-05-01 2021-04-13 Waymo Llc Roof pod housing
US20200294194A1 (en) * 2019-03-11 2020-09-17 Nvidia Corporation View synthesis using neural networks
WO2020196676A1 (ja) * 2019-03-26 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、車両制御装置、および方法、並びにプログラム
EP3948647A4 (en) * 2019-04-01 2022-11-16 INTEL Corporation GENERATION OF AUTONOMOUS DRIVING DATA SET WITH AUTOMATIC OBJECT LABELING METHODS AND DEVICES
USD964249S1 (en) 2019-04-25 2022-09-20 Waymo Llc Perimeter sensor housing
USD928639S1 (en) 2019-04-25 2021-08-24 Waymo Llc Rear sensor housing
USD954571S1 (en) 2019-04-25 2022-06-14 Waymo Llc Front sensor housing
USD964908S1 (en) 2019-04-25 2022-09-27 Waymo Llc Perimeter sensor housing
USD956585S1 (en) 2019-04-25 2022-07-05 Waymo Llc Rear sensor housing
USD927998S1 (en) 2019-04-25 2021-08-17 Waymo Llc Front sensor housing
USD964909S1 (en) 2019-04-25 2022-09-27 Waymo Llc Perimeter sensor housing
USD965498S1 (en) 2019-04-25 2022-10-04 Waymo Llc Perimeter sensor housing
US11004232B2 (en) * 2019-07-12 2021-05-11 Mediatek Inc. Method and apparatus for performing object detection according to bounding box distribution that is determined by considering lens configuration
US11276179B2 (en) * 2019-12-18 2022-03-15 Zoox, Inc. Prediction on top-down scenes based on object motion
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
CN111862210B (zh) * 2020-06-29 2023-05-12 辽宁石油化工大学 一种基于环视相机的目标物检测定位方法及装置
US11706507B2 (en) 2020-12-30 2023-07-18 Waymo Llc Systems, apparatus, and methods for generating enhanced images
JP2022172709A (ja) * 2021-05-06 2022-11-17 トヨタ自動車株式会社 車載ドライブレコーダシステム
US11787350B2 (en) 2021-07-21 2023-10-17 Avraham Wingarten Roof mounted vehicle camera assembly
US20230055958A1 (en) * 2021-08-20 2023-02-23 Ford Global Technologies, Llc Systems and Methods to Repossess a Vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
US20120169882A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Tracking Moving Objects Using a Camera Network
WO2013087362A1 (de) * 2011-12-13 2013-06-20 Robert Bosch Gmbh Verfahren zur verbesserung der objektdetektion bei multikamerasystemen
CN103852757A (zh) * 2012-12-03 2014-06-11 株式会社电装 用于避免车辆与由安装至车辆的传感器所捕捉的目标之间的碰撞的目标检测装置
CN103903250A (zh) * 2012-12-28 2014-07-02 重庆凯泽科技有限公司 运动捕获系统中基于多视觉的目标跟踪算法
CN104880154A (zh) * 2015-06-03 2015-09-02 西安交通大学 一种物联网双目视觉变焦动态目标跟踪试验系统平台与测距方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1373720A (zh) * 1999-09-20 2002-10-09 松下电器产业株式会社 驾驶提醒装置
US20120169882A1 (en) * 2010-12-30 2012-07-05 Pelco Inc. Tracking Moving Objects Using a Camera Network
WO2013087362A1 (de) * 2011-12-13 2013-06-20 Robert Bosch Gmbh Verfahren zur verbesserung der objektdetektion bei multikamerasystemen
CN103852757A (zh) * 2012-12-03 2014-06-11 株式会社电装 用于避免车辆与由安装至车辆的传感器所捕捉的目标之间的碰撞的目标检测装置
CN103903250A (zh) * 2012-12-28 2014-07-02 重庆凯泽科技有限公司 运动捕获系统中基于多视觉的目标跟踪算法
CN104880154A (zh) * 2015-06-03 2015-09-02 西安交通大学 一种物联网双目视觉变焦动态目标跟踪试验系统平台与测距方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248910A1 (zh) * 2019-06-10 2020-12-17 华为技术有限公司 目标检测方法和装置
CN112215053A (zh) * 2019-07-12 2021-01-12 通用汽车环球科技运作有限责任公司 多传感器多对象跟踪
CN112215053B (zh) * 2019-07-12 2023-09-19 通用汽车环球科技运作有限责任公司 多传感器多对象跟踪
CN111516677A (zh) * 2020-04-28 2020-08-11 深圳市国脉畅行科技股份有限公司 车辆行驶盲区监测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
US20170297488A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
CN107306338A (zh) 用于对象检测和跟踪的全景摄像机系统
JP7157054B2 (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
JP5096836B2 (ja) 車両の周囲を画像化する方法およびそのためのシステム
JP4899424B2 (ja) 物体検出装置
US11610410B2 (en) Vehicular vision system with object detection
US8330816B2 (en) Image processing device
CN106489174B (zh) 通过相机系统跟踪车辆的方法、相机系统以及机动车辆
KR101243108B1 (ko) 차량의 후방 영상 표시 장치 및 방법
KR101611194B1 (ko) 차량 주변 이미지 생성 장치 및 방법
US20110228981A1 (en) Method and system for processing image data
US20190065878A1 (en) Fusion of radar and vision sensor systems
EP3163506A1 (en) Method for stereo map generation with novel optical resolutions
CN108076263B (zh) 摄像装置及自动控制系统
Tarhan et al. A catadioptric and pan-tilt-zoom camera pair object tracking system for UAVs
EP3379827A1 (en) Display device for vehicles and display method for vehicles
JP2014154898A (ja) 物体検知装置
CN109278640A (zh) 一种盲区检测系统和方法
EP3486871B1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle
US10475154B2 (en) Machine surround view system and method for generating 3-dimensional composite surround view using same
JP2007280387A (ja) 物体移動の検出方法及び検出装置
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
CN108973858B (zh) 用于确保行驶路线安全的装置
CN111460852A (zh) 车载3d目标检测方法、系统及装置
CN110116731A (zh) 传感器间学习

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20201222