CN114467299A - 用于摄像头监测系统的3d显示系统 - Google Patents

用于摄像头监测系统的3d显示系统 Download PDF

Info

Publication number
CN114467299A
CN114467299A CN202080068904.1A CN202080068904A CN114467299A CN 114467299 A CN114467299 A CN 114467299A CN 202080068904 A CN202080068904 A CN 202080068904A CN 114467299 A CN114467299 A CN 114467299A
Authority
CN
China
Prior art keywords
imager
image
scene
signal processor
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080068904.1A
Other languages
English (en)
Other versions
CN114467299B (zh
Inventor
E·J·李
D·M·法尔波
B·A·波斯玛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gentex Corp
Original Assignee
Gentex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gentex Corp filed Critical Gentex Corp
Publication of CN114467299A publication Critical patent/CN114467299A/zh
Application granted granted Critical
Publication of CN114467299B publication Critical patent/CN114467299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/367—Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3688—Systems comprising multiple parts or multiple output devices (not client-server), e.g. detachable faceplates, key fobs or multiple output screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Abstract

一种在车辆中的用于生成和显示三维图像的系统可包括具有第一视场的第一成像器；第二成像器，所述第二成像器具有与所述第一视场至少部分重叠的第二视场，所述第二成像器设置成距第一成像器一距离；和与所述第一成像器和所述第二成像器通信的图像信号处理器；其中所述图像信号处理器被配置成从来自所述第一成像器和所述第二成像器的数据生成具有三维外观的图像。所述第一成像器和所述第二成像器可以设置在车辆上。所述第一成像器和所述第二成像器可以被配置成捕获场景；并且所述场景可以在车辆的外部。

Description

用于摄像头监测系统的3D显示系统
相关申请的交叉引用
本申请要求2019年10月7日提交的标题为“3D Display System For CameraMonitoring System(用于摄像头监测系统的3D显示系统)”的第62/911,585号美国临时专利申请的优先权和权益。
技术领域
本公开大体上涉及三维显示，具体地涉及要在全显示车辆镜组件上显示的三维显示。
背景技术
车辆中的全显示镜组件可以向驾驶员提供车辆后方的场景的无阻挡视图。全显示镜组件可以从被配置成捕获车辆后方的视图的摄像头或其它成像器接收图像。然而，图像可能不具有在反射中出现的表观深度。
发明内容
根据一方面，一种用于生成和显示三维图像的系统，包括：第一成像器，所述第一成像器具有第一视场；第二成像器，所述第二成像器具有与所述第一视场至少部分重叠的第二视场，所述第二成像器设置成距第一成像器一距离；以及图像信号处理器，所述图像信号处理器与所述第一成像器和所述第二成像器通信。所述图像信号处理器可以被配置成从来自所述第一成像器和所述第二成像器的数据生成具有三维外观的图像。所述第一成像器和所述第二成像器可以设置在车辆上。
所述第一成像器和所述第二成像器可以被配置成捕获场景；并且所述场景可以在车辆的外部。所述场景可以是所述车辆的后方。所述第一成像器和所述第二成像器可以被配置成捕获所述车辆的前方的场景的图像。所述系统还可以包括第一显示元件。所述第一显示元件可以与所述图像信号处理器通信，并且可以被配置成基于从所述图像信号处理器接收的数据来显示图像。所述图像可能呈现为三维的。所述第一显示元件可以是车辆的后视组件和控制台显示元件中的一个。所述图像信号处理器可以被配置成选择性地使图标出现在所显示的图像内。所述第一成像器和所述第二成像器可以被配置成捕获所述车辆的前方的场景的图像。所述图像信号处理器可以与导航程序通信，并且可以被配置成使得在显示元件上显示三维逐向导航(turn-by-turn navigation)辅助。
所述系统还可以包括具有第三视场的第三成像器，所述第三成像器被配置成捕获场景的图像；以及第四成像器，所述第四成像器具有与所述第三视场部分重叠的第四视场，所述第四成像器被配置成捕获场景的图像并且设置成距所述第三成像器一距离。所述第三成像器和第四成像器可以与所述图像信号处理器通信。所述第三成像器和所述第四成像器可以设置在所述车辆上或所述车辆中。所述第三成像器和所述第四成像器可以被配置成捕获所述车辆外部的场景的图像。所述第三成像器和所述第四成像器可以被配置成捕获所述车辆的一侧的场景的图像。所述第二视场和第三视场部分重叠。所述图像信号处理器可以被配置成将来自第一、第二、第三和第四图像的数据组合成广角图像。来自所述第一成像器和所述第二成像器中的一个的数据可以用于生成所述场景的深度图。来自第三成像器和第四成像器中的一个的数据可以用于生成所述场景的深度图。
所述系统还可以包括第二显示元件。所述第二显示元件可以与所述图像信号处理器通信，并且可以被配置成基于从所述图像信号处理器接收的数据来显示图像。所述数据可以来自由所述第三成像器和第四成像器捕获的图像。所显示的图像呈现为三维的。所述第二显示元件可以是车辆的侧面显示元件。
根据另一个方面，一种生成三维图像的方法可以包括：利用具有第一视场的第一成像器捕获车辆外部的场景的图像；利用具有与所述第一视场部分重叠的第二视场的第二成像器，捕获车辆外部的场景的图像，所述第二成像器设置成距第一成像器一距离；以及将来自所述第一成像器和所述第二成像器的从所述场景捕获的数据传输至图像信号处理器。所述第一成像器和所述第二成像器和所述图像信号处理器可以设置在车辆中。所述方法还可以包括由所述图像信号处理器处理来自所述场景的数据以生成被配置成产生三维图像的数据集。所述方法还可以包括：将被配置成产生三维图像的数据传输至第一显示元件，并且在所述第一显示元件上显示所述三维图像。所述第一显示元件可以是后视组件和车辆控制台显示元件中的一个。所述方法还可以包括由所述图像信号处理器使图标出现在所显示的图像内。所述方法还可以包括由所述图像信号处理器通过使用来自第二成像器的数据生成所述场景的深度图。所述方法还可以包括由所述图像信号处理器将来自所述第一成像器的数据与所述场景的深度图组合以生成三维图像。
所述方法还可以包括利用具有第三视场的第三成像器捕获车辆外部的场景的图像；利用具有与所述第三视场部分重叠的第四视场的第四成像器，捕获车辆外部的场景的图像，所述第四成像器设置成距第三成像器一距离；以及将由所述第三成像器和所述第四成像器从所述场景捕获的数据传输至所述图像信号处理器。所述第三成像器和所述第四成像器可以设置在所述车辆中，并且待捕获的场景可以在所述车辆的外部。所述方法还可以包括由所述图像信号处理器处理所述第三成像器和第四成像器从所述场景捕获的数据。所述方法还可以包括将经处理的由所述第三成像器和第四成像器从所述场景捕获的数据传输至第二显示元件；其中经处理的数据可能能够使所述第二显示元件显示三维图像。来自所述第四成像器的数据可以用于生成所述场景的深度图。所述图像信号处理器可以被配置成使用所述场景的深度图和从所述第三成像器捕获的图像生成三维图像。
附图说明
图1示出了用于三维摄像头监测和显示系统的三维系统的示意图；
图2示出了图1的三维摄像头监测和显示系统的实施例的图，示出了一些可能的摄像头或成像器位置；以及
图3示出了用于生成用于图1的三维摄像头监测和显示系统的三维图像的方法的流程图。
具体实施方式
参考图1，大体上在10处示出三维摄像头监测和显示系统。三维摄像头监测和显示系统10可至少包括：第一成像器对20，该第一成像器对包括第一摄像头或成像器20A和第二摄像头或成像器20B；以及与第一成像器20A和第二成像器20B通信的图像信号处理器24。如图2所示，三维摄像头监测和显示系统10可以设置在车辆28中。
第一成像器20A可具有第一视场。第一成像器20A可包括广角透镜，并且可具有广角视场。第一成像器20A可设置成能够捕获场景的图像。场景可以在车辆28的外部。在一些实施例中，场景可以在车辆28的前部。在一些实施例中，场景可以在车辆28的后部。在一些实施例中，场景可以在车辆28的一侧。第一成像器20A可以被配置成将来自所捕获的图像的数据传输至图像信号处理器24。由第一成像器20A捕获的图像可以是视频图像。
第二成像器20B可以设置成邻近第一成像器20A并以间隔开的关系设置。第二成像器20B可具有第二视场。第二成像器20B可包括广角透镜，并且可具有广角视场。第二视场可至少部分地与第一视场重叠。第二成像器20B可设置成能够捕获场景的图像，场景可以在车辆28的外部。由第二成像器20B捕获的场景可以至少部分地与第一成像器20A捕获的场景重合。第二成像器20B可以被配置成将来自所捕获的图像的数据传输至图像信号处理器24。由第二成像器20B捕获的图像可以是视频图像。第一成像器20A和第二成像器20B可以设置在车辆内部或车辆28的外部上。
在一些实施例中，图像信号处理器24可以被配置成使用来自由第一成像器20A和第二成像器20B两者捕获的图像的数据来生成三维图像和/或视频。在一些实施例中，第二成像器20B可能能够生成场景的深度图，其中深度图可以含有关于对象表面与给定视点之间的距离的信息。深度图可以是灰度图。图像信号处理器24可以被配置成使用来自第一成像器20A的数据与第二成像器20B生成的深度图组合来生成三维图像和/或视频。
三维摄像头监测和显示系统10还可以包括至少一个显示元件32。至少一个显示元件32中的每一个可以与图像信号处理器24通信。在一些实施例中，显示元件32可设置在车辆28的后视组件36上。在一些实施例中，显示元件32可以设置在车辆28的侧视镜组件40中的一个上。在一些实施例中，显示元件32可以设置在车辆的内表面上，例如车门内板或车辆支柱(未示出)的内表面。在一些实施例中，显示元件32可包括车辆28的信息娱乐控制台上的显示屏42。在一些实施例中，三维摄像头监测和显示系统10可包括多于一个显示元件32。例如，三维摄像头监测和显示系统10可包括车辆28的后视组件36和侧视镜组件40两者，或后视组件36、侧视镜组件40和车辆28的信息娱乐控制台上的显示屏42。
至少一个显示元件32中的每一个可以被配置成基于从图像信号处理器24接收的数据来显示图像。图像信号处理器24可以被配置成将数据传输至至少一个显示元件32以供显示。至少一个显示元件32中的每一个上显示的图像可以从由成像器对捕获的图像生成。至少一个显示元件32可能能够显示三维图像。因此，三维摄像头监测和显示系统10可以被配置成在至少一个显示元件32上产生和显示三维图像。
在一些实施例中，三维摄像头监测和显示系统10还可以包括至少第二成像器对44，该第二成像器对包括第三摄像头或成像器44A和第四摄像头或成像器44B。第四成像器44B可以设置成接近于第三成像器44A，并且与第三成像器呈间隔开的关系。第三成像器44A可具有第三视场，并且第四成像器44B可具有与第三视场至少部分重叠的第四视场。第三成像器44A和第四成像器44B可以与图像信号处理器24通信。
第三成像器44A和第四成像器44B可设置成能够捕获场景的图像。场景可以在车辆28的外部。场景可以在车辆28的前方或在车辆28的后方在车辆28的一侧，并且可以与车辆28成一定角度。第三成像器44A和第四成像器44B可以设置在车辆28的内部中或车辆的外部上。第三成像器44A和第四成像器44B可以被配置成将来自所捕获的图像的数据传输至图像信号处理器24。由第三成像器44A和第四成像器44B捕获的图像可以是视频图像。
在一些实施例中，第三视场和第四视场可以与第一视场和第二视场部分重叠。这可以允许图像信号处理器24将第一成像器20A和第二成像器20B捕获的图像与第三成像器44A和第四成像器44B捕获的图像组合，以产生较大图像。
在一些实施例中，第四成像器44B可能能够生成场景的深度图。图像信号处理器24可以被配置成使用来自第三成像器44A的数据与由第四成像器44B生成的深度图组合来生成三维图像和/或视频。
在一些实施例中，图像信号处理器24可以被配置成传输来自由第一成像器20A和第二成像器20B捕获的图像的数据以在第一显示元件32A上显示，以及传输来自第三成像器44A和第四成像器44B的图像的数据以在第二显示元件32B上显示。
在一些实施例中，至少一个额外成像器对可以被配置成捕获车辆28的外部场景的图像，并且图像信号处理器24可以被配置成传输来自至少一个额外成像器对的数据以显示在额外显示元件32上。图像信号处理器24可以被配置成处理来自至少一个额外成像器对中的每一个的数据，并将其传输至额外显示元件32。例如，第三成像器对52可包括第五成像器52A和第六成像器52B，并且可以被配置成捕获车辆28外部的场景的图像以用于在第三显示元件32C上显示。第五成像器52A和第六成像器52B可以设置在车辆28的内部或外部上。
在一些实施例中，图像信号处理器24可以被配置成生成图标或其它图形图像，并且使图标或其它图形图像出现在显示元件32中的一个上。图标或其它图形图像可呈现为三维的。
在一些实施例中，三维摄像头监测和显示系统10可以与全球定位系统和/或地图或导航程序通信。图像信号处理器24可以被配置成使图标或其它图形图像(包括箭头或其它方向指示符)覆盖在所显示的图像上。方向指示符可以指示例如到选定目的地的逐向方向。在逐向方向上使用的图形图像可呈现为三维的。例如，显示元件32可以显示车辆28前方的视图的三维图像。代替强调指示车辆28应继续直行的导航箭头，导航箭头可呈现为在车辆28行进的方向上进入图像中。
参考图3，在100处大体上示出的生成三维图像的方法可包括：用第一成像器20A捕获如步骤110所示的车辆28外部的场景的图像；以及用第二成像器20B捕获如步骤120所示的车辆28外部的场景的图像。由第一成像器20A捕获的场景可以与由第二成像器20B捕获的场景至少部分重叠。第一成像器20A和第二成像器20B以及图像信号处理器24可以设置在车辆28中，并且场景可以在车辆28的外部。在步骤130，来自所捕获的场景的图像的数据可以传输至图像信号处理器24。
在步骤140中，所述方法还可以包括由图像信号处理器24处理来自场景的数据。可以处理数据以产生数据集，当传输至显示元件32时，所述数据集可以产生三维图像。在步骤150中，数据集可以传输至显示元件32。在步骤160中，显示元件32可显示从数据集生成的三维图像。显示元件32可包括后视组件36、车辆28侧视镜40和车辆28控制台上的显示屏42中的一个。
在一些实施例中，如步骤170中所示，图像信号处理器24可以使图标出现在所显示的图像内。在步骤180中，图像信号处理器24可以通过使用来自第一成像器20A和第二成像器20B中的一个的数据来生成场景的深度图。在步骤180中，图像信号处理器24可以将深度图与第一成像器20A捕获的数据组合，以生成将产生场景的三维图像的数据集。
在步骤190中，具有第三视场的第三成像器44A可捕获场景的图像，在步骤200中，具有与第三视场至少部分重叠的第四视场的第四成像器44B可捕获场景的图像。场景可以在车辆28的外部。在步骤210中，来自由第三成像器44A和第四成像器44B捕获的图像的数据可以传输至图像信号处理器24，并且图像信号处理器24可以处理由第三成像器44A和第四成像器44B捕获的数据。在步骤220中，来自第四成像器44B的数据可以用来生成深度图。在步骤230中，经处理的数据可以传输至第二显示元件32B。经处理的数据可能能够使第二显示元件32B显示三维图像。第三成像器44A和第四成像器44B可以设置在车辆28中，并且场景可以在车辆28外部。深度图可以由图像信号处理器24与来自第三成像器44A捕获的图像的数据组合，以生成要在第二显示元件32B上显示的三维图像。
以上描述仅被认为是优选实施例的描述。本领域的技术人员以及制作或使用本公开的技术人员将想到对本公开的修改。因此，应理解，在附图中示出且在上文描述的实施例仅用作说明的目的，且并不旨在限制本公开的范围，本公开的范围由根据包含等同原则的专利法来解释的所附权利要求书界定。
在此文档中，例如第一和第二、顶部和底部、前和后等关系术语仅用于区分一个实体或动作与另一实体或动作，而不必需要或意指此类实体或动作之间的任何实际的这种关系、次序或数字。这些术语并不意图限制它们描述的元件，因为各个元件在不同的应用中可以不同的方式定向。然而，应理解，装置可采用各种定向和步骤顺序，除非明确地指定为相反情况。还应理解，附图中示出且在下文说明书中描述的具体装置和过程仅仅是所附权利要求书中定义的发明构思的示例性实施例。因此，除非权利要求书另外明确陈述，否则与本文中公开的实施例有关的具体尺寸和其它物理特性不应被视为是限制性的。
如本文中所使用，当用于两个或多于两个项目的列表中时，术语“和/或”意指所列项目中的任一个自身可以单独使用，或所列项目中的两个或多于两个的任何组合可被使用。举例来说，如果组合物被描述为含有组分A、B和/或C，那么所述组合物可含有：仅A；仅B；仅C；A和B的组合；A和C的组合；B和C的组合；或A、B和C的组合。
如本文所用，术语“约”意指量、尺寸、配方、参数和其他数量和特征不是确切的且无需为确切的，但可以根据需要为近似的和/或更大或更小的，从而反映出公差、换算系数、舍入、测量误差等以及本领域技术人员已知的其他因素。当使用术语“约”描述范围的值或端点时，本公开应理解为包含提及的具体值或端点。无论说明书中的范围的数值或端点是否引用“约”，范围的数值或端点预期包含两个实施方案：一个由“约”修饰并且一个不由“约”修饰。应进一步理解，每个范围的端点相对于另一个端点和独立于另一个端点都是有意义的。
如本文所用的术语“基本”、“基本上”及其变体旨在指出所描述的特征等于或大致等于值或描述。例如，“基本上平坦的”表面旨在表示平坦的或大致平坦的表面。此外，“基本上”旨在表示两个值相等或大致相等。在一些实施方案中，“基本上”可表示在彼此的约10％内的值。

Claims (20)

1.一种用于生成和显示三维图像的系统，包括：
第一成像器，所述第一成像器具有第一视场；
第二成像器，所述第二成像器具有与所述第一视场至少部分重叠的第二视场，所述第二成像器设置成距第一成像器一距离；以及
图像信号处理器，所述图像信号处理器与所述第一成像器和所述第二成像器通信；
其中所述图像信号处理器被配置成从来自所述第一成像器和所述第二成像器的数据生成具有三维外观的图像；并且
其中所述第一成像器和所述第二成像器设置在车辆上。
2.根据权利要求1所述的系统，其中所述第一成像器和所述第二成像器被配置成捕获所述车辆的后方和所述车辆的前方中的一个的场景的图像。
3.根据前述权利要求中一项所述的系统，还包括第一显示元件；其中所述第一显示元件与所述图像信号处理器通信，并且被配置成基于从所述图像信号处理器接收的数据来显示图像；
其中所述图像呈现为三维的。
4.根据权利要求3所述的系统，其中所述图像信号处理器被配置成选择性地使图标出现在所显示的图像内。
5.根据权利要求4所述的系统，其中所述第一成像器和所述第二成像器被配置成捕获所述车辆的前方的场景的图像；并且
其中所述图像信号处理器与导航程序通信，并且被配置成使得在显示元件上显示三维逐向导航辅助。
6.根据前述权利要求中一项所述的系统，其中来自所述第一成像器和所述第二成像器中的一个的数据用于生成所述场景的深度图。
7.根据前述权利要求中一项所述的系统，还包括具有第三视场的第三成像器，所述第三成像器被配置成捕获场景的图像；以及
第四成像器，所述第四成像器具有与所述第三视场部分重叠的第四视场，所述第四成像器被配置成捕获场景的图像并且设置成距所述第三成像器一距离；
其中所述第三成像器和所述第四成像器与所述图像信号处理器通信；
其中所述第三成像器和所述第四成像器设置在所述车辆上或所述车辆中；并且
其中所述第三成像器和所述第四成像器被配置成捕获所述车辆外部的场景的图像。
8.根据权利要求7所述的系统，其中所述第二视场与所述第三视场部分重叠；并且
其中所述图像信号处理器被配置成将来自第一图像、第二图像、第三图像和第四图像的数据组合成广角图像。
9.根据权利要求7所述的系统，其中来自所述第一成像器和所述第二成像器中的一个的数据用于生成所述场景的深度图；并且
其中来自第三成像器和第四成像器中的一个的数据用于生成所述场景的深度图。
10.根据权利要求9所述的系统，还包括第二显示元件；
其中所述第二显示元件与所述图像信号处理器通信，并且被配置成基于从所述图像信号处理器接收的数据来显示图像；
其中所述数据来自由所述第三成像器和所述第四成像器捕获的图像；并且
其中所显示的图像呈现为三维的。
11.一种生成三维图像的方法，包括：
利用具有第一视场的第一成像器捕获车辆外部的场景的图像；
利用具有与所述第一视场部分重叠的第二视场的第二成像器，捕获车辆外部的场景的图像，所述第二成像器设置成距第一成像器一距离；以及
将来自所述第一成像器和所述第二成像器的从所述场景捕获的数据传输至图像信号处理器；
其中所述第一成像器和所述第二成像器和所述图像信号处理器设置在车辆中。
12.根据权利要求11所述的方法，还包括由所述图像信号处理器处理来自所述场景的数据以生成能够产生三维图像的数据集。
13.根据权利要求12所述的方法，还包括将能够产生三维图像的所述数据传输至第一显示元件，并且在所述第一显示元件上显示所述三维图像，其中所述第一显示元件是后视组件和车辆信息娱乐控制台显示元件中的一个。
14.根据权利要求13所述的方法，还包括由所述图像信号处理器使图标出现在所显示的图像内。
15.根据权利要求11-14中一项所述的方法，还包括由所述图像信号处理器通过使用来自第二成像器的数据生成所述场景的深度图。
16.根据权利要求15所述的方法，还包括由所述图像信号处理器将来自所述第一成像器的数据与所述场景的深度图组合以生成三维图像。
17.根据权利要求11-16中一项所述的方法，还包括：
利用具有第三视场的第三成像器捕获车辆外部的场景的图像；
利用具有与所述第三视场部分重叠的第四视场的第四成像器，捕获车辆外部的场景的图像，所述第四成像器设置成距第三成像器一距离；以及
将由所述第三成像器和所述第四成像器从所述场景捕获的数据传输至所述图像信号处理器；
其中所述第三成像器和所述第四成像器设置在所述车辆中，并且待捕获的场景是所述车辆的外部。
18.根据权利要求17所述的方法，还包括由所述图像信号处理器处理由所述第三成像器和第四成像器从所述场景捕获的数据。
19.根据权利要求18所述的方法，还包括将经处理的由所述第三成像器和第四成像器从所述场景捕获的数据传输至第二显示元件；
其中经处理的数据能够使所述第二显示元件显示三维图像。
20.根据权利要求19所述的方法，其中来自所述第四成像器的数据用于生成所述场景的深度图；
其中所述图像信号处理器被配置成使用所述场景的深度图和从所述第三成像器捕获的图像生成三维图像。
CN202080068904.1A 2019-10-07 2020-10-07 用于摄像头监测系统的3d显示系统 Active CN114467299B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962911585P 2019-10-07 2019-10-07
US62/911,585 2019-10-07
PCT/US2020/054481 WO2021071878A1 (en) 2019-10-07 2020-10-07 3d display system for camera monitoring system

Publications (2)

Publication Number Publication Date
CN114467299A true CN114467299A (zh) 2022-05-10
CN114467299B CN114467299B (zh) 2024-01-23

Family

ID=75275292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080068904.1A Active CN114467299B (zh) 2019-10-07 2020-10-07 用于摄像头监测系统的3d显示系统

Country Status (4)

Country Link
US (1) US11178388B2 (zh)
EP (1) EP4042676A4 (zh)
CN (1) CN114467299B (zh)
WO (1) WO2021071878A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115503608A (zh) * 2022-10-24 2022-12-23 本田汽车用品(广东)有限公司 一种流媒体后视镜、实景导航系统及导航方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064507A2 (en) * 2004-12-17 2006-06-22 Human Monitoring Ltd. Vehicle vision system
US20080007618A1 (en) * 2006-07-05 2008-01-10 Mizuki Yuasa Vehicle-periphery image generating apparatus and method of switching images
JP2008139295A (ja) * 2006-11-08 2008-06-19 Korea Electronics Telecommun カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
KR20130134404A (ko) * 2012-05-31 2013-12-10 현대자동차주식회사 내비게이션용 콘텐츠 그래픽 이미지의 3차원 표시장치 및 방법
CN104057882A (zh) * 2013-03-22 2014-09-24 通用汽车环球科技运作有限责任公司 基于双摄像机的前方路缘观察系统
US20140347450A1 (en) * 2011-11-30 2014-11-27 Imagenext Co., Ltd. Method and apparatus for creating 3d image of vehicle surroundings
KR20150125774A (ko) * 2014-04-30 2015-11-10 현대엠엔소프트 주식회사 내비게이션의 음성안내 장치 및 방법
US20170094227A1 (en) * 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
CN106797461A (zh) * 2014-10-10 2017-05-31 康蒂-特米克微电子有限公司 用于机动车辆的立体摄像机
CN107000653A (zh) * 2014-12-05 2017-08-01 奥迪股份公司 观察装置、具有观察装置的车辆和操作观察装置的方法
CN107380164A (zh) * 2016-07-07 2017-11-24 小蚁科技（香港）有限公司 基于计算机视觉的驾驶员辅助系统和支持系统
CN109708655A (zh) * 2018-12-29 2019-05-03 百度在线网络技术（北京）有限公司 导航方法、装置、车辆及计算机可读存储介质
CN110214264A (zh) * 2016-12-23 2019-09-06 御眼视觉技术有限公司 具有施加的责任约束的导航系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19741896C2 (de) * 1997-09-23 1999-08-12 Opel Adam Ag Vorrichtung zur bildlichen Darstellung von Bereichen der Umgebung eines Kraftfahrzeugs
JP2003104145A (ja) * 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 運転支援表示装置
EP2505962B1 (de) 2011-03-31 2016-03-02 Technisat Digital Gmbh Verfahren zum Betreiben einer in einem Fahrzeug angeordneten Navigationseinrichtung und Navigationseinrichtung
DE102017217140B4 (de) 2017-09-27 2022-03-31 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064507A2 (en) * 2004-12-17 2006-06-22 Human Monitoring Ltd. Vehicle vision system
US20080007618A1 (en) * 2006-07-05 2008-01-10 Mizuki Yuasa Vehicle-periphery image generating apparatus and method of switching images
JP2008139295A (ja) * 2006-11-08 2008-06-19 Korea Electronics Telecommun カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
US20140347450A1 (en) * 2011-11-30 2014-11-27 Imagenext Co., Ltd. Method and apparatus for creating 3d image of vehicle surroundings
KR20130134404A (ko) * 2012-05-31 2013-12-10 현대자동차주식회사 내비게이션용 콘텐츠 그래픽 이미지의 3차원 표시장치 및 방법
CN104057882A (zh) * 2013-03-22 2014-09-24 通用汽车环球科技运作有限责任公司 基于双摄像机的前方路缘观察系统
KR20150125774A (ko) * 2014-04-30 2015-11-10 현대엠엔소프트 주식회사 내비게이션의 음성안내 장치 및 방법
CN106797461A (zh) * 2014-10-10 2017-05-31 康蒂-特米克微电子有限公司 用于机动车辆的立体摄像机
CN107000653A (zh) * 2014-12-05 2017-08-01 奥迪股份公司 观察装置、具有观察装置的车辆和操作观察装置的方法
US20170094227A1 (en) * 2015-09-25 2017-03-30 Northrop Grumman Systems Corporation Three-dimensional spatial-awareness vision system
CN107380164A (zh) * 2016-07-07 2017-11-24 小蚁科技（香港）有限公司 基于计算机视觉的驾驶员辅助系统和支持系统
CN110214264A (zh) * 2016-12-23 2019-09-06 御眼视觉技术有限公司 具有施加的责任约束的导航系统
CN109708655A (zh) * 2018-12-29 2019-05-03 百度在线网络技术（北京）有限公司 导航方法、装置、车辆及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖必虎;: "CARCAR多媒体汽车导航系统 导航娱乐两相宜", 音响改装技术, no. 06 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115503608A (zh) * 2022-10-24 2022-12-23 本田汽车用品(广东)有限公司 一种流媒体后视镜、实景导航系统及导航方法

Also Published As

Publication number Publication date
US11178388B2 (en) 2021-11-16
US20210105454A1 (en) 2021-04-08
EP4042676A1 (en) 2022-08-17
WO2021071878A1 (en) 2021-04-15
CN114467299B (zh) 2024-01-23
EP4042676A4 (en) 2022-11-23

Similar Documents

Publication Publication Date Title
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP2005311868A (ja) 車両周辺視認装置
JP6586849B2 (ja) 情報表示装置及び情報表示方法
WO2010137265A1 (ja) 車両周囲監視装置
US11833968B2 (en) Imaging system and method
EP3496996B1 (en) Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination
EP3772719B1 (en) Image processing apparatus, image processing method, and image processing program
WO2016129552A1 (ja) カメラパラメータ調整装置
JP2016063390A (ja) 画像処理装置、及び画像表示システム
CN114467299B (zh) 用于摄像头监测系统的3d显示系统
WO2013157184A1 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP6439436B2 (ja) 映像処理装置、及び車載映像処理システム
JP7442029B2 (ja) 画像処理装置、画像処理プログラム
JP2016060411A (ja) 確認支援装置および確認支援システム
JP2009124377A (ja) 車両周辺画像処理装置及び車両周辺状況提示方法
EP2481636A1 (en) Parking assistance system and method
US20200231099A1 (en) Image processing apparatus
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
JP4929232B2 (ja) 車載用撮像装置
JP2022029346A (ja) 画像処理装置、画像処理プログラム
JP2020145658A (ja) 表示制御装置、表示システム、表示制御方法およびプログラム
GB2611615A (en) Imaging system and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant