CN115589472A - 用于深度估计的异构车载摄像机立体对系统和方法 - Google Patents

用于深度估计的异构车载摄像机立体对系统和方法 Download PDF

Info

Publication number
CN115589472A
CN115589472A CN202210796528.9A CN202210796528A CN115589472A CN 115589472 A CN115589472 A CN 115589472A CN 202210796528 A CN202210796528 A CN 202210796528A CN 115589472 A CN115589472 A CN 115589472A
Authority
CN
China
Prior art keywords
camera
view
type
axis
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210796528.9A
Other languages
English (en)
Inventor
S·丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN115589472A publication Critical patent/CN115589472A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于深度估计的立体对摄像机系统，包括：第一摄像机，其沿纵轴线、横轴线和纵轴线布置在第一位置中并具有第一视场；第二摄像机，其沿纵轴线、横轴线和竖轴线布置在第二位置中并具有第二视场；其中，第一摄像机是第一类型，并且第二摄像机是不同于第一类型的第二类型；并且其中第一视场与第二视场重叠。可选地，第一位置沿纵轴线和竖轴线中的一个或更多个与第二位置间隔开。深度估计由车辆的驾驶员辅助系统和自动驾驶系统中的一个或更多个使用。

Description

用于深度估计的异构车载摄像机立体对系统和方法
技术领域
本公开一般地涉及视觉成像和机动车领域。更具体地，本公开涉及一种用于深度估计的异构车载摄像机立体对系统和方法(heterogeneous vehicle camera stereo pairsystem and method)。
背景技术
具有重叠视场的两个摄像机可用于产生立体视觉。立体对是一组从不同的角度观察同一场景的两个摄像机，视差(view disparity)产生深度图(depth map)和立体视觉。通常，立体对由两个光轴平行的水平放置的相同摄像机形成。使用水平放置且平行光轴的相同摄像机限制了计算复杂性并简化了所需的软件，因为能够限制搜索空间，并且容易匹配重叠图像之间的点。但是，这些约束在现实世界的应用例如汽车应用中可能会受到过度限制，因而不切实际。
该背景仅作为说明性上下文环境提供。对于本领域普通技术人员来说很明显的是，本公开的系统和方法也可以在其他上下文环境中实施。
发明内容
本公开提供了一种用于深度估计的异构车载摄像机立体对系统和方法，其利用任意放置的不同的摄像机，具有任意重叠视场。因此，放宽了传统的设置约束。例如，立体对可以包括针孔摄像机等，其布置在车辆上的鱼眼摄像机等的竖直上方和纵向后方，两者都关于车辆横向对齐。这是一种常见的车载摄像机设置，从未被用于提供立体视觉。同样，立体对可以包括左视或右视摄像机和前视摄像机，或者左视或右视摄像机和后视摄像机等。同样，任何摄像机可以是针孔摄像机、鱼眼摄像机等。光轴可以平行但竖直布置、以一定角度布置、纵向偏移等。
在一个示例性实施例中，本公开提供一种用于深度估计的立体对摄像机系统。所述立体对摄像机系统包括：第一摄像机，其沿纵轴线、横轴线和竖轴线布置在第一位置并具有第一视场；和第二摄像机，其沿纵轴线、横轴线和竖轴线布置在第二位置并具有第二视场；其中，第一摄像机是第一类型，并且第二摄像机是不同于第一类型的第二类型；并且其中第一视场与第二视场重叠。可选地，第一位置沿横轴线与第二位置间隔开。可选地，第一位置沿纵轴线和竖轴线中的一个或更多个与第二位置间隔开。可选地，第一类型是鱼眼摄像机，并且第二类型是针孔摄像机。可选地，第一类型和第二类型分别是前视摄像机和后视摄像机中的一个。可选地，第一类型是前视摄像机和后视摄像机中的一个，并且第二类型是侧视摄像机。第一摄像机和第二摄像机中的每一个都耦接到车辆。立体对摄像机系统的深度估计由车辆的驾驶员辅助系统和自动驾驶系统中的一个或更多个使用。
在另一示例性实施例中，本公开提供一种用于深度估计的立体对摄像机系统。立体对摄像机系统包括：第一摄像机，其沿纵轴线、横轴线和竖轴线布置在第一位置并具有第一视场；第二摄像机，其沿纵轴线、横轴线和竖轴线布置在第二位置并具有第二视场；其中第一位置沿纵轴线和竖轴线中的一个或更多个与第二位置间隔开；并且其中第一视场与第二视场重叠。可选地，第一位置沿横轴线与第二位置间隔开。可选地，第一摄像机是第一类型，并且第二摄像机是不同于第一类型的第二类型。可选地，第一类型是鱼眼摄像机，并且第二类型是针孔摄像机。可选地，第一类型和第二类型分别是前视摄像机和后视摄像机中的一个。可选地，第一类型是前视摄像机和后视摄像机中的一个，并且第二类型是侧视摄像机。第一摄像机和第二摄像机中的每一个都耦接到车辆。立体对摄像机系统的深度估计由车辆的驾驶员辅助系统和自动驾驶系统中的一个或更多个使用。
在进一步的示例性实施例中，本公开提供一种深度估计方法，包括：提供第一摄像机，其沿纵轴线、横轴线和竖轴线布置在第一位置并具有第一视场；提供第二摄像机，其沿纵轴线、横轴线和竖轴线布置在第二位置并具有第二视场；其中，第一摄像机是第一类型，并且第二摄像机是不同于第一类型的第二类型；并且其中第一视场与第二视场重叠；使用第一摄像机获得第一图像；使用第二摄像机获得第二图像；以及使用立体视觉算法对在第一图像和第二图像两者中捕获的场景的至少一部分执行深度估计。第一位置沿横轴线、纵轴线和竖轴线中的一个或更多个与第二位置间隔开。以下中的一种或多种：第一类型是鱼眼摄像机，并且第二类型是针孔摄像机；第一类型和第二类型分别是前视摄像机和后视摄像机中的一个。第一类型是前视摄像机和后视摄像机中的一个，并且第二类型是侧视摄像机。深度估计方法还包括将深度估计提供给车辆的驾驶员辅助系统和自动驾驶系统中的一个或更多个。
附图说明
本公开在本文中参考各种附图进行说明和描述。在附图中，相同的附图标记用于表示相同的系统部件/方法步骤，视情况而定，并且在附图中：
图1是车辆的前视立体图，该车辆包括本公开的立体对摄像机系统的一个示例性实施例，其使用不相似的竖直布置的摄像机；
图2是车辆的俯视示意图，该车辆包括本公开的立体对摄像机系统的多个替代示例性实施例，其使用相似或不相似的水平和/或竖直布置的摄像机；
图3是本公开的立体对摄像机方法的一个示例性实施例的流程图；
图4是本公开的用于实施各种基于云的服务的基于云的计算系统的网络图，视情况而定；
图5是可以在图4的基于云的计算系统中使用的或者独立地使用的服务器的框图，视情况而定；和
图6是可以在图4的基于云的计算系统中使用的或者独立地使用的车辆或用户装置的框图，视情况而定。
具体实施方式
再次地，本公开提供了一种用于深度估计的异构车载摄像机立体对系统和方法，其利用任意放置的具有任意重叠的视场的不同摄像机。因此，放宽了传统的设置约束。例如，立体对可以包括布置在车辆上的鱼眼摄像机等的竖直上方和纵向后方的针孔摄像机等，两者关于车辆横向对齐。这是一种常见的车载摄像机设置，但从未被用于提供立体视觉。同样，立体对可以包括左视或右视摄像机和前视摄像机，或者左视或右视摄像机和后视摄像机等。同样，摄像机中的任何一个可以是针孔摄像机、鱼眼摄像机等。光轴可以平行但竖直地布置、以一定角度布置、纵向偏移等。
现在具体参考图1，在一个示例性实施例中，摄像机立体对系统102耦接并植入到车辆100中。摄像机立体对系统102包括第一鱼眼摄像机104和第二针孔摄像机106，尽管也可以使用不同类型的摄像机。如图所示，第一鱼眼摄像机104布置在车辆100的前格栅中，在第二针孔摄像机106的纵向前方且竖直下方，而第二针孔摄像机106布置在车辆100的挡风玻璃顶部后面或附近。对于本领域的普通技术人员来说，很明显也可以使用其他摄像机位置。
如图所示，第一鱼眼摄像机104布置在相对于车辆100的后轴中心3.873m的纵向位置(X)处，朝向车辆100的前部的值为正并且朝向车辆100后部的值为负。第一鱼眼摄像机104布置在相对于车辆100的后轴中心0m的横向位置(Y)处，朝向车辆100的左侧的值为正，并且朝向车辆100的右侧的值为负。第一鱼眼摄像机104布置在相对于车辆100的后轴中心0.406m的竖直位置(Z)处，朝向车辆100的顶部的值为正，并且朝向车辆100的底部的值为负。鱼眼摄像机104具有围绕车辆100的Z轴的0度的横摆角(yaw angle)。鱼眼摄像机104具有围绕车辆100的Y轴的26度的纵倾角(pitch angle)。鱼眼摄像机104具有围绕车辆100的X轴的0度的侧倾角(roll angle)。
如图所示，第二针孔摄像机106布置在相对于车辆100的后轴中心2.632m的纵向位置(X)处，朝向车辆100的前部的值为正并且朝向车辆100的后部的值为负。第二针孔摄像机106布置在相对于车辆100的后轴中心0m的横向位置(Y)处，朝向车辆100的左侧的值为正，并且朝向车辆100的右侧的值为负。第二针孔摄像机106布置在相对于车辆100的后轴中心1.67339m的竖直位置(Z)处，朝向车辆100的顶部的值为正，并且朝向车辆100的底部的值为负。第二针孔摄像机106具有围绕车辆100的Z轴的0度的横摆角。第二针孔摄像机106具有围绕车辆100的Y轴的0度的纵倾角。第二针孔摄像机106具有围绕车辆100的X轴的0度的侧倾角。
第一鱼眼摄像机104和第二针孔摄像机106的视场因此在横向上相似并且在竖向上重叠，其中第二针孔摄像机106从比第一鱼眼摄像机104更高的竖向透视获得。使用第一鱼眼摄像机104和第二针孔摄像机106中的每一个获得的图像由立体视觉算法处理并用于确定图像中存在的物体/场景的深度估计，即使使用了类型不相似的摄像机并且提供了图像。因为摄像机104、106中的每一个的位置相对于彼此是已知的，所以可以以最小的计算复杂度有效地定义和解释立体对。
大多数立体视觉系统使用视差误差(parallax error)来估计深度。使用两个不同的摄像机从两个不同的视角记录单个场景，并根据视差误差的测量来估计深度。这样的技术对于本领域普通技术人员来说是众所周知的并且不是本公开的主题。测量视差误差和执行深度估计的第一步是评估所使用的两个图像中感兴趣的像素的对应性，这是利用相对摄像机位置和取向来完成的，如果图像重叠，则此处相对不受约束。
现在具体参考图2，在多个替代示例性实施例中，关于车辆200，立体对摄像机系统202包括具有第一前向视场204的第一前视摄像机(鱼眼、针孔等)和具有重叠的第二前向视场206的第二前视摄像机(鱼眼、针孔等)、具有重叠的第二左视场208的第二左视摄像机(鱼眼、针孔等)、或者具有重叠的第二右视场210的第二右视摄像机(鱼眼、针孔等)。可选地，立体对摄像机系统202包括具有第一后向视场212的第一后视摄像机(鱼眼、针孔等)和具有重叠的第二左视场208的第二左视摄像机(鱼眼、针孔等)或者具有重叠的第二右视场210的第二右视摄像机(鱼眼、针孔等)。这些摄像机中的各摄像机可以布置在同一竖向高度(Z)的同一平面中或者不同竖向高度(Z)的不同平面中。它们可以纵向(X)和/或横向(Y)间隔开，并且具有不同的横摆角、纵倾角和侧倾角，假设所有这些设计都是已知的并且视场重叠。这是本公开的自由。例如，在由车辆应用程序规定的配置中计算位置和取向。摄像机可以是相同类型或不同类型的。以这种方式，例如，具有不同取向和非平行光轴的不同鱼眼摄像机能够用于深度估计。
图3为本公开的深度估计方法300的一个示例性实施例的流程图。方法300包括提供第一摄像机，其布置在沿纵轴线、横轴线和竖轴线的第一位置中并具有第一视场(步骤302)；和提供第二摄像机，其布置在沿纵轴线、横轴线和竖轴线的第二位置中并具有第二视场(步骤304)。第一摄像机是第一类型，并且第二摄像机是与第一类型不同的第二类型，并且第一视场与第二视场重叠。方法300还包括使用第一摄像机获得第一图像(步骤306)和使用第二摄像机获得第二图像(步骤308)。该方法还包括考虑摄像机的相对位置和取向，使用立体视觉算法对在第一图像和第二图像两者中捕获的场景的至少一部分执行深度估计(步骤310)。第一位置沿横轴线、纵轴线和竖轴线中的一个或更多个与第二位置间隔开。第一类型是鱼眼摄像机，并且第二类型是针孔摄像机。可选地，第一类型和第二类型分别是前视摄像机和后视摄像机中的一个。可选地，第一类型是前视摄像机和后视摄像机中的一个，并且第二类型是侧视摄像机。方法300还包括将深度估计提供给车辆的驾驶员辅助系统和自主驾驶系统中的一个或更多个(步骤312)。
应当认识到，取决于示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有记载的行为或事件对于技术的实践而言是必要的)。此外，在某些示例中，动作或事件可以同时执行，例如通过多线程处理、中断处理或多个处理器，而不是顺序执行。
图4是本公开的用于实施各种基于云的服务的基于云的计算系统400的网络图，视情况而定。基于云的系统400包括通信地耦合到互联网404等的一个或更多个云节点(CN)402。云节点402可以实施为服务器500(如图5所示)等，并且可以在地理上彼此不同，例如位于全国或全球各地的各数据中心。此外，基于云的系统400可以包括一个或更多个中央授权(central authority，简称CA)节点406，其类似地能够实施为服务器500并且连接到CN402。为了说明的目的，基于云的系统400能够连接到区域办公室410、总部420、各雇员的家430、膝上型电脑/台式机440和移动装置450，它们中的每一个都可以通信地耦合到CN 402中的一个。这些位置410、420和430以及装置440和450是出于示例性目的而示出的，并且本领域技术人员将认识到存在对基于云的系统400的各种访问场景，所有这些都在本文中设想到了。装置440和450能够是所谓的道路勇士(road warriors)，即异地用户(users off-site)、路上用户等。基于云的系统400能够是私有云、公共云、私有云以及公共云的组合(混合云)等。
再次，基于云的系统400能够通过服务向位置410、420和430与装置440和450提供任何功能，所述服务例如是软件即服务(software-as-a-service，SaaS)、平台即服务(platform-as-a-service)、基础设施即服务(infrastructure-as-a-service)、安全性即服务(security-as-a-service)、网络功能虚拟化(NFV)基础设施(NFVI)中的虚拟网络功能(VNF)。以前，信息技术(IT)部署模型包括存储在企业网络(即物理装置)内、位于防火墙后面、由现场员工访问或通过虚拟专用网络(VPN)远程能访问的企业资源和应用程序。基于云的系统400正在取代传统部署模型。基于云的系统400能够用于在云中实施这些服务，而不需要物理装置和企业IT管理员对其进行管理。
云计算系统和方法抽走物理服务器、存储、网络等，并提供这些作为按需(on-demand)和弹性资源。美国国家标准与技术研究院(NIST)提供了简洁且具体的定义，其中说明云计算是一种对可配置的计算资源(例如，网络、服务器、存储、应用程序和服务)的共享池能够方便、按需网络访问的模型，其能够利用最少的管理工作或服务提供商交互来快速配置和发布。云计算与经典的客户端-服务器模型的不同之处在于，从服务器提供由客户端的网络浏览器等执行和管理的应用程序，而无需安装应用程序的客户端版本。中心化(Centralization)使云服务提供商完全控制提供给客户端的基于浏览器的应用程序和其他应用程序的版本，这无需在单个客户端计算装置上进行版本升级或许可证管理。短语“软件即服务”(SaaS)有时用于描述通过云计算提供的应用程序。提供的云计算服务(或甚至是所有现有云服务的聚合)的常用简写是“云”。基于云的系统400在本文中被示为基于云的系统的一个示例实施例，并且本领域普通技术人员将认识到本文所描述的系统和方法不一定受此限制。
图5是服务器500的框图，其可以用于基于云的计算系统400(图4)、或其他系统、或者独立使用，视情况而定。例如，CN 402(图4)和中央授权节点406(图4)可以形成为一个或更多个服务器500。服务器500可以是数字计算机，就硬件架构而言，一般包括处理器502、输入/输出(I/O)接口504、网络接口506、数据存储器(data store)508和内存(memory)510。本领域普通技术人员应当理解，图5以过于简化的方式描绘了服务器500，并且实际实施例可以包括附加部件和适当配置的处理逻辑以支持本文未详细描述的已知或常规操作特征。部件(502、504、506、508和510)经由本地接口512通信地耦合。本地接口512可以是例如但不限于一个或更多个总线或其他有线或无线连接，如本领域已知的。本地接口512可以具有附加元件，为了简单起见，省略这些附加元件，例如控制器、缓冲器(高速缓存)、驱动器、中继器(repeaters)、和接收器等等，以实现通信。此外，本地接口512可以包括地址、控制、和/或数据连接以实现上述部件之间的适当通信。
处理器502是用于执行软件指令的硬件装置。处理器502可以是任何定制的或市售的处理器、中央处理单元(CPU)、与服务器500相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)，或通常地任何用于执行软件指令的装置。当服务器500运行时，处理器502配置为执行存储在内存510内的软件，以向内存510传送数据和从内存510传送数据，并且通常根据软件指令控制服务器500的运行。I/O接口504可以用于从一个或更多个装置或部件接收用户输入和/或用于向一个或更多个装置或部件提供系统输出。
网络接口506可以用于使服务器500能够在网络例如互联网404(图4)上进行通信。网络接口506可以包括例如以太网卡或适配器(例如，10BaseT、快速以太网、千兆以太网、或10GbE)或无线局域网(WLAN)卡或适配器(例如，802.11a/b/g/n/ac)。网络接口506可以包括地址、控制、和/或数据连接以在网络上实现适当通信。数据存储器508可以用于存储数据。数据存储器508可以包括任何易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))、非易失性存储器元件(例如，ROM、硬盘驱动器、磁带、CDROM等)，以及它们的组合。此外，数据存储器508可以结合电子、磁性、光学、和/或其他类型的存储介质。在一个示例中，数据存储器508可以位于服务器500内部，例如连接到服务器500中的本地接口512的内部硬盘驱动器。另外，在另一实施例中，数据存储器508可以位于服务器500外部，例如连接(例如SCSI或USB连接)到I/O接口504的外部硬盘驱动器。在另一实施例中，数据存储器508可以通过网络连接到服务器500，例如网络连接的文件服务器。
内存510可以包括易失性存储器元件(例如，随机存取存储器(RAM，例如DRAM、SRAM、SDRAM等))、非易失性存储器元件(例如，ROM、硬盘驱动器、磁带、CDROM等)，以及它们的组合。此外，内存510可以结合电子、磁性、光学、和/或其他类型的存储介质。注意，内存510可以具有分布式架构，其中各部件彼此远离但能够由处理器502访问。内存510中的软件可以包括一个或更多个软件程序，每个软件程序包括用于实施逻辑功能的可执行指令的有序列表。内存510中的软件包括合适的操作系统(O/S)514和一个或更多个程序516。操作系统514本质上控制其他计算机程序(例如一个或更多个程序516)的执行，并提供调度，输入-输出控制、文件和数据管理、内存管理、通信控制和相关服务。一个或更多个程序516可以配置为实施本文描述的各种处理、算法、方法、技术等。
应当理解，本文描述的一些实施例可以包括一个或更多个通用或专用处理器(“一个或更多个处理器”)，例如微处理器；中央处理单元(CPU)；数字信号处理器(DSP)；定制处理器，例如网络处理器(NP)或网络处理单元(NPU)、图形处理单元(GPU)等；现场可编程门阵列(FPGA)以及类似处理器连同专门存储用于控制这些处理器的程序指令(包括软件和固件两者)以结合某些非处理器电路实施本文所述的方法和/或系统的一些、大部分或所有功能。可选地，一些或所有功能可以由没有存储程序指令的状态机来实施，或者在一个或更多个专用集成电路(ASIC)中实施，其中每个功能或某些功能的一些组合实施为定制的逻辑或电路。当然，可以使用上述方法的组合。对于本文所述的一些实施例，硬件中的以及可选地具有软件、固件及其组合的对应装置可以称为配置或适于执行数字和/或模拟信号上的操作、步骤、方法、过程、算法、功能、技术等的集合的“电路”、“逻辑”等，如本文针对各种实施例所描述的。
此外，一些实施例可以包括非暂时性的计算机可读的存储介质，其具有存储在其上的计算机可读代码，用于对计算机、服务器、家用电器、装置、处理器、电路等进行编程，其中的每一个可以包括处理器以执行本文中描述和要求保护的功能。这样的计算机可读存储介质的示例包括但不限于硬盘、光存储装置、磁存储装置、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存等。当存储在非暂时性计算机可读介质中时，软件能够包括可由处理器或装置(例如，任何类型的可编程电路或逻辑)执行的指令，响应于这样的执行，使处理器或装置执行如本文针对各实施例所述的一组操作、步骤、方法、过程、算法、功能、技术等。
图6是车辆或用户装置600的框图，其可以作为网络的一部分在基于云的计算系统400(图4)中使用，或独立使用，视情况而定。同样，用户装置600可以是车辆、智能手机、平板电脑、智能手表、物联网(IoT)装置、膝上型电脑、虚拟现实(VR)头戴装置等。用户装置600能够是数字装置，其在硬件架构方面一般包括处理器602、I/O接口604、无线电装置606、数据存储器608和内存610。本领域普通技术人员应当理解的是，图6以过于简化的方式描绘了用户装置600，而实际实施例可以包括附加部件和适当配置的处理逻辑以支持本文未详细描述的已知或常规操作特征。所述部件(602、604、606、608和610)经由本地接口612通信地耦合。本地接口612能够是例如但不限于一个或更多个总线或其他有线或无线连接，如本领域中已知的。本地接口612能够具有附加元件，为简单起见已被省略，例如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器等，以实现通信。此外，本地接口612可以包括地址、控制和/或数据连接以实现上述部件之间的适当通信。
处理器602是用于执行软件指令的硬件装置。处理器602可以是任何定制的或市售的处理器、CPU、与用户装置600相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)，或一般地用于执行软件指令的任何装置。当用户装置600运行时，处理器602配置为执行存储在内存610内的软件，向内存610传送数据和从内存610传送数据，以及根据软件指令一般地控制用户装置600的操作。在一个实施例中，处理器602可以包括移动优化处理器，例如针对功耗和移动应用进行优化的处理器。I/O接口604能够用于接收用户输入和/或用于提供系统输出。用户输入可以经由例如小键盘、触摸屏、滚动球、滚动条、按钮、条形码扫描仪等来提供。系统输出可以经由显示装置例如液晶显示器(LCD)、触摸屏等来提供。
无线电装置606能够实现与外部访问装置或网络的无线通信。无线电装置606能够支持任何数量的合适的无线数据通信协议、技术或方法，包括用于无线通信的任何协议。数据存储器608可以用于存储数据。数据存储器608可以包括易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))、非易失性存储器元件(例如，ROM、硬盘驱动器、磁带、CDROM等)，以及它们的组合。此外，数据存储器608可以结合电子、磁性、光学和/或其他类型的存储介质。
同样，内存610可以包括任何易失性存储器元件(例如，随机存取存储器(RAM，例如DRAM、SRAM、SDRAM等))、非易失性存储器元件(例如，ROM、硬盘驱动器等)。以及它们的组合。此外，内存610可以结合电子、磁性、光学和/或其他类型的存储介质。注意，内存610可以具有分布式架构，其中各部件彼此远离但能够由处理器602访问。内存610中的软件能够包括一个或更多个软件程序，每个软件程序包括用于实施逻辑功能的可执行指令的有序列表。在图6的示例中，内存610中的软件包括合适的操作系统614和程序616。操作系统614本质上控制其他计算机程序的执行并提供调度、输入-输出控制、文件和数据管理、存储器管理、和通信控制及相关服务。程序616可以包括各种被配置为向用户装置600提供最终用户功能的应用程序、插件等。例如，示例程序616可以包括但不限于web浏览器、社交网络应用程序、流媒体应用程序、游戏、地图和定位应用程序、电子邮件应用程序、金融应用程序等。在典型示例中，终端用户通常使用程序616中的一个或更多个连同诸如基于云的系统400(图4)的网络。
尽管在本文中参考示例性实施例及其具体示例说明和描述了本公开，但是对于本领域普通技术人员很明显的是，其他实施例和示例可以执行类似的功能和/或实现类似的结果。所有这样的等同实施例和示例都位于本公开的精神和范围内，由此被设想，并且旨在由以下非限制性权利要求涵盖以用于所有目的。

Claims (15)

1.一种用于深度估计的立体对摄像机系统，所述立体对摄像机系统包括：
第一摄像机，其沿纵轴线、横轴线和竖轴线布置在第一位置中并具有第一视场；和
第二摄像机，其沿所述纵轴线、所述横轴线和所述竖轴线布置在第二位置中并具有第二视场；
其中，所述第一摄像机是第一类型的，并且所述第二摄像机是不同于所述第一类型的第二类型的，并且其中所述第一摄像机和所述第二摄像机中的每一个都耦接到车辆；并且
其中，所述第一视场与所述第二视场重叠。
2.根据权利要求1所述的立体对摄像机系统，其中，所述第一位置沿所述横轴线与所述第二位置间隔开。
3.根据权利要求1所述的立体对摄像机系统，其中，所述第一位置沿所述纵轴线和所述竖轴线中的一个或更多个与所述第二位置间隔开。
4.根据权利要求1所述的立体对摄像机系统，其中，所述第一类型是鱼眼摄像机，并且所述第二类型是针孔摄像机。
5.根据权利要求1所述的立体对摄像机系统，其中，所述第一类型和所述第二类型分别是前视摄像机和后视摄像机中的一个。
6.根据权利要求1所述的立体对摄像机系统，其中，所述第一类型是前视摄像机和后视摄像机中的一个，并且所述第二类型是侧视摄像机。
7.一种用于深度估计的立体对摄像机系统，所述立体对摄像机系统包括：
第一摄像机，其沿纵轴线、横轴线和竖轴线布置在第一位置中并具有第一视场；和
第二摄像机，其沿所述纵轴线、所述横轴线和所述竖轴线布置在第二位置中并具有第二视场；
其中，所述第一位置沿所述纵轴线和所述竖轴线中的一个或更多个与所述第二位置间隔开，并且其中所述第一摄像机和所述第二摄像机中的每一个都耦接到车辆；并且
其中，所述第一视场与所述第二视场重叠。
8.根据权利要求7所述的立体对摄像机系统，其中，所述第一位置沿所述横轴线与所述第二位置间隔开。
9.根据权利要求7所述的立体对摄像机系统，其中，所述第一摄像机是第一类型的并且所述第二摄像机是不同于所述第一类型的第二类型的。
10.根据权利要求7所述的立体对摄像机系统，其中，所述第一类型是鱼眼摄像机，并且所述第二类型是针孔摄像机。
11.根据权利要求7所述的立体对摄像机系统，其中，所述第一类型和所述第二类型分别是前视摄像机和后视摄像机中的一个。
12.根据权利要求7所述的立体对摄像机系统，其中，所述第一类型是前视摄像机和后视摄像机中的一个，并且所述第二类型是侧视摄像机。
13.一种深度估计方法，包括：
提供第一摄像机，其沿纵轴线、横轴线和竖轴线布置在第一位置中并具有第一视场；
提供第二摄像机，其沿所述纵轴线、所述横轴线和所述竖轴线布置在第二位置中并具有第二视场；
其中，所述第一摄像机是第一类型的，并且所述第二摄像机是不同于第一类型的第二类型的；并且
其中，所述第一视场与所述第二视场重叠；
使用所述第一摄像机获得第一图像；
使用所述第二摄像机获得第二图像；和
使用立体视觉算法对在所述第一图像和所述第二图像两者中捕获的场景的至少一部分执行深度估计。
14.根据权利要求13所述的深度估计方法，其中，所述第一位置沿所述横轴线、所述纵轴线和所述竖轴线中的一个或更多个与所述第二位置间隔开。
15.根据权利要求13所述的深度估计方法，其中，以下一项或多项：
所述第一类型是鱼眼摄像机，并且所述第二类型是针孔摄像机；
所述第一类型和所述第二类型分别是前视摄像机和后视摄像机中的一个；和
所述第一类型是前视摄像机和后视摄像机中的一个，并且所述第二类型是侧视摄像机。
CN202210796528.9A 2021-07-06 2022-07-06 用于深度估计的异构车载摄像机立体对系统和方法 Pending CN115589472A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/367,706 2021-07-06
US17/367,706 US11792382B2 (en) 2021-07-06 2021-07-06 Heterogeneous vehicle camera stereo pair system and method for depth estimation

Publications (1)

Publication Number Publication Date
CN115589472A true CN115589472A (zh) 2023-01-10

Family

ID=82703095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796528.9A Pending CN115589472A (zh) 2021-07-06 2022-07-06 用于深度估计的异构车载摄像机立体对系统和方法

Country Status (3)

Country Link
US (1) US11792382B2 (zh)
EP (1) EP4117284A1 (zh)
CN (1) CN115589472A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792382B2 (en) 2021-07-06 2023-10-17 Volvo Car Corporation Heterogeneous vehicle camera stereo pair system and method for depth estimation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
DE102018100909A1 (de) 2018-01-17 2019-07-18 Connaught Electronics Ltd. Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
US10829120B2 (en) * 2018-06-18 2020-11-10 Valeo Schalter Und Sensoren Gmbh Proactive safe driving for an automated vehicle
WO2020198119A1 (en) * 2019-03-23 2020-10-01 Uatc, Llc Depth estimation for autonomous devices
US10992860B2 (en) * 2019-03-29 2021-04-27 Nio Usa, Inc. Dynamic seam adjustment of image overlap zones from multi-camera source images
US11792382B2 (en) 2021-07-06 2023-10-17 Volvo Car Corporation Heterogeneous vehicle camera stereo pair system and method for depth estimation

Also Published As

Publication number Publication date
US20230008027A1 (en) 2023-01-12
EP4117284A1 (en) 2023-01-11
US11792382B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
US10755425B2 (en) Automatic tuning of image signal processors using reference images in image processing environments
TWI808987B (zh) 將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法
US11024083B2 (en) Server, user terminal device, and control method therefor
US10679426B2 (en) Method and apparatus for processing display data
CN111105450A (zh) 用于视差估计的电子装置和方法
KR20210134951A (ko) 컴퓨터 생성 현실 시스템에서의 분배 프로세싱
US20140240310A1 (en) Efficient approach to estimate disparity map
CN113255619B (zh) 车道线识别及定位方法、电子设备和计算机可读介质
CN111295667A (zh) 图像立体匹配的方法和辅助驾驶装置
CN115589472A (zh) 用于深度估计的异构车载摄像机立体对系统和方法
CN108401460B (zh) 生成视差图的方法、系统、存储介质和计算机程序产品
US20200272175A1 (en) Aerial vehicle control method and apparatus
WO2022166868A1 (zh) 漫游视图的生成方法、装置、设备和存储介质
CN113269168B (zh) 障碍物数据处理方法、装置、电子设备和计算机可读介质
US11823353B2 (en) System and method for generating bokeh image for DSLR quality depth-of-field rendering and refinement and training method for the same
CN116400878B (zh) 头戴显示设备的显示方法、装置、电子设备以及存储介质
CN111915532B (zh) 图像追踪方法、装置、电子设备及计算机可读介质
CN109155822B (zh) 图像处理方法和装置
WO2020037553A1 (zh) 图像处理方法及装置、移动设备
WO2023183041A1 (en) Perspective-dependent display of surrounding environment
US11507836B1 (en) Federated learning using local ground truth estimation
US11948327B2 (en) Method and system for joint object location and ground plane estimation in computer vision
US20230281852A1 (en) Methods and systems for unsupervised depth estimation for fisheye cameras using spatial-temporal consistency
US20180001821A1 (en) Environment perception using a surrounding monitoring system
CN113204661B (zh) 实时路况更新方法、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination