CN106575432B - 碗形成像系统中的对象可视化 - Google Patents

碗形成像系统中的对象可视化 Download PDF

Info

Publication number
CN106575432B
CN106575432B CN201580043847.0A CN201580043847A CN106575432B CN 106575432 B CN106575432 B CN 106575432B CN 201580043847 A CN201580043847 A CN 201580043847A CN 106575432 B CN106575432 B CN 106575432B
Authority
CN
China
Prior art keywords
image
fisheye
overlapping
region
bowl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580043847.0A
Other languages
English (en)
Other versions
CN106575432A (zh
Inventor
K-U·舍尔
C·比尔克勒
K·纳特罗什维利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106575432A publication Critical patent/CN106575432A/zh
Application granted granted Critical
Publication of CN106575432B publication Critical patent/CN106575432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing (AREA)

Abstract

用于将移动的对象在碗形图像上可视化的技术，包括：计算设备，其用于接收由第一鱼眼相机所生成的并且捕获第一场景的第一鱼眼图像，以及由第二鱼眼相机所生成的并且捕获在重叠区域处与所述第一场景重叠的第二场景的第二鱼眼图像。所述计算设备识别所述重叠区域中的移动的对象并修改所投影的重叠图像区域以将所识别的移动的对象在虚拟碗形投影表面上可视化。所投影的重叠图像区域被投影在所述虚拟碗形投影表面上并且与在第一和第二鱼眼图像中所捕获的重叠区域相对应。

Description

碗形成像系统中的对象可视化
与相关美国专利申请的交叉引用
本申请要求于2014年9月17日提交的、标题为“OBJECT VISUALIZATION IN BOWL-SHAPED IMAGING SYSTEMS”的序列号为14/488,793的美国实用新型专利申请的优先权。
背景技术
诸如后视相机之类的车载相机系统已经成为了豪华车辆甚至一些较低端的车辆中的主流。取决于特定的实现，车辆相机系统可用于提高视力、自动平行泊车、和/或其他目的。例如，可以在车辆的导航系统显示器上显示由车载相机所捕获的图像，以为驾驶员提供车辆的无障碍的后视图(即，比后视镜更好)或顶视图(即，显示车辆的周围环境)。
可以给车辆安装几个相机以捕获车辆的所有周围环境(即，全360度)。这样的车载相机系统可利用诸如具有鱼眼镜头的那些广角相机(即，鱼眼相机)以便最小化捕获车辆的周围环境所需的相机的数量。然而，相邻相机的重叠区域可能导致对单个真实世界点的不同的投影，这可能会导致图像模糊、重复、和/或对象不可见。例如，在重叠区域中行走的行人可能被显示两次，或者更槽糕的是根本不显示。由于这样的车载相机系统给驾驶员提供了她能够看到车辆周围的一切的感觉，因此放大了与不可见的对象(即，未显示的对象)相关联的危险。
附图说明
在附图中作为示例而非限制示出了在本文中所描述的概念。为了说明的简单和清楚，在图中所示出的元件不一定是按比例绘制的。在适当地考虑的情况下，可以在附图间重复附图标记以指示对应的或类似的元素。
图1是用于显示车辆周围的物理环境的车辆的车载计算系统的至少一个实施例的简化框图；
图2是图1的车辆的至少一个实施例的简化图；
图3是由图1的车载计算系统所建立的环境的至少一个实施例的简化框图；
图4是虚拟碗形投影表面的至少一个实施例的简化图；
图5A和5B分别是图4的虚拟碗形投影表面的顶视图和底视图的简化图；
图6是图4的虚拟碗形投影表面的竖直截面的简化图；
图7是对象在图4的虚拟碗形投影表面上的投影的至少一个实施例的简化图；
图8是用于由图1的车载计算系统在碗形图像上将移动的对象可视化的方法的至少一个实施例的简化流程图；
图9是用于由图1的车载计算系统对移动的对象的轮廓进行投影以将移动的对象可视化的方法的至少一个实施例的简化流程图；
图10是用于由图1的车载计算系统来修改相邻的图像之间的接合位置以将移动的对象可视化的方法的至少一个实施例的简化流程图；
图11是移动的对象的轮廓在图4的虚拟碗形投影表面上的投影的至少一个实施例的简化图；以及
图12-14是具有基于图10的方法而修改的接合位置的投影的图像的简化图。
具体实施方式
尽管本公开的概念容易受到各种修改和可替代的形式的影响，但其具体的实施例已经作为示例在附图中被示出并且将在本文中详细地描述。然而，应当理解的是，没有打算将本公开的概念限制至所公开的特定的形式，而相反，目的是覆盖与本公开和所附权利要求相一致的所有修改、等同物、和替代物。
在说明书中对“一个实施例”、“实施例”、“说明性实施例”等的引用指示所描述的实施例可以包括特定的特征、结构、或特性，但每个实施例可以或可以不一定包括该特定的特征、结构、或特性。此外，这样的短语不一定指的是同一实施例。此外，当结合实施例来描述特定的特征、结构、或特性时，所主张的是结合其他实施例(无论其是否进行了明确地描述)实现这样的特征、结构、或特性也在本领域技术人员的知识范围内。额外地，应当理解的是，以“至少一个A、B和C”的形式包括在列表中的项目可以意味着(A)；(B)；(C)；(A和B)；(B和C)；(A和C)；或者(A、B和C)。类似地，以“A、B或C中的至少一个”的形式列出的项目可以意味着(A)；(B)；(C)；(A和B)；(B和C)；(A和C)；或者(A、B和C)。
在一些情况下，可以以硬件、固件、软件或其任何组合来实现所公开的实施例。还可以将所公开的实施例实现为由一个或多个瞬时性或者非瞬时性机器可读(例如，计算机可读)存储介质所实行或存储在其上的指令，所述指令可以由一个或多个处理器来读取或执行。机器可读存储介质可以被实施为用于以能够由机器读取的形式存储或发送信息的任何存储设备、机制、或其他物理结构(例如，易失性或非易失性存储器、媒体盘、或其他介质设备)。
在附图中，可以以具体的布置和/或顺序来示出一些结构或方法特征。然而，应当理解的是，这样的具体的布置和/或顺序不是必需的。相反，在一些实施例中，可以以与在说明性附图中所示出的不同的方式和/或顺序来布置这样的特征。额外地，将结构或方法特征包含在特定的附图中不意味着暗示在所有实施例中都需要这样的特征，而在一些实施例中，这样的特征可以不被包括，或者可以与其他特征进行组合。
现在参考图1，在说明性实施例中，车辆100包括车载计算系统102，所述车载计算系统102可以被实施为能够执行在本文中所述的功能的任何类型的计算系统。在说明性实施例中，车辆100被实施为有轮的乘用车辆(例如，汽车、卡车、卡车拖拉机、公共汽车等)。然而，应当理解的是，在其他实施例中，车辆100可以被实施为另一种类型的车辆(例如，轨道驱动电车、无人驾驶车辆、或适合于应用所描述的技术和机制的另一车辆)或其他可移动装置。如在本文中所描述的，在说明性实施例中，车载计算系统102被配置为利用具有重叠的视场(即，场景)的相邻的鱼眼相机来捕获鱼眼图像。车载计算系统102识别在重叠区域中移动的对象，并修改所投影的重叠图像区域(即，对应于与重叠视场相关的重叠区域)以在虚拟碗形投影表面(例如，参见图4)上将所识别的移动的对象可视化。在一些实施例中，车载计算系统102将所识别的移动的对象的轮廓投影到虚拟碗形投影表面上以将移动的对象可视化，而在其他实施例中，车载计算系统102修改在鱼眼图像的重叠区域内的相邻的鱼眼图像(例如，由相邻的鱼眼相机所捕获的图像)之间的接合位置以将移动的对象可视化。在一些实施例中，可以将车载计算系统102实施为车载信息娱乐系统、导航系统、和/或其他基于车辆的计算系统或形成其一部分。在其他实施例中，车载计算系统102可以替代地被实施为独立的计算设备或计算系统。
此外，在一些实施例中，远程计算设备可与车载计算系统102通信地耦合，并且被配置为(例如，远程地)执行在本文中所描述的功能中的一个或多个功能，并且将结果经由网络(有线或无线通信网络)传送至车载计算系统102。在这样的实施例中，远程计算设备可被实现为能够与车载计算系统102进行通信并且执行在本文中所描述的功能的任何类型的计算设备(例如，服务器、台式计算机、膝上型计算机、平板计算机、笔记本计算机、上网本、UltrabookTM、蜂窝电话、智能电话、个人数字助理、移动互联网设备、可穿戴计算设备、混合设备、和/或任何其他计算/通信设备)。
如在图1中所示，说明性车载计算系统102包括处理器110、输入/输出(“I/O”)子系统112、存储器114、数据存储器116、显示器118、相机系统120、用户界面122、并且在一些实施例中包括一个或多个外围设备124。额外地，相机系统120包括一个或多个相机126，而用户界面122包括虚拟相机控件128。当然，在其他实施例中，车载计算系统102可以包括其他或额外的组件，例如通常在一般的计算设备中发现的那些组件(例如，通信电路、各种输入/输出设备、和/或其他组件)。额外地，在一些实施例中，可以将说明性组件中的一个或多个组件并入另一个组件或者以其他方式形成另一个组件的一部分。例如在一些实施例中，可以将存储器114或其部分并入处理器110中。
处理器110可以被实施为能够执行在本文中所描述的功能的任何类型的处理器。例如，所述处理器可以被实施为单核或多核处理器、数字信号处理器、微控制器、或者其它处理器或处理/控制电路。类似地，存储器114可以被实施为能够执行在本文中所描述的功能的任何类型的易失性或非易失性存储器或数据存储。在操作中，存储器114可以存储在移动计算设备100的操作期间所使用的各种数据和软件，例如，操作系统、应用、程序、库、和驱动程序。存储器114经由I/O子系统112通信地耦合至处理器110，其中I/O子系统112可以被实施为促进与处理器110、存储器114、以及移动计算设备100的其它组件的输入/输出操作的电路和/或组件。例如，I/O子系统112可以被实施为或者以其他方式包括：存储器控制器集线器、输入/输出控制集线器、固件设备、通信链路(即，点对点链路、总线链路、导线、电缆、光导、印刷电路板迹线等)、和/或促进输入/输出操作的其它组件和子系统。在一些实施例中，I/O子系统112可以形成片上系统(SoC)的一部分，并且连同处理器110、存储器114、以及移动计算设备100的其它组件一起被包含在单个集成电路芯片上。
数据存储116可被实施为针对数据的短期或长期存储而配置的任何类型的设备或多个设备，例如，存储器设备和电路、存储卡、硬盘驱动器、固态驱动器、或其他数据存储设备。数据存储116和/或存储器114可以在车载计算系统102操作期间存储各种数据，例如经捕获的和处理的图像、图像滤波器、组件参数(例如，相机126的固有参数)、和/或如在下文中所讨论的在车载计算系统102的操作中有用的其他数据。
车载计算系统102的显示器118可以被实施为在其上可以向车载计算系统102的用户(例如，车辆100的驾驶员或乘客)显示信息的任何一个或多个显示器屏幕。显示器118可被实施为或以其他方式使用任何合适的显示器技术，所述显示器技术包括例如液晶显示器(LCD)、发光二极管(LED)显示器、阴极射线管(CRT)显示器、等离子显示器、全息或其他三维(3D)显示器、和/或其他显示器技术。尽管图1中仅仅示出了单个显示器118，但应当理解的是，车载计算系统102可以包括其上可以彼此同时地或顺序地显示相同或不同的内容的多个显示器或显示器屏幕。显示器118可被实施为其上显示各种车辆运行参数和/或车载娱乐信息(例如，无线电台、温度控制等)的通用显示器。可替代地，显示器118可以被实施为如在下文中所讨论的用于显示由相机系统120所生成的图像的专用显示器。
相机系统120包括一个或多个相机126，其可以用于捕获车辆100的周围环境的图像，或者更加具体地，捕获车载计算系统102的周围环境的图像。应当理解的是，在说明性实施例中，相机系统120的相机126适当地间隔开以捕获车辆100的全360度周围环境或其大部分。在一些实施例中，每个相机126的视场与一个或多个其他相机126重叠。特别地，相邻的相机126可以被配置为捕获在重叠区域相互重叠的对应的场景。额外地，在一些实施例中，与相机126相对于彼此和/或相对于车辆100的定位相关联的几何是已知的或者能够被确定的。
可以将相机126中的每个相机实施为适用于捕获图像的任何外围设备或集成设备，例如静态相机、视频相机、网络相机、或者能够捕获视频和/或图像的其他设备。在说明性实施例中，可以将相机126中的每个相机实施为鱼眼相机，以促进捕获车辆100的完整的或接近完整的周围环境。当然，在其他实施例中，可以根据例如车辆100的类型、所使用的相机126的类型、所使用的相机126的数量、和/或其他标准而使用其他类型的宽或窄角度的相机。额外地，相机系统120可包括两个或更多个相机126以根据各种这样的标准来捕获车辆100的周围环境。在说明性实施例中，相机系统120包括安装到车辆100或与车辆100集成在一起的四个鱼眼相机126(即，具有鱼眼镜头的相机126)以捕获车辆100的整个周围环境，同时最小化这样做所必需的相机126的数量。例如，如在图2的说明性实施例中所示，相机126可安装到车辆100的四个侧面中的每个侧面(即，前、后、驾驶员侧、和乘客侧)。当然，在其他实施例中，车载计算系统102可以利用不同数量、类型、和/或相对位置的相机126。例如，在另一个实施例中，相机126可以位于关于车辆100的其他位置处(例如，在车辆100的角落处)。根据特定的实施例，相机系统120的相机126可以具有相同类型或具有不同类型。例如，在一些实施例中，相机系统120的相机126中的一个或多个相机可以具有鱼眼镜头，而相机126中的一个或多个相机可以具有传统镜头。
用户界面122允许车载计算系统102的用户与车载计算系统102进行交互。例如，如在下文中所讨论的，用户可以与车载计算系统102进行交互以在显示器118上显示车辆100的周围环境。由此，在一些实施例中，用户界面122包括一个或多个虚拟和/或物理按钮、旋钮、开关、小键盘、触摸屏、和/或允许I/O功能的其他机制。例如，在一些实施例中，用户界面122可以与车辆100的导航或信息娱乐系统集成在一起。如在上文中所讨论的，在说明性实施例中，用户界面122包括虚拟相机控件128。虚拟相机控件128允许车载计算系统102的用户修改车载计算系统102的虚拟相机202(参见图2)的视场(例如，通过“移动”虚拟相机)。如在下文中详细地讨论的，虚拟相机202“捕获”待在显示器118上渲染的图像，所述图像可以与由相机126中的一个相机所捕获的单个图像或由多个相机126(例如，相邻的相机126)所捕获的图像的组合相对应。从而，通过旋转或以其他方式移动虚拟相机202并且由此改变虚拟相机202的视场，车载计算系统102的用户可以调整所显示的图像。如在下文中进一步详细讨论的，碗形图像是基于由照相机126所捕获并且由车载计算系统102所处理的车辆100的周围环境的图像而生成的。从而，在一些实施例中，可以基于虚拟相机202的视场而在显示器118上渲染碗形图像，所述视场可以包括来自多个相机126的视场的组合。可以基于从虚拟相机202“捕获”碗形图像的视角来显示碗形图像(例如，从顶部/底部、从远/近、从碗形图像的内部/外部等)。
在一些实施例中，车载计算系统102还可包括一个或多个外围设备124。外围设备124可包括任何数量的附加外围设备或接口设备，例如扬声器、麦克风、额外的存储设备等。包括在外围设备124中的特定的设备可以取决于例如车载计算系统102的类型和/或预期用途(例如，车载计算系统102是独立的系统还是并入到更大的车载信息娱乐系统中)。应当理解的是，根据特定的实施例，可以省略车载计算系统102的一个或多个组件(例如，虚拟相机控件128和/或外围设备124)。
参考图3，在使用中，车载计算系统102建立用于将移动的对象在车辆100的周围环境的碗形图像上可视化的环境300。如在下文中所讨论的，在说明性实施例中，车载计算系统102从捕获在重叠区域彼此重叠的场景(即，视场)的相邻的鱼眼相机126接收鱼眼图像。应当理解的是，重叠区域的大小和/或形状例如取决于相机系统120的几何。额外地，在重叠区域中，所捕获的图像包括对车辆100周围环境的相同的真实世界点的描绘，并且因此包括相同的图像特征。说明性车载计算系统102还识别重叠区域中的移动的对象并修改重叠图像区域的所投影的版本(例如，到图4的虚拟碗形投影表面的投影)，以将所识别的移动的对象可视化。当然，在一些实施例中，车载计算系统102可以在投影到虚拟碗形投影表面之前修改鱼眼图像或鱼眼图像的经组合/处理的版本。如在下文中所描述的，车载计算系统102可将所识别的移动的对象的轮廓投影到虚拟碗形投影表面上，或者修改相邻的鱼眼图像之间的接合位置(即，在重叠图像区域内)，以将移动的对象可视化。
车载计算系统102的说明性环境300包括图像捕获模块302、碗生成模块304、显示模块306、相机控制模块308、重叠确定模块310、对象识别模块312、以及对象可视化模块314。额外地，对象识别模块312包括移动确定模块316和轮廓确定模块318，而对象可视化模块314包括轮廓投影模块320和接合位置修改模块322。环境300的模块中的每个模块可以被实施为硬件、软件、固件、或其组合。例如，环境300的模块、逻辑、和其他组件中的每个可以形成由车载计算系统102的处理器110或其他硬件组件的一部分或者以其他方式由其建立或执行。额外地，在一些实施例中，说明性模块中的一个或多个可以形成另一个模块的一部分，和/或说明性模块中的一个或多个可以被实施为单独的或独立的模块(例如，移动确定模块316可以与对象识别模块312是分离的)。应当理解的是，在一些实施例中，在于2013年12月19日提交的、序列号为PCT/US2013/076644的国际专利申请中所描述的技术和/或模块中的一个或多个可以由车载计算系统102利用和/或被包含在本文中所描述的环境300中。类似地，在本文中所描述的技术和/或模块可以被利用在序列号为PCT/US2013/076644的国际专利申请中所描述的车载计算系统的一些实施例中。
图像捕获模块302控制相机系统120的相机126以捕获相机126中的每个相机的视场内的场景的图像/视频。根据特定的实施例，图像捕获模块302可以指导每个相机126连续地(例如，作为视频流)、周期性地、响应于时间或条件输入、作为其组合、或基于另一方案而捕获图像。例如，当车辆100的变速器处于倒车模式和/或当车辆100低于某一阈值速度移动时，相机126可以捕获图像。
碗生成模块304生成虚拟碗形投影表面402(参见图4)，其中，由相机系统120的相机126所捕获的图像或其经处理的版本(例如，经组合的图像)可以投影到所述虚拟碗形投影表面402上以供车载计算系统102的用户(例如，车辆100的驾驶员)查看。在大多数车载成像系统中，对由车载相机所捕获的图像的可视化导致不是位于车辆所在的地平面404(参见图4)上的对象的显著失真。在说明性实施例中，虚拟碗形投影表面402具有具体地定义的几何特性，例如，虚拟碗形投影表面402的平滑度、虚拟碗形投影表面402和地平面404之间的平滑过渡、以及碗形投影表面402在地平面404处的平坦度。在说明性实施例中，碗生成模块304基于与车辆100的尺寸(例如，长度、宽度、高度等)有关的各种参数和/或其他特征(例如，碗高度、水平偏置、自适应比率等)来确定虚拟碗形投影表面402的期望的几何，并且构建虚拟碗形投影表面402(例如，通过构造虚拟碗形投影表面402的每个水平切片406)。在一些实施例中，每个水平切片可以具有取决于特定的实施例的宽度(例如，非均匀宽度)。
应当理解的是，在说明性实施例中，虚拟碗形投影表面402的形状使得车辆100或其虚拟表示位于地平面404上的碗形投影表面402的内部。如在下文中详细描述的，基于该信息，碗生成模块304确定碗形投影表面402的竖直切片408(参见图4)沿车辆100的长的长半轴和短半轴。额外地，针对虚拟碗形投影表面402的每个水平切片(例如，从底部410到顶部412)，碗生成模块304基于竖直切片408的长半轴和短半轴来确定对应的水平切片的长半轴，并且基于对应的水平切片的长半轴和短半轴之间的自适应比率来确定对应的水平切片的短半轴。如在下文中所描述的，在说明性实施例中，自适应比率线性地变化，并且在碗形投影表面402的顶部412处趋近于单位一(即，1.0)，并且在碗形投影表面402的底部410处等于车辆100的长度除以车辆100的宽度(即，
Figure BDA0001225939690000091
)。如在图5A中所示，从碗形投影表面402的顶视图502沿碗形投影表面402的轴线504看去，碗形投影表面402的最顶部水平切片506具有圆形的几何形状，而碗形投影表面402的最大切片508朝向碗形投影表面402的竖直中间。此外，如在图5B中所示，从碗形投影表面402的底视图510沿轴线504看去，碗形投影表面402的最底部水平切片512具有非圆形的椭圆的几何形状(即，最底部的水平切片512限定了其长轴不等于其短轴的椭圆)。
碗生成模块304还组合水平切片以生成虚拟碗形投影表面402。例如，碗生成模块304可以堆叠碗形投影表面402的水平切片并将这些切片合并在一起以形成最终的碗形投影表面402。额外地，碗生成模块304可以生成和合并作为平坦的地平面404(或更加具体地，部分平面)的碗的底部410。应当理解的是，碗形投影表面402的顶部412是部分开放的，而车辆100上方的环境的一部分可以被投影在碗形投影表面402的顶部部分上。在说明性实施例中，所生成的虚拟碗形投影表面402邻近地平面404的截面被滤波或者以其他方式被平滑。如在图6中由碗形投影表面402的竖直截面602的一部分(例如，垂直于竖直切片408而取的)所示，碗形投影表面402的底部604以比碗形投影表面402的顶部606接近碗形投影表面402的顶部412更慢的速率接近碗形投影表面402的底部410(即，地平面404)。
应当理解的是，在说明性实施例中，投影到碗形投影表面402上的图像(在本文中被称为“碗形图像”)将包括在上文中关于碗形投影表面402所描述的那些特征(即，碗形图像将包括具有绝对值小于顶部部分的导数的绝对值的导数的底部部分)。此外，碗形投影表面402的底部部分与碗形投影表面402的地平面404合并，以使得在任何地方表面的导数都是确定的(即，不存在奇点)。应当理解的是，碗生成模块304可以使用任何合适的图像滤波器、算法、技术、和/或机制来生成虚拟碗形投影表面和碗形图像。当然，在一些实施例中，碗生成模块304可以生成具有不同于在本文中所描述的图4的虚拟碗形投影表面402的特征的虚拟碗形投影表面。
参考回图3，显示模块306在显示器118上渲染图像以供车载计算系统102的用户查看。例如，显示模块306可以将一个或多个鱼眼图像、经处理的图像、和/或其他类型的图像“投影”到由碗生成模块304所生成的虚拟碗形投影表面402上以创建碗形图像并在显示器118上显示该碗形图像或其一部分。当然，应当理解的是，在一些实施例中，所生成的图像或组合的图像不是在传统意义上被“投影”到碗形投影表面402上的；相反，所生成的图像可被修改为具有包括在上文中所讨论的特征的碗形，就像图像是被投影到碗形投影表面402上一样。
如在上文中所指示的，在一些实施例中，显示模块306可以仅仅渲染在车载计算系统102的虚拟相机202的视场内的碗形图像的部分。从而，尽管碗形图像可以被实施为“投影”到三维表面上的图像，但在一些实施例中，显示器118可以渲染碗形图像的二维透视图。在说明性实施例中，相机控制模块308确定虚拟相机202的视角，并且结合虚拟相机控件128来允许车载计算系统102的用户修改车载计算系统102的虚拟相机202的视场。
如在上文中所讨论的，相机系统120包括策略性地放置以捕获车辆100的周围环境的多个相机126。相机126中的每个相机生成其视场内的场景的独立的图像，并且相机126被布置以使得相邻的相机126(即，彼此最邻近的相机126)的视场具有重叠的场景/区域。在一些实施例中，车载计算系统120可以(例如，经由显示模块306)将由相机126所生成的两个或更多个图像进行组合以生成经组合的图像(例如，全景图像)以用于投影至虚拟碗形投影表面402。例如，车载计算系统102可以基于由相邻的相机126所捕获的两个图像来生成经组合的图像以供投影。为方便起见，这样的图像可以在本文中被称为“相邻图像”。在其他实施例中，车载计算系统120可以将图像投影至虚拟碗形投影表面402，并如在下文中所讨论的那样将投影进行组合(例如，通过混合、裁剪、和/或以其他方式修改投影表面402的对应的重叠区域中的投影)。
重叠确定模块310确定相邻图像的重叠区域。应当理解的是，重叠确定模块310可以使用任何合适的技术、算法、和/或机制来识别重叠图像区域。例如，在说明性实施例中，相机系统120的几何和相机126的固有参数是已知的或者以其他方式可确定的。从而，在一些实施例中，可以基于这样的几何和/或参数来确定重叠区域。在其他实施例中，可以基于特征检测和特征匹配算法来确定重叠区域。例如，重叠确定模块310可以利用一个或多个特征检测器/描述符来检测和描述每个相邻图像的特征，所述特征检测器/描述符例如加速鲁棒特征(Speeded Up Robust Features，SURF)、尺度不变特征变换(Scale-InvariantFeature Transform，SIFT)、多尺度定向补丁(Multi-Scale Oriented Patches，MOPS)、Canny、Harris、和/或Sobel滤波器。此外，重叠确定模块310可以利用诸如基于两个图像(即，立体图像对)的所识别的特征的平方差(squared differences，SSD)、固定阈值、最近邻、和/或随机样本一致性(Random Sample Consensus，RANSAC)之类的算法或技术来识别与彼此相对应的两个图像的特征。换句话说，重叠确定模块310可以识别两个相邻相机126都已捕获的场景(例如，具有特定的对象、元素、和/或特征)的一部分(即，重叠区域)。当然，在其他实施例中，重叠确定模块310可以其他方式确定相邻图像的重叠区域。
对象识别模块312识别在车辆100周围附近的一个或多个对象。应当理解的是，对象识别模块312可以使用任何合适的技术、算法、和/或机制来识别在车辆100周围附近(例如，在车辆100附近)的对象以及对象相对于车辆100或另一参考点的位置。例如，在一些实施例中，可以使用在于2013年12月19日提交的序列号为PCT/US2013/076644的国际专利申请中所描述的光流、分割、和/或分类技术中的一种或多种技术来识别对象。额外地或可替代地，对象识别模块312可以利用车辆100的一个或多个传感器(例如，3D传感器)来识别/定位车辆100附近的对象。如在上文中所指示的，当由相邻的相机126所捕获的图像投影到虚拟碗形投影表面上时，碗形表面常常具有对单个真实世界点的不同投影，这可能导致车辆100周围环境中的图像模糊、重复、和/或对象不可见。从而，在说明性实施例中，对象识别模块312识别重叠区域中的移动的对象。如在下文中所描述的，重叠图像区域到虚拟碗形投影表面上的投影被修改以将所识别的移动的对象可视化。尽管在本文中主要关于识别单个对象并基于单个对象修改投影而描述了所述技术和算法，但在一些实施例中，车载计算系统102可以识别多个对象和/或基于多个对象来修改投影。
如在上文中所指示的，说明性对象识别模块312包括移动确定模块316和轮廓确定模块318。移动确定模块316确定在车辆100周围附近的对象的移动。特别地，在说明性实施例中，移动确定模块316确定位于重叠图像区域中的对象相对于捕获对应的邻近图像的相机126的移动。应当理解的是，移动确定模块316可以使用任何合适技术、算法、和/或机制来进行这样的确定。例如，移动确定模块316可以利用光流算法(参见例如在于2013年12月19日提交的序列号为PCT/US2013/076644的国际专利申请中所描述的光流技术)、利用同一相机126所采集的一组顺序图像、和/或一个或多个传感器(未示出)。在涉及传感器的实施例中，传感器可被实施为或者以其他方式包括例如接近度传感器、光学传感器、光传感器、音频传感器、温度传感器、运动传感器、压电传感器、和/或其他类型的传感器。当然，车载计算系统102还可以包括被配置为促进传感器的使用的组件和/或设备。
轮廓确定模块318被配置为确定由移动确定模块316所识别的一个或多个移动的对象的轮廓以用于投影至虚拟碗形投影表面402。如在下文中所描述的，在说明性实施例中，轮廓确定模块318，或更加一般地，对象识别模块312选择从其将所识别的移动的对象(例如，其轮廓)投影至虚拟碗形投影表面的相邻的鱼眼图像中的一个鱼眼图像。从而，轮廓确定模块318使用合适的技术、算法、和/或机制(例如，边缘检测、图像分割、和/或其他图像滤波器或算法)来确定所选择的鱼眼图像上的所识别的移动的对象的轮廓。如在下文中所描述的，在一些实施例中，轮廓确定模块318可以“种子填充”轮廓以使得移动的对象与所生成的碗形图像的其他特征形成对比(例如，具有鲜艳的颜色)。在其他实施例中，轮廓确定模块318可以在移动的对象的轮廓内识别所选择的鱼眼图像的图像区域以用于投影至虚拟碗形投影表面402(例如，投影到混合的/透明的重叠区域上)。
如在上文中所指示的，当将由相邻相机126所捕获的图像投影到虚拟碗形投影表面上时，碗形表面常常具有对单个真实世界点的不同的投影，当进行传统补救时，这可能导致图像模糊、重复、和/或车辆100周围环境中的对象不可见。由此，在说明性实施例中，对象可视化模块314改善重叠图像区域中的对象可视化。特别地，对象可视化模块314修改所投影的重叠图像区域(即，与相邻的鱼眼图像的重叠区域相对应)以将所识别的移动的对象在虚拟碗形投影表面402上可视化。如在上文中所描述的，在一些实施例中，对象可视化模块314修改投影本身以将所识别的移动的对象可视化，而在其他实施例中，对象可视化模块314修改相邻的鱼眼图像和/或其经处理/经组合的版本以用于在投影到虚拟碗形投影表面402上之前将所识别的移动的对象可视化。此外，如在上文中所指示的，在说明性实施例中，对象可视化模块314包括轮廓投影模块320和接合位置修改模块322。
轮廓投影模块320将相邻图像的重叠图像区域进行混合以生成经混合的重叠图像区域(例如，在投影上或经组合/经处理的图像本身上)，并且修改经混合的重叠图像区域从而将在该经混合的重叠图像区域中所识别的移动的对象轮廓可视化。应当理解的是，可以利用任何合适的算法、技术、和/或机制来混合重叠图像区域。例如，在一些实施例中，轮廓投影模块320可以利用平均或模糊滤波器(例如，高斯滤波器)。在其他实施例中，轮廓投影模块320可以使得重叠图像区域或其一部分是透明的。在说明性实施例中，轮廓投影模块320将所识别的移动的对象的轮廓投影到经混合的重叠图像区域(例如碗形图像)上，以使得对象的轮廓覆盖在经混合的重叠图像区域中的碗形图像上。如在上文中所指示的，通过这样做时，轮廓投影模块320可以根据特定的实施例而以多种方式来投影轮廓。例如，轮廓投影模块320可以投影对象的经种子填充(例如，单色)的轮廓、对象的突出显示的边界、或在所识别的对象轮廓内所选择的图像的图像区域。
接合位置修改模块322自适应地修改相邻的鱼眼图像之间的接合位置，以用于将所识别的移动的对象连续可视化。例如，在说明性实施例中，当对象移动通过重叠图像区域时，接合位置修改模块322“移动”接合位置以使得移动的对象总是从相邻的鱼眼图像中的一个鱼眼图像中被投影。特别地，接合位置修改模块322基于所识别的移动的对象相对于对应的鱼眼相机126的位置来确定重叠区域内的相邻的鱼眼图像之间的接合位置。在说明性实施例中，接合位置是重叠图像区域内的边界，其中在该边界处组合相邻的鱼眼图像。接合位置修改模块322基于所确定的接合位置进一步修改重叠区域内的相邻的鱼眼图像、在接合位置处组合这些鱼眼图像的经修改版本、并且将其经组合的版本投影至虚拟碗形投影表面402。特别地，在说明性实施例中，接合位置修改模块322确定相邻的鱼眼图像中的一个或两个鱼眼图像的查看阈值、基于所识别的移动的对象的相对位置和查看阈值而选择从其将所识别的移动的对象投影至虚拟碗形投影表面402的相邻的鱼眼图像中的一个鱼眼图像、并基于所识别的移动的对象的相对位置和查看阈值来确定相邻的鱼眼图像中的每个鱼眼图像的对应的区域以投影至虚拟碗形投影表面402。
根据特定的实施例，查看阈值可以与例如相机系统120的几何和/或相机126的内部参数相关联。如在上文中所指示的，在说明性实施例中，相机系统120具有的特定几何以使得相机126相对于彼此的位置、相机126的视场、和/或相邻相机126的重叠区域是已知的或可确定的。此外，相机126中的每个相机具有与例如焦距、基本点、变焦信息、最大/最小视角、和/或对应的相机126的其他特性相关联的固有参数。应当理解的是，特定的相机126具有最大视角，在该最大视角处相机126具有其最大的视场并且因此捕获较大的场景。例如，在一些实施例中，鱼眼相机126可以被配置为捕获接近180度。在说明性实施例中，接合位置修改模块322可以例如通过调整(即，减小)相机126的视角来调整相机126的视角以捕获小于其能力的场景。此外，在一些实施例中，接合位置修改模块322可裁剪或以其他方式修改由特定的相机126所捕获的图像以使得可以在所确定的接合位置处对图像进行组合。换句话说，如在下文中所描述的，接合位置修改模块322在重叠图像区域内确定边界，在该边界处，相邻的鱼眼图像将被组合或连接。在没有修改的情况下，每个相邻的鱼眼图像的一部分可能延伸超过接合位置，因此接合位置修改模块322配置待组合的相邻的鱼眼图像(例如，通过在捕获之前调整它们的视角或者在捕获之后修改图像)并且组合那些图像。
如在上文中所讨论的，车载计算系统102生成虚拟碗形投影表面402，其中，为了方便起见并且为了改进车辆100的驾驶员的视力，可以将所捕获的图像和/或经组合的图像投影至所述虚拟碗形投影表面402。额外地，相邻的相机126具有重叠的视场，这使得由相邻的相机126所生成的图像具有在重叠图像区域中匹配(即，重复的)的特征。如果不解决的话，这样的重复可能导致经组合的图像和/或对应的投影中的这样的特征的模糊(ambiguity)。例如，如在图7中所示，两个相邻的相机702、704将同一真实世界点706投影(例如，经由后投影)到碗形投影表面402的两个不同的点708、710上(即，除非真实世界点706与碗形投影表面402重合)。特别地，由第一相机702所捕获的真实世界点706投影到碗形投影表面402的第一点708处，而由第二相机702所捕获的真实世界点706投影到碗形表面的第二点710处。由此，在说明性实施例中，车载计算系统102解决那些问题以确保对象(以及对象的仅有的一个副本)在特定重叠图像区域中是可见的。
现在参考图8，在使用中，车载计算系统102可以执行用于将移动的对象在碗形图像上或者更具体地在与相邻的鱼眼图像的重叠区域对应的碗形图像区域的区域上可视化的方法800。如在上文中所讨论的，在本文中所描述的方法通常是关于鱼眼相机126和由这样的相机126所生成的鱼眼图像来描述的；然而，所述方法也可以应用至其他类型的相机126和/或图像。说明性方法800开始于框802，在框802中，车载计算系统102确定是否显示周围的物理环境。如果显示，则在框804中车载计算系统102从临接/相邻的鱼眼相机126接收鱼眼图像。如在上文中所讨论的，在说明性实施例(参见图2)中，相机系统120包括四个鱼眼相机126。从而，尽管关于两个相邻的鱼眼图像而描述了方法800，但在这样的实施例中，车载计算系统102可从四个相机126中的每个相机接收与同一捕获时间相关联的(即，在同时或大致同一时间所捕获的)鱼眼图像。当然，在其他实施例中，相机系统120可以包括不同数量的相机126，并且因此在框804中可以接收或取回不同数量的鱼眼图像。
在框806中，车载计算系统102确定相邻的鱼眼图像的重叠区域。如在上文中所述，车载计算系统102可以基于例如相机系统120的几何、相机126的固有参数、特征检测和匹配算法、和/或其他合适的技术、算法、或机制来确定重叠图像区域。在框808中，车载计算系统102识别在车辆100周围附近的移动的对象。如在上文中所指示的，将临接的鱼眼相机126的重叠区域之外的对象投影至虚拟碗形投影表面402上的单个位置，并且因此通常不会导致上述关于对象模糊、重复、和不可见的问题。从而，在说明性实施例中，车载计算系统102识别相邻的鱼眼相机126的重叠图像区域中的移动的对象(如果有的话)。应当理解的是，车载计算系统102可以利用任何合适的技术、算法、和/或机制(例如，光流、图像分割、对象分类、传感器等)来这样做。
在框810中，车载计算系统102将所接收的鱼眼图像投影至虚拟碗形投影表面402以生成对应的碗形图像。当然，在其他实施例中，车载计算系统102可以将鱼眼图像投影至不同的虚拟碗形投影表面(例如，具有不同特性的表面)。此外，如在上文中所讨论的，在一些实施例中，一个或多个图像可被修改为具有与虚拟碗形投影表面402相一致的碗形，而不是在传统意义上“投影”到碗形投影表面402上。如在上文中所指示的，在框812中，车载计算系统102修改重叠区域中的投影以将在框808中所识别的移动的对象可视化。通过这样做时，车载计算系统102可以如在下文中关于图9的方法900所描述的那样投影所识别的移动的对象的轮廓，或者如在下文中关于图10的方法1000所描述的那样修改临接的图像之间的接合位置。在其他实施例中，车载计算系统102可利用其他技术以将移动的对象在重叠区域中可视化。此外，如在上文中所指示的，在一些实施例中，车载计算系统102可以在投影至虚拟碗形投影表面402之前修改鱼眼图像或其经处理的图像(例如，经组合的图像)，而不是修改投影本身。
在框814中，车载计算系统102显示碗形图像(即，包括经修改的重叠图像区域)以供驾驶员查看。如在上文中所指示的，根据特定的实施例，车载计算系统102可显示整个碗形图像或仅仅显示碗形图像的一部分。例如，在一些实施例中，车载计算系统102可以仅在虚拟相机202的视场内并且从与虚拟相机202相同的视角生成和/或显示碗形图像的一部分和/或碗形投影表面402。
如在上文中所讨论的，在一些实施例中，用户(例如，驾驶员)可以控制虚拟相机202以调整其碗形图像的视场。从而，在框816中，车载计算系统102可以确定是否已经接收(例如，从驾驶员)到用于修改虚拟相机202的视场(例如，通过平移或旋转虚拟相机202)的任何用户输入。如果已经接收到，则在框818中，车载计算系统102基于用户输入和虚拟相机202的新位置来修改碗形图像的显示。例如，用户可以在碗形图像内旋转虚拟相机202(例如，从与车辆100内部一致的视角)以显示碗形图像的不同部分。应当理解的是，在一些实施例中，车载计算系统102可以利用多个虚拟相机202(例如，以同时显示碗形图像的多个视角)。例如，在一个实施例中，车载计算系统102可以显示从车辆100的四个侧面中的每个侧面的碗形图像的视图。在其他实施例中，可以将整个碗形图像或其一部分显示在3D显示器上，如在上文中所讨论的。响应于修改碗形图像的显示(在框818中)或者确定还没有接收到用于修改碗形图像的用户输入(在框816中)，方法800返回至框802，在框802中，车载计算系统102确定是否显示车辆100的周围环境。
现在参考图9，在使用中，车载计算系统102可以执行方法900，所述方法900用于修改重叠区域1102(见图11)中的投影以通过如在上文中所指示那样将对象的轮廓投影到虚拟碗形投影表面402的重叠区域1102上来将移动的对象可视化。说明性方法900开始于框902，在框902中，车载计算系统102确定是否将在图8的框808中所识别的移动的对象的轮廓1104(参见图11)投影到虚拟碗形投影表面402上。如果是，则在框904中，车载计算系统102选择从其将所识别的移动的对象投影至虚拟碗形投影表面402的相邻的鱼眼图像中的一个鱼眼图像。例如，在一些实施例中，车载计算系统102可以选择由距所识别的移动的对象最近的鱼眼相机126所捕获的鱼眼图像。当然，在其他实施例中，车载计算系统102可以基于不同的标准来确定选择临接的鱼眼图像中的哪个鱼眼图像以用于投影所识别的移动的对象。
在框906，车载计算系统102确定所选择的鱼眼图像上的所识别的移动的对象的轮廓1104。如在上文中所指示的，车载计算系统102可以利用任何合适的技术、算法、和/或机制来这样做。例如，车载计算系统102可以利用边缘检测算法(例如，Canny边缘检测、Sobel滤波器等)、图像分割算法(例如，分水岭分割、金字塔分割等)、和/或其他图像过滤器/算法来确定对象的轮廓。应当理解的是，在说明性实施例中，对象的轮廓1104仅仅是从相邻的鱼眼图像中的一个鱼眼图像所投影的。然而，在其他实施例中，可以在相邻的鱼眼图像中的每个鱼眼图像中识别对象的轮廓1104和/或可从两个鱼眼图像投影对象的轮廓1104。
在框908中，车载计算系统102将鱼眼图像投影(即，重叠图像区域在虚拟碗形投影表面402上的投影)的重叠区域1102进行混合。如在上文中所讨论的，在一些实施例中，车载计算系统102可以对重叠图像区域应用平均或模糊滤波器(例如，高斯滤波器)以将鱼眼图像投影的重叠区域1102进行混合。可替代地或额外地，车载计算系统102可将重叠区域的一部分渲染为透明区域。
在框910中，车载计算系统102将对象的轮廓1104在鱼眼图像投影的重叠区域(例如，在对应的位置)中可视化。如在上文中所指示的，车载计算系统102可以根据特定的实施例而以多种方式来这样做。例如，在框912中，车载计算系统102可以将对象的轮廓1104从所选择的鱼眼图像投影至虚拟碗形投影表面402。如在上文中所指示的，在一些实施例中，可以将由其轮廓1104所限定的对象的轮廓线或边界投影至虚拟碗形投影表面402的重叠区域(例如，作为突出显示的边界)。在其他实施例中，车载计算系统102可种子填充轮廓1104(例如，使用分水岭算法或其他分割算法)，并且将经种子填充的轮廓1104从所选择的鱼眼图像投影到重叠区域上。可替代地或额外地，在框914中，车载计算系统102可以识别在移动的对象的轮廓1104内所选择的鱼眼图像的图像区域，并且将该图像区域从所选择的鱼眼图像投影至虚拟碗形投影表面402的重叠区域1102。如在上文中所指示的，在一些实施例中，将对象的轮廓1104投影至虚拟碗形投影表面402本质上涉及将对象的轮廓1104覆盖在经混合的重叠区域1102的合适的位置(例如，对应的图像像素通常将被投影至表面402的位置)上。尽管在图11中将重叠区域1102示出为被整体混合，但在一些实施例中，仅仅重叠区域1102的一部分被混合。
现在参考图10，在使用中，车载计算系统102可以执行方法1000，所述方法1000用于修改相邻的鱼眼图像1204、1206之间的接合位置1202(见图12)以将所识别的移动的对象1208可视化。如在上文中所指示的，在对象1208移动通过重叠区域时，车载计算系统102自适应地移动接合位置1202以使得移动的对象1208总是从相邻的鱼眼图像1204、1206中的一个鱼眼图像被投影。例如，如在图2中所示，在说明性实施例中，鱼眼相机126位于车辆100的前部和右前部。如果对象1208(例如，行人)从左向右穿过车辆100的前方移动，则车载计算系统102可以将鱼眼图像1204、1206之间的接合位置1202向右移动(例如，通过调整对应的相机126的视角或修改所捕获的相机126的图像)。
说明性方法1000开始于框1002，在框1002中，车载计算系统102确定是否修改相邻的鱼眼图像1204、1206的接合位置1202。如果修改，则在框1004中，车载计算系统102基于对象的位置和/或对应的鱼眼相机126(即，捕获鱼眼图像1204、1206的相机126)的一个或多个阈值来确定相邻的鱼眼图像1204、1206之间的接合位置1202。特别地，在框1006中，车载计算系统102确定相邻的鱼眼相机126(即，生成图像1204、1206的相机126)的查看阈值。如在上文中所描述的，每个鱼眼相机126具有在其处相机126能够捕获图像的最大视角(例如，大约180度)和最小视角(例如，大约零度)，这取决于特定的相机126及其固有参数。
在框1008中，车载计算系统102基于所识别的移动的对象的相对位置和相机126的查看阈值来选择从其投影所识别的移动的对象1208的相邻的鱼眼图像1204、1206中的一个鱼眼图像。例如，在一些实施例中，如果已知对象1208不在相机126的查看阈值之外，则对象1208是从与最接近对象1208的相机126相对应的鱼眼图像1204、1206被投影的。
在框1010中，车载计算系统102确定鱼眼图像1204、1206的对应的区域以投影至虚拟碗形投影表面402。例如，在不修改鱼眼图像1204、1206之间的接合位置1202的情况下，接合位置1202通常可以与对应的相机126之间大约中间的位置相对应。然而，如果对象1208位于接合位置1202附近或与其相交，则车载计算系统102可以将接合位置1202移动至对象1208侧。例如，在一些实施例中，在对象1208正在移动的方向上移动接合位置1202，并且在其他实施例中，移动接合位置1202以使得对象1208是从距对象1208中心最近的图像1204、1206被投影的。在任一种情况下，车载计算系统102确定应该被投影以引起两个图像1204、1206在接合位置1202的经确定的位置处被连接的鱼眼图像1204、1206中的每个鱼眼图像的对应的区域。在框1012中，车载计算系统102基于所确定的接合位置1202和/或所确定的要进行投影的区域来修改重叠区域中的相邻的鱼眼图像1204、1206。例如，在上述及在图12-14中所示的、对象1208从左向右穿过车辆100的前方移动的实施例中，由前部相机126所捕获的图像1204的视角可以增大(至少向右侧)，由右侧相机126所捕获的图像1206的视角可以减小(至少朝向前方)，并且由那些相机126所捕获的图像可以类似地被影响。在另一个实施例中，车载计算系统102可以不调整相机126的视角，但是可以代替地剪裁或者以其他方式来修改图像1204、1206以产生可以在经确定的接合位置1202处连接/组合的图像1204、1206。
在框1014中，车载计算系统102在经确定的接合位置处组合经修改的鱼眼图像1204、1206以生成经组合的图像。在框1016中，车载计算系统102将经组合的图像投影至虚拟碗形投影表面402以生成对应的碗形图像。如在上文中所指示的，在一些实施例中，车载计算系统102修改图像1204、1206的预期的(即，未修改的)投影以修改投影之间的接合位置，而不是在进行投影之前修改图像1204、1206之间的接合位置。此外，应当理解的是，车载计算系统102可以在确定是否修改相邻的鱼眼图像之间的接合位置时考虑多个移动的对象的位置。额外地，车载计算系统102可修改每对相邻图像之间的接合位置，其中在那些相邻图像的对应的重叠区域中已经识别出移动的对象。
示例
以下提供了在本文中所公开的技术的说明性示例。技术的实施例可以包括在下文中所描述的任何一个或多个示例以及在下文中所描述的示例的任何组合。
示例1包括用于将移动的对象在碗形图像上可视化的计算设备，所述计算设备包括：第一鱼眼相机，其用于捕获包括第一场景的第一鱼眼图像；第二鱼眼相机，其用于捕获包括在重叠区域处与所述第一场景重叠的第二场景的第二鱼眼图像；对象识别模块，其用于识别所述重叠区域中的移动的对象；以及对象可视化模块，其用于修改所投影的重叠图像区域以将所识别的移动的对象在虚拟碗形投影表面上可视化，其中所述所投影的重叠图像区域被投影在所述虚拟碗形投影表面上并与所述第一鱼眼图像和所述第二鱼眼图像的所述重叠区域相对应。
示例2包括示例1的主题，其中，修改所述所投影的重叠图像区域包括：选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的鱼眼图像，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；在所选择的鱼眼图像上确定所述所识别的移动的对象的轮廓；将所述所投影的重叠图像区域进行混合以生成经混合的重叠图像区域；以及将所述所识别的移动的对象的轮廓在所述经混合的重叠图像区域中可视化。
示例3包括示例1和2中的任何一个的主题，并且其中，将所述所识别的移动的对象的轮廓可视化包括将所述所识别的移动的对象的轮廓从所述所选择的鱼眼图像投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域。
示例4包括示例1-3中的任何一个的主题，其中，将所识别的移动的对象的轮廓可视化包括：在所述所识别的移动的对象的轮廓内识别所述所选择的鱼眼图像的图像区域；以及将所述所识别的图像区域投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域，以将所述所识别的图像区域覆盖在所述经混合的重叠图像区域上。
示例5包括示例1-4中的任何一个的主题，并且其中，所述虚拟碗形投影表面的所述经混合的重叠图像区域是透明的。
示例6包括示例1-5中的任何一个的主题，并且其中，修改所述所投影的重叠图像区域包括：基于所述所识别的移动的对象相对于所述第一鱼眼相机和所述第二鱼眼相机的位置来确定所述第一鱼眼图像和所述第二鱼眼图像的重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像之间的接合位置，其中，所述接合位置是在其处组合所述第一鱼眼图像和所述第二鱼眼图像的所述重叠图像区域内的边界；基于所确定的接合位置来修改所述重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像；在所述所确定的接合位置处组合经修改的第一鱼眼图像和经修改的第二鱼眼图像；以及将经组合的第一鱼眼图像和第二鱼眼图像投影至所述虚拟碗形投影表面。
示例7包括示例1-6中的任何一个的主题，并且其中，确定所述第一鱼眼图像和所述第二鱼眼图像之间的所述接合位置包括：确定所述第一鱼眼相机和所述第二鱼眼相机中的每个鱼眼相机的对应的查看阈值；基于所述所识别的移动的对象的相对位置和所述查看阈值来选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的鱼眼图像，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；以及基于所述所识别的移动的对象的相对位置和所述查看阈值来确定所述第一鱼眼图像和所述第二鱼眼图像中的每个鱼眼图像的对应的区域，以投影至所述虚拟碗形投影表面。
示例8包括示例1-7中的任何一个的主题，并且其中，所述对应的查看阈值指示对应的第一鱼眼相机和第二鱼眼相机中的每个鱼眼相机能够捕获的最大视角和最小视角。
示例9包括示例1-8中的任何一个的主题，并且还包括重叠确定模块，所述重叠确定模块用于基于包括所述第一鱼眼相机和所述第二鱼眼相机的相机系统的几何来确定与所述重叠图像区域相对应的所述第一鱼眼图像和所述第二鱼眼图像的重叠图像区域。
示例10包括示例1-9中的任何一个的主题，并且还包括：碗生成模块，其用于基于经修改的所投影的重叠图像区域到所述虚拟碗形投影表面的投影而生成碗形图像；以及显示模块，其用于在所述计算设备的显示器上显示所生成的碗形图像。
示例11包括示例1-10中的任何一个的主题，并且其中，所述计算设备被实施为车载计算系统。
示例12包括一种用于将移动的对象在由计算设备所生成的碗形图像上可视化的方法，所述方法包括：由所述计算设备接收：(i)由第一鱼眼相机所生成的并且捕获第一场景的第一鱼眼图像，以及(ii)由第二鱼眼相机所生成的并且捕获在重叠区域处与所述第一场景重叠的第二场景的第二鱼眼图像；由所述计算设备识别所述重叠区域中的移动的对象；以及由所述计算设备修改所投影的重叠图像区域以将所识别的移动的对象在虚拟碗形投影表面上可视化，其中，所述所投影的重叠图像区域被投影在所述虚拟碗形投影表面上并且与在所述第一鱼眼图像和所述第二鱼眼图像中所捕获的所述重叠区域相对应。
示例13包括示例12的主题，并且其中，修改所述所投影的重叠图像区域包括：选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的鱼眼图像，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；在所选择的鱼眼图像上确定所述所识别的移动的对象的轮廓；将所述所投影的重叠图像区域进行混合以生成经混合的重叠图像区域；以及将所述所识别的移动的对象的轮廓在所述经混合的重叠图像区域中可视化。
示例14包括示例12和13中的任何一个的主题，并且其中，将所述所识别的移动的对象的轮廓可视化包括将所述所识别的移动的对象的轮廓从所述所选择的鱼眼图像投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域。
示例15包括示例12-14的任一主题，并且其中，可视化所识别的移动的对象的轮廓包括：在所述所识别的移动的对象的轮廓内识别所述所选择的鱼眼图像的图像区域；以及将所述所识别的图像区域投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域，以将所述所识别的图像区域覆盖在所述经混合的重叠图像区域上。
示例16包括示例12-15中的任何一个的主题，并且其中，所述虚拟碗形投影表面的所述经混合的重叠图像区域是透明的。
示例17包括示例12-16中的任何一个的主题，并且其中，修改所述所投影的重叠图像区域包括：基于所述所识别的移动的对象相对于所述第一鱼眼相机和所述第二鱼眼相机的位置来确定所述第一鱼眼图像和所述第二鱼眼图像的重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像之间的接合位置，其中，所述接合位置是在其处组合所述第一鱼眼图像和所述第二鱼眼图像的所述重叠图像区域内的边界；基于所确定的接合位置来修改所述重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像；在所述所确定的接合位置处组合经修改的第一鱼眼图像和经修改的第二鱼眼图像；以及将经组合的第一鱼眼图像和第二鱼眼图像投影至所述虚拟碗形投影表面。
示例18包括示例12-17中的任何一个的主题，并且其中，确定所述第一鱼眼图像和所述第二鱼眼图像之间的所述接合位置包括：确定所述第一鱼眼相机和所述第二鱼眼相机中的每个鱼眼相机的对应的查看阈值；基于所述所识别的移动的对象的相对位置和所述查看阈值来选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的鱼眼图像，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；以及基于所述所识别的移动的对象的相对位置和所述查看阈值来确定所述第一鱼眼图像和所述第二鱼眼图像中的每个鱼眼图像的对应的区域，以投影至所述虚拟碗形投影表面。
示例19包括示例12-18中的任何一个的主题，并且其中，所述对应的查看阈值指示对应的第一鱼眼相机和第二鱼眼相机中的每个鱼眼相机能够捕获的最大视角和最小视角。
示例20包括示例12-19中的任何一个的主题，并且还包括由所述计算设备基于包括所述第一鱼眼相机和所述第二鱼眼相机的相机系统的几何来确定与所述重叠图像区域相对应的所述第一鱼眼图像和所述第二鱼眼图像的重叠图像区域。
示例21包括示例12-20中的任何一个的主题，并且还包括：由所述计算设备基于经修改的所投影的重叠图像区域到所述虚拟碗形投影表面的投影而生成碗形图像；以及在所述计算设备的显示器上显示所生成的碗形图像。
示例22包括示例12-21中的任何一个的主题，并且其中，所述计算设备被实施为车载计算系统。
示例23包括一种计算设备，其包括：处理器；以及其中存储有多个指令的存储器，其中当由所述处理器执行时，所述指令使得所述计算设备执行示例12-22中的任何一项所述的方法。
示例24包括一个或多个机器可读存储介质，其包括存储在其上的多个指令，其中，响应于由计算设备的执行，所述指令使得所述计算设备执行示例12-22中的任何一项所述的方法。
示例25包括一种用于将移动的对象在碗形图像上可视化的计算设备，所述计算设备包括：用于接收(i)由第一鱼眼相机所生成的并且捕获第一场景的第一鱼眼图像，以及(ii)由第二鱼眼相机所生成的并且捕获在重叠区域处与所述第一场景重叠的第二场景的第二鱼眼图像的单元；用于识别所述重叠区域中的移动的对象的单元；以及用于修改所投影的重叠图像区域以将所识别的移动的对象在虚拟碗形投影表面上可视化的单元，其中，所述所投影的重叠图像区域被投影在所述虚拟碗形投影表面上并且与在所述第一鱼眼图像和所述第二鱼眼图像中所捕获的所述重叠区域相对应。
示例26包括示例25的主题，并且其中，用于修改所述所投影的重叠图像区域的单元包括：用于选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的鱼眼图像的单元，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；用于在所选择的鱼眼图像上确定所述所识别的移动的对象的轮廓的单元；用于将所述所投影的重叠图像区域进行混合以生成经混合的重叠图像区域的单元；以及用于将所述所识别的移动的对象的轮廓在所述经混合的重叠图像区域中可视化的单元。
示例27包括示例25和26中的任何一个的主题，并且其中，用于将所述所识别的移动的对象的轮廓可视化的单元包括用于将所述所识别的移动的对象的轮廓从所述所选择的鱼眼图像投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域的单元。
示例28包括示例25-27中的任何一个的主题，并且其中，用于可视化所识别的移动的对象的轮廓的单元包括：用于在所述所识别的移动的对象的轮廓内识别所述所选择的鱼眼图像的图像区域的单元；以及用于将所述所识别的图像区域投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域，以将所述所识别的图像区域覆盖在所述经混合的重叠图像区域上的单元。
示例29包括示例25-28中的任何一个的主题，并且其中，所述虚拟碗形投影表面的所述经混合的重叠图像区域是透明的。
示例30包括示例25-29中的任何一个的主题，并且其中，用于修改所述所投影的重叠图像区域的单元包括：用于基于所述所识别的移动的对象相对于所述第一鱼眼相机和所述第二鱼眼相机的位置来确定所述第一鱼眼图像和所述第二鱼眼图像的重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像之间的接合位置的单元，其中，所述接合位置是在其处组合所述第一鱼眼图像和所述第二鱼眼图像的所述重叠图像区域内的边界；用于基于所确定的接合位置来修改所述重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像的单元；用于在所述所确定的接合位置处组合经修改的第一鱼眼图像和经修改的第二鱼眼图像的单元；以及用于将经组合的第一鱼眼图像和第二鱼眼图像投影至所述虚拟碗形投影表面的单元。
示例31包括示例25-30中的任何一个的主题，并且其中，用于确定所述第一鱼眼图像和所述第二鱼眼图像之间的所述接合位置的单元包括：用于确定所述第一鱼眼相机和所述第二鱼眼相机中的每个鱼眼相机的对应的查看阈值的单元；用于基于所述所识别的移动的对象的相对位置和所述查看阈值来选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的鱼眼图像的单元，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；以及用于基于所述所识别的移动的对象的相对位置和所述查看阈值来确定所述第一鱼眼图像和所述第二鱼眼图像中的每个鱼眼图像的对应的区域，以投影至所述虚拟碗形投影表面的单元。
示例32包括示例25-31中的任何一个的主题，并且其中，所述对应的查看阈值指示对应的第一鱼眼相机和第二鱼眼相机中的每个鱼眼相机能够捕获的最大视角和最小视角。
示例33包括示例25-32中的任何一个的主题，并且还包括用于基于包括所述第一鱼眼相机和所述第二鱼眼相机的相机系统的几何来确定与所述重叠图像区域相对应的所述第一鱼眼图像和所述第二鱼眼图像的重叠图像区域的单元。
示例34包括示例25-33中的任何一个的主题，并且还包括：用于基于经修改的所投影的重叠图像区域到所述虚拟碗形投影表面的投影而生成碗形图像的单元；以及用于在所述计算设备的显示器上显示所生成的碗形图像的单元。
示例35包括示例25-34中的任何一个的主题，并且其中，所述计算设备被实施为车载计算系统。

Claims (28)

1.一种用于将移动的对象在碗形图像上可视化的计算设备，所述计算设备包括：
第一鱼眼相机，其用于捕获包括第一场景的第一鱼眼图像；
第二鱼眼相机，其用于捕获包括在重叠区域处与所述第一场景重叠的第二场景的第二鱼眼图像；
对象识别模块，其用于识别所述重叠区域中的移动的对象；以及
对象可视化模块，其用于：
修改所投影的重叠图像区域以将所识别的移动的对象在虚拟碗形投影表面上可视化，
其中，所述所投影的重叠图像区域被投影在所述虚拟碗形投影表面上并与所述第一鱼眼图像和所述第二鱼眼图像的所述重叠区域相对应；
其中，修改所投影的重叠图像区域包括：
从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像来选择鱼眼图像，从该选择的鱼眼图像将所识别的移动的对象投影至所述虚拟碗形投影表面；
在所选择的鱼眼图像上确定所述所识别的移动的对象的轮廓；
将所述所投影的重叠图像区域进行混合以生成经混合的重叠图像区域；
将所述所识别的移动的对象的轮廓在所述经混合的重叠图像区域中可视化。
2.根据权利要求1所述的计算设备，其中，将所述所识别的移动的对象的轮廓可视化包括将所述所识别的移动的对象的轮廓从所述所选择的鱼眼图像投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域。
3.根据权利要求1所述的计算设备，其中，将所识别的移动的对象的轮廓可视化包括：
在所述所识别的移动的对象的轮廓内识别所述所选择的鱼眼图像的图像区域；以及
将所述所识别的图像区域投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域，以将所述所识别的图像区域覆盖在所述经混合的重叠图像区域上。
4.根据权利要求1所述的计算设备，其中，所述虚拟碗形投影表面的所述经混合的重叠图像区域是透明的。
5.根据权利要求1所述的计算设备，其中，修改所述所投影的重叠图像区域包括：
基于所述所识别的移动的对象相对于所述第一鱼眼相机和所述第二鱼眼相机的相对位置来确定所述第一鱼眼图像和所述第二鱼眼图像的重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像之间的接合位置，其中，所述接合位置是在其处组合所述第一鱼眼图像和所述第二鱼眼图像的所述重叠图像区域内的边界；
基于所述所确定的接合位置来修改所述重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像；
在所述所确定的接合位置处组合所述经修改的第一鱼眼图像和所述经修改的第二鱼眼图像；以及
将所述经组合的第一鱼眼图像和第二鱼眼图像投影至所述虚拟碗形投影表面。
6.根据权利要求5所述的计算设备，其中，确定所述第一鱼眼图像和所述第二鱼眼图像之间的所述接合位置包括：
确定所述第一鱼眼相机和所述第二鱼眼相机中的每个鱼眼相机的对应的查看阈值；
基于所述所识别的移动的对象的所述相对位置和所述查看阈值来选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的所述鱼眼图像，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；以及
基于所述所识别的移动的对象的所述相对位置和所述查看阈值来确定所述第一鱼眼图像和所述第二鱼眼图像中的每个鱼眼图像的对应的区域，以投影至所述虚拟碗形投影表面。
7.根据权利要求6所述的计算设备，其中，所述对应的查看阈值指示所述对应的第一鱼眼相机和第二鱼眼相机中的每个鱼眼相机能够捕获的最大视角和最小视角。
8.根据权利要求1所述的计算设备，还包括重叠确定模块，所述重叠确定模块用于基于包括所述第一鱼眼相机和所述第二鱼眼相机的相机系统的几何来确定与所述重叠图像区域相对应的所述第一鱼眼图像和所述第二鱼眼图像的重叠图像区域。
9.根据权利要求1所述的计算设备，还包括：
碗生成模块，其用于基于所述经修改的所投影的重叠图像区域到所述虚拟碗形投影表面的投影而生成碗形图像；以及
显示模块，其用于在所述计算设备的显示器上显示所生成的碗形图像。
10.根据权利要求1所述的计算设备，其中，所述计算设备被实施为车载计算系统。
11.一种用于将移动的对象在碗形图像上可视化的计算设备，所述计算设备包括：
用于接收：(i)由第一鱼眼相机所生成的并且捕获第一场景的第一鱼眼图像，以及(ii)由第二鱼眼相机所生成的并且捕获在重叠区域处与所述第一场景重叠的第二场景的第二鱼眼图像的单元；
用于识别所述重叠区域中的移动的对象的单元；
用于修改所投影的重叠图像区域以将所识别的移动的对象在虚拟碗形投影表面上可视化的单元，
其中，所述所投影的重叠图像区域被投影在所述虚拟碗形投影表面上并且与在所述第一鱼眼图像和所述第二鱼眼图像中所捕获的所述重叠区域相对应；
其中，所述用于修改所述所投影的重叠图像区域的单元包括：
从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像来选择鱼眼图像的单元，从该选择的鱼眼图像将所识别的移动的对象投影至所述虚拟碗形投影表面；
用于在所选择的鱼眼图像上确定所述所识别的移动的对象的轮廓的单元；
用于将所述所投影的重叠图像区域进行混合以生成经混合的重叠图像区域的单元；以及
用于将所述所识别的移动的对象的轮廓在所述经混合的重叠图像区域中可视化的单元。
12.根据权利要求11所述的计算设备，其中，所述用于将所述所识别的移动的对象的轮廓可视化的单元包括用于将所述所识别的移动的对象的轮廓从所述所选择的鱼眼图像投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域的单元。
13.根据权利要求11所述的计算设备，其中，所述用于可视化所述所识别的移动的对象的轮廓的单元包括：
用于在所述所识别的移动的对象的轮廓内识别所述所选择的鱼眼图像的图像区域的单元；以及
用于将所述所识别的图像区域投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域，以将所述所识别的图像区域覆盖在所述经混合的重叠图像区域上的单元。
14.根据权利要求11所述的计算设备，其中，所述用于修改所述所投影的重叠图像区域的单元包括：
用于基于所述所识别的移动的对象相对于所述第一鱼眼相机和所述第二鱼眼相机的相对位置来确定所述第一鱼眼图像和所述第二鱼眼图像的重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像之间的接合位置的单元，其中，所述接合位置是在其处组合所述第一鱼眼图像和所述第二鱼眼图像的所述重叠图像区域内的边界；
用于基于所述所确定的接合位置来修改所述重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像的单元；
用于在所述所确定的接合位置处组合所述经修改的第一鱼眼图像和所述经修改的第二鱼眼图像的单元；以及
用于将所述经组合的第一鱼眼图像和第二鱼眼图像投影至所述虚拟碗形投影表面的单元。
15.根据权利要求14所述的计算设备，其中，所述用于确定所述第一鱼眼图像和所述第二鱼眼图像之间的所述接合位置的单元包括：
用于确定所述第一鱼眼相机和所述第二鱼眼相机中的每个鱼眼相机的对应的查看阈值的单元；
用于基于所述所识别的移动的对象的所述相对位置和所述查看阈值来选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的所述鱼眼图像的单元，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；以及
用于基于所述所识别的移动的对象的所述相对位置和所述查看阈值来确定所述第一鱼眼图像和所述第二鱼眼图像中的每个鱼眼图像的对应的区域，以投影至所述虚拟碗形投影表面的单元。
16.根据权利要求15所述的计算设备，其中，所述对应的查看阈值指示所述对应的第一鱼眼相机和第二鱼眼相机中的每个鱼眼相机能够捕获的最大视角和最小视角。
17.根据权利要求11所述的计算设备，还包括用于基于包括所述第一鱼眼相机和所述第二鱼眼相机的相机系统的几何来确定与所述重叠图像区域相对应的所述第一鱼眼图像和所述第二鱼眼图像的重叠图像区域的单元。
18.根据权利要求11所述的计算设备，还包括：
用于基于所述经修改的所投影的重叠图像区域到所述虚拟碗形投影表面的投影而生成碗形图像的单元；以及
用于在所述计算设备的显示器上显示所生成的碗形图像的单元。
19.一种用于将移动的对象在由计算设备所生成的碗形图像上可视化的方法，所述方法包括：
由所述计算设备接收：(i)由第一鱼眼相机所生成的并且捕获第一场景的第一鱼眼图像，以及(ii)由第二鱼眼相机所生成的并且捕获在重叠区域处与所述第一场景重叠的第二场景的第二鱼眼图像；
由所述计算设备识别所述重叠区域中的移动的对象；
由所述计算设备修改所投影的重叠图像区域以将所述所识别的移动的对象在虚拟碗形投影表面上可视化，
其中，所述所投影的重叠图像区域被投影在所述虚拟碗形投影表面上并且与在所述第一鱼眼图像和所述第二鱼眼图像中所捕获的所述重叠区域相对应；
其中，修改所投影的重叠图像区域包括：
选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的鱼眼图像，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；
在所述所选择的鱼眼图像上确定所述所识别的移动的对象的轮廓；
将所述所投影的重叠图像区域进行混合以生成经混合的重叠图像区域；以及
将所述所识别的移动的对象的轮廓在所述经混合的重叠图像区域中可视化。
20.根据权利要求19所述的方法，其中，将所述所识别的移动的对象的轮廓可视化包括：将所述所识别的移动的对象的轮廓从所述所选择的鱼眼图像投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域。
21.根据权利要求19所述的方法，其中，将所述所识别的移动的对象的轮廓可视化包括：
在所述所识别的移动的对象的轮廓内识别所述所选择的鱼眼图像的图像区域；以及
将所述所识别的图像区域投影至所述虚拟碗形投影表面的所述经混合的重叠图像区域，以将所述所识别的图像区域覆盖在所述经混合的重叠图像区域上。
22.根据权利要求19所述的方法，其中，修改所述所投影的重叠图像区域包括：
基于所述所识别的移动的对象相对于所述第一鱼眼相机和所述第二鱼眼相机的相对位置来确定所述第一鱼眼图像和所述第二鱼眼图像的重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像之间的接合位置，其中，所述接合位置是在其处组合所述第一鱼眼图像和所述第二鱼眼图像的所述重叠图像区域内的边界；
基于所述所确定的接合位置来修改所述重叠区域内的所述第一鱼眼图像和所述第二鱼眼图像；
在所述所确定的接合位置处组合所述经修改的第一鱼眼图像和所述经修改的第二鱼眼图像；以及
将所述经组合的第一鱼眼图像和第二鱼眼图像投影至所述虚拟碗形投影表面。
23.根据权利要求22所述的方法，其中，确定所述第一鱼眼图像和所述第二鱼眼图像之间的所述接合位置包括：
确定所述第一鱼眼相机和所述第二鱼眼相机中的每个鱼眼相机的对应的查看阈值；
基于所述所识别的移动的对象的所述相对位置和所述查看阈值来选择从其将所述所识别的移动的对象投影至所述虚拟碗形投影表面的所述鱼眼图像，其中，所述鱼眼图像是从所述第一鱼眼图像或所述第二鱼眼图像中的一个鱼眼图像选择的；以及
基于所述所识别的移动的对象的所述相对位置和所述查看阈值来确定所述第一鱼眼图像和所述第二鱼眼图像中的每个鱼眼图像的对应的区域，以投影至所述虚拟碗形投影表面。
24.根据权利要求23所述的方法，其中，所述对应的查看阈值指示所述对应的第一鱼眼相机和第二鱼眼相机中的每个鱼眼相机能够捕获的最大视角和最小视角。
25.根据权利要求19所述的方法，还包括：
基于包括所述第一鱼眼相机和所述第二鱼眼相机的相机系统的几何来确定与所述重叠图像区域相对应的所述第一鱼眼图像和所述第二鱼眼图像的重叠图像区域。
26.根据权利要求19所述的方法，还包括：
基于所述经修改的所投影的重叠图像区域到所述虚拟碗形投影表面的投影而生成碗形图像；以及
在所述计算设备的显示器上显示所生成的碗形图像。
27.一个或多个机器可读存储介质，其包括存储在其上的多个指令，其中，响应于由计算设备的执行，所述指令使得所述计算设备执行如权利要求19-26中任一所述的方法。
28.一种计算设备，包括：
处理器；以及
其中存储有多个指令的存储器，其中当由所述处理器执行时，所述指令使得所述计算设备执行示例19-26中的任何一项所述的方法。
CN201580043847.0A 2014-09-17 2015-08-18 碗形成像系统中的对象可视化 Active CN106575432B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/488,793 2014-09-17
US14/488,793 US10442355B2 (en) 2014-09-17 2014-09-17 Object visualization in bowl-shaped imaging systems
PCT/US2015/045649 WO2016043897A1 (en) 2014-09-17 2015-08-18 Object visualization in bowl-shaped imaging systems

Publications (2)

Publication Number Publication Date
CN106575432A CN106575432A (zh) 2017-04-19
CN106575432B true CN106575432B (zh) 2020-05-26

Family

ID=55456106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580043847.0A Active CN106575432B (zh) 2014-09-17 2015-08-18 碗形成像系统中的对象可视化

Country Status (6)

Country Link
US (1) US10442355B2 (zh)
EP (1) EP3195584B1 (zh)
JP (1) JP6469849B2 (zh)
KR (1) KR102253553B1 (zh)
CN (1) CN106575432B (zh)
WO (1) WO2016043897A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101811157B1 (ko) 2013-12-19 2018-01-25 인텔 코포레이션 사발형 영상 시스템
JP6706032B2 (ja) * 2015-06-12 2020-06-03 シャープ株式会社 移動体システム及び制御装置
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
CN109478320B (zh) 2016-07-12 2022-03-18 深圳市大疆创新科技有限公司 处理图像以获得环境信息
CN107666590B (zh) * 2016-07-29 2020-01-17 华为终端有限公司 一种目标监控方法、摄像头、控制器和目标监控系统
US10733697B2 (en) 2016-12-27 2020-08-04 Intel IP Corporation Convolutional neural network for wide-angle camera images
JP6962372B2 (ja) * 2017-08-25 2021-11-05 株式会社ソシオネクスト 補正装置、補正プログラム及び記録媒体
US10571863B2 (en) 2017-12-21 2020-02-25 International Business Machines Corporation Determine and project holographic object path and object movement with mult-device collaboration
DE102018102047A1 (de) * 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
JP6809495B2 (ja) * 2018-03-05 2021-01-06 株式会社デンソー 画像作成装置
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
CN112930557A (zh) * 2018-09-26 2021-06-08 相干逻辑公司 任何世界视图生成
WO2020088095A1 (en) * 2018-11-02 2020-05-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Fisheye infrared depth detection
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
WO2020250387A1 (ja) * 2019-06-13 2020-12-17 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
DE102020109997A1 (de) 2020-04-09 2021-10-14 Connaught Electronics Ltd. System und Verfahren, um zuverlässige gestitchte Bilder zu machen
CN112308766B (zh) * 2020-10-19 2023-11-24 武汉中科通达高新技术股份有限公司 一种图像数据展示方法、装置、电子设备及存储介质
CN117098693A (zh) * 2021-04-07 2023-11-21 石通瑞吉股份有限公司 包括偏移相机视图的车辆显示器
US12020358B2 (en) 2021-10-29 2024-06-25 Snap Inc. Animated custom sticker creation
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN202038230U (zh) * 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器
CN102982526A (zh) * 2011-06-01 2013-03-20 哈曼贝克自动系统股份有限公司 标定车辆视觉系统的方法和车辆视觉系统
CN103247168A (zh) * 2012-02-14 2013-08-14 江彦宏 使用视讯雷达的远距交通管理系统

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61231595A (ja) * 1985-04-08 1986-10-15 アンリツ株式会社 ラスタスキヤン方式における極座標表示装置
JPH11119303A (ja) * 1997-10-20 1999-04-30 Fujitsu Ltd 監視システム及び監視方法
JP3286306B2 (ja) 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
CN100438623C (zh) 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
WO2002007443A1 (fr) 2000-07-19 2002-01-24 Matsushita Electric Industrial Co., Ltd. Systeme de controle
KR100866450B1 (ko) 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US7139432B2 (en) 2002-04-10 2006-11-21 National Instruments Corporation Image pattern matching utilizing discrete curve matching with a mapping operator
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
AU2003264481A1 (en) * 2002-09-24 2004-04-19 Nikon Corporation Image display unit and projection optical system
JP3962676B2 (ja) 2002-11-29 2007-08-22 キヤノン株式会社 画像処理方法及び装置
KR100526817B1 (ko) 2003-04-22 2005-11-08 학교법인 중앙대학교 스테레오 영상 구현 시 기본행렬을 구하는 방법
JP4229319B2 (ja) * 2003-05-12 2009-02-25 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
JP3921205B2 (ja) * 2004-01-13 2007-05-30 株式会社イフ 立体映像表示装置
JP4502733B2 (ja) 2004-07-15 2010-07-14 ダイハツ工業株式会社 障害物測定方法及び障害物測定装置
JP2006059202A (ja) 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
US7796154B2 (en) * 2005-03-07 2010-09-14 International Business Machines Corporation Automatic multiscale image acquisition from a steerable camera
JP2006311272A (ja) * 2005-04-28 2006-11-09 Denso Corp 車両用映像表示装置
JP4679293B2 (ja) * 2005-08-08 2011-04-27 三洋電機株式会社 車載パノラマカメラシステム
KR101267019B1 (ko) * 2005-10-18 2013-05-30 삼성디스플레이 주식회사 평판 디스플레이 장치
CN101443814A (zh) 2005-11-08 2009-05-27 皇家飞利浦电子股份有限公司 用于对伸长特征进行滤波的方法和系统
JP2007183877A (ja) 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
US7576639B2 (en) * 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
KR100966875B1 (ko) 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
US8189959B2 (en) 2008-04-17 2012-05-29 Microsoft Corporation Image blending using multi-splines
EP2285109B1 (en) 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5182042B2 (ja) 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5439890B2 (ja) 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
WO2010137265A1 (ja) * 2009-05-25 2010-12-02 パナソニック株式会社 車両周囲監視装置
JP5299513B2 (ja) 2009-08-12 2013-09-25 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
JP2011086111A (ja) 2009-10-15 2011-04-28 Mitsubishi Electric Corp 撮像装置校正方法及び画像合成装置
JP5341789B2 (ja) * 2010-01-22 2013-11-13 富士通テン株式会社 パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP5624370B2 (ja) 2010-06-04 2014-11-12 東芝アルパイン・オートモティブテクノロジー株式会社 移動体検出装置及び移動体検出方法
JP5500255B2 (ja) * 2010-08-06 2014-05-21 富士通株式会社 画像処理装置および画像処理プログラム
JP2011155651A (ja) 2011-02-10 2011-08-11 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
EP2511137B1 (en) 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
WO2012145819A1 (en) 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
KR101265667B1 (ko) 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
US8447116B2 (en) 2011-07-22 2013-05-21 Honeywell International Inc. Identifying true feature matches for vision based navigation
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
KR101913837B1 (ko) 2011-11-29 2018-11-01 삼성전자주식회사 파노라마 영상 생성 방법 및 이를 적용한 영상기기
JP5966341B2 (ja) 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
US20130286193A1 (en) 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
JP5959264B2 (ja) 2012-03-29 2016-08-02 三菱電機株式会社 画像処理装置及び方法、並びにコンピュータプログラム
US9275485B2 (en) 2012-06-28 2016-03-01 The University Of Utah Research Foundation Seam network processing for panorama weaving
DE102012018326B4 (de) 2012-09-15 2019-12-19 Zf Friedrichshafen Ag Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US20140168475A1 (en) * 2012-12-14 2014-06-19 Microsoft Corporation Four-lens spherical camera orientation
WO2014100985A1 (en) 2012-12-26 2014-07-03 Harman International Industries, Incorporated Method and system for generating a surround view
US9762889B2 (en) 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
KR101811157B1 (ko) 2013-12-19 2018-01-25 인텔 코포레이션 사발형 영상 시스템
US9436987B2 (en) * 2014-04-30 2016-09-06 Seiko Epson Corporation Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
US9437001B2 (en) 2014-09-18 2016-09-06 Intel Corporation Tracking objects in bowl-shaped imaging systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN202038230U (zh) * 2011-03-24 2011-11-16 信亿科技股份有限公司 全景行车辅助监录器
CN102982526A (zh) * 2011-06-01 2013-03-20 哈曼贝克自动系统股份有限公司 标定车辆视觉系统的方法和车辆视觉系统
CN103247168A (zh) * 2012-02-14 2013-08-14 江彦宏 使用视讯雷达的远距交通管理系统

Also Published As

Publication number Publication date
JP6469849B2 (ja) 2019-02-13
JP2017536717A (ja) 2017-12-07
WO2016043897A1 (en) 2016-03-24
EP3195584A1 (en) 2017-07-26
EP3195584B1 (en) 2020-11-18
US20160080699A1 (en) 2016-03-17
EP3195584A4 (en) 2018-05-23
CN106575432A (zh) 2017-04-19
US10442355B2 (en) 2019-10-15
KR102253553B1 (ko) 2021-05-18
KR20170031755A (ko) 2017-03-21

Similar Documents

Publication Publication Date Title
CN106575432B (zh) 碗形成像系统中的对象可视化
EP3085074B1 (en) Bowl-shaped imaging system
JP6453449B2 (ja) ボウル型イメージングシステムにおけるオブジェクト追跡
CN107660337B (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
US20190197735A1 (en) Method and apparatus for image processing, and robot using the same
CN110663245B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
US11978225B2 (en) Depth determination for images captured with a moving camera and representing moving features
CN109660783B (zh) 虚拟现实视差校正
WO2021030002A1 (en) Depth-aware photo editing
US20120140038A1 (en) Zero disparity plane for feedback-based three-dimensional video
US20130038732A1 (en) Field of view matching video display system
JP2017220923A (ja) 画像生成装置、画像生成方法、およびプログラム
WO2018033660A1 (en) A system, controller, method and computer program for image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant