CN105765966B - 碗形成像系统 - Google Patents

碗形成像系统 Download PDF

Info

Publication number
CN105765966B
CN105765966B CN201380081051.5A CN201380081051A CN105765966B CN 105765966 B CN105765966 B CN 105765966B CN 201380081051 A CN201380081051 A CN 201380081051A CN 105765966 B CN105765966 B CN 105765966B
Authority
CN
China
Prior art keywords
image
fisheye
region
bowl
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380081051.5A
Other languages
English (en)
Other versions
CN105765966A (zh
Inventor
K.肖尔
K.纳特罗什维利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105765966A publication Critical patent/CN105765966A/zh
Application granted granted Critical
Publication of CN105765966B publication Critical patent/CN105765966B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/047—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Abstract

一种用于运用碗形图像的技术包括计算设备，所述计算设备用于接收捕获第一场景的第一鱼眼图像和捕获第二场景的第二鱼眼图像，所述第二场景与所述第一场景在重叠区域重叠。所述计算设备生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像,对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一的关注区域执行对象归类以归类所述关注区域内的对象,以及基于所述组合图像生成碗形图像的一部分。

Description

碗形成像系统
背景技术
如后视摄像头的车载摄像头系统已成为豪华车辆以及甚至较低端车辆中的主要配置。具体根据特定实现，车辆摄像头系统可以用于实现改进视野、自动平行泊车和/或其他目的。例如，车载摄像头捕获的图像可以显示在车辆中向驾驶者提供无遮挡后向视图（即，比后视镜更好）或俯视视图（即，显示车辆周边）的导航系统显示屏上。
可以将若干摄像头安装到车辆上以捕获车辆的所有周边（即，完整360度）。此类车载摄像头系统可以利用广角摄像头，如具有鱼眼镜头的那些摄像头（即，鱼眼摄像头）以便将捕获车辆周边所需的摄像头的数量减到最少。车辆周边的图像典型地生成并显示为地平面的反向投影。相应地，位于地面上的对象（例如，停车线）典型地得以正确地投影；但是，如其他车辆和行人的垂直对象存在畸变投影，因为它们不完全位于地平面上。此外，相邻摄像头的重叠区域对于单个真实点存在不同的投影，这导致图像模糊、重影或不可见对象。再者，与鱼眼图像关联的畸变使之难以识别和归类周边对象（例如，车辆、行人、建筑物、街道标志等）。
附图说明
附图中通过举例方式而非限制来说明本文描述的本发明概念。为了说明的简明，附图中的元件不一定按比例绘制。在认为适合的情况中，附图中重复使用引用标号以指示对应或相似的元件。
图1是车辆中用于显示车辆周边的物理环境的车内计算系统的至少一个实施例的简化框图；
图2是图1的车辆的至少一个实施例的简化图示；
图3是图1的车内计算系统建立的环境的至少一个实施例的简化框图；
图4是虚拟碗形投影表面的至少一个实施例的图示；
图5A和图5B分别是图4的虚拟碗形投影表面的顶视图和底视图的简化图示；
图6是图4的虚拟碗形投影表面的垂直横截面的简化视图；
图7是用于显示图1的车辆周边的物理环境的方法的至少一个实施例的简化流程图；
图8是对象在图4的虚拟碗形投影表面上的投影的至少一个实施例的简化图示；
图9是用于利用图像拼接将图1的车内计算系统生成的图像组合的方法的至少一个实施例的简化流程图；
图10是两个相邻鱼眼摄像头捕获的鱼眼图像的简化图示；
图11是来自图1的车辆的摄像头且投影到图4的虚拟碗形表面的拼接图像的简化图示；
图12和图13是用于利用光流将图1的车内计算系统生成的图像组合的方法的至少一个实施例的简化流程图；
图14A是图1的车内计算系统捕获的鱼眼图像的至少一个实施例；
图14B是基于4A的捕获的鱼眼图像生成的光流输出的至少一个实施例；
图15是用于将图1的车内计算系统生成的鱼眼图像归类的方法的至少一个实施例的简化流程图；
图16是图1的车内计算系统的鱼眼摄像头捕获的鱼眼图像的至少一个实施例；
图17是由图16的鱼眼图像的投影而生成的畸变的直线图像；
图18是基于图15的方法根据图16的鱼眼图像生成的直线图像；以及
图19是用于由图1的车内计算系统生成的碗形图像的方法的至少一个实施例的简化流程图。
具体实施方式
本发明披露的概念容易设想到多种修改和替代形式，而其特定实施例在附图中是通过举例来示出，并且将在本文予以详细描述。但是，应该理解，没有意图要将本发明披露的概念局限于所披露的特定形式，而是相反，旨在涵盖与本发明披露和所附权利要求定义相符合的所有修改、等效物和替代。
对“一个实施例”、“实施例”、“示范性实施例”等的引述指示，所描述的实施例可以包括特定特征、结构或特点，但是每个实施例可能包含或可能不一定包含该特定特征、结构或特点。而且，此类短语不一定指相同的实施例。再者，当结合实施例描述特定特征、结构或特点时，认为结合其他实施例来实现此类特征、结构或特点属于本领域技术人员的知识范围，无论其是否明确地被描述。此外，应该认识到，形式为“A、B和C的至少其中之一”的列述中包含的项可以意味着（A）；（B）；（C）；（A和B）；（B和C）；或（A、B和C）。相似地，形式为“A、B或C的至少其中之一”列述的项可以意味着（A）；（B）；（C）；（A和B）；（B和C）；或（A、B和C）。
在一些情况中，所披露的实施例可以采用硬件、固件、软件或其任何组合来实现。所披露的实施例还可以作为一个或多个瞬态或非瞬态机器可读（例如，计算机可读）存储介质上承载或存储的指令来实现，这些指令可以被一个或多个处理器读取并执行。机器可读介质可以实施为用于存储或传送机器可读形式的信息的任何存储设备、机器或其他物理结构（例如，易失性或非易失性存储器、介质光盘或其他介质设备）。
在附图中，一些结构或方法特征可能是以特定安排和/或排序来示出的。但是，应该认识到，此类特定安排和/或排序可能不是必需的。相反，在一些实施例中，可以采用与说明性附图中所示不同的方式和/或次序来安排。此外，特定附图中包含结构或方法特征不意味着此特征在所有实施例中均是必需的，并且在一些实施例可能不包含此特征或可以将其与其他特征进行组合。
现在参考图1，在该说明性实施例中，车辆100包括车内计算系统102，车内计算系统102可以实施为能够执行本文描述的功能的任何类型的计算系统。在该说明性实施例中，车辆100实施为轮式客运车辆（例如，轿车、卡车、货车牵引车、公共汽车等）。但是，应该认识到，在其他实施例中，车辆100可以实施为另一种类型的车辆（例如，轨道驱动的有轨电车、无人车辆或适于应用所描述的技术和机构的另一种车辆）或其他可移动设备。正如本文描述，车内计算系统102配置成捕获鱼眼图像，将捕获的鱼眼图像组合，对鱼眼图像执行对象归类，以及基于组合的鱼眼图像显示碗形图像。在一些实施例中，车内计算系统102可以实施为车内资讯娱乐系统、导航系统和/或其他基于车辆的计算系统或形成其一部分。在另一些实施例中，车内计算系统102可以实施为单独的计算设备或计算系统。
再者，在一些实施例中，远程计算设备可以与车内计算系统102在通信上耦合且配置成执行本文描述的一个或多个功能（例如，在远程位置执行）并经由网络（例如，有线或无线通信网络）将结果传送到车内计算系统102。在此类实施例中，该远程计算设备可以实施为能够与车内计算系统102通信并执行本文描述的功能的任何类型的计算设备（例如，服务器、桌上型计算机、膝上型计算机、平板计算机、笔记本、上网本、ultrabook™、蜂窝电话、智能电话、个人数字助理、移动因特网设备、混合设备和/或任何其他计算/通信设备）。
如图1所示，说明性车内计算系统102包括处理器110、输入/输出子系统112（即I/O子系统112）、存储器114、数据存储116、显示器118、摄像头系统120、用户接口122，以及在一些实施例中包括一个或多个外围设备124。此外，摄像头系统120包括一个或多个摄像头126以及用户接口122包括虚拟摄像头控制128。当然，在其他实施例中，车内计算系统102可以包括其他或附加组件，如典型计算设备中常见的那些（例如，通信电路、多种输入/输出设备和/或其他组件）。此外，在一些实施例中，可以将这些说明性组件的其中一个或多个集成在另一个组件中或以其他方式形成另一个组件的一部分。例如，在一些实施例中，可以将存储器114或其一部分集成在处理器110中。
处理器110可以实施为能够执行本文描述的功能的任何类型的处理器。例如，该处理器可以实施为单核或多核处理器、数字信号处理器、微控制器或其他处理器或处理/控制电路。相似地，存储器114可以实施为能够执行本文描述的功能的任何类型的易失性或非易失性存储器或数据存储。操作中，存储器114可以存储车内计算系统102的操作期间使用的多种数据和软件，如操作系统、应用、程序、库和驱动程序。存储器114经由I/O子系统112在通信上耦合到处理器110，I/O子系统112可以实施为协助与处理器110、存储器114和车内计算系统102的其他组件的输入/输出操作的电路和/或组件。I/O子系统112可以实施为或以其他方式包括存储器控制器集线器、输入/输出控制集线器、固件设备、通信链路（即，点到点链路、总线链路、导线、电缆、光导、印刷电路板线路等）和/或协助输入/输出操作的其他组件和子系统。在一些实施例中，I/O子系统112可以形成芯片上系统（SoC）的一部分，并且与处理器110、存储器114和车内计算系统102的其他组件一起集成在单个集成电路芯片上。
数据存储116可以实施为配置用于数据的短期或长期存储的任何一种或多种类型的设备，如存储器设备和电路、存储卡、硬盘驱动器、固态硬盘驱动器或其他数据存储设备。数据存储116和/或存储器114可以在车内计算系统102操作期间存储多种数据，例如，如下文论述的捕获和处理的图像、对象轮廓和模型、图像过滤器、分量参数（componentparameter）和/或车内计算系统102的操作中有用的其他数据。
车内计算系统102的显示器118可以实施为其上可以向车内计算系统102的用户（例如，车辆100的驾驶者或乘客）显示信息的任何一个或多个显示屏。显示器118可以实施为或以其他方式使用任何适合的显示技术，包括，例如，液晶显示器（LCD）、发光二极管（LED）显示器、阴极射线管（CRT）显示器、等离子显示器、全息或其他三维（3D）显示器和/或其他显示技术。虽然图1仅图示单个显示器118，但是应该认识到，车内计算系统102可以包括其上可以彼此同时或顺序地显示相同或不同内容的多个显示器或显示屏。显示器118可以实施为其上显示多种车辆操作参数和/或车辆资讯娱乐信息（例如，收音机电台、温度控制等）的通用显示器。作为备选，显示器118可以实施为如下文论述的用于显示摄像头系统120生成的图像的专用显示器。
摄像头系统120包括一个或多个摄像头126，摄像头126可以用于捕获车辆100的周边环境的图像或更具体地捕获车内计算系统102的周边环境的图像。应该认识到，在该说明性实施例中，将摄像头系统120的摄像头126适当地间隔以捕获车辆100的完整360度周边或其相当大的部分。在一些实施例中，每个摄像头126的视场可以与一个或多个其他摄像头重叠。此外，在一些实施例中，与摄像头126彼此相对定位和/或相对于车辆100的定位关联的几何形状是已知的或能够被确定的。
摄像头126中每一个可以实施为适于捕获图像的任何外围设备或集成的设备，如静物摄像头、视频摄像头、网络摄像头（webcam）或能够捕获视频和/或图像的其他设备。在该说明性实施例中，摄像头126中每一个实施为帮助捕获车辆100的完整或接近完整周边的鱼眼摄像头。当然，在其他实施例中，例如，可以具体根据车辆100的类型、所使用的摄像头126的类型和/或其他标准使用其他类型的广角或窄角摄像头。此外，具体根据此类多种标准，摄像头系统120可以包括两个或更多个摄像头126以捕获车辆100的周边。在该说明性实施例中，摄像头系统120包括四个鱼眼摄像头126（即，具有鱼眼镜头的摄像头），这些鱼眼摄像头126安装到车辆100上或与之集成以捕获车辆100的完整周边同时使得达到此目的所需的摄像头126的数量最少。例如，如图2的说明性实施例中所示，摄像头126可以安装到车辆100四边的每一边（例如，前边、后边、驾驶者一边以及乘客一边）。当然，在其他实施例中，车内计算系统102可以运用不同数量、类型和/或相对定位的摄像头126。例如，在另一个实施例中，摄像头126可以设在车辆100周围的其他位置中（例如，车辆100的角部）。
用户接口122使车内计算系统102的用户能够与车内计算系统102交互。例如，如下文论述，用户可以与车内计算系统102交互以在显示器118上显示车辆100的周边。因此，在一些实施例中，用户接口122包括一个或多个虚拟和/或物理按钮、旋钮（knobs）、开关、小键盘、触摸屏和/或其他机构以便能够实现I/O功能性。例如，在一些实施例中，用户接口122可以与车辆100的导航或资讯娱乐系统集成。正如上文论述，在说明性实施例中，用户接口122包括虚拟摄像头控制128。虚拟摄像头控制128使车内计算系统102的用户能够（例如，通过“移动”虚拟摄像头）修改车内计算系统102的虚拟摄像头202（参见图2）的视场。正如下文详细论述，虚拟摄像头202“捕获”要在显示器118上呈现的图像，其可以与摄像头126的其中之一捕获的单个图像对应或与多个摄像头126（例如，相邻摄像头126）捕获的图像的组合对应。相应地，车内计算系统102的用户可以通过旋转或以其他方式移动虚拟摄像头202并由此改变虚拟摄像头202的视场来调整所显示的图像。正如下文进一步详细论述的，碗形图像是基于摄像头126捕获的车辆100周边的图像而生成的并由车内计算系统102进行处理。因此，在一些实施例中，可以基于虚拟摄像头202的视场在显示器118上呈现碗形图像，虚拟摄像头202的视场可以包含来自多个摄像头126的视场的组合。例如，可以基于虚拟摄像头202“捕获”该碗形图像所在（例如，从碗形图像上方/下方、从碗形图像远端/近近端、从碗形图像内/外等）的视角来显示碗形图像。
在一些实施例中，车内计算系统102还可以包括一个或多个外围设备124。外围设备124可以包括任何数量的附加外围或接口设备，如扬声器、麦克风、附加的存储设备等。外围设备124中包含的特定设备可以取决于例如，车内计算系统102的类型和/或预想的用途（例如，车内计算系统102是单独的系统还是并入较大的车内资讯娱乐系统中）。
现在参考图3，使用时，说明性车内计算系统102建立用于车辆100周边的碗形成像的环境300。正如下文论述，车内计算系统102以最小化或以其他方式减少图像模糊、重影和/或不可见对象的方式将摄像头126捕获的鱼眼图像组合。车内计算系统102可以进一步对鱼眼图像执行对象归类，并基于组合的鱼眼图像来显示碗形图像以向车辆100的乘员提供车辆100周边的改善的视角。车内计算系统102的说明性环境300包括图像捕获模块302、组合图像生成模块304、对象归类模块306、碗状物生成模块308、显示模块310和摄像头控制模块312。此外，组合图像生成模块304包括拼接模块314和光流模块316。正如该说明性实施例中所示，拼接模块314包括特征检测模块318、特征匹配模块320、接缝确定模块322和图像合成模块324；以及光流模块316包括重叠确定模块326、移动确定模块328和图像生成模块330。再者，对象归类模块306包括校准模块332、关注区域（ROI）确定模块334、直线投影模块336和对象识别模块338；以及碗状物生成模块308包括碗状物几何形状模块340、碗状物合成模块342和碗状物翘曲模块344。环境300的每个模块可以实施为硬件、软件、固件或其组合。此外，在一些实施例中，这些说明性模块的其中一个或多个可以形成另一个模块的一部分。
图像捕获模块302控制摄像头系统120的摄像头126以捕获每个摄像头126的视场内的场景的图像/视频。具体根据特定实施例，图像捕获模块302可以指令每个摄像头126持续地（例如，捕获为视频流）、周期性地、响应于时间或条件输入、作为其组合或基于另一种方案来捕获图像。例如，摄像头126可以在车辆100的传输处于逆向模式时或在车辆100正在以低于某个阈值速度移动时捕获图像。
正如上文论述，摄像头系统120包括多个摄像头126，这些摄像头126策略性地布置成捕获车辆100的周边。每个摄像头126生成其视场内的场景的独立图像。由此，组合图像生成模块304将摄像头126生成的两个或更多个图像组合以生成组合图像。例如，在该说明性实施例中，组合图像生成模块304基于相邻摄像头126（即，彼此最接近的摄像头126）捕获的两个图像生成组合图像。例如，此类图像在本文中可以称为“相邻图像”。在一些实施例中，组合图像生成模块304用来生成组合图像的两个或更多个图像可以基于，例如，虚拟摄像头202的位置（例如，基于用户期望观看的周边区域）。在另一些实施例中，可以基于多个摄像头126生成的每个图像来生成多个组合图像。
应该认识到，在该说明性实施例中，摄像头系统120设成使得相邻摄像头126的视场具有重叠区域。由此，当那些相邻摄像头126捕获的图像投影到虚拟碗形表面上时，碗形表面常常具有单个真实点的不同投影，这可能导致图像模糊、重影和/或车辆100周边里的不可见对象。在将相邻摄像头126捕获的图像组合时，组合图像生成模块304将这些投影问题最小化或将其减少。为此，组合图像生成模块304可以运用，例如，图像拼接、光流机制、图像融合（image blending）和/或其他适合的技术，正如下文论述。在一些实施例中，组合图像生成模块304基于成对图像组合来生成“全景”图像（即，通过将相邻摄像头126生成的图像组合）。
拼接模块314基于图像拼接将捕获的图像（例如，鱼眼图像）和/或其投影组合成虚拟碗形表面。例如，在该说明性实施例中，拼接模块314运用图像拼接以基于相邻摄像头126捕获的图像来生成组合图像。正如上文论述，摄像头系统120的几何形状使得相邻摄像头126的视场重叠，这又使得相邻摄像头126捕获的图像具有在重叠区域处重叠的场景。换言之，在重叠区域中，捕获的图像包含围绕车辆100的环境中相同真实点的描绘，并且因此包含可能直接彼此重叠或未直接彼此重叠的相同的图像特征。为了执行图像拼接，拼接模块314包括特征检测模块318、特征匹配模块320、接缝确定模块322和图像合成模块324。
拼接模块314的特征检测模块318对相邻摄像头126捕获的图像执行特征检测。应该认识到，特征检测模块318可以运用任何适合的特征检测技术、算法和/或机制来检测/识别图像的特征（例如，如角部、边缘、团块等的关注点）。例如，特征检测模块318可以运用通用特征检测器/描述器，如加速稳健特征（SURF）、尺度不变特征变换（SIFT）、面向多尺度的补丁（MOPS）、Canny、Harris和/或Sobel过滤器来检测和描述图像的特征。
特征匹配模块320对相邻摄像头126捕获的图像中检测到的特征执行特征匹配以识别图像中重叠区域内的哪些特征（例如，特定像素）彼此对应。当然，特征匹配模块320可以运用任何适合的特征匹配技术、算法和/或机制来用于识别两个图像（即，立体图像对）中彼此对应的特征。例如，特征匹配模块320可以将上文论述的一个或多个检测器/描述与诸如方差（SSD）、固定阈值、最接近相邻点和/或随机取样一致性（RANSAC）的匹配算法或技术结合来运用。作为附加或备选，在一些实施例中，特征匹配模块320可以运用摄像头系统120的预定几何形状来选用识别重叠区域中的匹配特征的确定技术。
基于匹配到的特征，接缝确定模块322识别相邻图像中每一个图像在重叠区域中的接缝（即，第一图像上的第一接缝和第二图像上的第二接缝）。即，接缝确定模块322确定第一图像中哪些特征（例如，特定图像位置或像素）与第二图像中对应特征匹配，并将这些特征“连接”以确定第一图像的虚拟接缝（例如，通过以“连接点”的方式在第一图像中每个相邻匹配到的特征之间绘制线形接缝）。相似地，接缝确定模块322基于第二图像中匹配到的特征确定该图像的接缝。基于第一和第二图像的接缝，接缝确定模块322确定用于组合第一和第二图像的第三接缝。应该认识到，接缝确定模块322可以使用任何适合的技术（例如，接缝取均值）来确定第三接缝的位置。例如，在该说明性实施例中，接缝确定模块322（例如通过碗状物生成模块308）将第一和第二图像投影到虚拟碗形投影表面，正如下文描述。由此，确定的接缝也被投影到虚拟碗形表面上，并且基于这些投影的接缝，接缝确定模块322确定用于将第一和第二图像组合的第三接缝或更具体来说确定用于将第一和第二图像的投影组合的第三接缝。
图像合成模块324通过在接缝确定模块322所确定的第三接缝处组合图像/投影以生成相邻图像（或对应图像投影）的组合图像。此外，图像合成模块324可以对相邻图像或图像投影的第一和第二接缝之间的像素内插（interpolate）和/或外插（extrapolate）以生成“平滑”图像，并移除图像假影和/或可以另外过滤掉图像的重叠区域。再者，在生成组合图像时，图像合成模块324可以废弃或弱化第一图像或投影中超出第一接缝的部分或第二图像或投影中超出第二接缝的部分（即，重叠图像区域内且第一和第二接缝之间限定的区域外的部分）。下文结合图9的方法900进一步论述拼接模块314的功能性。
组合图像生成模块304的光流模块316基于光流将捕获的图像进行组合。在该说明性实施例中，生成的组合图像包含相邻图像的非重叠部分和基于重叠图像区域生成的图像。正如上文论述，光流模块316包括重叠确定模块326、移动确定模块328和图像生成模块330。应该认识到，具体根据特定实施例，车内计算系统102可以运用图像拼接、光流和/或其他图像组合机制来将图像组合。
重叠确定模块326确定相邻图像的重叠区域。应该认识到，重叠确定模块326可以使用任何适合的技术、算法或机制来识别重叠图像区域。例如，正如上文论述，摄像头系统120的几何形状是已知且可确定的。相应地，在一些实施例中，可以基于此类几何形状来确定重叠区域。在另一些实施例中，可以基于例如，上文描述的特征检测和匹配来确定重叠区域。
移动确定模块328确定位于重叠图像区域中的对象相对于捕获相邻图像的摄像头126的移动。正如下文详细论述，如此执行时，移动确定模块328可以使用摄像头126捕获的多个图像来确定相邻摄像头126中每一个的重叠图像区域的亮度的时间导数。此外，移动确定模块328还可以确定相邻图像的重叠图像区域的亮度的空间导数。基于重叠区域内对象在相邻摄像头126的视场中的所确定的相对移动，移动确定模块328识别相对于车辆100移动的对象。
图像生成模块330基于所识别的移动对象生成重叠图像区域的图像。正如上文论述，可以将所生成的图像与相邻图像的非重叠部分组合以得到相邻图像的组合图像。在生成重叠图像区域的图像时，图像生成模块330可以根据相邻图像的其中之一或二者生成包含所识别的移动对象的图像，融合或另外过滤掉重叠图像区域，和/或在估计的位置中定位移动对象。下文结合图12和图13的方法1200进一步论述光流模块316的功能性。
对象归类模块306检测车辆100的摄像头126捕获的鱼眼图像中存在的对象并将其归类。例如，对象归类模块306可以运用对象归类技术来确定行人正在车辆100的盲点中行走，以及在一些实施例中，可以警示车辆100的驾驶者。虽然本文中是与鱼眼图像结合来描述对象归类的，但是应该认识到，该描述可以适用于其他类型的图像（例如，具有不同类型的广角镜头的摄像头生成的图像）。正如上文所指示的，对象归类模块306包括校准模块332、关注区域确定模块334（即ROI确定模块334）、直线投影模块336和对象识别模块338。
校准模块332配置成校准鱼眼摄像头126以实现精确图像捕获以及提取有效对象归类所需的度量信息（例如，对象之间和/或图像特征之间的距离）。应该认识到，校准模块332可以为此选用任何适合的技术、算法和/或机制。例如，具体根据特定实施例，校准模块332可以使用针对具体传感器/镜头类型（例如，特定类型的鱼眼镜头）的技术和/或使用通用于较广类别的传感器/镜头（例如，所有传感器/镜头）的技术来校准摄像头126。此外，应该认识到校准模块332可以在特定时点（例如，车内计算系统102的引导过程期间）或时间上周期性地执行此类校准。
关注区域确定模块334（即ROI确定模块334）确定捕获的鱼眼图像中要聚焦对象归类的关注区域。正如下文详细论述的，对整个图像执行对象归类往往是计算上密集的。此外，鱼眼图像中固有的畸变（例如，鱼眼畸变）典型地使得对鱼眼图像执行对象归类非常困难，因为位于鱼眼图像中不同部分的同一对象可能呈现为具有不同的形状（例如，由于鱼眼图像中缺乏平移、缩放和旋转的一致性），并且对象的轮廓典型是在非畸变的直线空间中限定的。虽然整个鱼眼图像至直线图像的转换减少了一些畸变，但是由于转换中所选用的图像投影的原因，典型地仍会导致显著的图像畸变（例如，透视畸变）。通过聚焦于整个图像的子集（即，“关注区域”），计算复杂度和/或图像畸变能够得以减少。关注区域确定模块334（即ROI确定模块334）可以使用任何适合技术来用于识别关注区域（例如，对原始鱼眼图像或中间图像进行的光流或对象检测、激光器扫描、雷达、光子混合（photonic mixing）设备等）。
直线投影模块336使用图像投影将鱼眼图像的关注区域转换成直线图像。具体来说，直线投影模块336将所识别的关注区域投影到虚拟半球形显示表面上以生成半球形图像区域（即，围绕着虚拟半球形表面“包覆”的图像）。再者，直线投影模块336将半球形图像区域投影到垂直于半球形图像区域中的点（例如，中心点）的平面上以生成直线图像。所得到的直线图像趋于畸变显著地少于将整个鱼眼图像投影到平面上得到的直线图像。在另一些实施例中，直线投影模块336可以使用其他技术将关注区域转换成直线图像。
对象识别模块338对直线图像执行对象归类以检测车辆100周边的对象和/或将其归类。例如，正如下文论述，对象识别模块338可以将直线图像中识别的对象与车内计算系统102的存储器114或数据存储116上存储的（或远程存储的）预定义对象轮廓比较以确定是否存在匹配。在将直线图像中的对象归类之后，对象归类模块306可以确定从鱼眼图像中（例如，通过背投）投影所归类的对象所在的位置。此外，在一些实施例中，对象归类模块306可以向车内计算系统102的用户提示该归类（例如，通过将归类的对象突出显示或通过可听提示消息）。下文结合图15的方法1500进一步论述对象归类模块306的功能性。
现在参考图3-6，碗状物生成模块308生成虚拟碗形投影表面402（参见图4），其中可投影摄像头系统120的摄像头126捕获的图像或其处理后的版本（例如，组合图像）以供车内计算系统102的用户（例如，车辆100的驾驶者）观看。在大多数车内成像系统中，车载摄像头捕获的图像的可视化造成非位于车辆所在地平面404（参见图4）上的对象的显著畸变。正如本文描述，虚拟碗形投影表面具有专门限定的几何形状特点，例如，虚拟碗形投影表面402的平滑度、虚拟碗形投影表面402与地平面404之间的平滑过渡和虚拟碗形投影表面402在地平面404处的平整度。相应地，通过将图像投影到虚拟碗形投影表面402，可以获得一个或多个优点，例如，对象畸变的减少和/或能够看到高于地平面404以上且在传统平面虚拟投影表面的情况下可能被隐藏或另外不可观看到的对象。正如上文指示，在该说明性实施例中，碗状物生成模块308包括碗状物几何形状模块340、碗状物合成模块342和碗状物翘曲模块344。
碗状物几何形状模块340基于多种参数确定虚拟碗形投影表面402的期望几何形状，并构造虚拟碗形投影表面402的每个水平切片（参见例如图4的切片406）。如此执行时，碗状物几何形状模块340（例如通过检索）确定与车辆100的尺寸相关的信息（例如，长度、宽度、高度等）以及检索多种参数9例如，碗形高度、水平偏移量、自适应比率等）。正如下文所指示的，每个水平切片的宽度可以具体根据特定实施例而有所变化。再者，在一些实施例中，水平切片可以具有非均匀（即变化的）宽度。
应该认识到，在该说明性实施例中，虚拟碗形投影表面402构形为使得车辆100或其虚拟表示处于地平面404上虚拟碗形投影表面402内。正如下文详细描述，基于该信息，碗状物几何形状模块340确定沿着车辆100的长度的虚拟碗形投影表面402垂直切片的长半轴和短半轴（参见图4）。此外，对于虚拟碗形投影表面402的每个水平切片，碗状物几何形状模块340（例如从底部410到顶部412）基于垂直切片408的长半轴和短半轴来确定对应水平切片的长半轴，以及基于对应水平切片的长半轴与短半轴之间的自适应比率来确定对应水平切片的短半轴。正如下文描述，在该说明性实施例中，自适应比例线性地改变，并且在虚拟碗形投影表面402的顶部412处约为单位一（即，1.0），以及在虚拟碗形投影表面402的底部410处等于汽车长度除以汽车宽度（即
Figure 100002_DEST_PATH_IMAGE001
）。如图5A所示，从沿着虚拟碗形投影表面402的轴504看的虚拟碗形投影表面402的顶视图502，虚拟碗形投影表面402的顶部水平切片506具有圆形几何形状以及虚拟碗形投影表面402的最大切片508朝向虚拟碗形投影表面402的垂直中心。再者，如图5B所示，从沿着轴504看的虚拟碗形投影表面402的底视图510，虚拟碗形投影表面402的底部水平切片512具有非圆的椭圆几何形状（即，底部水平切片512限定其长轴不等于其短轴的椭圆）。
碗状物合成模块342基于碗状物几何形状模块340生成的水平切片的组合生成虚拟碗形投影表面402。例如，碗状物合成模块342可以将虚拟碗形投影表面402的水平切片堆叠并将这些切片合并以形成最终虚拟碗形投影表面402。此外，碗状物合成模块342可以生成并合并碗形的底部410，该底部是平地平面404（或更确切地来说部分平面）。应该认识到，虚拟碗形投影表面402的顶部412是部分敞开的，并且可以将环境中高于车辆100的部分投影在虚拟碗形投影表面402的顶部部分上。
碗状物翘曲模块344配置成对所生成的虚拟碗形投影表面402中邻接地平面404的分段（例如，下半部、下部三分之一、下部四分之一、下部八分之一等，具体根据特定实施例而定）进行过滤或另外平滑处理。如图6中虚拟碗形投影表面402的（例如垂直于垂直切片408截取的）垂直横截面602的一部分所示，碗状物翘曲模块344将构造的虚拟碗形投影表面402的形状修改成使得虚拟碗形投影表面402的底部部分604按照比虚拟碗形投影表面402的顶部部分606逼近虚拟碗形投影表面402的顶部412更缓慢的速率逼近虚拟碗形投影表面402的底部410。由此，投影在虚拟碗形投影表面402上的图像（本文称为“碗形图像”）将包含上文结合虚拟碗形投影表面402描述的那些特征（即，该碗形图像将包含具有绝对值小于顶部部分的导数的绝对值的导数的底部部分）。再者，虚拟碗形投影表面402的底部部分与虚拟碗形投影表面402的地平面404合并，以使该表面在任何位置处的导数都是有限定的（即，不存在奇异点）。应该认识到，碗状物翘曲模块344可以为此使用任何适合的图像过滤器、算法、技术和/或机制。
再次参考图3，显示模块310在显示器118上呈示图像以供车内计算系统102的用户观看。例如，显示模块310可以将一个或多个鱼眼图像、组合图像和/或其他类型的图像投影到碗状物生成模块308生成的虚拟碗形投影表面402上以创建碗形图像并将碗形图像或其一部分显示在显示器118上。当然，应该认识到，在一些实施例中，所生成的图像或组合图像不以传统意义“投影”到虚拟碗形投影表面402上；而是，可以将所生成的图像或组合图像修改成具有包含上文描述的特征的碗形，如同图像已被投影到虚拟碗形投影表面402上一样。
如上文提到的，在一些实施例中，显示模块310可以仅呈示车内计算系统102的虚拟摄像头202的视场内的碗形图像的部分。相应地，虽然碗形图像可以实施为“投影”到三维表面上的图像，但是在一些实施例中，显示器118可以呈示碗形图像的二维视角。摄像头控制模块312确定虚拟摄像头202的视角，并且与虚拟摄像头控制128结合，使车内计算系统102的用户能够修改车内计算系统102的虚拟摄像头202的视场。
现在参考图7，使用中，车内计算系统102可以执行用于显示车辆100周边或更具体地显示车内计算系统102周边的物理环境的方法700。正如上文论述，本文描述的方法是一般性地结合鱼眼摄像头和此类摄像头生成的鱼眼图像来描述的；但是，这些方法也可应用于其他适合类型的摄像头和/或图像。说明性方法700开始于框702，其中车内计算系统102确定是否要显示周边物理环境。如果情况如此，则在框704中，车内计算系统102从摄像头126接收鱼眼图像。正如上文论述，在说明性实施例（参见图2）中，摄像头系统120包括四个鱼眼摄像头。相应地，在这种示范实施例中，车内计算系统102从与相同捕获时间关联的（即，同时或大约同时捕获的）四个摄像头126的每一个接收鱼眼图像。当然，在其他实施例中，摄像头系统120可以包括不同数量的摄像头126，并且因此在框704中可以接收或检索不同数量的鱼眼图像。此外，在一些实施例中，可以在车内计算系统102的存储器114或数据存储116上存储这些图像的其中一个或多个（例如，以用于与下文论述的光流算法配合使用）。
在框706中，车内计算系统102将从摄像头126接收的图像的其中两个或更多个组合以生成组合/复合图像。应该认识到，车内计算系统102可以为此使用任何适合的技术或机制。例如，在相对不成熟的实施例中，车内计算系统102可以仅将图像彼此追加来生成组合图像。但是，正如下文论述，这些说明性实施例可以运用更复杂的技术，如拼接和/或光流，以将图像组合来减少所生成的组合图像和/或对应投影中的不精确或模糊。
正如上文论述，车内计算系统102生成可用于投影捕获的图像和/或组合图像的虚拟碗形投影表面402，以使车辆100的驾驶者获得便利和改善的视野。此外，相邻摄像头126具有重叠的视场，这使得相邻摄像头126生成的图像具有在重叠成像区域中匹配（即，重复的）特征。如果不解决，此类特征的重复可能导致组合图像和/或对应投影中此类特征的模糊。例如，如图8所示，两个相邻摄像头802、804（例如通过背投）将同一个真实点806投影到虚拟碗形投影表面402的两个不同点808、810上（即，除非真实点806与虚拟碗形投影表面402吻合）。具体来说，第一摄像头802捕获的真实点806投影到虚拟碗形投影表面402上的第一点808处，以及第二摄像头804捕获的真实点806投影到碗形投影表面上的第二点810。因此，当组合图像时，车内计算系统102可以解决有关由于重叠图像区域而导致图像模糊、重影和/或不可见对象的问题。例如，在该说明性实施例中，车内计算系统102可以在框708中运用拼接算法或在图7的方法700的框710中运用光流算法来组合两个相邻图像。当然，在一些实施例中，可以采用技术的组合来生成组合图像。
为了使用拼接算法组合相邻图像，车内计算系统102可以执行如图9所示的方法900。说明性方法900开始于框902，其中车内计算系统102确定是否要拼接相邻鱼眼图像。如果情况如此，则在框904中，车内计算系统102基于摄像头系统120的几何形状来确定相邻图像的基本矩阵。应该认识到，基本矩阵路由图像的对应特征之间的映射将捕获同一个场景的两个图像的图像坐标彼此相关。因为摄像头系统120的几何形状和坐标系是已知的，则该基本矩阵也是已知的或可容易确定的（即，不执行图像特征检测或匹配）。作为备选，可以基于两个图像的匹配特征来确定该基本矩阵。
在框906中，车内计算系统102对相邻鱼眼图像中每一个执行特征检测以识别图像的特征（即，关注点）。正如上文论述，车内计算系统102可以为此使用任何适合的检测器（例如，SURF、SIFT、MOPS等）。在框908中，车内计算系统102（例如，使用RANSAC或另一种匹配算法）对相邻鱼眼图像中检测到的特征执行特征匹配以识别图像的哪些特征彼此匹配。在一些实施例中，为此，车内计算系统102基于框910中确定的基本矩阵来过滤特征匹配候选项（例如，以便减少与比较检测到的特征关联的计算开销）。
作为附加或备选，在执行特征匹配时，车内计算系统102可以在框912中将特征匹配候选项的Sampson距离最小化以识别重叠图像之间的适合特征对应关系。更确切地来说，车内计算系统102可以对如下表达式
Figure 100002_DEST_PATH_IMAGE002
最小化其中x 1和x 2是与重叠图像中的第一鱼眼图像中匹配的特征关联的像素的二维坐标，x 1'和x 2'是与重叠图像中的第二鱼眼图像中匹配的特征关联的像素的二维坐标，F是基本矩阵，以及i是与匹配的特征关联的像素的索引。在另一些实施例中，车内计算系统102可以使用其他适合的技术来执行特征匹配（例如，使用确定的基本矩阵而无需特征匹配算法、在没有来自摄像头系统120的几何形状的基本矩阵的先验知识的情况下使用特征匹配算法等）。
在框914中，车内计算系统102基于匹配的特征来确定相邻鱼眼图像在重叠图像区域中的接缝。例如且现在参考图10和11，车内计算系统102可以将图像特征（例如，多个像素或像素集合）识别为每个相邻图像（即，第一图像1002和第二图像1004中的每一个）的关注点。可以将第一图像1002中检测到的特征中匹配于第二图像1004中的对应特征的子集虚拟地连接以生成由第一图像1002中的匹配的特征组成的第一接缝1006。相似地，第二图像1004中匹配于第一图像1002中的对应特征的检测到的特征也可以建立第二接缝1008。
再次参考图9，在框916中，车内计算系统102生成相邻鱼眼图像的组合图像。正如上文论述，为此，在框918中，车内计算系统102可以将相邻鱼眼图像（即，第一图像1002和第二图像1004）投影到虚拟碗形投影表面402上。应该认识到，可以（例如，至少部分地）将如图19所示且在下文描述的方法1900与方法900结合来运用或另外执行以便执行对虚拟碗形投影表面402的此类投影。在框920中，车内计算系统102确定要接合第一图像1002和第二图像1004的投影所在的第三接缝1102。应该认识到车内计算系统102可以使用任何适合的技术、算法或机制（参见例如图11）来确定第三接缝1102的位置。例如，在一个实施例中，车内计算系统102可以将第三接缝1102确定为第一接缝1006、第二接缝1008之间的平均接缝（例如，第一接缝1006、第二接缝1008的对应匹配的特征在三维虚拟碗形投影表面402上的位置的算术平均值）。在另一个实施例中，第三接缝1102的位置可以例如选为能够保留第一图像1002、第二图像1004或对应投影的大部分数据的位置。在框、922中，车内计算系统102可以对投影的图像的第一接缝1006和第二接缝1008之间的图像像素执行内插、外插和/或另外过滤以生成重叠图像区域中相对无图像假影的投影图像。在一些实施例中，此外，车内计算系统102可以弱化投影图像的多个部分（例如，对应第一图像1002、第二图像1004中超出第一接缝1006、第二接缝1008的部分）。例如，车内计算系统102可以裁掉或模糊化图像投影的此类部分。在另一个实施例中，车内计算系统102可以确定第三接缝和过滤二维空间中原始接缝之间的区域，然后才生成组合图像，然后才将组合图像投影到虚拟碗形投影表面402。再者，如图11所示，应该认识到，可以采用与上文描述相似的方式在其他每对相邻摄像头126之间生成接缝1104。
为了使用光流算法组合相邻图像，车内计算系统102可以执行如图12-13所示的方法1200。说明性方法1200开始于框1202，其中车内计算系统102确定是否要运用光流。应该认识到，车内计算系统102可以运用光流来基于任何对象是否确定为在重叠视场内移动以确定如何将相邻鱼眼图像的重叠图像区域投影到虚拟碗形投影表面402。如果车内计算系统102确定要运用光流，则在框1204中，车内计算系统102确定/识别要应用光流的相邻鱼眼图像的重叠区域。例如，在框1206中，车内计算系统102可以基于摄像头系统120的预定几何形状来确定相邻鱼眼图像的重叠区域。即，车内计算系统102可以配置成基于对应相邻摄像头126的重叠视场和摄像头126之间的已知几何关系来识别相邻鱼眼图像的重叠区域。作为附加或备选，在框1208中，车内计算系统102可以对相邻鱼眼图像执行特征检测和特征匹配以确定重叠区域，正如上文结合图9论述的。
在框1210中，车内计算系统102确定对象在识别的重叠图像区域中的相对移动。即，车内计算系统102确定重叠图像区域中捕获的对象正在相对于车辆100移动（如果有的话）的范围。为此，车内计算系统102可以运用图像过滤器（例如，边缘检测器、梯度过滤器等）或其他适合的技术来确定对象在重叠区域中的相对移动。例如，在框1212中，车内计算系统102可以应用梯度约束方程式。因此，在框1214中，车内计算系统102可以确定（例如，相邻图像的其中之一或二者兼有的）重叠图像区域中的像素亮度的空间导数。此外，在框1216中，车内计算系统102可以确定重叠图像区域中像素亮度的时间导数。
在一些实施例中，可以将梯度约束方程式
Figure 100002_DEST_PATH_IMAGE003
应用于重叠图像区域以判明对象在重叠图像区域内的移动，其中I(x, t)是像素亮度，
Figure 100002_DEST_PATH_IMAGE004
是像素亮度的空间导数，u是多个鱼眼图像的二维速度以及
Figure 100002_DEST_PATH_IMAGE005
是像素亮度的时间导数。更确切地来说，u是将相同鱼眼摄像头126（例如，在捕获之间短持续时间的情况下）拍摄的两个鱼眼图像比较所确定的底层像素的二维速度。应该认识到多种光流算法可以运用此类梯度约束方程式作为基础，并且本文中可以采用这些算法中任一种。再者，在一些实施例中，车内计算系统102可以采用具有不同物理约束的光流算法。如图14A和图14B的说明性实施例中所示，光流算法可以基于输入图像1402输出光流图像1404，从而指示对象在该图像中的相对移动。应该认识到图14A所示的光流算法的说明性输入图像1402是包含非移动背景和移动行人的场景的鱼眼图像。因此，光流图像1404（即，光流算法的输出图像）利用不同颜色将移动行人与非移动背景清楚地区分开以便于后续分析。确切地来说，运用的光流算法以较暗的阴影标识移动对象以及以较亮的阴影标识非移动对象。在该说明性实施例中，将此类算法应用于重叠图像区域以生成相似的对应光流输出图像。
在框1218中（参见图13），车内计算系统102基于对象在重叠图像区域中的相对移动（例如，基于光流输出图像）来识别相对于车辆100移动的任何对象。应该认识到此类确定可以例如具体根据所采用的特定光流算法而定。例如，一个特定光流算法可以输出呈灰度级的图像，其中具有最大相对移动量的已处理图像的像素是白色以及具有最小相对移动量的已处理图像的像素是黑色，而具有介于最大值（白色）和最小值（黑色）之间的某个移动水平的像素是灰色阴影。
不考虑所采用的特定光流算法，在框1220中，车内计算系统102基于识别的移动对象生成重叠图像区域的图像。在一些实施例中，可以通过将相邻图像彼此追加来生成相邻图像的组合图像，例如将重叠图像区域的生成的图像叠加在组合图像的重叠图像区域上。应该认识到如果未识别到移动对象，则在一些实施例中，车内计算系统102可以运用另一种技术来用于组合相邻图像（例如，图像拼接）。但是，如果识别到移动对象，则车内计算系统102尝试将移动对象保留在相邻图像的最终组合图像中。否则，将组合图像投影到虚拟碗形投影表面402可能导致不可见对象和/或盲点。
在生成重叠图像区域的图像时，车内计算系统102可以生成包含来自相邻图像的其中之一或二者的所识别的移动对象的图像。例如，在框1222中，车内计算系统102可以生成含有来自相邻鱼眼图像的其中之一的未混合移动对象的图像。即，如果在重叠图像区域中识别到移动对象，则该对象存在于这两个相邻图像中。因此，车内计算系统102可以显示仅来自这些图像之一的移动对象，但是确定并通过例如将对象模糊化弱化另一个相邻图像中的移动对象（例如，以便避免对象重影）。在框1224中，车内计算系统102可以生成含有来自再者两个相邻鱼眼图像的未混合移动对象的图像。例如，如果车内计算系统102无法确定哪个位置的移动对象更适合（即，基于每个相邻鱼眼图像中的对象在虚拟碗形投影表面402上的预期投影位置），则车内计算系统102可以确定通过将来自两个相邻鱼眼图像的对象投影到虚拟碗形投影表面402上来在两个位置中显示移动对象。在框1226中，车内计算系统102可以生成在基于相邻鱼眼图像预估的位置中具有移动对象的图像。即，车内计算系统102可以基于适合的分析（例如，通过将来自相邻图像的对象的投影位置取均值）确定投影每个移动对象所在的位置。此外，在一些实施例中，车内计算系统102可以混合、过滤和/或以其他方式修改重叠图像区域来减少图像假影。
再次参考图7，在框712中，车内计算系统102对一个或多个捕获的鱼眼图像执行对象归类。例如，车内计算系统102可以确定车辆100的周边附近的任何行人或动物的位置。为此，车内计算系统102可以执行用于将鱼眼图像中的对象归类的方法1500，如图15所示。应该认识到由于鱼眼图像的固有特点，对鱼眼图像执行对象归类基于常规归类算法可能是极其困难的。例如，鱼眼图像具有强鱼眼畸变，鱼眼图像中的像素分辨率从鱼眼图像的中心到边界呈非线性下降，并且真实环境中的直线在鱼眼图像中呈现为曲线。因此，根据对象相对于鱼眼摄像头的位置，对象在鱼眼图像中呈现不同的形状。虽然可以补偿鱼眼畸变，但是典型地，其导致透视畸变，也使常规归类复杂化。正如下文论述，归类一般包括将图像中的对象与特定对象类的预定义对象模型或轮廓比较，而特定对象类的预定义对象模型或轮廓典型地是在无畸变直线空间中定义的。
说明性方法1500开始于框1502，其中车内计算系统102确定是否要执行对象归类。如果情况如此，则在框1504中，车内计算系统102校准鱼眼摄像头126的其中一个或多个。正如上文指示，使用适合的技术校准摄像头126以确保精确的图像捕获和度量数据的提取。例如，可以将鱼眼图像与投影相关，
Figure 100002_DEST_PATH_IMAGE006
其中P是投影矩阵，X一般是齐次坐标（例如，x、y和z）的向量描述，u是鱼眼图像的投影，λ是与均匀模糊度（homogeneousambiguity）对应的换算系数，A和t是与错位对应的系数（例如，摄像头构造、分辨率、像素大小等），以及
Figure 100002_DEST_PATH_IMAGE007
是鱼眼图像的所有类型畸变的多项式拟合，以及其中p是点(u, v)与光轴之间的度量距离。在一些实施例中，鱼眼摄像头的校准包括确定上文提供的投影方程式中的A、t、和f(u,v)的值的确定。当然，在其他实施例中可以使用其他校准技术来校准摄像头126。
在框1506中，车内计算系统102确定鱼眼图像中要执行对象归类的关注区域（参见例如图16的鱼眼图像1600）。正如上文指示，对整个图像执行对象归类是计算密集的，并且将整个鱼眼图像投影到直线图像导致显著透视畸变。对图像的一个区域（即，小于整个图像）执行对象归类减少了这两个因素的影响。应该认识到可以使用任何适合的技术来确定关注区域的位置、尺寸和/或其他特点。例如，在一些实施例中，可以基于要执行归类的对象（例如，行人）的尺寸来选择关注区域的尺寸。
在框1508中，车内计算系统102可以通过正如上文结合图12和13的方法1200描述的，运用光流算法来识别移动对象以确定关注区域。即，车内计算系统102可以确定对在相对于车辆100的显著移动的鱼眼图像的区域执行对象归类。在框1510中，车内计算系统102可以对鱼眼图像执行对象检测以识别关注区域。虽然归类算法典型地对鱼眼图像效果非常差，但是车内计算系统102能够通过对鱼眼图像使用多种图像过滤器和/或特征检测器来确定鱼眼图像中对象的存在（即，即使车内计算系统102无法将检测到的对象归类）。在框1512中，车内计算系统102可以通过对畸变的直线图像执行对象检测来确定关注区域。为此，车内计算系统102可以在框1514将鱼眼图像投影到虚拟半球形显示表面上，然后由此投影到平面。正如上文论述，整个图像投影产生的直线图像含有透视畸变（参见例如，图17的畸变的直线图像1700）。然而，尽管如此，可以对畸变的直线图像采用对象检测算法以识别关注区域以用于车内计算系统102进行后续分析和归类。
在框1516中，车内计算系统102将所确定的关注区域投影到虚拟半球形显示表面上以生成半球形图像区域。再者，在框1518中，车内计算系统102将半球形图像区域投影到垂直于半球形图像区域中的点（例如，中心点）的平面上以生成直线图像。正如上文描述，与将整个鱼眼图像投影到平面上相比，将图像区域投影到平面产生显著较少的畸变（例如，透视畸变）。因此，对象归类算法采用基于关注区域生成的直线图像（参见，例如，图18的直线图像1800）一般效果好于基于整个图像生成的直线图像（参见图17）。在另一些实施例中，车内计算系统102可以采用投影的不同组合来将关注区域投影到平面上以创建透视畸变最小的直线图像。例如，在一些实施例中，车内计算系统102可以将关注区域直接从鱼眼图像投影到平面（即，绕过往返半球形表面的投影）。
在框1520中，车内计算系统102对生成的直线图像执行对象归类。正如上文论述，为此，车内计算系统102将直线图像或其多个部分（例如，关注点）与一个或多个预定义对象轮廓/模型比较以确定是否存在匹配。具体根据特定的实施例，可能存在广泛系列的不同类型的对象类的对象轮廓。例如，一些对象轮廓可以包括成人行人、儿童行人、宠物、车辆及其他。应该认识到对象轮廓可以实施为任何适合的数据结构，并且可以包括多种属性，例如，高度、宽度、朝向、平均速度、重要度、可识别关注点以及其他适合的特点。不考虑车内计算系统102是否能够成功地将对象归类，方法1500返回到框1502，其中车内计算系统102确定是否要（例如，对另一个鱼眼图像）执行对象归类。
再次参考图7，在框714中，车内计算系统102显示碗形图像。正如上文论述，为此，车内计算系统102生成或以其他方式使用要投影一个或多个图像（例如，鱼眼图像、组合图像/复合图像、全景图像等）的虚拟碗形投影表面402，从而创建“碗形”图像。投影改善了例如车辆周边环境的驾驶者可见性。当然，正如上文论述，在一些实施例中，可以修改一个或多个图像以具有与虚拟碗形投影表面402相符的碗形，而非常规意义上的“投影”到虚拟碗形投影表面402。应该认识到在框716中，车内计算系统102可以基于组合图像和虚拟摄像头202的朝向来生成碗形图像，正如上文论述。例如，可以将多个摄像头126捕获的图像组合以生成单个组合图像，可以将该单个组合图像“投影”到虚拟碗形投影表面402上以生成碗形图像。正如上文论述，在一些实施例中，该投影可以与例如上文结合图9的方法900描述的将相邻图像拼接结合来执行。再者，在一些实施例中，车内计算系统102可以仅生成或显示碗形图像和/或虚拟碗形投影表面402在虚拟摄像头202的视场内以及与虚拟摄像头202相同视角的部分。此外，在框718中，车内计算系统102可以突出显示车内计算系统102已检测到且归类的任何对象，正如上文论述。具体根据特定的实施例，车内计算系统102可以例如以视觉方式在显示器118上突出显示归类的对象以方便用户，向用户传送识别对象存在的音频提示，和/或基于归类来运用车辆100的一个或多个其他机电特征（例如，将车辆100自动刹车）。
在一些实施例中，车内计算系统102可以执行图19所示的方法1900以生成如图4所示的碗形图像。说明性方法1900开始于框1902，其中车内计算系统102确定是否要生成碗形图像。如果情况如此，则车内计算系统102生成或以其他方式确定投影一个或多个图像（例如，组合图像）所在的虚拟碗形投影表面402以及将图像投影到虚拟碗形投影表面402上。具体来说，在框1904中，车内计算系统102确定虚拟碗形投影表面402（即要生成的）的垂直切片408（参见图4）的长半轴和短半轴连同车辆100的长度（例如，沿着车辆100的纵轴横截虚拟碗形投影表面402的垂直切片）。应该认识到车内计算系统102可以使用任何适合的技术（例如，基于车辆100的尺寸或预定值/阈值）来确定垂直切片408的主轴和短轴的适合尺寸。
在框1906中，车内计算系统102确定要生成的虚拟碗形投影表面402的“水平偏移量”。在一些实施例中，水平偏移量可以是存储在车内计算系统102的存储器114或数据存储116上用于生成虚拟碗形投影表面402的预定值。在该说明性实施例中，水平偏移量具有小于车辆100的长度而大于车辆的长度一半（例如，稍大于车辆100长度一半）的长度。
正如上文论述，车内计算系统102可以生成虚拟碗形投影表面402的每个水平切片，并将这些水平切片组合以生成虚拟碗形投影表面402。相应地，在框1908中，车内计算系统102选择虚拟碗形投影表面402的下一个水平切片来生成。应该认识到每个水平切片的“厚度”或宽度可以具体根据特定实施例而有所变化。例如，在一些实施例中，水平切片的宽度可以是无穷小（即，虚拟方式）或采用车内计算系统102的硬件、固件和/或软件极限所允许的最大分辨率。此外，水平切片的选择次序还可以具体根据特定实施例而定（例如，从上向下、从下向上、随机选择等）。
在框1910中，车内计算系统102确定选定的水平切片的第一半轴（例如，长半轴的长度）。为此，在一些实施例中，在框1912中，车内计算系统102可以根据如下公式确定第一半轴：
Figure 100002_DEST_PATH_IMAGE008
其中aHorizontal是选定的水平切片的第一半轴（即，长半轴）的长度，aOffset是垂直切片的长半轴的长度，bVertical是垂直切片的短半轴的长度，以及z是选定的水平切片高于虚拟碗形投影表面402的地平面404的高度。
在框1914中，车内计算系统102确定选定的水平切片的自适应比率。正如上文论述，在说明性实施例中，自适应比率是预定义的且横截水平切片呈线性变化，以使自适应比率在虚拟碗形投影表面402的顶部412（参见图4）处为约单位一（即，1.0），以及在虚拟碗形投影表面402的底部410（参见图4）等于按汽车长度除以汽车宽度（即
Figure 100094DEST_PATH_IMAGE001
）确定的值。相应地，虚拟碗形投影表面402的顶部水平切片构形为圆形，以及虚拟碗形投影表面402的底部水平切片（即，邻近虚拟碗形投影表面402的地平面的水平切片）构形为非圆椭圆。在一些实施例中，自适应比率可以表示为线性一维函数，其中水平切片的标识符作为该函数的输入以及函数输出在本文描述的计算中使用。因此，每个水平切片与不同的自适应比率值关联。
在框1916中，车内计算系统102确定选定的水平切片的第二半轴（例如，短半轴的长度）。为此，在框1918中，车内计算系统102可以根据如下公式确定第二半轴：
Figure 100002_DEST_PATH_IMAGE009
，其中bHorizontal是选定的水平切片的第二半轴（即，短半轴）的长度，aHorizontal是选定的水平切片的第一半轴（即，长半轴）的长度，以及adaptiveRatio是选定的水平切片的自适应比率，正如上文论述。
在框1920中，车内计算系统102确定是否还有虚拟碗形投影表面402的水平切片要生成。如果情况如此，则方法1900返回到框1908，其中车内计算系统102选择下一个水平切片来生成。但是，如果虚拟碗形投影表面402的所有水平切片都已生成，则在框1922中，车内计算系统102使用适合的技术或算法将这些水平切片组合以生成虚拟碗形投影表面402。例如，车内计算系统102可以按适合的次序将水平切片“堆叠”，并将这些切片融合在一起以生成单个虚拟表面。此外，在一些实施例中，车内计算系统102还将平地平面404（即，虚拟碗形投影表面402的底部）融合到虚拟表面的底部以生成虚拟碗形投影表面402。
在框1924中，车内计算系统102过滤所生成的虚拟碗形投影表面402邻近地平面404的底部分段以将地平面404与虚拟碗形投影表面402的下方水平切片（参见图6）之间的接合平滑。正如上文论述，车内计算系统102可以为此使用任何适合的图像过滤器、算法、技术和/或机制。在框1926中，车内计算系统102将组合图像投影到所生成的虚拟碗形投影表面402上以生成碗形图像。正如上文论述，碗形图像改善了用户对车辆100周边环境的视角。此外，应该认识到在一些实施例中，可以将捕获的真实地平面的图像直接投影会地平面404，以使畸变最小或不存在。再者，正如上文论述，所生成的碗形图像在车内计算系统102的显示器118上显示给车内计算系统102的用户（例如，车辆100的驾驶者）。
返回图7，在框720中，车内计算系统102确定接收到要修改虚拟摄像头202的视场的任何用户输入（例如，平移或旋转虚拟摄像头202）。如果情况如此，则在框722中，车内计算系统102基于用户输入和虚拟摄像头202的新位置来修改碗形图像的显示。例如，用户可以在碗形图像内旋转虚拟摄像头202（例如，从与车辆100的内视角相符的视角）以显示碗形图像的不同部分。应该认识到在一些实施例中，车内计算系统102可以运用多个虚拟摄像头202（例如，以同时显示碗形图像的多个视角）。例如，在一个实施例中，车内计算系统102可以显示碗形图像从车辆100四边的每一边看的视图。在另一些实施例中，可以将整个碗形图像或其一部分显示在3D显示器上，正如上文论述。响应于修改碗形图像的显示（在框722中）或确定未接收到用户输入要修改碗形图像（在框720中），方法700返回到框702，其中车内计算系统102确定是否要显示车辆100的周边环境。
示例
下文提供本文披露的技术的说明性示例。这些技术的实施例可以包括下文描述的示例的任何一个或多个示例及其任何组合。
示例1包括一种用于运用碗形图像的计算系统，所述计算系统包括第一鱼眼摄像头，所述第一鱼眼摄像头用于捕获包含第一场景的第一鱼眼图像；第二鱼眼摄像头，所述第二鱼眼摄像头用于捕获包含第二场景的第二鱼眼图像的，所述第二场景与所述第一场景在重叠区域重叠；组合图像生成模块，所述组合图像生成模块用于生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像；对象归类模块，所述对象归类模块用于对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一的关注区域执行对象归类以将所述关注区域内的对象归类；以及碗状物生成模块，所述碗状物生成模块用于基于所述组合图像生成碗形图像的一部分。
示例2包括示例1的主题，以及其中所述组合图像生成模块包括特征检测模块，所述特征检测模块用于对所述第一鱼眼图像和所述第二鱼眼图像执行特征检测以检测位于所述重叠区域中的一个或多个特征；特征匹配模块，所述特征匹配模块用于对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征；接缝确定模块，所述接缝确定模块用于（i）基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征确定所述重叠区域中所述第一鱼眼图像的第一接缝，（ii）基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征确定所述重叠区域中所述第二鱼眼图像的第二接缝，（iii）将所述第一鱼眼图像和所述第二鱼眼图像投影到虚拟碗形投影表面以生成对应投影的图像，以及（iv）基于所述第一接缝和所述第二接缝的对应投影确定所述对应投影的图像的重叠区域中的第三接缝；以及图像合成模块，所述图像合成模块用于通过在所确定的第三接缝出将所述第一和第二鱼眼图像的投影组合来生成所述第一鱼眼图像和所述第二鱼眼图像的组合图像。
示例3包括示例1和2中任一项的主题，以及其中所述特征匹配模块还用于确定包括所述第一鱼眼摄像头和所述第二鱼眼摄像头的摄像头系统的基本矩阵，其中所述基本矩阵基于所述摄像头系统的几何形状。
示例4包括示例1-3中任一项的主题，以及其中执行特征匹配包括基于所述基本矩阵过滤特征匹配候选项。
示例5包括示例1-4中任一项的主题，以及其中执行特征匹配包括将特征匹配候选项的Sampson距离最小化。
示例6包括示例1-5中任一项的主题，以及其中将所述特征匹配候选项的Sampson距离最小化包括将如下等式最小化：
Figure DEST_PATH_IMAGE010
，其中x 1和x 2是与所述第一鱼眼图像的匹配的特征关联的像素的坐标，x 1'和x 2'是与所述第二鱼眼图像的匹配的特征关联的像素的坐标，F是所述基本矩阵，以及i是与所述匹配的特征关联的像素的索引。
示例7包括示例1-6中任一项的主题，以及其中确定所述第三接缝包括将第三接缝确定为所述第一接缝与所述第二接缝的对应投影的平均接缝。
示例8包括示例1-7中任一项的主题，以及其中所述图像合成模块还用于执行位于所述重叠区域中的所述第一和第二接缝的对应投影之间的图像像素的内插或外插的至少其中之一。
示例9包括示例1-8中任一项的主题，以及其中所述图像合成模块用于弱化（i）所述第一图像的投影在所述重叠区域中且在所述第一和第二接缝的对应投影之间限定的区域以外的端部以及（ii）所述第二图像的投影在所述重叠区域中且在所述第一和第二接缝的对应投影之间限定的区域以外的端部。
示例10包括示例1-9中任一项的主题，以及其中所述组合图像生成模块包括重叠确定模块，所述重叠确定模块用于确定所述第一鱼眼图像与所述第二鱼眼图像的重叠图像区域；移动确定模块，所述移动确定模块用于（i）基于所述第一和第二鱼眼摄像头生成的多个鱼眼图像确定位于所述重叠图像区域中的对象相对于所述第一和第二鱼眼摄像头的移动，以及（ii）基于所述对象的对应相对移动识别所述重叠图像区域中的移动对象；以及图像生成模块，所述图像生成模块用于基于所识别的移动对象生成所述重叠图像区域的图像。
示例11包括示例1-10中任一项的主题，以及其中确定所述重叠图像区域包括，对所述第一和第二鱼眼图像执行特征检测以检测位于所述重叠区域中的一个或多个特征；以及对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征。
示例12包括示例1-11中任一项的主题，以及其中确定所述重叠图像区域包括基于包括所述第一和第二鱼眼摄像头的摄像头系统的几何形状来确定重叠图像区域。
示例13包括示例1-12中任一项的主题，以及其中确定对象的移动包括将梯度约束方程式应用于所述多个鱼眼图像。
示例14包括示例1-13中任一项的主题，以及其中应用所述梯度约束方程式包括确定所述重叠图像区域的像素的亮度的空间导数；为所述多个鱼眼图像确定所述重叠图像区域的像素的亮度的时间导数；以及确保
Figure DEST_PATH_IMAGE011
，其中
Figure DEST_PATH_IMAGE012
是所述空间导数，u是所述多个鱼眼图像的二维速度，以及
Figure DEST_PATH_IMAGE013
是所述时间导数。
示例15包括示例1-14中任一项的主题，以及其中生成所述重叠图像区域的图像包括，生成包含从所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一识别的移动对象的图像。
示例16包括示例1-15中任一项的主题，以及其中生成所述重叠图像区域的图像包括，基于所述第一鱼眼图像和所述第二鱼眼图像中识别的移动对象的对应位置，生成包含在所述图像中的预估位置中识别的移动对象的图像。
示例17包括示例1-16中任一项的主题，以及其中所述对象归类模块包括关注区域确定模块，所述关注区域确定模块用于在所述第一鱼眼图像或所述第二鱼眼图像的其中之一中确定所述关注区域；直线投影模块，所述直线投影模块用于（i）将所述关注区域投影到虚拟半球形显示表面上以生成半球形图像区域，以及（ii）将所述半球形图像区域投影到垂直于所述半球形图像区域中的点的平面上以生成直线图像；以及对象识别模块，所述对象识别模块用于对所述直线图像执行对象归类。
示例18包括示例1-17中任一项的主题，以及还包括校准模块，所述校准模块用于校准所述第一鱼眼摄像头或所述第二鱼眼摄像头的至少其中之一以捕获鱼眼图像。
示例19包括示例1-18中任一项的主题，以及其中确定所述关注区域包括，运用光流算法以识别移动对象，所述关注区域与包含所述移动对象的图像区域对应。
示例20包括示例1-19中任一项的主题，以及其中确定所述关注区域包括，对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一执行对象检测以识别关注对象，所述关注区域与所识别的关注对象对应。
示例21包括示例1-20中任一项的主题，以及其中所述关注区域确定模块还用于将所述第一或第二鱼眼图像的其中之一投影到虚拟半球形显示表面上以生成半球形图像，以及将所述半球形图像投影到平面上以生成视角畸变的直线图像，其中确定所述关注区域包括，对所述视角畸变的直线图像执行对象归类。
示例22包括示例1-21中任一项的主题，以及其中执行对象归类包括，从所述计算设备的存储器中检索对象轮廓；以及将所述直线图像中检测到的对象与检索的对象轮廓比较。
示例23包括示例1-22中任一项的主题，以及其中所述碗状物生成模块包括碗状物几何形状模块，所述碗状物几何形状模块用于（i）确定要生成的虚拟碗形投影表面的垂直切片的长半轴和短半轴，（ii）对于所述虚拟碗形投影表面的每个水平切片，基于所述垂直切片的所述长半轴和所述短半轴，确定对应水平切片的第一半轴，以及（iii）对于所述虚拟碗形投影表面的每个水平切片，基于对应水平切片的所述第一半轴与第二半轴之间的自适应比率，确定垂直于所述第一半轴的对应水平切片的第二半轴，其中所述对应水平切片的所述自适应比率与其他水平切片所关联的每个自适应比率各不相同；以及碗状物合成模块，所述碗状物合成模块用于基于所述水平切片的组合生成所述虚拟碗形投影表面。
示例24包括示例1-23中任一项的主题，以及还包括碗状物翘曲模块，所述碗状物翘曲模块用于将所生成的虚拟碗形投影表面邻近所述虚拟碗形投影表面的地平面的分段平滑。
示例25包括示例1-24中任一项的主题，以及其中所述计算系统包括车辆的车内计算系统；所述碗状物几何形状模块还用于确定所述对应水平切片的水平偏移量，其中所述水平偏移量小于所述车辆的长度；以及其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，基于所述水平偏移量来确定所述对应水平切片的所述第一半轴。
示例26包括示例1-25中任一项的主题，以及其中所述水平偏移量大于所述车辆的一半长度。
示例27包括示例1-26中任一项的主题，以及其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，将所述对应水平切片的所述第一半轴确定为
Figure DEST_PATH_IMAGE014
，其中aHorizontal是所述第一半轴的长度，aOffset是所述水平偏移量，aVertical是所述垂直切片的所述长半轴的长度，bVertical是所述垂直切片的所述短半轴的长度，以及z是所述对应水平切片高于所述虚拟碗形投影表面的地平面的高度。
示例28包括示例1-27中任一项的主题，以及其中所述计算系统包括车辆的车内计算系统；以及所述自适应比率在相邻水平切片之间呈线性变化，对于顶部水平切片，所述自适应比率等于1，以及对于底部水平切片，所述自适应比率是所述车辆的长度与所述车辆的宽度之比。
示例29包括示例1-28中任一项的主题，以及其中所述虚拟碗形投影表面的顶部水平切片具有圆形几何形状，以及所述虚拟碗形投影表面的底部水平切片具有非圆椭圆几何形状。
示例30包括示例1-29中任一项的主题，以及其中确定所述对应水平切片的所述第二半轴包括，对于每个水平切片，将所述对应水平切片的所述第二半轴确定为所述对应水平切片的所述第一半轴与所述对应水平切片的所述自适应比率之比。
示例31包括示例1-30中任一项的主题，以及还包括显示模块，所述显示模块用于将图像投影到所生成的碗形投影表面上以生成所述碗形图像的所述部分；以及在所述计算设备的显示器上显示所述碗形图像的所述部分。
示例32包括示例1-31中任一项的主题，以及其中显示所述碗形图像的所述部分包括，显示所述碗形图像与车辆的虚拟摄像头的视场对应的片段。
示例33包括示例1-32中任一项的主题，以及其中所述计算设备实施为车内计算系统。
示例34包括一种用于生成碗形图像的计算设备，所述计算设备包括碗状物几何形状模块，所述碗状物几何形状模块用于（i）确定要生成的虚拟碗形投影表面的垂直切片的长半轴和短半轴，（ii）对于所述虚拟碗形投影表面的每个水平切片，基于所述垂直切片的所述长半轴和所述短半轴，确定对应水平切片的第一半轴，以及（iii）对于所述虚拟碗形投影表面的每个水平切片，基于对应水平切片的所述第一半轴与第二半轴之间的自适应比率，确定垂直于所述第一半轴的对应水平切片的第二半轴，其中所述对应水平切片的所述自适应比率与其他水平切片所关联的每个自适应比率各不相同。以及碗状物合成模块，所述碗状物合成模块用于基于所述水平切片的组合生成所述虚拟碗形投影表面。
示例35包括示例34的主题，以及还包括碗状物翘曲模块，所述碗状物翘曲模块用于将所生成的虚拟碗形投影表面邻近所述虚拟碗形投影表面的地平面的分段平滑。
示例36包括示例34和35中任一项的主题，以及其中所述计算设备包括车辆的车内计算系统；所述碗状物几何形状模块还用于确定所述对应水平切片的水平偏移量，其中所述水平偏移量小于所述车辆的长度；以及其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，基于所述水平偏移量来确定所述对应水平切片的所述第一半轴。
示例37包括示例34-36中任一项的主题，以及其中所述水平偏移量大于所述车辆的一半长度。
示例38包括示例34-37中任一项的主题，以及其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，将所述对应水平切片的所述第一半轴确定为
Figure DEST_PATH_IMAGE015
，其中aHorizontal是所述第一半轴的长度，aOffset是所述水平偏移量，aVertical是所述垂直切片的所述长半轴的长度，bVertical是所述垂直切片的所述短半轴的长度，以及z是所述对应水平切片高于所述虚拟碗形投影表面的地平面的高度。
示例39包括示例34-38中任一项的主题，以及其中所述计算设备包括车辆的车内计算系统；以及所述自适应比率在相邻水平切片之间呈线性变化，对于顶部水平切片，所述自适应比率等于1，以及对于底部水平切片，所述自适应比率是所述车辆的长度与所述车辆的宽度之比。
示例40包括示例34-39中任一项的主题，以及其中所述虚拟碗形投影表面的顶部水平切片具有圆形几何形状，以及所述虚拟碗形投影表面的底部水平切片具有非圆椭圆几何形状。
示例41包括示例34-40中任一项的主题，以及其中确定所述对应水平切片的所述第二半轴包括，对于每个水平切片，将所述对应水平切片的所述第二半轴确定为所述对应水平切片的所述第一半轴与所述对应水平切片的所述自适应比率之比。
示例42包括示例34-41中任一项的主题，以及还包括显示模块，所述显示模块用于将图像投影到所生成的碗形投影表面上以生成所述碗形图像；以及在所述计算设备的显示器上显示所述碗形图像。
示例43包括示例34-42中任一项的主题，以及其中显示所述碗形图像的所述部分包括，显示所述碗形图像与车辆的虚拟摄像头的视场对应的片段。
示例44包括示例34-43中任一项的主题，以及其中所述计算设备实施为车内计算系统。
示例45包括一种用于将多个鱼眼摄像头生成的鱼眼图像组合的计算设备，所述计算设备包括特征检测模块，所述特征检测模块用于对捕获第一场景的第一鱼眼图像以及对捕获第二场景的第二鱼眼图像执行特征检测以检测位于重叠区域中的一个或多个特征，所述第二场景与所述第一场景重叠于所述第一场景和第二场景的所述重叠区域处；特征匹配模块，所述特征匹配模块用于对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征；接缝确定模块，所述接缝确定模块用于（i）基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征确定所述重叠区域中所述第一鱼眼图像的第一接缝，（ii）基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征确定所述重叠区域中所述第二鱼眼图像的第二接缝，（iii）将所述第一鱼眼图像和所述第二鱼眼图像投影到虚拟碗形投影表面以生成对应投影的图像，以及（iv）基于所述第一接缝和所述第二接缝的对应投影确定所述对应投影的图像的重叠区域中的第三接缝；以及图像合成模块，所述图像合成模块用于通过在所确定的第三接缝出将所述第一和第二鱼眼图像的投影组合来生成所述第一鱼眼图像和所述第二鱼眼图像的组合图像。
示例46包括示例45的主题，以及其中所述特征匹配模块还用于确定包括第一鱼眼摄像头和第二鱼眼摄像头的摄像头系统的基本矩阵，所述第一鱼眼摄像头用于生成所述第一鱼眼图像，以及所述第二鱼眼摄像头用于生成所述第二鱼眼图像，其中所述基本矩阵基于所述摄像头系统的几何形状。
示例47包括示例45和46中任一项的主题，以及其中执行特征匹配包括基于所述基本矩阵过滤特征匹配候选项。
示例48包括示例45-47中任一项的主题，以及其中执行特征匹配包括将特征匹配候选项的Sampson距离最小化。
示例49包括示例45-48中任一项的主题，以及其中将所述特征匹配候选项的Sampson距离最小化包括将如下等式最小化：
Figure DEST_PATH_IMAGE016
，其中x 1和x 2是与所述第一鱼眼图像的匹配的特征关联的像素的坐标，x 1'和x 2'是与所述第二鱼眼图像的匹配的特征关联的像素的坐标，F是所述基本矩阵，以及i是与所述匹配的特征关联的像素的索引。
示例50包括示例45-49中任一项的主题，以及其中确定所述第三接缝包括将第三接缝确定为所述第一接缝与所述第二接缝的对应投影的平均接缝。
示例51包括示例45-50中任一项的主题，以及其中所述图像合成模块还用于执行位于所述重叠区域中的所述第一和第二接缝的对应投影之间的图像像素的内插或外插的至少其中之一。
示例52包括示例45-51中任一项的主题，以及其中所述图像合成模块用于弱化（i）所述第一图像的投影在所述重叠区域中且在所述第一和第二接缝的对应投影之间限定的区域以外的端部以及（ii）所述第二图像的投影在所述重叠区域中且在所述第一和第二接缝的对应投影之间限定的区域以外的端部。
示例53包括一种用于基于光流将鱼眼图像组合的计算设备，所述计算设备包括重叠确定模块，所述重叠确定模块用于确定第一鱼眼摄像头生成的第一鱼眼图像和第二鱼眼摄像头生成的第二鱼眼图像的重叠图像区域；移动确定模块，所述移动确定模块用于（i）基于所述第一和第二鱼眼摄像头生成的多个鱼眼图像确定位于所述重叠图像区域中的对象相对于所述第一和第二鱼眼摄像头的移动，以及（ii）基于所述对象的对应相对移动识别所述重叠图像区域中的移动对象；以及图像生成模块，所述图像生成模块用于基于所识别的移动对象生成所述重叠图像区域的图像。
示例54包括示例53的主题，以及其中确定所述重叠图像区域包括，对所述第一和第二鱼眼图像执行特征检测，其中所述第一鱼眼图像捕获第一场景以及所述第二鱼眼图像捕获第二场景，以便检测所述重叠区域中的一个或多个特征，所述第二场景与所述第一场景重叠于所述第一和第二场景的所述重叠区域；以及对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征。
示例55包括示例53和54中任一项的主题，以及其中确定所述重叠图像区域包括基于包括所述第一和第二鱼眼摄像头的摄像头系统的几何形状来确定重叠图像区域。
示例56包括示例53-55中任一项的主题，以及其中确定对象的移动包括将梯度约束方程式应用于所述多个鱼眼图像。
示例57包括示例53-56中任一项的主题，以及其中应用所述梯度约束方程式包括确定所述重叠图像区域的像素的亮度的空间导数；为所述多个鱼眼图像确定所述重叠图像区域的像素的亮度的时间导数；以及确保
Figure 204185DEST_PATH_IMAGE011
，其中
Figure 983922DEST_PATH_IMAGE012
是所述空间导数，u是所述多个鱼眼图像的二维速度，以及
Figure 379132DEST_PATH_IMAGE013
是所述时间导数。
示例58包括示例53-57中任一项的主题，以及其中生成所述重叠图像区域的图像包括，生成包含从所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一识别的移动对象的图像。
示例59包括示例53-58中任一项的主题，以及其中生成所述重叠图像区域的图像包括，基于所述第一鱼眼图像和所述第二鱼眼图像中识别的移动对象的对应位置，生成包含在所述图像中的预估位置中识别的移动对象的图像。
示例60包括一种用于将鱼眼图像中的对象归类的计算设备，所述计算设备包括关注区域确定模块，所述关注区域确定模块用于确定鱼眼图像中的关注区域；直线投影模块，所述直线投影模块用于（i）将所述关注区域投影到虚拟半球形显示表面上以生成半球形图像区域，以及（ii）将所述半球形图像区域投影到垂直于所述半球形图像区域中的点的平面上以生成直线图像；以及对象识别模块，所述对象识别模块用于对所述直线图像执行对象归类。
示例61包括示例60的主题，以及还包括校准模块，所述校准模块用于校准用于捕获所述鱼眼图像的鱼眼摄像头。
示例62包括示例60和61中任一项的主题，以及其中确定所述关注区域包括，运用光流算法以识别移动对象，所述关注区域与包含所述移动对象的图像区域对应。
示例63包括示例60-62中任一项的主题，以及其中确定所述关注区域包括，对所述鱼眼图像执行对象检测以识别关注对象，所述关注区域与所识别的关注对象对应。
示例64包括示例60-63中任一项的主题，以及其中所述关注区域确定模块还用于将所述鱼眼图像投影到虚拟半球形显示表面上以生成半球形图像，以及将所述半球形图像投影到平面上以生成视角畸变的直线图像，其中确定所述关注区域包括，对所述视角畸变的直线图像执行对象归类。
示例65包括示例60-64中任一项的主题，以及其中执行对象归类包括，从所述计算设备的存储器中检索对象轮廓；以及将所述直线图像中检测到的对象与检索的对象轮廓比较。
示例66包括一种用于在计算设备上运用碗形图像的方法，所述方法包括由所述计算设备接收捕获第一场景的第一鱼眼图像和捕获第二场景的第二鱼眼图像，所述第二场景与所述第一场景在重叠区域重叠；由所述计算设备生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像；由所述计算设备对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一的关注区域执行对象归类以归类所述关注区域内的对象；以及由所述计算设备基于所述组合图像生成碗形图像的一部分。
示例67包括示例66的主题，以及其中生成所述组合图像包括对所述第一鱼眼图像捕获和所述第二鱼眼图像执行特征检测以检测位于所述重叠区域中的一个或多个特征；对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征；基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征确定所述重叠区域中所述第一鱼眼图像的第一接缝；基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征确定所述重叠区域中所述第二鱼眼图像的第二接缝，基于所述第一接缝和所述第二接缝确定所述重叠区域中的第三接缝；以及通过在所确定的第三接缝处将所述第一和第二鱼眼图像组合来生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像。
示例68包括示例66和67中任一项的主题，以及其中生成所述组合图像包括，确定包括第一鱼眼摄像头和第二鱼眼摄像头的摄像头系统的基本矩阵，所述第一鱼眼摄像头用于生成所述第一鱼眼图像，以及所述第二鱼眼摄像头用于生成所述第二鱼眼图像，其中所述基本矩阵基于所述摄像头系统的几何形状。
示例69包括示例66-68中任一项的主题，以及其中执行特征匹配包括基于所述基本矩阵过滤特征匹配候选项。
示例70包括示例66-69中任一项的主题，以及其中执行特征匹配包括将特征匹配候选项的Sampson距离最小化。
示例71包括示例66-70中任一项的主题，以及其中将所述特征匹配候选项的Sampson距离最小化包括将如下等式最小化：
Figure DEST_PATH_IMAGE017
，其中x 1和x 2是与所述第一鱼眼图像的匹配的特征关联的像素的坐标，x 1'和x 2'是与所述第二鱼眼图像的匹配的特征关联的像素的坐标，F是所述基本矩阵，以及i是与所述匹配的特征关联的像素的索引。
示例72包括示例66-71中任一项的主题，以及其中确定所述第三接缝包括将第三接缝确定为所述第一接缝与所述第二接缝的对应投影的平均接缝。
示例73包括示例66-72中任一项的主题，以及其中生成所述组合图像包括，执行位于所述重叠区域中的所述第一和第二接缝的对应投影之间的图像像素的内插或外插的至少其中之一。
示例74包括示例66-73中任一项的主题，以及其中生成所述组合图像包括，弱化（i）所述第一图像的投影在所述重叠区域中且在所述第一和第二接缝的对应投影之间限定的区域以外的端部以及（ii）所述第二图像的投影在所述重叠区域中且在所述第一和第二接缝的对应投影之间限定的区域以外的端部。
示例75包括示例66-74中任一项的主题，以及其中生成所述组合图像包括，确定所述第一鱼眼图像和所述第二鱼眼图像的重叠图像区域，所述第一鱼眼图像由第一鱼眼摄像头生成以及所述第二鱼眼图像由第二鱼眼摄像头生成；基于所述第一和第二鱼眼摄像头生成的多个鱼眼图像，确定位于所述重叠图像区域中的对象相对于所述第一和第二鱼眼摄像头的移动；基于所述对象的对应相对移动，识别所述重叠图像区域中的移动对象；以及基于所识别的移动对象生成所述重叠图像区域的图像。
示例76包括示例66-75中任一项的主题，以及其中确定所述重叠图像区域包括，对所述第一和第二鱼眼图像执行特征检测以检测位于所述重叠区域中的一个或多个特征；以及对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征。
示例77包括示例66-76中任一项的主题，以及其中确定所述重叠图像区域包括基于包括所述第一和第二鱼眼摄像头的摄像头系统的几何形状来确定重叠图像区域。
示例78包括示例66-77中任一项的主题，以及其中确定对象的移动包括将梯度约束方程式应用于所述多个鱼眼图像。
示例79包括示例66-78中任一项的主题，以及其中确定对象的移动包括，确定所述重叠图像区域的像素的亮度的空间导数；为所述多个鱼眼图像确定所述重叠图像区域的像素的亮度的时间导数；以及确保
Figure 193504DEST_PATH_IMAGE011
，其中
Figure 78283DEST_PATH_IMAGE012
是所述空间导数，u是所述多个鱼眼图像的二维速度，以及
Figure 345316DEST_PATH_IMAGE013
是所述时间导数。
示例80包括示例66-79中任一项的主题，以及其中生成所述重叠图像区域的图像包括，生成包含从所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一识别的移动对象的图像。
示例81包括示例66-80中任一项的主题，以及其中生成所述重叠图像区域的图像包括，基于所述第一鱼眼图像和所述第二鱼眼图像中识别的移动对象的对应位置，生成包含在所述图像中的预估位置中识别的移动对象的图像。
示例82包括示例66-81中任一项的主题，以及其中执行对象归类包括，在所述第一鱼眼图像或所述第二鱼眼图像的其中之一中确定所述关注区域；通过如下步骤生成直线图像：（i）将所述关注区域投影到虚拟半球形显示表面上以生成半球形图像区域，以及（ii）将所述半球形图像区域投影到垂直于所述半球形图像区域中的点的平面上；以及将所述直线图像中的对象归类。
示例83包括示例66-82中任一项的主题，以及其中执行对象归类包括，校准用于捕获所述第一鱼眼图像或所述第二鱼眼图像的其中之一的鱼眼摄像头。
示例84包括示例66-83中任一项的主题，以及其中确定所述关注区域包括，运用光流算法以识别移动对象，所述关注区域与包含所述移动对象的图像区域对应。
示例85包括示例66-84中任一项的主题，以及其中确定所述关注区域包括，对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一执行对象检测以识别关注对象，所述关注区域与所识别的关注对象对应。
示例86包括示例66-85中任一项的主题，以及其中执行对象归类包括，将所述第一或第二鱼眼图像的其中之一投影到虚拟半球形显示表面上以生成半球形图像，以及将所述半球形图像投影到平面上以生成视角畸变的直线图像，其中确定所述关注区域包括，对所述视角畸变的直线图像执行对象归类。
示例87包括示例66-86中任一项的主题，以及其中将对象归类包括，从所述计算设备的存储器中检索对象轮廓；以及将所述直线图像中检测到的对象与检索的对象轮廓比较。
示例88包括示例66-87中任一项的主题，以及其中确定所述碗形图像的所述部分包括，确定要生成的虚拟碗形投影表面的垂直切片的长半轴和短半轴；对于所述虚拟碗形投影表面的每个水平切片，基于所述垂直切片的所述长半轴和所述短半轴，确定对应水平切片的第一半轴；对于所述虚拟碗形投影表面的每个水平切片，基于对应水平切片的所述第一半轴与第二半轴之间的自适应比率，确定垂直于所述第一半轴的对应水平切片的第二半轴，所述对应水平切片的所述自适应比率与其他水平切片所关联的每个自适应比率各不相同；以及基于所述水平切片的组合生成所述虚拟碗形投影表面。
示例89包括示例66-88中任一项的主题，以及其中生成所述碗形图像的所述部分包括，将所生成的虚拟碗形投影表面邻近所述虚拟碗形投影表面的地平面的分段平滑。
示例90包括示例66-89中任一项的主题，以及其中所述计算设备包括车辆的车内计算系统；以及生成所述碗形图像的所述部分包括，确定所述对应水平切片的水平偏移量，所述水平偏移量小于所述车辆的长度，其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，基于所述水平偏移量来确定所述对应水平切片的所述第一半轴。
示例91包括示例66-90中任一项的主题，以及其中所述水平偏移量大于所述车辆的一半长度。
示例92包括示例66-91中任一项的主题，以及其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，将所述对应水平切片的所述第一半轴确定为
Figure DEST_PATH_IMAGE018
，其中aHorizontal是所述第一半轴的长度，aOffset是所述水平偏移量，aVertical是所述垂直切片的所述长半轴的长度，bVertical是所述垂直切片的所述短半轴的长度，以及z是所述对应水平切片高于所述虚拟碗形投影表面的地平面的高度。
示例93包括示例66-92中任一项的主题，以及其中所述计算设备包括车辆的车内计算系统；以及所述自适应比率在相邻水平切片之间呈线性变化，对于顶部水平切片，所述自适应比率等于1，以及对于底部水平切片，所述自适应比率是所述车辆的长度与所述车辆的宽度之比。
示例94包括示例66-93中任一项的主题，以及其中所述虚拟碗形投影表面的顶部水平切片具有圆形几何形状，以及所述虚拟碗形投影表面的底部水平切片具有非圆椭圆几何形状。
示例95包括示例66-94中任一项的主题，以及其中确定所述对应水平切片的所述第二半轴包括，对于每个水平切片，将所述对应水平切片的所述第二半轴确定为所述对应水平切片的所述第一半轴与所述对应水平切片的所述自适应比率之比。
示例96包括示例66-95中任一项的主题，以及其中生成所述碗形图像的所述部分包括，将图像投影到所生成的虚拟碗形投影表面上以生成所述碗形图像的所述部分；以及还包括在所述计算设备的显示器上显示所述碗形图像的所述部分。
示例97包括示例66-96中任一项的主题，以及其中显示所述碗形图像的所述部分包括，显示所述碗形图像与车辆的虚拟摄像头的视场对应的片段。
示例98包括一种计算设备，所述计算设备包括处理器；以及存储器，所述存储器中存储有在被处理器执行时促使所述计算设备执行示例66-97中任一项的方法的多个指令。
示例99是其上存储多个指令的一个或多个机器可读介质，响应于所述多个指令被执行，促使计算设备执行示例66-97中任一项的方法。
示例100包括一种用于运用碗形图像的计算设备，所述计算设备包括用于执行示例66-97中任一项的方法的部件。
示例101包括一种用于在计算设备上生成碗形图像的方法，所述方法包括由所述计算设备确定要生成的虚拟碗形投影表面的垂直切片的长半轴和短半轴；由所述计算设备且对于所述虚拟碗形投影表面的每个水平切片，基于所述垂直切片的所述长半轴和所述短半轴，确定对应水平切片的第一半轴；由所述计算设备且对于所述虚拟碗形投影表面的每个水平切片，基于对应水平切片的所述第一半轴与第二半轴之间的自适应比率，确定垂直于所述第一半轴的对应水平切片的第二半轴，所述对应水平切片的所述自适应比率与其他水平切片所关联的每个自适应比率各不相同；以及由所述计算设备基于所述水平切片的组合生成所述虚拟碗形投影表面。
示例102包括示例101的主题，以及还包括由所述计算设备将所生成的虚拟碗形投影表面邻近所述虚拟碗形投影表面的地平面的分段平滑。
示例103包括示例101和102中任一个的主题，以及其中所述计算设备包括车辆的车内计算系统；以及还包括由所述计算设备确定所述对应水平切片的水平偏移量，所述水平偏移量小于所述车辆的长度，其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，基于所述水平偏移量来确定所述对应水平切片的所述第一半轴。
示例104包括示例101-103中任一个的主题，以及其中所述水平偏移量大于所述车辆的一半长度。
示例105包括示例101-104中任一个的主题，以及其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，将所述对应水平切片的所述第一半轴确定为
Figure DEST_PATH_IMAGE019
，其中aHorizontal是所述第一半轴的长度，aOffset是所述水平偏移量，aVertical是所述垂直切片的所述长半轴的长度，bVertical是所述垂直切片的所述短半轴的长度，以及z是所述对应水平切片高于所述虚拟碗形投影表面的地平面的高度。
示例106包括示例101-105中任一个的主题，以及其中所述计算设备包括车辆的车内计算系统；以及所述自适应比率在相邻水平切片之间呈线性变化，对于顶部水平切片，所述自适应比率等于1，以及对于底部水平切片，所述自适应比率是所述车辆的长度与所述车辆的宽度之比。
示例107包括示例101-106中任一个的主题，以及其中所述虚拟碗形投影表面的顶部水平切片具有圆形几何形状，以及所述虚拟碗形投影表面的底部水平切片具有非圆椭圆几何形状。
示例108包括示例101-107中任一个的主题，以及其中确定所述对应水平切片的所述第二半轴包括，对于每个水平切片，将所述对应水平切片的所述第二半轴确定为所述对应水平切片的所述第一半轴与所述对应水平切片的所述自适应比率之比。
示例109包括示例101-108中任一个的主题，以及还包括由所述计算设备将图像投影到所生成的碗形投影表面上以生成所述碗形图像；以及在所述计算设备的显示器上显示所述碗形图像。
示例110包括示例101-109中任一个的主题，以及其中显示所述碗形图像的所述部分包括，显示所述碗形图像与车辆的虚拟摄像头的视场对应的片段。
示例111包括一种计算设备，所述计算设备包括处理器；以及存储器，所述存储器中存储有在被处理器执行时促使所述计算设备执行示例101-110中任一项的方法的多个指令。
示例112是其上存储多个指令的一个或多个机器可读介质，响应于所述多个指令被执行，促使计算设备执行示例101-110中任一项的方法。
示例113包括一种用于生成碗形图像的计算设备，所述计算设备包括用于执行示例101-10中任一项的方法的部件。
示例114包括一种用于在计算设备上将多个鱼眼摄像头生成的鱼眼图像组合的方法，所述方法包括，由所述计算设备对捕获第一场景的第一鱼眼图像以及对捕获第二场景的第二鱼眼图像执行特征检测以检测位于重叠区域中的一个或多个特征，所述第二场景与所述第一场景重叠于所述第一场景和第二场景的所述重叠区域处；由所述计算设备对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征；由所述计算设备基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征来确定所述重叠区域中所述第一鱼眼图像的第一接缝；由所述计算设备基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征来确定所述重叠区域中所述第二鱼眼图像的第二接缝；由所述计算设备将所述第一鱼眼图像和所述第二鱼眼图像投影到虚拟碗形投影表面以生成对应投影的图像；由所述计算设备基于所述第一接缝和所述第二接缝的对应投影来确定所述对应投影的图像的重叠区域中的第三接缝；以及由所述计算设备通过在所确定的第三接缝处将所述第一和第二鱼眼图像的投影组合来生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像。
示例115包括示例114的主题，以及还包括由所述计算设备确定包括第一鱼眼摄像头和第二鱼眼摄像头的摄像头系统的基本矩阵，所述第一鱼眼摄像头用于生成所述第一鱼眼图像，以及所述第二鱼眼摄像头用于生成所述第二鱼眼图像，其中所述基本矩阵基于所述摄像头系统的几何形状。
示例116包括示例114和115中任一个的主题，以及其中执行特征匹配包括基于所述基本矩阵过滤特征匹配候选项。
示例117包括示例114-116中任一个的主题，以及其中执行特征匹配包括将特征匹配候选项的Sampson距离最小化。
示例118包括示例114-117中任一个的主题，以及其中将所述特征匹配候选项的Sampson距离最小化包括将如下等式最小化：
Figure DEST_PATH_IMAGE020
，其中x 1和x 2是与所述第一鱼眼图像的匹配的特征关联的像素的坐标，x 1'和x 2'是与所述第二鱼眼图像的匹配的特征关联的像素的坐标，F是所述基本矩阵，以及i是与所述匹配的特征关联的像素的索引。
示例119包括示例114-118中任一个的主题，以及其中确定所述第三接缝包括将第三接缝确定为所述第一接缝与所述第二接缝的对应投影的平均接缝。
示例120包括示例114-119中任一个的主题，以及还包括由所述计算设备执行位于所述重叠区域中的所述第一和第二接缝的对应投影之间的图像像素的内插或外插的至少其中之一。
示例121包括示例114-120中任一个的主题，以及还包括由所述计算设备弱化（i）所述第一图像的投影在所述重叠区域中且在所述第一和第二接缝的对应投影之间限定的区域以外的端部以及所述第二图像的投影在所述重叠区域中且在所述第一和第二接缝的对应投影之间限定的区域以外的端部。
示例122包括一种计算设备，所述计算设备包括处理器；以及存储器，所述存储器中存储有在被处理器执行时促使所述计算设备执行示例114-121中任一项的方法的多个指令。
示例123是其上存储多个指令的一个或多个机器可读介质，响应于所述多个指令被执行，促使计算设备执行示例114-121中任一项的方法。
示例124包括一种用于基于图像拼接将鱼眼图像组合的计算设备，所述计算设备包括用于执行示例114-121中任一项的方法的部件。
示例125包括一种用于在计算设备上基于光流将鱼眼图像组合的方法，所述方法包括由所述计算设备确定第一鱼眼摄像头生成的第一鱼眼图像和第二鱼眼摄像头生成的第二鱼眼图像的重叠图像区域；由所述计算设备基于所述第一和第二鱼眼摄像头生成的多个鱼眼图像，确定位于所述重叠图像区域中的对象相对于所述第一和第二鱼眼摄像头的移动；由所述计算设备基于所述对象的对应相对移动，识别所述重叠图像区域中的移动对象；以及由所述计算设备基于所识别的移动对象生成所述重叠图像区域的图像。
示例126包括示例125的主题，以及其中确定所述重叠图像区域包括，由所述计算设备对所述第一和第二鱼眼图像执行特征检测，以便检测所述重叠区域中的一个或多个特征，所述第一鱼眼图像捕获第一场景以及所述第二鱼眼图像捕获第二场景，所述第二场景与所述第一场景重叠于所述第一和第二场景的所述重叠区域；以及由所述计算设备对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征。
示例127包括示例125和126中任一个的主题，以及其中确定所述重叠图像区域包括基于包括所述第一和第二鱼眼摄像头的摄像头系统的几何形状来确定重叠图像区域。
示例128包括示例125-127中任一个的主题，以及其中确定对象的移动包括将梯度约束方程式应用于所述多个鱼眼图像。
示例129包括示例125-128中任一个的主题，以及其中确定对象的移动包括，确定所述重叠图像区域的像素的亮度的空间导数；为所述多个鱼眼图像确定所述重叠图像区域的像素的亮度的时间导数；以及确保
Figure DEST_PATH_IMAGE021
，其中
Figure 297879DEST_PATH_IMAGE012
是所述空间导数，u是所述多个鱼眼图像的二维速度，以及
Figure 966757DEST_PATH_IMAGE013
是所述时间导数。
示例130包括示例125-129中任一个的主题，以及其中生成所述重叠图像区域的图像包括，生成包含从所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一识别的移动对象的图像。
示例131包括示例125-130中任一个的主题，以及其中生成所述重叠图像区域的图像包括，基于所述第一鱼眼图像和所述第二鱼眼图像中识别的移动对象的对应位置，生成包含在所述图像中的预估位置中识别的移动对象的图像。
示例132包括一种计算设备，所述计算设备包括处理器；以及存储器，所述存储器中存储有在被处理器执行时促使所述计算设备执行示例125-131中任一项的方法的多个指令。
示例133是其上存储多个指令的一个或多个机器可读介质，响应于所述多个指令被执行，促使计算设备执行示例125-131中任一项的方法。
示例134包括一种用于基于光流将鱼眼图像组合的计算设备，所述计算设备包括用于执行示例125-131中任一项的方法的部件。
示例135包括一种用于在计算设备上将鱼眼图像中的对象归类的方法，所述方法包括由所述计算设备确定鱼眼图像中的关注区域；由所述计算设备通过如下步骤生成直线图像：（i）将所述关注区域投影到虚拟半球形显示表面上以生成半球形图像区域，以及（ii）将所述半球形图像区域投影到垂直于所述半球形图像区域中的点的平面上；以及由所述计算设备对所述直线图像执行对象归类。
示例136包括示例135的主题，以及还包括由所述计算设备校准用于捕获所述鱼眼图像的鱼眼摄像头。
示例137包括示例135和136中任一个的主题，以及其中确定所述关注区域包括，运用光流算法以识别移动对象，所述关注区域与包含所述移动对象的图像区域对应。
示例138包括示例135-137中任一个的主题，以及其中确定所述关注区域包括，对所述鱼眼图像执行对象检测以识别关注对象，所述关注区域与所识别的关注对象对应。
示例139包括示例135-138中任一个的主题，以及还包括由所述计算设备将所述鱼眼图像投影到虚拟半球形显示表面上以生成半球形图像，以及由所述计算设备将所述半球形图像投影到平面上以生成视角畸变的直线图像，其中确定所述关注区域包括，对所述视角畸变的直线图像执行对象归类。
示例140包括示例135-139中任一个的主题，以及其中执行对象归类包括，从所述计算设备的存储器中检索对象轮廓；以及将所述直线图像中检测到的对象与检索的对象轮廓比较。
示例141包括一种计算设备，所述计算设备包括处理器；以及存储器，所述存储器中存储有在被处理器执行时促使所述计算设备执行示例135-140中任一项的方法的多个指令。
示例142是其上存储多个指令的一个或多个机器可读介质，响应于所述多个指令被执行，促使计算设备执行示例135-140中任一项的方法。
示例143包括一种用于将鱼眼图像中的对象归类的计算设备，所述计算设备包括用于执行示例135-140中任一项的方法的部件。

Claims (29)

1.一种用于运用碗形图像的计算系统，所述计算系统包括：
第一鱼眼摄像头，所述第一鱼眼摄像头用于捕获包含第一场景的第一鱼眼图像；
第二鱼眼摄像头，所述第二鱼眼摄像头用于捕获包含第二场景的第二鱼眼图像，所述第二场景与所述第一场景在重叠区域重叠；
组合图像生成模块，所述组合图像生成模块用于生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像；
对象归类模块，所述对象归类模块用于对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一的关注区域执行对象归类以将所述关注区域内的对象归类；以及
碗状物生成模块，所述碗状物生成模块用于基于所述组合图像生成碗形图像的部分，
其中所述对象归类模块包括：
关注区域确定模块，用于确定所述关注区域；
直线投影模块，用于通过（i）将所述关注区域投影到虚拟半球形显示表面上以生成半球形图像区域，以及（ii）将所述半球形图像区域投影到垂直于所述半球形图像区域中的点的平面上，来生成直线图像；以及
对象识别模块，用于将所述直线图像中的对象归类。
2.如权利要求1所述的计算系统，其中所述组合图像生成模块包括：
特征检测模块，所述特征检测模块用于对所述第一鱼眼图像和所述第二鱼眼图像执行特征检测以检测位于所述重叠区域中的一个或多个特征；
特征匹配模块，所述特征匹配模块用于对所检测到的特征执行特征匹配以确定所述第一鱼眼图像和所述第二鱼眼图像的一个或多个匹配的特征；
接缝确定模块，所述接缝确定模块用于（i）基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征确定所述重叠区域中所述第一鱼眼图像的第一接缝，（ii）基于所述第一鱼眼图像和所述第二鱼眼图像的所述匹配的特征确定所述重叠区域中所述第二鱼眼图像的第二接缝，（iii）将所述第一鱼眼图像和所述第二鱼眼图像投影到虚拟碗形投影表面以生成对应投影的图像，以及（iv）基于所述第一接缝和所述第二接缝的对应投影确定所述对应投影的图像的重叠区域中的第三接缝；以及
图像合成模块，所述图像合成模块用于通过在所确定的第三接缝出将所述第一和第二鱼眼图像的投影组合来生成所述第一鱼眼图像和所述第二鱼眼图像的组合图像。
3.如权利要求2所述的计算系统，其中执行特征匹配包括将如下等式最小化：
Figure DEST_PATH_IMAGE001
，其中
Figure DEST_PATH_IMAGE002
和
Figure DEST_PATH_IMAGE003
是与所述第一鱼眼图像的匹配的特征关联的像素的坐标，
Figure DEST_PATH_IMAGE004
和
Figure DEST_PATH_IMAGE005
是与所述第二鱼眼图像的匹配的特征关联的像素的坐标，F是基本矩阵，以及i是与所述匹配的特征关联的像素的索引。
4.如权利要求2所述的计算系统，其中确定所述第三接缝包括将第三接缝确定为所述第一接缝与所述第二接缝的对应投影的平均接缝。
5.如权利要求2所述的计算系统，其中所述图像合成模块还用于执行位于所述重叠区域中的所述第一和第二接缝的对应投影之间的图像像素的内插或外插的至少其中之一。
6.如权利要求1所述的计算系统，其中所述碗状物生成模块包括：
碗状物几何形状模块，所述碗状物几何形状模块用于（i）确定要生成的虚拟碗形投影表面的垂直切片的长半轴和短半轴，（ii）对于所述虚拟碗形投影表面的每个水平切片，基于所述垂直切片的所述长半轴和所述短半轴，确定对应水平切片的第一半轴，以及（iii）对于所述虚拟碗形投影表面的每个水平切片，基于对应水平切片的所述第一半轴与第二半轴之间的自适应比率，确定垂直于所述第一半轴的对应水平切片的第二半轴，其中所述对应水平切片的所述自适应比率与其他水平切片所关联的每个自适应比率各不相同；以及
碗状物合成模块，所述碗状物合成模块用于基于所述水平切片的组合生成所述虚拟碗形投影表面。
7.如权利要求6所述的计算系统，还包括碗状物翘曲模块，所述碗状物翘曲模块用于将所生成的虚拟碗形投影表面邻近所述虚拟碗形投影表面的地平面的分段平滑。
8.如权利要求6所述的计算系统，其中
所述计算系统包括车辆的车内计算系统；
所述碗状物几何形状模块还用于确定所述对应水平切片的水平偏移量，其中所述水平偏移量小于所述车辆的长度；以及
确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，基于所述水平偏移量来确定所述对应水平切片的所述第一半轴。
9.如权利要求8所述的计算系统，其中所述水平偏移量大于所述车辆的一半长度。
10.如权利要求8所述的计算系统，其中确定所述对应水平切片的所述第一半轴包括，对于每个水平切片，将所述对应水平切片的所述第一半轴确定为
Figure DEST_PATH_IMAGE006
，其中aHorizontal是所述第一半轴的长度，aOffset是所述水平偏移量，aVertical是所述垂直切片的所述长半轴的长度，bVertical是所述垂直切片的所述短半轴的长度，以及z是所述对应水平切片高于所述虚拟碗形投影表面的地平面的高度。
11.如权利要求6所述的计算系统，其中所述计算系统包括车辆的车内计算系统；以及
所述自适应比率在相邻水平切片之间呈线性变化，对于顶部水平切片，所述自适应比率等于1，以及对于底部水平切片，所述自适应比率是所述车辆的长度与所述车辆的宽度之比。
12.如权利要求6所述的计算系统，其中所述虚拟碗形投影表面的顶部水平切片具有圆形几何形状，以及所述虚拟碗形投影表面的底部水平切片具有非圆椭圆几何形状。
13.如权利要求6所述的计算系统，其中确定所述对应水平切片的所述第二半轴包括，对于每个水平切片，将所述对应水平切片的所述第二半轴确定为所述对应水平切片的所述第一半轴与所述对应水平切片的所述自适应比率之比。
14.如权利要求6所述的计算系统，还包括显示模块，所述显示模块用于：
将图像投影到所生成的碗形投影表面上以生成所述碗形图像的所述部分；以及
在所述计算设备的显示器上显示所述碗形图像的所述部分。
15.一种用于运用碗形图像的计算设备，所述计算设备包括：
用于接收捕获第一场景的第一鱼眼图像和捕获第二场景的第二鱼眼图像的部件，所述第二场景与所述第一场景在重叠区域重叠；
用于生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像的部件；
用于对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一的关注区域执行对象归类以归类所述关注区域内的对象的部件；以及
用于基于所述组合图像生成碗形图像的部分的部件，
其中用于执行对象归类的所述部件包括：
关注区域确定模块，用于确定所述关注区域；
直线投影模块，用于通过（i）将所述关注区域投影到虚拟半球形显示表面上以生成半球形图像区域，以及（ii）将所述半球形图像区域投影到垂直于所述半球形图像区域中的点的平面上，来生成直线图像；以及
对象识别模块，用于将所述直线图像中的对象归类。
16.如权利要求15所述的计算设备，其中用于生成所述组合图像的部件包括：
用于确定所述第一鱼眼图像与所述第二鱼眼图像的重叠图像区域的部件，其中所述第一鱼眼图像由第一鱼眼摄像头生成，以及所述第二鱼眼图像由第二鱼眼摄像头生成；
用于基于所述第一和第二鱼眼摄像头生成的多个鱼眼图像来确定位于所述重叠图像区域中的对象相对于所述第一和第二鱼眼摄像头的移动的部件；
用于基于所述对象的对应相对移动来识别所述重叠图像区域中的移动对象的部件；以及
用于基于所识别的移动对象生成所述重叠图像区域的图像的部件。
17.如权利要求16所述的计算设备，其中用于确定对象的移动的部件包括用于将梯度约束方程式应用于所述多个鱼眼图像的部件。
18.如权利要求17所述的计算设备，其中用于确定对象移动的部件包括：
用于确定所述重叠图像区域的像素的亮度的空间导数的部件；
用于为所述多个鱼眼图像确定所述重叠图像区域的像素的亮度的时间导数的部件；以及
用于确保
Figure DEST_PATH_IMAGE007
的部件，其中
Figure DEST_PATH_IMAGE008
是所述空间导数，u是所述多个鱼眼图像的二维速度，以及
Figure DEST_PATH_IMAGE009
是所述时间导数。
19.如权利要求16所述的计算设备，其中用于生成所述重叠图像区域的图像的部件包括，用于生成包含从所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一识别的移动对象的图像的部件。
20.如权利要求16所述的计算设备，其中用于生成所述重叠图像区域的图像的部件包括，用于基于所述第一鱼眼图像和所述第二鱼眼图像中识别的移动对象的对应位置来生成包含在所述图像中的预估位置中识别的移动对象的图像的部件。
21.一种用于在计算设备上运用碗形图像的方法，所述方法包括：
由所述计算设备接收捕获第一场景的第一鱼眼图像和捕获第二场景的第二鱼眼图像，所述第二场景与所述第一场景在重叠区域重叠；
由所述计算设备生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像；
由所述计算设备对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一的关注区域执行对象归类以归类所述关注区域内的对象；以及
由所述计算设备基于所述组合图像生成碗形图像的部分，
其中执行对象归类包括：
在所述第一鱼眼图像或所述第二鱼眼图像的其中之一中确定所述关注区域；
通过如下步骤生成直线图像：（i）将所述关注区域投影到虚拟半球形显示表面上以生成半球形图像区域，以及（ii）将所述半球形图像区域投影到垂直于所述半球形图像区域中的点的平面上；以及
将所述直线图像中的对象归类。
22.如权利要求21所述的方法，其中确定所述关注区域包括，运用光流算法以识别移动对象，所述关注区域与包含所述移动对象的图像区域对应。
23.如权利要求21所述的方法，其中确定所述关注区域包括，对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一执行对象检测以识别关注对象，所述关注区域与所识别的关注对象对应。
24.如权利要求21所述的方法，其中将所述对象归类包括：
从所述计算设备的存储器中检索对象轮廓；以及
将所述直线图像中检测到的对象与检索的对象轮廓比较。
25.一种机器可读介质，其上面存储指令，所述指令在被执行时导致所述机器执行如权利要求21-24中任一项所述的方法。
26.一种用于在计算设备上运用碗形图像的装置，所述装置包括：
用于使所述计算设备能够接收捕获第一场景的第一鱼眼图像和捕获第二场景的第二鱼眼图像的部件，所述第二场景与所述第一场景在重叠区域重叠；
用于使所述计算设备能够生成所述第一鱼眼图像与所述第二鱼眼图像的组合图像的部件；
用于使所述计算设备能够对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一的关注区域执行对象归类以归类所述关注区域内的对象的部件；以及
用于使所述计算设备能够基于所述组合图像生成碗形图像的部分的部件，
其中用于执行对象归类的部件包括：
用于在所述第一鱼眼图像或所述第二鱼眼图像的其中之一中确定所述关注区域的部件；
用于通过如下步骤生成直线图像的部件：（i）将所述关注区域投影到虚拟半球形显示表面上以生成半球形图像区域，以及（ii）将所述半球形图像区域投影到垂直于所述半球形图像区域中的点的平面上；以及
用于将所述直线图像中的对象归类的部件。
27.如权利要求26所述的装置，其中用于确定所述关注区域的部件包括：用于运用光流算法以识别移动对象的部件，所述关注区域与包含所述移动对象的图像区域对应。
28.如权利要求26所述的装置，其中用于确定所述关注区域的部件包括：用于对所述第一鱼眼图像或所述第二鱼眼图像的至少其中之一执行对象检测以识别关注对象的部件，所述关注区域与所识别的关注对象对应。
29.如权利要求26所述的装置，其中用于将所述对象归类的部件包括：
用于从所述计算设备的存储器中检索对象轮廓的部件；以及
用于将所述直线图像中检测到的对象与检索的对象轮廓比较的部件。
CN201380081051.5A 2013-12-19 2013-12-19 碗形成像系统 Active CN105765966B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/076644 WO2015094298A1 (en) 2013-12-19 2013-12-19 Bowl-shaped imaging system

Publications (2)

Publication Number Publication Date
CN105765966A CN105765966A (zh) 2016-07-13
CN105765966B true CN105765966B (zh) 2020-07-10

Family

ID=53400552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380081051.5A Active CN105765966B (zh) 2013-12-19 2013-12-19 碗形成像系统

Country Status (6)

Country Link
US (2) US10210597B2 (zh)
EP (1) EP3085074B1 (zh)
JP (1) JP6224251B2 (zh)
KR (1) KR101811157B1 (zh)
CN (1) CN105765966B (zh)
WO (1) WO2015094298A1 (zh)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
JP6374695B2 (ja) * 2014-04-28 2018-08-15 日立建機株式会社 路肩検出システムおよび鉱山用運搬車両
JP6386794B2 (ja) * 2014-06-04 2018-09-05 日立建機株式会社 運搬車両
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems
US9437001B2 (en) 2014-09-18 2016-09-06 Intel Corporation Tracking objects in bowl-shaped imaging systems
US9990550B2 (en) * 2014-09-19 2018-06-05 Bendix Commercial Vehicle Systems Llc Wide baseline object detection stereo system
JP6554280B2 (ja) * 2014-11-28 2019-07-31 株式会社デンソーテン データ処理装置、画像処理方法、及び、プログラム
US20160191795A1 (en) * 2014-12-30 2016-06-30 Alpine Electronics, Inc. Method and system for presenting panoramic surround view in vehicle
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
US10810444B2 (en) 2015-09-25 2020-10-20 Apple Inc. Automated capture of image data for points of interest
CN105894549A (zh) * 2015-10-21 2016-08-24 乐卡汽车智能科技（北京）有限公司 一种全景辅助泊车系统、装置及全景图像显示方法
TWI543611B (zh) * 2015-11-20 2016-07-21 晶睿通訊股份有限公司 影像接合方法及具有影像接合功能的攝影系統
EP3398016A4 (en) * 2016-01-03 2019-08-28 HumanEyes Technologies Ltd ADAPTIVE IMAGE ASSEMBLY DURING THE PROCESS OF CREATING A PANORAMIC IMAGE
DE102016202948A1 (de) * 2016-02-25 2017-08-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Bildes einer Umgebung eines Fahrzeugs
CN105702060B (zh) * 2016-03-04 2018-06-12 重庆交通大学 基于全息投影技术的城市信号交叉口安全导向方法及系统
US10102668B2 (en) * 2016-05-05 2018-10-16 Nvidia Corporation System, method, and computer program product for rendering at variable sampling rates using projective geometric distortion
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
CN107967665B (zh) * 2016-10-20 2021-07-13 株式会社理光 图像处理方法和图像处理装置
US20180150703A1 (en) * 2016-11-29 2018-05-31 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
WO2018102990A1 (en) * 2016-12-06 2018-06-14 SZ DJI Technology Co., Ltd. System and method for rectifying a wide-angle image
US10733697B2 (en) * 2016-12-27 2020-08-04 Intel IP Corporation Convolutional neural network for wide-angle camera images
WO2018131813A1 (en) 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
KR102329061B1 (ko) * 2017-01-10 2021-11-19 삼성전자주식회사 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
FR3062224B1 (fr) * 2017-01-25 2020-08-28 Valeo Schalter & Sensoren Gmbh Detection d'obstacles dans l'environnement d'un vehicule automobile par traitement d'images
JP6708154B2 (ja) * 2017-03-28 2020-06-10 カシオ計算機株式会社 対象物検出装置、対象物検出方法、及びプログラム
DE102017206175A1 (de) * 2017-04-11 2018-10-11 Conti Temic Microelectronic Gmbh Surround-View-System für ein Fahrzeug
CN106991415A (zh) * 2017-06-05 2017-07-28 北京汽车集团有限公司 用于车载鱼眼相机的图像处理方法和装置
KR102351542B1 (ko) * 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
DE102017114611A1 (de) * 2017-06-30 2019-01-03 Connaught Electronics Ltd. Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
US10475154B2 (en) * 2017-08-11 2019-11-12 Caterpillar Inc. Machine surround view system and method for generating 3-dimensional composite surround view using same
CN111033555B (zh) * 2017-08-25 2024-04-26 株式会社索思未来 修正装置、修正程序以及记录介质
CN109509231A (zh) * 2017-09-14 2019-03-22 宝沃汽车（中国）有限公司 全景系统标定设备
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
US10380714B2 (en) * 2017-09-26 2019-08-13 Denso International America, Inc. Systems and methods for ambient animation and projecting ambient animation on an interface
US10618471B2 (en) * 2017-11-30 2020-04-14 Robert Bosch Gmbh Virtual camera panning and tilting
DE102018102047A1 (de) 2018-01-30 2019-08-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
DE102018203405A1 (de) * 2018-03-07 2019-09-12 Zf Friedrichshafen Ag Visuelles Surround-View-System zur Überwachung des Fahrzeuginneren
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
CN108833911A (zh) * 2018-08-21 2018-11-16 安徽江淮汽车集团股份有限公司 一种车辆360全景功能的测试方法及系统
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
GB2581191B (en) 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
US20220132049A1 (en) * 2019-02-15 2022-04-28 Toyota Motor Europe Systems and method for image normalization
US11153481B2 (en) * 2019-03-15 2021-10-19 STX Financing, LLC Capturing and transforming wide-angle video information
US11070721B2 (en) * 2019-09-27 2021-07-20 Gm Cruise Holdings Llc Intent-based dynamic change of compute resources of vehicle perception system
US11037000B2 (en) 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
KR102076113B1 (ko) * 2019-10-14 2020-02-11 (주)비에스아이시스템 쓰레기 무단 투기 영상 감시 장치
US11418773B2 (en) * 2020-04-21 2022-08-16 Plato Systems, Inc. Method and apparatus for camera calibration
US11288553B1 (en) 2020-10-16 2022-03-29 GM Global Technology Operations LLC Methods and systems for bowl view stitching of images
KR102535136B1 (ko) * 2021-08-05 2023-05-26 현대모비스 주식회사 영상정합장치 및 방법
US20230350412A1 (en) 2022-04-28 2023-11-02 Caterpillar Inc. Digital panning of panoramic video to follow machine worktool movement

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559695A (en) * 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
KR20010112433A (ko) * 1999-04-16 2001-12-20 마츠시타 덴끼 산교 가부시키가이샤 화상처리장치 및 감시시스템
KR100466458B1 (ko) * 1999-09-20 2005-01-14 마츠시타 덴끼 산교 가부시키가이샤 운전지원장치
EP1303140A4 (en) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd MONITORING SYSTEM
US6781594B2 (en) 2001-08-21 2004-08-24 Sony Computer Entertainment America Inc. Method for computing the intensity of specularly reflected light
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
US7139432B2 (en) * 2002-04-10 2006-11-21 National Instruments Corporation Image pattern matching utilizing discrete curve matching with a mapping operator
EP1504276B1 (en) * 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US7068444B2 (en) 2002-09-24 2006-06-27 Kenji Nishi Image display unit and projection optical system
JP3962676B2 (ja) * 2002-11-29 2007-08-22 キヤノン株式会社 画像処理方法及び装置
KR100526817B1 (ko) * 2003-04-22 2005-11-08 학교법인 중앙대학교 스테레오 영상 구현 시 기본행렬을 구하는 방법
US7336299B2 (en) 2003-07-03 2008-02-26 Physical Optics Corporation Panoramic video system with real-time distortion-free imaging
JP2006059202A (ja) 2004-08-20 2006-03-02 Iwate Univ 撮像装置及び画像補正方法
JP2006311272A (ja) 2005-04-28 2006-11-09 Denso Corp 車両用映像表示装置
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
WO2007054862A2 (en) * 2005-11-08 2007-05-18 Koninklijke Philips Electronics N.V. Method and system for filtering elongated features
JP2007183877A (ja) * 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
US7576639B2 (en) 2006-03-14 2009-08-18 Mobileye Technologies, Ltd. Systems and methods for detecting pedestrians in the vicinity of a powered industrial vehicle
KR100966875B1 (ko) * 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
US8189959B2 (en) * 2008-04-17 2012-05-29 Microsoft Corporation Image blending using multi-splines
WO2009144994A1 (ja) * 2008-05-29 2009-12-03 富士通株式会社 車両用画像処理装置、車両用画像処理方法
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5271154B2 (ja) * 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
CN101626513A (zh) * 2009-07-23 2010-01-13 深圳大学 全景视频生成方法及系统
WO2011018999A1 (ja) 2009-08-12 2011-02-17 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
JP2011086111A (ja) 2009-10-15 2011-04-28 Mitsubishi Electric Corp 撮像装置校正方法及び画像合成装置
US9041807B2 (en) * 2010-01-29 2015-05-26 Fujitsu Ten Limited Image processing device and image processing method
WO2012002046A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法
US8454147B2 (en) 2010-07-31 2013-06-04 Xerox Corporation Method and system for delivering solid-ink pellets
JP2011155651A (ja) * 2011-02-10 2011-08-11 Toshiba Corp 車両周辺画像表示装置および車両周辺画像表示方法
EP2511137B1 (en) * 2011-04-14 2019-03-27 Harman Becker Automotive Systems GmbH Vehicle Surround View System
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
EP2530647A1 (en) * 2011-06-01 2012-12-05 Harman Becker Automotive Systems GmbH Method of calibrating a vehicle vision system and vehicle vision system
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
EP2541498B1 (en) 2011-06-30 2017-09-06 Harman Becker Automotive Systems GmbH Method of determining extrinsic parameters of a vehicle vision system and vehicle vision system
US8447116B2 (en) * 2011-07-22 2013-05-21 Honeywell International Inc. Identifying true feature matches for vision based navigation
EP2554434B1 (en) 2011-08-05 2014-05-21 Harman Becker Automotive Systems GmbH Vehicle surround view system
KR101913837B1 (ko) 2011-11-29 2018-11-01 삼성전자주식회사 파노라마 영상 생성 방법 및 이를 적용한 영상기기
JP5966341B2 (ja) 2011-12-19 2016-08-10 大日本印刷株式会社 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
TW201333896A (zh) * 2012-02-14 2013-08-16 yan-hong Jiang 使用視訊雷達的遠距交通管理系統
JP5959264B2 (ja) * 2012-03-29 2016-08-02 三菱電機株式会社 画像処理装置及び方法、並びにコンピュータプログラム
US9275485B2 (en) * 2012-06-28 2016-03-01 The University Of Utah Research Foundation Seam network processing for panorama weaving
CN102930601B (zh) * 2012-10-10 2015-09-30 中国人民解放军信息工程大学 一种双模三维地形立体环境的构建方法
EP2939211B1 (en) * 2012-12-26 2018-02-14 Harman International Industries, Incorporated Method and system for generating a surround view
US9762889B2 (en) * 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
US10442355B2 (en) 2014-09-17 2019-10-15 Intel Corporation Object visualization in bowl-shaped imaging systems

Also Published As

Publication number Publication date
KR101811157B1 (ko) 2018-01-25
EP3085074B1 (en) 2020-02-26
US20150178884A1 (en) 2015-06-25
EP3085074A4 (en) 2017-08-30
US10210597B2 (en) 2019-02-19
EP3085074A1 (en) 2016-10-26
US10692173B2 (en) 2020-06-23
CN105765966A (zh) 2016-07-13
US20180232851A1 (en) 2018-08-16
JP2017502404A (ja) 2017-01-19
KR20160072190A (ko) 2016-06-22
JP6224251B2 (ja) 2017-11-01
WO2015094298A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
CN105765966B (zh) 碗形成像系统
EP3195584B1 (en) Object visualization in bowl-shaped imaging systems
JP6371553B2 (ja) 映像表示装置および映像表示システム
US20060188130A1 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
US9332247B2 (en) Image processing device, non-transitory computer readable recording medium, and image processing method
CN110166680B (zh) 设备成像方法、装置、存储介质及电子设备
KR101504335B1 (ko) 어라운드뷰 제공 장치, 방법 및 차량
JP5927541B2 (ja) 画像処理装置および画像処理方法
US20230162464A1 (en) A system and method for making reliable stitched images
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
KR102564134B1 (ko) 이미지 처리 방법
US20230010947A1 (en) Electronic apparatus, and method for displaying image on display device
US20240015269A1 (en) Camera system, method for controlling the same, storage medium, and information processing apparatus
KR101578030B1 (ko) 이벤트 발생 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant