CN117360384A - 一种鱼眼图像处理系统和方法 - Google Patents

一种鱼眼图像处理系统和方法 Download PDF

Info

Publication number
CN117360384A
CN117360384A CN202311301050.9A CN202311301050A CN117360384A CN 117360384 A CN117360384 A CN 117360384A CN 202311301050 A CN202311301050 A CN 202311301050A CN 117360384 A CN117360384 A CN 117360384A
Authority
CN
China
Prior art keywords
fisheye
image
fisheye image
camera
combined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311301050.9A
Other languages
English (en)
Inventor
阎志鹏
陈鹏飞
王泮渠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tucson Ltd
Original Assignee
Tucson Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tucson Ltd filed Critical Tucson Ltd
Publication of CN117360384A publication Critical patent/CN117360384A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G06T3/047—
    • G06T3/12—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/249—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)

Abstract

本发明公开一种鱼眼图像处理系统和方法、存储介质。该方法包括：在离线阶段，对一个鱼眼镜头获取的多帧原始鱼眼图像数据进行处理得到多帧去失真的重建图像数据，并确定得到原始鱼眼图像数据与重建图像数据之间的像素映射关系；在在线阶段，根据在离线阶段确定的像素映射关系，对该鱼眼镜头获取到的鱼眼图像数据进行像素映射，得到去失真的图像数据。

Description

一种鱼眼图像处理系统和方法
本申请为申请号为201911004108.7、申请日为2019年10月18日的发明名称为“一种鱼眼图像处理系统和方法”的中国专利申请的分案申请。
技术领域
本申请一般性地涉及图像处理、车辆控制系统、以及自动驾驶系统的工具(系统、装置、方法、计算机程序产品，等等)，特别涉及但不仅限于一种鱼眼图像处理系统和方法、存储介质。
背景技术
物体检测是许多视觉任务中的一个基础问题，包括图像分割、语义实例分割、以及物体检测预测。检测到一个交通环境中的全部物体对于建立一个自动驾驶系统而言是非常重要的。对一个物体(例如一个车辆或者一个人)检测失败可能会导致自动驾驶车辆的运动规划模块的失常，并导致灾难性的事故。从而自动驾驶车辆的目标检测是一个重要的操作问题和安全问题。
物体检测包括图像分析和图像语义分割的使用。语义分割的目标在于为图像中每个像素分配一个类别标签，语义分割在图像分析和自动驾驶系统中起到重要作用。语义分割框架提供像素级别的类别标签，但是无法检测到物体级别的单个实例。
鱼眼镜头和鱼眼镜头摄像头广泛应用于日常生活。这些类型的镜头通常安装在车辆、监控摄像头、望远镜以及类似的装置中，以获取极为广阔的视野。但是，鱼眼镜头广阔视野的便利性是以高度的图像失真程度为代价的。传统的图像处理技术例如物体检测通常无法重建物体的形状或位置，也无法处理鱼眼镜头产生的图像失真问题。传统的鱼眼镜头图像去失真算法难以被修改得适应于物体检测应用，例如自动驾驶控制系统。
发明内容
本申请实施例提供了一种鱼眼图像处理系统和方法、存储介质。
一方面，本申请实施例提供了一种鱼眼图像处理方法，包括：在离线阶段，对一个鱼眼镜头获取的多帧原始鱼眼图像数据进行处理得到多帧去失真的重建图像数据，并确定得到原始鱼眼图像数据与重建图像数据之间的像素映射关系；在在线阶段，根据在离线阶段确定的像素映射关系，对该鱼眼镜头获取到的鱼眼图像数据进行像素映射，得到去失真的图像数据。
一方面，本申请实施例提供了一种鱼眼图像处理系统，包括：一个数据处理器和至少一个存储器，至少一个存储器中存储有至少一条机器可执行指令，数据处理器执行至少一条机器可执行指令后执行如上所述的鱼眼图像处理方法。
一方面，本申请实施例提供了一种非易失性存储介质，其中存储有至少一条机器可执行指令，至少一条机器可执行指令被机器执行后执行如上所述的鱼眼图像处理方法。
附图说明
所述各实施例是通过示例的方式而不是通过限制的方式说明的，在附图中：
图1示出了一个示例实施例中实施的车内图像处理模块的一个示例生态系统的结构框图；
图2示出了配置有多个鱼眼镜头摄像头的自动驾驶车辆或者自主车辆的示例；
图3示出了传统的或者当前的来自于鱼眼镜头摄像头的一张图像；
图4的上部分示出了多个图像部分的示例，下部分示出了对多个图像部分拼接后的结果图像的示例；
图5示出了一个示例实施例中鱼眼图像处理模块实施的鱼眼图像变换产后护理；
图6示出了一个示例实施例中的系统和方法对来自自动驾驶车辆或者自主车辆上的多个鱼眼镜头摄像头的图像进行处理的流程图；
图7示出了另一个示例实施例中的系统和方法对来自自动驾驶车辆或者自主车辆上的多个鱼眼镜头摄像头的图像进行处理的流程图；
图8示出了用于自动驾驶车辆的鱼眼图像处理系统的示例；
图9示出了一个示例实施例中用于鱼眼图像处理的流程图；
图10示出了以计算机系统的示例形式显示了机器的图示，其中执行的一组指令可能导致机器执行本申请提供的任何一种或多种方法。
具体实施方式
在以下的描述中，为了便于解释，列出了大量的具体细节，以便对各种实施例进行全面的理解。然而，对于本领域普通技术人员来说，显而易见的是可以在没有这些具体细节的情况下实践各种实施例。
本申请公开了一种鱼眼图像处理系统和方法。示例的鱼眼图像处理系统和方法可以包括一个鱼眼图像处理系统，该系统用于从至少一个与自动车辆相关联的鱼眼镜头摄像机接收鱼眼图像数据。在本申请公开的多个示例实施例中，公开了一种用于鱼眼图像数据处理的快速端到端处理方法。该数据处理方法能够将鱼眼图像转换为普通(非失真)图像，该普通图像具有可调整的输出尺寸、视野以及旋转方向。多个示例实施例提供的处理方法经过全面优化能够实现实时效率(例如50Hz@1280p)。此外，多个示例实施例中提供了一种自动校正方法，该方法适用于任何鱼眼镜头的处理方法，且只需要最少的人力。在本申请公开的各种示例实施例中，鱼眼镜头图像能够从鱼眼图像中去除失真并且无失真地重建图像中的场景和物体，就像是这些图像是普通镜头(即非鱼眼镜头)获取到的。
本申请公开的一个示例实施例可以用于一个车辆生态系统101中的车内控制系统150的环境中。在一个示例实施例中，车内控制系统150配置有鱼眼图像处理模块200、且常驻在车辆105中，该系统150可以被配置为如图1所示的架构和生态系统101。但是，对于本领域普通技术人员而言显而易见的是，本申请所公开的和请求保护的鱼眼图像处理模块200也可以被实施、配置、和使用在多个其它的应用中。
参考图1，其中示出了一个示例生态系统101的框图，在一个示例性实施例中，在生态系统101中可以实施一个车内控制系统150和一个鱼眼图像处理模块200。以下将详细描述这些构件。生态系统101包括多个系统和构件，这些系统和构件能够生成和/或传递一个或多个信息源/数据源以及相关的服务给安装在车辆105中的车内控制系统150和鱼眼图像处理模块200。例如，具有鱼眼镜头的摄像头安装在车辆105的外部或内部，该摄像头作为车辆子系统140的一个装置、能够生成鱼眼图像以及定时数据、并发送给车内控制系统150。车辆105的内部或外部安装的一个或多个摄像头可以配置有鱼眼镜头，以获取车辆105周围环境的鱼眼图像。车内控制系统150以及执行在系统150中的鱼眼图像处理模块200能够接收输入的该鱼眼图像以及定时数据。如下详述，鱼眼图像处理模块200能够处理输入的鱼眼图像，以及消除图像失真和提取物体特征，消除失真后的图像以及提取的物体特征能够为自动驾驶车辆控制子系统所用，并且鱼眼图像处理模块200可以作为车辆子系统140中的一个子系统。自动驾驶车辆控制系统例如可以使用实时提取的物体特征，来安全有效地导航车辆105和控制车辆105在真实世界中行驶过驾驶环境并避开障碍物。
在本申请提供的一个示例性实施例中，车内控制系统150能够与多个车辆子系统140进行数据通信，所有这些车辆子系统140常驻在使用者的车辆105中。一个车辆子系统接口141被用于方便车内控制系统150和多个车辆子系统140之间的数据通信。车内控制系统150包括一个数据处理器171以执行鱼眼图像处理模块200，用以处理从一个或多个车辆子系统140接收到的鱼眼图像数据。该数据处理器171能够与一个数据存储装置172合并设置，并作为车内控制系统150中的计算系统170的一部分。数据存储装置172能够被用于存储数据、处理参数、鱼眼摄像头参数、以及数据处理指令。处理模块接口165被用于方便数据处理器171和鱼眼图像处理模块200之间的数据通信。在多个示例性实施例中，多个处理模块被配置为与鱼眼图像处理模块200相类似的配置，并被数据处理器171执行。如图1中的虚线所示，鱼眼图像处理模块200能被集成到车内控制系统150中，或者可选地被下载到车内控制系统150中，或者与车内控制系统150分离部署。
车内控制系统150能够用于与广域网120进行数据的接收/发送，以及与和广域网相连接的网络资源122进行数据的接收/发送。车内可联网装置130和/或用户移动装置132能够用于通过网络120进行通信。车内控制系统150可以使用一个可联网装置接口131，以通过车载可联网装置130促进车内控制系统150和网络120之间的数据通信。相类似地，车内控制系统150还可以使用一个用户移动装置接口133，以通过用户移动装置接口133促进车内控制系统150和网络120之间的数据通信。以该种方式，车内控制系统150能够通过网络120实时地接入到网络资源122中。网络资源122用于获取数据处理器171执行的多个处理模块、用于训练内部神经网络的数据内容、多个系统参数以及其它数据。
系统101可以包括广域数据网络120。网络120为一个或多个传统广域数据网，例如因特网、一个蜂窝电话网络、卫星网络、寻呼网络、无线广播网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络等等。一个或多个这样的网络120能够将一个用户或者一个客户端系统连接到网络资源122，例如多个网站、多个服务器、多个中央控制网站，或者类似的网络资源。网络资源122能够生成和/或发布数据，该数据能够被车辆105通过车内可联网设备130或者用户移动装置132接收到。网络资源122也可以提供网络云服务，网络资源122能够支持用于计算或帮助处理对象输入或者图像输入分析的功能。天线用于通过蜂窝、卫星、无线电或者其它传统的信号接收方案，将车内控制系统150和鱼眼图像处理模块200连接到数据网络120。这样的蜂窝数据网络是当前可获得的(例如，VerizonTM，AT&TTM，T-MobileTM，等等)。这样基于卫星的数据网络或内容网络也是当前可获得的(例如，SiriusTM，HughesNetTM，等等)。传统的广播网络也是为人熟知的，例如，多个AM/FM无线网络、寻呼网络、UHF网络、游戏网络、WiFi网络、点到点网络、IP电话(VoIP)网络，以及类似的网络。从而，如下详述，车内控制系统150和鱼眼图像处理模块200能够通过车内可联网设备接口131接收基于网络的数据或内容，该车内可联网设备接口131用于连接车内可联网装置接收器130和网络120。以该种方式，车内控制系统150以及鱼眼图像处理模块200能够支持车辆105其中的多个可连接网络的车内装置和系统。
如图1所示，车内控制系统150和鱼眼图像处理模块200也能够接收用户移动设备132输入的数据、图像处理控制参数、以及训练内容，该用户移动装置132能够被设置在车辆105之中或靠近车辆105。用户移动装置132可以是标准移动装置，例如蜂窝电话、智能电话、个人数字助理(PAD’s)、MP3播放器、平板计算装置(例如，iPaDTM)、手提计算机、CD播放器、以及其它移动装置，用户移动装置132能够为车内控制系统150和鱼眼图像处理模块200产生、接收和/或发送数据、图像处理控制参数以及内容。如图1所示，移动装置132也能够与网络云120进行数据通信。移动装置132能够从其自身内部的存储部件中获取数据和内容，也能通过网络120从网络资源122中获取数据和内容。此外，移动装置132自身可以包括一个GPS数据接收器，多个加速计，多个WiFi三角测量或者其它地理位置探测器或部件，这些部件能够被用于在任何时刻确定用户的实时地理位置。在任何情况下，如图1所示，车内控制系统150和鱼眼图像处理模块200能从移动装置132接收数据。
继续参考图1，示例性实施例中的系统101包括车辆可操作子系统140。在车辆105已实施的实施例中，许多标准车辆包括多个可操作子系统，例如，多个电子控制单元(ECUs)，支持对引擎、刹车、变速器、电子系统、排气系统、内部环境等等进行监视/控制的子系统。例如，在车辆可操作子系统140(例如车辆105的ECUs)与车内控制系统150通过车辆子系统接口141进行通信的数据信号中，包括车辆105的一个或多个部件或者子系统的状态信息。特别地，该数据信号能够从车辆可操作子系统140发送到车辆105的一个控制器局域网(CAN)总线，该数据信号能够通过车辆子系统接口141被车内控制系统150接收和处理。本申请描述的系统和方法能够实质性的与任何使用CAN总线、或者本申请所定义的使用类似的数据通信总线的机械化的系统一起使用，该系统包括但不限于工业设备、船只、卡车、机械装置或汽车；从而，这里使用的术语“车辆”包括任何上述机械化的系统。本申请描述的系统和方法的实施例也能够与任何配置有某种形式的网络数据通信的系统一起使用，但是，这样的网络通信不是必须的。
继续参考图1，示例性实施例中的系统101以及其中的车辆可操作子系统140能够包括支持车辆105运行的多个车辆子系统。通常而言，车辆105可以是一个轿车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、挖土机、摩托雪橇、航空器、旅游休闲车、游乐园车辆、农场设备、建筑设备、有轨电车、高尔夫车、火车、无轨电车。也可以是其它车辆。车辆105可以完全地或部分地以自动模式进行运行。例如，车辆105可以在自动模式下同时控制其自身，并且还可以被操作以确定车辆的当前状态以及车辆所处环境的当前状态，确定在该环境中的其它至少一个车辆的一个预测行为，确定上述其它至少一个车辆执行所述预测行为的可能性所对应信任等级，并且基于所确定的信息来控制车辆105。在处于自动驾驶模式下时，车辆105可以在无人交互或无人控制的情况下运行。
车辆105可能包括各种车辆子系统，例如一个车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146、以及乘员接口子系统148。如上所述，车辆105还可以包括车内控制系统150、计算子系统170、以及鱼眼图像处理模块200。车辆105或多或少地包括一些子系统，每个子系统可以包括多个单元。进一步地，车辆105的每个子系统和单元之间可以是互联的。从而，车辆105的一个或多个所描述的功能可以被划分为附加的功能性部件或者实体部件，或者结合为数量更少的功能性部件或者实体部件。在更进一步的例子中，附加的功能性部件或者实体部件可以增加到如图1所示的示例中。
车辆驱动子系统142可以包括为车辆105提供动能的多个可操作部件。在一个示例性实施例中，车辆驱动子系统142可以包括一个发动机或电动机、多个轮子/轮胎、一个变速器、一个电子子系统、以及一个动力源。发动机或者电动机可以是如下设备的任意组合：一个内燃机、电机、蒸汽机、燃料电池发动机、丙烷发动机、或者其它形式的发动机或电动机。在一些示例性实施例中，发动机可以将一种动力源转换为机械能。在一些示例性实施例中，车辆驱动子系统142可以包括多种发动机或电动机。例如，一个油电混合轿车可以包括一个汽油发动机和一个电动机。其也可以包括其它情况。
车辆105的多个轮子可以是标准车轮。车辆105的多个轮子可以是多种形式的轮子，包括一个独轮、双轮、三轮、或者一个四轮形式，例如轿车或卡车上的四轮。其它数量的轮子也是可以的，例如六轮或者更多的轮子。车辆105的任何组合的轮子可被操作为与其他轮子的旋转方向不同。轮子可以是至少一个与变速器固定连接的轮子，以及至少一个轮胎与轮子的边缘相匹配使得轮子与驾驶表面相接触。这些轮子可以包括金属与橡胶的结合，或者是其他物质的结合。变速器可以包括可被操作以将发动机的机械动力传送到轮子的单元。出于这个目的，变速器可以包括一个齿轮箱、一个离合器、一个差动齿轮，和多个传动轴。变速器也可以包括其它单元。传动轴可以包括与轮子相匹配的一个或多个轮轴。电子系统可以包括用于传送或控制车辆105的电子信号的单元。这些电子信号可用于启动车辆105中的多个灯、多个伺服机构、多个电动机，以及其它电子驱动或者控制的设备。动力源可以是全部或部分地为发动机或电动机提供动力的能源。也即，发动机或电动机能够将动力源转换为机械能。示例性地，动力源可以包括汽油、石油、石油类燃料、丙烷、其它压缩气体燃料、乙醇、燃料电池、太阳能板、电池以及其它电能源。动力源可以附加的或者可选地包括燃料箱、电池、电容、或者飞轮的任意组合。动力源也可以为车辆105的其它子系统提供能量。
车辆传感器子系统144可以包括多个传感器，这些传感器用于感应车辆105的环境信息和条件信息。例如，车辆感应器子系统144可以包括一个惯性测量单元(IMU)、一个全球定位系统(GPS)收发器、一个雷达单元、一个激光测距仪/LIDAR单元、以及一个或多个摄像头或图像捕捉装置。车辆传感器子系统144可以包括用于监视车辆105内部系统的多个感应器(例如，一个氧气(O2)监视器、一个油量表传感器、一个发动机油温传感器，等等)。还可以配置其它传感器。包括在车辆传感器子系统中的一个或多个传感器可以被单独驱动或者被集体驱动，以更新一个或多个传感器的位置、方向，或者这二者。
IMU可以包括任何传感器的结合(例如加速器和陀螺仪)，用于基于惯性加速来感应车辆105的位置变化和方向变化。GPS收发器可以是任何用于估计车辆105的地理位置的传感器。出于该目的，GPS收发器可以包括一个接收器/发送器以提供车辆105相对于地球的位置信息。雷达单元可以是使用无线电信号来感应车辆105的所在环境中的对象的系统。在一些实施例中，除感应对象之外，雷达单元还可以用于感应接近车辆105的物体的速度和前进方向。激光测距仪或LIDAR单元可以是任何使用激光来感应车辆105所在环境中的物体的传感器。在一个示例性实施例中，激光测距仪/LIDAR单元可以包括一个或多个激光源、一个激光扫描仪、以及一个或多个探测器以及其它系统组件。激光测距仪/LIDAR单元用于以连续(例如使用外差检测)或者不连续的检测模式进行工作。摄像头可以包括一个或多个用于捕捉车辆105所在环境的多个图像的装置。摄像头可以是静态图像摄像头或者动态视频摄像头。
车辆控制系统146用于控制对车辆105及其构件的操作。相应地，车辆控制系统146可以包括各种单元，例如一个转向单元、一个油门、一个刹车单元、一个导航单元和一个自动控制系统。
转向单元可以是任何调整车辆105前进方向的机械的组合。油门，例如可以被用于控制发动机的运转速度，进而控制车辆105的速度。刹车单元可以包括用于对车辆105进行减速的机械的组合。刹车单元可以以标准方式利用摩擦力来使轮胎减速。在其他实施例中，刹车单元可以将轮子的动能转化为电流。刹车单元也可以采用其它形式。导航单元可以是任何为车辆105确定驾驶路径或路线的系统。导航单元还可以在车辆105行进的过程中动态的更新驾驶路径。在一些实施例中，导航单元用于将来自鱼眼图像处理模块200的数据、来自GPS收发器的数据、以及一个或多个预定地图的数据结合起来，从而确定车辆105的驾驶路径。自动控制单元可以是一个用于识别、评估、以及避免或越过车辆105所在环境中的潜在障碍的系统。通常，自动控制单元可以用于在没有驾驶者的情况下控制车辆105，或者为驾驶者控制车辆提供辅助。在一些实施例中，自动控制单元用于将来自鱼眼图像处理模块200的数据、GPS收发器的数据、雷达数据、LIDAR数据、摄像头数据、以及来自其它车辆子系统的数据结合起来，来确定车辆105的驾驶路径或路线。车辆控制系统146还可以附加地或者可选地包括其它未示出或未描述的部件。
乘员接口子系统148可以用于允许车辆105与外部传感器、其它车辆、其它计算系统和/或车辆105的一个调用者或者使用者之间的互动。例如，乘员接口子系统148可以包括标准视觉显示装置(例如，等离子显示器、液晶显示器(LCDs)，触屏显示器、头戴显示器，或其它类似的显示器)，扬声器或其它音频输出装置，麦克风或者其它音频输入装置，导航接口、以及控制车辆105的内部环境(例如温度、风扇，等等)的接口。
在一个示例性实施例中，乘员接口子系统148可以提供为车辆105的使用者或乘员与其它车辆子系统进行互动的方式。视觉显示装置可以为车辆105的使用者提供信息。用户接口装置也可以通过触屏从使用者或者驾驶者那里接收输入。触屏可以通过电容感应、电阻感应或者表面声波处理，或者通过其它方式，来至少感应使用者手指的位置和手指移动中的一种。触屏可以感应到平行于触屏表面的手指运动或面状的手指运动，垂直于触屏表面的手指运动，或者以上皆有，也可以用于感应施加到触屏表面的压力水平。触屏可以由一个或多个半透明或透明绝缘层以及一个或多个半透明或透明的导电层构成。触屏也可以具有其它形式。
在其他一些例子中，乘员接口子系统148可以为车辆105提供与其所在环境中的其它车辆进行通信的方式。麦克风可以用于从车辆105的使用者或者驾驶者那里接收音频(例如，一个声音命令或者其它音频输入)。类似地，扬声器可以用于输出音频给车辆的使用者。在一个示例性的实施例中，乘员接口子系统148可以直接或者通过通信网络与一个或多个设备进行无线通信。例如，一个无线通信系统可以使用3G蜂窝通信，例如CDMA、EVDO、GSM/GPRS、或者4G蜂窝通信，例如WiMAX或LTE。可选地，无线通信系统可以与一个无线本地局域网(WLAN)进行通信，例如，使用在一些实施例中，无线通信系统146可以直接与一个设备进行通信，例如，使用红外线路，/>或者ZIGBEE。其它无线协议，例如各种车载通信系统，也在本申请公开的范围之内。例如，无线通信系统可以包括一个或多个专用短程通信(DSRC)装置，这些装置会与车辆和/或路边站进行公开或私密的数据通信。
计算系统170能控制车辆105的部分或者全部功能。计算系统170可以包括至少一个数据处理器171(可以包括至少一个微处理器)，数据处理器171执行存储在非易失性计算机可读介质中存储的处理指令，例如数据存储装置172。计算系统170也可以是多个计算装置，这些计算装置分布式地控制车辆105的个别部件或者个别子系统。在一些实施例中，数据存储装置172中可以包含被数据处理器171执行来实现车辆105的各种功能的处理指令(例如，程序逻辑)，这些功能包括本申请所描述的附图中的功能。数据存储装置172还可以包括其它指令，包括用于数据发送的指令、用于数据接收的指令、用于互动的指令、或者用于控制一个或多个车辆驱动子系统142、车辆感应器子系统144、车辆控制子系统146、以及乘员接口子系统148的指令。
除存储处理指令之外，数据存储设备172可以存储多种信息，包括存储数据，例如对象处理参数、训练数据、道路地图、和路径信息以及其它信息。在车辆105以自动方式、半自动方式和/或手动模式运行的期间，这些信息可以被车辆105和计算系统170所使用。
车辆105可以包括一个用户界面，该用户界面用于为车辆105的使用者、驾驶者或乘员提供信息或指令，或者接收来自车辆105的使用者或者乘员的输入。用户界面可以控制或者使能控制交互式图像的内容和图层，该交互式图像可以显示在一个显示设备上。进一步地，用户界面可以包括一组乘员接口子系统148中的一个或多个输入/输出设备，例如显示设备、扬声器、麦克风、或者一个无线通信系统。
计算系统170可以根据从各种车辆子系统(例如，车辆驱动子系统142，车辆传感器子系统144，以及车辆控制子系统146)接收到的输入，或者从乘员接口子系统148接收到的输入，来控制车辆105的功能。例如，计算系统170可以使用来自车辆控制系统146的输入来控制转向单元，来避开由车辆传感器子系统144和鱼眼图像处理模块200检测到的障碍物，以受控方式进行运动，或者跟随基于鱼眼图像处理模块200的输出的路径或路线。在一个实施例中，计算系统170可以用来控制车辆105及其子系统的多个方面。
虽然图1中显示了集成到车辆105中的各种构件，例如车辆子系统140、计算系统170、数据存储设备172、以及鱼眼图像处理模块200，这些部件中的一个或多个部件可以搭载到车辆105上或单独关联到车辆105上。例如，数据存储装置172可以部分或者全部地独立于车辆105存在。从而，车辆105能够以分离的或者集成的设备单元的形式而存在。构成车辆105的设备单元可以以有线通信或者无线通信的方式实现通信聚合。
此外，其它的数据和/或内容(本申请称为辅助数据)能够被如上所述的车内控制系统150从本地资源和/或远程资源获得。基于多个因素，辅助数据可以被用于扩展、修改或者训练鱼眼图像处理模块200的操作，该多个因素包括用户操纵车辆的环境(例如，车辆的位置、具体的目的地、行进方向、速度、一天中的时间、车辆状态，等等)、以及如文中所述的从本地或远程的多个资源所获取的其它多种数据。
在一个特别的实施例中，车内控制系统150和鱼眼图像处理模块200能够作为车辆105的车内部件得以实施。在多个示例性实施例中，车内控制系统150和与其进行数据通信的鱼眼图像处理模块200能够被实施为集成部件或者独立部件。在一个示例性实施例中，通过与移动设备132进行数据连接和/或通过网络120与网络资源122进行数据连接，车内控制系统150的软件部件和/或鱼眼图像处理模块200的软件部件能够得到动态的更新、修改，和/或扩展。车内控制系统150能够周期性地询问一个移动设备132或者一个网络资源122以进行更新，或者该更新能够推送给车内控制系统150。
鱼眼图像处理系统和方法
本申请公开了一种鱼眼图像处理系统和方法。示例性的鱼眼图像处理系统和方法可以包括一个鱼眼图像处理系统，用于从与一个自动驾驶车辆相关的至少一个鱼眼镜头摄像头接收鱼眼图像数据。在一个示例性实施例中，一个自动驾驶车辆或者自主车辆105可以配置有一个或多个鱼眼镜头摄像头。例如，一个或多个摄像头可以安装在车辆105的内部或外部，并定向获取车辆105的侧面、前方、后方或顶部的图像。图2中示出了具有多个鱼眼镜头摄像头的车辆105的一个示例。如该示例所示，自动驾驶车辆或自主车辆105可以配置有车载的左侧鱼眼镜头摄像头、右侧鱼眼镜头摄像头、和/或顶部鱼眼镜头摄像头。对于本领域普通技术人员来说显而易见的是，本申请公开的技术在特定的应用中，还可以使用更多或更少数量的鱼眼镜头摄像头、以及多个不同位置的鱼眼镜头摄像头。每个鱼眼镜头摄像头可以用于将鱼眼图像数据发送给自动驾驶车辆105的车内控制系统150以及其中的鱼眼图像处理模块200。
参考图3，传统技术通常使用鱼眼镜头摄像头获取自动驾驶车辆周围地区的失真图像。由于鱼眼镜头图像能够获取车辆周围广阔区域的图像，鱼眼镜头图像对于自动驾驶车辆是有用的。但是，由于鱼眼镜头产生失真，传统图像处理和物体检测系统难以从失真图像中可靠地检测物体。虽然有一些已知技术能够使用数学公式来减少鱼眼图像中的失真，这些技术并不总是产生令人满意的结果。特别地，已知的鱼眼图像数学变换技术将鱼眼图像作为一个完整的图像进行处理。但是，鱼眼图像中的一个物体越接近图像边缘，物体失真就越严重。由于传统鱼眼图像处理技术将鱼眼图像和图像中的全部物体作为一个整体来处理，就无法提供图像处理的可变性、指定位置的处理或指定物体的处理。特别地，传统技术会损害图像边界上物体的重建质量(如减少失真)，来提高图像中心物体的重建质量。从而，已知的鱼眼图像数学变换技术以及传统的鱼眼图像处理技术在自动驾驶车辆上的应用无法令人满意。
本申请实施例提供了一种鱼眼图像处理方法，参考图7，该方法通过对一个鱼眼镜头获取的多帧原始鱼眼图像数据进行处理得到多帧去失真的重建图像数据，并确定得到原始鱼眼图像数据与重建图像数据之间的像素映射关系(即图7中的变形3 657)；在在线阶段，根据在离线阶段确定的像素映射关系，对该鱼眼镜头获取到的鱼眼图像数据进行像素映射，得到去失真的图像数据。通过该方法，在离线阶段确定得到一个摄像头获取的原始鱼眼图像和去失真后的图像之间的像素映射关系，并在在线处理阶段中，直接使用该像素映射关系对该摄像头获取到的原始鱼眼图像进行像素映射，得到去失真的图像数据，能够极大地提高在现阶段实时的鱼眼图像处理速度，并且有效地提高鱼眼图像的重建质量，减少鱼眼图像边缘部分的物体的重建损失。
在离线阶段的处理中，对一个鱼眼镜头获取的多帧原始鱼眼图像数据进行处理得到像素映射关系的处理，可以包括：在多帧原始鱼眼图像数据中，将每帧原始鱼眼图像数据划分为多个图像部分；将每帧图像数据的多个图像部分投影变换到二维平面上，得到变换后的多个图像部分，并确定得到原始鱼眼图像数据中的每个图像部分的像素与变换后的对应的图像部分的像素之间的像素变换关系；将变换后的多个图像部分拼接为该帧原始鱼眼图像数据对应的重建图像数据，根据每个图像部分的像素变换关系以及拼接后的重建图像中的像素的位置，确定原始鱼眼图像数据与重建图像数据之间的像素映射关系。
通过将原始鱼眼图像或图像帧划分为较小的部分，并分别对每个图像部分应用鱼眼图像处理方法，本申请实施例公开的鱼眼图像处理系统和方法的示例能够改进已有鱼眼图像处理技术。由于原始鱼眼图像帧被划分为多个部分，可以以一种特定(以及可变)的方式对每个图像部分进行处理，以优化图像部分中物体的重建质量(也即降低失真)。在每个图像部分被单独处理后，处理后的图像部分可以被拼接或者结合起来以重建与原始鱼眼图像帧对应的整个图像。由于每个图像部分可以被有区别地进行处理以优化图像部分的重建质量，从而整个图像中的所有物体能够被有效、可变、且特定地重建出来(也即去掉失真)，并且不会给图像中任何物体带来因为重建造成的损失。这是对已有技术的显著改进。
鱼眼镜头与普通镜头的区别在于，鱼眼镜头通常制造成立方体或球形，能够接收广角(通常大于180度)光线。鱼眼镜头能够通过已知的数学变换将所有的图像中的物体映射在一个单独的图像帧中。当物体接近于图像边界(例如接近镜头边缘)被捕捉到并成像在图像帧中时会产生变形，在该图像帧的中心也可以包括其它物体(例如远离镜头边缘)。在一个示例实施例中，自动驾驶车辆105中的每个鱼眼摄像头的鱼眼镜头的参数(例如，鱼眼镜头的半径、镜头开孔、焦距、目标视野的角度，等等)可以预先定义或者基于摄像头类型、镜头类型、安装方式等方面获取到。在一个操作模式中，一个示例实施例中的鱼眼图像处理模块200可以接收来自每个鱼眼摄像头的鱼眼图像数据，并将原始鱼眼图像划分为如上所述的多个图像部分。鱼眼图像处理模块200能够计算变换，更重要的是还能够估算原始鱼眼图像中失真物体相对于图像中心的实际位置。从而鱼眼图像处理模块200能够将这些物体的纹理映射到它们在处理后的图像中的实际位置，使处理后的图像比原始鱼眼图像更加真实。此外，可以提取出多个图像部分中的映射后的物体的特征，并通过提取的特征对多个图像部分进行拼接或组合，得到正确拼接或组合的去失真的图像数据，该图像数据中包括物体在真实世界中的位置，这提高了其他自动车辆子系统确定接近自主车辆105的物体(如其他车辆)的运动特征和意图特征的能力。在一个特定实施例中，图4的上部示出了多个处理后的图像部分的示例，下部示出了处理后的结果图像被拼接或组合后的示例。以下与附图一起描述一个示例性实施例中的该处理的更多细节。
下面对变换处理进行说明，也即详细说明如何进行将每帧图像数据的多个图像部分投影变换到二维平面上，得到变换后的多个图像部分，并确定得到原始鱼眼图像数据中的图像部分的像素与变换后的图像部分的像素之间的像素变换关系。
图5示出了一个示例性实施例中鱼眼图像处理模块200实施的鱼眼图像变换处理。如图5所示，O表示摄像头中心，直线OS表示焦距，弧PQ是原始视野，弧RS是投影到摄像头镜头上的视野。一个示例性实施例中，鱼眼图像变换处理的目标是，将投影视野在摄像头镜头上两点之间(如摄像头投影视野)的弧变形或映射成该相同两点之间的直线。例如，如图5所示，弧R’S’(例如摄像头投影后视野)被变形或投影到直线R’S’，弧R’S’对于原始视野的弧P’Q’。图5示出了变形后或投影后的结果目标视野。需要注意的是，目标视野通常是相对于摄像头中心O和弧(R’S’)的中心之间的直线垂直定向的。变形后或投影后的结果目标视野也通常与直线R’S’平行，直线R’S’表示与摄像头投影视野相对应的变形或映射的弧(R’S’)。孔径角R’OS’可以根据需要进行指定或者预定义。然而，孔径角越大，重建处理就越困难，或者修正鱼眼图像的变形也就越困难。由于示例实施例中的鱼眼图像处理模块200使用图像划分处理和拼接处理来解决原始鱼眼图像中的局部重建错误，因此示例实施例可以使用小孔径，例如100度孔径。
为了计算转换映射，鱼眼图像处理模块200可以执行一个像素映射，该映射建立了原始鱼眼图像中的像素与重建的或结果图像中相应像素之间的对应关系。为了进行像素映射，鱼眼图像处理模块200可以获得上述鱼眼镜头的参数(如：鱼眼透镜半径、透镜孔径、焦距、目标视场角度等)。在特定实施例中，给定鱼眼图像样本，可以估计鱼眼镜头的参数。鱼眼图像处理模块200通过基于采样鱼眼图像评估重建的图像的真实性，来估计鱼眼镜头的参数。利用鱼眼图像处理模块200，可以对鱼眼镜头的某些参数进行定量评价，从而优化鱼眼镜头的参数。在一个示例实施例中，鱼眼图像处理模块200可以使用该鱼眼图像中最大的水平路径来确定半径。在一个示例实施例中，鱼眼图像处理模块200可以使用默认透镜中心，该透镜中心可以设置为图像的中心像素(例如，对于720p图像，缺省值为(640，360))，也即鱼眼图像的圆心，将鱼眼图像的圆心和图像数据中最外侧有效像素之间的距离确定为鱼眼镜头的半径，其中有效像素为由鱼眼镜头摄像头获取到的能够表达现实环境信息的像素，如图3中除去图像两侧黑色部分后的像素。在一些实施例中，可以通过圆估计算法拟合得到图像的圆心(即透镜中心)，鱼眼图像的圆心和图像数据中最外侧有效像素之间的距离确定为鱼眼镜头的半径。然而，有时透镜的圆心并不位于图像中心，也即对鱼眼图像拟合得到的圆的圆心不在图像中心上。在一个特定的实施例中，鱼眼图像处理模块200可以取鱼眼图像中最长路径端点之间的平均值或中点来确定中心像素(例如，最长的水平路径确定水平位置，和最长的垂直路径确定垂直位置)，也即图像的圆心，将该水平路径的平均值确定为鱼眼镜头半径。
进一步，将上述参数作为身影变换的超参数，通过射影变换对多个图像部分中的每个图像部分进行变换。并根据射影变换的结果，确定得到原始鱼眼图像数据中的每个图像部分的像素与对应的变换后的图像部分的像素之间的像素变换关系。
像素变换关系可以通过多种方式确定得到。在一个示例实施例中，对多帧原始鱼眼图像数据，通过直接线性变换对多帧原始鱼眼图像数据中一个相同部分的多个图像部分的像素矩阵进行射影变换，确定得到一组射影变换参数，并将具有该组射影变换参数的射影变换公式确定为该图像部分的像素变换关系；例如，对于5帧原始鱼眼图像数据，将每帧图像划分为相同的三个部分a1、a2、a3，这样就具有5个a1图像部分、5个a2图像部分、5个a3图像部分，对于相同的一个图像部分，也即对于a1，通过直接线性变换对5个a1图像部分确定得到a1对应的一组射影变换参数，将具有该组射影变换参数的射影公式确定为a1图像部分对应的像素变换关系，同理，对于a2图像部分确定得到对应的一个像素变换关系，对于a3图像部分确定得到对应的一个像素变换关系。
在另一个实施例中，在多帧原始鱼眼图像数据，确定对每帧原始鱼眼图像数据中一个相同部分的每个图像部分的像素矩阵进行射影变换的一组射影变换参数、并得到多组射影变换参数，通过多数投票算法在多组射影变换参数中确定一组射影变换参数，并将具有该组射影变换参数的射影变换公式确定为该图像部分的像素变换关系。例如，对于5帧原始鱼眼图像数据，将每帧图像划分为相同的三个部分a1、a2、a3，这样就具有5个a1图像部分、5个a2图像部分、5个a3图像部分，对于a1图像部分，对5个a1图像部分的每个图像部分通过直接线性变换确定得到一组射影变换参数，也即确定5组射影变换参数，使用多数投票方法从5组射影变换参数中确定得到一组最优的射影变换参数，将具有该组射影变换参数的射影变换公式确定为a1图像部分对应的像素变换关系，同理，对于a2图像部分确定得到对应的一个像素变换关系，对于a3图像部分确定得到对应的一个像素变换关系。
通过上述的变换处理，可以将通过鱼眼透镜成像的球面图像数据投影到二维平面上，也即将相机坐标的鱼眼图像数据转换为真实世界坐标的平面图像数据。
在该示例实施例中，进一步可以将来自自动驾驶车辆或自主车辆上的鱼眼摄像头的每个图像帧转换后的多个图像部分拼接或组合在一起，以创建一个组合得到的结果图像数据集。在一个示例实施例中，像素映射数据可用于将多个图像部分拼接或组合到该结果图像数据集中。图4中示出了该处理的一个示例。在另一实施例中，鱼眼图像处理模块200可以识别从原始鱼眼图像的每个图像部分中提取的特征的匹配部分，也即提取多个变换后的图像部分中的特征点，在一个示例中可以通过SIFT(Scale Invariant FeatureTransform)算法提取得到多个变换后的图像部分中的特征点。在该示例实施例中，可以识别来自原始鱼眼图像的每个图像部分的特征点以及对特征点的匹配。来自每个图像部分的匹配特征点可用于对齐来自每个鱼眼镜头摄像头的多个图像部分，也即根据提取的特征点对多个变换后的图像部分进行拼接。
进一步，在对多个图像部分进行拼接后，可以根据像素变换关系以及拼接后的重建图像中的像素的位置，确定原始鱼眼图像数据与重建图像数据之间的像素映射关系。在一个示例实施例中，该处理可以实施为根据像素变换关系，以及每个图像部分的像素在重建图像中的位置，确定得到原始鱼眼图像数据中的每个像素在重建图像中的映射位置，将全部像素的映射位置确定为原始鱼眼图像数据与重建图像数据之间的像素映射关系。接上例，对于5帧原始鱼眼图像数据，将每帧图像划分为相同的三个部分a1、a2、a3，得到三个像素变换关系，a1图像部分对应的像素变换关系、a2图像部分对应的像素变换关系、a3图像部分对应的像素变换关系，根据这三个像素变换关系、以及这三个图像部分的像素在重建图像中的位置，确定得到原始鱼眼图像数据中的每个像素在重建图像中的映射位置。
在一个特定的示例实施例中，所述鱼眼图像处理模块200根据上述处理可以确定输入的原始鱼眼图像与输出的重建的结果鱼眼图像之间的像素对的像素对应关系(也即像素映射关系)。鱼眼图像处理模块200通过逐级变换，可以跟踪原始鱼眼图像中的每个像素到最终重建的图像中每个像素的位置。对于原始鱼眼图像中的每个像素，鱼眼图像处理模块200可以通过一个映射对象来存储该像素在重建图像中的位置。随后，在在线阶段，鱼眼图像处理模块200可以使用传统的快速傅里叶变换(FFT)函数、对相同的鱼眼镜头摄像头获取到的原始鱼眼图像根据像素映射关系进行实时变换，得到去失真的图像数据，从而提高鱼眼图像处理的效率。
图6示出了一个示例性实施例中处理从自动驾驶车辆或自主车辆的每个鱼眼镜头摄像头接收的图像的系统和方法。图6所示的操作流程可以通过一个实施例中的鱼眼图像处理模块200来实现。在图6所示的示例实施例中，从自动驾驶车辆的左侧鱼眼镜头摄像头、右侧鱼眼镜头摄像头、顶部安装的鱼眼镜头摄像头或其他鱼眼镜头摄像头接收每个鱼眼镜头摄像头的一个或多个图像流或鱼眼图像数据集(处理块610)。如上所述，一个鱼眼图像数据集对应于来自一个鱼眼镜头摄像头的原始鱼眼图像帧，被划分成多个图像部分，多个图像部分代表原始鱼眼图像帧的多个部分。如上所述，每个图像部分被变换以将摄像头投影视野变形或映射到与映射目标视野对应的直线，映射目标视野通常被相对于摄像头中心和摄像头投影视野的中心之间的直线来进行垂直定向，也即将每帧图像数据的多个图像部分投影变换到二维平面上(处理块620)。在一个特定实施例中，可以提取变换或投影后的图像部分中的物体特征，基于物体特征对变换或投影后的图像部分进行对齐和拼接。进一步，还可以以自动驾驶车辆或自主车辆105的一侧平行的直线对映射目标视野中的物体进行对齐和拼接。在处理块630中，根据从自动驾驶车辆上多个鱼眼镜头摄像头接收到的图像，鱼眼图像处理模块200可针对一帧原始鱼眼图像，将多个变形或映射的图像部分拼接或组合为组合得到的鱼眼图像数据集，该鱼眼图像数据集表示重建的(减少失真的)鱼眼图像数据(处理块630)。组合得到的结果鱼眼图像数据可以作为鱼眼图像处理模块200的输出(处理块640)。可以从组合得到的结果鱼眼图像数据集中提取、识别、匹配和处理物体特征，从而为自动驾驶车辆执行各种控制操作。所提取的物体可用于实现车辆轨迹规划、车辆控制、神经网络训练、仿真等。
图7是另一个操作流程图，图中说明了一个示例实施例中的用于处理从自动驾驶车辆或自主车辆的一个或多个鱼眼镜头摄像头接收的图像的系统和方法。图7所示的操作流程也可以通过鱼眼图像处理模块200的实施例来实现。在图7所示的示例实施例中，使用一个脱机处理阶段650对原始鱼眼图像帧进行预处理，以生成一个或多个组合图像的转换关系，在线处理阶段660可以更方便地使用该组合图像的转换关系。这个过程，在这里称为自动配置或自动校正过程，使原始鱼眼图像的处理速度足够快，从而使得鱼眼图像处理模块200能够应用在在实时环境中，例如自动车辆控制系统。自动校正过程产生的自动校正数据可用于在线处理阶段或操作处理阶段，以降低原始鱼眼图像处理的延迟。如图7所示，脱机处理阶段650可配置为从自动驾驶车辆的一个或多个鱼眼镜头摄像头接收一个或多个图像流或鱼眼图像数据集。如上所述，对应于来自于一个鱼眼镜头摄像头的原始鱼眼图像帧的鱼眼图像数据集，被划分为多个图像部分，这多个图像部分表示原始鱼眼图像帧的多个部分(处理块652)。每个图像部分被转换、以将摄像头投影视野的弧线变形或投影为一个对应映射目标视野的直线，该映射目标视野通常相对于摄像头中心和摄像头投影视野弧线的中心之间的直线来垂直定向(处理块654)。在一个特定实施例中，可以基于从图像部分中提取的物体特征、或者进一步基于与自动驾驶车辆或自主车辆105的一侧平行的直线，对映射目标视野中的物体进行对齐。
仍参照图7中离线处理阶段650的处理块653，根据从自动驾驶车辆的每个鱼眼镜头摄像头接收到的图像，针对一帧原始鱼眼图像，鱼眼图像处理模块200可将多个变形或映射的图像部分拼接或组合在一起，得到一个组合的结果鱼眼图像数据集，该数据集表示重建的(失真减少或消除)鱼眼图像数据(处理块653)。组合的或拼接后的图像数据还可以得到进一步处理，生成组合的图像的变换，以进一步减小合成图像中的失真(处理块655)。最后，将处理块652根据生成的变换关系654得到的结果图像数据与处理块653根据生成的变换关系655得到的图像数据相结合，生成组合后的图像变换关系657，也即前述的像素映射关系。自动校正处理中的一部分离线处理阶段650生成的自动校正数据(即图像变换关系或者像素映射关系)，可以作为输入提供给在线处理阶段660。
参照图7，鱼眼图像处理模块200在在线处理阶段660的处理662中，可以接收到离线处理阶段650生成的组合和转换的鱼眼图像数据657。离线处理生成的转换数据657可用于处理662，以便在在线操作模式下对接收到的原始鱼眼图像数据进行像素的快速映射或变形。预处理后的转换数据657使鱼眼图像处理模块200能够快速地从原始鱼眼图像帧中去除失真，并将未失真(或减少失真)的图像数据作为输出提供给自动驾驶车辆控制系统进行进一步处理。由于鱼眼图像数据在离线处理阶段650中经过多次预处理和变换，提供给在线处理阶段660的组合的鱼眼图像转换数据657，可以加速在线处理阶段660中鱼眼原始图像的处理速度。因此，图7所示的优化示例实施例能够满足自动驾驶车辆控制系统的响应时间要求。
在没有使用本申请公开的优化或者自动校正技术的实施例中，对于中等大小的图像，执行鱼眼图像处理运行的速度可能非常慢。例如对于720p的图像，一个非优化处理可能需要20多分钟的时间，使得非优化处理不适合用于自动驾驶系统，而自动驾驶系统通常需要小于0.2秒的响应时间。如图7所示的示例实施例，通过预计算变形转换数据、以及将多个转换数据组合为一个单独的组合转换数据，能够加速校正操作处理流程的处理速度。从而，在线处理阶段660只需要应用一次变换或像素映射，从而节省了每帧图像的冗余计算时间。通过这种优化方式，多个示例实施例中可以达到每幅图像50Hz的实时性能。这种方法节省了计算时间，并消除了昂贵的校正过程，否则需要对各种图像进行正确的转换。
现在参照图8，本申请公开的示例实施例可用于自动驾驶车辆鱼眼图像处理系统210的环境中。鱼眼图像处理系统210可以包含在上述鱼眼图像处理模块200中，也可以由该模块200执行。该鱼眼图像处理系统210可包括图像变形模块212、图像拼接模块214和物体提取模块216。这些模块可以实现为处理模块、软件或固件元素、处理指令或包含本文描述和/或要求的任何一种或多种方法或功能的其他处理逻辑。鱼眼图像处理系统210可以从一个或多个鱼眼镜头摄像机接收一个或多个图像流或鱼眼图像数据集(处理块205)。如上所述，鱼眼镜头获取的原始鱼眼图像帧对应的鱼眼图像数据集被图像变形模块212划分为多个图像部分，这些图像部分代表原始鱼眼图像帧的多个部分。图像变形模块212进一步转换每个图像部分以将摄像头投影视野中的一个弧变形或者映射为对应于映射目标视野的一个直线，该映射目标视野通常根据摄像头中心和摄像头投影视野的弧的中心之间的直线进行垂直定向。在一个特定实施例中，可以基于提取的物体特征对转换或投影后的图像部分进行对齐。图像拼接模块214可以用于将变形后或变换后的多个图像部分拼接或组合在一起，以形成组合的结果图像，该图像表示对一个或多个鱼眼镜头摄像头的图像数据重建后或者减少失真后的图像数据。物体提取模块216可用于对组合的重建后的图像或者组合的减少失真的图像执行物体提取，以从组合的图像中识别或提取物体。具体来说，目标提取模块216可以对重建对齐的鱼眼图像数据中的特征或物体进行提取、识别、匹配以及处理，实现对自动驾驶车辆的各种控制操作。鱼眼图像处理系统210可以提供上述鱼眼图像数据或物体检测数据220作为输出。
现在参照图9，其中示出了一个示例实施例中用于鱼眼图像处理的系统和方法1000的流程图。该实施例包括：接收至少一个与自动驾驶车辆相关联的鱼眼镜头摄像头的鱼眼图像数据，该鱼眼图像数据表示至少一个鱼眼图像帧(处理块1010)；将该鱼眼图像帧划分为代表该鱼眼图像帧的各部分的多个图像部分(处理块1020)；变形每个图像部分以将摄像头投影视野中的一个弧映射为与一个映射目标视野对应的直线，该映射目标视野通常根据摄像头中心和摄像头投影视野中的弧的中心之间的直线进行垂直定向(处理块1030)；将多个变形后的图像部分组合为一个组合的结果鱼眼图像数据集，该数据集代表与鱼眼图像帧对应的重建的或者减少失真的鱼眼图像数据(处理块1040)；生成表示至少一个鱼眼图像帧中的像素与组合的结果鱼眼图像数据集中的相应像素之间的对应关系的自动校正数据(即前述图像变换关系或像素映射关系)(处理块1050)；并将自动校正数据作为在线阶段自动驾驶车辆鱼眼图像处理的输入(处理块1060)。
如本申请所述，除非另有说明，术语“移动装置”包括任一种计算装置或通信装置，该计算装置或通信装置能够与本文所述的控制系统150和/或鱼眼图像处理模块200进行通信，且以任何一种数据通信模式来获取对所通信的数据信号、消息或内容的读访问或写访问。在许多情况下，移动装置130是一种手持的便携的装置，例如一个智能电话、移动电话、蜂窝电话、台式计算机、手提计算机、显示型寻呼机、射频(RF)装置、红外装置、全球定位装置(GPS)、个人数字助理(PDA)、手持计算机、可穿戴计算机、掌上游戏机、其它的移动通信和/或计算装置，或者一个结合了一个或多个前述装置的集成装置。此外，移动装置130可以是一个计算装置、个人电脑(PC)、多处理器系统、基于微型机的装置或可编程消费电子装置、网络个人电脑、诊断设备、车辆1 05制造商或服务技术员所操作的系统，或者其它类似的装置，并且不限制于是便携设备。移动装置130能够接受和处理多种数据格式的数据。数据格式可以包括或者配置为与任何编程形式、协议、或语言一起进行操作，所述语言包括但不限定于JavaScript、C++、iOS、Android，等等。
如本申请所述除非另有说明，术语“网络资源”包括任何能够与本申请所述的控制系统150和/或与鱼眼图像处理模块200进行通信的装置、系统或者服务，且通过任何一种跨进程或者网络数据通信模式进行通信，以获取对所通信的数据信号、消息或内容的读访问或写访问。在很多情况下，网络资源122是一个数据网络可访问的计算平台，包括多个客户端电脑和服务器电脑、网站、移动装置、点对点(P2P)网络节点、以及类似的装置。此外，网络资源122可以是一个网络设备、网络路由器、网络交换器、网桥、网关、诊断设备、车辆105制造商或服务技术员所操作的系统，或者任何能够执行一系列指令(连续的或其它的)的机器，其中指令所指示的行为能够被机器所理解。进一步地，虽然只描述了一个单独的机器，但是术语“机器”也可以包括任何机器的集合，以单独地或联合地执行一组(或多组)的指令，以实现本文所公开的任意一个或多个方法。网络资源122可以包括多个网络可传输数字内容的提供者或者处理者中的一个。通常所使用的文件格式是可扩展标记语言(XML)，但是多个实施例中并不限定于此，也可以使用其它多种文件格式。例如，除了超文本标记语言(HTML)/XML以外的数据格式，或者除了开放/标准数据格式以外的多种数据格式，也能够应用于多个实施例中。任何电子文件格式都能够被本申请的多个实施例支持，例如可移植文档格式(PDF)、音频(例如，运动图像专家组音频层3——MP3，以及类似的文件格式)、视频(例如MP4，以及类似的文件格式)、以及被特殊内容网站所定义的专有交换格式。
与网络资源122一起使用的广域网数据网络120(也被称为云网络)用于将一个计算装置或者通信装置连接到另一个计算装置或通信装置。该网络可以使用任一种计算机可读数据或者计算机可读媒介，以将信息从一个电子装置发送给另一个电子装置。网络120包括互联网以及广域网(WANs)、蜂窝电话网络、地铁区域网络、本地网(LANs)、其它包交换网络、电路交换网络、数据直连网络、例如通过一个通用串行总线(USB)或者以太端口进行通信的网络、通过其它形式的计算机可读媒介进行通信的网络、或者以上网络的结合。网络120包括互联网以及广域网(WANs)、蜂窝电话网络、卫星网络、无线广播网络、AM/FM无线网络、寻呼网络、UHF网络、其它广播网络、游戏网络、WiFi网络、点对点网络、语音电话网络(VoIP)、地铁区域网络、局域网(LANs)、其它包交换网络、电路交换网络、数据直连网络、例如通过一个通用串行总线(USB)或者以太端口进行通信的网络、通过其它形式的计算机可读媒介进行通信的网络、或者以上网络的结合。在一个包括不同的架构和协议的互联的网络集合中，一个路由器或网关可以作为网络间的连接，使得信息能够在不同网络中的计算装置之间发送。并且，网络之间的通信连接通常可以包括双绞电缆，USB，火线，以太网或者同轴电缆，同时网络间的通信连接可以使用模拟或数字电话线，全部或部分的专用数字线路，包括T1，T2，T3和T4，综合业务数字网(ISDNs)，数字用户线(DSLs)，无线连接包括卫星连接，蜂窝电话连接，或者其它为本领域普通技术人员所熟知的其它通信连接。更进一步地，远程电脑或者其它相关的电子装置可以通过一个调制解调器和临时电话链路远程连接到网络。
网络120可以进一步包括多个无线子网络中的任意一个，这些无线子网络可以进一步覆盖多个独立自组网、以及类似的网络，从而提供一种基础连接。这样的子网络可以包括网状网络、无线局域网(WLAN)、蜂窝网络、以及类似的网络。网络还可以包括一个独立系统，该独立系统包括多个终端、网关、路由器、以及其它由无线射频链路或者无线收发器连接的类似的设备。这些连接器可以自由且随机地移动以及任意组织它们自身，例如拓扑网络可以迅速的得到改变。网络120可以进一步地应用多个标准无线协议和/或蜂窝协议或者应用多种接入技术中的一个或多个，这些接入技术包括这里所提出的、与附图所示的网络接口712和网络714相连接的接入技术。
在一个特别的实施例中，移动装置132和/或一个网络资源122可以作为客户端装置，允许用户访问和使用控制系统150和/或鱼眼图像处理模块200，以与一个车内子系统的一个或多个构件进行交互。这些客户端装置132或122可以实际包括任何用于通过网络发送和接收信息的计算装置，该网络可以是本申请所述的网络120。这样的客户端装置可以包括移动装置，例如蜂窝电话、智能电话、台式电脑、显示型寻呼机、射频(RF)装置、红外(IR)装置、全球定位装置(GPS)、个人数字助理(PDAs)、手持计算机、可穿戴计算机、游戏控制器、上述装置中的一个或多个的集成装置，以及类似的装置。所述客户端装置也可以包括其它计算装置，例如个人电脑(PCs)、多处理器系统、基于微型机的装置或可编程消费电子装置、网络个人电脑、以及类似的装置。如此，根据功能和特性的不同，客户端装置可以包括多种装置。例如，一个作为蜂窝电话的客户端装置可以包括一个数字键盘和多行单色液晶显示屏，在该显示屏上只有文本能够显示。在另一个实施例中，可联网的客户端装置可以包括一个触敏屏、一个触笔、和一个彩色液晶显示屏，在该显示屏上文本和图形都可以显示。并且，可联网的客户端装置可以包括一个浏览器应用，以使客户端装置可以接收和发送无线应用协议(WAP)消息和/或有线应用消息，以及类似的消息。在一个实施例中，浏览器应用可以使用超文本标记语言(HTML)、动态HTML、手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScriptTM、Extensible HTML(xHTML)、压缩HTML(CHTML)、以及类似的语言，以显示和发送一个携带有相关信息的消息。
客户端装置可以包括至少一个客户端应用，该客户端应用用于通过网络传输从另一个计算装置接收内容或者消息。该客户端应用可以包括提供和接收文本内容、图形内容、视频内容、音频内容、告警、消息、通知等等的功能。并且，该客户端装置可以更进一步地用于与另一个计算装置或类似的装置进行通信和/或接收一个消息，例如通过一个短消息服务(SMS)、私聊消息(例如推特)、电子邮件、多媒体消息服务(MMS)、即时消息(IM)、网上实时聊天(IRC)、mIRC、Jabber、增强的消息服务(EMS)、文本消息、智能消息、空中下载(OTA)消息、或者类似的消息。客户端装置可以包括一个无线应用装置，在该无线应用装置上一个客户端应用可用于使装置的使用者通过网络以无线通信方式向网络资源发送信息或者从网络资源接收信息。
控制系统150和/或鱼眼图像处理模块200可以使用提高操作环境安全性的系统，从而改进安全性以及减少控制系统150和/或鱼眼图像处理模块200以及相关服务受到病毒或恶意软件攻击的可能性。例如，控制系统150和/或鱼眼图像处理模块200可以在一个受信的执行环境中得以实施，该受信的执行环境能保证以安全的方式对敏感数据进行存储、处理和通信。
图10示出了计算系统700的机器形态的示例，当计算机系统700中的一组指令被执行和/或处理逻辑被激活时，将会使该机器执行本申请所描述和/或要求的多个方法中的任意一个或多个方法。在其他可选实施例中，该机器可作为一个单独设备而运行，也可以连接(例如网络连接)到其他机器来运行。在一个基于网络的部署中，根据其能力，该机器可以在服务器-客户端的网络环境中作为服务器或者客户端运行，或者作为一个点对点网络中的对等机器。该机器可以是一个个人计算机(PC)、台式计算机、平板计算系统、个人数字助理(PDA)、蜂窝电话、智能电话、网络设备、机顶盒(STB)、网络路由器、交换机或网桥、或者是任何能够执行一组指令(顺序的或者其它形式的)的机器、或者是任何能够激活处理逻辑的机器，其中处理逻辑所指示的行为能够被该机器理解。进一步地，虽然这里只描述了一个单独的机器，但是术语“机器”还可以理解为包括任何单独或者联合执行一组(或多组)指令或处理逻辑以执行任意一个或多个本申请所描述和/或要求的方法的机器集合。
示例性的计算系统700能够包括一个数据处理器702(例如，一个片上系统(SoC)，通用处理核，图形核，以及可选的其它处理逻辑)以及一个存储器704，该数据处理器702和存储器704之间可以通过一个总线或者其它数据传输系统706进行通信。移动计算和/或通信系统700可以进一步包括各种输入/输出(I/O)装置和/或接口710，例如一个触屏显示器、一个耳机插座、一个声音接口、以及可选的一个网络接口712。在一个示例性实施例中，网络接口712可以包括一个或多个无线收发器，该无线收发器兼容任何一个或多个标准无线和/或蜂窝协议或者接入技术(例如2代(2G)、2.5代、3代(3G)、4代(4G)、以及未来代的无线接入技术用于以接入蜂窝系统、全球移动通信系统(GSM)、通用分组无线业务(GPRS)、增强数据GSM环境(EDGE)、宽带码分多址接入(WCDMA)、LTE、CDMA2000、WLAM、无线路由器(WR)网、以及类似的接入技术)。网络接口712可以使用各种其他有线和/或无线通信协议，包括TCP/IP、UDP、SIP、SMS、RTP、WAP、CDMA、TDMA、UMTS、UWB、WiFi、WiMAX、IEEE802.11x，以及类似的通信协议。基本上，网络接口712可以实际包括或者支持任何有线和/或无线通信机制和数据处理机制，通过该无线通信机制和数据处理机制，信息/数据可以在一个计算系统700以及通过网络714连接的其它计算或通信系统之间进行传输。
存储器704可以是一个机器可读介质，其中存储一组或者多组指令，软件，硬件或者其它处理逻辑(例如逻辑708)以实现本申请描述和/或要求的一个或多个方法或功能。在移动计算和/或通信系统700执行处理逻辑708时，处理逻辑708或其部分可以全部或至少部分常驻于处理器702中。如此，存储器704和处理器702也可以组成机器可读介质。逻辑708或其部分也可以被配置为处理逻辑或逻辑，逻辑708的至少一部分被实施在硬件中。可以通过网络接口712从网络714发送或者接收全部或部分的逻辑708。虽然在一个示例性实施例中机器可读介质可以是一个单独的介质，术语“机器可读介质”也可以理解为包括一个单独非易失性介质或者多个非易失性介质(例如集成或者分布数据库，和/或相关的闪存和计算系统)存储一组或者多组指令。术语“机器可读介质”也可以理解为包括任何非易失性介质，该非易失性介质能够存储、编码或者是携带一组指令、以使得机器执行多个实施例中的一个或多个方法，或者该非易失性介质能够存储、编码或者携带上述一组指令所使用的或者相关的数据结构。术语“机器可读介质”相应地可以理解为包括但不限于固态存储器，光学媒体和磁性媒体。
本公开所提供的摘要使得读者能够快速地确定本技术公开的实质。能够理解的是摘要不用于解释或者限定权利要求的范围或含义。此外，在前面详细的描述中，为了清楚地说明本公开，在一个实施例中多个技术特征被组合在一起。这种公开的方法不能被解释为如下意图，即所要求的实施例需要比权利要求中所公开的技术特征更多的技术特征。相反，如权利要求所反映出来的，具有发明性的实质性内容比所公开的一个单独实施例里的全部技术特征要少。从而，全部权利要求被结合到详细描述中，每条权利要求就是一个单独的实施例。

Claims (40)

1.一种系统，包括：
数据处理器；以及
鱼眼图像处理系统，其能够由所述数据处理器执行，所述鱼眼图像处理系统被配置为：
从与自主车辆相关联的至少一个鱼眼镜头摄像头接收鱼眼图像数据，所述鱼眼图像数据表示至少一个鱼眼图像帧；
将所述鱼眼图像帧分割为表示所述鱼眼图像帧的各部分的多个图像部分；
使所述多个图像部分中的每一个变形以将摄像头投影视野中的弧映射为与映射目标视野对应的直线，所述映射目标视野基本上与摄像头中心和所述摄像头投影视野中的所述弧的中心之间的直线垂直；
对变形后的所述多个图像部分进行组合以形成组合的结果鱼眼图像数据集，所述数据集表示与所述鱼眼图像帧对应的重建的或者减少失真的鱼眼图像数据；
生成表示所述至少一个鱼眼图像帧中的像素与所述组合的结果鱼眼图像数据集中的相应像素之间的对应关系的自动校正数据；以及
将所述组合的结果鱼眼图像数据集提供为用于其他自主车辆子系统的输出。
2.根据权利要求1所述的系统，还被配置为对所述组合的结果鱼眼图像数据集执行目标提取以在所述鱼眼图像帧中识别提取的目标。
3.根据权利要求1所述的系统，还被配置为将所述映射目标视野与平行于所述自主车辆的一侧的直线进行对齐。
4.根据权利要求1所述的系统，其中所述至少一个鱼眼镜头摄像头是来自由以下各者组成的组：左侧鱼眼镜头摄像头、右侧鱼眼镜头摄像头和顶部安装的鱼眼镜头摄像头。
5.根据权利要求1所述的系统，还被配置为获得所述鱼眼镜头的参数，所述参数包括鱼眼镜头的半径、镜头开孔、焦距和目标视野的角度。
6.根据权利要求1所述的系统，还被配置为将所述鱼眼图像帧中的像素映射到所述组合的结果鱼眼图像数据集中的像素。
7.根据权利要求1所述的系统，还被配置为将所述鱼眼图像帧中的像素映射到所述组合的结果鱼眼图像数据集中的像素并对所有所述像素映射进行组合以产生用于优化的端到端映射。
8.一种方法，包括：
从与自主车辆相关联的至少一个鱼眼镜头摄像头接收鱼眼图像数据，所述鱼眼图像数据表示至少一个鱼眼图像帧；
将所述鱼眼图像帧分割为表示所述鱼眼图像帧的各部分的多个图像部分；
使所述多个图像部分中的每一个变形以将摄像头投影视野中的弧映射为与映射目标视野对应的直线，所述映射目标视野基本上与摄像头中心和所述摄像头投影视野中的所述弧的中心之间的直线垂直；
对变形后的所述多个图像部分进行组合以形成组合的结果鱼眼图像数据集，所述数据集表示与所述鱼眼图像帧对应的重建的或者减少失真的鱼眼图像数据；
生成表示所述至少一个鱼眼图像帧中的像素与所述组合的结果鱼眼图像数据集中的相应像素之间的对应关系的自动校正数据；以及
将所述组合的结果鱼眼图像数据集提供为用于其他自主车辆子系统的输出。
9.根据权利要求8所述的方法，包括：对所述组合的结果鱼眼图像数据集执行目标提取以在所述鱼眼图像帧中识别提取的目标。
10.根据权利要求8所述的方法，包括：将所述映射目标视野与平行于所述自主车辆的一侧的直线进行对齐。
11.根据权利要求8所述的方法，其中所述至少一个鱼眼镜头摄像头是来自由以下各者组成的组：左侧鱼眼镜头摄像头、右侧鱼眼镜头摄像头和顶部安装的鱼眼镜头摄像头。
12.根据权利要求8所述的方法，包括：获得所述鱼眼镜头的参数，所述参数包括鱼眼镜头的半径、镜头开孔、焦距和目标视野的角度。
13.根据权利要求8所述的方法，包括：将所述鱼眼图像帧中的像素映射到所述组合的结果鱼眼图像数据集中的像素。
14.根据权利要求8所述的方法，包括：将所述鱼眼图像帧中的像素映射到所述组合的结果鱼眼图像数据集中的像素并对所有所述像素映射进行组合以产生用于优化的端到端映射。
15.一种体现指令的非暂态机器可用存储介质，所述指令在由机器执行时引起所述机器：
从与自主车辆相关联的至少一个鱼眼镜头摄像头接收鱼眼图像数据，所述鱼眼图像数据表示至少一个鱼眼图像帧；
将所述鱼眼图像帧分割为表示所述鱼眼图像帧的各部分的多个图像部分；
使所述多个图像部分中的每一个变形以将摄像头投影视野中的弧映射为与映射目标视野对应的直线，所述映射目标视野基本上与摄像头中心和所述摄像头投影视野中的所述弧的中心之间的直线垂直；
对变形后的所述多个图像部分进行组合以形成组合的结果鱼眼图像数据集，所述数据集表示与所述鱼眼图像帧对应的重建的或者减少失真的鱼眼图像数据；
生成表示所述至少一个鱼眼图像帧中的像素与所述组合的结果鱼眼图像数据集中的相应像素之间的对应关系的自动校正数据；以及
将所述组合的结果鱼眼图像数据集提供为用于其他自主车辆子系统的输出。
16.根据权利要求15所述的非暂态机器可用存储介质，还被配置为对所述组合的结果鱼眼图像数据集执行目标提取以识别所述鱼眼图像帧中的提取的目标。
17.根据权利要求15所述的非暂态机器可用存储介质，还被配置为将所述映射目标视野与平行于所述自主车辆的一侧的直线进行对齐。
18.根据权利要求15所述的非暂态机器可用存储介质，其中所述至少一个鱼眼镜头摄像头是来自由以下各者组成的组：左侧鱼眼镜头摄像头、右侧鱼眼镜头摄像头和顶部安装的鱼眼镜头摄像头。
19.根据权利要求15所述的非暂态机器可用存储介质，还被配置为获得所述鱼眼镜头的参数，所述参数包括鱼眼镜头的半径、镜头开孔、焦距和目标视野的角度。
20.根据权利要求15所述的非暂态机器可用存储介质，还被配置为将所述鱼眼图像帧中的像素映射到所述组合的结果鱼眼图像数据集中的像素。
21.一种系统，包括：
数据处理器；以及
鱼眼图像处理系统，其能够由所述数据处理器执行，所述鱼眼图像处理系统包括离线处理阶段和在线处理阶段，其中所述鱼眼图像处理系统被配置为：
从与自主车辆相关联的至少一个鱼眼镜头摄像头接收鱼眼图像数据，所述鱼眼图像数据表示至少一个鱼眼图像帧；
使用所述离线处理阶段对所述鱼眼图像数据进行预处理，以生成一个或多个组合图像变换关系；
使用所述组合图像变换关系作为所述在线处理阶段的输入；
使用所述组合图像变换关系快速地从提供给所述在线处理阶段的鱼眼图像数据中的每个原始鱼眼图像帧中去除失真；以及
将所述组合的结果鱼眼图像数据集提供为用于其他自主车辆子系统的输出。
22.根据权利要求21所述的系统，其中所述离线处理阶段被配置为：
将所述鱼眼图像数据的所述至少一个鱼眼图像帧中的每一个分割为表示每个鱼眼图像帧的各部分的多个图像部分；
使所述多个图像部分中的每一个变形以将摄像头投影视野中的弧映射为与映射目标视野对应的直线，所述映射目标视野基本上与摄像头中心和所述摄像头投影视野中的所述弧的中心之间的直线垂直；以及
组合所述多个图像部分以形成所述组合图像变换关系。
23.根据权利要求21所述的系统，其中所述组合图像变换关系被组合成单个组合变换关系，进一步其中所述单个组合变换关系由所述在线处理阶段应用一次。
24.根据权利要求22所述的系统，其中所述组合图像变换关系被组合成单个组合变换关系，进一步其中所述单个组合变换关系由所述在线处理阶段应用一次。
25.根据权利要求21所述的系统，其中所述至少一个鱼眼镜头摄像头是来自由以下各者组成的组：左侧鱼眼镜头摄像头、右侧鱼眼镜头摄像头和顶部安装的鱼眼镜头摄像头。
26.根据权利要求21所述的系统，其还被配置为获得所述鱼眼镜头摄像头的参数，所述参数包括鱼眼镜头的半径、镜头开孔、焦距和目标视野的角度。
27.根据权利要求21所述的系统，其还被配置为将所述鱼眼图像帧中的像素映射到所述组合的结果鱼眼图像数据集中的像素。
28.根据权利要求21所述的系统，还被配置为减少每个图像的冗余计算时间，使得所述系统达到每个图像50Hz的实时性能。
29.一种方法，包括：
从与自主车辆相关联的至少一个鱼眼镜头摄像头接收鱼眼图像数据，所述鱼眼图像数据表示至少一个鱼眼图像帧；
将所述至少一个鱼眼图像帧中的每个帧分割为表示所述鱼眼图像帧的各部分的多个图像部分；
使所述多个图像部分中的每一个变形以将摄像头投影视野中的弧映射为与映射目标视野对应的直线，所述映射目标视野基本上与摄像头中心和所述摄像头投影视野中的所述弧的中心之间的直线垂直；
处理变形后的所述多个图像部分以产生第一变换关系；
将变形后的所述多个图像部分中的每一个拼接在一起，以形成组合的结果鱼眼图像数据集；
处理所述组合的结果鱼眼图像数据集以产生第二变换关系；
生成表示所述第一变换关系和所述第二变换关系的组合的自动校正数据；
将所述自动校正数据提供给图像处理模块的在线处理阶段；
将来自与自主车辆相关联的所述至少一个鱼眼镜头摄像头的原始鱼眼图像数据提供给所述在线处理阶段；
通过所述在线处理阶段将所述原始鱼眼图像数据分割为表示所述鱼眼图像帧的各部分的第二多个图像部分；
通过所述在线处理阶段使所述第二多个图像部分中的每一个变形以将所述摄像头投影视野中的所述弧映射为与映射目标视野对应的直线，所述变形包括除所述第二多个图像部分之外还获取所述自动校正数据以作为输入；
产生减少失真的鱼眼图像数据；以及
将所述减少失真的鱼眼图像数据提供给自主车辆控制系统以进行进一步处理。
30.根据权利要求29所述的方法，包括：对所述组合的结果鱼眼图像数据集执行目标提取以在所述鱼眼图像帧中识别提取的目标。
31.根据权利要求29所述的方法，包括：将所述映射目标视野与平行于所述自主车辆的一侧的直线进行对齐。
32.根据权利要求29所述的方法，其中所述至少一个鱼眼镜头摄像头是来自由以下各者组成的组：左侧鱼眼镜头摄像头、右侧鱼眼镜头摄像头和顶部安装的鱼眼镜头摄像头。
33.根据权利要求29所述的方法，包括：获得所述鱼眼镜头摄像头的参数，所述参数包括鱼眼镜头的半径、镜头开孔、焦距和目标视野的角度。
34.根据权利要求29所述的方法，包括：将所述鱼眼图像帧中的像素映射到所述组合的结果鱼眼图像数据集中的像素。
35.一种体现指令的非暂态机器可用存储介质，所述指令在由机器执行时引起所述机器：
从与自主车辆相关联的至少一个鱼眼镜头摄像头接收鱼眼图像数据，所述鱼眼图像数据表示至少一个鱼眼图像帧；
将所述至少一个鱼眼图像帧中的每个帧分割为表示所述鱼眼图像帧的各部分的多个图像部分；
使所述多个图像部分中的每一个变形以将摄像头投影视野中的弧映射为与映射目标视野对应的直线，所述映射目标视野基本上与摄像头中心和所述摄像头投影视野中的所述弧的中心之间的直线垂直；
处理变形后的所述多个图像部分以产生第一变换关系；
将变形后的所述多个图像部分中的每一个拼接在一起，以形成组合的结果鱼眼图像数据集；
处理所述组合的结果鱼眼图像数据集以产生第二变换关系；
生成表示所述第一变换关系和所述第二变换关系的组合的自动校正数据；
将所述自动校正数据提供给图像处理模块的在线处理阶段；
将来自与自主车辆相关联的所述至少一个鱼眼镜头摄像头的原始鱼眼图像数据提供给所述在线处理阶段；
通过所述在线处理阶段将所述原始鱼眼图像数据分割为表示所述鱼眼图像帧的各部分的第二多个图像部分；
通过所述在线处理阶段使所述第二多个图像部分中的每一个变形以将所述摄像头投影视野中的所述弧映射为与映射目标视野对应的直线，其中除所述第二多个图像部分之外，所述在线处理阶段还获得所述自动校正数据以作为输入；
产生减少失真的鱼眼图像数据；以及
将所述减少失真的鱼眼图像数据提供给自主车辆控制系统以进行进一步处理。
36.根据权利要求35所述的非暂态机器可用存储介质，还被配置为对所述组合的结果鱼眼图像数据集执行目标提取以在所述鱼眼图像帧中识别提取的目标。
37.根据权利要求35所述的非暂态机器可用存储介质，还被配置为将所述映射目标视野与平行于所述自主车辆的一侧的直线进行对齐。
38.根据权利要求35所述的非暂态机器可用存储介质，其中所述至少一个鱼眼镜头摄像头是来自由以下各者组成的组：左侧鱼眼镜头摄像头、右侧鱼眼镜头摄像头和顶部安装的鱼眼镜头摄像头。
39.根据权利要求35所述的非暂态机器可用存储介质，还被配置为获得所述鱼眼镜头摄像头的参数，所述参数包括鱼眼镜头的半径、镜头开孔、焦距和目标视野的角度。
40.根据权利要求35所述的非暂态机器可用存储介质，还被配置为将所述鱼眼图像帧中的像素映射到所述组合的结果鱼眼图像数据集中的像素。
CN202311301050.9A 2018-10-19 2019-10-18 一种鱼眼图像处理系统和方法 Pending CN117360384A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/165,951 2018-10-19
US16/165,951 US10796402B2 (en) 2018-10-19 2018-10-19 System and method for fisheye image processing
CN201911004108.7A CN111071152B (zh) 2018-10-19 2019-10-18 一种鱼眼图像处理系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911004108.7A Division CN111071152B (zh) 2018-10-19 2019-10-18 一种鱼眼图像处理系统和方法

Publications (1)

Publication Number Publication Date
CN117360384A true CN117360384A (zh) 2024-01-09

Family

ID=70280930

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201911004108.7A Active CN111071152B (zh) 2018-10-19 2019-10-18 一种鱼眼图像处理系统和方法
CN201911004109.1A Pending CN111071153A (zh) 2018-10-19 2019-10-18 一种鱼眼图像处理系统和方法
CN202311301050.9A Pending CN117360384A (zh) 2018-10-19 2019-10-18 一种鱼眼图像处理系统和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201911004108.7A Active CN111071152B (zh) 2018-10-19 2019-10-18 一种鱼眼图像处理系统和方法
CN201911004109.1A Pending CN111071153A (zh) 2018-10-19 2019-10-18 一种鱼眼图像处理系统和方法

Country Status (2)

Country Link
US (2) US10796402B2 (zh)
CN (3) CN111071152B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10796402B2 (en) * 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
US11669942B2 (en) * 2019-09-20 2023-06-06 Synaptics Incorporated Image de-warping system
JP7350671B2 (ja) * 2020-02-25 2023-09-26 三菱重工業株式会社 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム
CN112101361B (zh) * 2020-11-20 2021-04-23 深圳佑驾创新科技有限公司 针对鱼眼图像的目标检测方法、装置、设备和存储介质
FR3118253B1 (fr) * 2020-12-17 2023-04-14 Renault Sas Système et procédé de calcul d’une image finale d’un environnement d’un véhicule
CN112927304B (zh) * 2021-02-22 2022-08-19 桂林电子科技大学 一种基于卷积神经网络的鱼眼镜头标定方法
JP7244562B2 (ja) * 2021-03-23 2023-03-22 本田技研工業株式会社 移動体の制御装置及び制御方法並びに車両
CN113947638B (zh) * 2021-10-04 2023-05-05 桂林理工大学 鱼眼相机影像正射纠正方法
CN116563186A (zh) * 2023-05-12 2023-08-08 中山大学 一种基于专用ai感知芯片的实时全景感知系统及方法

Family Cites Families (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
JP4048511B2 (ja) * 1998-03-13 2008-02-20 富士通株式会社 魚眼レンズカメラ装置及びその画像歪み補正方法
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
WO2005098782A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Collision warning system
WO2005098739A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Pedestrian detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
EP1790541A2 (en) 2005-11-23 2007-05-30 MobilEye Technologies, Ltd. Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US8064643B2 (en) 2006-12-06 2011-11-22 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
TWI441514B (zh) 2008-11-12 2014-06-11 Avisonic Technology Corp 魚眼影像校正及減輕透視變形的影像處理方法及相關影像處理裝置
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
JP5169787B2 (ja) * 2008-12-12 2013-03-27 大日本印刷株式会社 画像変換装置および画像変換方法
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8582881B2 (en) 2009-03-26 2013-11-12 Tp Vision Holding B.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US9002632B1 (en) 2009-07-19 2015-04-07 Aaron T. Emigh Fuel cost optimized routing
CN101783011B (zh) * 2010-01-08 2011-12-07 宁波大学 一种鱼眼镜头的畸变校正方法
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
US9179072B2 (en) 2010-10-31 2015-11-03 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
EP2641401B1 (en) 2010-11-15 2017-04-05 Huawei Technologies Co., Ltd. Method and system for video summarization
CN201892936U (zh) * 2010-12-06 2011-07-06 中国航空工业集团公司第六三一研究所 一种视频转换装置
EP2993654B1 (en) 2010-12-07 2017-05-03 Mobileye Vision Technologies Ltd. Method and system for forward collision warning
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
WO2013015416A1 (ja) 2011-07-28 2013-01-31 本田技研工業株式会社 ワイヤレス送電方法
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9120485B1 (en) * 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
US8908041B2 (en) 2013-01-15 2014-12-09 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
WO2014201324A1 (en) 2013-06-13 2014-12-18 Gideon Stein Vision augmented navigation
CN103456171B (zh) * 2013-09-04 2016-04-06 北京英泰智软件技术发展有限公司 一种基于鱼眼镜头的车流量检测系统、方法及图像校正方法
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
CN110920609B (zh) 2013-12-04 2023-08-22 移动眼视力科技有限公司 用于模仿前车的系统和方法
WO2015103159A1 (en) 2013-12-30 2015-07-09 Tieman Craig Arnold Connected vehicle system with infotainment interface for mobile devices
US9205835B2 (en) 2014-01-30 2015-12-08 Mobileye Vision Technologies Ltd. Systems and methods for detecting low-height objects in a roadway
CN109884618B (zh) 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
CN103996172B (zh) * 2014-05-08 2016-08-31 东北大学 一种基于多步校正的鱼眼图像校正方法
WO2015177648A1 (en) * 2014-05-14 2015-11-26 Ofer Springer Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
CN106796648B (zh) 2014-06-03 2020-11-24 御眼视觉技术有限公司 用于检测对象的系统和方法
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
JP6436237B2 (ja) 2015-07-23 2018-12-12 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
US20170118475A1 (en) * 2015-10-22 2017-04-27 Mediatek Inc. Method and Apparatus of Video Compression for Non-stitched Panoramic Contents
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
CN106327478A (zh) * 2016-08-31 2017-01-11 北京的卢深视科技有限公司 一种鱼眼全景图像合成处理方法及装置
CN106815808A (zh) * 2017-01-20 2017-06-09 长沙全度影像科技有限公司 一种利用分块运算的图像拼接方法
CN106875339B (zh) * 2017-02-22 2020-03-27 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
US9953236B1 (en) * 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法
KR102275310B1 (ko) * 2017-04-20 2021-07-12 현대자동차주식회사 자동차 주변의 장애물 검출 방법
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
US10528851B2 (en) * 2017-11-27 2020-01-07 TuSimple System and method for drivable road surface representation generation using multimodal sensor data
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US10872419B2 (en) * 2018-09-04 2020-12-22 GM Global Technology Operations LLC Method and apparatus for evaluating a vehicle travel surface
US11055541B2 (en) * 2018-10-12 2021-07-06 Volvo Car Corporation Vehicle lane marking and other object detection using side fisheye cameras and three-fold de-warping
US10796402B2 (en) * 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US10846831B2 (en) * 2018-12-19 2020-11-24 GM Global Technology Operations LLC Computing system for rectifying ultra-wide fisheye lens images

Also Published As

Publication number Publication date
US10796402B2 (en) 2020-10-06
CN111071152B (zh) 2023-10-03
US11935210B2 (en) 2024-03-19
US20200126179A1 (en) 2020-04-23
CN111071152A (zh) 2020-04-28
US20200410634A1 (en) 2020-12-31
CN111071153A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111071152B (zh) 一种鱼眼图像处理系统和方法
US11830205B2 (en) System and method for online real-time multi- object tracking
CN110753934B (zh) 主动选择和标记图像以进行语义分割的系统和方法
US11727691B2 (en) System and method for three-dimensional (3D) object detection
US10528851B2 (en) System and method for drivable road surface representation generation using multimodal sensor data
US10303956B2 (en) System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10657390B2 (en) System and method for large-scale lane marking detection using multimodal sensor data
US11610406B2 (en) System and method for lateral vehicle detection
CN111108505B (zh) 用于检测交通工具的尾灯信号的系统和方法
CN110914778A (zh) 用于基于语义分割的图像定位的系统和方法
CN111356620A (zh) 用于自主车辆控制以最小化能量成本的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination