CN110378184A - 一种应用于自动驾驶车辆的图像处理方法、装置 - Google Patents
一种应用于自动驾驶车辆的图像处理方法、装置 Download PDFInfo
- Publication number
- CN110378184A CN110378184A CN201910192584.XA CN201910192584A CN110378184A CN 110378184 A CN110378184 A CN 110378184A CN 201910192584 A CN201910192584 A CN 201910192584A CN 110378184 A CN110378184 A CN 110378184A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- map
- processing
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 25
- 239000003086 colorant Substances 0.000 claims abstract description 11
- 230000008447 perception Effects 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000006002 Pepper Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005194 fractionation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G06T5/75—
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
Abstract
本申请公开了一种应用于自动驾驶车辆的图像处理方法、装置。一方面，该方法包括接收来自于一个传感器阵列的图像；其中，该接收到的图像包括x‑y像素阵列，并且基于一个图谱中的对应的x‑y值、所述x‑y像素阵列中的每个像素具有从三原色中选择出的一个颜色的值。该方法还包括对接收到的图像进行预处理得到预处理图像。该方法还包括对预处理图像进行机器感知处理，确定得到图像中多个物理实体的一个或多个轮廓。
Description
技术领域
本申请涉及图像处理领域，特别涉及一种应用于自动驾驶车辆的图像处理方法、装置和存储介质。
背景技术
自动驾驶是一种感知车辆的位置和运动，并根据感知的结果为车辆导航、控制车辆向目的地行驶的技术。自动驾驶技术在人们出行、货物运输和运输服务方面具有重要的应用。自动驾驶能够保证车辆和乘客的安全，以及车辆附近的人和物的安全。自动驾驶技术的一个组成部分包括对车辆摄像头获取的图像进行分析，以识别出自动驾驶车辆所在道路上的固定物体或者移动物体。
发明内容
本申请实施例提供了一种应用于自动驾驶车辆的图像处理方法、装置和存储介质。一方面，该方法包括图像处理装置接收来自于一个传感器阵列的图像；其中，该接收到的图像包括二维像素矩阵，所述像素矩阵中的每个像素具有根据一个预设图谱中对应像素的颜色、从该像素的三原色中选择出的对应的颜色的值，该预设图谱中的每个像素具有三原色中的一种颜色。该方法还包括对接收到的图像进行预处理得到预处理图像。该方法还包括对预处理图像进行感知处理，确定得到物体识别的结果。
该方法还可以包括以下特征的任意结合。所述接收到的图像是通过与所述图谱对应的一个或多个滤色片、对所述传感器阵列获得的原始图像进行滤色生成的。在所述图谱中包括的绿色像素值的数量多于红色像素值的数量和蓝色像素值的数量。在根据所述图谱选择后的图像中，在一行像素中或在一列像素中，每间隔一个像素的颜色为绿色。所述图谱为拜尔图谱，所述拜尔图谱具有重复排列的2*2像素网格，每个像素网格中的四个像素的颜色分别为红-绿-绿-蓝。所述预处理包括图像裁剪处理、图像缩放处理、和/或图像压缩处理。所述预处理中去除掉去马赛克处理、白平衡处理和/或去噪处理。物体识别的结果包括识别出图像中多个物理实体中的一个或者多个的轮廓。物体识别的结果包括在图像中的物体上叠加边界框。所述传感器阵列包括摄像头。
另一方面，本申请实施例提供的图像处理装置，包括一个处理器、一个存储器以及一个通信接口，其中该处理具有内置程序，该程序被执行后实现如上所述的图像处理方法。
另一方面，本申请实施例提供的计算机可读存储介质中存储有代码，该代码被一个处理器执行后实现如上所述的图像处理方法。
上述方面和公开的特征将在以下的附图和说明书中进一步描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本申请一些实施例提供的应用于自动驾驶车辆的图像处理方法的处理流程图；
图2为本申请提供的应用于自动驾驶车辆的减少彩色图像的数据流的示例；
图3为通过不同比例的拜尔图像来显示拜尔图谱的示例；
图3A为显示为灰度色阶的拜尔图谱图像的一个示例；
图4为本申请一些示例性实施例提供的感知结果的示例；
图5为本申请一些实施例提供的装置的示例。
具体实施方式
静态摄像头或者视频摄像头获取的图像是为人类视觉所用的。全彩色图像在三原色上具有高分辨率，三原色包括红色(R)、绿色(G)和蓝色(B)。图像处理通常对处理过的和渲染好的图像进行处理，这些图像通常是针对人类视觉的，这些处理包括多种任务，例如物体识别、语义分割以及其它任务。但是，用于机器处理的图像不需要具有用于人类视觉处理的图像所具有的特征。例如，应用于自动驾驶车辆的机器视觉处理可以不包括针对人类视觉的图像处理，例如去马赛克、白平衡、色彩还原等处理。由于这些处理不会为图像增加新的信息，也不会为机器视觉处理带来增益，从而不是机器视觉处理所需或者有用的处理。如果不执行一些处理也可以得到机器视觉所需的图像，例如引起过度曝光的白平衡。而且，机器视觉处理所需的表达图像的数据量，要少于通过全彩色RGB表达图像的数据量。其中，去马赛克处理包括在传感器阵列上叠加一个滤色阵列，从传感器阵列输出的不完整颜色样本中重建出全彩色图像。白平衡处理包括缩放一个或多个像素的R，G或B值。去噪处理包括去除椒盐噪声，在椒盐噪声中一个噪声像素与周围像素的颜色不具有关联；或者去噪处理包括去除高斯噪声。
在一些示例性实施例中，可以减少图像中每个像素的RGB信息、使每个像素只具有R、G或B中的一个颜色的强度值，而不是每个像素都包括全部R、G和B的强度值，这样可以减少图像中每个像素的RGB信息。可以针对一个图像中的像素阵列，预设一个RGB图谱。通过将每个像素的强度值的数量从三个减少到一个，表达一个图像的数据量能够减少到一帧全彩色RGB图像数据量的三分之一。通过这种方式可以将表达一个图像的数据量减少到三分之一，同时能够维持图像中具有色彩的物体所必需的色彩敏感度。并且通过减少表达图像的数据量，能够减少在指定时间内传输图像的带宽，或者能够在更少的时间内传输图像或处理图像。这些特征都能够改进机器视觉的性能和响应能力。例如，一个摄像头获取的图像具有200*300个像素，也即60,000个像素，如果通过一个8比特的红色值、一个8比特的绿色值和一个8比特的蓝色值来表达每个像素，那么表达一个彩色图像的总数据量为300(像素)*200(像素)*8(位)*3(颜色)＝1,440,000位比特。通过使用预设图谱为每个像素从R，G和B三个颜色中选择一个颜色，表达图像的数据的比特量能够减少到480,000比特。以上只是通过一个例子进行了说明，其它的图像像素数量、每种颜色分辨率的比特位，不做具体限定。
本申请实施例提供的图像处理方法可以通过一个图像处理装置来执行。该装置可以位于自动驾驶车辆中，例如自动驾驶车辆的车载服务器。该装置也可以是一个用于模拟或者测试自动驾驶功能的计算装置，该装置可以是云端计算装置或者本地计算装置，在以下的描述中该也被称为计算装置。
图1示出了本申请一些实施例提供的应用于自动驾驶车辆的图像处理流程100。在步骤110中，接收一个图像。在步骤130中，对图像进行预处理。在步骤140中，对预处理后的图像进行感知处理。步骤150中，输出感知处理结果。
在步骤110中，接收来自一个摄像头的图像。例如，图像处理装置接收来自于一个固态摄像头例如电荷耦合设备(CCD)的图像。该图像(或称为原始图像)包括二维像素矩阵，或者称为x-y像素矩阵。该摄像头可以分别输出R、G和B的数据，或者输出一个合成RGB的数据。例如，R、G和B中的每一个可以被表示为一个8比特的亮度值，或者表示为模拟电压值。如果每个像素只有一个对应于R、G或者B的强度值，而不是每个像素具有与R、G和B的对应的三个强度值，就可以用较少的数据量来表达一个图像。通过将强度值从三个减少到一个，表达一个图像的数据量减少到表达一个全彩色RGB图像的数据量的三分之一。通过这种方式，表达一个图像的所需的数据量可以减少到原有的三分之一，并且能够维持图像中具有色彩的物体所需的色彩敏感度。具体可以通过一个图谱为每个像素从三原色中选择一个颜色，例如通过拜尔图谱(Bayer Pattern)来选择，以下将通过图3来具体说明。
在步骤130中，对接收到的图像进行预处理。预处理包括最必要的处理，以提高处理速度、降低计算复杂度。例如，预处理中可以不包括去马赛克处理、白平衡处理和/或降噪处理，也即可以在预处理包括的多个处理中去掉去马赛克处理、白平衡处理和/或降噪处理，预处理包括的多个处理中可以包括基本的诸如图像裁剪、缩放、和/或压缩的基本处理。
在步骤140中，对预处理后的图像进行感知处理。感知处理的结果包括在物理实体上叠加边界框，或者识别出图像中多个物理实体中的一个或者多个的轮廓。如图4中的420所示，由于输入图像中每个像素不包括全部的RGB三个通道的色彩，只包括RGB中一个通道的色彩，使得感知操作得到了改变，可以实现在一辆移动车辆中进行实时速度的感知计算，且不需要人工辅助或者反馈。
在步骤150中，输出感知操作的结果。该输出结果可以更进一步地用于物体识别和车辆控制相关的图像处理任务。
本申请实施例提供的技术方案的优点包括：通过为图像生成一个色彩通道，而不是如通常的为图像生成三个色彩通道(RGB)，可以将图像所需的存储空间减少三分之二，减少数据传输的数据率，或者综合减少数据传输量和传输时间。第二个优点在于，由于图像的数据量减少了，所需处理的数据量减少了，一些预处理步骤能够被省略掉，从而能够减少计算需求。另一个优点在于，由于预处理的一些处理被省略了(例如去掉了可能引起过度曝光或者欠曝光的白平衡)，使得预处理后的图像数据可以包含更多的信息(即使原始数据的数据量减少了)，这样能够提升图像处理的性能。
图2中的210示出了一个图谱的示例。全彩色图像包括三个通道——RGB。一个图像中的每个像素都具有三个对应的表达色彩的值。这三个色彩的混合得到数字图像中的一个“色点”。如上所述，可以为每个像素从三个色彩中选择一个色彩，而不是三个色彩的值。具体地可以通过一个图谱来为每个像素选择一个色彩。例如，可以通过拜尔图谱(BayerPattern)来选择。拜尔图谱中的每个像素具有一个通道，并且通过该一个通道的编码得到RGB三个通道的信息的子集。例如，可以选择一个具有重复排列的2*2像素网格的图谱，在该图谱中，每个像素具有一个通道值。在一些实施例中，可以使用“RGGB”的拜尔图谱。如图2中210所示，RGGB指在一个重复的矩形4像素模板内包括像素211的红色，像素212的绿色，像素213的绿色，以及像素214的蓝色。在本申请的实施例中，可以根据硬件来选择不同的图谱，例如，通过与一个图谱对应的一个或多个滤色片，对传感器阵列获取的原始图像进行滤色，生成选择后的图像，也即图1中步骤110中接收到的图像。通过这种方式，在像素211的对应于R、G和B的三个值中，选择R的值，而G的值和B的值被丢弃。对于每个像素均可以执行这种选择处理。拜尔图谱中包括的绿色的值的数量多于红色的值的数量和蓝色的值的数量。在通过图像选择后的图像中，在一行像素中，每间隔一个像素的像素值对应于原始图像中该像素的绿色值，或者在一列像素中，每间隔一个像素的像素值对应于原始图像中该像素的绿色值。该图谱中包括的像素的绿色的值多于红色和蓝色的值。相类似地，图谱中红色的值或者蓝色的值也可以多于绿色的值。
图2中的220示出了对一个示例像素从三个颜色值中选择一个值的处理，其中每个马赛克图对应于从一个图像中选择出的三个颜色中的一个颜色。生成通过图谱选择的图像的操作，可以使用一个或多个滤色片来实现。该多个滤色片可以是一个滤色片阵列(ColorFilter Array，CFA)。
图3中的305和310示出了通过一个RGGB的拜尔图谱对一个全彩色图像进行滤色的示例。在310的图像中，该图谱被放大显示，以更好地显示该图谱。310的图像与305的图像、320的图像以及图4中的图像都不同。305中的图像具有RGGB拜尔图谱，该图像与图3A的图像是同一个图像，而图3A图像中的每一个像素只具有R、G或B中的一个色彩的值。图3A中的320示出了一个具有拜尔图谱的图像，该图谱具有R、G和B的值，且该图谱映射为一个黑白的灰阶图像。
图4的410示出了在320图像上执行图像处理后所呈现的结果。图4中420示出了感知处理的结果，该结果显示了在具有拜尔图谱的图像305上的物体检测(或称为物体识别)的结果。物体检测结果可以包括识别出图像中多个物理实体中的一个或者多个的轮廓，或者还可以包括在图像中的物体上叠加边界框。
对比图305和图420可以看出，在较暗的光线情况下，通过本申请实施提供的方案，能够得到较为理想的物体检测结果，该结果优于基于全彩色图像进行物体检测的结果。
图5显示了计算机装置500的一个示例，该装置可以应用本申请以上描述的技术，该装置也可以成为是图像处理装置。例如，计算机装置(或称为硬件平台)500可以实施为包括一个处理器100，或者实施为实现上述实施例的多个模块。硬件平台500可以还包括一个处理器502，该处理器可以执行代码以实现一种方法。硬件平台500可以包括一个存储器504，该存储器用于存储处理器可执行代码和/或存储数据，以实现如图1所示的方法。硬件平台500还可以进一步包括一个通信接口506。例如，通信接口506可以实施一个或多个通信协议(LTE、Wi-Fi，等等)。
本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有代码，代码被处理器执行后实现如图1所示的方法。
本申请中描述的实质内容以及功能性操作的实施方式，能够通过多种系统、数字电子电路、或者计算机软件、固件或者硬件来实现，这些实施方式包括说明书中公开的结构以及等同结构，或者这些结构的结合。说明书中描述的实质内容的实施方式，能够被实施为一个或者多个计算机程序产品，例如，计算机程序指令的一个或多个模块，该计算机程序指令被编码存储在一个有形且非易失性的计算机可读介质中，该计算机程序指令可被数据处理装置执行，或者用于控制数据处理装置的操作。该计算机可读介质可以是一个机器可读存储装置、机器可读存储基板、存储设备、能够影响机器可读传播信号的组合物、或者这些物质的组合。术语“数据处理单元”或者“数据处理装置”包括用于处理数据的所有装置、设备以及机器，示例性地包括可编程处理器、计算机、或者多处理器、多计算机。除硬件之外，这些装置可以包括为所讨论的计算机程序建立一个可执行环境的代码，例如，构成处理器防火墙、协议栈、数据库管理系统、操作系统的代码，或者这些代码的组合。
计算机程序(也被称为程序、软件、软件应用、脚本或者代码)可以通过任何一种编程语言来编写，包括编译或翻译语音；并且可以被以任何形式来部署，包括一个独立的程序或者一个模块、构件、子用例、或者其它适于计算环境的单元。一个计算机程序不必对应于一个文件系统中的一个文件。一个程序能够被存储在一个文件中的一部分，该文件还存储有其他的程序或者数据(例如，存储在一个标记语言文档中的一个或多个脚本)，或者该程序被存储在一个专门针对于所讨论的程序的单独的文件中，或者被存储在一个相互协同的文件中(例如，存储有一个或多个模块、子程序或者代码部分的多个文件)。一个计算机程序可以被部署为被一个或多个计算机执行，这些计算机位于一个地址、或者分布在多个地址，并且通过一个通信网络进行互连。
本说明书描述的处理或者逻辑图可以被一个或者多个可编程处理器执行，以执行一个或多个计算机程序，并根据输入数据进行处理生成输出结果。处理或者逻辑图可以被专用逻辑电路执行，并且多种设备也可以被实现为专用逻辑电路，例如现场可编程门阵列(Field programmable gate array，FPGA)、或者专用集成电路(Application Specificintegrated circuit，ASIC)。
用于执行计算机程序的处理器，示例性地包括通用微处理器和专用微处理器，以及任何种类的数字计算机中的任何一种或者多种处理器。通常，一个处理器会从一个只读存储器和/或一个随机接入存储器中接收指令和数据。一个计算机的基本单元包括一个处理器以及一个或多个存储装置，处理器用于执行指令，存储装置用于存储指令和数据。通常，一个计算机还包括或者操作性地耦合到一个或多个大型存储设备，以接收数据和/或发送数据，该大型存储设备包括磁盘、磁光盘或者光盘。但是，一个计算机不是必须包括这些设备。用于存储指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质以及存储设备，示例性地包括半导体存储设备，例如EPROM、EEPROM以及闪存设备。处理器和存储器可以被专用逻辑电路所替代，或者结合到专用逻辑电路中。
虽然本申请文件包括了多种实施方式，但是这些实施方式不用于解释为本申请的保护范围的限定，只是特征的描述，这些特征可以被实施到特定发明的特定实施例中。本申请中独立的实施例中描述的一些特征也可以被结合实施到一个单独的实施例中。在一个单独的实施例中描述的多个特征也可被分别实施到多个实施例中，或者实施到任何适合的更细一步的结合中。并且，虽然上述在一个特定的组合中描述一些特征，也可以将所要求的一个或者多个组合中去掉一个或多个特征，所要求的组合可以被进一步地组合或者对进一步组合进行变形。
相类似地，虽然在附图中以一定的顺序描述了多种操作，但是不应被理解为必须要以这样的顺序来执行这些操作，以达到理想的结果。并且，实施例中多种系统构件的拆分也不应被理解为在所有的实施例中都需要这样的拆分。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1.一种应用于自动驾驶车辆的图像处理方法，其特征在于，包括：
图像处理装置接收来自于一个传感器阵列的图像；其中，该接收到的图像包括二维像素矩阵，所述像素矩阵中的每个像素具有根据一个预设图谱中对应像素的颜色、从该像素的三原色中选择出的对应颜色的值，该预设图谱中的每个像素具有三原色中的一种颜色；
对接收到的图像进行预处理得到预处理图像；
对预处理图像进行感知处理，确定得到物体识别的结果。
2.根据权利要求1所述的方法，其特征在于，在根据所述图谱选择后的图像中，在一行像素中或在一列像素中，每间隔一个像素的颜色为绿色。
3.根据权利要求1所述的方法，其特征在于，在所述图谱中包括的绿色像素值的数量多于红色像素值的数量和蓝色像素值的数量。
4.根据权利要求1所述的方法，其特征在于，所述图谱为拜尔图谱，所述拜尔图谱具有重复排列的2*2像素网格，每个像素网格中的四个像素的颜色分别为红-绿-绿-蓝。
5.根据权利要求1所述的方法，其特征在于，所述接收到的图像是通过与所述图谱对应的一个或多个滤色片、对所述传感器阵列获得的原始图像进行滤色生成的。
6.根据权利要求1所述的方法，其特征在于，所述预处理包括图像裁剪处理、图像缩放处理、和/或图像压缩处理。
7.根据权利要求1所述的方法，其特征在于，在所述预处理包括的多个处理中去除掉去马赛克处理、白平衡处理和/或去噪处理。
8.根据权利要求1所述的方法，其特征在于，物体识别的结果包括识别出图像中多个物理实体中的一个或者多个的轮廓。
9.根据权利要求1所述的方法，其特征在于，物体识别的结果包括在图像中的物理实体上叠加边界框。
10.根据权利要求1所述的方法，其特征在于，所述传感器阵列包括摄像头。
11.一种图像处理装置，其特征在于，包括一个处理器、一个存储器以及一个通信接口，其中该存储器中存储有程序，该程序被处理器执行后实现如权利要求1至10所述方法中的一个或多个。
12.一种计算机可读存储介质，其特征在于，其中存储有代码，该代码被一个处理器执行后实现如权利要求1至10所述方法中的一个或多个。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862656924P | 2018-04-12 | 2018-04-12 | |
| USUS62/656,924 | 2018-04-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110378184A true CN110378184A (zh) | 2019-10-25 |
Family
ID=68161731
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910192584.XA Pending CN110378184A (zh) | 2018-04-12 | 2019-03-14 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
| CN201910192585.4A Pending CN110378185A (zh) | 2018-04-12 | 2019-03-14 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910192585.4A Pending CN110378185A (zh) | 2018-04-12 | 2019-03-14 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US11010874B2 (zh) |
| CN (2) | CN110378184A (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378184A (zh) * | 2018-04-12 | 2019-10-25 | 北京图森未来科技有限公司 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
| US11105645B2 (en) * | 2019-05-28 | 2021-08-31 | Glazberg, Applebaum & co. | Navigation in vehicles and in autonomous cars |
| US11613275B2 (en) * | 2020-04-27 | 2023-03-28 | Baidu Usa Llc | Grayscale-based camera perception |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100303349A1 (en) * | 2009-05-28 | 2010-12-02 | Bechtel Jon H | Digital image processing and systems incorporating the same |
| US20140168421A1 (en) * | 2012-12-14 | 2014-06-19 | Xerox Corporation | Material identification from a spectral filtered patterned image without demosaicing |
| US20140340570A1 (en) * | 2011-09-28 | 2014-11-20 | U.S. Army Research Laboratory Attn: Rdrl-Loc-I | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
| CN105698812A (zh) * | 2016-01-15 | 2016-06-22 | 武汉光庭科技有限公司 | 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法 |
| US20160224850A1 (en) * | 2013-12-06 | 2016-08-04 | Google Inc. | Static Obstacle Detection |
| US9679206B1 (en) * | 2013-11-27 | 2017-06-13 | Waymo Llc | Assisted perception for autonomous vehicles |
| US9911030B1 (en) * | 2010-10-05 | 2018-03-06 | Waymo Llc | System and method for evaluating the perception system of an autonomous vehicle |
Family Cites Families (223)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2608513A1 (de) | 1976-03-02 | 1977-09-08 | Standard Elektrik Lorenz Ag | Anordnung zur weichensteuerung fuer ein verkehrssystem |
| AU642638B2 (en) | 1989-12-11 | 1993-10-28 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US7103460B1 (en) | 1994-05-09 | 2006-09-05 | Automotive Technologies International, Inc. | System and method for vehicle diagnostics |
| US7783403B2 (en) | 1994-05-23 | 2010-08-24 | Automotive Technologies International, Inc. | System and method for preventing vehicular accidents |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| US6084870A (en) | 1996-07-22 | 2000-07-04 | Qualcomm Incorporated | Method and apparatus for the remote monitoring and configuration of electronic control systems |
| US6263088B1 (en) | 1997-06-19 | 2001-07-17 | Ncr Corporation | System and method for tracking movement of objects in a scene |
| JP3183501B2 (ja) | 1997-07-07 | 2001-07-09 | 本田技研工業株式会社 | 車両用走行制御装置 |
| US6594821B1 (en) | 2000-03-30 | 2003-07-15 | Transmeta Corporation | Translation consistency checking for modified target instructions by comparing to original copy |
| US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US7363149B2 (en) | 2001-12-13 | 2008-04-22 | Robert Bosch Gmbh | Autonomous in-vehicle navigation system and diagnostic system |
| US7167519B2 (en) | 2001-12-20 | 2007-01-23 | Siemens Corporate Research, Inc. | Real-time video object generation for smart cameras |
| AU2003225228A1 (en) | 2002-05-03 | 2003-11-17 | Donnelly Corporation | Object detection system for vehicle |
| US9007197B2 (en) | 2002-05-20 | 2015-04-14 | Intelligent Technologies International, Inc. | Vehicular anticipatory sensor system |
| US6975923B2 (en) | 2002-10-01 | 2005-12-13 | Roke Manor Research Limited | Autonomous vehicle guidance on or near airports |
| US6777904B1 (en) | 2003-02-25 | 2004-08-17 | Ford Global Technologies, Llc | Method and system for controlling a motor |
| US8855405B2 (en) | 2003-04-30 | 2014-10-07 | Deere & Company | System and method for detecting and analyzing features in an agricultural field for vehicle guidance |
| US20070230792A1 (en) | 2004-04-08 | 2007-10-04 | Mobileye Technologies Ltd. | Pedestrian Detection |
| WO2005098751A1 (en) | 2004-04-08 | 2005-10-20 | Mobileye Technologies Limited | Crowd detection |
| WO2005098782A1 (en) | 2004-04-08 | 2005-10-20 | Mobileye Technologies Limited | Collision warning system |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| US8078338B2 (en) | 2004-10-22 | 2011-12-13 | Irobot Corporation | System and method for behavior based control of an autonomous vehicle |
| DE112006000295T5 (de) | 2005-02-23 | 2008-04-17 | Matsushita Electric Works, Ltd., Kadoma | Autonomes Fahrzeug und Verfahren zur Erkennung von planaren Hindernissen |
| US20070058050A1 (en) * | 2005-09-12 | 2007-03-15 | Manuel Innocent | Reconstructing a full color image from an image encoded by a bayer pattern |
| KR100802511B1 (ko) | 2005-10-11 | 2008-02-13 | 주식회사 코리아 와이즈넛 | 토픽 기반의 검색 서비스 제공 시스템 및 그 방법 |
| EP1790541A2 (en) | 2005-11-23 | 2007-05-30 | MobilEye Technologies, Ltd. | Systems and methods for detecting obstructions in a camera field of view |
| US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
| US8265392B2 (en) | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Inter-mode region-of-interest video object segmentation |
| US8150155B2 (en) | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
| US7689559B2 (en) | 2006-02-08 | 2010-03-30 | Telenor Asa | Document similarity scoring and ranking method, device and computer program product |
| US8050863B2 (en) | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
| US8417060B2 (en) | 2006-03-20 | 2013-04-09 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Methods for multi-point descriptors for image registrations |
| JP5007523B2 (ja) * | 2006-05-02 | 2012-08-22 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| US8108092B2 (en) | 2006-07-14 | 2012-01-31 | Irobot Corporation | Autonomous behaviors for a remote vehicle |
| US7786898B2 (en) | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
| EP1930863B1 (en) | 2006-12-06 | 2011-08-03 | Mobileye Technologies Limited | Detecting and recognizing traffic signs |
| US20080249667A1 (en) | 2007-04-09 | 2008-10-09 | Microsoft Corporation | Learning and reasoning to enhance energy efficiency in transportation systems |
| US7839292B2 (en) | 2007-04-11 | 2010-11-23 | Nec Laboratories America, Inc. | Real-time driving danger level prediction |
| US8229163B2 (en) | 2007-08-22 | 2012-07-24 | American Gnc Corporation | 4D GIS based virtual reality for moving target prediction |
| US8041111B1 (en) | 2007-10-15 | 2011-10-18 | Adobe Systems Incorporated | Subjective and locatable color theme extraction for images |
| US9176006B2 (en) | 2008-01-15 | 2015-11-03 | Mobileye Vision Technologies Ltd. | Detection and classification of light sources using a diffraction grating |
| JP2009303088A (ja) * | 2008-06-17 | 2009-12-24 | Panasonic Corp | 固体撮像装置、その駆動方法及びカメラ |
| US9117133B2 (en) | 2008-06-18 | 2015-08-25 | Spectral Image, Inc. | Systems and methods for hyperspectral imaging |
| US20100049397A1 (en) | 2008-08-22 | 2010-02-25 | Garmin Ltd. | Fuel efficient routing |
| US8126642B2 (en) | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
| US8345956B2 (en) | 2008-11-03 | 2013-01-01 | Microsoft Corporation | Converting 2D video into stereo video |
| US9459515B2 (en) | 2008-12-05 | 2016-10-04 | Mobileye Vision Technologies Ltd. | Adjustable camera mount for a vehicle windshield |
| WO2010088465A1 (en) * | 2009-02-02 | 2010-08-05 | Gentex Corporation | Improved digital image processing and systems incorporating the same |
| US8175376B2 (en) | 2009-03-09 | 2012-05-08 | Xerox Corporation | Framework for image thumbnailing based on visual similarity |
| RU2011143140A (ru) | 2009-03-26 | 2013-05-10 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для изменения изображения посредством использования карты внимания, основанной на частоте цвета |
| US8271871B2 (en) | 2009-04-30 | 2012-09-18 | Xerox Corporation | Automated method for alignment of document objects |
| US8392117B2 (en) | 2009-05-22 | 2013-03-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Using topological structure for path planning in semi-structured environments |
| US9683854B2 (en) | 2009-07-19 | 2017-06-20 | Aaron T. Emigh | Pricing by historical comparison |
| DE102009046124A1 (de) | 2009-10-28 | 2011-05-05 | Ifm Electronic Gmbh | Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems |
| TWI393074B (zh) | 2009-12-10 | 2013-04-11 | Ind Tech Res Inst | 移動物體偵測裝置與方法 |
| JP2011176748A (ja) | 2010-02-25 | 2011-09-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| US8726305B2 (en) | 2010-04-02 | 2014-05-13 | Yahoo! Inc. | Methods and systems for application rendering and management on internet television enabled displays |
| DE102010003668B4 (de) * | 2010-04-07 | 2020-03-26 | Robert Bosch Gmbh | Farbmaske für einen Bildsensor einer Fahrzeugkamera |
| KR101145112B1 (ko) | 2010-05-11 | 2012-05-14 | 국방과학연구소 | 자율이동차량의 조향제어장치, 이를 구비하는 자율이동차량 및 자율이동차량의 조향제어방법 |
| US9753128B2 (en) | 2010-07-23 | 2017-09-05 | Heptagon Micro Optics Pte. Ltd. | Multi-path compensation using multiple modulation frequencies in time of flight sensor |
| US8751100B2 (en) | 2010-08-13 | 2014-06-10 | Deere & Company | Method for performing diagnostics or software maintenance for a vehicle |
| US9118816B2 (en) | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
| US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| US9179072B2 (en) | 2010-10-31 | 2015-11-03 | Mobileye Vision Technologies Ltd. | Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter |
| WO2012068154A1 (en) | 2010-11-15 | 2012-05-24 | Huawei Technologies Co., Ltd. | Method and system for video summarization |
| US9251708B2 (en) | 2010-12-07 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Forward collision warning trap and pedestrian advanced warning system |
| US9823339B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
| EP2663916A1 (en) | 2011-01-14 | 2013-11-20 | BAE Systems Plc. | Data transfer system and method thereof |
| US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
| WO2012115594A1 (en) | 2011-02-21 | 2012-08-30 | Stratech Systems Limited | A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield |
| US8401292B2 (en) | 2011-04-26 | 2013-03-19 | Eastman Kodak Company | Identifying high saliency regions in digital images |
| US9233659B2 (en) | 2011-04-27 | 2016-01-12 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
| KR101777875B1 (ko) | 2011-04-28 | 2017-09-13 | 엘지디스플레이 주식회사 | 입체 영상 표시장치와 그 입체 영상 조절 방법 |
| US20120314070A1 (en) | 2011-06-09 | 2012-12-13 | GM Global Technology Operations LLC | Lane sensing enhancement through object vehicle information for lane centering/keeping |
| US9183447B1 (en) | 2011-06-09 | 2015-11-10 | Mobileye Vision Technologies Ltd. | Object detection using candidate object alignment |
| GB2492848A (en) | 2011-07-15 | 2013-01-16 | Softkinetic Sensors Nv | Optical distance measurement |
| US9490064B2 (en) | 2011-07-28 | 2016-11-08 | Honda Motor Co., Ltd. | Wireless power transmission method |
| US8744123B2 (en) | 2011-08-29 | 2014-06-03 | International Business Machines Corporation | Modeling of temporarily static objects in surveillance video data |
| DE102011083749B4 (de) | 2011-09-29 | 2015-06-11 | Aktiebolaget Skf | Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes |
| US8891820B2 (en) | 2011-09-29 | 2014-11-18 | The Boeing Company | Multi-modal sensor fusion |
| US20140143839A1 (en) | 2011-11-16 | 2014-05-22 | Flextronics Ap, Llc. | On board vehicle remote control module |
| CN104115197A (zh) | 2011-12-05 | 2014-10-22 | 布莱特瓦维森有限公司 | 智能交通标志系统与方法 |
| US9297641B2 (en) | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
| FR2984254B1 (fr) | 2011-12-16 | 2016-07-01 | Renault Sa | Controle de vehicules autonomes |
| US8810666B2 (en) | 2012-01-16 | 2014-08-19 | Google Inc. | Methods and systems for processing a video for stabilization using dynamic crop |
| US9317776B1 (en) | 2013-03-13 | 2016-04-19 | Hrl Laboratories, Llc | Robust static and moving object detection system via attentional mechanisms |
| JP5605381B2 (ja) | 2012-02-13 | 2014-10-15 | 株式会社デンソー | クルーズ制御装置 |
| US9042648B2 (en) | 2012-02-23 | 2015-05-26 | Microsoft Technology Licensing, Llc | Salient object segmentation |
| US8457827B1 (en) | 2012-03-15 | 2013-06-04 | Google Inc. | Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles |
| US9476970B1 (en) | 2012-03-19 | 2016-10-25 | Google Inc. | Camera based localization |
| US8737690B2 (en) | 2012-04-06 | 2014-05-27 | Xerox Corporation | Video-based method for parking angle violation detection |
| US8718861B1 (en) | 2012-04-11 | 2014-05-06 | Google Inc. | Determining when to drive autonomously |
| US9723233B2 (en) | 2012-04-18 | 2017-08-01 | Brightway Vision Ltd. | Controllable gated sensor |
| US9549158B2 (en) | 2012-04-18 | 2017-01-17 | Brightway Vision Ltd. | Controllable single pixel sensors |
| JP6243402B2 (ja) | 2012-04-18 | 2017-12-06 | ブライトウェイ ビジョン リミテッド | 読み出し毎の複数のゲーテッド画素 |
| KR102144521B1 (ko) | 2012-05-29 | 2020-08-14 | 브라이트웨이 비젼 엘티디. | 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템 |
| US9575304B2 (en) * | 2012-06-25 | 2017-02-21 | Huron Technologies International Inc. | Pathology slide scanners for fluorescence and brightfield imaging and method of operation |
| US9134402B2 (en) | 2012-08-13 | 2015-09-15 | Digital Signal Corporation | System and method for calibrating video and lidar subsystems |
| CN104769653B (zh) | 2012-08-21 | 2017-08-04 | 布莱特瓦维森有限公司 | 同时照亮在不同范围的交通灯信号 |
| US9025880B2 (en) | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
| US9165190B2 (en) | 2012-09-12 | 2015-10-20 | Avigilon Fortress Corporation | 3D human pose and shape modeling |
| US9120485B1 (en) | 2012-09-14 | 2015-09-01 | Google Inc. | Methods and systems for smooth trajectory generation for a self-driving vehicle |
| US9488492B2 (en) | 2014-03-18 | 2016-11-08 | Sri International | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics |
| US9111444B2 (en) | 2012-10-31 | 2015-08-18 | Raytheon Company | Video and lidar target detection and tracking system and method for segmenting moving targets |
| US9701023B2 (en) | 2012-12-03 | 2017-07-11 | Abb Schweiz Ag | Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station |
| DE102013225676B4 (de) | 2012-12-17 | 2018-06-07 | pmdtechnologies ag | Lichtlaufzeitkamera mit einer Bewegungserkennung |
| US9602807B2 (en) | 2012-12-19 | 2017-03-21 | Microsoft Technology Licensing, Llc | Single frequency time of flight de-aliasing |
| US9081385B1 (en) | 2012-12-21 | 2015-07-14 | Google Inc. | Lane boundary detection using images |
| US9092430B2 (en) | 2013-01-02 | 2015-07-28 | International Business Machines Corporation | Assigning shared catalogs to cache structures in a cluster computing system |
| US8788134B1 (en) | 2013-01-04 | 2014-07-22 | GM Global Technology Operations LLC | Autonomous driving merge management system |
| US8908041B2 (en) | 2013-01-15 | 2014-12-09 | Mobileye Vision Technologies Ltd. | Stereo assist with rolling shutters |
| US9277132B2 (en) | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
| US9147255B1 (en) | 2013-03-14 | 2015-09-29 | Hrl Laboratories, Llc | Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms |
| US9652860B1 (en) | 2013-03-15 | 2017-05-16 | Puretech Systems, Inc. | System and method for autonomous PTZ tracking of aerial targets |
| US9342074B2 (en) | 2013-04-05 | 2016-05-17 | Google Inc. | Systems and methods for transitioning control of an autonomous vehicle to a driver |
| CN103198128A (zh) | 2013-04-11 | 2013-07-10 | 苏州阔地网络科技有限公司 | 一种云教育平台的数据搜索方法及系统 |
| AU2013205548A1 (en) | 2013-04-30 | 2014-11-13 | Canon Kabushiki Kaisha | Method, system and apparatus for tracking objects of a scene |
| US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
| US9025825B2 (en) | 2013-05-10 | 2015-05-05 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
| US9729860B2 (en) | 2013-05-24 | 2017-08-08 | Microsoft Technology Licensing, Llc | Indirect reflection suppression in depth imaging |
| EP3650814B1 (en) | 2013-06-13 | 2023-04-19 | Mobileye Vision Technologies Ltd. | Vision augmented navigation |
| IL227265A0 (en) | 2013-06-30 | 2013-12-31 | Brightway Vision Ltd | Smart flash for the camera |
| KR102111784B1 (ko) | 2013-07-17 | 2020-05-15 | 현대모비스 주식회사 | 차량 위치 인식 장치 및 방법 |
| US9315192B1 (en) | 2013-09-30 | 2016-04-19 | Google Inc. | Methods and systems for pedestrian avoidance using LIDAR |
| US9122954B2 (en) | 2013-10-01 | 2015-09-01 | Mobileye Vision Technologies Ltd. | Performing a histogram using an array of addressable registers |
| US9738280B2 (en) | 2013-10-03 | 2017-08-22 | Robert Bosch Gmbh | Adaptive cruise control with on-ramp detection |
| US9299004B2 (en) | 2013-10-24 | 2016-03-29 | Adobe Systems Incorporated | Image foreground detection |
| US9330334B2 (en) | 2013-10-24 | 2016-05-03 | Adobe Systems Incorporated | Iterative saliency map estimation |
| WO2015083009A1 (en) | 2013-12-04 | 2015-06-11 | Mobileye Vision Technologies Ltd. | Systems and methods for mimicking a leading vehicle |
| EP2887311B1 (en) | 2013-12-20 | 2016-09-14 | Thomson Licensing | Method and apparatus for performing depth estimation |
| WO2015103159A1 (en) | 2013-12-30 | 2015-07-09 | Tieman Craig Arnold | Connected vehicle system with infotainment interface for mobile devices |
| US9248832B2 (en) | 2014-01-30 | 2016-02-02 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting traffic signal details |
| CN109884618B (zh) | 2014-02-20 | 2023-05-26 | 御眼视觉技术有限公司 | 车辆的导航系统、包括导航系统的车辆和导航车辆的方法 |
| CN103793925B (zh) | 2014-02-24 | 2016-05-18 | 北京工业大学 | 融合时空特征的视频图像视觉显著程度检测方法 |
| US9981389B2 (en) | 2014-03-03 | 2018-05-29 | California Institute Of Technology | Robotics platforms incorporating manipulators having common joint designs |
| DE102014205170A1 (de) | 2014-03-20 | 2015-11-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug |
| US9739609B1 (en) | 2014-03-25 | 2017-08-22 | Amazon Technologies, Inc. | Time-of-flight sensor with configurable phase delay |
| JP6519262B2 (ja) * | 2014-04-10 | 2019-05-29 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
| US9438866B2 (en) * | 2014-04-23 | 2016-09-06 | Omnivision Technologies, Inc. | Image sensor with scaled filter array and in-pixel binning |
| US9471889B2 (en) | 2014-04-24 | 2016-10-18 | Xerox Corporation | Video tracking based method for automatic sequencing of vehicles in drive-thru applications |
| CN105100134A (zh) | 2014-04-28 | 2015-11-25 | 思科技术公司 | 屏幕共享缓存管理 |
| WO2015177648A1 (en) | 2014-05-14 | 2015-11-26 | Ofer Springer | Systems and methods for curb detection and pedestrian hazard assessment |
| JP6648411B2 (ja) * | 2014-05-19 | 2020-02-14 | 株式会社リコー | 処理装置、処理システム、処理プログラム及び処理方法 |
| US9720418B2 (en) | 2014-05-27 | 2017-08-01 | Here Global B.V. | Autonomous vehicle monitoring and control |
| EP3152704A2 (en) | 2014-06-03 | 2017-04-12 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting an object |
| US9457807B2 (en) | 2014-06-05 | 2016-10-04 | GM Global Technology Operations LLC | Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver |
| IL233356A (en) | 2014-06-24 | 2015-10-29 | Brightway Vision Ltd | Sensor-based imaging system with minimum wait time between sensor exposures |
| US9628565B2 (en) | 2014-07-23 | 2017-04-18 | Here Global B.V. | Highly assisted driving platform |
| US20160026787A1 (en) | 2014-07-25 | 2016-01-28 | GM Global Technology Operations LLC | Authenticating messages sent over a vehicle bus that include message authentication codes |
| US9766625B2 (en) | 2014-07-25 | 2017-09-19 | Here Global B.V. | Personalized driving of autonomously driven vehicles |
| US9554030B2 (en) | 2014-09-29 | 2017-01-24 | Yahoo! Inc. | Mobile device image acquisition using objects of interest recognition |
| US9248834B1 (en) | 2014-10-02 | 2016-02-02 | Google Inc. | Predicting trajectories of objects based on contextual information |
| US9746550B2 (en) | 2014-10-08 | 2017-08-29 | Ford Global Technologies, Llc | Detecting low-speed close-range vehicle cut-in |
| US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
| US9773155B2 (en) | 2014-10-14 | 2017-09-26 | Microsoft Technology Licensing, Llc | Depth from time of flight camera |
| US9959903B2 (en) | 2014-10-23 | 2018-05-01 | Qnap Systems, Inc. | Video playback method |
| US9547985B2 (en) | 2014-11-05 | 2017-01-17 | Here Global B.V. | Method and apparatus for providing access to autonomous vehicles based on user context |
| KR101664582B1 (ko) | 2014-11-12 | 2016-10-10 | 현대자동차주식회사 | 자율주행차량의 주행경로 생성장치 및 방법 |
| US9494935B2 (en) | 2014-11-13 | 2016-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Remote operation of autonomous vehicle in unexpected environment |
| KR102312273B1 (ko) | 2014-11-13 | 2021-10-12 | 삼성전자주식회사 | 거리영상 측정용 카메라 및 그 동작방법 |
| US10451425B2 (en) | 2014-12-05 | 2019-10-22 | Apple Inc. | Autonomous navigation system |
| US9347779B1 (en) | 2014-12-10 | 2016-05-24 | Here Global B.V. | Method and apparatus for determining a position of a vehicle based on driving behavior |
| US9805294B2 (en) | 2015-02-12 | 2017-10-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for denoising time-of-flight range images |
| US10115024B2 (en) | 2015-02-26 | 2018-10-30 | Mobileye Vision Technologies Ltd. | Road vertical contour detection using a stabilized coordinate frame |
| JP6421684B2 (ja) | 2015-04-17 | 2018-11-14 | 井関農機株式会社 | 乗用草刈機 |
| US9649999B1 (en) | 2015-04-28 | 2017-05-16 | Sprint Communications Company L.P. | Vehicle remote operations control |
| US10635761B2 (en) | 2015-04-29 | 2020-04-28 | Energid Technologies Corporation | System and method for evaluation of object autonomy |
| US9483839B1 (en) | 2015-05-06 | 2016-11-01 | The Boeing Company | Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures |
| US10345809B2 (en) | 2015-05-13 | 2019-07-09 | Uber Technologies, Inc. | Providing remote assistance to an autonomous vehicle |
| US9613273B2 (en) | 2015-05-19 | 2017-04-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Apparatus and method for object tracking |
| US9690290B2 (en) | 2015-06-04 | 2017-06-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles |
| DE102015211926A1 (de) | 2015-06-26 | 2016-12-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs |
| JP6436237B2 (ja) | 2015-07-23 | 2018-12-12 | 日本電気株式会社 | 経路切替装置、経路切替システムおよび経路切替方法 |
| US9712792B2 (en) * | 2015-08-10 | 2017-07-18 | Samsung Electronics Co., Ltd. | RGB-RWB dual images by multi-layer sensors towards better image quality |
| US9989965B2 (en) | 2015-08-20 | 2018-06-05 | Motionloft, Inc. | Object detection and analysis via unmanned aerial vehicle |
| US10282591B2 (en) | 2015-08-24 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for depth map sampling |
| JP6493087B2 (ja) * | 2015-08-24 | 2019-04-03 | 株式会社デンソー | 車載カメラ装置 |
| US9587952B1 (en) | 2015-09-09 | 2017-03-07 | Allstate Insurance Company | Altering autonomous or semi-autonomous vehicle operation based on route traversal values |
| CN107209854A (zh) | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的系统和方法 |
| US10875403B2 (en) * | 2015-10-27 | 2020-12-29 | Magna Electronics Inc. | Vehicle vision system with enhanced night vision |
| US9754490B2 (en) | 2015-11-04 | 2017-09-05 | Zoox, Inc. | Software application to request and control an autonomous vehicle service |
| US9507346B1 (en) | 2015-11-04 | 2016-11-29 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
| US9734455B2 (en) | 2015-11-04 | 2017-08-15 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
| US9630619B1 (en) | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Robotic vehicle active safety systems and methods |
| WO2017079349A1 (en) | 2015-11-04 | 2017-05-11 | Zoox, Inc. | System for implementing an active safety system in an autonomous vehicle |
| US10248838B2 (en) * | 2015-12-04 | 2019-04-02 | The Regents Of The University Of California | Method and device for single molecule imaging |
| US10127685B2 (en) | 2015-12-16 | 2018-11-13 | Objectvideo Labs, Llc | Profile matching of buildings and urban structures |
| US10102434B2 (en) | 2015-12-22 | 2018-10-16 | Omnivision Technologies, Inc. | Lane detection system and method |
| US9568915B1 (en) | 2016-02-11 | 2017-02-14 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling autonomous or semi-autonomous vehicle |
| US9760837B1 (en) | 2016-03-13 | 2017-09-12 | Microsoft Technology Licensing, Llc | Depth from time-of-flight using machine learning |
| EP3433131B1 (en) | 2016-03-23 | 2023-07-12 | Netradyne, Inc. | Advanced path prediction |
| US9535423B1 (en) | 2016-03-29 | 2017-01-03 | Adasworks Kft. | Autonomous vehicle with improved visual detection ability |
| US9776638B1 (en) | 2016-04-20 | 2017-10-03 | GM Global Technology Operations LLC | Remote interrogation and override for automated driving system |
| US10362429B2 (en) | 2016-04-28 | 2019-07-23 | California Institute Of Technology | Systems and methods for generating spatial sound information relevant to real-world environments |
| US9672446B1 (en) | 2016-05-06 | 2017-06-06 | Uber Technologies, Inc. | Object detection for an autonomous vehicle |
| US20190257987A1 (en) * | 2016-06-07 | 2019-08-22 | Airy3D Inc. | Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging |
| CN106340197B (zh) | 2016-08-31 | 2021-05-14 | 北京万集科技股份有限公司 | 一种车路协同辅助驾驶系统及方法 |
| US10261574B2 (en) | 2016-11-30 | 2019-04-16 | University Of Macau | Real-time detection system for parked vehicles |
| US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
| CN106781591A (zh) | 2016-12-19 | 2017-05-31 | 吉林大学 | 一种基于车路协同的城市车辆导航系统 |
| WO2018134677A1 (en) * | 2017-01-23 | 2018-07-26 | Hangzhou Zero Technology Co., Ltd | Multi-camera system and method of use |
| JP6890993B2 (ja) | 2017-02-10 | 2021-06-18 | キヤノン株式会社 | 画像符号化装置、画像復号化装置、その制御方法、および制御プログラム |
| US10147193B2 (en) | 2017-03-10 | 2018-12-04 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (HDC) |
| US9953236B1 (en) | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
| US10209089B2 (en) | 2017-04-03 | 2019-02-19 | Robert Bosch Gmbh | Automated image labeling for vehicles based on maps |
| US20180373980A1 (en) | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
| US10762673B2 (en) | 2017-08-23 | 2020-09-01 | Tusimple, Inc. | 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
| US10565457B2 (en) | 2017-08-23 | 2020-02-18 | Tusimple, Inc. | Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
| US10223807B1 (en) | 2017-08-23 | 2019-03-05 | TuSimple | Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map |
| US10223806B1 (en) | 2017-08-23 | 2019-03-05 | TuSimple | System and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
| US10410055B2 (en) | 2017-10-05 | 2019-09-10 | TuSimple | System and method for aerial video traffic analysis |
| US10852419B2 (en) * | 2017-10-20 | 2020-12-01 | Texas Instruments Incorporated | System and method for camera radar fusion |
| US11758111B2 (en) * | 2017-10-27 | 2023-09-12 | Baidu Usa Llc | 3D lidar system using a dichroic mirror for autonomous driving vehicles |
| US10666730B2 (en) | 2017-10-28 | 2020-05-26 | Tusimple, Inc. | Storage architecture for heterogeneous multimedia data |
| US10812589B2 (en) | 2017-10-28 | 2020-10-20 | Tusimple, Inc. | Storage architecture for heterogeneous multimedia data |
| CN108010360A (zh) | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
| EP3737595B1 (en) | 2018-01-09 | 2023-12-27 | TuSimple, Inc. | Real-time remote control of vehicles with high redundancy |
| CN108182817A (zh) | 2018-01-11 | 2018-06-19 | 北京图森未来科技有限公司 | 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统 |
| US11305782B2 (en) | 2018-01-11 | 2022-04-19 | Tusimple, Inc. | Monitoring system for autonomous vehicle operation |
| US10685244B2 (en) | 2018-02-27 | 2020-06-16 | Tusimple, Inc. | System and method for online real-time multi-object tracking |
| CN110378184A (zh) * | 2018-04-12 | 2019-10-25 | 北京图森未来科技有限公司 | 一种应用于自动驾驶车辆的图像处理方法、装置 |
-
2019
- 2019-03-14 CN CN201910192584.XA patent/CN110378184A/zh active Pending
- 2019-03-14 CN CN201910192585.4A patent/CN110378185A/zh active Pending
- 2019-04-11 US US16/381,707 patent/US11010874B2/en active Active
-
2021
- 2021-05-05 US US17/308,911 patent/US11694308B2/en active Active
-
2023
- 2023-06-29 US US18/344,577 patent/US20230351556A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100303349A1 (en) * | 2009-05-28 | 2010-12-02 | Bechtel Jon H | Digital image processing and systems incorporating the same |
| US9911030B1 (en) * | 2010-10-05 | 2018-03-06 | Waymo Llc | System and method for evaluating the perception system of an autonomous vehicle |
| US20140340570A1 (en) * | 2011-09-28 | 2014-11-20 | U.S. Army Research Laboratory Attn: Rdrl-Loc-I | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
| US20140168421A1 (en) * | 2012-12-14 | 2014-06-19 | Xerox Corporation | Material identification from a spectral filtered patterned image without demosaicing |
| US9679206B1 (en) * | 2013-11-27 | 2017-06-13 | Waymo Llc | Assisted perception for autonomous vehicles |
| US20160224850A1 (en) * | 2013-12-06 | 2016-08-04 | Google Inc. | Static Obstacle Detection |
| CN105698812A (zh) * | 2016-01-15 | 2016-06-22 | 武汉光庭科技有限公司 | 一种自动驾驶中基于安全驾驶地图和两侧摄像头的车道线检测系统及其方法 |
Non-Patent Citations (2)
| Title |
|---|
| STEVEN DIAMOND 等: "Dirty pixels:Optimizing image classification architectures for raw sensor data", 《HTTPS://ARXIV.ORG/ABS/1701.06487》 * |
| ZHENGHAO LI 等: "PIMR: Parallel and Integrated Matching for Raw Data", 《SENSORS》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230351556A1 (en) | 2023-11-02 |
| US20210256664A1 (en) | 2021-08-19 |
| US11694308B2 (en) | 2023-07-04 |
| US20190318456A1 (en) | 2019-10-17 |
| US11010874B2 (en) | 2021-05-18 |
| CN110378185A (zh) | 2019-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110136066B (zh) | 面向视频的超分辨率方法、装置、设备和存储介质 | |
| US10110936B2 (en) | Web-based live broadcast | |
| CN110378184A (zh) | 一种应用于自动驾驶车辆的图像处理方法、装置 | |
| CN110796595B (zh) | 一种色调映射方法、装置及电子设备 | |
| US8780996B2 (en) | System and method for encoding and decoding video data | |
| CN111353948A (zh) | 一种图像降噪方法、装置及设备 | |
| KR102531468B1 (ko) | 이미지 데이터의 인코딩 및 디코딩 | |
| CN111918065A (zh) | 一种信息压缩/解压缩方法及装置 | |
| CN112997479A (zh) | 跨阶段跳跃连接处理图像的方法、系统和计算机可读介质 | |
| US11070705B2 (en) | System and method for image dynamic range adjusting | |
| CN112889084A (zh) | 提高图像的颜色质量的方法、系统和计算机可读介质 | |
| EP3298766A1 (en) | Method and device for processing color image data representing colors of a color gamut. | |
| US11302035B2 (en) | Processing images using hybrid infinite impulse response (TTR) and finite impulse response (FIR) convolution block | |
| US9400940B2 (en) | Method of processing images, notably from night vision systems and associated system | |
| CN112640391B (zh) | 一种摄像头标识方法、认证方法、系统及终端 | |
| CN114331875A (zh) | 一种基于对抗边缘学习的印刷工艺中图像出血位预测方法 | |
| CN114902237A (zh) | 图像处理方法、装置和电子设备 | |
| EP3096510A1 (en) | Method and device for processing color image data representing colors of a color gamut | |
| CN114554205A (zh) | 一种图像编解码方法及装置 | |
| CN105531823B (zh) | 利用单色数字摄影机的彩色成像 | |
| CN117496486B (zh) | 红绿灯形状识别方法、可读存储介质及智能设备 | |
| CN117408872B (zh) | 色彩图像数据转换方法、装置、设备及存储介质 | |
| CN112655201B (zh) | 一种图像编解码的方法、装置及系统、和存储介质 | |
| CN109598686B (zh) | 一种基于bayer模板的卫星影像重建方法 | |
| CN114205583B (zh) | 一种基于h265的视频编码方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |