CN111310554A - 数字成像系统和图像数据处理方法 - Google Patents

数字成像系统和图像数据处理方法 Download PDF

Info

Publication number
CN111310554A
CN111310554A CN201911274126.7A CN201911274126A CN111310554A CN 111310554 A CN111310554 A CN 111310554A CN 201911274126 A CN201911274126 A CN 201911274126A CN 111310554 A CN111310554 A CN 111310554A
Authority
CN
China
Prior art keywords
field
depths
lens
imaging system
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911274126.7A
Other languages
English (en)
Other versions
CN111310554B (zh
Inventor
特拉扬·米乌
加布里埃莱·韦恩·萨巴蒂尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magna Closures Inc
Original Assignee
Magna Closures Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magna Closures Inc filed Critical Magna Closures Inc
Publication of CN111310554A publication Critical patent/CN111310554A/zh
Application granted granted Critical
Publication of CN111310554B publication Critical patent/CN111310554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

提供了数字成像系统和图像数据处理方法。该系统包括主透镜，主透镜被配置成聚焦来自针对多个景深的视场的光，并投影表示景深的多个中间图像。图像传感器组件处于与主透镜间隔开的关系，并且包括被分组成传感器子阵列的光传感器。中间微透镜阵列设置在主透镜与图像传感器组件之间，并且包括彼此相邻且邻接的中间微透镜，以从与另一相邻微透镜不同的视角将中间图像聚焦到传感器子阵列之一上。控制单元捕获并存储与中间图像相关联的图像数据，并创建三维深度图。控制单元还计算对象的距离信息以检测姿势或障碍物。

Description

数字成像系统和图像数据处理方法
相关申请的交叉应用
本申请要求先前于2018年12月12日提交的美国临时专利申请第62/778,566号的权益，并进一步要求先前于2019年7月17日提交的美国临时专利申请第62/875,114号的权益，上述美国临时专利申请中的每一个的全部内容通过引用并入本文。
技术领域
本公开内容总体上涉及成像系统和方法，并且更具体地，涉及用于检测姿势和障碍物中的至少之一的包括全光透镜系统的数字成像系统以及图像数据处理方法。
背景技术
该部分提供与本公开内容相关的背景信息，其不一定是现有技术。
机动车辆越来越多地配备有检测机动车辆周围的环境的传感器。例如，一些车辆包括在车辆静止时提供车辆附近的障碍物和/或其他对象的图像的成像系统。成像系统还被用于在机动车辆移动时检测该车辆附近的对象的存在和位置。由成像系统生成的信号和数据可以被机动车辆的其他系统使用，以为车辆进入和安全特征例如避免碰撞和停车辅助提供姿势识别。来自成像系统的数据还可以用于干预对车辆的控制。
这样的成像系统可以利用具有固定焦距的主透镜，主透镜用于聚焦在距车辆设定距离的对象上并与传感器组件结合使用以捕获相应的成像。然而，由于这样的成像系统仅具有固定的焦距，因此较靠近车辆的对象可能仍会失焦或丢失细节。因此，仍然需要克服这些缺点的改进的成像系统及其操作方法。
发明内容
本部分提供了本公开内容的一般概要，而非其全部范围或其所有特征和优点的详尽公开。
本公开内容的目的是提供解决并克服了上述缺点的数字成像系统和图像数据处理方法。
因此，本公开内容的一方面在于提供一种用于检测姿势和障碍物中的至少之一的数字成像系统。该数字成像系统包括全光透镜系统，该全光透镜系统包括主透镜，该主透镜被配置成聚焦来自针对多个景深的视场的光并投影多个中间图像，多个中间图像中的每一个表示多个景深中的一个景深。该数字成像系统还包括图像传感器组件，该图像传感器组件以与主透镜间隔开的关系来设置，并且包括多个光传感器。另外，该全光透镜系统包括中间微透镜阵列，该中间微透镜阵列以与主透镜和图像传感器组件中的每一个间隔开的关系设置在主透镜与图像传感器组件之间，并且该中间微透镜阵列包括彼此相邻的多个中间微透镜。中间微透镜阵列将来自主透镜的多个中间图像聚焦到图像传感器组件上。多个中间微透镜中的每个中间微透镜从与多个微透镜中的与所述每个中间微透镜相邻的另一微透镜不同的视角将多个中间图像投影到图像传感器组件上。该数字成像系统还包括用于存储与多个中间图像相关联的图像数据的存储单元。此外，该数字成像系统包括控制单元，该控制单元耦接至图像传感器组件和存储单元，并被配置成使用图像传感器组件捕获与多个中间图像相关联的图像数据。控制单元还被配置成使用存储单元存储与多个中间图像相关联的图像数据，并使用表示多个中间图像的图像数据创建三维深度图。控制单元还计算对象在视场中的距离信息，并基于三维深度图和距离信息检测姿势和障碍物中的至少之一。
根据另一方面，提供了一种用于检测姿势和障碍物中的至少之一的数字成像系统，该数字成像系统包括：包括主透镜的全光透镜系统，该主透镜被配置成聚焦来自针对多个景深的视场的光并投影多个中间图像，多个中间图像中的每一个表示多个景深中的一个景深；图像传感器组件，该图像传感器组件以与主透镜间隔开的关系设置，并且包括被配置成输出图像数据的多个光传感器；全光透镜系统包括中间微透镜阵列，该中间微透镜阵列以与主透镜和图像传感器组件间隔开的关系设置在主透镜与图像传感器组件之间，并且该中间微透镜阵列包括彼此相邻的多个中间微透镜，以将来自主透镜的多个中间图像聚焦到图像传感器组件上，其中，多个中间微透镜中的每个中间微透镜从与多个中间微透镜中的与所述每个中间微透镜相邻的另一中间微透镜不同的视角将多个中间图像投影到图像传感器组件上；以及控制单元，其耦接至图像传感器组件，并被配置成使用图像数据计算对象的多个表面在多个景深中的至少一个景深中的距离信息，以及基于距离信息检测姿势和障碍物中的至少之一。
根据另一方面，提供了一种用于检测对象的距离的数字成像系统，该数字成像系统包括：包括主透镜的全光透镜系统，该主透镜被配置成聚焦来自针对多个景深的视场的光并且投影多个中间图像，多个中间图像中的每一个表示多个景深中的一个景深；图像传感器组件，其以与主透镜间隔开的关系设置，并且包括被配置成输出图像数据的多个光传感器；全光透镜系统包括中间微透镜阵列，该中间微透镜阵列以与主透镜和图像传感器组件间隔开的关系设置在主透镜与图像传感器组件之间，并且该中间微透镜阵列包括彼此相邻的多个中间微透镜，以将来自主透镜的多个中间图像聚焦到图像传感器组件上，其中，多个中间微透镜中的每个中间微透镜从与多个中间微透镜中的与所述每个中间微透镜相邻的另一中间微透镜不同的视角将多个中间图像投影到图像传感器组件上；以及控制单元，其耦接至图像传感器组件，并被配置成使用图像数据计算对象的多个表面在多个景深中的至少一个景深中的距离信息。该系统可以被配置成向车辆系统提供距离信息。
在一方面，主透镜被配置成聚焦来自针对多个景深的视场的光并且投影多个中间图像，多个中间图像中的每一个表示多个景深中的一个景深，其中，多个光传感器被分组成多个传感器子阵列，并且其中，多个中间微透镜被分组成多个微透镜区块，多个微透镜区块中的每一个用于将来自主透镜的多个中间图像之一聚焦到多个传感器子阵列之一上。
在一方面，主透镜包括彼此相邻并邻接的多个主微透镜，以同时聚焦来自多个景深的光并投影多个中间图像，其中，多个中间图像表示在多个景深处的多个视场部分。
在一个方面，主透镜被设置成距中间微透镜阵列第一距离，并且第一距离大于多个主微透镜中的每一个的主焦距。
在一方面，中间微透镜阵列被设置成距图像传感器组件第二距离，并且第二距离等于多个中间微透镜中的每一个的中间焦距。
在一方面，多个主微透镜具有被选择成以彼此相等间隔的多个景深来投影多个中间图像的多个主焦距。
在一方面，多个主微透镜具有被选择成以根据距主透镜的距离来选择的多个景深来投影多个中间图像的多个主焦距。
在一方面，多个景深被配置成随着距主透镜的距离增加而变小。
在一方面，多个景深被配置成随着距主透镜的距离增加而变大。
在一方面，主透镜包括双折射透镜，双折射透镜包括可通过施加的电流移动的至少一个液晶层，以分别聚焦来自多个景深的光并顺序地投影多个中间图像，其中，多个中间图像表示在多个景深中的每个景深处的视场。
在一方面，控制单元被配置成将施加的电流提供给至少一个液晶层，以在预定时间段上按顺序分别聚焦来自多个景深中的每个景深的光并投影多个中间图像。
在一方面，控制单元还被配置成向车辆系统提供至少一个对象的位置和距离信息。
根据本公开内容的另一方面，提供了一种用于使用数字成像系统来检测姿势和障碍物中的至少之一的方法。该方法中使用的数字成像系统包括主透镜和以与主透镜间隔开的关系设置的图像传感器组件以及中间微透镜阵列，该中间微透镜阵列以与主透镜和图像传感器中的每一个间隔开的关系设置在主透镜与图像传感器组件之间。该方法开始于以下步骤：使用主透镜投影来聚焦来自针对多个景深的视场的光并投影表示在多个景深处的多个视场部分的多个中间图像。该方法继续进行以下步骤：使用中间微透镜阵列将来自主透镜的多个中间图像聚焦到图像传感器组件上。该方法的下一步骤是：使用图像传感器组件捕获与表示在多个景深处的多个视场部分的多个中间图像相关联的图像数据。该方法继续进行以下步骤：使用存储单元存储表示多个中间图像的图像数据。该方法还包括以下步骤：使用与多个中间图像相关联的图像数据来创建三维深度图。接下来，计算多个视场部分中的每一个的距离信息。该方法以以下步骤结束：基于三维深度图和距离信息检测姿势和障碍物中的至少之一。
在一方面，该方法包括遮挡背景图像信息的步骤。
在一方面，该方法包括以下步骤：针对多个中间图像中的每一个来识别感兴趣区域并对所述感兴趣区域进行分类。
在一方面，使用与多个中间图像相关联的图像数据创建三维深度图的步骤包括以下步骤：使用针对感兴趣区域的与多个中间图像相关联的图像数据创建三维深度图；并忽略与感兴趣区域不相关的图像数据。
在一方面，该方法包括以下步骤：向车辆系统提供感兴趣区域中的至少一个对象的位置和距离54信息。
在一方面，该车辆系统包括车辆检测和测距系统和姿势识别系统和生物识别系统和车辆检测系统中的至少之一。
在一方面，该方法包括经由图像处理增强多个中间图像，该图像处理包括低光补偿以及边缘增强和分辨率增强中的至少之一。
在一方面，使用主透镜聚焦来自针对多个景深的视场的光并且投影表示在多个景深处的多个视场部分的多个中间图像的步骤包括以下步骤：向双折射透镜的至少一个液晶层提供施加的电流，以在预定时间段上按顺序分别聚焦来自多个景深中的每个景深的光并投影多个中间图像。
在一方面中，使用主透镜聚焦来自针对多个景深的视场的光并且投影表示在多个景深处的多个视场部分的多个中间图像的步骤包括以下步骤：同时聚焦来自多个景深的光并投影多个中间图像。
根据本公开内容的又一方面，提供了一种用于使用包括图像传感器组件的全光摄像机检测对象的方法，该图像传感器组件输出包括视场内的对象的深度数据的图像数据，该方法包括以下步骤：使用图像数据计算视场内的对象的位置和距离信息中的至少之一，并将视场内的对象的位置和距离信息中的至少之一提供给车辆系统。
根据本公开内容的又一方面，提供了一种用于检测姿势和障碍物中的至少之一的光学装置。该光学装置包括全光透镜系统，该全光透镜系统包括主透镜，该主透镜被配置成聚焦来自针对多个景深的视场的光并投影多个中间图像，多个中间图像中的每一个表示景深中的一个景深。该光学装置还包括图像传感器组件，该图像传感器组件以与主透镜间隔开的关系设置，并且包括多个光传感器。全光透镜系统另外包括以与主透镜和图像传感器组件中的每一个间隔开的关系设置在主透镜与图像传感器之间的中间微透镜阵列，并且中间微透镜阵列包括彼此相邻的多个中间微透镜以将来自主透镜的多个中间图像聚焦到图像传感器组件上。多个中间微透镜中的每个中间微透镜从与多个中间微透镜中的与所述每个中间微透镜相邻的另一微透镜不同的视角将多个中间图像投影到图像传感器组件上。
在一个方面，主透镜包括彼此相邻的多个主微透镜，以同时聚焦来自多个景深的光并将多个中间图像投影到多个相关联的中间微透镜上，其中，多个中间图像中的每一个表示在多个景深中的一个景深处的视场部分。
在一方面，主透镜包括双折射透镜，该双折射透镜包括可变焦距并且被配置成分别聚焦来自多个景深的光并投影多个中间图像，其中，可变焦距按顺序变化以呈现多个中间图像中的每一个，多个中间图像中的每一个表示在聚焦的多个景深中的每个景深处的视场。
根据另一方面，提供了一种用于机动车辆的车辆视觉系统，该车辆视觉系统包括：全光摄像机，其具有针对机动车辆外部的多个景深的视场，并且被配置成输出包括针对多个景深中的每个景深的深度信息的图像数据；显示装置，其包括三维视频显示器，该三维视频显示器设置在机动车辆的内部舱中并且可由车辆的乘员查看并被配置成在视频显示屏上显示从图像数据得到的外部视频图像，其中，当乘员改变显示装置的观看角度时，显示装置向乘员提供外部视频图像的不同视图，以向乘员提供对机动车辆外部的深度感知。
根据另一方面，提供了一种向车辆的乘员提供对所捕获的机动车辆外部的对象的深度感知的方法，该方法包括以下步骤：提供全光摄像机，该全光摄像机被配置成捕获机动车辆外部的光场；提供设置在机动车辆的内部舱中的三维显示器，该三维显示器被配置成将光场显示为视频图像并且可由车辆的乘员观看；以及对该三维显示器进行配置以当乘员改变显示装置的观看角度时向乘员提供视频图像的不同视图，以向乘员提供对机动车辆外部的深度感知。
其他适用领域将根据本文中所提供的描述变得明显。本概述中的描述和具体示例旨在仅用于说明的目的，而不旨在限制本公开内容的范围。
附图说明
本文中描述的附图仅用于说明选择的实施方式而非所有可能的实现方式的目的，并且不旨在限制本公开内容的范围。
图1示出了根据本公开内容的各方面的用于以各种配置检测对象的车辆的成像系统；
图2示出了根据本公开内容的各方面的用于检测对象的车辆的成像系统；并且图2A示出了图2的成像系统的阶段2A的局部放大侧视图；
图3示出了根据本公开内容的各方面的包括全光透镜系统的数字成像系统的第一实施方式和第二实施方式；
图4示出了根据本公开内容的各方面的图3的数字成像系统的示例图像传感器组件；
图5和图6示出了根据本公开内容的各方面的数字成像系统的第一示例性实施方式的全光透镜系统；
图7示出了根据本公开内容的各方面的数字成像系统的第一示例性实施方式的图像传感器组件的示例传感器子阵列；
图8示出了根据本公开内容的各方面的由数字成像系统的第一实施方式的控制单元完成的图像处理；
图9和图10示出了根据本公开内容的各方面的数字成像系统的第一实施方式的主透镜的多个主微透镜具有被选择成以彼此相等间隔的多个景深来投影多个中间图像的多个主焦距；
图11示出了根据本公开内容的各方面的数字成像系统的第一实施方式的主透镜的多个主微透镜具有被选择成以多个景深来投影多个中间图像的多个主焦距，所述多个景深被配置成随着距主透镜的距离增加而变小；
图12示出了根据本公开内容的各方面的数字成像系统的第一实施方式的主透镜的多个主微透镜具有被选择成以多个景深来投影多个中间图像的多个主焦距，所述多个景深被配置成随着距主透镜的距离增加而变大；
图13示出了根据本公开内容的各方面的测量从对象到车辆的距离的数字成像系统；
图14和图15示出了根据本公开内容的各方面的数字成像系统的第二示例性实施方式；
图16示出了根据本公开内容的各方面的数字成像系统的第二示例性实施方式的图像传感器组件的示例传感器子阵列；
图17A至图17B和图18A至图18B示出了根据本公开内容的各方面的用于使用数字成像系统检测姿势和障碍物中的至少之一的图像数据处理方法的步骤；
图19示出了根据本公开内容的各方面的作为姿势检测操作的一部分的数字成像系统测量从手至车辆部件的距离；
图20和图21示意性地示出了根据本公开内容的各方面的作为采用不同位置的手的姿势检测操作的一部分由数字成像系统确定的距离；
图22是根据说明性实施方式的针对机动车辆使用全光或光场摄像机检测对象的方法的示例；
图23是根据说明性实施方式的机动车辆的门把手的示例，该门把手设置有至少一个全光摄像机并且例如设置有数字成像系统，以提供不同视场来检测至少对象和姿势；
图24是根据说明性示例的机动车辆的俯视图，除了数字成像系统可检测到的周围对象之外，该俯视图还示出了数字成像系统在机动车辆上的示例性定位；
图25是根据说明性示例的驾驶员从不同的头部位置查看三维显示器的图24的机动车辆的内部的视图；以及
图26是根据说明性示例的用于机动车辆的车辆视觉系统的框图。
具体实施方式
在以下描述中将阐述细节以提供对本公开内容的理解。总体上，本公开内容涉及非常适合在许多应用中使用的类型的数字成像系统。将结合一个或更多个示例实施方式描述本公开内容的数字成像系统和相关联的图像数据处理方法。然而，所公开的具体示例实施方式仅被提供用于以足够的清晰度描述本发明的构思、特征、优点和目的，以允许本领域的技术人员理解和实践本公开内容。具体地，提供了示例实施方式，使得本公开内容是透彻的并且向本领域技术人员全面地传达范围。阐述了许多具体细节，例如具体部件、装置和方法的示例，以提供对本公开内容的实施方式的透彻理解。对于本领域的技术人员而言明显的是，不需要采用具体细节，示例实施方式可以以许多不同的形式来实施，并且不应当被解释为限制本公开内容的范围。在一些示例实施方式中，并未详细描述公知的过程、公知的装置结构和公知的技术。
参照附图，其中贯穿多个视图，相似的附图标记指示相应的部分。如图1中最佳所示，车辆1可以包括成像系统2，该成像系统2用于检测在车辆1的距离101内的对象3(例如，姿势和障碍物中的至少之一)。如图2中所示，成像系统2可以利用主透镜4，该主透镜4具有预定义景深(例如，聚焦在位于距主透镜4达300米处的对象上)，该主透镜4被布置在位于传感器组件6前方的微透镜阵列5的前方，传感器组件6包括耦接至控制单元8的多个光传感器7。然而，在这样的成像系统2中，中间对象在微透镜阵列5(微透镜组9)的前方被投影时可能看起来模糊。具体地，主透镜4不能在距主透镜4不同距离处提供不同的景深，从而丢失有利于障碍物检测的细节分辨率。适当的聚焦提供了用于对象3的检测的改进的图像分辨率，并且具有不同焦距的专用微透镜9减少了可用于捕获由主透镜4投影的图像的传感器组件6的像素或光传感器7的数量，因此丢失了分辨率。
如图2所示，单个中间图像33被透镜4聚焦在微透镜阵列5的前方。透镜4被示出为与微透镜阵列5光学耦合。因此，传感器组件6的光传感器7捕获不同视角的单个中间图像。在图2A中示出了微透镜阵列5与光传感器7处于光学耦合关系的侧视图，其被使用附图标记2A示出为图像处理阶段。
现在参照图3，数字成像系统20的第一示例性实施方式的示意图被示出，并且包括全光透镜系统22和图像传感器组件24。全光透镜系统22可以是固定全光透镜系统。作为示例，图像传感器组件24可以是光传感器/CMOS传感器/CCD传感器，并且被配置成例如以数字或模拟信号格式从输出信号线输出图像数据。数字成像系统20还包括存储单元26。此外，数字成像系统20包括耦接至图像传感器组件24和存储单元26的控制单元28(例如，存储单元26可以是控制单元28的一部分或是独立的)。在图4中示出示例图像传感器组件24。图像传感器组件24可以包括二维像素化成像阵列，该二维像素化成像阵列具有布置或设置或建立在半导体基板上的多个光敏像素或光传感器30。例如，成像传感器可以包括互补金属氧化物半导体(CMOS)或CCD成像传感器或装置等。
参照图4，图像传感器组件24可以是120MXS 120MP CMOS传感器。120MXS是具有13272x 9176个有效像素的超高分辨率CMOS传感器(约为全HD分辨率的60倍)。尺寸可以为29.22mm x 20.20mm，并且是具有1.22亿个有效像素的2.2微米x 2.2微米的正方形像素排列。28个数字信号输出通道使得可以进行9.4fps的像素逐行读取。
进一步参照图4，图像传感器组件24可以是3U5MGXS整体快门图像传感器，其配备有整体快门并且具有以120fps读取的完全像素逐行读取、2/3英寸的传感器尺寸以及具有533万个有效像素(2592x 2056)的3.4微米的像素尺寸。
将理解的是，还可以使用其他传感器类型，并且可以在同一阵列中使用多个不同的传感器类型。
如在图5和图6中最佳地示出的，全光透镜系统22包括主透镜32，该主透镜32被配置成聚焦来自针对多个景深例如不同或交叠的景深的视场的光99，并且投影表示多个景深的多个中间图像34。更详细地，主透镜32包括彼此相邻并且邻接的多个主微透镜36(例如示意性地示出为具有六个主微透镜361至6，但是应当认识到，取决于感兴趣的景深数量可以提供更多的主微透镜，例如多达500个主微透镜)，以同时聚焦来自多个景深的光99并投影多个中间图像34(例如，六个中间图像341至6，每个中间图像与从六个主微透镜361至6之一投影的光相关联)。具体地，多个中间图像34表示在多个景深处的多个视场部分。虽然本文描述的全光透镜系统的操作是参照光进行的，但是应当理解，作为示例，全光透镜系统可以被配置成以其他光谱例如UV、IR的其他类型的电磁辐射进行操作。
此外，全光透镜系统22包括中间微透镜阵列38，中间微透镜阵列38以与主透镜32和图像传感器组件24中的每一个间隔开的关系设置在主透镜32与图像传感器组件24之间并且包括多个中间微透镜40，多个中间微透镜40彼此相邻并邻接并且被分组成多个微透镜区块42。中间微透镜阵列38将来自主透镜32的多个中间图像34聚焦到图像传感器组件24上。例如，中间微透镜阵列38MLA1的微透镜区块42与主透镜32的主微透镜36，L1之一相对应，并且将光聚焦到图像传感器组件24的多个传感器子阵列44的部分S1上。多个中间微透镜40中的每个中间微透镜从与多个微透镜40中的与所述每个中间微透镜相邻的另一个中间微透镜不同的视角将多个中间图像34投影到多个传感器子阵列44中的一个上。换句话说，多个中间微透镜40中的每个中间微透镜以与相邻的中间微透镜40不同的角度/视角将中间图像34投影到图像传感器组件24的相关像素上。
参照图5，如图所示，主透镜32(即，主透镜32的主微透镜36中的每个主微透镜)设置成距中间微透镜阵列38第一距离46，并且第一距离46大于多个主微透镜36中的每个主微透镜的主焦距48。中间微透镜阵列38被设置成距图像传感器组件24第二距离50，并且第二距离50等于多个中间微透镜40中的每个中间微透镜的中间焦距。因此，主透镜32是多焦点透镜，其投影聚焦在(中间微透镜阵列38的)指定的中间微透镜40的前方的多个中间图像34。应当理解，主透镜32和中间微透镜阵列38的其他布置或配置是预期的。
图像传感器组件24以与主透镜32间隔开的关系设置，并且包括分组为多个传感器子阵列44的多个光传感器30。换句话说，图像传感器组件24和中间微透镜阵列38被分成多个中间微透镜阵列38，每个中间微透镜阵列38具有其自己的主微透镜36。每个传感器子阵列44被定位成捕获来自一定体积的视场的光，即，它还捕获光的方向。因此，每个传感器子阵列44被配置成捕获投影到传感器子阵列44上的在指定景深处的多个中间图像34中的每个中间图像，作为子中间图像或微中间图像37。具体地，每个中间图像34聚焦在给定的景深和距主透镜32的距离54处，因此细节不会丢失。针对提供1％的深度分辨率的景深产生较少数量的中间图像34，这使得能够增加捕获在给定景深处的中间图像34的光传感器30的数量。在图7中示出传感器子阵列44的示例，其中多个光传感器30的每个传感器子阵列44为1.2兆像素。
如在图7至图8中最佳地示出的，控制单元28被配置成接收或捕获从图像传感器组件24输出的图像数据，并且例如被配置成使用图像传感器组件24捕获与多个中间图像34相关联的图像数据。控制单元28还被配置成使用存储单元26存储与多个中间图像34相关联的图像数据(即，存储单元26存储与多个中间图像34相关联的图像数据)。因此，存储单元26存储与多个中间图像34相关联的图像数据。通过每个传感器子阵列44记录的原始图像数据包括通过多个中间微透镜40中的每个中间微透镜创建的许多微小图像。控制单元28另外被配置成使用表示多个中间图像34的图像数据来创建三维深度图。相邻的微图像或中间图像34在空间上略微不同的位置处示出相同的点。利用这种差异，可以在3D空间中确定该点的位置。当针对所有中间图像34中的所有像素或光传感器30重复该过程时，其结果是整个视场的3D深度图。控制单元28还计算对象3在视场中的距离54信息，并基于三维深度图和距离54信息检测姿势和障碍物中的至少之一。因此，数字成像系统20相对于承载数字成像系统20的车辆1提供一个或更多个对象3的三维和定时信息。例如，如果对象偏离车辆中心的一侧，或者如果对象3在地面以上的高度处，则根据距离信息可以计算位置信息。所提供的信息可以包括对象3在视场中的X和Y坐标，对象3与承载车辆1之间的距离(Z)54以及基于对象3和承载车辆1的速度的可能碰撞时间。因此，控制单元28被配置成基于针对传感器子阵列44捕获的图像之间的差异的处理来确定对象3的距离54。
参照图8，示出了方法1000，该方法1000包括可以由控制单元28执行的步骤，并且包括如下步骤1002：捕获和存储图像数据，以使得由每个光场子传感器阵列(例如，44、144)记录的原始图像数据包括由每个微透镜40创建的许多微小图像233，并且还包括如下步骤1004：使用所存储的子图像数据创建3D深度图，从而相邻的微图像235在空间上略微不同的位置处示出相同的点。利用这种差异，可以在3D空间中确定该点的位置。当针对所有微图像中的所有像素重复该过程时，其结果是整个图像的3D深度图237。方法1000还包括如下步骤1006：计算距离信息并且例如使用深度图计算距离，由此可以计算图像的每个部分的距离信息作为深度图237。因此，可以使用光学捕获和图像处理技术来确定对象3的距离。
如图9中最佳所示，多个主微透镜36具有被选择成以彼此相等间隔(例如，每50米)的多个景深来投影多个中间图像34的多个主焦距48。基于距主透镜32的距离54，每个中间图像34被聚焦在图像传感器组件24前方的公共平面内，从而整个景深内的每个中间图像34被聚焦以提供适当的图像分辨率。
类似地，图10示出了被选择成以比图9中的间隔更近的彼此相等间隔(例如，每3米)的多个景深来投影多个中间图像34的多个主焦距48。
可替选地，多个主微透镜36具有被选择成以根据距主透镜32的距离54选择的多个景深来投影多个中间图像34的多个主焦距48。例如，在图11中，随着距主透镜32的距离54增加，多个景深被配置成变小。因此，主微透镜36被配置成在(距主透镜32)较远的距离54处具有较小的景深。这样的配置对于长距离54对象跟踪(例如，自驾驶车辆1)可能是有利的。
在图12中，随着距主透镜32的距离54增加，多个景深被配置成变大。因此，主微透镜36被配置成在(距主透镜32)较近的距离54处具有较小的景深，例如，接近警告和姿势识别。
在操作中，数字成像系统20测量从对象3到主车辆1的距离54，如图13中最佳所示。通过将基于每个微阵列的焦点的距离54信息添加到三维图像的深度信息，算法(例如，控制单元28的算法)可以更准确地确定对象3或多个对象的位置信息。通过视频帧(捕获的图像的序列)给出的定时信息以及(从车辆总线199读取的)主车辆速度信息使得能够计算对象速度。距离54和速度信息还可以反馈给(例如，控制单元28或其他控制器的)视觉算法，以帮助其对象识别。此外，车道标记信息还针对诸如自适应巡航控制(ACC)和碰撞警告的应用添加临界信息。基于对象3的四维信息和车道标记信息，可以生成道路对象3的图。除了距离54信息之外，还可以基于图像数据例如三维图像、基于例如对对象3在Y和X方向上的坐标155的识别来确定位置信息。此外，被示为包括诸如标志、树木、建筑物、人行道等的对象的背景图像数据157的遮挡可以不被处理用于确定位置和距离信息。例如，这样的遮挡可以基于根据坐标X和Y的捕获图像的预定区域，或者作为由人工智能算法确定的结果。感兴趣区域159也可以以类似的方式确定，感兴趣区域159被示为例如包括与以下道路相关联的区域：例如如图1所示，当数字成像系统20向前面向时，在该道路上作为对象3的车辆位于车辆1的前方。因此，由于不处理与背景图像数据157相关联的数据，而仅处理感兴趣区域159，因此需要处理较少的图像数据。
如在图14和图15中最佳示出的，提供了数字成像系统120的第二示例性实施方式。与数字成像系统20的第一示例性实施方式相比，全光透镜系统122的主透镜132包括双折射透镜156，该双折射透镜156包括至少一个液晶158层(图15)，至少一个液晶158层可通过施加的电流或电压移动，以按顺序(例如，在时间T，然后在时间T+1、在时间T+2等)分别聚焦来自多个景深的光并投影多个中间图像134。电流使晶体158扭曲。由于折射率随通过每个晶体158的光传播的方向而变化，因此可以获得透镜效应(即，虚拟微透镜)。与主微透镜36相比，双折射透镜156的优点在于虚拟微透镜的数量及其焦距可以根据需要改变。双折射透镜156是具有可控焦距的透镜的说明性示例，并且例如可以是可控双折射透镜。双折射透镜156的控制的一个示例可以是控制双折射透镜156以按顺序聚焦来自多个景深的光并投影多个中间图像，使得多个中间图像表示在多个景深中的每个景深处的视场，其中，控制单元28、128被配置成控制可控双折射透镜156以在预定时间段上按顺序聚焦来自多个景深中的每个景深的光99并投影多个中间图像34。
因此，来自双折射透镜156的多个中间图像134表示在多个景深中的每个景深处的视场。因此，控制单元128被配置成将施加的电流提供给至少一个液晶158层，以在预定时间段上按顺序分别聚焦来自多个景深中的每个景深的光并投影多个中间图像134。因此，例如，双折射透镜156递增地扫描距离0米至300米，并针对每个景深更改焦点，以将中间图像134投影在中间微透镜阵列138的前面。
如图16所示，双折射透镜156的受控焦点使得多个中间图像134中的每个中间图像能够在给定的景深处聚焦并由图像传感器组件124捕获(在特定的时刻)。因此，多个中间图像134中的每个中间图像均以聚焦状态被图像传感器组件124捕获，并且整个图像传感器组件124(例如，多个传感器子阵列144)被用于捕获多个中间图像134中的每个中间图像，并以高分辨率将多个中间图像134存储到存储单元126。双折射透镜156在每个时段以及在每个景深处投影被捕获和存储的较大的中间图像134，从而为每个景深提供了提高的分辨率。
返回参照图3和图24，控制单元128还被配置成向车辆系统60、62、64提供至少一个对象3的位置和距离信息。例如，距离信息可以是从对象3的多个表面到视点或参考点147的距离，例如视点或参考点147被示意性地示出为数字成像系统20、120的图像传感器24、124，例如，中间微透镜阵列38、138在图像传感器24、124的平面上的焦点。车辆系统60可以是障碍物检测系统61，障碍物检测系统61可以被配置成基于闭合面板64的位置以及提供的位置和距离信息来确定可以在哪个阈值距离处控制闭合面板64的移动以停止，例如，如果闭合面板64处于移动朝向完全打开位置的45度打开位置，并且所提供的位置和距离信息指示对象例如立柱399或人被定位在以打开75度打开的闭合面板64打开的路径内，障碍物检测系统61可以命令耦接至闭合面板64的动力执行器停止闭合面板64的移动。车辆系统60可以包括姿势检测/识别系统63，该姿势检测/识别系统63可以被配置成确定用户的姿势397，用户的姿势397用于表达他们的意图来控制车辆1，例如，控制闭合面板64的解锁、门面板64的动力激活和/或控制其他车辆功能，例如车窗的打开/关闭、车辆点火、警报等。姿势检测/识别系统63可以接收所提供的位置和距离信息，例如与执行姿势的为脚、手的对象有关的位置和距离信息，该姿势例如其中手或脚相对于数字成像系统20、120的距离和位置可以改变的滑动。作为示例，例如，随着手在一个方向上从左向右移动、随着手相对于数字成像系统20、120的位置变化——这两者都可以由数字成像系统20、120检测和确定，手的左右滑动可以改变其距数字成像系统20、120的距离并且然后远离数字成像系统20、120。作为示例，基于数字成像系统20、120和/或姿势检测/识别系统63的存储器中预先存储的通过数字成像系统20、120和/或姿势检测/识别系统63中的一个的控制单元与所提供的表示姿势的位置和距离信息匹配的数据序列，姿势检测/识别系统63可以命令另外的车辆系统，例如车辆闩锁的电动锁执行器、用于移动闭合面板64的电动执行器的DC电动机。作为示例，车辆系统60可以包括高级驾驶员辅助系统(ADAS)65，高级驾驶员辅助系统(ADAS)65是被配置成辅助车辆驾驶员驾驶机动车辆1或在停车(倒车)期间辅助车辆驾驶员的电子系统。例如，高级驾驶员辅助系统(ADAS)65可以被配置成接收所提供的位置和距离信息，所述信息指示对象例如车辆10前方的另外的车辆11正在迅速朝向车辆10的前方改变位置，这可能指示另外的车辆11正在制动，并可以被配置成确定其他车辆11现在处于距车辆1的前部的阈值安全距离之内，并且因此控制车辆1的制动器以使车辆1减速，以便车辆1不与车辆11接触。车辆系统60可以包括警报或警告系统67，该警报或警告系统67是被配置成例如通过听觉警报来向车辆驾驶员或接近车辆1的对象警报例如骑自行车的人395的正在接近车辆1的侧面的电子系统。例如，警告系统67可以被配置成从设置在侧后视镜167中的数字成像系统20、120接收所提供的位置和距离信息，所述信息指示对象3诸如骑自行车的人395正在接近驾驶员的侧前门闭合面板64，例如，确定对象的距离正在减小并且处于朝向驾驶员侧前门闭合面板64移动的位置，并且作为响应，控制听觉警报以向驾驶员警告骑自行车的人395，或者控制另外的车辆系统例如制动装置以停止闭合面板64的移动。其他车辆系统可以被配置成从数字成像系统20、120接收提供的位置和距离信息。尽管可以使用数字成像系统120的第二示例性实施方式来代替数字成像系统20的第一示例性实施方式，但是应该理解，两者可以同时在单个车辆1上使用(两者都连接至单个车辆1总线199，用于与车辆系统60、62、64通信)。因此，数字成像系统20、120可以适合于与其他车辆系统60、62、64例如盲点检测系统结合使用，其中，盲点指示器可以可操作成向主车辆1的驾驶员提供以下指示：在与主车辆1的侧面相邻的车道或区域中已经检测到对象3或其他车辆1。可以使用包括车体控制模块60(BCM)、显示器62或(例如，由姿势操作的)闭合面板系统64的其他系统。
如在图17A至图18B中最佳示出的，一种图像数据处理方法，用于使用数字成像系统20来检测姿势和障碍物中的至少之一。如上所述，数字成像系统20、120包括主透镜32、132(作为全光透镜系统22、122的一部分)和以与主透镜32、132间隔开的关系设置的图像传感器组件24、124。数字成像系统20、120还包括中间微透镜阵列38、138(作为全光透镜系统22、122的另外的部分)，该中间微透镜阵列38、138以与主透镜32、132和图像传感器组件24、124中的每一个间隔开的关系设置在主透镜32、132与图像传感器组件24、124之间。
该方法开始于以下步骤200：使用主透镜32、132聚焦来自针对多个景深的视场的光，并投影表示在多个景深处的多个视场部分的多个中间图像34、134。
如果主透镜32、132包括彼此相邻并彼此邻接的多个主微透镜36，则使用主透镜32、132聚焦来自针对多个景深的视场的光并且投影表示在多个景深处的多个视场部分的多个中间图像34、134的步骤200包括以下步骤202(图17A和图17B)：同时聚焦来自多个景深的光并且投影多个中间图像34。
在主透镜32、132包括双折射透镜56的情况下，使用主透镜32、132聚焦来自针对多个景深的视场的光并且投影表示在多个景深处的多个视场部分的多个中间图像34、134的步骤200包括以下步骤204(图18A和图18B)：将施加的电流提供给双折射透镜156的至少一个液晶158层，以在预定时间段上按顺序分别聚焦来自多个景深中的每个景深的光并投影多个中间图像134。因此，双折射透镜156提供了鲁棒的非机械配置，以改变焦点并以不同景深的焦点投影图像。
该方法的下一步骤是206：使用中间微透镜阵列38、138将来自主透镜32、132的多个中间图像34、134聚焦到图像传感器组件24、124上。该方法进行到步骤208：使用图像传感器组件24、124捕获与表示在多个景深处的多个视场部分的多个中间图像34、134相关联的图像数据。
如果主透镜32、132包括多个主微透镜36(图17)，则针对每个景深捕获图像，可以在一个时间点捕获整个场景。不执行在栅格之间具有时间延迟的栅格扫描。每个景深被配置成设置有高分辨率的捕获图像的1％的景深。相比之下，对于双折射透镜156，整个图像传感器组件124被用于以高分辨率捕获中间图像134，并且中间场被投影在整个图像传感器的前面。
该方法继续到210：使用存储单元26、126来存储表示多个中间图像34、134的图像数据。该方法还可以包括步骤212：遮挡背景图像信息。对于包括多个主微透镜36的主透镜32、132(图17)，图像处理仅限于与感兴趣区域有关的某些像素或光传感器30。例如，可以使用人工智能算法。由于处理数据较少，因此需要功能不那么强的图像处理器(例如，控制单元28)以较短的时间量执行计算。另外，该方法还可以包括步骤214：针对多个中间图像34、134中的每个中间图像，对感兴趣区域进行识别和分类。该方法可以另外包括步骤216：经由图像处理来增强多个中间图像34、134，该图像处理包括低光补偿和边缘增强以及分辨率增强中的至少之一。由于在存储单元26、126中捕获整个场景或视场达给定时间，因此可以执行附加的图像增强处理，例如以补偿低光、增强边缘、提高分辨率等。更高分辨率的图像提供了更多要处理的信息。
然后，该方法包括以下步骤218：使用与多个中间图像34、134相关联的图像数据创建三维深度图。更详细地，使用与多个中间图像34、134相关联的图像数据创建三维深度图的步骤218可以包括使用针对感兴趣区域的与多个中间图像34、134相关联的图像数据创建三维深度图的步骤220，以及忽略与感兴趣的区域无关的图像数据的步骤222。每个图像都与在预定距离54处的景深相关联。数据信息是已知的。每个深度图提供景深内的附加距离信息，以提供高精度距离数据。作为示例，例如，如图21所示出的，可以计算距图像传感器24、124的平面的视点或者参考点147的距离信息。
该方法的下一步骤是224计算多个视场部分中的每个部分的距离信息。该方法还包括基于三维深度图和距离信息来检测姿势和障碍物中的至少之一的步骤226。该方法还可以包括向车辆系统提供感兴趣区域中的至少一个对象3的位置和距离54信息的步骤228。车辆系统可以例如包括车辆检测和测距系统和姿势识别系统以及生物识别系统和车辆检测系统中的至少之一。
本文公开的数字成像系统20、120提供了许多优点。在提供并处理全视场的传统LIDAR系统中，以光栅方式扫描光束，或者按顺序扫描多个检测器，在这种情况下，将相等量的时间分配给视场中的所有对象3。然而，本文公开的数字成像系统20、120可以将不同量的“凝视”时间分配给不同的对象3。不需要跟踪。另外，不需要LIDAR源，全光透镜系统22、122捕获自然发生的光。可以对由图像传感器组件24、124捕获的每个微图像或中间图像34、134进行处理以增强在弱光场景下的图像。本质上，被跟踪的对象3在视场中沿水平方向X和垂直方向Y缓慢移动，而沿Z方向快速移动。不需要机械扫描或者光栅扫描，并且在一个实例中可以捕获整个X、Y和Z场景。另外，图像数据的后期处理可以掩盖不重要的场景空间例如天空，并且因此系统不必在视场中的没有感兴趣的对象3的大多数一个或多个“空”空间中浪费扫描时间。结果，与常规光栅扫描LIDAR系统或者多检测器系统相比，数字成像系统20、120可以提供较快的场景采样率或者跟踪速度。可以通过现成的高分辨率CMOS图像传感器组件24、124捕获整个景深。不需要机械扫描——机械扫描需要附加的时间来捕获整个景深——这可以导致扫描机械的较低的成本和较高的耐用性。传统的光栅扫描LIDAR系统在整个视场中均匀地传播光束，并因此对于视场中的每个对象3都有较短的曝光时间。以较低分辨率跟踪快速移动的对象3。在不在光栅扫描上浪费时间的情况下，当前系统可以提供与常规LIDAR和雷达相比显著提高的距离采样率。
另一个优点是，因为已针对特定子视场将每个中间图像34、134调整成聚焦，因此数字成像系统20、120可以提供更有效、更精确的距离测量。此外，由于在某个时间点捕获了视场，因此在后期处理期间可以根据需要处理存储在存储单元26、126中的该数据。例如，感兴趣的区域可以经受计算要求较高的处理。数字成像系统20、120允许在较短的时间段内收集更多的图像，并且允许对所存储的图像数据应用特殊的算法或技术，以增强检测灵敏度和置信水平。
因为全光透镜系统22、122的三维空间中的对象检测可以提供更详细的景深内的深度信息或深度数据，因此本公开内容的数字成像系统20、120可以提供对距离54的更精确的测量。另外，对象3的距离读取增加了三维视觉对象检测的置信水平。能够对对象3“凝视”更久并且根据需要对图像应用后期处理的另一个好处是，在诸如雨天或雾天的不利天气条件下提供增强的性能。已知的LIDAR系统的一个已知的缺点是，LIDAR系统通过雨水或雾观看远距离54具有困难。光被雨和雾中的水滴散射或扩散，并且导致返回光信号太弱而无法检测。然而，通过控制双折射透镜156，可以在较长的时间段内捕获特定景深处的整个场景，以收集更多的信息用于分析。可以收集更多的光，并且随后可以将特殊的方法和算法应用于图像数据，以增强检测灵敏度和置信水平。图像传感器组件24、124或摄像机视觉传感器可以提供高的横向分辨率和垂直分辨率，并且成熟的成像处理技术通过利用成熟的彩色CMOS或CCD成像器允许高速的充分或增强的对象识别、车道标记检测等。像本文中所描述的那样，与其他竞争技术例如雷达等相比图像传感器组件24、124是具有相对较低成本的成熟技术。
数字成像系统20、120在性能(例如横向维度、垂直维度和纵向维度上的高分辨率；高检测和跟踪速度；以及可靠的对象3识别和跟踪)、成本(例如由于能够使用行业标准的图像传感器组件24、124和图像处理器)、大小(较小的封装大小；并且没有机械移动部分)以及与现有的基于视觉的系统例如LOW、IHC、AFS、TSR和/或夜视系统等集成方面提供了优势。数字成像系统20、120的应用包括：(i)自适应巡航控制(ACC)；(ii)停止和行进；(iii)行人检测；(iv)车辆1的前后两侧的碰撞警告；(v)预测性制动辅助；(vi)侧面对象检测，(vii)侧面盲区对象检测；(viii)后方盲区对象检测；(ix)停车辅助；以及/或者(x)车道变更辅助检测(侧面对象检测系统可以包括盲区辅助功能和车道变更辅助功能两者)等。因此，数字成像系统20、120提供了与现有技术相比增强的处理技术，现有技术包括：扫描LIDAR(其扫描整个视场并且跟踪速度较慢，并且不善于在复杂场景中识别对象3，并且不善于在雾中或雨中进行检测)；雷达(其价格昂贵、并且水平分辨率低(只有几个波瓣)并且不善于在复杂场景中识别对象3)；立体视觉(其需要两个摄像机并且需要较宽的基线和刚性体、需要复杂的立体图像处理并且其距离精度受摄像机间距的限制)；2-D视觉(其需要复杂的图像处理，并且在测量距离54时不是那样精确，并且无法为可变大小的检测车辆1提供可靠的距离信息)；距离成像器(一种除了常规的2D图像外还可以通过光发射器发射的光脉冲的飞行时间来测量对象距离54并且在成像器芯片级处进行距离感测的成像器技术，其是复杂的半导体传感器制造并且是成本较高的系统)。
现在参照图19和图20，提供了操作用于检测姿势例如用于检测手100的姿势的数字成像系统20的说明性示例。应当理解，还可以检测其他对象的其他姿势，并且系统不限于本文所描述的手的示例。可以安装数字成像系统20作为车辆部件101、例如侧视镜组件102、把手组件103、车辆装饰物104、内部后视镜105的一部分或者作为设置在车辆1上的不同位置处的其他车辆部件的一部分。例如，数字成像系统20可以设置在车辆保险杠上，并且被配置成指向地面。作为示例而非限制，可以提供数字成像系统20以基于所识别/识别的姿势来检测用于控制车辆系统的姿势，以例如：控制车辆锁的解锁、控制用于打开/关闭车窗的窗户调节器系统、控制用于移动门的电动门执行器单元、控制音频系统。说明性地，示出了数字成像系统20用于检测在接近车辆部件101期间执行接近和取向变化的手姿势，接近和取向变化例如从垂直延伸的手位置到水平延伸的手位置。数字成像系统20示例性地包括多个主微透镜，例如仅作为简化的说明性示例的一部分而提供的五个透镜361至365，每个透镜分别具有被选择成以彼此间隔开(例如，如图19所示，每5厘米或10厘米，然而，可以提供景深之间的不同间隔，例如更近地间隔开的景深，这对于接近和精细姿势检测是有利的)的多个景深(D1至D5)投影多个中间图像341至345的多个主焦距481至485，以提供在车辆部件101的近视场内或近距离内的姿势检测。每个中间图像341至345基于距主透镜32的距离54(541至545)聚焦在图像传感器组件24前方的公共平面内，使得景深D1至D5内的每个中间图像341至345聚焦以提供适当的图像分辨率供多个光传感器30捕获，如图19说明性示出了光传感器30的子阵列，每个子阵列捕获中间图像341至345之一。
根据图19示出的数字成像系统20的说明性操作，数字成像系统20被配置成在手100接近透镜32时测量从手100到部件101的距离54。如图23中说明性地示出的，作为示例，数字成像系统20设置在门把手103中用于检测姿势，例如手100的姿势。车辆1上的其他位置是可能的。当手100接近透镜32或设置有数字成像系统20的车辆部件101时，手100将示例性地穿过多个景深，并且如图19所示，手将穿过多个景深(D1至D5)，例如按顺序从D1开始直到D5。当手100穿过多个景深(D1至D5)时，手100还可以执行姿势例如取向、角度、截面等的变化，这可以改变由数字成像系统20检测到的手100的三维深度。数字成像系统20可以被配置成例如使用对象跟踪技术来跟踪接近的手100，以确定由手100执行的姿势。例如，数字成像系统20可以同时监测所有多个景深(D1至D5)，以基于由多个光传感器30捕获并由ECU 28确定的微图像371-375的分辨率例如焦点确定对象是否存在于多个景深(D1至D5)中的特定景深或多个景深中。可以提供由ECU 28执行的其他对象跟踪技术，以确定手100存在于其中的景深(D1至D5)。一旦确定了手100占据的特定景深(D1至D5)，则已知从部件到在特定景深(D1至D5)的分辨率内的手100的距离101，并且通过将基于每个中间微透镜阵列38的焦点的距离54信息添加到在特定景深(D1至D5)内捕获的手100的三维图像(微图像37)的深度信息(DI1至DI5)，算法(例如控制单元28的算法)可以更精确地确定手100的位置信息以及由手100执行的姿势。例如，算法可以通过确定姿势在初始位置处例如在视场D1内来确定姿势已经由手100执行，作为如图20所示出的手的垂直取向的结果，全光透镜系统22确定手100的捕获图像针对手100的整个表面生成根据景深D1内的捕获图像的均匀距离(例如均匀深度信息DI1)确定的具有平坦表面的深度图45(以2D说明性示出)，如图21所示，与当在景深D1中时手100的检测表面相比较，作为手的水平取向的结果，当全光透镜系统22确定景深D5内的手100的捕获图像针对手100的较小检测表面生成根据景深D5内所捕获的子图像或微图像375的距离(例如均匀深度信息DI5)确定的具有峰状表面P的深度图47(以2D说明性示出)时，其发生改变。例如，当根据景深D5的最近界线计算距离54时，可以通过将距离545与到表示指尖的最小距离的深度信息DI5的距离相加来计算图21所示出的手100的指尖的距离，或者当根据景深D5的中心来计算距离54时，可以通过从到表示指尖的最小距离的深度信息DI5的距离减去距离545来计算图21所示出的手100的指尖的距离。进一步增强姿势检测，由穿过多个景深(D1至D5)的手100的视频帧(捕获的图像的序列)给出的定时信息使得能够计算手100的速度，这还可以辅助姿势检测，例如，当手100以一定的变化速率穿过景深(D1至D5)时手100的检测表面的变化可以指示与存储在存储单元26、126中的姿势相比正确的激活姿势，作为示例，这可以提示ECU 28发出激活命令以控制车辆系统，例如解锁锁住门的车辆闩锁、致动动力执行器以移动车门。还可以将距离54和速度信息反馈到(例如控制单元28的或其他控制器的)视觉算法以帮助其对象识别。虽然在操作中数字成像系统20已经被示出为检测手100移动通过多个景深(D1至D5)的姿势，但是数字成像系统20也可以检测执行姿势的其他类型的对象，例如脚、手臂、腿或者其他身体部分或运动。
除了图1至图21之外，现在还参照图22，示出了用于使用全光摄像机检测对象的示例性方法1100，该全光摄像机包括图像传感器组件，该图像传感器组件输出包括视场内的对象的深度数据的图像数据，该方法1100可以由相应编程的控制单元28实现，并且包括以下步骤：使用图像数据计算视场内对象的位置信息和距离信息中的至少之一1102，以及将视场中对象的位置信息和距离信息中的至少之一提供给车辆系统1104。方法1100还可以包括基于位置信息和距离信息中的至少之一来检测姿势和障碍物中的至少之一的步骤。方法1100还可以包括在计算距离信息之前从图像数据中遮挡背景图像信息的步骤。方法1100还可以包括在计算距离信息之前从图像数据中识别和分类感兴趣区域的步骤。方法1100还可以包括使用图像数据创建三维深度图的步骤，该步骤包括使用与感兴趣区域相关联的图像数据创建三维深度图的步骤、忽略与感兴趣的区域不相关的图像数据步骤、以及使用三维深度图计算视场内的对象的位置信息和距离信息中的至少之一的步骤。方法1100还可以包括将感兴趣区域中的对象的位置信息和距离信息提供给车辆系统的步骤，其中，车辆系统包括对象检测系统、测距系统和姿势识别系统以及生物识别系统和车辆检测系统中的至少之一。用作方法1100的一部分的全光摄像机可以包括可控双折射透镜，还包括控制双折射透镜以使来自多个景深的光聚焦的步骤。用作方法1100的一部分的全光摄像机可以包括图像传感器组件和全光透镜系统，全光透镜系统包括主透镜和中间微透镜阵列，中间微透镜阵列以与主透镜和图像传感器组件中的每一个间隔开的关系设置在主透镜与图像传感器组件之间，其中，主透镜被配置成使用主透镜聚焦来自针对多个景深的视场的光并且投影表示在多个景深处的多个视场部分的多个中间图像；其中，中间微透镜阵列被配置成使用中间微透镜阵列将来自主透镜的多个中间图像聚焦到图像传感器组件上；其中，图像传感器组件被配置成用于使用图像传感器组件捕获与表示在多个景深处的多个视场部分的多个中间图像相关联的图像数据。
除了图1至图22之外，现在参照图23至图26，示出了用于机动车辆1的车辆视觉系统2000，车辆视觉系统2000包括：全光摄像机2002，其可以包括具有如本文所述的全光透镜系统的光学装置，但是也可以采用其他类型的全光摄像机或者光场摄像机，具有机动车辆1的外部的针对多个景深的视场并且被配置成输出包括针对多个景深中的每个景深的深度信息2006的图像数据2004；显示装置2008，其包括三维视频显示器2010，三维视频显示器2010设置在机动车辆1的内部舱77中并且可由车辆的乘员2012观看并且被配置成在三维视频显示装置2008的视频显示屏上显示从图像数据2004得到的外部视频图像，其中当乘员改变显示装置2008的观看角度(例如，移动他的头部2014)时，显示装置2008向乘员提供例如由于视差效应引起的对外部视频图像的信息的增加，来向乘员提供对机动车辆1的外部的深度感知。作为示例，显示装置2008可以是体积显示器、全息显示器、整体成像显示器或压缩光场显示器。这样的附加深度感知可以由显示多个视场的显示装置2008提供，以在乘员2012在观看显示装置2008时改变他的视角例如移动他的头部2014的情况下，允许用户识别前景对象例如较近的对象与背景对象例如较远的对象之间的相对运动的变化。换句话说，显示装置2010允许乘员2012例如驾驶员，通过移动其头部2014，例如从第一位置2014'(实线轮廓)移动到第二位置2014″(虚线轮廓)以改变诸如显示在显示装置2008上的显示对象3'的点的点的观看角度来获得深度感知，从而根据头部2014的位置，例如头部已经从第一位置2014'(实线轮廓)移动到第二位置2014″(虚线轮廓)，将对对象的感知从第一感知3″(实线轮廓)改变到第二感知3″'(虚线轮廓)。当在二维显示器上显示图像数据时，不存在这样的深度感知。当观看显示装置2008并且例如被配置成使用本文描述的全光图像系统20、120接收图像数据2004时，为驾驶员2012提供深度感知，可以通过允许驾驶员2012能够在操作车辆1并且观看三维显示装置2008时判断距离来提高机动车辆操作安全性，在操作车辆1并且观看三维显示装置2008时例如：当在倒车或停车操作期间观看显示装置2008上的由位于车辆1的后部上的全光摄像机2002捕获的、用3维信息增强的图像数据的视频图像时，例如当在前进或停车操作期间观看显示装置2008上的由位于车辆1的前部上的全光摄像机2002捕获的图像数据2004的视频图像时，例如当在驾驶期间或者车道变更期间观看显示装置2008上的由位于车辆1的侧后视镜167上的全光摄像机2002捕获的图像数据2004的视频图像时。因此，图26示出了用于机动车辆1的车辆视觉系统2000，车辆视觉系统2000包括例如直接(实线)电耦接至显示装置2008的全光摄像机2002，但是可以提供中间控制器2009(虚线画出的)，中间控制器2009电耦接至全光摄像机2002以控制全光摄像机2002以提供图像处理功能，并且耦接至显示装置2008，并且全光摄像机2002被配置成输出包括由全光摄像机2002捕获的针对多个景深中的每一个的深度信息2006的图像数据2004，其中，显示装置2008包括三维视频显示器2010。
显然，在不脱离所附权利要求限定的范围的情况下，可以对本文描述和说明的内容进行改变。出于说明和描述的目的提供了对实施方式的前述描述。其不旨在穷举或限制本公开内容。特定实施方式的各个元件或特征通常不限于该特定实施方式，而是在适用的情况下是可互换的并且可以用于所选择的实施方式中，即使没有具体示出或描述也是如此。特定实施方式的各个元件或特征在许多方面也可以变化。这样的变型不被视为脱离本公开内容，并且所有这样的修改旨在被包括在本公开内容的范围内。
本文中使用的术语仅用于描述特定示例实施方式的目的，而非意在限制。如本文中所使用的，除非上下文另有明确指示，否则单数形式“一”、“一种”和“该”可以意在也包括复数形式。术语“包括”、“包括有”、“包含”和“具有”是包括性的，并且因此指定存在所述特征、部分、步骤、操作、元件和/或部件，但不排除存在或添加一个或更多个其他特征、部分、步骤、操作、元件、部件和/或其构成的组。本文中描述的方法步骤、过程和操作，除非被具体指定为执行顺序，否则不应被解释为必须要求它们以所论述或示出的特定顺序执行。还应当理解的是，可以采用附加步骤或替代性步骤。
当元件或层被称为“在...上”、“接合至”、“连接至”或“耦接至”另一元件或层时，该元件或层可以直接在另一元件或层上、接合至另一元件或层、连接至另一元件或层或者耦接至另一元件或层，或者可以存在中间元件或层。相反，当元件被称为“直接在...上”、“直接接合至”、“直接连接至”或“直接耦接至”另一元件或层时，可以不存在中间元件或层。用于描述元件之间的关系的其他词语应当以同样的方式解释(例如，“在...之间”与“直接在...之间”、“相邻”与“直接相邻”等)。如本文中所使用的，术语“和/或”包括关联的列出项目中的一个或更多个的任何及所有组合。
尽管术语第一、第二、第三等可以在本文中用于描述各种元件、部件、区域、层和/或部分，但这些元件、部件、区域、层和/或部分不应受到这些术语的限制。这些术语可以仅用于将一个元件、部件、区域、层或部分与另一区域、层或部分区分开。在本文中使用诸如“第一”、“第二”的术语以及其他数字术语时，除非由上下文清楚地指示，否则不暗含序列或顺序。因此，下文中所论述的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分，而不背离示例性实施方式的教示。
在本文中可以使用与空间相关的术语，比如“内”、“外”、“下面”、“下方”、“下”、“上方”、“上”、“顶部”、“底部”等，以便于说明来对如图中所示的一个元件或特征与另一元件或特征的关系进行描述。除了图中所示的取向之外，空间相对术语可以旨在涵盖使用或操作中的装置的不同取向。例如，如果图中的装置被翻转，则被描述为在其他元件或特征“下方”或“之下”的元件将被定向在其他元件或特征“上方”。因此，示例术语“下方”可以包括上方和下方两种取向。装置可以以其他方式定向(旋转角度或以其他取向)，并且文中使用的与空间相关的术语可以相对应地进行解释。

Claims (10)

1.一种用于检测作为姿势和障碍物中的至少之一的对象(3，3')的数字成像系统(20，120)，包括：
包括主透镜(32)的全光透镜(32)系统，所述主透镜(32)被配置成聚焦来自针对多个景深的视场的光(99)，并投影多个中间图像(34，134)，所述多个中间图像(34，134)中的每一个表示所述多个景深中的一个景深；
图像传感器组件(24，124)，其以与所述主透镜(32)间隔开的关系设置，并且包括被配置成输出图像数据的多个光传感器(30)；
所述全光透镜(32)系统包括中间微透镜阵列(38，138)，所述中间微透镜阵列(38，138)以与所述主透镜(32)和所述图像传感器组件(24，124)间隔开的关系设置在所述主透镜(32)与所述图像传感器组件(24，124)之间，并且所述中间微透镜阵列(38，138)包括彼此相邻的多个中间微透镜(40)以将来自所述主透镜(32)的多个中间图像(34，134)聚焦到所述图像传感器组件(24，124)上，其中，所述多个中间微透镜(40)中的每个中间微透镜从与所述多个中间微透镜(40)中的与所述每个中间微透镜相邻的另一中间微透镜不同的视角将所述多个中间图像(34，134)投影到所述图像传感器组件(24，124)上；以及
控制单元(28，128)，其耦接至所述图像传感器组件(24，124)，并被配置成使用所述图像数据计算所述对象(3，3')在所述多个景深中的至少一个景深中的距离(54，101)信息，并基于所述距离(54，101)信息检测姿势和障碍物中的至少之一。
2.根据权利要求1所述的数字成像系统，其中，所述控制单元还被配置成：使用表示所述多个中间图像的图像数据创建三维深度图；使用所述三维深度图计算在所述视场中的对象的多个表面距视点的距离信息；以及基于所述距离信息检测姿势和障碍物中的至少之一。
3.根据权利要求1或2所述的数字成像系统，其中，所述多个光传感器被分组成多个传感器子阵列(44)，并且其中，所述多个中间微透镜被分组成多个微透镜区块(42)，所述多个微透镜区块(42)中的每一个用于将来自所述主透镜的多个中间图像之一聚焦到所述多个传感器子阵列之一上，并且其中，所述主透镜被配置成聚焦来自针对多个景深的视场的光并在所述多个微透镜区块之一的前方投影所述多个中间图像，所述多个中间图像中的每一个表示所述多个景深中的一个景深。
4.根据权利要求1至3中任一项所述的数字成像系统，其中，所述主透镜包括彼此相邻且邻接的多个主微透镜(36)，以同时聚焦来自所述多个景深的光并投影所述多个中间图像，其中，所述多个中间图像表示在所述多个景深处的多个视场部分。
5.根据权利要求1所述的数字成像系统，其中，所述主透镜被设置成距所述中间微透镜阵列第一距离，并且所述第一距离大于所述多个主微透镜中的每一个的主焦距。
6.根据权利要求5所述的数字成像系统，其中，所述中间微透镜阵列被设置成距所述图像传感器组件第二距离，并且所述第二距离等于所述多个中间微透镜中的每一个的中间焦距。
7.根据权利要求1所述的数字成像系统，其中，所述多个主微透镜具有被选择成以彼此相等间隔的多个景深来投影所述多个中间图像的多个主焦距。
8.根据权利要求1所述的数字成像系统，其中，所述多个主微透镜具有被选择成以根据距所述主透镜的距离来选择的多个景深来投影所述多个中间图像的多个主焦距，其中，随着距所述主透镜的距离增加，所述多个景深变小，或者随着距所述主透镜的距离增加，所述多个景深变大。
9.根据权利要求1至8中任一项所述的数字成像系统，其中，所述主透镜包括可控双折射透镜(56，156)，以按顺序聚焦来自所述多个景深的光并投影所述多个中间图像，其中，所述多个中间图像表示在所述多个景深中的每个景深处的视场，其中，所述控制单元被配置成控制所述可控双折射透镜以在预定时间段上按顺序聚焦来自所述多个景深中的每个景深的光并投影所述多个中间图像。
10.根据权利要求1至9中的任一项所述的数字成像系统，其中，所述控制单元还被配置成向车辆系统提供所述对象的位置和距离信息中的至少之一。
CN201911274126.7A 2018-12-12 2019-12-12 数字成像系统和图像数据处理方法 Active CN111310554B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862778566P 2018-12-12 2018-12-12
US62/778,566 2018-12-12
US201962875114P 2019-07-17 2019-07-17
US62/875,114 2019-07-17

Publications (2)

Publication Number Publication Date
CN111310554A true CN111310554A (zh) 2020-06-19
CN111310554B CN111310554B (zh) 2023-10-31

Family

ID=70858959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911274126.7A Active CN111310554B (zh) 2018-12-12 2019-12-12 数字成像系统和图像数据处理方法

Country Status (3)

Country Link
US (1) US11418695B2 (zh)
CN (1) CN111310554B (zh)
DE (1) DE102019133642A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115226417A (zh) * 2021-02-20 2022-10-21 京东方科技集团股份有限公司 图像获取设备、图像获取装置、图像获取方法及制作方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017110628A1 (ja) * 2015-12-22 2017-06-29 京セラ株式会社 撮像装置、撮像システム、車両及び異物判定方法
US10209718B2 (en) 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
US20220095434A1 (en) * 2019-02-26 2022-03-24 Optimum Semiconductor Technologies Inc. System and method for fog detection and vehicle light control
TWM610758U (zh) * 2020-11-13 2021-04-21 廣達電腦股份有限公司 影像擷取裝置
CN112489423B (zh) * 2020-11-20 2022-06-03 湖南警察学院 一种基于视觉的城市道路交通交警指挥方法
US11832001B2 (en) * 2021-12-20 2023-11-28 Visera Technologies Company Limited Image processing method and image processing system
WO2024081258A1 (en) * 2022-10-14 2024-04-18 Motional Ad Llc Plenoptic sensor devices, systems, and methods

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068454A1 (en) * 2002-01-15 2005-03-31 Sven-Ake Afsenius Digital camera with viewfinder designed for improved depth of field photographing
JP2010257282A (ja) * 2009-04-27 2010-11-11 Alps Electric Co Ltd 障害物検知装置、および当該装置を搭載した車両
JP2013005084A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 画像処理装置および画像処理方法
US20130135515A1 (en) * 2011-11-30 2013-05-30 Sony Corporation Digital imaging system
CN104697491A (zh) * 2013-12-10 2015-06-10 通用汽车环球科技运作有限责任公司 在车辆中使用单视场成像器的距离确定
US20150264335A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
US20160004923A1 (en) * 2014-07-01 2016-01-07 Brain Corporation Optical detection apparatus and methods
CN106226975A (zh) * 2016-07-20 2016-12-14 成都微晶景泰科技有限公司 自动对焦方法、设备及成像装置
US20170197615A1 (en) * 2016-01-11 2017-07-13 Ford Global Technologies, Llc System and method for reverse perpendicular parking a vehicle
CN107040755A (zh) * 2015-12-22 2017-08-11 德尔福技术有限公司 多成像器车辆光学传感器系统
EP3293959A1 (en) * 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
US20180307009A1 (en) * 2017-04-21 2018-10-25 Mekra Lang Gmbh & Co. Kg Camera System for a Vehicle, Mirror Replacement System Comprising Such Camera System, and Driver Assistance System Comprising Such System
US20180330175A1 (en) * 2017-05-10 2018-11-15 Fotonation Limited Multi-camera vision system and method of monitoring

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167796B2 (en) * 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
KR20030010148A (ko) 2001-07-25 2003-02-05 주식회사 하이닉스반도체 이미지 센서
US9264672B2 (en) 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
CN104580877B (zh) 2013-10-29 2018-03-06 华为技术有限公司 图像获取的装置及方法
CN104680532B (zh) * 2015-03-02 2017-12-08 北京格灵深瞳信息技术有限公司 一种对象标注方法及装置
US20160314362A1 (en) 2015-04-22 2016-10-27 Ford Global Technologies, Llc Depth mapping camera for door inside
ES2819239T3 (es) 2015-05-30 2021-04-15 Leia Inc Sistema de visualización de un vehículo
EP3104593A1 (en) 2015-06-08 2016-12-14 Thomson Licensing Light field imaging device
EP3264741A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling with improved resolution
US10477473B2 (en) * 2017-07-24 2019-11-12 Verizon Patent And Licensing Inc. Method and system for eDRX timer control
US20190391592A1 (en) * 2018-06-20 2019-12-26 Merien BV Positioning system
EP3604065B1 (en) * 2018-08-01 2020-11-04 Hitachi Automotive Systems, Ltd. Vehicle travelling control apparatus
US11256263B2 (en) * 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US20200290513A1 (en) * 2019-03-13 2020-09-17 Light Field Lab, Inc. Light field display system for vehicle augmentation

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068454A1 (en) * 2002-01-15 2005-03-31 Sven-Ake Afsenius Digital camera with viewfinder designed for improved depth of field photographing
JP2010257282A (ja) * 2009-04-27 2010-11-11 Alps Electric Co Ltd 障害物検知装置、および当該装置を搭載した車両
JP2013005084A (ja) * 2011-06-14 2013-01-07 Pentax Ricoh Imaging Co Ltd 画像処理装置および画像処理方法
US20130135515A1 (en) * 2011-11-30 2013-05-30 Sony Corporation Digital imaging system
CN103139470A (zh) * 2011-11-30 2013-06-05 索尼公司 数字成像系统
CN104697491A (zh) * 2013-12-10 2015-06-10 通用汽车环球科技运作有限责任公司 在车辆中使用单视场成像器的距离确定
US20150264335A1 (en) * 2014-03-13 2015-09-17 Samsung Electronics Co., Ltd. Image pickup apparatus and method for generating image having depth information
US20160004923A1 (en) * 2014-07-01 2016-01-07 Brain Corporation Optical detection apparatus and methods
CN107040755A (zh) * 2015-12-22 2017-08-11 德尔福技术有限公司 多成像器车辆光学传感器系统
US20170197615A1 (en) * 2016-01-11 2017-07-13 Ford Global Technologies, Llc System and method for reverse perpendicular parking a vehicle
CN106226975A (zh) * 2016-07-20 2016-12-14 成都微晶景泰科技有限公司 自动对焦方法、设备及成像装置
EP3293959A1 (en) * 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
US20180307009A1 (en) * 2017-04-21 2018-10-25 Mekra Lang Gmbh & Co. Kg Camera System for a Vehicle, Mirror Replacement System Comprising Such Camera System, and Driver Assistance System Comprising Such System
US20180330175A1 (en) * 2017-05-10 2018-11-15 Fotonation Limited Multi-camera vision system and method of monitoring

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115226417A (zh) * 2021-02-20 2022-10-21 京东方科技集团股份有限公司 图像获取设备、图像获取装置、图像获取方法及制作方法

Also Published As

Publication number Publication date
US11418695B2 (en) 2022-08-16
US20200195837A1 (en) 2020-06-18
DE102019133642A1 (de) 2020-06-18
CN111310554B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
CN111310554B (zh) 数字成像系统和图像数据处理方法
US20220268933A1 (en) Object detection system
US11787338B2 (en) Vehicular vision system
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
US7684590B2 (en) Method of recognizing and/or tracking objects
US9863775B2 (en) Vehicle localization system
JP6471528B2 (ja) 物体認識装置、物体認識方法
US9151626B1 (en) Vehicle position estimation system
EP2463843B1 (en) Method and system for forward collision warning
US10210404B2 (en) Vehicle vision system with vehicle detection
WO2013081984A1 (en) Vision system for vehicle
KR102151815B1 (ko) 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치
JP6032034B2 (ja) 物体検知装置
KR102491527B1 (ko) 카메라 영상에서 대상의 감지
US20190213427A1 (en) Detection and Validation of Objects from Sequential Images of a Camera
Jung et al. Light-stripe-projection-based target position designation for intelligent parking-assist system
KR20190067578A (ko) 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
US20190391592A1 (en) Positioning system
KR101470230B1 (ko) 주차 영역 추적 장치 및 그 방법
JP2013108948A (ja) 画像解析装置及びこれを用いた物体検出装置
JP2006286010A (ja) 障害物検知装置及びその方法
CN111231830A (zh) 移动载具全周障碍回避的方法
Tung Image Processing Based Method for Vehicle Detection and Distance Estimation
Aytekin Camera based vehicle detection and tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant