CN112822348B - 交通工具机载成像系统 - Google Patents

交通工具机载成像系统 Download PDF

Info

Publication number
CN112822348B
CN112822348B CN202011293621.5A CN202011293621A CN112822348B CN 112822348 B CN112822348 B CN 112822348B CN 202011293621 A CN202011293621 A CN 202011293621A CN 112822348 B CN112822348 B CN 112822348B
Authority
CN
China
Prior art keywords
image sensor
steerable mirror
controller
viewable area
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011293621.5A
Other languages
English (en)
Other versions
CN112822348A (zh
Inventor
邹光宇
曾树青
U·P·穆达利格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN112822348A publication Critical patent/CN112822348A/zh
Application granted granted Critical
Publication of CN112822348B publication Critical patent/CN112822348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

描述了基于关注性的成像系统，包括：摄像头，可调节其视野（FOV）和分辨率；以及控制例程，可确定FOV内的一个或多个关注区域（ROI），以优先考虑摄像头资源。摄像头包括图像传感器、内部镜头、可操纵镜、外部镜头和控制器。外部镜头被设置为监测可视区域，并且可操纵镜插置在内部镜头和外部镜头之间。可操纵镜被布置为经由内部镜头将可视区域从外部镜头投射到图像传感器上。可操纵镜修改投射到图像传感器上的可视区域，并且控制图像传感器，以捕获图像。可在摄像头内部或在单独的外部处理器中采用相关联的控制例程。

Description

交通工具机载成像系统
背景技术
交通工具采用摄像头和其它感测和感知装置，以监测周围环境，包括环绕交通工具并且可在交通工具的期望轨迹中的其它交通工具、行人、交通信号灯、建筑物、道路标志等。在摄像头的可视区域中包含的许多信息可为多余的，因为对于控制行驶路径中的交通工具操作的目的，其可为无关的。来自摄像头和其它感测装置的数据传输以及相关联的延迟可降低系统性能，或增加对于处理能力的需求。延迟的作用和对于处理能力的需求可随着更高清晰度的摄像头和其它感测装置的实施而变得更加明显。如此，可存在有益处的是，将交通工具机载感测和处理资源集中在可视区域的部分上，所述部分与行驶路径相关联，所述行驶路径与交通工具的期望轨迹相关联。因此，存在有需求，以识别可视区域中的可关注的部分，并且控制摄像头和其它感测和感知装置的操作，以集中在其上。
发明内容
本文描述了系统、装置和方法，其涉及：识别可视区域中的可关注的部分，控制摄像头和其它感测装置的操作，以集中在其上，以捕获图像和其它数据形态，分析所捕获图像和其它形态，以及基于其而控制操作。这包括基于关注性的成像系统，其包括：摄像头，可动态地调节其视野（FOV）和分辨率；以及控制例程，可确定FOV内的一个或多个关注区域（ROI），并且使得摄像头能够使其资源优先考虑那些ROI。
本公开的一个方面包括摄像头，所述摄像头包括图像传感器、一个或多个内部镜头、一个或多个可操纵镜和一个或多个外部镜头以及控制器。控制器操作性地连接到图像传感器和可操纵镜。外部镜头被设置为监测可视区域，并且可操纵镜插置在内部镜头和外部镜头之间。可操纵镜被布置为经由内部镜头将可视区域从外部镜头投射到图像传感器上。控制器被布置为控制可操纵镜，以修改经由内部镜头投射到图像传感器上的可视区域，并且还被布置为控制图像传感器，以捕获与经由内部镜头投射到图像传感器上的可视区域相关联的视野（FOV）的图像。
本公开的方面包括控制器，所述控制器被布置为控制可操纵镜，以将可视区域的部分投射到整个图像传感器上。
本公开的另一方面包括可操纵镜，所述可操纵镜是MEMS镜。
本公开的另一方面包括控制器，所述控制器被布置为控制可操纵镜，以使投射到图像传感器上的可视区域倾斜。
本公开的另一方面包括控制器，所述控制器被布置为控制可操纵镜，以使投射到图像传感器上的可视区域平移。
本公开的另一方面包括可操纵镜，所述可操纵镜可控制地可变形。
本公开的另一方面包括控制器，所述控制器被布置为使可操纵镜变形，以缩放投射到图像传感器上的可视区域的部分。
本公开的另一方面包括控制器，所述控制器操作性地连接到内部镜头，其中，控制器被布置为控制可操纵镜和内部镜头，以修改投射到图像传感器上的可视区域。
本公开的另一方面包括摄像头，所述摄像头被设置在交通工具上，其中，外部镜头被设置为查看环绕交通工具的与交通工具的行驶方向相关联的区域。
本公开的另一方面包括图像处理装置，所述图像处理装置包括图像传感器、内部镜头、可操纵镜、外部镜头、激光雷达装置以及控制器。激光雷达装置包括激光发射器和接收器，并且激光发射器被布置为将激光束投射到可操纵镜上。控制器操作性地连接到图像传感器、激光雷达装置和可操纵镜。外部镜头被设置为监测可视区域。可操纵镜插置在内部镜头和外部镜头之间，并且被布置为经由内部镜头将可视区域从外部镜头投射到图像传感器上。控制器被布置为将可操纵镜控制为第一设置，以将可视区域投射到图像传感器上，并且控制图像传感器，以捕获与经由内部镜头投射到图像传感器上的可视区域相关联的视野（FOV）的图像文件。控制器还被布置为将可操纵镜控制为第二设置，激活激光发射器，以经由可操纵镜将激光束投射到可视区域中，并且经由接收器捕获经由可操纵镜的与可视区域相关联的激光束的反射图像。
本公开的另一方面包括控制器，所述控制器被布置为控制可操纵镜，以将激光束投射到可视区域的部分中，并且在激光接收器处捕获激光束的反射图像。
本公开的另一方面包括激光发射器和图像传感器，所述激光发射器和图像传感器共享共同光学出口路径，用于监测由可操纵镜和外部镜头限定的视图区域。
本公开的另一方面包括控制器，所述控制器在图像传感器和激光雷达装置之间多路传输光学出口路径的使用。
本公开还提出了以下技术方案。
1. 摄像头，包括：
图像传感器、内部镜头组、可操纵镜、外部镜头以及控制器，
其中，所述控制器操作性地连接到所述图像传感器和所述可操纵镜；
其中，所述外部镜头被设置为监测可视区域；
其中，所述可操纵镜插置在所述内部镜头组和所述外部镜头之间；
其中，所述可操纵镜被布置为经由所述内部镜头组将所述可视区域从所述外部镜头投射到所述图像传感器上；
其中，所述控制器被布置为控制所述可操纵镜，以修改经由所述内部镜头组投射到所述图像传感器上的所述可视区域；以及
其中，所述控制器被布置为控制所述图像传感器，以捕获与经由所述内部镜头组投射到所述图像传感器上的所述可视区域相关联的视野（FOV）的图像。
2. 根据技术方案1所述的摄像头，还包括其中，所述控制器被布置为控制所述可操纵镜，以将所述可视区域的部分投射到所述图像传感器上。
3. 根据技术方案1所述的摄像头，其中，所述可操纵镜包括MEMS镜。
4. 根据技术方案1所述的摄像头，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为控制所述可操纵镜，以使投射到所述图像传感器上的所述可视区域倾斜。
5. 根据技术方案1所述的摄像头，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为控制所述可操纵镜，以使投射到所述图像传感器上的所述可视区域平移。
6. 根据技术方案1所述的摄像头，其中，所述可操纵镜可控制地可变形。
7. 根据技术方案6所述的摄像头，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为使所述可操纵镜变形，以缩放投射到所述图像传感器上的所述可视区域的部分。
8. 根据技术方案1所述的摄像头，还包括以下控制器，所述控制器操作性地连接到所述内部镜头组，其中，所述控制器被布置为控制所述可操纵镜和所述内部镜头组，以修改投射到所述图像传感器上的所述可视区域。
9. 根据技术方案1所述的摄像头，其中，所述摄像头被设置在交通工具上；以及其中，所述外部镜头被设置为查看环绕所述交通工具并且与所述交通工具的行驶方向相关联的区域。
10. 图像处理装置，包括：
图像传感器、内部镜头、可操纵镜、外部镜头、激光雷达装置以及控制器；
其中，所述激光雷达装置包括激光发射器和接收器；
其中，所述激光发射器被布置为将激光束投射到所述可操纵镜上；
其中，所述控制器操作性地连接到所述图像传感器、所述激光雷达装置和所述可操纵镜；
其中，所述外部镜头被设置为监测可视区域；
其中，所述可操纵镜插置在所述内部镜头和所述外部镜头之间；
其中，所述可操纵镜被布置为经由所述内部镜头将所述可视区域从所述外部镜头投射到所述图像传感器上；
其中，所述控制器被布置为将所述可操纵镜控制为第一设置，以将所述可视区域投射到所述图像传感器上，并且控制所述图像传感器，以捕获与经由所述内部镜头投射到所述图像传感器上的所述可视区域相关联的视野（FOV）的图像文件；以及
其中，所述控制器被布置为将所述可操纵镜控制为第二设置，激活所述激光发射器，以经由所述可操纵镜将激光束投射到所述可视区域中，并且经由所述接收器捕获经由所述可操纵镜的与所述可视区域相关联的激光束的反射图像。
11. 根据技术方案10所述的图像处理装置，其中，所述激光发射器和所述图像传感器共享共同光学出口路径，用于监测由所述可操纵镜和所述外部镜头限定的视图区域。
12. 根据技术方案11所述的图像处理装置，其中，所述控制器在所述图像传感器和所述激光雷达装置之间多路传输所述光学出口路径的使用。
13. 根据技术方案10所述的图像处理装置，还包括以下控制器，所述控制器被布置为控制所述可操纵镜，以修改经由所述内部镜头投射到所述图像传感器上的所述可视区域。
14. 根据技术方案10所述的图像处理装置，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为控制所述可操纵镜，以使投射到所述图像传感器上的所述可视区域倾斜。
15. 根据技术方案10所述的图像处理装置，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为控制所述可操纵镜，以使投射到所述图像传感器上的所述可视区域平移。
16. 根据技术方案10所述的图像处理装置，其中，所述可操纵镜可控制地可变形。
17. 根据技术方案16所述的图像处理装置，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为使所述可操纵镜变形，以缩放投射到所述图像传感器上的所述可视区域的部分。
18. 根据技术方案10所述的图像处理装置，其中，所述图像处理装置被设置在交通工具上；以及其中，所述外部镜头被设置为查看环绕所述交通工具并且与所述交通工具的行驶方向相关联的区域。
19. 成像系统，包括：
数字摄像头，被布置为监测可视区域；
第二传感器，被布置为监测所述可视区域；
控制器，与所述数字摄像头和所述第二传感器通信，所述控制器包括指令集，所述指令集是可执行的，用于：
监测来自所述数字摄像头和所述第二传感器的信息；
经由所述第二传感器识别所述可视区域中的关注区域；以及
控制所述数字摄像头，以将其图像捕获资源和数据分析资源集中到所述可视区域中的所述关注区域上。
上文的发明内容不旨在表示本公开的每个可能实施例或每个方面。更确切地，上述的发明内容旨在例示本文公开的一些新颖方面和特征。当与所附附图和所附权利要求结合时，根据用于执行本公开的代表性实施例和模式的以下详细描述，本公开的上文的特征和优点以及其它特征和优点将容易地显而易见。
附图说明
现在将参考所附附图通过示例的方式描述一个或多个实施例，其中：
图1示意性地示出了根据本公开的包括交通工具机载成像系统的交通工具的侧视图；
图2示意性地示出了根据本公开的传感器界面图示，指示了摄像头、激光雷达传感器、雷达传感器、另一感知传感器、高分辨率数据处理器和关注性处理器之间的信号传送；
图3示意性地示出了根据本公开的例程，所述例程呈流程图的形式，用于控制成像系统的操作，以从摄像头的可视区域提取信息；
图4图像化地示出了根据本公开的处于摄像头的原始分辨率的与可视区域相关联的图像文件的示例；
图5示意性地示出了根据本公开的成像系统的摄像头的实施例，包括图像传感器、内部镜头组、可操纵镜、外部镜头和摄像头控制器；
图6A、图6B和图6C分别示意性地显示了根据本公开的摄像头的可视区域的水平倾斜、可视区域的竖直倾斜和可视区域的平移；
图7示意性地示出了根据本公开的成像系统的摄像头的实施例，包括图像传感器、激光雷达传感器、内部镜头组、可操纵镜、外部镜头和摄像头控制器。
所附附图不一定是按比例的，并且可呈现如本文公开的本公开的各种优选特征的略微简化的表示，包括例如具体尺寸、定向、位置和形状。与此类特征相关联的细节将部分由预期应用和使用环境确定。
具体实施方式
如本文描述和示出的，所公开实施例的部件可被布置和设计成各种不同配置。因此，以下详细描述不旨在限制如所要求的本公开的范围，而仅是表示其可能实施例。此外，虽然在以下描述中阐述了大量具体细节，以便提供本文公开的实施例的透彻理解，但是一些实施例可在没有一些这些细节的情况下实践。此外，为了清楚的目的，没有详细描述相关技术中所理解的某些技术材料，以便避免不必要地模糊本公开。此外，附图呈简化形式，并且不是精确按比例的。为了方便和清楚的目的，可相对于附图使用方向术语，诸如，顶部、底部、左、右、上、之上、上方、下方、之下、后方和前方。这些以及类似方向术语不应被视为限制本公开的范围。此外，如本文示出和描述的，可在缺少本文未具体公开的元件的情况下实践本公开。
如本文使用的，术语“系统”指的是机械和电气硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，其单独地或组合地提供所描述的功能性。这可包括但不限于专用集成电路（ASIC）、电子电路、执行一个或多个软件或固件程序的处理器（共享、专用或组）、包含软件或固件指令的（多个）存储器装置、组合逻辑电路和/或其它部件。
为了简单性，本文可不详细描述现有技术中所理解的一些部件和技术以及系统的其它功能方面和系统的单独操作部件。此外，本文包含的各种附图中显示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。本公开的实施例中可存在有许多可选或附加功能关系或物理连接。
参考附图（其中，贯穿于若干附图，相似的附图标记对应于相似或类似的部件），图1（与本文公开的实施例一致）示意性地示出了交通工具10的侧视图，所述交通工具10包括交通工具机载成像系统20。在一个实施例中，交通工具10被设置在行驶表面70（诸如，铺设道路表面）上，并且能够穿过行驶表面70。交通工具10还包括交通工具控制器50、人/机界面（HMI）装置60，并且在一个实施例中包括自主控制器65和远程信息处理控制器75。交通工具10可包括但不限于呈商业交通工具、工业交通工具、农业交通工具、客运交通工具、飞机、船只、火车、全地形交通工具、个人移动设备、机器人和类似的形式的移动平台，以实现本公开的目的。
在一个实施例中，成像系统20包括：一个或多个传感器，被布置为监测环绕交通工具10的可视区域（例如，包括在交通工具10前方的部分）；以及成像控制器32。被布置为监测环绕交通工具10的可视区域32（例如，包括在交通工具10前方的部分）的传感器例如包括摄像头100、激光雷达传感器34、雷达传感器36、感知传感器38，例如，第二摄像头。“激光雷达”指的是光探测和测距，并且激光雷达传感器34是感测系统的元件，其采用脉冲和反射激光束，以测量到物体的范围或距离。“雷达”指的是无线电探测和测距，并且雷达传感器36是感测系统的元件，其采用无线电波，以确定物体的范围、角度和/或速度。参考图5、图6和图7而描述了摄像头100的实施例，包括内部镜头组104和图像传感器102，所述图像传感器102能够捕获、处理以及电子存储相关联的可视区域32的图像文件，并且将图像文件通信到摄像头控制器110，用于存储和分析。
摄像头100有利地被安装和定位在交通工具10上处于允许捕获可视区域32的图像的位置中，其中，可视区域32的至少部分包括在交通工具10前方并且包括交通工具10的轨迹的行驶表面70的部分。可视区域32还可包括周围环境，例如，包括交通工具交通、路边物体、行人和其它特征、天空、地平线、行驶车道和交通工具10前方驶来的交通。还可采用其它摄像头（未显示），例如，包括被设置在交通工具10的后部分或侧部分上的第二摄像头，以监测交通工具10的后方、交通工具10的右侧或左侧中的一个。
交通工具10可配备有自主控制器65，所述自主控制器65实施自主或高级驾驶员辅助系统（ADAS）交通工具功能性。自主交通工具功能性可包括能够提供一定水平的驾驶自动化的交通工具机载控制系统。术语‘驾驶员’和‘操作员’描述了负责引导交通工具10的操作的人员，无论是积极参与控制一个或多个交通工具功能，还是引导自主交通工具的操作。驾驶自动化可包括一系列动态驾驶和交通工具操作。驾驶自动化可包括涉及单一交通工具功能的某种水平的自动控制或干预，诸如，转向、加速和/或制动，其中，驾驶员持续地具有交通工具10的全面控制。驾驶自动化可包括涉及多种交通工具功能的同时控制的某种水平的自动控制或干预，诸如，转向、加速和/或制动，其中，驾驶员持续地具有交通工具10的全面控制。驾驶自动化可包括交通工具驾驶功能的同时自动控制，包括转向、加速和制动，其中，驾驶员在旅途期间对于一段时间放弃交通工具的控制。驾驶自动化可包括交通工具驾驶功能的同时自动控制，包括转向、加速和制动，其中，驾驶员对于整个旅途放弃交通工具10的控制。驾驶自动化包括硬件和控制器，其被配置为监测各种驾驶模式下的空间环境，以在动态交通工具操作期间执行各种驾驶任务。通过非限制性示例的方式，驾驶自动化可包括巡航控制、自适应巡航控制、车道变换警告、干预和控制、自动停车、加速、制动和类似。通过非限制性示例的方式，自主交通工具功能包括自适应巡航控制（ACC）操作、车道引导和车道保持操作、车道变换操作、转向辅助操作、物体避让操作、停车辅助操作、交通工具制动操作、交通工具速度和加速操作、交通工具横向运动操作，例如，作为车道引导、车道保持和车道变换操作等的部分。如此，制动命令可通过自主控制器65独立于通过交通工具操作员的动作并且响应于自主控制功能而生成。
操作员控制件可被包括在交通工具10的乘客舱中，并且通过非限制性示例的方式可包括方向盘、加速器踏板、制动踏板和操作员输入装置。操作员控制件使得交通工具操作员能够与运行的交通工具10交互，并且引导交通工具10的操作，以提供乘客运输。
HMI装置60提供人/机交互，用于引导信息娱乐系统、全球定位传感器（GPS）52、导航系统24和类似的操作的目的，并且包括控制器。HMI装置60监测操作员请求，并且向操作员提供信息，包括交通工具系统的状态、服务和维护信息。HMI装置60与多个操作员界面装置通信，和/或控制多个操作员界面装置的操作，其中，操作员界面装置能够传送与自动交通工具控制系统中的一个的操作相关联的消息。HMI装置60还可与一个或多个装置通信，所述一个或多个装置监测与交通工具操作员相关联的生物识别数据，例如，包括眼睛视线位置、姿势和头部位置跟踪等等。为了描述的简单性，HMI装置60被描绘成单一装置，但是在本文描述的系统的实施例中，可被配置为多个控制器和相关联的感测装置。操作员界面装置可包括能够传送催促操作员动作的消息的装置，并且可包括电子视觉显示模块，例如，液晶显示器（LCD）装置、平视显示器（HUD）、音频反馈装置、可穿戴装置和触觉座椅。能够催促操作员动作的操作员界面装置优选地由HMI装置60控制或通过HMI装置60控制。在操作员的视野中，HUD可投射信息，所述信息反射到交通工具的挡风玻璃的内部侧上，包括传送与操作自动交通工具控制系统中的一个相关联的置信水平。HUD还可提供增强现实信息，诸如，车道位置、交通工具路径、方向和/或导航信息和类似。
交通工具10可包括远程信息处理控制器75，所述远程信息处理控制器75包括能够进行交通工具外通信（包括与具有无线和有线通信能力的通信网络90通信）的无线远程信息处理通信系统。远程信息处理控制器75能够进行交通工具外通信，包括短程交通工具对于交通工具（V2V）通信和/或交通工具对于基础设施（V2x）通信，其可包括与基础设施监测器（例如，交通摄像头）的通信。可选地或附加地，远程信息处理控制器75具有无线远程信息处理通信系统，所述无线远程信息处理通信系统能够与手持装置（例如，蜂窝电话、卫星电话或另一电话装置）短程无线通信。在一个实施例中，手持装置装载有软件应用，所述软件应用包括无线协议，以与远程信息处理控制器75通信，并且手持装置执行交通工具外通信，包括经由通信网络90与非机载服务器95通信。可选地或附加地，远程信息处理控制器75通过经由通信网络90与非机载服务器95通信而直接执行交通工具外通信。
术语“控制器”和相关术语（诸如，微控制器、控制单元、处理器和类似的术语）指的是以下中的一个或各种组合：（多个）专用集成电路（ASIC）、现场可编程门阵列（FPGA）、（多个）电子电路、（多个）中央处理单元，例如，（多个）微处理器和呈存储器和存储装置（只读、可编程只读、随机存取、硬盘驱动器等）的形式的（多个）相关联的非暂时性存储器部件。非暂时性存储器部件能够呈以下形式存储机器可读指令：一个或多个软件或固件程序或例程、（多个）组合逻辑电路、（多个）输入/输出电路和装置、信号调节和缓冲电路系统以及可由一个或多个处理器存取的其它部件，以提供所描述的功能性。（多个）输入/输出电路和装置包括监测来自传感器的输入的模拟/数字转换器和相关装置，其中，以预设采样频率或响应于触发事件而监测此类输入。软件、固件、程序、指令、控制例程、代码、算法和类似的术语意味着控制器可执行指令集，包括校准和查找表。每个控制器执行（多个）控制例程，以提供期望功能。例程可以定期间隔执行，例如，在正在进行的操作期间每100微秒执行一次。可选地，例程可响应于触发事件的发生而执行。控制器、致动器和/或传感器之间的通信可使用直接有线点对点链路、网络化通信总线链路、无线链路或另一合适的通信链路而实现。通信包括呈合适的形式的交换数据信号，例如，包括经由传导介质的电信号、经由空气的电磁信号、经由光学波导的光学信号和类似。数据信号可包括离散的、模拟的或数字化的模拟信号，其表示来自传感器的输入、致动器命令和控制器之间的通信。术语“信号”指的是传递信息的物理可识别指示符，并且可为合适的波形（例如，电气的、光学的、磁性的、机械的或电磁的），诸如，DC、AC、正弦波、三角波、方波、振动和类似，其能够通过介质行进。参数被限定为可测量的量，其表示可使用一个或多个传感器和/或物理模型而识别的装置或其它元件的物理性质。参数可具有离散值，例如，“1”或“0”，或在值上可无限可变。
图2示意性地示出了与成像系统20相关联的传感器界面图示200，指示了摄像头100、激光雷达传感器34、雷达传感器36、感知传感器38（当采用时）、高分辨率数据处理器220和关注性生成处理器210之间的信号传送路径。高分辨率数据处理器220和关注性生成处理器210可为参考图1描述的成像控制器40的元件，或可为独立装置，所述独立装置与成像控制器40通信，以协调摄像头100、激光雷达传感器34、雷达传感器36、其它感知传感器38、高分辨率数据处理器220和关注性生成处理器210之间的信号传送。摄像头100能够捕获整个可视区域32的低分辨率数字图像201，所述低分辨率数字图像201被通信到关注性生成处理器210。到关注性生成处理器210的其它输入包括视线地图45、数字地图46和相关联的GPS信号以及从交通工具转向、制动和加速系统捕获的交通工具操纵输入47。关注性生成处理器210执行控制例程300，所述控制例程300为感知传感器38确定一个或多个摄像头控制信号202、一个或多个激光雷达控制信号203、一个或多个雷达控制信号204和一个或多个控制信号205。参考图3而描述了控制例程300的细节。
摄像头控制信号202集中摄像头100的操作，以捕获可视区域32中的一个或多个关注区域（ROI）的图像211。激光雷达控制信号203命令激光雷达传感器34的操作，以捕获与可视区域32中的一个或多个关注区域（ROI）相关联的激光雷达信号212。雷达控制信号204命令雷达传感器36的操作，以捕获与可视区域32中的一个或多个关注区域（ROI）相关联的雷达信号213。一个或多个控制信号205命令感知传感器38的操作，以捕获与可视区域32中的一个或多个关注区域（ROI）相关联的感知信号214。
图像211、激光雷达信号212、雷达信号213和感知信号214被输入到高分辨率数据处理器220，所述高分辨率数据处理器220生成一组异构、高分辨率、多模态感知数据225，用于驾驶环境感知，这可由参考图1描述的自主控制器65和相关联的ADAS采用。可采用此类操作，以改进来自摄像头100和激光雷达传感器34的高分辨率图像的数据传输。
图3呈流程图的形式示意性地示出了控制例程300的实施例，用于控制参考图1描述的成像系统20的操作，以从交通工具10前方的摄像头100的可视区域32提取信息，用于将信息传递到交通工具操作员并且控制交通工具10的操作的目的。控制例程300被示出为逻辑流程图中的框的集合，所述框表示可在硬件、软件或其组合中实施的操作序列。在软件的上下文中，框表示计算机指令，当由一个或多个处理器执行时，所述计算机指令执行所述操作。为了方便和清楚地说明，参考图1中显示的交通工具10而描述了控制例程300。
表1
框 框的内容
302 开始执行
304 捕获整个可视区域的图像文件
306 生成第一组关注区域（ROI）
308 从激光雷达传感器、雷达传感器获取范围图像
310 生成第二组ROI
312 感知行驶路径特征和结构
314 生成第三组ROI
316 基于连续图像帧而确定运动地图
318 基于来自其它传感器的输入而确定运动地图
320 生成第四组ROI
322 合并第一组、第二组、第三组、第四组ROI
324 基于排序而选择ROI
326 将信息传递到成像控制器
328 捕获选定ROI中的HD图像
330 下游数据处理
控制例程300的执行可如下进行。控制例程300的步骤可按照顺序执行，但是不限于参考图3描述的顺序。如本文采用的，术语“1”指示肯定的回答或“是”，并且术语“0”指示否定的回答或“否”。通过控制摄像头100以摄像头100的预限定默认分辨率（其可被调节，用于系统的最佳性能）捕获与交通工具10前方的可视区域32相关联的一个或多个图像文件23，控制例程300开始（302）。生成图像文件中捕获的可视区域32的第一组关注区域（ROI）307（306）。基于与检测器中的每个相关联的置信阈值或多个检测器的不一致（例如，物体检测和语义分割之间的不一致）而确定第一组ROI 307。
基于不同感知形态（诸如，图像文件23、来自激光雷达传感器34、雷达传感器36和感知传感器38（当采用时）的输入）之间的比较，可确定第二组ROI 311（308）。这包括将第二组ROI 311识别为可视区域32的部分，所述部分指示图像文件23与来自激光雷达传感器34、雷达传感器36和感知传感器38的输入中的一个或多个之间的不一致（310）。如此，图像文件23与来自激光雷达传感器34、雷达传感器36和感知传感器38的输入中的一个或多个之间的不一致可向摄像头控制器110指示的是，存在有需求，用于可视区域32的该部分的集中审查，所述部分指示图像文件23与来自激光雷达传感器34、雷达传感器36和感知传感器38的输入中的一个或多个之间的不一致。
基于行驶路径和周围结构的感知和评估，确定第三组ROI 315，这可与来自数字地图的信息和/或交通工具操作员的视线方向的预测结合（312）。在交通工具10的预期行驶路径和交通工具10的预期操纵的上下文中，基于行驶路径和周围结构的感知和评估，选择第三组ROI 315（314）。如此，图像文件23或交通工具10的预期行驶路径或交通工具10的预期操纵或来自数字地图的附加信息可向摄像头控制器110指示的是，存在有需求，用于可视区域32的某些部分的集中审查，所述部分可包含与当前驾驶环境有关的某种信息。
基于交通工具10的运动和可位于交通工具10的行驶路径中的周围交通工具、行人等的运动，可确定第四组ROI 321。这可包括基于连续获取的图像帧的评估（316）或从其它感测装置（在采用的情况下）而确定对于可视区域32的运动地图（318）。使用运动地图，基于可视区域32的部分中的运动的检测和隔离，选择第四组ROI 321（320）。如此，交通工具10的运动或可位于交通工具10的行驶路径中的周围交通工具、行人等的运动可向摄像头控制器110指示的是，存在有需求，用于可视区域32的指示潜在风险的部分的集中审查。
第一组ROI 307、第二组ROI 311、第三组ROI 315和第四组ROI 321在可视区域的部分或子集的上下文中合并，并且按照紧急性排序，其中，在交通工具10的预期操纵和对于交通工具10的风险水平的上下文中，基于上述ROI中的每个的相关性，确定紧急性（322）。对于交通工具10的风险水平与需要执行驾驶操纵（诸如，响应于红灯在交叉口处制动）的估测相关联。
基于排序，选择第一组ROI 307、第二组ROI 311、第三组ROI 315和第四组ROI 321中的一个或多个（324），并且将此信息传递到成像控制器40（326），所述成像控制器40基于其而控制摄像头100的操作（328），用于下游系统模块。这可包括场景语义解析、自动聚焦、光学和/或数字缩放、高分辨率和/或低分辨率感知数据捕获、更精细的物体状态估测、更精细的物体分类以及基于其而控制操作（330）。控制摄像头100的操作还包括控制摄像头100的平移、倾斜和缩放功能，如参考图5和图7描述的。
图4图像化地示出了与交通工具10的实施例前方的可视区域410相关联的图像文件的示例，所述图像文件在背景中呈摄像头100的初始默认分辨率，并且在ROI中呈原始高分辨率。根据控制例程300的执行，识别ROI，用于控制参考图1描述的成像系统20的操作和实施例。这包括与固定装置（例如，包括交通信号灯）相关联的第一ROI 411、与纵向交通（例如，人行横道上的行人）相关联的第二ROI 412以及与纵横交通（例如，交叉口处的交通工具）相关联的第三ROI 413。
图5示意性地示出了摄像头100的一个实施例，所述摄像头100是参考图1描述的成像系统20的元件。摄像头100包括图像传感器102、内部镜头组104、可操纵镜106、外部镜头108和摄像头控制器110。摄像头控制器110操作性地连接到图像传感器102和可操纵镜106，并且外部镜头108被设置为监测可视区域，为了说明的目的，所述可视区域被显示为可视区域410。
图像传感器102是电光装置，其采用光敏感测元件的多维阵列而将光学图像转换成电子信号。可操纵镜106插置在内部镜头组104和外部镜头108之间，并且被布置为经由内部镜头组104将可视区域32或其部分从外部镜头108投射到图像传感器102上。摄像头控制器110被布置为控制可操纵镜106，以修改经由内部镜头组104投射到图像传感器102上的可视区域410。摄像头控制器110被布置为控制图像传感器102，以捕获视野（FOV）的图像，所述视野与经由内部镜头组104投射到图像传感器102上的可视区域410相关联。
在一个实施例中，可操纵镜106呈微型机电系统（MEMS）镜或微型光机电系统（MOEMS）镜的形式，其采用能够转向、调制或以其它方式控制光的光束转向或光学扫描技术。在一个实施例中，摄像头控制器110被布置为控制可操纵镜106，以使投射到图像传感器102上的可视区域410倾斜。在一个实施例中，这包括可操纵镜106，所述可操纵镜106可被控制到第二位置106A，以使可视区域410相对于水平轴线倾斜，用于投射到图像传感器102上。参考图6A示出了使投射到图像传感器102上的可视区域410相对于水平轴线601倾斜。在一个实施例中，这包括可操纵镜106，所述可操纵镜106可被控制到第二位置106B，以使可视区域410相对于竖直轴线倾斜，用于投射到图像传感器102上。参考图6B示出了使投射到图像传感器102上的可视区域410相对于竖直轴线602倾斜。在一个实施例中，摄像头控制器110被布置为控制可操纵镜106，以使投射到图像传感器102上的可视区域410平移。使投射到图像传感器102上的可视区域410平移由参考图6C显示的元件106C示出。平移作用还可通过镜的活塞移动而实施。平移是摄影技术，所述平移随着其扫描移动物体而提供摄像头的水平（或竖直）移动，以保持移动物体对焦，同时最小化或以其它方式模糊背景。在一个实施例中，可操纵镜106可控制地可围绕竖直轴线、水平轴线或质心点可变形。摄像头控制器110被布置为使可操纵镜变形，以缩放或放大投射到图像传感器102上的可视区域410的部分。
内部镜头组104和外部镜头108可被配置为包括特征，诸如，音圈驱动镜头、MEMS驱动镜头、可变形液晶镜头、针孔镜头、鱼眼镜头、立体镜头、伸缩镜头等。
摄像头100经由图像传感器102以期望速率（例如，每秒30个图像文件）周期性捕获与可视区域410相关联的图像文件23。每个图像文件23由以摄像头100的原始分辨率捕获的可视区域410的全部或部分的像素化数字表示组成。在一个实施例中，图像文件23呈24位图像的形式，包括表示可视区域410的RGB（红绿蓝）可见光的光谱值和深度值。图像文件23的其它实施例可包括以一定水平的分辨率描绘可视区域410的黑白或灰度可见光的光谱的图像、可视区域410的红外光谱表示或其它图像表示，而没有限制。在一个实施例中，对于涉及亮度和/或照度的参数，可评估多个图像文件23的图像表示。可选地，可基于RGB颜色分量、亮度、纹理、轮廓或其组合而评估图像表示。图像传感器与编码器通信，所述编码器对于每个图像文件执行数字信号处理（DSP）。摄像头100的图像传感器102可被配置为以标称标准清晰度分辨率（例如，640×480像素）捕获图像。可选地，摄像头100的图像传感器可被配置为以标称高清分辨率（例如，1440×1024像素）或以另一合适的分辨率捕获图像。摄像头100的图像传感器可以预定图像捕获速率捕获静态图像或可选地捕获数字视频图像。在一个实施例中，图像文件23作为编码数据文件被通信到摄像头控制器110，所述编码数据文件被存储在非暂时性数字数据存储介质中，用于机载或非机载分析。
图7示意性地示出了摄像头700的另一实施例，所述摄像头700是参考图1描述的成像系统20的元件，并且包括图像传感器702、内部镜头组704、可操纵镜706、外部镜头708和摄像头控制器710。摄像头700还包括激光雷达装置711，所述激光雷达装置711包括激光发射器712和接收器713。摄像头控制器710操作性地连接到图像传感器702、可操纵镜706和激光雷达装置711，并且外部镜头708被设置为监测被显示为可视区域410的可视区域。
控制器710被布置为将可操纵镜706控制为第一设置706-1，以将可视区域410投射到图像传感器702上，并且控制图像传感器702，以捕获视野（FOV）的图像文件，所述视野与经由内部镜头组704投射到图像传感器702上的可视区域410相关联。控制器710被布置为将可操纵镜706控制为第二设置706-2，并且激活激光发射器712，以经由可操纵镜706将激光束投射到可视区域410中，并且经由接收器713捕获经由可操纵镜706的与可视区域410相关联的激光束的反射图像。如此，激光发射器712和接收器713以及图像传感器702共享共同光学路径715，用于监测可视区域410，其中，光学路径715由可操纵镜706和外部镜头708限定。以此方式，控制器710在图像传感器702和激光雷达装置711之间多路传输光学路径715的使用。
通过在图像传感器702和激光雷达装置711之间多路传输光学路径715的使用，有助于来自图像传感器702的光学数据和来自激光雷达装置711的激光数据的对准，这有助于传感器融合。光学路径715的多路传输的使用也有助于消除以其它方式可发生的视差效应和数据不对准。光学路径715的多路传输的使用还减少或消除了在交通工具装配线上发生的激光雷达和光学传感器协同校准。
本文描述的成像系统20可减少或消除对于传输和处理图像数据（其具有对于当前交通工具操作的有限相关性）的需求，因此降低硬件要求、材料、功耗和复杂性，而不牺牲系统性能，并且可减少或消除对于高分辨率图像的数据传输和处理瓶颈，因此有助于或改进了配备有ADAS的交通工具的操作，而不牺牲系统性能。
流程图示中的流程图和框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能性和操作。在此方面，流程图或框图中的每个框可表示代码的模块、区段或部分，其包括一个或多个可执行指令，用于实施（多个）指定逻辑功能。还将注意的是，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可由执行指定功能或动作的功能专用的基于硬件的系统或功能专用的硬件与计算机指令的组合实施。这些计算机程序指令还可被存储在计算机可读介质中，所述计算机可读介质可引导计算机或其它可编程数据处理设备，用于以特定方式运行，使得被存储在计算机可读介质中的指令产生制品，包括实施流程图和/或框图的一个或多个框中指定的功能/动作的指令集。详细描述和附图或图示支持和描述本教导，但是本教导的范围仅由权利要求限定。虽然已经详细描述了用于执行本教导的最佳模式和其它实施例中的一些，但是存在有各种可选设计和实施例，用于实践所附权利要求中限定的本教导。

Claims (13)

1.图像处理装置，包括：
图像传感器、内部镜头、可操纵镜、外部镜头、激光雷达装置以及控制器；
其中，所述激光雷达装置包括激光发射器和接收器；
其中，所述激光发射器被布置为将激光束投射到所述可操纵镜上；
其中，所述控制器操作性地连接到所述图像传感器、所述激光雷达装置和所述可操纵镜；
其中，所述外部镜头被设置为监测可视区域；
其中，所述可操纵镜插置在所述内部镜头和所述外部镜头之间；
其中，所述可操纵镜被布置为经由所述内部镜头将所述可视区域从所述外部镜头投射到所述图像传感器上；
其中，所述控制器被布置为将所述可操纵镜控制为第一设置，以将所述可视区域投射到所述图像传感器上，并且控制所述图像传感器，以捕获与经由所述内部镜头投射到所述图像传感器上的所述可视区域相关联的视野（FOV）的图像文件；以及
其中，所述控制器被布置为将所述可操纵镜控制为第二设置，激活所述激光发射器，以经由所述可操纵镜将激光束投射到所述可视区域中，并且经由所述接收器捕获经由所述可操纵镜的与所述可视区域相关联的激光束的反射图像。
2.根据权利要求1所述的图像处理装置，其中，所述激光发射器和所述图像传感器共享共同光学出口路径，用于监测由所述可操纵镜和所述外部镜头限定的视图区域。
3.根据权利要求2所述的图像处理装置，其中，所述控制器在所述图像传感器和所述激光雷达装置之间多路传输所述光学出口路径的使用。
4.根据权利要求1所述的图像处理装置，还包括以下控制器，所述控制器被布置为控制所述可操纵镜，以修改经由所述内部镜头投射到所述图像传感器上的所述可视区域。
5.根据权利要求1所述的图像处理装置，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为控制所述可操纵镜，以使投射到所述图像传感器上的所述可视区域倾斜。
6.根据权利要求1所述的图像处理装置，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为控制所述可操纵镜，以使投射到所述图像传感器上的所述可视区域平移。
7.根据权利要求1所述的图像处理装置，其中，所述可操纵镜可控制地可变形。
8.根据权利要求7所述的图像处理装置，其中，被布置为控制所述可操纵镜以修改投射到所述图像传感器上的所述可视区域的所述控制器包括以下控制器，所述控制器被布置为使所述可操纵镜变形，以缩放投射到所述图像传感器上的所述可视区域的部分。
9.根据权利要求1所述的图像处理装置，其中，所述图像处理装置被设置在交通工具上；以及其中，所述外部镜头被设置为查看环绕所述交通工具并且与所述交通工具的行驶方向相关联的区域。
10.根据权利要求1所述的图像处理装置，还包括其中，所述控制器被布置为控制所述可操纵镜，以将所述可视区域的部分投射到所述图像传感器上。
11.根据权利要求1所述的图像处理装置，其中，所述可操纵镜包括MEMS镜。
12.根据权利要求1所述的图像处理装置，还包括以下控制器，所述控制器操作性地连接到所述内部镜头，其中，所述控制器被布置为控制所述可操纵镜和所述内部镜头，以修改投射到所述图像传感器上的所述可视区域。
13.根据权利要求1所述的图像处理装置，其中，所述可操纵镜包括微型光机电系统（MOEMS）镜。
CN202011293621.5A 2019-11-18 2020-11-18 交通工具机载成像系统 Active CN112822348B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/686,407 US10893183B1 (en) 2019-11-18 2019-11-18 On-vehicle imaging system
US16/686407 2019-11-18

Publications (2)

Publication Number Publication Date
CN112822348A CN112822348A (zh) 2021-05-18
CN112822348B true CN112822348B (zh) 2022-07-08

Family

ID=74067087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011293621.5A Active CN112822348B (zh) 2019-11-18 2020-11-18 交通工具机载成像系统

Country Status (3)

Country Link
US (1) US10893183B1 (zh)
CN (1) CN112822348B (zh)
DE (1) DE102020126804A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102284128B1 (ko) * 2020-03-23 2021-07-30 삼성전기주식회사 차량용 카메라
JP7250833B2 (ja) * 2021-03-09 2023-04-03 本田技研工業株式会社 物体認識装置、物体認識方法、およびプログラム
CN113703003B (zh) * 2021-08-09 2022-11-18 北京一径科技有限公司 激光扫描控制方法及装置、存储介质
CN114449217A (zh) * 2021-12-24 2022-05-06 中国船舶重工集团公司第七一五研究所 一种基于机器视觉的船载收放设备动态视频监视的设备与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239207A (ja) * 2010-05-11 2011-11-24 Fujifilm Corp 撮像装置、撮像制御方法、及び撮像制御プログラム
CN103618882A (zh) * 2013-12-12 2014-03-05 湖南理工学院 一种基于鱼眼镜头的多路视频智能监控系统
CN105959525A (zh) * 2016-06-16 2016-09-21 维沃移动通信有限公司 一种拍摄控制方法、摄像头模组及移动终端
CN107172338A (zh) * 2017-06-30 2017-09-15 联想(北京)有限公司 一种摄像头及电子设备
US10033917B1 (en) * 2015-11-13 2018-07-24 Apple Inc. Dynamic optical shift/tilt lens
CN109941286A (zh) * 2017-12-18 2019-06-28 通用汽车环球科技运作有限责任公司 用于评估车辆行驶表面的方法和设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US7742213B2 (en) * 2005-12-29 2010-06-22 Rensselaer Polytechnic Institute Adaptive-scanning optical microscope
CN102495513B (zh) * 2011-12-19 2013-08-28 章建国 应用于摄像机夜晚激光立体照明的装置
US20160014405A1 (en) * 2014-07-09 2016-01-14 Apple Inc. Method and apparatus for calibrating a camera
US20160078298A1 (en) * 2014-09-16 2016-03-17 Geovision Inc. Surveillance Method and Camera System Using the Same
US10300859B2 (en) * 2016-06-10 2019-05-28 Magna Electronics Inc. Multi-sensor interior mirror device with image adjustment
CN205864569U (zh) * 2016-08-07 2017-01-04 济宁市天启联合信息技术有限公司 一种计算机用摄像头
EP3552388A1 (en) * 2016-12-09 2019-10-16 Google LLC Feature recognition assisted super-resolution method
WO2018123672A1 (ja) 2016-12-28 2018-07-05 パナソニックＩｐマネジメント株式会社 撮像光学系とそれを備える撮像装置およびカメラシステム
US11500068B2 (en) 2018-01-09 2022-11-15 Lg Electronics Inc. Lidar apparatus for vehicle
JP7118702B2 (ja) 2018-04-02 2022-08-16 キヤノン株式会社 レンズ装置、撮像装置、カメラシステム、補正値決定方法およびプログラム
CN108616698B (zh) * 2018-08-16 2024-04-16 朱炳强 成像装置
CN109976391B (zh) * 2019-04-11 2022-04-01 天津理工大学 光学聚焦镜头的焦点感光元件三维空间视觉伺服定位系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239207A (ja) * 2010-05-11 2011-11-24 Fujifilm Corp 撮像装置、撮像制御方法、及び撮像制御プログラム
CN103618882A (zh) * 2013-12-12 2014-03-05 湖南理工学院 一种基于鱼眼镜头的多路视频智能监控系统
US10033917B1 (en) * 2015-11-13 2018-07-24 Apple Inc. Dynamic optical shift/tilt lens
CN105959525A (zh) * 2016-06-16 2016-09-21 维沃移动通信有限公司 一种拍摄控制方法、摄像头模组及移动终端
CN107172338A (zh) * 2017-06-30 2017-09-15 联想(北京)有限公司 一种摄像头及电子设备
CN109941286A (zh) * 2017-12-18 2019-06-28 通用汽车环球科技运作有限责任公司 用于评估车辆行驶表面的方法和设备

Also Published As

Publication number Publication date
DE102020126804A1 (de) 2021-05-20
US10893183B1 (en) 2021-01-12
CN112822348A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
US10852818B2 (en) Information provision device and information provision method
US20210284025A1 (en) Information provision device, information provision method, and recording medium storing information provision program for a vehicle display
CN112822348B (zh) 交通工具机载成像系统
EP3093194B1 (en) Information provision device
US20120133738A1 (en) Data Processing System and Method for Providing at Least One Driver Assistance Function
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
US20070124071A1 (en) System for providing 3-dimensional vehicle information with predetermined viewpoint, and method thereof
US20190135169A1 (en) Vehicle communication system using projected light
CN113165513A (zh) 平视显示器、车辆用显示系统以及车辆用显示方法
JP6504431B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
JP7300112B2 (ja) 制御装置、画像表示方法及びプログラム
JP2016107947A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2019185105A (ja) 車両システム、空間領域推測方法及び空間領域推測装置
CN116674557B (zh) 车辆自主变道动态规划方法、装置和域控制器
CN116653964B (zh) 变道纵向速度规划方法、装置和车载设备
CN116691688B (zh) 车辆变道轨迹缝合方法、装置和域控制器
US20230098314A1 (en) Localizing and updating a map using interpolated lane edge data
JP2020073365A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
CN116653965B (zh) 车辆变道重规划触发方法、装置及域控制器
JP6726412B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
WO2022102374A1 (ja) 車両用表示システム
JP2022044623A (ja) 画像表示方法及び画像表示装置
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
JPWO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant