CN109074069B - 具有改进的视觉检测能力的自主车辆 - Google Patents

具有改进的视觉检测能力的自主车辆 Download PDF

Info

Publication number
CN109074069B
CN109074069B CN201680084081.5A CN201680084081A CN109074069B CN 109074069 B CN109074069 B CN 109074069B CN 201680084081 A CN201680084081 A CN 201680084081A CN 109074069 B CN109074069 B CN 109074069B
Authority
CN
China
Prior art keywords
camera
autonomous vehicle
pitch
pitched
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680084081.5A
Other languages
English (en)
Other versions
CN109074069A (zh
Inventor
盖尔盖伊·德布赖采尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidong Technology Co ltd
Original Assignee
Zhidong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidong Technology Co ltd filed Critical Zhidong Technology Co ltd
Publication of CN109074069A publication Critical patent/CN109074069A/zh
Application granted granted Critical
Publication of CN109074069B publication Critical patent/CN109074069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)

Abstract

本发明提供了一种自主车辆，该自主车辆能够独立地驾驶通过密集交通的路径并且能够运输物体或人员，甚至是在粗糙的路面上也如此，同时确保车辆的安全和总体的道路安全。该自主车辆包括至少一个可变俯仰的摄像机，以用来产生用于计算机视觉的图像，从而控制该自主车辆。本发明促进随着自主车辆移动来改变可变俯仰的摄像机的俯仰，以使摄像机图像清晰度和/或分辨率最大化。这些图像可以用于车道检测、行人检测、环境的三维(3D)重建和/或坑洞检测。利用本发明，来自可变俯仰的摄像机的至少一个图像用于控制自主车辆的移动和/或轨迹。

Description

具有改进的视觉检测能力的自主车辆
技术领域
本公开内容涉及一种具有摄像机的自主(autonomous，自治的、自主驾驶的)车辆，更特别地，涉及一种具有用于改进自主汽车的视觉检测能力的摄像机的自主汽车。
背景技术
具有需要最少人为干预的独立控制操作能力的自主车辆可用于运输人员和物体。通常，一些自主车辆需要来自操作员的初始输入，而一些其他设计的自主车辆处于恒定的操作员控制下。可以完全通过远程对一些自主车辆进行操作。例如，在正常人类驾驶的汽车诸如特拉斯中，自动停车是运行中的自主车辆的示例。
此外，自主车辆需要在动态变化的环境条件下操作。例如，自主车辆可能需要以变化的速度且跨越不同的障碍物来在变化的路面伸展上追踪路径。变化的路面可以包括平坦的、蜿蜒的或丘陵的地形，并且不同的障碍物可以包括在意外的地点或时间出现的其他车辆或人。
在更广泛的层面上，自主车辆包括控制系统，该控制系统被配置为从许多信息收集设备接收对应于环境的传感数据。该信息收集设备可以包括通过辐射(激光)的受激发射的光放大、声音导航和测距(声纳)、无线电检测和测距(雷达)、光检测和测距(LIDAR)等。近来，自主车辆还已配备了用于信息收集的商业摄像机，以确保最大程度的安全。
在传统的自主车辆中，摄像机安装在固定位置和/或以固定取向安装，这妨碍了摄像机实现最佳性能并导致不可靠的图像重建准确度。由于不可靠的图像重建，体现在图像中的物体可能在均匀纹理背景中丢失，从而导致不准确的车道检测功能、位置重建、道路标志的检测等。图像重建的不可靠性对于道路安全、车辆路径和环境中的物体的检测而言可能是危险的，并且降低了自主车辆的操纵能力。
检查各种传感器在车辆底盘上的定位和/或取向如何以及到何种程度的不准确性影响自主车辆的检测能力。因此，结果是自主车辆的操纵能力也受到阻碍，从而使自主车辆不可靠。
在Evans等人的US 5040116中已获知具有可移动摄像机的自主车辆。该文献在此被引用作为参考。
在US 9121717中分析了机载摄像机俯仰如何影响自主汽车的计算机视觉图像。该文献在此也被引用作为参考。
US5559695公开了一种用于车辆的自校准视觉传感器，其中传感器被连续校准以指向延伸的焦点的方向。
然而，现有技术欠缺随着车辆移动改进机载摄像机的图像质量的技术。
发明内容
本发明的目的是解决和改进现有技术中的上述缺陷。
本发明的目的是通过使用定位在自主车辆的不同位置和/或取向的一个或多个可变俯仰的摄像机来促进对自主车辆的控制。
在本发明的一个方面，多个可变俯仰的摄像机以不同的位置和/或可移动的取向安装在自主车辆中。可变俯仰的摄像机用于以相对自主车辆的移动方向不同的非零俯仰角度获得图像，以改进自主车辆的检测能力。
在本发明的另一方面，每个可变俯仰的摄像机的俯仰角度随着自主车辆移动而被动态地改变，以使图像清晰度和/或分辨率最大化，从而确保在自主车辆的路径中的最佳车道检测和/或物体检测。在示例中，可以基于自主车辆与在自主车辆的导航路径中的物体的距离来选择可变俯仰的摄像机的非零俯仰角度，或者当物体距自主车辆的距离较短时，基于与焦距、传感器大小、摄像机高度等有关的不同摄像机配置来选择可变俯仰的摄像机的非零俯仰角度。
在本发明的另一方面，可以动态地调整至少一个可变俯仰的摄像机的取向，以用于在给定的交通状况下更好地成像。例如，在给定的俯仰角度下，可变俯仰的摄像机识别在自主车辆的路径中的另一车辆，并且动态地产生另一车辆的图像，那可用于控制自主车辆的移动。
在本发明的另一方面，来自至少一个可变俯仰的摄像机的至少一个图像用于控制自主车辆的移动。例如，自主车辆的控制单元使用所产生的图像来计算撞击的时间和车辆之间的距离，并且动态地降低自主车辆的速度以避免与其他车辆的冲突，同时确保自主车辆的车道保持。
在该应用中，自主车辆基本上是汽车、卡车、任何两轮或四轮车辆、被配置为用于交通控制的四轴飞行器或无人机等。自主车辆主要在有或没有驾驶员的情况下运输人和物体。即，自驾驶(self driving，无人驾驶、自动驾驶)汽车被理解为自主车辆，并且在一些情况下是自驾驶的但在其他情况下由人类驾驶员驾驶的汽车在本申请中也被理解为自主车辆。
根据本发明，自主车辆还可以控制交通拥堵、确保行人安全、检测自主车辆的导航路径中的坑洞、警告驾驶员错误的车道偏离并且对驾驶员执行许多辅助功能以帮助他安全且有效地驾驶。
因此，本发明是根据权利要求1所述的自主车辆、根据权利要求11所述的方法以及根据权利要求21所述的软件程序产品。
本发明具有相当大的优点。本发明产生了基本上精确和可靠的基于摄像机的检测方法，其为具有自主车辆运动的车辆显著地提升了道路安全。与由水平对准的摄像机产生的图像相比，配备有本发明的可变俯仰的摄像机的自主车辆具有更好的重建准确度。不管自主车辆实施任何轨迹控制模型，非零摄像机俯仰配置都能产生准确的车道检测结果。同样重要的是，基于自主车辆的速度动态地改变可变俯仰的摄像机的最佳俯仰角度。可变俯仰的摄像机也可以提高针对短距离范围的图像重建准确度，并且这可以通过调整摄像机配置诸如焦距、传感器大小、摄像机高度等来实现。这有助于创建高细节的图，以促进有效驾驶。本发明较好的图像检测带来更精确和更可靠的基于摄像机的检测方法，该检测方法提升与具有自主操作的车辆相关联的道路安全。这引起高精确度的车道保持，并且为自驾驶汽车和由自主车辆功能辅助人类驾驶的汽车提供了更好的轨迹控制机制。
已经关于相对于车辆的移动例如汽车的行驶方向的摄像机俯仰描述了本发明。然而，本发明同样适用于摄像机角度的滚转或偏航。因此，在本发明的所有实施方式中，可以类似地单独地或者与俯仰结合在一起来对滚转或偏航角度进行控制，以改进用于根据本发明的自主车辆的操作的图像检测。
本发明的最佳模式被认为是无人驾驶汽车，该无人驾驶汽车可以独立地驾驶通过易交通堵塞的路径、倾向于移动的物体或人员的路径、或者粗糙路面的路径，同时确保汽车、其乘客的安全以及道路安全。基于来自位于汽车的不同位置和/或取向的多个可变俯仰的摄像机的以不同俯仰角度拍摄的不同图像来控制无人驾驶汽车的移动。本发明的最佳模式使得可以有效地识别汽车路径中的任何人、物体或其他车辆，确保车道保持，并有效地控制汽车的移动。
附图说明
图1作为简图示出了根据本发明的包括多个可变俯仰的摄像机的自主车辆的实施方式10。
图2作为流程图示出了根据本发明的用于控制包括至少一个可变俯仰的摄像机的自主车辆的方法的实施方式20。
图3作为简图示出了根据本发明的更详尽的自主车辆的实施方式30，其中在自主车辆的仪表板上显示了不同的摄像机视图。
图4作为框图示出了根据本发明的车辆摄像机对准系统的实施方式40。
图5作为流程图示出了根据本发明的用于控制包括至少一个可变俯仰的摄像机的更详尽的方法的实施方式50。
图6作为简图示出了根据本发明的更详尽的自主车辆的另一实施方式60，其中在自主车辆的顶置控制台上显示了不同的摄像机视图。
图7作为示意图示出了根据本发明的车辆摄像机对准系统的操作原理的实施方式70。
图8示出了针孔摄像机模型的实施方式80，涉及表明本发明的功能的实验。
图9(A)示出了在水平对准的摄像机的情况下X坐标重建的绝对误差(以米为单位)的分布的图形表示的实施方式91，涉及表明本发明的功能的实验。
图9(B)示出了在水平对准的摄像机的情况下Y坐标重建的绝对误差(以米为单位)的分布的图形表示的实施方式91，涉及表明本发明的功能的实验。
图10(A)示出了在水平对准的摄像机和可变俯仰的摄像机的情况下Y坐标重建的绝对误差比较的图形表示的实施方式92，涉及表明本发明的功能的实验。
图10(B)示出了通过绝对误差的比率计算对重建性能的评估的图形表示的实施方式92，涉及表明本发明的功能的实验。
图11(A)示出了在水平对准的摄像机和可变俯仰的摄像机的情况下X坐标重建的绝对误差计算的图形表示的实施方式93，涉及表明本发明的功能的实验。
图11(B)示出了通过绝对误差的比率计算对重建性能的评估的图形表示的实施方式93，涉及表明本发明的功能的实验。
图12(A)示出了在处于1.6米高度处的可变俯仰的摄像机前方2.5米处的点的Y坐标重建的情况下重建准确度随着摄像机俯仰角度变化的图形表示的实施方式94，涉及表明本发明的功能的实验。
图12(B)示出了在处于1.6米高度处的可变俯仰的摄像机前方2.5米处的点的X坐标重建的情况下位置重建准确度随着摄像机俯仰角度变化的图形表示的实施方式94，涉及表明本发明的功能的实验。
图13(A)示出了用于水平对准的摄像机和可变俯仰的摄像机的在x＝-1.5米处的随着y坐标变化的车道标志位置重建质量测量的图形表示的实施方式95，涉及表明本发明的功能的实验。
图13(B)示出了用于可变俯仰和水平对准的摄像机的质量测量的比率计算的图形表示的实施方式95，涉及表明本发明的功能的实验。
图14示出了对具有非零俯仰的针孔摄像机模型的重建误差计算的图形表示的实施方式96，涉及表明本发明的功能的实验。
在从属权利要求中描述了一些实施方式。
具体实施方式
本公开内容提供了一种包括车辆摄像机对准系统的自主车辆、一种方法及一种软件程序产品，以用于改进自主车辆的视觉检测能力。自主车辆包括至少一个可变俯仰的摄像机。可变俯仰的摄像机具有在自主车辆的运动方向上可调整的可变且可移动的非零俯仰。改变可变俯仰的摄像机的俯仰以使由可变俯仰的摄像机捕获的图像的图像清晰度和/或分辨率最大化，从而确保使用准确数据来重建与自主车辆的路径相关联的物体和/或环境。较为准确的图像重建数据用于控制自主车辆的移动。
图1示出了自主车辆100的实施方式10。根据本发明，自主车辆100包括安装在自主车辆100的不同位置处的多个可变俯仰的摄像机110、111、112和113。根据本发明，还可以从自主车辆上的任何位置类似地控制摄像机的偏航和/或滚转。自主车辆100基本上是无驾驶员的汽车。在其他实例中，自主车辆100可以是卡车、任何两轮或四轮的车辆、被配置为控制交通的四轴飞行器或无人机等。自主车辆100可以用于在交通中运输人和物体。
根据本发明，自主车辆还可以辅助驾驶员：针对交通拥堵调整驾驶、确保行人安全、检测自主车辆100的导航路径中的坑洞、在车道偏离时警告驾驶员等。
可变俯仰的摄像机110、111、112和113可包括例如针孔摄像机、数字摄像机、视频摄像机、远程摄像机、口红摄像机、具有CMOS传感器的摄像机、具有CCD传感器的摄像机、短程摄像机、远程摄像机和/或鱼眼摄像机等。可变俯仰的摄像机110、111、112和113中的每一个都可以定位在例如自主车辆100的前表面、后表面、顶表面和/或底表面上，以用于捕获与自主车辆100的路径相关联的人或物体和/或环境的不同图像。以变化的零或非零俯仰角度捕获上述不同图像。
俯仰角度是进入摄像机的平行光线到车辆的移动方向之间的角度。可以基于待由自主车辆100执行的所需的检测功能来确定和调整可变俯仰的摄像机110、111、112和113的俯仰角度。这些包括但不限于：车道检测、从运动求取结构(SFM)、道路标志、坑洞检测等。基于自主车辆100的速度来确定可变俯仰的摄像机110、111、112和113的俯仰角度。
仍然参照图1，可变俯仰的摄像机110、111、112和113中的每一个都被配置为捕获与自主车辆100的导航路径或轨迹相关联的静态和/或动态对象的图像和/或视频馈送140。静态对象可以包括例如三维(3D)环境150、车道160和/或坑洞180的项目。动态对象可以包括例如行人170。可变俯仰的摄像机110、111、112和113中的每一个都采用传统的成像和/或其他检测技术诸如LIDAR、雷达等，以检测捕获的图像和/或视频馈送140中的3D环境150、车道160、行人170和/或坑洞180。
如此捕获的图像和/或视频馈送140被处理以产生用于可变俯仰的摄像机110、111、112和113中的每一个的转向控制命令。转向控制命令被配置为将可变俯仰的摄像机110、111或112中的每一个的俯仰角度重对准，以用于获得可靠的图像重建准确度。然后具有可靠的重建准确度的图像可以用于控制自主车辆100的移动。还可以基于从自主车辆100的其他传感器诸如陀螺仪、激光器、雷达等接收的传感信息来调整俯仰角度。传感信息还可以包括车辆速度、摄像机取向信息、摄像机位置信息、交通信息等。
可变俯仰的摄像机110、111、112和/或113中的每一个在调整它们相应的俯仰角度之后捕获新的图像和/或视频馈送140。在调整可变俯仰的摄像机110、111、112和/或113的俯仰角度之后获得图像和/或视频馈送140的典型目的在于改进图像清晰度和/或分辨率，并且如果这些变量变得更差，则实际上没有理由调整俯仰。随着图像清晰度和分辨率被改进，与不同检测任务诸如坑洞检测、行人检测等相关联的改进数据可用于控制自主车辆100。包括改进的检测数据的图像和/或视频馈送140可以被显示在位于自主车辆100的仪表板120上的显示屏130上。如图1中所显示，基于改进的检测数据来控制自主车辆100的移动。
例如，如果可变俯仰的摄像机110检测到在自主车辆100的路径中的距离为1米(m)的行人，则使自主车辆100立即停止以允许行人通过。在另一实例中，可变俯仰的摄像机111被配置为接收车道160的连续图像馈送。当可变俯仰的摄像机111检测到距与车道160相关联的车道标志预定距离的偏离时，使自主车辆100的运动方向朝向车道160重定向。
根据本发明，实施方式10的任何特征可以容易地与任何其他实施方式20、30、40、50、60、70、80、91、92、93、94、95和/或96组合或置换。
图2作为流程图示出了根据本发明的用于控制包括至少一个可变俯仰的摄像机110、111、112和/或113的自主车辆100的方法的实施方式20。例如，如在说明书的其他部分中所讨论的，该方法可以在与图1或图7中的实施方式10或实施方式70相同或类似的系统中实现。该方法的最终用户可以使用与图3和图6中的实施方式30和实施方式60分别公开的用户界面相同或类似的用户界面。
用于控制自主车辆100的方法创造性地包括多个可变俯仰的摄像机110、111、112和/或113。
在阶段200中，自主车辆100的马达控制自主车辆100的至少一个可变俯仰的摄像机110、111、112和/或113，所述至少一个可变俯仰的摄像机具有相对自主车辆100的行进方向可变且可移动的俯仰。如果可变俯仰的摄像机110、111、112和/或113的取向离开行进方向，则马达通常动态地调整俯仰以捕获行进方向上的或靠近它的扇形区域中的图像。控制移动的马达典型地是与车辆的发动机分离开的小型电动马达。然而，马达可以由车辆电池供电。在本发明的不同实施方式中，马达也可以由用于移动摄像机的磁性或液压控制装置来代替。
在阶段210中，随着自主车辆100移动，改变可变俯仰的摄像机110、111、112或113的俯仰以使图像清晰度和/或分辨率最大化。例如，如果自主车辆100改变行进方向，则可变俯仰的摄像机110、111、112或113的俯仰被动态调整以指向行进方向而不妨碍图像的清晰度。可变俯仰的摄像机110、111、112或113的俯仰还可被调整成当可变俯仰的摄像机110、111、112或113产生太粗糙的图像时增加图像馈送的分辨率，或者当产生的图像太模糊时使摄像机聚焦。
在阶段220中，使用来自可变俯仰的摄像机110、111、112或113的至少一个图像来控制自主车辆100的移动。例如，如果来自可变俯仰的摄像机110、111、112或113的图像指示偏离车道，则使自主车辆100优选地立即朝向车道重定向，以确保车道保持。
在阶段230中，自主车辆100的可变俯仰的摄像机110、111、112或113可以用于例如车道检测、行人检测、环境的3D重建、坑洞检测以及其他事故避开活动。
根据本发明，实施方式20的任何特征可以容易地与其他实施方式10、30、40、50、60、70、80、91、92、93、94、95和/或96中的任何实施方式组合或置换。
图3作为简图示出了根据本发明的更详尽的自主车辆100的实施方式30，其中在自主车辆100的仪表板120上显示了不同的摄像机视图。自主车辆100包括不同的可变俯仰的摄像机110、111、112和113，这样的可变俯仰的摄像机被配置为产生用于计算机视觉的图像，以用来控制自主车辆100。可变俯仰的摄像机110、111、112和113具有对应于行进方向可变且可移动的俯仰，所述俯仰优选地待由自主车辆100的马达控制。
如图3所示，仪表板120上安装了至少四个屏幕。四个屏幕中的各个屏幕显示由自主车辆100的定位在不同位置和/或取向的四个不同的可变俯仰的摄像机110、111、112和113捕获的图像或视频数据的实时馈送。在一些实施方式中，各个可变俯仰的摄像机110、111、112和113被配置为执行待在不同的摄像机位置处和/或以不同的摄像机取向完成的不同任务，诸如坑洞检测、行人检测等。
例如，在一种实施方式中，用户界面131显示从摄像机#1 110获得的所检测的行人图像和/或视频馈送141；用户界面132显示来自摄像机#2 111的所检测的坑洞图像和/或视频馈送142；用户界面133显示来自摄像机#3112的所检测的指示交通状况的车辆图像和/或视频馈送143；并且用户界面134显示来自摄像机#4 113的所检测的环境的3D重建图像和/或视频馈送144。所有可变俯仰的摄像机110、111、112和/或113都可以定位在自主车辆100的顶表面上，面向自主车辆100的运动方向，但是在本发明的一些实施方式中，其他位置也是可能的。
多个可变俯仰的摄像机110、111、112和113中的至少一个可变俯仰的摄像机110、111、112或113的俯仰被配置为随着自主车辆100移动而被改变，以使摄像机图像清晰度和/或分辨率最大化。可以基于例如摄像机位置和/或摄像机取向加之车辆速度来控制至少一个可变俯仰的摄像机110、111、112或113的俯仰。也可以基于例如天气和/或交通状况来控制可变俯仰的摄像机110、111、112和/或113的俯仰。来自可变俯仰的摄像机110、111、112和/或113的至少一个图像被配置为用于控制自主车辆100的移动。
除了经由自主车辆100的挡风板的导航路径的乘客视图300之外，还经由用户界面131、132、133和134给自主车辆100的驾驶员提供了更详细的前方路径视图。在实例中，驾驶员可以控制自主车辆100的移动，诸如操纵自主车辆100以在不离开车道的情况下避开车道上的坑洞、车辆或行人。在另一实例中，由自主车辆100的控制单元独立地控制自主车辆100的移动，以在不离开车道的情况下避开车道上的坑洞、车辆或行人。在本发明的一些实施方式中，驾驶员还可以将一些避开或驱动控制功能设置为自动的，并且一些设置为手动的。例如，行人避开是高优先级并且其可以被设置为自动的，而坑洞检测不是那么的受关切，因为人的生命没有处于危险中，因此在本发明的一些实施方式中可以将坑洞检测设置为手动的。
根据本发明，实施方式30的任何特征可以容易地与其他实施方式10、20、40、50、60、70、80、91、92、93、94、95和/或96中的任何实施方式组合或置换。
图4作为框图示出了根据本发明的车辆摄像机对准系统400的实施方式40。车辆摄像机对准系统400包括人工智能和检测模块(AI/DET)模块410、转向单元430和控制单元440。自主车辆100包括多个可变俯仰的摄像机，例如摄像机#1 110、摄像机#2 111、摄像机#3 112和摄像机#4 113。驻留在自主车辆100中的车辆摄像机对准系统400用于通过改变可变俯仰的摄像机110、111、112和113的俯仰角度来控制自主车辆100的移动。可变俯仰的摄像机110、111、112和/或113由车辆摄像机对准系统400操作和控制。AI/DET模块410从可变俯仰的摄像机110、111、112和113接收摄像机数据。摄像机数据包括从可变俯仰的摄像机110、111、112和/或113获得的图像和/或视频馈送。
AI/DET模块410处理摄像机数据并向转向单元430发送转向控制命令。转向单元430还从自主车辆100的其他传感器接收附加的车辆相关信息420，该附加的车辆相关信息包括陀螺仪数据、摄像机位置，摄像机取向、车辆速度、天气信息、交通信息等。其他传感器可以包括例如停车传感器、LIDAR、雷达、陀螺仪等。转向单元430基于转向控制命令和从其他传感器接收的车辆相关信息420来控制和更改可变俯仰的摄像机110、111、112和/或113的俯仰角度。基于转向控制命令来调整可变俯仰的摄像机110、111、112和/或113的俯仰，以产生可用于有效且安全地控制自主车辆100的移动的改进的且可靠的检测数据。
根据本发明，实施方式40的任何特征可以容易地与其他实施方式10、20、30、50、60、70、80、91、92、93、94、95和/或96中的任何实施方式组合或置换。
图5作为流程图示出了根据本发明的用于控制包括至少一个可变俯仰的摄像机110、111、112或113的自主车辆100的更详尽方法的实施方式50。
在阶段500中，接收摄像机数据，该摄像机数据包括来自位于不同摄像机位置和/或处于不同摄像机取向的不同可变俯仰的摄像机110、111、112和/或113的图像和/或视频馈送。该摄像机数据与待由自主车辆100执行的不同任务诸如坑洞检测、行人检测等相关联。
在阶段510中，处理摄像机数据以矫正图像的清晰度和/或分辨率中的任何偏差(discrepancy，不符)。
在阶段520中，生成与各个可变俯仰的摄像机110、111、112和113相关联的转向控制命令。例如，如果通过处理摄像机数据未矫正偏差，则确定适当的俯仰角度，使得以经调整的俯仰角度捕获的摄像机数据没有任何偏差。
在阶段530中，获得多个车辆相关的信息，诸如车辆速度、陀螺仪数据、天气信息、交通信息等。从被自主车辆100采用的不同传感器获得多个车辆相关信息。传感器的一些实例包括陀螺仪、雷达传感器、LIDAR传感器、速度计等。
在阶段540中，控制各个可变俯仰的摄像机110、111、112和113的俯仰角度以执行不同任务，诸如坑洞探测、车道检测、行人检测等。考虑到转向控制命令和车辆相关信息来调整俯仰角度以实现待由自主车辆100执行的任务的最佳性能。调整俯仰角度以改进由各个可变俯仰的摄像机110、111、112和113捕获的摄像机数据的图像清晰度和/或分辨率中的任何偏差。处于调整后的俯仰角度的各个可变俯仰的摄像机110、111、112和113获得经改进的检测数据，因而获得可用于最佳地执行任务的经修正的图像清晰度和/或分辨率。
在阶段550中，在调整各个可变俯仰的摄像机110、111、112和/或113的俯仰之后，从可变俯仰的摄像机110、111、112和/或113获得经改进的检测数据。经改进的摄像机检测数据被馈送到自主车辆100的控制单元440。控制单元440被配置为基于经改进的摄像机检测数据来控制自主车辆100的移动，以在除其他目的外确保道路安全和车辆安全。其他目的包括避开交通拥堵区域、检测驾驶员困倦、智能速度适应(ISA)，以在超速情况下警告驾驶员或动态降低车辆速度以将车辆速度带到允许的速度限制内。
根据本发明，实施方式50的任何特征可以容易地与其他实施方式10、20、30、40、60、70、80、91、92、93、94、95和/或96中的任何实施方式组合或置换。
图6作为简图示出了根据本发明的更详尽的自主车辆100的另一实施方式60，其中在自主车辆100的顶置控制台600上显示有不同的摄像机视图。在示例实现中，在自主车辆100内部在一不同位置处即在顶置控制台600处向自主车辆100的驾驶员显示不同的摄像机视图，以应对驾驶员喜欢沿着与乘客视图300相同的视线观看摄像机图像的情况。位于用于显示行人图像和/或视频馈送141、坑洞图像和/或视频馈送142、车辆图像和/或视频馈送143、以及环境图像和/或视频馈送144的用户界面131、132、133和134后面的系统可以例如类似于早先说明的实施方式30，并且为了简洁起见不再复述。
在一些实施方式中，基于下述中的任何来控制可变俯仰的摄像机110、111、112和113的俯仰：摄像机位置、摄像机取向和/或陀螺仪数据，加之所述车辆100的速度。此外，还可以基于下述中的任何来控制可变俯仰的摄像机110、111、112和113的俯仰：天气、成像算法的输出、映射信息、GPS(全球定位系统)位置和/或交通状况。所述多个摄像机110、111、112和113位于自主车辆100的不同部位中，并且被配置为执行不同任务，因此相应地在仪表板141、142、143和/或144上示出不同视图。
在一些实施方式中，各个检测任务被配置为在不同的摄像机位置处和/或以不同的摄像机取向完成，从而产生不同的视图141、142、143和/或144。此外典型地但不是必须地，至少一个摄像机输出被配置为由人工智能和检测模块410处理。人工智能和检测模块410被配置为基于其接收的图像数据和由其他车辆检测系统检测的其他传感数据向转向单元430发送转向控制命令。例如，转向单元430被配置为使用车辆速度和/或陀螺仪数据来控制和更改至少一个所述摄像机110、111、112和/或113的俯仰角度，从而改变视图141、142、143和/或144中的图片。
在一些实施方式中，转向单元430被配置为使用车辆速度和/或陀螺仪数据来在闭环中反复地控制和更改至少一个所述摄像机110、111、112或113的俯仰角度，并且可选地，经改进的检测性能被配置为用于馈入(feed，馈送)自主车辆100的控制逻辑。这将显示在仪表板和屏幕141、142、143和/或144上，使得屏幕总是在搜索和调整以产生非常清晰的和高分辨率的图片。
根据本发明，实施方式60的任何特征可以容易地与其他实施方式10、20、30、40、50、70、80、91、92、93、94、95和/或96中的任何实施方式组合或置换。
图7作为示意图示出了车辆摄像机对准系统400的操作原理的实施方式70，涉及示出了本发明的功能的实验。图7示出了用于控制自主车辆100的软件程序产品的实施方式70。该软件程序产品存储在非暂时性存储介质上，所述暂时性存储介质位于自主车辆100上或者网络主机上，或者分布在两者之间，使得软件程序产品的一些部分驻留在自主车辆100上，并且一些部分驻留在网络主机上。用于本发明中的自主车辆100与网络主机之间的通信的网络是无线因特网或电话网络，该电话网络通常是蜂窝网络，诸如UMTS(通用移动通信系统)网络、GSM(全球移动通信系统)网络、GPRS(通用分组无线业务)网络、CDMA(码分多址)网络、3G网络、4G网络、Wi-Fi和/或宽带码分多址(WCDMA)网络。软件程序产品包括被配置为产生用于控制自主车辆100的计算机视觉图像的摄像机软件。
自主车辆100配备有位于自主车辆100的不同部位中的若干可变俯仰的摄像机，例如，摄像机#1 110、摄像机#2 111、摄像机#3 112、摄像机#4 113等，并且各个摄像机执行不同的任务，诸如车道检测、行人检测、坑洞检测、环境检测等。可变俯仰的摄像机110、111、112或113具有被配置为受自主车辆100的马达控制的相对行进方向可变且可移动的俯仰。自主车辆100包括转向单元430、人工智能(AI)和检测(DET)模块410、以及质量监控(QM)模块710。
AI/DET模块410接收并处理从可变俯仰的摄像机110、111、112和/或113接收的摄像机输入。AI/DET模块410将经处理的摄像机图像发送到QM模块710。QM模块710检查经处理的摄像机输入的质量，并基于经处理的摄像机图像生成摄像机对准修改请求。QM模块710将摄像机对准修改请求发送到转向单元430。自主车辆100的控制器区域网络(CAN)总线700将从自主车辆100的不同传感器获得的信息诸如车辆速度、陀螺仪数据、天气信息、交通信息、成像算法的输出、映射信息和GPS等提供给转向单元430。陀螺仪数据可以包括例如摄像机位置和/或摄像机取向。
响应于来自QM模块710的摄像机对准修改请求，转向单元430基于从CAN总线700接收的信息为自主车辆100的各个可变俯仰的摄像机110、111、112和113设置最佳摄像机角度。随着自主车辆100移动，转向单元430改变至少一个可变俯仰的摄像机110、111、112或113的俯仰以使摄像机图像清晰度和/或分辨率最大化。在一些实施方式中，转向单元430可以针对自主车辆100的不同可变俯仰110、111、112和/或113设置不同的最佳摄像机角度。在闭环中重复车辆摄像机对准系统400的操作原理，以用于获得可变俯仰的摄像机110、111、112和/或113的最佳检测性能。当包括图像和/或视频馈送的摄像机数据具有高图像清晰度和/或分辨率时，由可变俯仰的摄像机110、111、112和/或113执行的检测是最佳的。该最佳检测数据被馈送到控制单元440。控制单元440使用来自可变俯仰的摄像机110、111、112和/或113的至少一个图像来控制自主车辆100的移动。
在实施方式中，自主车辆100被配置为具有安装在存储器中的应用，该应用允许自主车辆100的驾驶员或操作者基于由车辆摄像机对准系统400提供的检测数据选择导航路径或控制自主车辆100的移动。驾驶员可以经由例如在如实施方式30中所说明的多个仪表板屏幕上或在如实施方式60中所说明的多个顶置控制台屏幕上显示的用户界面访问该应用。控制单元440在用户界面上将检测到的数据动态地显示给驾驶员，以引导驾驶员控制自主车辆100的移动。用户界面可以被设置为触敏界面，该触敏界面允许驾驶员管理检测到的数据的显示，诸如扩展视图、最小化视图、旋转视图等。
根据本发明，实施方式70的任何特征可以容易地与其他实施方式10、20、30、40、50、60、80、91、92、93、94、95和/或96中的任何实施方式组合或置换。
图8示出了针孔摄像机模型的实施方式80，涉及表明本发明的功能的实验。
图8所示的坐标系表示800是右手坐标系。针孔摄像机相对于3D点(X，Y，Z)820水平对准。3D点820的坐标是(X，Y，Z)。摄像机位于地表面以上“h”米高度处。“f”表示针孔摄像机的焦距，以像素为单位。(x，y)是由针孔摄像机产生的3D点(X，Y，Z)820的图像像素的坐标810。摄像机的主点的(x，y)坐标810用像素表示为(px，py)。针孔摄像机的图像传感器以摄像机镜头的光轴为中心；因此，px和py的值用零代替。摄像机具有零俯仰角度。位于汽车前方的平面表面上的对象的图像坐标(x，y)810与3D点坐标(X，Y，Z)820之间的关系可以由以下等式表示：
Figure GDA0001812200540000171
Figure GDA0001812200540000181
当安装在图1中的自主车辆100上的可变俯仰的摄像机110、111、112或113中之一具有非零俯仰角度时，则该对象的图像坐标(x，y)810与3D点坐标(X，Y，Z)820之间的关系由以下等式表示：
Figure GDA0001812200540000182
Figure GDA0001812200540000183
其中ι是从水平轴起顺时针计数的可变俯仰的摄像机110、111、112或113的俯仰角度。
根据本发明，实施方式80的任何特征可以容易地与其他实施方式10、20、30、40、50、60、70、91、92、93、94、95和/或96中的任何实施方式组合或置换。
图9(A)示出了在水平对准的摄像机的情况下X坐标重建的绝对误差(以米为单位)的分布的图形表示900的实施方式91，涉及表明本发明的功能的实验。考虑到针孔摄像机的图像传感器仍然以摄像机镜头的光轴为中心；因此，px、py的值用零代替。
与X坐标相关联的位置重建误差(ΔX)的关系可以由以下等式表示：
Figure GDA0001812200540000184
在可变俯仰的摄像机110、111、112或113安装在图1中的自主车辆100上的情况下，X坐标重建的绝对误差(以米为单位)的关系分布可由以下等式表示：
Figure GDA0001812200540000191
图9(B)示出了在水平对准的摄像机的情况下Y坐标重建的绝对误差(以米为单位)的分布的图形表示910的实施方式91，涉及表明本发明的功能的实验。
与Y坐标相关联的位置重建误差(ΔY)的关系可以由以下等式表示：
Figure GDA0001812200540000192
在可变俯仰的摄像机110、111、112或113安装在自主车辆100上的情况下，Y坐标重建的绝对误差(以米为单位)的关系分布可由以下等式表示：
Figure GDA0001812200540000193
根据本发明，实施方式91的任何特征可以容易地与其他实施方式10、20、30、40、50、60、70、80、92、93、94、95和/或96中的任何实施方式组合或置换。
图10(A)示出了在水平对准的摄像机以及可变俯仰的摄像机110、111、112或113的情况下Y坐标重建的绝对误差比较的图形表示1000的实施方式92，涉及表明本发明的功能的实验。曲线1010示出了与水平对准的摄像机相关联的绝对误差，并且曲线1020示出了与可变俯仰的摄像机110、111、112或113相关联的绝对误差。
图10(B)示出了通过绝对误差的比率计算对重建性能的评估的图形表示1030的实施方式92，涉及表明本发明的功能的实验。曲线1040示出了Y坐标重建误差的比率。
很明显，该实验表明，摄像机的俯仰减小了在Y坐标的整个范围内的重建误差，在短距离内更是如此。
根据本发明，实施方式92的任何特征可以容易地与其他实施方式10、20、30、40、50、60、70、80、91、93、94、95和/或96中的任何实施方式组合或置换。
图11(A)示出了在水平对准的摄像机以及可变俯仰的摄像机110、111、112或113的情况下X坐标重建的绝对误差计算的图形表示1100的实施方式93，涉及表明本发明的功能的实验。曲线1110示出了与水平对准的摄像机相关联的绝对误差，并且曲线1120示出了与可变俯仰的摄像机110、111、112或113相关联的绝对误差。
图11(B)示出了通过绝对误差的比率计算对重建性能的评估的图形表示1130的实施方式93，涉及表明本发明的功能的实验。曲线1140示出了X坐标重建误差的比率。
很明显，该实验表明，摄像机的俯仰减小了在X坐标的整个范围内的重建误差，并且当我们沿着X坐标靠近3米时更是如此。
根据本发明，实施方式93的任何特征可以容易地与其他实施方式10、20、30、40、50、60、70、80、91、92、94、95和/或96中的任何实施方式组合或置换。
图12(A)示出了在针对位于处在1.6米高度处的可变俯仰的摄像机110、111、112或113前方2.5米处的点的Y坐标重建的情况下位置重建准确度随着摄像机俯仰角度的变化的图形表示1200的实施方式94，涉及表明本发明的功能的实验。图形表示1200示出了重建准确度如何取决于可变俯仰的摄像机110、111、112或113的摄像机俯仰角度。在实例中，当摄像机光学中心直接指向所讨论的点时，即摄像机俯仰ι＝atan(1.6/2.5)＝32.6°时，可以实现位置重建准确度的高灵敏度。曲线1210示出了与2.5m距离处的可变俯仰的摄像机110、111、112或113相关的重建误差。
图12(B)示出了在针对位于处在1.6米高度处的可变俯仰的摄像机110、111、112或113前方2.5米处的点的X坐标重建的情况下位置重建准确度随着摄像机俯仰角度的变化的图形表示1200的实施方式94，涉及表明本发明的功能的实验。曲线1230表示与2.5m距离处的可变俯仰的摄像机110、111、112或113相关联的重建误差。
该实验清楚地表明，例如，用30度至35度的摄像机俯仰最好地实现对高度1.6米的普通行人的头部/肩部的检测。因此，在本发明的优选实施方式中，如果车辆检测到它处于可能出现行人的区域中，则它将使至少一个摄像机的俯仰更改到30度至35度，并且为该摄像机提供超过任何其他事物的优先(override，超控)能力，从而允许通过该摄像机对行人的检测来例如使车辆停止，而不管其他检测器检测到什么。
根据本发明，实施方式94的任何特征可以容易地与其他实施方式10、20、30、40、50、60、70、80、91、92、93、95和/或96中的任何实施方式组合或置换。
现在让我们来看看车辆如何检测车道标志。为了能够计算用于自主车辆的最佳轨迹，它必须以最高的可能精确度检测车辆前方的车道标志的特定长度(l)。此检测精确度(误差，E)的测量可以自然地限定如下：
Figure GDA0001812200540000211
其中ΔX和ΔY是如等式5至8中的位置重建误差，l是从摄像机起测量的距离，同时考虑到距摄像机较远的车道标志点的权重与较近的车道标志点的权重不同，I(1)是特定于控制和轨迹机制的重要函数。
出于对积分上限的有根据的估计，我们可以考虑到这一事实：高速公路和道路的建设方式是，在给定的(允许的)正常行驶速度(v)下，在人类驾驶员的反应时间(tr)内不会发生曲率/质量的显著/危险变化。出于对反应时间的保守估计，让我们选择tr＝1.0s：
l＝v×tr 等式(10)
对于参数空间的不同区域，等式[9]中的积分可以容易地以数值方式计算出来。该部分的目标是确定使特定正常行驶速度v下的E最小化的最佳摄像机俯仰。
图13(A)示出了用于水平对准的摄像机以及可变俯仰的摄像机110、111、112或113的在x＝-1.5米处的随着y坐标变化的车道标志位置重建质量测量的图形表示1300的实施方式95，涉及表明本发明的功能的实验。曲线1310示出了用于水平对准的摄像机的车道标志位置重建准确度测量，曲线1320示出了用于可变俯仰的摄像机110、111、112或113的车道标志位置重建准确度测量。该实施方式95说明了车辆速度和最佳摄像机俯仰之间的关系。为了车道标志重建的计算测量精确度，考虑了车辆移动的横向方向和在给定时间靠近自主车辆100的3D点。基于距可变俯仰的摄像机110、111、112或113较远的车道标志点的权重——不同于较近的车道标志点的权重——来指定控制和轨迹机制的重要性函数(I)由下面给出的等式表示：
Figure GDA0001812200540000221
图13(A)示出了对于典型的车道检测情况，随着自主车辆100前方的距离变化的等式[11]的积分的演化，在典型的车道检测情况下，车道位于距关于主车辆100的中心的左侧和右侧约-1.5m的距离处。
图13(B)示出了用于可变俯仰和水平对准的摄像机的质量测量的比率计算的图形表示1330的实施方式95，涉及表明本发明的功能的实验。图13(B)中所示的曲线图描绘了引起经改进的车道标志位置重建测量(I)的摄像机俯仰角度的选择。如在本实验中所分析的，用于可变俯仰的摄像机110、111、112或113和水平对准的摄像机的质量测量之间的差在非常近的距离处可高达300％。曲线1340示出了水平对准的摄像机的车道标志位置重建准确度测量与可变俯仰的摄像机110、111、112或113的车道标志位置重建准确度测量的比率。
因此，本实验表明，使至少一个摄像机俯仰以在短距离处观察车道标志是有益的，因为当根据本发明实施轨迹控制时，这些在车道测量中具有最大的相对权重。
根据本发明，实施方式95的任何特征可以容易地与其他实施方式10、20、30、40、50、60、70、80、91、92、93、94和/或96中的任何实施方式组合或置换。
图14示出了对具有非零俯仰的针孔摄像机模型的重建误差计算的图形表示1400的实施方式96，涉及表明本发明的功能的实验。参考图像像素坐标(x，y)1410和3D点坐标(X，Y，φ)1420执行重建误差计算。
Y坐标与针孔摄像机距表面的高度之间的关系如下面给出：
Figure GDA0001812200540000231
等式12公开了Y坐标测量取决于y图像坐标和俯仰角度。
Y坐标测量的精确度由以下等式给出：
Figure GDA0001812200540000232
X坐标与针孔摄像机距表面的高度之间的关系如下面给出：
Figure GDA0001812200540000241
等式14公开了Y坐标测量取决于x和y图像坐标以及俯仰角度。
X坐标测量的精确度由下式给出：
Figure GDA0001812200540000242
根据本发明，实施方式96的任何特征可以容易地与其他实施方式10、20、30、40、50、60、70、80、91、92、93、94和/或95中的任何实施方式组合或置换。
根据本发明，在所有实施方式中，图像处理算法可以是下述中任何一种：简单的图像后处理算法、经典计算机视觉、机器学习和/或人工智能算法、和/或它们可以彼此一起混合使用或者与其他图像处理算法一起混合使用。
在许多实施方式中，针孔摄像机类型的摄像机可用作发明的检测摄像机，该摄像机在本发明的自主车辆中被俯仰。
在前述说明的实验和实施方式产生了本发明的下述观察和优点。在研究了非零摄像机俯仰配置的优缺点之后，通常可以对所有情况说出以下陈述：
-根据本发明，对于位于车辆前方的平面表面中的任何点p，非零摄像机俯仰可以被选择成使得所得的重建准确度好于水平放置的摄像机的重建准确度，
-根据本发明，重建准确度函数随着距汽车的距离的演化是严格单调的，这导致非零摄像机俯仰配置总是可以产生更准确的用于车道检测的输入，与重要性函数(I(ΔX()；_ΔY())无关，即不管轨迹控制模型和考虑因素如何。
-对于典型的摄像机配置(焦距、传感器大小和摄像机高度)，可以在短距离(通常为几米)实现重建准确度的显著改进。根据本发明，当使用摄像机来创建高度详细的地图时，这是重要的结果。
-根据本发明，用于特定车道检测算法和车道保持解决方案的摄像机的最佳取向(俯仰)通常取决于车辆的速度，并且可以被动态调整以便达到最佳性能。
已经在前述内容中阐述了本发明，并且已经证明了相当大的优点。与由水平对准的摄像机产生的图像相比，配备有可变俯仰的摄像机110、111、112和/或113的自主车辆100提供了基本可靠的重建准确度。由于重建准确度与对象距自主车辆100的距离的关系是可变的，所以非零摄像机俯仰配置产生准确的车道检测结果，很多时候不受由自主车辆100实现的任何轨迹控制模型影响。还重要的是，可变俯仰的摄像机110、111、112或113的最佳俯仰可以基于自主车辆100的速度和其他变量动态地改变。通过调整摄像机配置诸如焦距、传感器大小、摄像机高度等，也可以实现针对短距离范围的重建准确度的显著改进。这有助于创建用于促进有效车辆驾驶的高度详细的地图。本发明产生了更精确和可靠的基于摄像机的检测方法，其大大增加了与具有自主或驾驶员辅助解决方案的车辆相关联的道路安全。本发明改进了高精确度车道保持，提供了轨迹控制机制并提高了行人安全。
以上已经参考前述实施方式说明了本发明。然而，显然本发明不只是限于这些实施方式，而是包括在本发明思想和以下专利权利要求的精神和范围内的所有可能的实施方式。
参考文献
于2015年9月1日公开的Jiajun Zhu的US9,121,717 B1“COLLISIONAVOIDANCE FORVEHICLE CONTROL”。
于1991年8月13日公开的Evans等人的US5040116“VISUAL NAVIGATION ANDOBSTACLE AVOIDANCE STRUCTURED LIGHT SYSTEM”。

Claims (12)

1.一种自主车辆(100)，所述自主车辆包括至少一个摄像机(110、111或112)，所述至少一个摄像机被配置为产生用来控制所述自主车辆(100)的用于计算机视觉的图像(141、142、143或144)，其中，
-所述至少一个摄像机(110、111、112或113)具有相对于行进方向可控制、可变且可移动的俯仰，并且
-来自可变俯仰的摄像机(110、111、112或113)的至少一个图像(141、142、143或144)被配置为用于控制所述自主车辆(100)的移动，
其特征在于：
-所述可变俯仰的摄像机(110、111、112或113)的俯仰被配置为随着所述自主车辆移动而被改变，以使摄像机图像清晰度和/或分辨率最大化，其中所述可变俯仰的摄像机(110、111、112或113)总是具有非零俯仰并且被调低俯仰以提供用于车道检测的准确输入，并且其中所述可变俯仰的摄像机(110、111、112或113)的俯仰基于所述自主车辆(100)的速度被控制,
其特征在于，使摄像机图像清晰度和/或分辨率最大化包括：
-基于所述自主车辆(100)与所述自主车辆(100)的导航路径中的物体的距离，选择所述可变俯仰的摄像机(110、111、112或113)的非零俯仰角度；
-如果所述自主车辆(100)改变行进方向，则动态地调整所述可变俯仰的摄像机(110、111、112或113)的俯仰以指向所述行进方向；以及
-当所述可变俯仰的摄像机(110、111、112或113)产生过于粗糙的图像时，调整所述可变俯仰的摄像机(110、111、112或113)的俯仰以增加图像馈送的分辨率。
2.根据权利要求1所述的自主车辆(100)，其特征在于，所述至少一个摄像机(110、111、112或113)被配置为用于下述中的任何项：行人检测、环境的总体3D重建和/或坑洞检测。
3.根据权利要求1所述的自主车辆(100)，其特征在于，所述可变俯仰的摄像机(110、111、112或113)的俯仰还基于下述中的任何项被控制：摄像机位置和/或摄像机取向、和/或所述摄像机(100)的图像处理算法的输出。
4.根据权利要求1所述的自主车辆(100)，其特征在于，所述可变俯仰的摄像机(110、111、112或113)的俯仰还基于下述中的任何项被控制：天气和/或交通状况。
5.根据权利要求1所述的自主车辆(100)，其特征在于，多个摄像机(110、111、112或113)位于所述自主车辆(100)的不同部位并且被配置为执行不同任务。
6.根据权利要求5所述的自主车辆(100)，其特征在于，各个所述任务被配置为在不同的摄像机位置处和/或以不同的摄像机取向完成。
7.根据权利要求1所述的自主车辆(100)，其特征在于，至少一个摄像机输出被配置为由人工智能和检测模块(410)处理。
8.根据权利要求7所述的自主车辆(100)，其特征在于，所述人工智能和检测模块(410)被配置为向转向单元(430)发送转向控制命令。
9.根据权利要求8所述的自主车辆(100)，其特征在于，所述转向单元(430)被配置为使用车辆速度和/或陀螺仪数据来控制和更改所述至少一个摄像机(110、111、112或113)的俯仰角度、偏航角度和/或滚转角度。
10.根据权利要求9所述的自主车辆(100)，其特征在于，所述转向单元(430)被配置为使用下述中的任何项来在闭环中反复地控制和更改所述至少一个摄像机(110、111、112或113)的俯仰角度、偏航角度和/或滚转角度：车辆速度、成像算法的输出、映射信息、GPS和/或陀螺仪数据；并且经改进的检测性能被配置用于馈入所述自主车辆(100)的控制逻辑。
11.一种用于控制自主车辆(100)的方法，所述自主车辆包括至少一个摄像机(110、111、112或113)，所述至少一个摄像机被配置为产生用来控制所述自主车辆(100)的用于计算机视觉的图像(141、142、143或144)，所述方法包括下述步骤，
-提供至少一个所述摄像机(110、111、112或113)，至少一个所述摄像机具有相对于行进方向可控制、可变且可移动的俯仰，以及
-使用来自可变俯仰的摄像机(110、111、112或113)的至少一个图像(141、142、143或144)来控制所述自主车辆(100)的移动，其特征在于：
-随着所述自主车辆(100)移动来改变所述可变俯仰的摄像机(110、111、112或113)的俯仰，以使摄像机图像清晰度和/或分辨率最大化，其中所述可变俯仰的摄像机(110、111、112或113)总是具有非零俯仰并且被调低俯仰以提供用于车道检测的准确输入，并且基于所述自主车辆(100)的速度控制所述可变俯仰的摄像机(110、111、112或113)的俯仰，
其特征在于，使摄像机图像清晰度和/或分辨率最大化包括：
-基于所述自主车辆(100)与所述自主车辆(100)的导航路径中的物体的距离，选择所述可变俯仰的摄像机(110、111、112或113)的非零俯仰角度；
-如果所述自主车辆(100)改变行进方向，则动态地调整所述可变俯仰的摄像机(110、111、112或113)的俯仰以指向所述行进方向；以及
-当所述可变俯仰的摄像机(110、111、112或113)产生过于粗糙的图像时，调整所述可变俯仰的摄像机(110、111、112或113)的俯仰以增加图像馈送的分辨率。
12.一种非暂时性存储介质，所述非暂时性存储介质用于存储用于控制自主车辆(100)的软件程序产品，所述软件程序产品包括至少一个摄像机软件，所述至少一个摄像机软件被配置为产生用来控制所述自主车辆(100)的用于计算机视觉软件的图像(141、142、143或144)，其中，
-所述至少一个摄像机(110、111、112或113)具有被配置为受控制的相对于行进方向可变且可移动的俯仰，并且
-来自可变俯仰的摄像机(110、111、112或113)的至少一个图像(141、142、143或144)被配置为用于控制所述自主车辆(100)的移动，
其特征在于：
-所述可变俯仰的摄像机(110、111、112或113)的俯仰被配置为随着所述自主车辆(100)移动而被改变，以使摄像机图像清晰度和/或分辨率最大化，其中所述可变俯仰的摄像机(110、111、112或113)总是具有非零俯仰并且被调低俯仰以提供用于车道检测的准确输入，并且其中所述可变俯仰的摄像机(110、111、112或113)的俯仰基于所述自主车辆(100)的速度被控制，
其特征在于，使摄像机图像清晰度和/或分辨率最大化包括：
-基于所述自主车辆(100)与所述自主车辆(100)的导航路径中的物体的距离，选择所述可变俯仰的摄像机(110、111、112或113)的非零俯仰角度；
-如果所述自主车辆(100)改变行进方向，则动态地调整所述可变俯仰的摄像机(110、111、112或113)的俯仰以指向所述行进方向；以及
-当所述可变俯仰的摄像机(110、111、112或113)产生过于粗糙的图像时，调整所述可变俯仰的摄像机(110、111、112或113)的俯仰以增加图像馈送的分辨率。
CN201680084081.5A 2016-03-29 2016-11-14 具有改进的视觉检测能力的自主车辆 Active CN109074069B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/084,084 2016-03-29
US15/084,084 US9535423B1 (en) 2016-03-29 2016-03-29 Autonomous vehicle with improved visual detection ability
PCT/EP2016/077518 WO2017167411A1 (en) 2016-03-29 2016-11-14 An autonomous vehicle with improved visual detection ability

Publications (2)

Publication Number Publication Date
CN109074069A CN109074069A (zh) 2018-12-21
CN109074069B true CN109074069B (zh) 2022-06-17

Family

ID=57396404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680084081.5A Active CN109074069B (zh) 2016-03-29 2016-11-14 具有改进的视觉检测能力的自主车辆

Country Status (5)

Country Link
US (2) US9535423B1 (zh)
EP (1) EP3436879B1 (zh)
JP (2) JP7150274B2 (zh)
CN (1) CN109074069B (zh)
WO (1) WO2017167411A1 (zh)

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2888173A1 (en) * 2014-04-17 2015-10-17 Navagation Solutions, Llc Rotatable camera
KR101592740B1 (ko) * 2014-07-24 2016-02-15 현대자동차주식회사 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US10196058B2 (en) * 2016-11-28 2019-02-05 drive.ai Inc. Method for influencing entities at a roadway intersection
US10261513B2 (en) 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle
US10261515B2 (en) * 2017-01-24 2019-04-16 Wipro Limited System and method for controlling navigation of a vehicle
US20180259958A1 (en) * 2017-03-09 2018-09-13 Uber Technologies, Inc. Personalized content creation for autonomous vehicle rides
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US11587304B2 (en) 2017-03-10 2023-02-21 Tusimple, Inc. System and method for occluding contour detection
US10192111B2 (en) 2017-03-10 2019-01-29 At&T Intellectual Property I, L.P. Structure from motion for drone videos
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10671873B2 (en) 2017-03-10 2020-06-02 Tusimple, Inc. System and method for vehicle wheel detection
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
JP6921587B2 (ja) * 2017-03-31 2021-08-18 キヤノン株式会社 撮像装置、撮像システム、移動体
US9952594B1 (en) 2017-04-07 2018-04-24 TuSimple System and method for traffic data collection using unmanned aerial vehicles (UAVs)
US10471963B2 (en) 2017-04-07 2019-11-12 TuSimple System and method for transitioning between an autonomous and manual driving mode based on detection of a drivers capacity to control a vehicle
US10710592B2 (en) 2017-04-07 2020-07-14 Tusimple, Inc. System and method for path planning of autonomous vehicles based on gradient
US10552691B2 (en) 2017-04-25 2020-02-04 TuSimple System and method for vehicle position and velocity estimation based on camera and lidar data
US10481044B2 (en) 2017-05-18 2019-11-19 TuSimple Perception simulation for improved autonomous vehicle control
US10558864B2 (en) 2017-05-18 2020-02-11 TuSimple System and method for image localization based on semantic segmentation
US20180341821A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating and using a perception scene graph in motor vehicle applications
US10474790B2 (en) 2017-06-02 2019-11-12 TuSimple Large scale distributed simulation for realistic multiple-agent interactive environments
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10836312B2 (en) 2017-06-19 2020-11-17 Rom Acquisition Corporation Dynamic 360 degree view accident avoidance system
US10493988B2 (en) 2017-07-01 2019-12-03 TuSimple System and method for adaptive cruise control for defensive driving
US10737695B2 (en) 2017-07-01 2020-08-11 Tusimple, Inc. System and method for adaptive cruise control for low speed following
US10752246B2 (en) 2017-07-01 2020-08-25 Tusimple, Inc. System and method for adaptive cruise control with proximate vehicle detection
US10308242B2 (en) 2017-07-01 2019-06-04 TuSimple System and method for using human driving patterns to detect and correct abnormal driving behaviors of autonomous vehicles
US10303522B2 (en) 2017-07-01 2019-05-28 TuSimple System and method for distributed graphics processing unit (GPU) computation
US10759534B2 (en) 2017-07-03 2020-09-01 George A. Miller Method and system from controlling an unmanned aerial vehicle
JP2019016188A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 移動体遠隔操作システムおよび移動体遠隔操作方法
DE102017212373A1 (de) 2017-07-19 2019-01-24 Volkswagen Aktiengesellschaft Verfahren zur Bestimmung einer Trajektorie für eine autonom fahrendes Kraftfahrzeug, Steuereinrichtung und Kraftfahrzeug
CN107421615A (zh) 2017-07-21 2017-12-01 北京图森未来科技有限公司 实现车辆自动称重的方法及系统、相关设备
CN107352497B (zh) 2017-07-21 2018-10-12 北京图森未来科技有限公司 一种车辆的自动加油方法、装置和系统
CN107416754B (zh) 2017-07-21 2018-11-02 北京图森未来科技有限公司 一种长途运输车辆的自动加油方法、装置和系统
CN107393074B (zh) 2017-07-21 2019-01-18 北京图森未来科技有限公司 实现车辆自动过卡的方法和系统、相关设备
CN107381488B (zh) 2017-07-21 2018-12-18 北京图森未来科技有限公司 一种车辆的自动加油方法、装置和系统
CN107369218B (zh) 2017-07-21 2019-02-22 北京图森未来科技有限公司 实现车辆自动缴费的方法及系统、相关设备
CN107272657B (zh) 2017-07-21 2020-03-10 北京图森未来科技有限公司 实现车辆自动检修的方法及系统、相关设备
CN116540739A (zh) 2017-07-21 2023-08-04 北京图森智途科技有限公司 实现车辆自动装卸货的方法及系统、相关设备
US11029693B2 (en) 2017-08-08 2021-06-08 Tusimple, Inc. Neural network based vehicle dynamics model
US10360257B2 (en) 2017-08-08 2019-07-23 TuSimple System and method for image annotation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10303956B2 (en) 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10678234B2 (en) 2017-08-24 2020-06-09 Tusimple, Inc. System and method for autonomous vehicle control to minimize energy cost
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
US10782694B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10656644B2 (en) 2017-09-07 2020-05-19 Tusimple, Inc. System and method for using human driving patterns to manage speed control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10782693B2 (en) 2017-09-07 2020-09-22 Tusimple, Inc. Prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10387736B2 (en) 2017-09-20 2019-08-20 TuSimple System and method for detecting taillight signals of a vehicle
US10733465B2 (en) 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10843669B2 (en) * 2017-09-28 2020-11-24 Uatc, Llc Sensor control system for autonomous vehicle
US10970564B2 (en) 2017-09-30 2021-04-06 Tusimple, Inc. System and method for instance-level lane detection for autonomous vehicle control
US10768626B2 (en) 2017-09-30 2020-09-08 Tusimple, Inc. System and method for providing multiple agents for decision making, trajectory planning, and control for autonomous vehicles
US10962979B2 (en) 2017-09-30 2021-03-30 Tusimple, Inc. System and method for multitask processing for autonomous vehicle computation and control
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
EP3696789B1 (en) * 2017-10-10 2022-08-03 Nissan Motor Co., Ltd. Driving control method and driving control apparatus
WO2019073525A1 (ja) * 2017-10-10 2019-04-18 日産自動車株式会社 運転制御方法及び運転制御装置
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10332394B2 (en) * 2017-11-07 2019-06-25 Intel Corporation Unmanned aerial vehicles and related methods and systems
US10528851B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for drivable road surface representation generation using multimodal sensor data
US10528823B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
US10657390B2 (en) 2017-11-27 2020-05-19 Tusimple, Inc. System and method for large-scale lane marking detection using multimodal sensor data
US10860018B2 (en) 2017-11-30 2020-12-08 Tusimple, Inc. System and method for generating simulated vehicles with configured behaviors for analyzing autonomous vehicle motion planners
US20190164007A1 (en) * 2017-11-30 2019-05-30 TuSimple Human driving behavior modeling system using machine learning
US10877476B2 (en) 2017-11-30 2020-12-29 Tusimple, Inc. Autonomous vehicle simulation system for analyzing motion planners
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20190208136A1 (en) 2017-12-29 2019-07-04 Waymo Llc High-speed image readout and processing
AU2019206509A1 (en) 2018-01-09 2020-07-23 Tusimple, Inc. Real-time remote control of vehicles with high redundancy
WO2019140277A2 (en) 2018-01-11 2019-07-18 TuSimple Monitoring system for autonomous vehicle operation
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
US10685239B2 (en) 2018-03-18 2020-06-16 Tusimple, Inc. System and method for lateral vehicle detection
CN108492625A (zh) * 2018-03-25 2018-09-04 张小莲 一种基于NB-IoT的行人防撞智能交通管理控制系统
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN116129376A (zh) 2018-05-02 2023-05-16 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US11027747B2 (en) 2018-05-15 2021-06-08 International Business Machines Corporation Vehicle content based symbiosis for vehicle occupants
US11104334B2 (en) 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US10778901B2 (en) 2018-06-27 2020-09-15 Aptiv Technologies Limited Camera adjustment system
US20200001779A1 (en) 2018-06-27 2020-01-02 drive.ai Inc. Method for communicating intent of an autonomous vehicle
US10875535B2 (en) * 2018-07-27 2020-12-29 Toyota Research Institute, Inc. Tactile detection to determine lane localization
DE102018212555A1 (de) * 2018-07-27 2020-01-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zur Fahrspurerkennung
US10839234B2 (en) 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
US20210233115A1 (en) * 2018-10-17 2021-07-29 Firefly Systems Inc. Vehicle-mounted dynamic content delivery systems
US10796402B2 (en) 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
WO2020089668A1 (en) * 2018-10-30 2020-05-07 Toyota Jidosha Kabushiki Kaisha Autonomous multi-purpose utility vehicle
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
CN112867631B (zh) * 2018-11-13 2024-04-12 瑞维安知识产权控股有限责任公司 用于控制车辆摄像头的系统和方法
US10885785B2 (en) 2018-12-04 2021-01-05 At&T Intellectual Property I, L.P. Network-controllable physical resources for vehicular transport system safety
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
JP7202208B2 (ja) * 2019-02-13 2023-01-11 株式会社Subaru 自動運転システム
CN111750871A (zh) * 2019-03-29 2020-10-09 北京地平线机器人技术研发有限公司 行驶出错的提醒方法、装置及电子设备
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
CN110166767B (zh) * 2019-06-26 2021-02-05 湖北亿咖通科技有限公司 一种结合车机闲散资源的图像质量调节方法及装置
CN110276322B (zh) * 2019-06-26 2022-01-07 湖北亿咖通科技有限公司 一种结合车机闲散资源的图像处理方法及装置
US11614739B2 (en) 2019-09-24 2023-03-28 Apple Inc. Systems and methods for hedging for different gaps in an interaction zone
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
EP3819665B1 (en) 2019-11-06 2022-01-19 Yandex Self Driving Group LLC Method and computer device for calibrating lidar system
DE102019217897A1 (de) * 2019-11-20 2021-05-20 Robert Bosch Gmbh Verfahren zum Betreiben einer Umfeldsensoreinrichtung eines Fahrzeugs
US11238292B2 (en) * 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image
CN111147761A (zh) * 2019-12-28 2020-05-12 中国第一汽车股份有限公司 一种车用摄像设备清洗方法、系统、车辆及存储介质
US12014630B2 (en) 2020-03-03 2024-06-18 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for assisting a maneuver of a moving object
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
JP2022047408A (ja) * 2020-09-11 2022-03-24 トヨタ自動車株式会社 情報処理装置、情報処理システム、プログラム、及び車両
US11987261B2 (en) 2020-09-15 2024-05-21 Tusimple, Inc. Detecting a road structure change by a lead autonomous vehicle (AV) and updating routing plans for the lead AV and following AVs
US11458993B2 (en) 2020-09-15 2022-10-04 Tusimple, Inc. Detecting a road closure by a lead autonomous vehicle (AV) and updating routing plans for following AVs
US20220081003A1 (en) * 2020-09-15 2022-03-17 Tusimple, Inc. DETECTING A CONSTRUCTION ZONE BY A LEAD AUTONOMOUS VEHICLE (AV) AND UPDATING ROUTING PLANS FOR FOLLOWING AVs
US11840175B2 (en) * 2020-09-23 2023-12-12 Robert D. Fish Traffic signal alarm device having no navigational control
US11597404B2 (en) * 2020-09-23 2023-03-07 Robert D. Fish Traffic signal alarm device
US20220129685A1 (en) * 2020-10-23 2022-04-28 Deka Products Limited Partnership System and Method for Determining Object Characteristics in Real-time
US11548535B2 (en) * 2020-10-24 2023-01-10 Ghost Autonomy Inc. Automatic disengagement of an autonomous driving mode
JP7283461B2 (ja) * 2020-11-19 2023-05-30 トヨタ自動車株式会社 車両制御装置
JP7501470B2 (ja) * 2021-08-19 2024-06-18 トヨタ自動車株式会社 走行映像表示方法、走行映像表示システム
KR102562617B1 (ko) * 2021-09-15 2023-08-03 김배훈 어레이 카메라 시스템
US20230256988A1 (en) * 2022-02-17 2023-08-17 Gm Cruise Holdings Llc Dynamic lidar adjustments based on av road conditions
CN115220449B (zh) * 2022-07-14 2023-11-21 小米汽车科技有限公司 路径规划的方法、装置、存储介质、芯片及车辆
US11983932B1 (en) * 2023-07-28 2024-05-14 New Automobile Co., Ltd Vision acquisition system equipped in intelligent terminal of smart logistics vehicle

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559695A (en) * 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JP2007288444A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
CN103765476A (zh) * 2011-05-31 2014-04-30 罗伯特·博世有限公司 用于确定在车辆中安装的摄像机的俯仰运动的方法以及用于控制车辆的至少一个前照灯的光发射的方法
CN104049634A (zh) * 2014-07-02 2014-09-17 燕山大学 基于Camshift算法的智能体模糊动态避障方法
CN104460673A (zh) * 2014-11-21 2015-03-25 广西智通节能环保科技有限公司 一种无人驾驶系统
JP2015118438A (ja) * 2013-12-17 2015-06-25 みこらった株式会社 自動運転車
CN104919791A (zh) * 2013-01-09 2015-09-16 索尼公司 图像处理设备、图像处理方法以及程序
CN105404294A (zh) * 2014-09-10 2016-03-16 大众汽车有限公司 通过辨识车辆特征来改变自主车辆行驶

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040116A (en) 1988-09-06 1991-08-13 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
JPH03225513A (ja) * 1990-01-31 1991-10-04 Nec Corp 自律走行車両方向制御装置
JP3082507B2 (ja) * 1993-04-07 2000-08-28 日産自動車株式会社 移動体の画像処理装置
DE102007004348A1 (de) * 2007-01-29 2008-07-31 Robert Bosch Gmbh Imager-Halbleiterbauelement, Kamerasystem und Verfahren zum Erstellen eines Bildes
JP4434224B2 (ja) * 2007-03-27 2010-03-17 株式会社デンソー 走行支援用車載装置
US8761434B2 (en) * 2008-12-17 2014-06-24 Sony Computer Entertainment Inc. Tracking system calibration by reconciling inertial data with computed acceleration of a tracked object in the three-dimensional coordinate system
CN101976429B (zh) * 2010-10-27 2012-11-14 南京大学 基于游弋图像的水面鸟瞰图成像方法
EP2448251B1 (en) * 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US9499200B2 (en) * 2011-04-19 2016-11-22 Ford Global Technologies, Llc Trailer backup assist system with object detection
US8630806B1 (en) 2011-10-20 2014-01-14 Google Inc. Image processing for vehicle control
US9538144B2 (en) * 2012-05-02 2017-01-03 GM Global Technology Operations LLC Full speed lane sensing using multiple cameras
CN103196418A (zh) * 2013-03-06 2013-07-10 山东理工大学 一种弯道车距测量方法
EP2975483B1 (en) * 2013-03-15 2020-02-26 NEC Corporation Target pointing apparatus, target pointing control method, target pointing control program
GB2512628A (en) * 2013-04-04 2014-10-08 Sony Corp Method and apparatus
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
KR20150100452A (ko) * 2014-02-25 2015-09-02 최해용 고광도 헤드-업 디스플레이 장치
CN104061899B (zh) * 2014-06-20 2016-03-30 东南大学 一种基于卡尔曼滤波的车辆侧倾角与俯仰角估计方法
CN104865965B (zh) * 2015-05-20 2017-12-26 深圳市锐曼智能装备有限公司 机器人用深度摄像头与超声波结合的避障控制方法及系统
US9535423B1 (en) * 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559695A (en) * 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JP2007288444A (ja) * 2006-04-14 2007-11-01 Toyota Motor Corp 車載カメラ制御装置および車載カメラ制御方法。
CN103765476A (zh) * 2011-05-31 2014-04-30 罗伯特·博世有限公司 用于确定在车辆中安装的摄像机的俯仰运动的方法以及用于控制车辆的至少一个前照灯的光发射的方法
CN104919791A (zh) * 2013-01-09 2015-09-16 索尼公司 图像处理设备、图像处理方法以及程序
JP2015118438A (ja) * 2013-12-17 2015-06-25 みこらった株式会社 自動運転車
CN104049634A (zh) * 2014-07-02 2014-09-17 燕山大学 基于Camshift算法的智能体模糊动态避障方法
CN105404294A (zh) * 2014-09-10 2016-03-16 大众汽车有限公司 通过辨识车辆特征来改变自主车辆行驶
CN104460673A (zh) * 2014-11-21 2015-03-25 广西智通节能环保科技有限公司 一种无人驾驶系统

Also Published As

Publication number Publication date
EP3436879A1 (en) 2019-02-06
CN109074069A (zh) 2018-12-21
US20170285649A1 (en) 2017-10-05
US10073462B2 (en) 2018-09-11
US9535423B1 (en) 2017-01-03
JP7150274B2 (ja) 2022-10-11
JP2019512913A (ja) 2019-05-16
WO2017167411A1 (en) 2017-10-05
JP2022058391A (ja) 2022-04-12
EP3436879B1 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
CN109074069B (zh) 具有改进的视觉检测能力的自主车辆
CN108692699B (zh) 用于防撞辅助的车辆和方法
US11029699B2 (en) Navigating a vehicle based on a detected barrier
US11726493B2 (en) Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
EP3854646B1 (en) Systems and methods for navigating with safe distances
EP3611472B1 (en) Controlling host vehicle based on detected parked vehicle characteristics
US9507345B2 (en) Vehicle control system and method
CN107798305B (zh) 检测车道标记
US9646497B1 (en) System and method for determining position and distance of objects using road fiducials
US9026303B1 (en) Object detection based on known structures of an environment of an autonomous vehicle
CN107792163B (zh) 用于确定并显示自动驾驶车道的方法和系统
KR101916506B1 (ko) 차량 움직임에 근거하여 주행 환경에서의 변화 검출
US9043072B1 (en) Methods and systems for correcting an estimated heading using a map
US9417631B2 (en) Use of prior maps for estimation of lane boundaries
JP2018014124A (ja) 交通信号とそれらに関連した状態を検出するためのロバスト法
US9558413B2 (en) Bus detection for an autonomous vehicle
CN112824997A (zh) 用于局部行进车道感知的方法和系统
US20230152807A1 (en) Vehicle control system and vehicle driving method using the vehicle control system
CN117930220A (zh) 障碍物速度检测方法、装置、计算机设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1262754

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant