CN115698754A - 使用扫描系统的车辆控制系统 - Google Patents

使用扫描系统的车辆控制系统 Download PDF

Info

Publication number
CN115698754A
CN115698754A CN202180042527.9A CN202180042527A CN115698754A CN 115698754 A CN115698754 A CN 115698754A CN 202180042527 A CN202180042527 A CN 202180042527A CN 115698754 A CN115698754 A CN 115698754A
Authority
CN
China
Prior art keywords
interest
region
scanning
vehicle
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180042527.9A
Other languages
English (en)
Inventor
安德鲁·莱温
奈杰尔·克拉克
马里扬·扎雷夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jaguar Land Rover Ltd
Original Assignee
Jaguar Land Rover Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jaguar Land Rover Ltd filed Critical Jaguar Land Rover Ltd
Publication of CN115698754A publication Critical patent/CN115698754A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

本发明的各个方面涉及用于车辆的控制系统、系统、车辆、方法、计算机软件和非暂态计算机可读介质。控制系统包括一个或更多个控制器,并且被配置成:确定车辆的扫描系统的视场内的感兴趣区域;以及对扫描系统进行操作来以标称扫描分辨率或低于标称扫描分辨率的扫描分辨率扫描视场的在感兴趣区域之外的部分,并且以相对于标称扫描分辨率增加的扫描分辨率扫描感兴趣区域。

Description

使用扫描系统的车辆控制系统
技术领域
本公开内容涉及使用扫描系统的车辆控制系统。本发明的各个方面涉及用于车辆的控制系统、用于控制车辆的方法、以及车辆。
背景技术
现代汽车和其他车辆越来越多地配备有用于探测车辆周围环境的各种感测系统,以及用于使用由这样的感测系统获得的信息来改进对诸如转向、加速或制动的车辆功能的自动或半自动控制的控制系统。例如,英国专利第2545652号公开了使用摄像装置或激光雷达系统来扫描车辆前方的道路,以及将获得的输入用于根据在前方道路上检测到的表面特征或地形类型来改变悬架阻尼。
理想地,这样的感测和控制系统将能够以高分辨率即时地扫描车辆的全部即时和更远的周围环境,快速地处理所有获得的信息并且以优化的方式根据获得的信息来适应性调整车辆控制。
实际上,所有感测系统都具有固有限制:有限视场,这使得要花费一定时间进行扫描;功率要求;检测特定类型的对象的降低的能力;以及在确定检测到的对象的位置和尺寸方面的变化的准确度。例如,车载雷达系统通常提供大约1°的角度准确度,其在200m的范围下等同于整个交通车道。因此,这样的雷达系统在表征远方车辆或其他对象的情况下可能是受限使用的,而这在车辆高速行驶时可能是重要的。
与感测系统相关联的其他问题包括它们的成本、与将系统集成至整个车辆设计中相关联的困难、以及在特定天气和其他环境条件下的差的可靠性。
实际上,许多车辆使用不同感测系统的组合来补偿每个单独系统的相应弱点,每个系统针对一个或更多个特定任务而被优化。然而,每个附加的感测系统增加了成本和控制复杂性。
正是在这种背景下设计了本发明。
发明内容
本发明的各个方面和实施方式提供了如所附权利要求中所要求保护的用于车辆的控制系统、车辆和用于控制车辆的方法。
根据本发明的一方面,提供了一种用于车辆的控制系统,该控制系统包括一个或更多个控制器。该控制系统被配置成确定车辆的扫描系统的视场内的感兴趣区域。该控制系统还被配置成对该扫描系统进行操作来以标称扫描分辨率或低于标称扫描分辨率的扫描分辨率扫描视场的在感兴趣区域之外的部分,并且以相对于标称扫描分辨率增加的扫描分辨率扫描感兴趣区域。
例如,对扫描系统进行操作可以包括生成由控制系统发送至扫描系统的控制信号。可替选地,控制系统可以集成至扫描系统中。
可选地,所述一个或更多个控制器共同地包括:至少一个电子处理器,所述至少一个电子处理器具有用于接收包括由所述扫描系统获得的数据的信号的电输入;以及至少一个存储器装置,所述至少一个存储器装置电耦接至所述至少一个电子处理器并且在其中存储有指令。所述至少一个电子处理器被配置成访问所述至少一个存储器装置并且执行在其上的指令,以对该扫描系统进行操作来以标称扫描分辨率或低于标称扫描分辨率的扫描分辨率扫描视场的在感兴趣区域之外的部分,并且以相对于标称扫描分辨率增加的扫描分辨率扫描感兴趣区域。
利用根据本发明的控制系统,可以基于更准确的传感器信息来控制车辆,并且改善车辆性能以及/或者驾驶员和其他乘客的舒适度,而无需减小实际视场。通过将扫描系统的能力集中在感兴趣区域上,并且较少地关注视场的其余部分,更多的时间和功率可以用于扫描视场的重要部分。这使得能够实现来自车辆控制系统的更快速的反应以及在对可能需要来自车辆控制系统的控制动作的对象或道路特征进行检测方面的增加的准确性。另外通过继续监测视场的其余部分,系统可以保持对感兴趣区域之外发生的对象和事件的响应。当需要时,控制系统可以改变感兴趣区域,或者暂时地对整个视场使用单个扫描分辨率。
扫描系统可以例如包括激光雷达系统、雷达系统、摄像装置系统或诸如超声扫描装置的声学传感器。
控制系统可以被配置成接收包括由扫描系统获得的与感兴趣区域相关的数据的信号;分析与感兴趣区域相关的数据以对感兴趣区域内的特征进行识别;以及生成控制信号以根据所识别的感兴趣区域内的特征来调整车辆的操作。
控制信号可以例如被配置成调整以下中的任意一个或更多个的操作:车辆的悬架系统;车辆的动力传动系统;车辆的制动系统;车辆的转向系统;车辆的驾驶员辅助系统;车辆的碰撞缓解系统;以及车辆的人机界面。
对扫描系统进行操作来以增加的扫描分辨率进行扫描可以包括以下中的任意一个或更多个:降低扫描系统的扫描速度;增加扫描系统的扫描功率;减小扫描系统捕获数据点的角度间隔;增加扫描系统的焦距;以及增加扫描系统扫描感兴趣区域的扫描频率。用于增加扫描分辨率的这些和其他措施使感兴趣区域比视场的其他区域更详细地被扫描,以及/或者在更感兴趣区域上花费总扫描时间的更大部分(即,比增加扫描分辨率之前更大)。因此,感兴趣区域中的相关对象、道路特征和事件被更可靠地和/或更早地检测,并且使得控制系统能够在减少的响应时间内提供更适当的响应。
在实施方式中,控制系统被配置成接收环境信号,该环境信号包括与车辆的行驶方向上的环境相关的数据;分析与车辆的驱动方向上的环境相关的数据以识别潜在危险;以及确定感兴趣区域,使得感兴趣区域包含潜在危险。环境信号可以例如包括源自以下任意一个或更多个的数据:扫描系统;激光雷达系统;摄像装置系统;热成像系统;导航系统;声学传感器系统;以及雷达系统。以这种方式,车辆的不同系统可以在确定扫描工作应当集中的感兴趣区域时进行协作,从而增加系统响应于变化环境的通用性。
例如,当扫描系统或摄像装置系统指示在车辆前方的道路的左侧处的道路质量为较低质量时,可以确定感兴趣区域覆盖道路的左侧。通过增加该区域中的扫描分辨率,然后,控制系统被更好地装备成例如准确地检测道路的该部分中的坑洼的位置和尺寸,并且考虑到悬架系统的响应时间而相应地预先地适应性调整悬架系统。在另一示例中,导航系统可以指示车辆将很快向右转,在这种情况下,感兴趣区域被确定成更靠近车辆的右侧。
在本发明的实施方式中,控制系统被配置成将感兴趣区域确定为与车辆的相对于行驶方向的负重轮(road wheel)正前方的位置相对应。当控制系统作用在一个或更多个车轮的悬架系统上时,这是特别有用的。在感兴趣区域位于道路表面上并且刚好在悬架被针对其进行控制的车轮的前方的情况下,控制系统可以快速地响应于对相应车轮前方的石头、坑洼和其他障碍物的检测。当考虑当前行驶方向时,例如基于方向盘传感器、车轮角度传感器或加速计,感兴趣区域可以适于更好地聚焦在车轮实际将要驶过的道路表面的那部分上。车轮将要行驶的位置的预测越准确,可以将感兴趣区域限定得越窄。这带来了附加的优点,即对于视场中最重要的区域,扫描分辨率可以最大地增加,而在该区域之外的扫描分辨率仅有最小的降低。
感兴趣区域可以对应于从车辆的负重轮延伸达五米的区域。
可替选地或另外地,控制系统可以被配置成通过例如从查找表获得预定义的感兴趣区域来确定感兴趣区域。控制系统可以直接使用预定义的感兴趣区域,或者可以例如基于实时数据动态地适应性调整感兴趣区域。
类似地,控制系统可以被配置成将感兴趣区域确定为与车辆的相对于行驶方向的前方至少一百米的位置相对应。这对于当车辆以高速行驶时检测前方车辆可能是有用的。
控制系统可以被配置成接收指示车辆操作参数的信号,并且根据指示车辆操作参数的信号来确定感兴趣区域。例如,车辆操作参数可以是转向角、车辆速度或车辆制动状态。
例如,扫描系统可以包括激光雷达系统。扫描系统可以可替选地包括雷达系统、声学传感器系统、摄像装置系统或热成像系统中的任意系统。
优选地,该控制系统还被配置成:将识别出的该感兴趣区域内的特征表征为以下中的任意一个:车辆行驶表面的不规则性、障碍物、以及其他道路使用者;以及生成控制信号以根据对识别出的感兴趣区域内的特征的表征来调整车辆的操作。
本发明的另一方面提供了一种包括车辆扫描系统和以上方面的控制系统的系统。该控制系统包括至少第一控制器,其中,所述至少第一控制器被设置成输出用于对扫描系统进行操作来以标称扫描分辨率或低于标称扫描分辨率的扫描分辨率扫描视场的在感兴趣区域之外的部分并且以相对于标称扫描分辨率增加的扫描分辨率扫描感兴趣区域的信号。
本发明还扩展至包括以上方面的控制系统或系统的车辆。
本发明的又一方面提供了一种用于对车辆扫描系统进行操作的方法。该方法包括:确定扫描系统的视场内的感兴趣区域;以及对扫描系统进行操作来以标称扫描分辨率或低于标称扫描分辨率的扫描分辨率扫描视场的在感兴趣区域之外的部分,并且以相对于标称扫描分辨率增加的扫描分辨率扫描感兴趣区域。
本发明的其他方面提供了一种计算机软件,该计算机软件在被执行时被设置成执行以上方面的方法;以及一种其上存储有指令的非暂态计算机可读存储介质,该指令在由一个或更多个电子处理器执行时使所述一个或更多个电子处理器实行以上方面的方法。
在本申请的范围内,明确意指的是:在先前的段落中、权利要求书中以及/或者以下描述和附图中阐述的各个方面、实施方式、示例和替选方案以及特别是其各个特征可以被独立地采用或者以任意组合采用。也就是说,所有实施方式和/或任意实施方式的特征可以以任意方式和/或组合来进行组合,除非这些特征不可兼容。申请人保留更改任意最初提交的权利要求或相应地提交任意新权利要求的权利,这些权利包括修改任意最初提交的权利要求以从属于和/或并入任意其他权利要求的任意特征的权利,尽管最初未以这种方式要求保护。
附图说明
现在将参照附图,仅通过示例的方式描述本发明的一个或更多个实施方式,在附图中:
图1示出了可以实现本发明的实施方式的车辆的示意图;
图2示出了用于实现本发明的方法的流程图;
图3示出了根据本发明的车辆控制系统的框图;以及
图4表示图1的车辆的扫描系统的视场。
具体实施方式
一般而言,本发明的实施方式对车辆扫描系统例如激光雷达系统的视场内的感兴趣区域进行识别,以将扫描工作集中在最需要的地方。由于所有的扫描系统都具有固有限制,因此该方法确保了以适当的方式分配可用资源来检索与车辆环境的重要部分相关的更多数据,而不是均匀地扫描整个视场。这比已知布置更好地利用扫描和处理资源。
例如,该方法可以使得扫描系统能够对需要高功率扫描否则可能被遗漏的对象进行识别,注意,扫描系统的实际限制通常使得整个视场上的高功率操作不可行。例如,诸如道路上的轮胎的对象不是反射性的,并且因此只有由激光雷达或雷达在高功率下操作时才能检测到所述对象。
因此,本发明的实施方式优化了车载传感器的使用,潜在地减轻了对其他传感器的需求并且降低了必须包括附加传感器来提供新的或改进的功能的可能性。
在本文中参照附图1描述根据本发明的实施方式的车辆100。注意,尽管图1示出了汽车,但是本发明类似地适用于其他轮式车辆例如厢式货车、卡车、摩托车、或者甚至类似船的非轮式车辆。
车辆100包括控制系统,该控制系统具有用于处理传感器信息并控制车辆100的操作中的至少一部分的控制器10。控制器例如经由通信总线耦接至一个或更多个传感器或扫描系统11至15以及一个或更多个车辆控制系统21、22。
通过示例的方式,车辆100中包括的传感器11至15可以包括以下中的任何部件:
-用于扫描车辆100周围的直接环境的扫描系统(例如激光雷达、雷达、
摄像装置或超声装置)。
-用于捕获车辆100周围的直接环境的图像的数码摄像装置系统。摄像
装置系统可以包括多于一个摄像装置,并且例如可以是能够捕获3D图像的立体摄像装置系统。摄像装置系统可以例如使用可见光和/或红外光来捕获图像。当周期性地且以足够高的速率(例如每秒24帧)捕获图像时,摄像装置可以被认为是视频摄像装置。注意,可以被控制以改变其视场的摄像装置系统也被视为扫描系统。改变视场可以通过物理手段,即,通过移动摄像装置或每个摄像装置(的一部分),或者通过改变摄像装置的焦距来实现。可替选地,可以仅通过处理获得的图像数据的一部分或者通过以增加的分辨率处理获得的图像数据的一部分来数字地调整视场。
-角度传感器,测量例如方向盘、可转向轮或可转向轴的当前取向。这
样的角度传感器提供关于车辆100的移动方向的信息。
-踏板传感器,指示制动踏板或加速踏板的当前位置。
-可以对可能影响车辆系统例如扫描系统、数码摄像装置系统、或通过
控制器10进行操作的车辆控制系统21、22的功能的环境条件进行监测的雨水传感器、光传感器和其他类型的传感器。
所有这样的传感器11至15被放置在合适的位置,以实现最佳效率。例如,用于检测和测量到车辆的周围环境中的(静止的或移动的)对象的距离的扫描系统合宜地放置在前护板或后护板中(传感器13、15)或者在前轮与后轮之间靠近于车辆100的底部(传感器14)。可以将可见和/或红外摄像装置系统(例如传感器11、12)放置得更高以使视场最大化。然而,注意,建议的传感器类型和传感器布置并不旨在以任意方式限制本发明的范围。在其他位置中的其他传感器可以用于本发明的方法和控制系统,或者与本发明的方法和控制系统结合使用。
类似地,也仅作为示例,车辆100中包括的车辆控制系统21、22可以包括转向系统、制动系统或可调节的前悬架系统21或后悬架系统22中的任意一个或更多个。前悬架系统21和后悬架系统22可以单独地、成比例地或根据两者之间的固定关系来被控制。类似地,单独的悬架系统21、22可以是可用的并且被分别控制以用于车辆100的左轮和右轮。
如从以上示例中已经清楚的,感测系统可以被控制以用于调整重要的感测参数,而控制系统可以包括用于监测它们的状态的传感器。
图2示出了根据本发明的实施方式的用于控制车辆系统的方法的流程图,所述车辆系统在该示例中为悬架系统。应当理解,该方法仅出于说明性目的而被描述为应用于悬架系统的控制,并且许多其他车辆系统可以根据类似的方法来进行操作。
该方法由可以位于车辆100中的任意地方的控制器10执行。可替选地,该方法可以(部分地或全部地)由车辆100外部的其他地方的计算机来执行,在这种情况下,控制器10用于在车辆100与远程计算机之间中继传感器数据和控制指令。
在第一区域确定步骤110中,控制器10确定车辆100的扫描系统11至15的视场内的感兴趣区域。感兴趣区域是基于指示视场的哪些部分例如对于作出最优车辆控制决策最重要的算法确定的。
如上所述,在该示例中,扫描系统11至15用于控制车辆悬架,并且因此相应地确定感兴趣区域。特别地,针对该应用,通常将感兴趣区域限定成对应于车辆100的负重轮将要在其上行驶的表面,即,道路表面的一小区域,所述表面略宽于相应车轮的轮胎宽度并且在车轮的当前位置前方数米。注意,针对车辆的两个前负重轮(或者在车辆100倒行的情况下的后负重轮)中的至少每一个重复该过程,使得针对每个负重轮确定相应的感兴趣区域。
这样的感兴趣区域的位置、宽度和长度可以取决于当前车辆速度、行驶方向和地形类型。导航系统数据、加速度计和制动踏板传感器或加速踏板传感器可以用于预测在不久的将来的车辆的速度、方向和下面的道路表面,这也可以用于重新限定感兴趣区域。
此外,在确定感兴趣区域时可以考虑天气和其他外部条件。例如,如果已知雨水或直射阳光降低了关于需要由扫描系统检测的特征的检测准确度,则可以使感兴趣区域缩窄以提供关于视场的最重要部分的更准确数据。在更有利的条件下,当足够的准确度较少被关注或更容易实现时,可以扩大感兴趣区域以增加检测所有相关特征的机会。
来自悬架控制系统的反馈也可以用于重新限定感兴趣区域。
还注意到,感兴趣区域可以是预定义的,并且例如可以由控制器10从查找表或类似物中进行检索。在操作悬架系统的背景中尤其是这种情况,在这种情况下,如已注意到,感兴趣区域将对应于车辆100的相对于行驶方向的负重轮正前方的区域。
在这些方法的混合中,预定义的感兴趣区域可以表示用于控制器10的起始点,然后,控制器10可以基于实时数据调整感兴趣区域。
感兴趣区域还可以取决于视场的需要更密切关注的部分,以准确地确定位于这些部分内的对象的存在和性质。例如,如果以相对低的分辨率在一般扫描期间检测到可能的感兴趣对象,则感兴趣区域适于聚焦在包含该对象的视场的部分上以通过较高分辨率的扫描来确认其性质。为此,不同的扫描系统11至15也可以协作。例如,对由摄像装置系统捕获的视频数据的分析可以提供对视场内的感兴趣特征(对象、车辆、行人、坑洼或隆起、地形类型等)的存在的初始指示,从而突出视场的以下部分:控制器10可以通过将所述部分指定为扫描系统11至15的感兴趣区域来向所述部分分配其他的资源。
所确定的感兴趣区域通常将是限定整个视场的相对小的部分的一个连续区域。然而,在特定情形下,对视场内部的两个或更多个单独的感兴趣区域进行识别或者扩展感兴趣区域以包含整个视场可能是有用的。
在第二扫描器调整步骤120中,控制器10根据在该方法的前一步骤中确定的感兴趣区域或每个感兴趣区域来设置或调整相关扫描参数。这些扫描参数被设置成使得针对感兴趣区域的扫描分辨率高于针对视场的其余部分的扫描分辨率。例如,可以以标称扫描分辨率扫描大部分视场,而以相对于标称扫描分辨率提高的扫描分辨率扫描感兴趣区域。可替选地,扫描参数可以被调整成使得仅扫描感兴趣区域。
注意,“扫描分辨率”在本文中被用作关于相较于视场中的其他部分可能影响感兴趣区域中的扫描质量的任意设置的广义术语。不同的扫描参数可以用于视场中的不同区域。例如,可以通过以下方式在感兴趣区域中提高扫描分辨率和扫描质量:
-减小收集数据点的扫描速度和/或角度间隔,其中的每一个都使两个测
量点之间的距离减小,并且由此增加每单位面积的测量数量;
-提高扫描功率以获得更准确和/或可靠的测量;以及/或者-增加扫描系统扫描感兴趣区域的扫描频率——例如,每次扫描所有视
场的其余部分时,可以将感兴趣区域扫描两次。
例如,激光雷达扫描仪通过使用激光照射目标以及使用传感器测量反射光来测量到目标的距离。当使用经由例如检流计反射镜、旋转棱镜或MEMS反射镜进行的顺序扫描时,激光返回时间和波长的差异可以用于产生目标的数字3D表示。在此背景中,当使用激光雷达扫描仪时提高扫描分辨率可能需要:当扫描感兴趣区域时增加激光的强度;当扫描感兴趣区域时降低反射镜或棱镜转动的速度;以及/或者控制反射镜或棱镜以比视场的其他部分更频繁地扫描感兴趣区域。
除了一个或更多个感兴趣区域和其余视场之外,还可以限定在其中扫描系统以引起中间扫描分辨率的设置来进行操作的中间区域。此外,为了保留用于扫描视场的最重要区域的资源和扫描能力,可以根本不扫描一个或更多个低兴趣区域。
代替如上所述的扫描分辨率的离散步长变化,还可以在扫描期间连续地改变扫描分辨率,使得分辨率在扫描每个感兴趣区域期间的相对高水平与扫描视场的其他区域时的较低水平之间逐渐过渡。也可以采用扫描分辨率的连续变化和步长变化的混合。
较新的扫描技术例如光学相控阵和一些特定的MEMS架构不仅允许顺序扫描,而且提供更多的“随机访问”类型的扫描。这为根据需要瞄准视场的特定区域产生了机会,从而在使用这样的系统时更容易以不同的扫描分辨率扫描不同的区域。
当使用超声波扫描代替激光雷达扫描或者除了激光雷达扫描之外还使用超声波扫描时,用于适应性调整扫描分辨率的类似措施将是可用的。还可以根据所确定的感兴趣区域来控制如上所述的数码摄像装置系统。
例如,具有110°广角镜头的可移动摄像装置可以可旋转地安装以具有180°或更大的总视场。根据感兴趣区域在视场内的位置,摄像装置可以被旋转和/或使其焦距(或“缩放因子”)调整成聚焦在感兴趣区域上,或者摄像装置可以被配置成扫描整个180°视场,但是具有针对感兴趣区域的附加重点(较慢的扫描、较高的帧速率、增加的功率、增加的焦距等)。可能的扫描模式是摄像装置每次扫视均扫描感兴趣区域,而每两次或三次扫视仅扫描其余区域一次。
可替选地,即使摄像装置本身不移动,改变有效扫描分辨率并且由此节省处理功率和处理时间的另一种方式是比与视场的其余部分相关的数据更充分地分析由摄像装置捕获的与感兴趣区域相关的数据。这可能需要分析收集到的与感兴趣区域相关的所有数据,同时仅分析与视场的其余部分相关的每第二或第三帧数据,并且/或者仅分析视场的其余部分的捕获的图像的像素的子集。
在第三扫描步骤130中,扫描系统被操作成使用刚刚被设置或调整的扫描参数来扫描视场,使得以不同的扫描分辨率扫描视场的不同区域。
在第四分析步骤140中,控制器10从扫描传感器11至15接收扫描数据,并且分析与感兴趣区域相关的数据以对该区域内的特征进行识别。可以使用相同的算法同时处理与视场的其余部分相关的输入数据,或者可以使用甚至可以用于不同目的的单独算法单独处理与视场的其余部分相关的输入数据。例如,返回至基于与感兴趣区域相关的扫描数据来控制悬架系统21、22的示例,扫描数据可以用于确定车辆100的负重轮将遇到的对象或特征的存在和性质例如道路表面纹理、坑洼、石头等的变化。同时,通过以较低分辨率进行扫描所获得的其余数据被用于线检测、护栏检测以及/或者道路上其他车辆或对象的检测。
在第五车辆控制步骤150中,分析步骤140的结果用于生成控制信号以根据在感兴趣区域内识别的特征或每个特征来调整车辆100的操作。然后,这些控制信号可以被发送至相应的车辆控制系统20、21以基于识别出的特征来适应性调整它们的功能。这可以例如引起对悬架系统21、22的调整,例如以在负重轮越过坑洼时增加阻尼。
可选地在实施驾驶员辅助或碰撞缓解的背景下,控制车辆100的操作的其他方式可以包括控制车辆加速、制动或转向方向。其他的选择可以包括基于扫描数据操作辅助车辆系统例如能量回收系统。
改变车辆100的操作还可能需要基于由控制器10执行的分析的结果来对车辆100的人机界面(HMI)进行操作例如以向车辆100的驾驶员指示检测到的对象。
分析步骤140的结果还可以被反馈至区域确定步骤110,以基于识别出的特征来适当地调整感兴趣区域。
利用根据本发明的控制系统,可以基于更准确的传感器信息来控制车辆,并且改善车辆性能以及/或者驾驶员和其他乘客的舒适度,而无需减小实际视场或更换传感器。通过将扫描系统的能力集中在感兴趣区域上,并且较少地关注其余的视场,可以投入更多的时间和功率来扫描视场的特定部分。这使得能够实现来自车辆控制系统的更快速的反应,以及增加的对可能需要来自车辆控制系统的控制动作的任意对象或道路特征进行及时和准确检测的机会。通过继续监测视场的其余部分,系统可以保持对在感兴趣区域之外发生的对象和事件的响应,并且在必要时适应性调整感兴趣区域。当需要时,控制系统可以改变感兴趣区域,或者暂时地对整个视场使用单个扫描分辨率。
参照图3,示出了例如可以适于实现上面描述的图2的方法的控制系统200的简化示例。控制系统200包括一个或更多个控制器10,并且被配置成确定车辆的扫描系统的视场内的感兴趣区域,以及对扫描系统进行操作来以标称扫描分辨率或低于标称扫描分辨率的扫描分辨率扫描视场的在感兴趣区域之外的部分,并且以相对于标称扫描分辨率增加的扫描分辨率扫描感兴趣区域。控制系统200还被配置成接收包括由扫描系统获得的与感兴趣区域相关的数据的信号,分析与感兴趣区域相关的数据以对感兴趣区域内的特征进行识别,以及生成控制信号以根据在感兴趣区域内识别的特征来调整车辆的操作。
要理解的是,控制器10或每个控制器10可以包括具有一个或更多个电子处理器(例如,微处理器、微控制器、专用集成电路(ASIC)等)的控制单元或计算装置,并且可以包括单个控制单元或计算装置,或者替选地,控制器10或每个控制器10的不同功能可以体现或托管在不同的控制单元或计算装置中。
如本文中所使用的,术语“控制器”、“控制单元”或“计算装置”将被理解成包括单个控制器、控制单元或计算装置以及共同操作以提供所需的控制功能的多个控制器、控制单元或计算装置。
可以提供指令集,所述指令集在被执行时使控制器10实现本文中描述的控制技术(包括对于本文中描述的方法所需的功能中的一些或全部功能)。指令集可以嵌入在控制器10的所述一个或更多个电子处理器中。可替选地,指令集可以被提供为软件以在控制器10中执行。
第一控制器或控制单元可以以在一个或更多个处理器上运行的软件来实现。一个或更多个其他控制器或控制单元可以以在一个或更多个处理器(可选地,与第一控制器或控制单元相同的一个或更多个处理器)上运行的软件来实现。其他布置也是有用的。
在图3所示的示例中,该控制器10或每个控制器10包括至少一个电子处理器1020,所述电子处理器具有用于接收一个或更多个输入信号的一个或更多个电输入1022、以及用于输出一个或更多个输出信号的一个或更多个电输出1024。如上所述,输入信号可以例如来自诸如激光雷达系统15或摄像装置或立体摄像装置系统11的扫描系统。因此,输入信号包括由扫描系统获得的数据,如上所述,所述数据中的至少一些与由控制器10确定的感兴趣区域相关。
输出信号可以被发送至例如加速单元23、制动单元24、转向单元25或悬架单元21、22。这样的输出信号可以包括被配置成例如通过改变驾驶参数或通过操作HMI向驾驶员提供信息来调整车辆的操作的控制信号。
注意,由控制器10控制的所有或大多数单元可以附加地包括用于监测它们的状态的传感器。这样的传感器可以电耦接至控制器10的一个或更多个输入1022,并且其他的控制程序可以部分地基于这样的传感器的输入。
类似地,扫描系统15和摄像装置或立体摄像装置系统11不仅提供输入信号,而且还耦接至控制器的一个或更多个输出1024,以允许它们从电子处理器1020接收控制指令。如上所述,这样的控制指令例如可以使取向、焦距或扫描分辨率改变。
虽然图3示出了具有单独的电输入1022和电输出1024的控制器,但是输入和输出连接可以组合在I/O单元中。还要注意,所有通信可以是有线或无线的。
控制器10或每个控制器10还包括至少一个存储器装置1030,所述至少一个存储器装置1030电耦接至至少一个电子处理器1020并且具有存储在其中的指令1040。所述至少一个电子处理器1020被配置成访问所述至少一个存储器装置1030并且执行其上的指令1040,以分析与感兴趣区域相关的数据来对感兴趣区域内的特征进行识别,并且生成控制信号或每个控制信号。
电子处理器1020或每个电子处理器1020可以包括被配置成执行电子指令的任何合适的电子处理器(例如,微处理器、微控制器、ASIC等)。电子存储器装置1030或每个电子存储器装置1030可以包括任何合适的存储器装置,并且可以在电子存储器装置中或在电子存储器装置上存储各种数据、信息、阈值、查找表或其他数据结构、以及/或者指令。在实施方式中,存储器装置1030具有关于存储在其中或其上的可以管理本文中所述的方法的全部或部分的软件、固件、程序、算法、脚本、应用等的信息和指令。电子处理器1020或每个电子处理器1020可以访问存储器装置1030,并且执行和/或使用那些指令和信息来实行或执行本文中描述的功能和方法中的一些或全部。
至少一个存储器装置1030可以包括计算机可读存储介质(例如,非暂态或非暂时性存储介质),该计算机可读存储介质可以包括用于以由机器或电子处理器/计算装置可读的形式存储信息的任何机构,包括但不限于:磁存储介质(例如,软盘);光存储介质(例如,CD-ROM);磁光存储介质;只读存储器(ROM);随机存取存储器(RAM);可擦除可编程存储器(例如,EPROM和EEPROM);闪速存储器;或用于存储这样的信息/指令的电或其他类型的介质。
已经描述了示例控制器1010包括至少一个电子处理器1020,所述至少一个电子处理器1020被配置成执行存储在至少一个存储器装置1030内的电子指令,该电子指令在被执行时使电子处理器1020实行上文中描述的方法。然而,设想本发明不限于通过可编程处理装置的方式来实现,并且本发明的功能和/或方法步骤中的至少一些和在一些实施方式中的全部可以等同地通过非可编程硬件的方式来实现,例如通过非可编程ASIC、布尔(Boolean)逻辑电路等的方式来实现。
为了完整起见,图4以简化的示意性方式示出了车辆100的扫描系统15的视场300。在扫描系统15是面向前的激光雷达系统的情况下,视场300表示在激光雷达系统的激光可以被引导至其以收集关于车辆100前方的场景的数据的总区域。注意,实际上视场300将比图4所建议的宽得多,图4纯粹是说明性的。
如图所示,视场300通常是长方形的,其在水平方向上比在垂直方向上延伸得更远。这反映了配置诸如激光雷达系统的车辆扫描系统的方式,其中水平扫视通常显著大于垂直范围,这是由于跨前方环境左右扫描以检测危险或道路特征的重要性更大,因为扫描系统15通常不需要检测在车辆100的高度之上的水平处的对象。
图4示出了视场300包含车辆100沿其行驶的一段道路310,车辆100处于如图4所示的道路310的左车道中。
在视场300内限定了两个感兴趣区域:第一感兴趣区域320a,其是车辆100前方的短距离并且因此在视场300的下部中;以及第二感兴趣区域320b,其指向视场300的与沿着道路310远得多的位置相对应的部分。
例如,第一感兴趣区域320a可以与车辆100相距大约5米,并且集中在车辆100正前方的区域,即,车辆100行驶的车道中。该感兴趣区域320a可以用于检测车辆100将要遇到的如上所述可以用于调整悬架设置的对象和道路特征。
第二感兴趣区域320b可以与车辆100相距100米或更多,并且用于检测迎面而来的车辆和其他潜在危险。因此,第二感兴趣区域320b被确定为跨越道路310的两个车道。
应当理解,响应于检测到的转向角或来自导航系统的信息,第一感兴趣区域320a和/或第二感兴趣区域320b可以向左或向右移动。类似地,这些感兴趣区域320a、320b可以根据指示的车辆速度在视场内上下移动。
注意,第二感兴趣区域320b小于第一感兴趣区域320a,这反映了扫描系统15在范围和分辨率方面的能力。例如,激光雷达系统通常能够在50米的范围内以120°的角度和高分辨率进行扫描,而在200米的范围下,可以收集高分辨率数据的角度减小至30°。
应当理解,在不脱离本申请的范围的情况下,可以对本发明进行各种改变和修改。

Claims (14)

1.一种用于车辆的控制系统,所述控制系统包括一个或更多个控制器,所述控制系统被配置成:
确定所述车辆的扫描系统的视场内的感兴趣区域;以及
对所述扫描系统进行操作来以标称扫描分辨率或低于所述标称扫描分辨率的扫描分辨率扫描所述视场的在所述感兴趣区域之外的部分,并且以相对于所述标称扫描分辨率增加的扫描分辨率扫描所述感兴趣区域。
2.根据权利要求1所述的控制系统,其中,对所述扫描系统进行操作来以增加的扫描分辨率进行扫描包括以下中的任意一者或更多者:降低所述扫描系统的扫描速度;增加所述扫描系统的扫描功率;增加所述扫描系统的焦距;减小所述扫描系统捕获数据点的角度间隔;以及增加所述扫描系统扫描所述感兴趣区域的扫描频率。
3.根据任一前述权利要求所述的控制系统,其被配置成:
接收环境信号,所述环境信号包括与所述车辆的行驶方向上的环境相关的数据;
分析与所述车辆的行驶方向上的环境相关的数据以识别潜在危险;以及
确定所述感兴趣区域,使得所述感兴趣区域包含所述潜在危险。
4.根据任一前述权利要求所述的控制系统,其被配置成将所述感兴趣区域确定为与所述车辆的相对于行驶方向的负重轮正前方的位置相对应。
5.根据任一前述权利要求所述的控制系统,其被配置成接收指示车辆操作参数的信号,并且根据指示所述车辆操作参数的信号来确定所述感兴趣区域。
6.根据任一前述权利要求所述的控制系统,其中,所述控制系统被配置成:
接收包括由所述扫描系统获得的与所述感兴趣区域相关的数据的信号;
分析与所述感兴趣区域相关的数据以对所述感兴趣区域内的特征进行识别;以及
生成控制信号以根据在所述感兴趣区域内识别出的所述特征来调整所述车辆的操作。
7.根据权利要求6所述的控制系统,其中,所述控制信号被配置成调整以下中的任意一者或更多者的操作:所述车辆的悬架系统;所述车辆的动力传动系统;所述车辆的制动系统;所述车辆的转向系统;所述车辆的驾驶员辅助系统;所述车辆的碰撞缓解系统;以及所述车辆的人机界面。
8.根据权利要求6或7所述的控制系统,其被配置成:
将在所述感兴趣区域内识别出的所述特征表征为障碍物、所述车辆正在其上行驶的表面的不规则性以及其他道路使用者中的任意一者;以及
生成所述控制信号以根据对在所述感兴趣区域内识别出的所述特征的表征来调整所述车辆的操作。
9.根据任一前述权利要求所述的控制系统,其被配置成通过获得预定义的感兴趣区域来确定感兴趣区域。
10.一种系统,包括:
车辆扫描系统;以及
根据任一前述权利要求所述的控制系统,所述控制系统包括至少第一控制器,其中,所述至少第一控制器被设置成输出用于对所述扫描系统进行操作来以标称扫描分辨率或低于标称扫描分辨率的扫描分辨率扫描所述视场的在所述感兴趣区域之外的部分并且以相对于所述标称扫描分辨率增加的扫描分辨率扫描所述感兴趣区域的信号。
11.一种车辆,包括根据权利要求1至9中任一项所述的控制系统或根据权利要求10所述的系统。
12.一种用于对车辆扫描系统进行操作的方法,所述方法包括:
确定所述扫描系统的视场内的感兴趣区域;以及
对所述扫描系统进行操作来以标称扫描分辨率或低于标称扫描分辨率的扫描分辨率扫描所述视场的在所述感兴趣区域之外的部分,并且以相对于所述标称扫描分辨率增加的扫描分辨率扫描所述感兴趣区域。
13.一种计算机软件,所述计算机软件在被执行时被设置成执行根据权利要求12所述的方法。
14.一种其上存储有指令的非暂态计算机可读存储介质,所述指令在由一个或更多个电子处理器执行时使所述一个或更多个电子处理器执行根据权利要求12所述的方法。
CN202180042527.9A 2020-06-17 2021-06-16 使用扫描系统的车辆控制系统 Pending CN115698754A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB2009226.8A GB2598078B (en) 2020-06-17 2020-06-17 Vehicle control system using a scanning system
GB2009226.8 2020-06-17
PCT/EP2021/066271 WO2021255110A1 (en) 2020-06-17 2021-06-16 Vehicle control system using a scanning system

Publications (1)

Publication Number Publication Date
CN115698754A true CN115698754A (zh) 2023-02-03

Family

ID=71835439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180042527.9A Pending CN115698754A (zh) 2020-06-17 2021-06-16 使用扫描系统的车辆控制系统

Country Status (5)

Country Link
US (1) US20230245414A1 (zh)
EP (1) EP4185887A1 (zh)
CN (1) CN115698754A (zh)
GB (1) GB2598078B (zh)
WO (1) WO2021255110A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655497B (zh) * 2021-08-30 2023-10-27 杭州视光半导体科技有限公司 基于fmcw固态扫描激光雷达的感兴趣区域扫描方法
CN117630861A (zh) * 2022-08-10 2024-03-01 上海禾赛科技有限公司 激光雷达的探测方法及应用其的激光雷达

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
US9239959B1 (en) * 2013-04-08 2016-01-19 Lockheed Martin Corporation Multi-resolution, wide field-of-view, unmanned ground vehicle navigation sensor
US9880263B2 (en) * 2015-04-06 2018-01-30 Waymo Llc Long range steerable LIDAR system
GB2545652B (en) 2015-12-18 2019-06-05 Jaguar Land Rover Ltd Control unit for an active suspension system
JP6596736B2 (ja) * 2016-03-29 2019-10-30 本田技研工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6860656B2 (ja) * 2016-05-18 2021-04-21 オキーフェ, ジェームスO’KEEFEE, James 車両の形状に適応したダイナミックステアドlidar
KR102547651B1 (ko) * 2016-09-20 2023-06-26 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10379540B2 (en) * 2016-10-17 2019-08-13 Waymo Llc Light detection and ranging (LIDAR) device having multiple receivers
US20180306905A1 (en) * 2017-04-20 2018-10-25 Analog Devices, Inc. Method of Providing a Dynamic Region of interest in a LIDAR System
GB2562037A (en) * 2017-04-25 2018-11-07 Nokia Technologies Oy Three-dimensional scene reconstruction

Also Published As

Publication number Publication date
US20230245414A1 (en) 2023-08-03
EP4185887A1 (en) 2023-05-31
GB202009226D0 (en) 2020-07-29
GB2598078A8 (en) 2022-03-02
GB2598078B (en) 2022-12-21
WO2021255110A1 (en) 2021-12-23
GB2598078A (en) 2022-02-23

Similar Documents

Publication Publication Date Title
JP6353525B2 (ja) ホスト車両の速度を制御する方法、及び、ホスト車両の速度を制御するためのシステム
US9863775B2 (en) Vehicle localization system
US10163016B2 (en) Parking space detection method and device
US8615109B2 (en) Moving object trajectory estimating device
US9151626B1 (en) Vehicle position estimation system
JP5421072B2 (ja) 接近物体検知システム
US10462354B2 (en) Vehicle control system utilizing multi-camera module
WO2017112205A1 (en) Dynamic sensor range in advanced driver assistance systems
JP2007024590A (ja) 物体検出装置
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
JP2015143979A (ja) 画像処理装置、画像処理方法、プログラム、画像処理システム
JP7413935B2 (ja) 車載センサシステム
EP3396938B1 (en) Imaging device and method for determining foreign matter
CN115698754A (zh) 使用扫描系统的车辆控制系统
JP6032034B2 (ja) 物体検知装置
US20210245769A1 (en) Driver assistance system
CN112596050A (zh) 一种车辆及车载传感器系统、以及行车数据采集方法
KR20210134128A (ko) 자율 주행 제어 방법 및 장치
JP4848644B2 (ja) 障害物認識システム
WO2020250526A1 (ja) 外部環境認識装置
JP7236849B2 (ja) 外界認識装置
US20230209206A1 (en) Vehicle camera dynamics
CN214375264U (zh) 一种车辆及车载传感器系统
US11410288B2 (en) Image processing apparatus
JP7334572B2 (ja) 物体検知装置および物体検知プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination