CN113160590B - 智能汽车的控制方法、装置及相关设备 - Google Patents
智能汽车的控制方法、装置及相关设备 Download PDFInfo
- Publication number
- CN113160590B CN113160590B CN202010077052.4A CN202010077052A CN113160590B CN 113160590 B CN113160590 B CN 113160590B CN 202010077052 A CN202010077052 A CN 202010077052A CN 113160590 B CN113160590 B CN 113160590B
- Authority
- CN
- China
- Prior art keywords
- image
- acquisition
- image acquisition
- period
- acquisition equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Vascular Medicine (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了一种智能汽车的控制方法,该方法包括:控制器首先在识别到信号显示装置时,计算智能汽车中图像采集设备的采集参数的目标值;图像采集设备的采集参数用于指示图像采集设备采集图像的采集周期、曝光次数、曝光时长与曝光间隔时长;然后,向所图像采集设备发送调整指令;再根据所述图像采集设备调整采集参数后获得的图像识别信号标识,并根据识别的信号标识控制智能车行驶。以此提高图像采集设备采集的图像中信号标识为点亮状态的概率,提高控制器根据图像所识别的结果与信号标识实际表示的结果相一致的概率,从而提高根据识别的结果对智能汽车进行控制的准确性与安全性。
Description
技术领域
本申请涉及计算机领域,尤其涉及智能汽车的控制方法、装置及相关设备。
背景技术
近年来,智能汽车已成为车辆发展的新趋势,越来越多的汽车采用了辅助驾驶(driver assistance)、自动驾驶(automated driving)或智能网联驾驶(intelligentnetwork driving)等系统,这类系统利用图像采集设备以及雷达等车载传感器在行驶过程中通过车载传感器等设备感知周围环境。其中,智能汽车对周围障碍物和基础设施的感知准确性影响智能汽车的规划和控制。而对电子显示装置上的信号标识(例如交通灯)的识别更是实现智能汽车自动驾驶的关键环节。
但是,电子显示装置在工作的过程中是周期性点亮与熄灭的,图像采集设备在采集图像时,采集的图像中电子显示装置可能处于熄灭状态,导致智能汽车根据采集的图像对信号标识进行识别的识别结果与电子显示装置实际表示的结果(人眼观察的结果)不一致。因此,如何提供一种更准确的信号标识的识别方法,进而根据识别结果对智能车进行控制成为亟待解决的技术问题。
发明内容
本申请公开了一种智能汽车的控制方法、装置及相关设备,该方法可以提高根据图像采集设备采集的图像所识别的结果与信号标识实际表示的结果相一致的概率,进而提高根据识别的结果对智能汽车进行控制的准确性与安全性。
第一方面,本申请提供一种智能汽车的控制方法,该方法包括:当控制器识别信号标识的显示装置时,控制器计算智能汽车中图像采集设备的采集参数的目标值;图像采集设备的采集参数用于指示所述图像采集设备采集图像的采集周期、曝光次数、曝光时长与曝光间隔时长;控制器向图像采集设备发送调整指令,该调整指令指示图像采集设备根据调整指令中采集参数的目标值调整采集参数;控制器根据图像采集设备调整采集参数后获得的图像识别信号标识,并根据识别的信号标识控制智能车行驶。
实施上述智能汽车的控制方法,在图像采集设备可以采集到信号标识时,控制器计算图像采集设备的采集参数的目标值,调整图像采集设备采集图像的采集参数,以增加图像采集设备采集一张图像时的曝光次数,提高图像采集设备的曝光时间与交通灯灯亮时间的重合概率,从而提高图像采集设备采集的图像中交通灯为点亮状态的概率,提升控制器根据图像所识别的结果与信号标识实际表示的结果相一致的概率,进而提高根据识别的结果对智能汽车进行控制的准确性与安全性。
在一种可能的实现方式中,上述控制器可以是车辆中移动数据中心(mobile datacenter,MDC)中控制器。
在另一种可能的实现方式中,上述当控制器识别信号标识的显示装置时,控制器计算智能汽车中图像采集设备的采集参数的目标值,包括:控制器获取图像采集设备调整采集参数前获得的图像,对图像采集设备调整采集参数前获得的图像进行信号标识检测,当检测到信号标识时,控制器计算智能汽车中图像采集设备的采集参数的目标值;或者,控制器获取智能汽车与显示装置的距离,当距离小于或者等于预设距离时,控制器计算智能汽车中图像采集设备的采集参数的目标值,其中,显示装置位于智能汽车的前进方向上。
控制器通过图像采集设备采集的图像或者根据显示装置的与智能汽车的距离,确定图像采集设备是否可以采集到包含显示装置的图像,在确定可以采集到包含显示装置的图像时,控制器才开始计算采集参数的目标值并生成调整指令,进而调整图像采集设备的采集参数,由于该调整指令用于提高图像采集设备采集一张图像的曝光次数或采集图像的频率,在满足图像采集设备可以采集到图像时才进行调整,可以降低图像采集设备的工作量。
在另一种可能的实现方式中,控制器计算智能汽车中图像采集设备的采集参数的目标值,包括:控制器获取显示装置的亮灭周期以及信号标识在一个亮灭周期内点亮的时长,亮灭周期包括信号标识点亮的时长与信号标识熄灭的时长;控制器将亮灭周期确定为图像采集设备调整采集参数后的采集周期,采集周期为图像采集设备采集一张图像所用的时长;控制器根据图像采集设备调整采集参数后的采集周期、图像采集设备在一个采集周期内总的曝光时长以及信号标识在一个亮灭周期内点亮的时长,确定图像采集设备调整采集参数后,一个采集周期内的曝光次数;控制器根据图像采集设备调整采集参数后在一个采集周期内总的曝光时长以及一个采集周期内的曝光次数,确定图像采集设备调整采集参数后每次的曝光时长;并根据图像采集设备调整采集参数后的采集周期、总的曝光时长以及曝光次数,确定图像采集设备调整采集参数后每次的曝光间隔时长;控制器根据图像采集设备调整采集参数后的采集周期、每次的曝光时长、一个采集周期内的曝光次数以及每次的曝光间隔时长生成调整指令。
通过实施上述方法,将图像采集设备的采集周期调整为等于显示装置的亮灭周期,并使曝光间隔时长小于显示装置一个亮灭周期内点亮的时长。可以确保图像采集设备在一个采集周期内的多次曝光中至少有一次的曝光时间与交通灯点亮的时间有重叠,可以确保图像采集设备采集的每张图像中交通灯均为灯亮状态。
在另一种可能的实现方式中,控制器根据图像采集设备调整采集参数后的采集周期、图像采集设备在一个采集周期内总的曝光时长以及信号标识在一个亮灭周期内点亮的时长,确定图像采集设备调整采集参数后,一个采集周期内的曝光次数,具体为根据下述公式确定图像采集设备调整采集参数后,一个采集周期内的曝光次数:(T2-T2b)/n<T亮且n≤T2/T亮。其中,n为图像采集设备调整采集参数后,一个采集周期内的曝光次数,T2为图像采集设备在调整采集参数之后的采集周期,T2b为图像采集设备在调整采集参数之后一个采集周期内总的曝光时长,T亮表示信号标识在一个亮灭周期内点亮的时长。
在另一种可能的实现方式中,信号标识为交通灯,控制器根据图像采集设备调整采集参数后获得的图像识别信号标识,并根据识别的信号标识控制智能车行驶,包括:控制器根据图像采集设备调整采集参数后获得的图像对交通灯进行识别,得到识别结果,识别结果包括红灯、绿灯、黄灯和未知状态,每张图像对应的识别结果为红灯、绿灯、黄灯或未知状态中的任意一种;控制器根据识别结果以及上一次确定的交通灯的状态,确定图像采集设备调整采集参数后获得的图像中交通灯的状态,交通灯的状态包括红灯、绿灯和黄灯,每张图像对应的交通灯的状态为红灯、绿灯或黄灯中的任意一种。
第二方面,本申请提供一种智能汽车的控制装置,所述装置包括用于执行第一方面或第一方面任一种可能实现方式中的智能汽车的控制方法的各个模块。
第三方面,本申请提供一种计算设备,包括处理器和存储器;存储器用于存储指令,处理器用于执行指令,当处理器执行所述指令时执行如上述第一方面或者第一方面的任意具体实现方式中所描述方法。
第四方面,本申请提供一种非瞬态的计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被计算设备执行时执行如上述第一方面或者第一方面的任意具体实现方式中所描述方法。
第五方面,本申请提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
图1是本申请提供的一种智能汽车的系统架构图;
图2是本申请提供的一种智能汽车的控制方法的流程示意图;
图3是本申请提供的一种显示装置的亮灭周期与图像采集设备的采集周期之间的关系示意图;
图4是本申请提供的一种车辆坐标系的示意图;
图5是本申请提供的一种车辆坐标系与交通灯的位置关系示意图;
图6是本申请提供的一种控制装置的结构示意图;
图7是本申请提供的一种计算设备的结构示意图。
具体实施方式
下面结合附图对本申请所提供的智能汽车的控制方法进行详细的阐述。
为了便于理解本申请所提供的智能汽车的控制,首先介绍显示装置的工作原理。用于显示信号标识的显示装置(例如,发光二极管(light emitting diode,LED)显示屏)在通电之后,显示装置会周期性点亮或熄灭,即显示装置会点亮一段时间,然后熄灭一段时间,再点亮一段时间后熄灭一段时间。其中,显示装置每次点亮的时长均相同,每次熄灭的时长均相同。将显示装置点亮一次的时长与熄灭一次的时长之和称为显示装置的亮灭周期。通常的,显示装置的亮灭周期为1/60秒到20毫秒(millisecond,ms),即显示装置的亮灭频率为50赫兹(Hertz,Hz)到60Hz。而一个亮灭周期内显示装置点亮的时长一般占一个亮灭周期的10%至20%。例如,显示装置的亮灭周期为20ms,则显示装置在一个亮灭周期内点亮的时长为2ms至4ms,熄灭的时长为16ms至18ms。其中,信号标识包括具有周期性点亮或熄灭的显示装置显示的提示信息,包括但不限于交通灯、带有文字或符号的交通提示。
在智能汽车中,通过车载图像采集设备采集显示装置的图像,进而确定显示装置所显示的标识。通常地,在采集过程中图像采集设备需要通过曝光获得显示装置的图像。曝光是指被拍摄物体发出或者反射的光线通过图像采集设备的镜头投射到底片或者感光元件上,在底片或者感光元件上成像的过程。图像采集设备采集一张图像所用的时长为一个采集周期,一个采集周期包括曝光时长和曝光间隔时长,曝光时长是指图像采集设备从快门打开到关闭的时长,图像采集设备在曝光时长内完成一次曝光过程。曝光间隔时长是指图像采集设备的快门在一次关闭之后,下一次打开之前所经过的时长。示例性的,若图像采集设备采集图像的采集频率为30,,表示图像采集设备每秒采集30张图像,每张图像对应的采集周期为33.33ms,其中曝光时长为10ms,曝光间隔时长为23.33ms,其中,采集频率指示图像采集设备每秒钟采集的图像的数量。
在智能汽车中,基于机器视觉的检测与识别系统是智能汽车中不可或缺的部分,智能汽车通过车载图像采集设备采集车辆行驶过程中周围的图像并对图像进行分析,以实现对车辆行驶过程中周围环境的感知,为智能汽车提供可靠数据。例如车载移动数据中心(mobile data center,MDC)的控制器通过图像采集设备采集的图像检测并识别交通灯、交通标志(左转与右转)、限速标识等显示装置上显示的标识,进而根据识别结果控制智能汽车的行驶。
但是,由于显示装置是周期性的点亮或熄灭,显示装置和图像采集设备是两个不同的设备,显示装置被点亮的触发时间点和图像采集设备曝光的触发时间点不能实现同步控制,因此会出现图像采集设备采集图像时的曝光时间与显示装置的被点亮时间不重叠,导致图像采集设备采集的图像中,显示装置为熄灭状态。而当前显示装置的设计是给人眼识别的,考虑了人眼的视觉暂留效应,显示装置实际要表示的结果是与人眼识别的结果一致,显示装置虽然是周期性点亮或者熄灭,但是,由于亮灭周期较短,人眼识别的结果是显示装置一直处于点亮状态。因此控制器根据图像采集设备采集的图像进行识别的识别结果与显示装置实际表示的结果会出现不一致,若MDC的控制器根据采集的图像的识别结果控制智能汽车的行驶,则可能导致智能汽车违反交通规则甚至出现安全事故。
为了解决上述问题,本申请提供一种智能汽车的控制方法,在智能汽车行驶的过程中,通过动态调整图像采集设备的采集参数,有效识别显示装置上显示的信号标识,其中,上述采集参数包括图像采集设备采集一张图像的采集周期、曝光次数、曝光时长与曝光间隔时长。在智能汽车上的图像采集设备能够采集显示装置上的信号标识图像时,通过提高图像采集设备采集一张图像的曝光次数或者提高图像采集设备采集图像的采集频率与采集一张图像的曝光次数。缩短图像采集设备相邻两次曝光之间的时间间隔,提高图像采集设备曝光时间与信号标识被点亮时间之间的重叠比例,进而提高图像采集设备采集到的图像中信号标识为点亮状态的比例,提高控制器识别的结果与信号标识实际表示结果之间相同的概率,进而提高智能汽车的安全性。在智能汽车的图像采集设备不能采集到显示装置的图像时,将图像采集设备的采集参数调整至图像采集设备不能采集显示装置上的信号标识图像时,图像采集设备的采集参数。
下面以显示装置为LED显示装置,信号标识为交通灯为例,对本申请提供的智能汽车控制方法进行详细介绍。如图1所示,图1是本申请提供的一种智能汽车的系统架构图,智能汽车10包括控制器110、图像采集设备120、通信盒子130与定位模块140,其中,图像采集设备120、通信盒子130以及定位模块140均与控制器110通信连接,控制器通过通信盒子130以及网络与云服务数据中心或者其他设备通信。如图2所示,图2是本申请提供的一种智能汽车的控制方法的流程示意图,该方法包括:
S201、控制器110识别交通灯。
作为一种可能的实现方式,控制器110识别交通灯是指控制器在图像采集设备120采集的图像中识别是否存在交通灯。智能汽车10在行驶的过程中,控制器110在图像采集设备采集的图像中没有识别到交通灯时,图像采集设备以第一采集频率采集图像并将采集到的图像发送给控制器110,控制器110会对接收到的图像进行交通灯检测,以确定图像中是否存在交通灯,若存在,则控制器110执行下述S202;若不存在,控制器110继续接收图像采集设备120发送的图像并进行交通灯检测。
作为另一种可能的实现方式,控制器110识别交通灯是指识别交通灯与智能汽车10之间的距离,进而根据距离确定图像采集设备120采集的图像中是否存在交通灯。控制器110可以根据定位模块140提供的智能汽车的位置信息结合地图数据,确定图像采集设备120采集到的图像中是否能够检测到交通灯。具体的,上述地图数据中包括交通灯的位置信息,控制器110获取定位模块140提供的当前智能汽车的位置信息以及地图数据中行驶路径上的交通灯的位置信息,确定智能汽车与行驶路径上最近的交通灯之间的距离。当确定智能汽车与行驶路径上最近的交通灯的距离小于或者等于预设距离时,控制器110确定图像采集设备120采集的图像中可以检测到交通灯。上述预设距离可以是根据图像采集设备120采集的图像清楚的识别出目标物体时,图像采集设备120与目标物体的距离,例如50米,100米或者200米,本申请实施例不做具体限制。
需要说明的是,控制器110在没有检测到交通灯,图像采集设备120以第一采集频率采集图像时,图像采集设备120采集一张图像的采集周期为第一采集周期T1,图像采集设备120通过一次曝光采集一张图像,即图像采集设备120的第一曝光次数为1,图像采集设备120采集一张图像的曝光时长为第一曝光时长t1b,曝光间隔时长为第一曝光间隔时长t1g。例如,图像采集设备120采集图像的第一采集频率为30,则第一采集周期为33.33ms,其中第一曝光时长可以为10ms,第一曝光间隔时长为23.33ms。
S202、控制器110生成调整指令并将调整指令发送给图像采集设备120。
控制器110在图像采集设备120可以采集到交通灯的图像之后,获取显示交通灯的显示装置的显示参数,该显示参数包括显示装置的亮灭周期以及每个亮灭周期内交通灯点亮的点亮时长。控制器110根据显示装置的显示参数计算得到采集参数,根据计算得到的采集参数生成调整指令并将调整指令发送给图像采集设备120。该调整指令指示图像采集设备120将当前各个采集参数的值调整为调整指令中各个采集参数对应的值,其中,采集参数包括采集周期、曝光次数、曝光时长以及曝光间隔时长,上述调整指令包括图像采集设备120的第二采集周期T2、第二曝光次数n、第二曝光时长t2b以及第二曝光间隔时长t2g。曝光次数指示图像采集设备120采集一张图像的曝光次数,上述第二曝光次数n为大于1的正整数,第二曝光次数n指示图像采集设备120在根据调整指令调整采集参数之后,采集一张图像需要的曝光次数。第二曝光时长t2b表示图像采集设备120根据调整指令调整采集参数后,采集一张图像需要多次曝光时,每次曝光的曝光时长。调整指令指示图像采集设备120根据第二曝光次数n将一个采集周期内的单次曝光调整为n次曝光,根据第二曝光时长将每次曝光的时长从第一曝光时长调整至第二曝光时长,根据第二曝光间隔时长将曝光间隔时长从第一曝光间隔时长调整至第二曝光间隔时长。需要说明的是,图像采集设备120在接收到调整指令时,图像采集设备120通过单次曝光得到一张图像,单次曝光的时长为第一曝光时长。图像采集设备120在接收到调整指令,将单次的曝光时长由第一曝光时长调整至第二曝光时长后,以第二曝光时长作为图像采集设备120的曝光时长,每次曝光得到一组曝光数据,通过将n次以第二曝光时长作为曝光时长时得到的数据进行融合,得到一张图像。也就是说,图像采集设备120在根据调整指令调整曝光时长以及曝光间隔时长之后,图像采集设备120将连续多次曝光得到的数据进行融合后才能得到一张图像。其中,数据的融合是将多个次曝光获得的数据进行合并,最终获得一张图像。具体实施时,可以采用传统技术中数据融合的方法,本申请对此不做限定。
控制器110根据显示装置的显示参数计算采集参数时,首先根据获取的显示装置的亮灭周期,确定将图像采集设备120的第二采集周期T2调整为与显示装置的亮灭周期相同。若控制器110将图像采集设备120在一个第二采集周期内总的曝光时长设置为T2b,则一个第二采集周期内总的曝光间隔时长为T2-T2b。为保证第二曝光间隔时长t2g小于一个亮灭周期内交通灯点亮的时长T亮,一个采集周期内曝光次数n满足(T2-T2b)/n<T亮,即n>(T2-T2b)/T亮,图像采集设备120的第二曝光时长t2b=T2b/n,第二曝光间隔时长t2g=(T2-T2b)/n。可以理解,为了防止曝光次数n取值过大,可以设置n≤T2/T亮,即(T2-T2b)/T亮<n≤T2/T亮。上述第二采集周期T2内总的曝光时长T2b可以与第一曝光时长t1b相同,也可以比第一曝光时长t1b长,还可以比第一曝光时长t1b短,本申请实施例不做具体限制。
示例性的,如图3所示,若显示装置亮灭一次的亮灭周期为20毫秒,一个亮灭周期内交通灯点亮的时长为2ms,熄灭的时长为18ms。图像采集设备在接收到调整指令前,图像采集设备120的第一采集周期为33.33ms,图像采集设备120的第一曝光时长为10ms,第一曝光间隔时长为23.33ms。在图像采集设备120以第一采集周期采集交通灯图像时,在部分采集周期内,图像采集设备120的曝光时间与交通灯灯亮的时间会有重叠,则图像中交通灯为点亮状态。而在部分采集周期内,图像采集设备120的曝光时间与交通灯灯亮的时间不会有重叠,导致图像采集设备120采集的图像中交通灯为熄灭状态。例如,图3中第N张与第N+1张图像对应的采集周期中图像采集设备120的曝光时间与交通灯灯亮的时间有重叠,则第N张与第N+1张图像中交通灯为点亮状态。而第N+2张图像对应的采集周期中图像采集设备120的曝光时间与交通灯灯亮的时间没有重叠,则第N+2张图像中交通灯为熄灭状态。其中,N为大于或等于1的正整数。
控制器110在确定可以采集到交通灯图像后,将图像采集设备120的第一采集周期33.33ms调整为第二采集周期为20ms。控制器110将图像采集设备120一个采集周期内总的曝光时长调整为12.5ms,第二曝光间隔时长为7.5ms。为了使曝光间隔时长小于2ms,控制器110将12.25ms的曝光时长切分为5次,则图像采集设备120的每个第二曝光时长为2.5ms,曝光间隔时长为1.5ms。图像采集设备120每次打开快门2.5ms完成一次曝光,然后间隔1.5ms再次将快门打开2.5ms,从图像采集设备120将第一曝光时长调整为第二曝光时长之后,当第5次打开快门并关闭之后,将之前5次的曝光得到的数据进行融合,得到一张图像,并将该图像发送给控制器110。图像采集设备120在第5次打开快门并关闭之后,再隔1.5ms再次打开快门。即图像采集设备120在第5m次打开快门并关闭之后,将第(5m-4)次至第5m次之间5次曝光得到的数据进行融合得到一张图像并发送给控制器110,其中,m为正整数。如图3所示,由于第二曝光间隔时长小于交通灯在一个亮灭周期内灯亮的时长,即使交通灯被点亮的时间点与曝光结束的时间点为同一时刻,由于交通灯亮的时长比曝光间隔时长要长,图像采集设备120在下一次曝光时,交通灯依然是亮着的,因此可以保证一个采集周期内曝光时长与交通灯亮的时长具有重叠部分,在上述举例中,图像采集周期的曝光时长与交通灯亮的时长的重叠时间最少为0.5ms,最长为2ms。需要说明的是,上述示例仅用作举例,不能理解为具体限定。
根据上述方法,将图像采集设备120的第二采集周期调整为等于显示装置的亮灭周期,并使第二曝光间隔时长小于显示装置一个亮灭周期内点亮的时长。可以确保图像采集设备120在一个采集周期内的n次曝光中至少有一次的曝光时间与交通灯点亮的时间有重叠,确保融合n次曝光的数据得到的图像中交通灯为灯亮状态,即可以确保图像采集设备120输出的每张图像中交通灯均为灯亮状态。
上述控制器110获取显示交通灯的显示装置的显示参数的方法包括但不限于以下三种方式:第一种方式是显示装置中配置有发送模块,该发送模块周期性的将其亮灭周期以及一个亮灭周期内点亮的时长进行广播,接近该显示装置的智能汽车均能接收到上述发送模块发送的数据,从而获取到上述显示装置的显示参数。第二种方式是控制器110在确定可以采集到交通灯的图像后,通过通信盒子130向显示装置发送获取请求,该获取请求用于获取上述显示参数,显示装置在接收到该获取请求之后,将显示参数发送给通信盒子130。第三种方式是控制器110在确定可以采集到交通灯的图像后,控制器110通过通信盒子130向云服务数据中心发送获取请求,该获取请求用于获取上述显示参数,该获取请求包括显示装置的位置信息,云服务数据中心在接收到该获取请求之后,根据获取请求中的位置信息以及云服务数据中心中存储的位置信息与显示装置的对应关系,确定获取请求中的位置关系对应的显示装置,然后获取该位置信息对应的显示装置的显示参数并将显示参数发送给控制器110。
S203、图像采集设备120接收调整指令,根据调整指令调整采集参数,根据调整后的采集参数采集图像并将采集到的图像发送给控制器110。
图像采集设备120在接收到控制器110发送的调整指令之后,调整图像采集设备120的采集周期,曝光次数、曝光时长以及曝光间隔时长,以调整后的采集参数采集图像。图像采集设备120在一个采集周期内进行多次曝光,然后将多次曝光得到的数据进行融合,得到该采集周期内采集的一张图像,并将该图像发送给控制器110。可以理解,为了使控制器110能够根据图像识别出交通灯是红灯、黄灯或者绿灯,图像采集设备120采集的图像为彩色图像,例如红绿蓝(red green blue,RGB)色彩模式的图像。
S204、控制器110接收图像采集设备120发送的图像,对图像中的交通灯进行识别,确定交通灯的状态。
控制器110在接收到图像采集设备120采集的图像之后,首先确定图像中交通灯的位置信息,上述位置信息为图像中四个像素点的坐标值,例如,这四个像素点的坐标值分别为(u1,v1)、(u1,v2)、(u2,v1)以及(u2,v2),这四个像素点确定的一个初始矩形区域内包括交通灯。控制器110根据上述交通灯在图像中的位置信息确定图像中包括交通灯的感兴趣区域,例如将上述初始矩形区域作为感兴趣区域,或者根据上述四个像素点坐标确定四个新的像素点坐标,将上述初始矩形区域扩大预设倍数之后得到的新的矩形区域作为感兴趣区域,以防止初始矩形区域没有包含完整的交通灯。例如,四个新的新的像素点坐标分别为(u1-1/2(u2-u1),v1-1/2(v2-v1))、(u1-1/2(u2-u1),v1+1/2(v2-v1))、(u1+1/2(u2-u1),v1-1/2(v2-v1))以及(u1+1/2(u2-u1),v1+1/2(v2-v1)),将初始矩形区域扩大为4倍之后作为感兴趣区域,然后截取上述感兴趣区域作为目标图像,将目标图像输入至交通灯识别网络中,对目标图像中的交通灯进行识别,得到识别结果。
控制器110根据上述目标图像进行识别的识别结果包括红灯、绿灯、黄灯以及未知状态,未知状态表示图像中没有交通灯或者图像中交通灯处于熄灭状态。而控制器110需要确定交通灯的状态,即交通灯是红灯、绿灯还是黄灯,进而根据交通灯的状态确定智能汽车是否需要停车或者减速行驶。因此,当控制器110根据图像识别得到当前一张图像的识别结果之后,需要根据该张图像之前的交通灯状态确定该张图像中交通灯的状态,将交通灯状态确定为红灯、绿灯或者黄灯中的任意一种。其中,控制器可以通过目标图像中交通灯的颜色信息对交通灯进行识别,也可以通过训练好的用于识别交通灯的神经网络模型对目标图像中的交通灯进行识别,例如卷积神经网络模型(convolutional neural networks,CNN)、循环神经网络模型(recurrent neural network,RNN)等。
具体的,若控制器110对当前一张图像的识别结果为红灯、绿灯以及黄灯中的任意一种,则控制器110以该张图像的识别结果为交通灯的状态。若控制器110对当前一张图像的识别结果是未知状态,则将该张图像之前确定的交通灯的状态作为当前一张图像的对应的交通灯的状态,例如,当前一张图像的识别结果为未知状态,在该张图像之前交通灯的状态为绿灯,则将绿灯作为当前一张图像的对应的交通灯的状态。控制器110根据当前一张图像的识别结果以及该张图像之前的交通灯的状态确定该张图像中交通灯的状态的方法如下表1所示,其中,表中的任意状态表示红灯、绿灯、黄灯或未知状态中的任意一种状态。
表1
当前一张之前交通灯的状态 | 当前一张识别结果 | 交通灯的状态 |
任意状态 | 绿灯 | 绿灯 |
任意状态 | 黄灯 | 黄灯 |
任意状态 | 红灯 | 红灯 |
绿灯 | 未知状态 | 绿灯 |
黄灯 | 未知状态 | 黄灯 |
红灯 | 未知状态 | 红灯 |
作为一种可能的实现方式,上述S204中,控制器110在接收到图像采集设备120发送的图像之后,可以通过检测图像中的交通灯以确定交通灯在图像中的位置信息,例如,控制器110可以根据颜色信息和/或形状信息确定图像中交通灯的位置信息。
作为另一种可能的实现方式,控制器110还可以通过上述定位模块140以及图像数据确定交通灯相对于智能汽车的位置信息,根据交通灯相对于智能汽车的位置信息确定交通灯相对于车辆坐标系的坐标,然后结合车辆坐标系与像素坐标系之间的转换关系确定交通灯在图像中的位置信息。其中,上述交通灯相对于智能汽车的位置信息包括交通灯相对于车辆的距离、交通灯的高等、交通灯的长度以及车辆距离道路边缘的距离,其中,交通灯的高度是指交通灯的下侧边缘与路面的距离,交通灯的长度是指交通灯左侧(相对于车辆)距离道路边缘的距离。具体的,如图4所示,图4是本申请提供的一种车辆坐标系的示意图,在图4所示的车身俯视图中,车辆坐标系以车辆车后轴为Yw轴,以车后轴与车辆车轴中心线的交点为坐标原点,车辆的车轴中心线作为Xw轴,以车辆行驶方向为Xw轴的正方向,其中,XwOwYw组成的平面与水平面平行,以垂直于平面XwOwYw的方向作为Zw轴方向,以垂直平面XwOwYw向上的方向为Zw轴正方向。
根据上述交通灯相对于智能汽车的位置信息可以确定交通灯相对于车辆坐标系的位置,示例性的,如图5所示,图5是本申请提供的一种车辆坐标系与交通灯的位置关系示意图。交通灯相对于车辆的距离为交通灯在Xw轴上的坐标值x,交通灯的高度为交通灯在Zw轴上的坐标值z,车辆距离道路边缘的距离为交通灯右侧(相对于车辆)在Yw轴上的坐标值y1,交通灯的长度与车辆距离道路边缘的距离的差值为交通灯左侧(相对于车辆)在Yw轴上的坐标值y2。由于交通灯本身具有一定的宽度L,则包括交通灯的矩形区域的四个顶点在车辆坐标系中的坐标分别为A(x,y1,z)、B(x,y1,z+L)、C(x,y2,z)与D(x,y2,z+L),上述四个坐标点的坐标即为交通灯在三维坐标系中的坐标,根据车辆坐标系与像素坐标系之间的转换关系,即可确定上述四个坐标点在像素坐标系中的坐标,即为上述交通灯在图像中的位置信息。
S205、控制器110根据交通灯的状态控制智能汽车的行驶。
控制器110在识别出交通灯的状态后,根据交通灯的状态控制智能汽车的行驶。示例性的,在交通灯状态为绿灯时,控制智能车保持当前速度行驶;在交通灯为黄灯或者红灯时,控制智能车逐渐减速至停车。
可以理解,控制器110在根据上述S201~S205中的方法识别交通灯的状态,并根据交通灯的状态控制智能汽车的行驶后,控制器110在图像采集设备120采集的图像中检测不到显示装置时,生成回复指令并将回复指令发送给图像采集设备120,使图像采集设备将采集参数调整至接收到上述调整指令之前的数值。
作为一种可能的实现方式,控制器110在采用上述S201中的方法识别到交通灯后,控制器110不能获取到显示装置的亮灭周期以及显示装置在一个亮灭周期内灯亮的时长。控制器110将显示装置通常采用的亮灭周期作为当前识别到的交通灯的显示装置的亮灭周期,将显示装置通常采用的一个亮灭周期内灯亮的时长,作为当前交通灯在一个亮灭周期内灯亮的时长。例如,显示装置通常的亮灭周期为20ms,一个亮灭周期内灯亮的时长为2ms,则认为当前交通灯的亮灭周期设置为20ms,一个亮灭周期内交通灯灯亮的时长为2ms。然后,控制器110按照上述S202中确定第二采集周期、第二曝光次数、第二曝光时长以及第二曝光间隔时长相同的方法,确定图像采集设备120调整后的采集参数。
作为一种可能的实现方式,控制器110在采用上述S201中的方法识别到交通灯后,控制器110不能获取到显示装置的亮灭周期以及显示装置在一个亮灭周期内灯亮的时长。控制器110获取图像采集设备120当前的第一采集周期,若第一采集周期小于或者等于预设采集周期,也就是说,图像采集设备120在单位时间内采集的图像的数量大于或者等于预设数量。控制器110确定图像采集设备120保持第一采集周期不变。若第一采集周期大于预设采集周期,也就是说,图像采集设备120在单位时间内采集的图像的数量小于预设数量,控制器110确定将图像采集设备120的采集周期由第一采集周期降低到预设采集周期。其中,预设采集周期为显示装置通常采用的亮灭周期,例如,显示装置通常的亮灭周期为20ms,则预设采集周期取值为20ms。同时,控制器110将显示装置通常采用的一个亮灭周期内灯亮的时长,作为当前交通灯在一个亮灭周期内灯亮的时长。控制器110根据上述方法确定图像采集设备120调整采集参数后的采集周期以及显示装置在一个亮灭周期内灯亮的时长,根据上述S202中确定第二采集周期、第二曝光次数、第二曝光时长以及第二曝光间隔时长相同的方法,确定图像采集设备120调整后的采集参数,其中,第一采集周期小于或者等于预设采集周期时的第一采集周期,或者第一采集周期大于预设采集周期时的第二采集周期,即为上述S202中计算时的第二采集周期T2。预设采集周期可以根据历史数据的统计信息经过计算获得,也可以是经验值。
作为一种可能的实现方式,控制器110在采用上述S201中的方法识别到交通灯后,控制器110无论能否获取到显示装置的亮灭周期以及显示装置在一个亮灭周期内点亮的时长,控制器110生成的调整指令中的采集周期、曝光次数、曝光时长以及曝光间隔时长均为预设的固定值,例如,采集周期为20ms、曝光次数为5次、曝光时长为2.5ms,曝光间隔时长为1.5ms。图像采集设备120在接收到调整指令后,将采集参数调整为上述预设的固定值。
值得说明的是,对于上述方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明所必须的。
本领域的技术人员根据以上描述的内容,能够想到的其他合理的步骤组合,也属于本发明的保护范围内。其次,本领域技术人员也应该熟悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明所必须的。
上文中结合图1至图5详细描述了根据本申请所提供的智能汽车的控制方法,下面将结合图6至图7,描述本申请所提供的装置及相关设备。
图6是本申请提供的一种智能汽车的控制装置的结构示意图,该控制装置用于包括图像采集设备与定位模块的智能汽车中,其中,图像采集设备安装于车辆上,用于采集车辆行驶方向上的图像,该控制装置与图像采集设备连接,用于接收图像采集装置采集的的图像。该控制装置600包括:处理单元610、发送单元620以及获取单元630,其中,
处理单元610,用于在识别信号标识的显示装置时,计算智能汽车中图像采集设备的采集参数的目标值;图像采集设备的采集参数用于指示图像采集设备采集图像的采集周期、曝光次数、曝光时长与曝光间隔时长。处理单元610可以通过获取单元630获取图像采集设备采集的图像,根据图像采集设备采集的图像识别信号标识的显示装置,也可以根据定位模块提供的位置信息与信号标识的距离识别信号标识的显示装置。具体的,处理单元610识别信号标识的显示装置可以参照上述S201中控制器110识别上述显示装置的相关描述。
处理单元610在在识别到信号标识的显示装置时,确定需要对图像采集设备的采集参数进行调整,图像采集设备通过获取单元630获取显示装置的亮灭周期以及显示装置显示的信号标识在一个亮灭周期内点亮的时长,亮灭周期包括信号标识点亮的时长与信号标识熄灭的时长。然后根据显示装置的亮灭周期以及显示装置显示的信号标识在一个亮灭周期内点亮的时长,计算图像采集设备的采集周期、曝光次数、曝光时长与曝光间隔时长等采集参数的目标值,具体的,处理单元610根据计算采集参数的方法可以参照上述S202中控制器110计算采集参数的相关描述,在此不再赘述。
处理单元620根据采集参数的目标值,生成调整指令,该调整指令指示图像采集设备根据调整指令中采集参数的目标值调整采集参数。
发送单元620,用于向图像采集设备发送调整指令。
应理解的是,本申请实施例的控制装置600可以通过专用集成电路(application-specific integrated circuit,ASIC)实现,或可编程逻辑器件(programmable logicdevice,PLD)实现,上述PLD可以是复杂程序逻辑器件(complex programmable logicaldevice,CPLD),现场可编程门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。也可以通过软件实现图2所示的控制方法时,控制装置600及其各个模块也可以为软件模块。
可选地,处理单元610,还用于根据图像采集设备调整采集参数后获得的图像识别信号标识,并根据识别的信号标识控制智能车行驶。处理单元610根据图像采集设备采集的图像对信号标识的识别方法可参照上述S204中对交通灯的识别方法,在此不再赘述。控制装置600在识别出交通灯的状态后,根据交通灯的状态控制智能汽车的行驶。示例性的,在交通灯状态为绿灯时,控制智能车保持当前速度行驶;在交通灯为黄灯或者红灯时,控制智能车逐渐减速至停车。
具体的,上述控制装置600所执行的操作可参照上述方法实施例中控制器100识别信号标识、计算采集参数以及识别交通灯等相关操作,在此不再具体描述。
图7为本申请提供的一种计算设备的结构示意图,该计算设备700至少包括:处理器710、通信接口720以及存储器730,处理器710、通信接口720以及存储器730通过总线740相互连接,其中,该处理器710用于执行该存储器730存储的指令。该存储器730存储程序代码,且处理器710可以调用存储器720中存储的程序代码执行以下操作:
当控制器识别信号标识的显示装置时,计算所述智能汽车中图像采集设备的采集参数的目标值;所述图像采集设备的采集参数用于指示所述图像采集设备采集图像的采集周期、曝光次数、曝光时长与曝光间隔时长;
向所述图像采集设备发送调整指令,所述调整指令指示所述图像采集设备根据所述调整指令中采集参数的目标值调整采集参数;
根据所述图像采集设备调整采集参数后获得的图像识别信号标识,并根据识别的信号标识控制智能车行驶。
应理解,在本申请实施例中处理器710可以有多种具体实现形式,例如处理器710可以为中央处理器(central processing unit,CPU)或图像处理器(graphics processingunit,GPU),处理器710还可以是单核处理器或多核处理器。处理器710可以由CPU和硬件芯片的组合。上述硬件芯片可以是专用集成电路(application-specific integratedcircuit,ASIC),可编程逻辑器件(PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(CPLD),现场可编程逻辑门阵列(FPGA),通用阵列逻辑(GAL)或其任意组合。处理器710也可以单独采用内置处理逻辑的逻辑器件来实现,例如FPGA或数字信号处理器(digitalsignal processor,DSP)等。
通信接口720可以为有线接口或无线接口,用于与其他模块或设备进行通信,有线接口可以是以太接口、控制器局域网络(controller area network,CAN)接口、局域互联网络(local interconnect network,LIN)以及FlexRay接口,无线接口可以是蜂窝网络接口或使用无线局域网接口等。例如,本申请实施例中通信接口720具体可用于接收图像采集设备发送的图像数据、接收显示装置发送的亮灭周期等。
存储器730可以是非易失性存储器,例如,只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。存储器730也可以是易失性存储器,易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。
存储器730也可用于存储指令和数据,以便于处理器710调用存储器730中存储的指令实现上述处理单元610执行的操作,例如上述方法实施例中控制器110执行的操作。此外,计算设700可能包含相比于图7展示的更多或者更少的组件,或者有不同的组件配置方式。
总线740可以是CAN总线或其他实现车内各个系统或设备之间互连的内部总线。总线740可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,该计算设备700还可以包括输入/输出接口750,输入/输出接口750连接有输入/输出设备,用于接收输入的信息,输出操作结果。
应理解,根据本申请实施例的计算设备700可对应于本申请实施例中的控制装置600,并可以对应于执行根据本申请实施例中图2所示的方法中的相应主体,并且控制装置600中的各个模块的上述和其它操作和/或功能分别为了实现图1至图5中的各个方法的相应流程,为了简洁,在此不再赘述。
本申请实施例还提供一种非瞬态计算机存储介质,计算机存储介质中存储有指令,当其在处理器上运行时,可以实现上述方法实施例中的方法步骤,计算机存储介质的处理器在执行上述方法步骤的具体实现可参照上述方法实施例的具体操作,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘(solid state drive,SSD)。
以上所述,仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式,可想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种智能汽车的控制方法,其特征在于,所述方法包括:
当控制器识别信号标识的显示装置时,所述控制器获取所述显示装置的显示参数,所述显示参数包括所述显示装置的亮灭周期以及所述信号标识在一个所述亮灭周期内点亮的时长;
所述控制器根据所述显示参数计算所述智能汽车中图像采集设备的采集参数的目标值;所述图像采集设备的采集参数用于指示所述图像采集设备采集图像的采集周期、曝光次数、曝光时长与曝光间隔时长;
所述控制器向所述图像采集设备发送调整指令,所述调整指令指示所述图像采集设备根据所述调整指令中采集参数的目标值调整采集参数;
所述控制器根据所述图像采集设备调整采集参数后获得的图像识别信号标识,并根据识别的信号标识控制智能车行驶。
2.根据权利要求1所述的方法,其特征在于,所述当控制器识别信号标识的显示装置时,所述控制器计算所述智能汽车中图像采集设备的采集参数的目标值,包括:
所述控制器获取所述图像采集设备调整采集参数前获得的图像,对所述图像采集设备调整采集参数前获得的图像进行信号标识检测,当检测到信号标识时,所述控制器计算所述智能汽车中图像采集设备的采集参数的目标值;或者,
所述控制器获取所述智能汽车与所述显示装置的距离,当所述距离小于或者等于预设距离时,所述控制器计算所述智能汽车中图像采集设备的采集参数的目标值,其中,所述显示装置位于所述智能汽车的前进方向上。
3.根据权利要求1或2所述的方法,其特征在于,所述控制器计算所述智能汽车中图像采集设备的采集参数的目标值,包括:
所述控制器将所述亮灭周期确定为所述图像采集设备调整采集参数后的采集周期,所述采集周期为所述图像采集设备采集一张图像所用的时长;所述亮灭周期包括信号标识点亮的时长与信号标识熄灭的时长;
所述控制器根据所述图像采集设备调整采集参数后的采集周期、所述图像采集设备在一个采集周期内总的曝光时长以及所述信号标识在一个亮灭周期内点亮的时长,确定图像采集设备调整采集参数后,一个采集周期内的曝光次数;
所述控制器根据所述图像采集设备调整采集参数后在一个采集周期内总的曝光时长以及一个采集周期内的曝光次数,确定所述图像采集设备调整采集参数后每次的曝光时长;并根据所述图像采集设备调整采集参数后的采集周期、总的曝光时长以及曝光次数,确定所述图像采集设备调整采集参数后每次的曝光间隔时长;
所述控制器根据所述图像采集设备调整采集参数后的采集周期、每次的曝光时长、一个采集周期内的曝光次数以及每次的曝光间隔时长生成所述调整指令。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述信号标识为交通灯,所述控制器根据所述图像采集设备调整采集参数后获得的图像识别信号标识,并根据识别的信号标识控制智能车行驶,包括:
所述控制器根据所述图像采集设备调整采集参数后获得的图像对交通灯进行识别,得到识别结果,所述识别结果包括红灯、绿灯、黄灯和未知状态,每张图像对应的识别结果为红灯、绿灯、黄灯或未知状态中的任意一种;
所述控制器根据所述识别结果以及上一次确定的交通灯的状态,确定所述图像采集设备调整采集参数后获得的图像中交通灯的状态,所述交通灯的状态包括红灯、绿灯和黄灯,每张图像对应的交通灯的状态为红灯、绿灯或黄灯中的任意一种。
5.一种智能汽车的控制装置,其特征在于,所述装置包括:
处理单元,用于:在识别信号标识的显示装置时,获取所述显示装置的显示参数,所述显示参数包括所述显示装置的亮灭周期以及所述信号标识在一个所述亮灭周期内点亮的时长;
根据所述显示参数计算所述智能汽车中图像采集设备的采集参数的目标值;所述图像采集设备的采集参数用于指示所述图像采集设备采集图像的采集周期、曝光次数、曝光时长与曝光间隔时长;
根据所述采集参数的目标值,生成调整指令,所述调整指令指示所述图像采集设备根据所述调整指令中采集参数的目标值调整采集参数;
发送单元,用于向所述图像采集设备发送所述调整指令;
所述处理单元,还用于根据所述图像采集设备调整采集参数后获得的图像识别信号标识,并根据识别的信号标识控制智能车行驶。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
获取单元,用于获取所述图像采集设备调整采集参数前获得的图像;
所述处理单元,具体用于对所述图像采集设备调整采集参数前获得的图像进行信号标识检测,当检测到信号标识时,计算所述智能汽车中图像采集设备的采集参数的目标值;或者,
所述获取单元,用于获取所述智能汽车与所述显示装置的距离;
所述处理单元,具体用于当所述距离小于或者等于预设距离时,计算所述智能汽车中图像采集设备的采集参数的目标值,其中,所述显示装置位于所述智能汽车的前进方向上。
7.根据权利要求6所述的装置,其特征在于,
所述处理单元,具体用于:将所述亮灭周期确定为所述图像采集设备调整采集参数后的采集周期,所述采集周期为所述图像采集设备采集一张图像所用的时长;所述亮灭周期包括信号标识点亮的时长与信号标识熄灭的时长;
根据所述图像采集设备调整采集参数后的采集周期、所述图像采集设备在一个采集周期内总的曝光时长以及所述信号标识在一个亮灭周期内点亮的时长,确定图像采集设备调整采集参数后,一个采集周期内的曝光次数;
根据所述图像采集设备调整采集参数后在一个采集周期内总的曝光时长以及一个采集周期内的曝光次数,确定所述图像采集设备调整采集参数后每次的曝光时长;并根据所述图像采集设备调整采集参数后的采集周期、总的曝光时长以及曝光次数,确定所述图像采集设备调整采集参数后每次的曝光间隔时长;
根据所述图像采集设备调整采集参数后的采集周期、每次的曝光时长、一个采集周期内的曝光次数以及每次的曝光间隔时长生成所述调整指令。
8.根据权利要求5-7任一项所述的装置,其特征在于,所述信号标识为交通灯,所述处理单元具体用于:
根据所述图像采集设备调整采集参数后获得的图像对交通灯进行识别,得到识别结果,所述识别结果包括红灯、绿灯、黄灯和未知状态,每张图像对应的识别结果为红灯、绿灯、黄灯或未知状态中的任意一种;
根据所述识别结果以及上一次确定的交通灯的状态,确定所述图像采集设备调整采集参数后获得的图像中交通灯的状态,所述交通灯的状态包括红灯、绿灯和黄灯,每张图像对应的交通灯的状态为红灯、绿灯或黄灯中的任意一种。
9.一种计算设备,其特征在于,包括处理器和存储器;所述存储器用于存储指令,所述处理器用于执行所述指令,当所述处理器执行所述指令时,所述处理器执行如权利要求1至4任一项所述的方法。
10.一种非瞬态的计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被计算设备执行时实现如权利要求1至4任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010077052.4A CN113160590B (zh) | 2020-01-23 | 2020-01-23 | 智能汽车的控制方法、装置及相关设备 |
EP21744507.1A EP4086874A4 (en) | 2020-01-23 | 2021-01-22 | CONTROL METHOD AND APPARATUS FOR AN INTELLIGENT VEHICLE, AND RELATED DEVICE |
PCT/CN2021/073282 WO2021147995A1 (zh) | 2020-01-23 | 2021-01-22 | 智能汽车的控制方法、装置及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010077052.4A CN113160590B (zh) | 2020-01-23 | 2020-01-23 | 智能汽车的控制方法、装置及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113160590A CN113160590A (zh) | 2021-07-23 |
CN113160590B true CN113160590B (zh) | 2023-02-03 |
Family
ID=76882153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010077052.4A Active CN113160590B (zh) | 2020-01-23 | 2020-01-23 | 智能汽车的控制方法、装置及相关设备 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4086874A4 (zh) |
CN (1) | CN113160590B (zh) |
WO (1) | WO2021147995A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113627362A (zh) * | 2021-08-13 | 2021-11-09 | 深圳市道通科技股份有限公司 | 指示信号识别方法、装置、设备以及计算机存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4937851B2 (ja) * | 2007-07-05 | 2012-05-23 | パナソニック株式会社 | 撮像装置 |
JP2011193065A (ja) * | 2010-03-12 | 2011-09-29 | Hitachi Ltd | 撮像装置 |
DE102010003039A1 (de) * | 2010-03-18 | 2011-09-22 | Basler Ag | Farbsättigungskorrektur |
CN101977285B (zh) * | 2010-11-29 | 2015-09-02 | 杭州海康威视数字技术股份有限公司 | 摄像系统和摄像方法 |
CN101977284B (zh) * | 2010-11-29 | 2012-07-18 | 杭州海康威视软件有限公司 | 摄像系统和摄像方法 |
JP5680573B2 (ja) * | 2012-01-18 | 2015-03-04 | 富士重工業株式会社 | 車両の走行環境認識装置 |
DE102012221159A1 (de) * | 2012-11-20 | 2014-05-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von Wechselverkehrszeichen |
EP3089442B1 (en) * | 2013-12-25 | 2022-01-05 | Hitachi Astemo, Ltd. | Vehicle-mounted image recognition device |
JP2017011625A (ja) * | 2015-06-25 | 2017-01-12 | 三星ダイヤモンド工業株式会社 | 撮像装置 |
CN105635597B (zh) * | 2015-12-21 | 2018-07-27 | 湖北工业大学 | 车载相机的自动曝光方法及系统 |
US10380438B2 (en) * | 2017-03-06 | 2019-08-13 | Honda Motor Co., Ltd. | System and method for vehicle control based on red color and green color detection |
US10453208B2 (en) * | 2017-05-19 | 2019-10-22 | Waymo Llc | Camera systems using filters and exposure times to detect flickering illuminated objects |
JP2019036907A (ja) * | 2017-08-21 | 2019-03-07 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び機器 |
CN111291620A (zh) * | 2020-01-14 | 2020-06-16 | 北京小马智行科技有限公司 | 识别光源的方法、装置和系统 |
-
2020
- 2020-01-23 CN CN202010077052.4A patent/CN113160590B/zh active Active
-
2021
- 2021-01-22 EP EP21744507.1A patent/EP4086874A4/en active Pending
- 2021-01-22 WO PCT/CN2021/073282 patent/WO2021147995A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
EP4086874A4 (en) | 2023-05-31 |
EP4086874A1 (en) | 2022-11-09 |
CN113160590A (zh) | 2021-07-23 |
WO2021147995A1 (zh) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7467485B2 (ja) | 時系列要素からの機械学習のためのグラウンドトゥルースの生成 | |
CN106647776B (zh) | 车辆变道趋势的判断方法、判断装置和计算机存储介质 | |
CN106919908B (zh) | 障碍物识别方法及装置、计算机设备及可读介质 | |
CN106934347B (zh) | 障碍物识别方法及装置、计算机设备及可读介质 | |
JP2017062582A (ja) | 車外環境認識装置 | |
CN109840454B (zh) | 目标物定位方法、装置、存储介质以及设备 | |
CN112580571A (zh) | 车辆行驶的控制方法、装置及电子设备 | |
JP2017007624A (ja) | 車外環境認識装置 | |
WO2022246860A1 (zh) | 一种自动驾驶系统的性能测试方法 | |
JP2017016194A (ja) | 車外環境認識装置 | |
JP2016110539A (ja) | 車外環境認識装置 | |
CN113808418A (zh) | 路况信息显示系统、方法、车辆、计算机设备和存储介质 | |
CN109703555A (zh) | 用于探测道路交通中被遮蔽的对象的方法和设备 | |
CN113008237A (zh) | 一种路径规划方法及装置、飞行器 | |
CN113160590B (zh) | 智能汽车的控制方法、装置及相关设备 | |
WO2022244356A1 (en) | Light interference detection during vehicle navigation | |
US10354153B2 (en) | Display controller, display control method, and recording medium storing program | |
CN116563801A (zh) | 交通事故检测方法、装置、电子设备和介质 | |
WO2022188292A1 (zh) | 目标检测及控制方法、系统、设备及存储介质 | |
KR101844851B1 (ko) | 방향지시등 제어 기능을 갖는 블랙박스 및 이를 이용한 방향지시등 제어방법 | |
CN111218894B (zh) | 一种发光引导设施的控制方法、装置、电子设备及系统 | |
CN109017787B (zh) | 一种行驶控制方法 | |
CN117152718B (zh) | 交通灯响应方法、装置、车辆及计算机可读存储介质 | |
WO2023087182A1 (zh) | 一种信息交互方法、装置及系统 | |
US20220284707A1 (en) | Target detection and control method, system, apparatus and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |