CN117615232A - 摄像模组、图像采集系统和车辆 - Google Patents
摄像模组、图像采集系统和车辆 Download PDFInfo
- Publication number
- CN117615232A CN117615232A CN202311481925.8A CN202311481925A CN117615232A CN 117615232 A CN117615232 A CN 117615232A CN 202311481925 A CN202311481925 A CN 202311481925A CN 117615232 A CN117615232 A CN 117615232A
- Authority
- CN
- China
- Prior art keywords
- camera module
- image sensor
- field
- view
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001502 supplementing effect Effects 0.000 claims abstract description 38
- 239000013589 supplement Substances 0.000 claims abstract description 37
- 238000005286 illumination Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims description 28
- 238000005096 rolling process Methods 0.000 claims description 8
- 230000002265 prevention Effects 0.000 abstract description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 238000012544 monitoring process Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101000986989 Naja kaouthia Acidic phospholipase A2 CM-II Proteins 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
Abstract
本公开涉及图像采集领域,公开了一种摄像模组、图像采集系统和车辆。第一摄像模组,设置于车辆的乘员舱内,包括第一补光灯和第一图像传感器;所述第一补光灯被配置为在第一时间开启,在第二时间关闭;所述第一图像传感器被配置为在所述第一时间内获取图像;其中,所述第二时间是根据第二摄像模组的第二图像传感器的第一曝光时间确定的,所述第一曝光时间用于供所述第二图像传感器获取所述第二图像传感器的第二子视场的图像;所述第二子视场包括所述第二图像传感器的视场中被所述第一补光灯的预设照射范围覆盖到的部分。本公开的防串扰方案对于摄像模组曝光时长的限制较小,有利于充分满足摄像模组的曝光时间需求。
Description
技术领域
本公开涉及图像采集领域,更具体地,涉及摄像模组、图像采集系统和车辆。
背景技术
因智能座舱感知需求的提升,越来越多车辆的乘客舱内安装多个摄像模组,用于拍摄驾驶员的图像和乘员舱内整体图像。但当多个摄像模组同时工作时,在某些时间段,各个摄像模组之间会产生曝光串扰,导致拍摄的图像质量下降。
目前,存在一些降低串扰的方案。例如,各个摄像模组使用不同波段的红外补光灯和对应的不同波段带通滤光片,通过滤波技术实现防串扰,但这种方案可能会产生红暴现象。又如,控制各个摄像模组完全错开曝光过程以实现防串扰,但这种方案会影响摄像模组的曝光时间,导致出图效果不佳。因此,有必要提出一种新的可用于减少乘客舱内部不同摄像模组之间曝光串扰的技术方案。
发明内容
本公开的一个目的是提供可用于减少乘客舱内部不同摄像模组之间曝光串扰的新技术方案。
根据本公开的第一方面,提供了一种第一摄像模组,设置于车辆的乘员舱内,包括第一补光灯和第一图像传感器;所述第一补光灯被配置为在第一时间开启,在第二时间关闭;所述第一图像传感器被配置为在所述第一时间内获取图像;其中,所述第二时间是根据第二摄像模组的第二图像传感器的第一曝光时间确定的,所述第一曝光时间用于供所述第二图像传感器获取所述第二图像传感器的第二子视场的图像;所述第二子视场包括所述第二图像传感器的视场中被所述第一补光灯的预设照射范围覆盖到的部分。
可选地,所述第一补光灯的预设照射范围与所述第一图像传感器的视场匹配,和/或,所述第一补光灯在乘员舱内的预设照射范围与所述第二图像传感器在乘员舱内的视场至少存在部分重叠。
可选地,所述第一摄像模组为全局式曝光摄像模组,和/或,所述第二摄像模组为具有分时曝光的多个子视场的摄像模组。
可选地,所述第一摄像模组为全局式曝光摄像模组,和/或,所述第二摄像模组为卷帘式曝光摄像模组。
可选地,所述第一摄像模组和所述第二摄像模组为红外摄像模组。
可选地,所述第一摄像模组部署在驾驶员前方,和/或,所述第二摄像模组部署部署在乘员舱前方且高于所述第一摄像模组的位置。
可选地,所述第一摄像模组用于采集驾驶员的图像,所述第二摄像模组用于采集乘员舱整体图像;所述第二图像传感器的视场还包括第二子视场;在第一方向上,第一图像传感器的视场上边缘与第一方向的上夹角小于或等于第二图像传感器的视场上边缘与第一方向的上夹角,第一图像传感器的视场下边缘与第一方向的下夹角大于第二图像传感器的视场下边缘与第一方向的下夹角;在第一方向上,第二图像传感器从上至下进行逐行曝光或者从下至上进行逐行曝光;基于第一图像传感器和第二图像传感器的共同的感兴趣区域,确定所述感兴趣区域的最前端所在的第一方向直线与第一图像传感器的视场下边缘的交点,确定从第二图像传感器至交点的虚拟视场分界线;所述第一子视场为第二图像传感器的视场下边缘与虚拟视场分界线共同限定的视场区域,所述第二子视场为第二图像传感器的视场上边缘与虚拟视场分界线共同限定的视场区域。
根据本公开的第二方面,提供了一种第二摄像模组,设置于车辆的乘员舱内,包括第二补光灯和第二图像传感器;所述第二补光灯被配置为在第一时间和第二时间开启;所述第二图像传感器被配置为在所述第一时间获取所述第二图像传感器的第一子视场的图像,在所述第二时间获取所述第二图像传感器的第二子视场的图像;其中,所述第二子视场包括所述第二图像传感器的视场中被第一摄像模组的第一补光灯的预设照射范围覆盖到的部分,所述第一补光灯被配置为在所述第二时间关闭。
可选地,所述第一摄像模组的第一图像传感器被配置为在所述第一时间内获取图像。
可选地,所述第一补光灯的预设照射范围与第一图像传感器的视场匹配,和/或,所述第一补光灯在乘员舱内的预设照射范围与所述第二图像传感器在乘员舱内的视场至少存在部分重叠。
可选地,所述第一摄像模组为全局式曝光摄像模组,和/或,所述第二摄像模组为具有分时曝光的多个子视场的摄像模组。
可选地,所述第一摄像模组为全局式曝光摄像模组,和/或,所述第二摄像模组为卷帘式曝光摄像模组。
可选地,所述第一摄像模组和所述第二摄像模组为红外摄像模组。
可选地,所述第一摄像模组部署在驾驶员前方,和/或,所述第二摄像模组部署在后视镜位置。
可选地,所述第一摄像模组用于采集驾驶员的图像,所述第二摄像模组用于采集乘员舱整体图像;在第一方向上,第一图像传感器的视场上边缘与第一方向的上夹角小于或等于第二图像传感器的视场上边缘与第一方向的上夹角,第一图像传感器的视场下边缘与第一方向的下夹角大于第二图像传感器的视场下边缘与第一方向的下夹角;在第一方向上,第二图像传感器从上至下进行逐行曝光或者从下至上进行逐行曝光;基于第一图像传感器和第二图像传感器的共同的感兴趣区域,确定所述感兴趣区域的最前端所在的第一方向直线与第一图像传感器的视场下边缘的交点,确定从第二图像传感器至交点的虚拟视场分界线;所述第一子视场为第二图像传感器的视场下边缘与虚拟视场分界线共同限定的视场区域,所述第二子视场为第二图像传感器的视场上边缘与虚拟视场分界线共同限定的视场区域。
根据本公开的第三方面,提供了一种图像采集系统,包括本公开的第一方面任一项所述的第一摄像模组和本公开的第二方面任一项所述的第二摄像模组。
根据本公开的第四方面,提供了一种车辆,包括如本公开第三方面所述的图像采集系统。
根据本公开的一个实施例,在车辆的乘员舱内设置第一摄像模组和第二摄像模组,第一摄像模组包括第一补光灯和第一图像传感器;第一补光灯被配置为在第一时间开启,在第二时间关闭;第一图像传感器被配置为在第一时间内获取图像;其中,第二时间是根据第二摄像模组的第二图像传感器的第一曝光时间确定的,第一曝光时间用于供第二图像传感器获取第二图像传感器的第二子视场的图像;第二子视场包括第二图像传感器的视场中被第一补光灯的预设照射范围覆盖到的部分。在本公开实施例中,第二摄像模组的第二图像传感器的第二子视场被第一摄像模组的第一补光灯的预设照射范围覆盖,在第二摄像模组的第二图像传感器获取第二子视场的图像的过程中,控制第一摄像模组的第一补光灯关闭以防止第一补光灯对第二图像传感器的串扰。本公开实施例的防串扰方案对于摄像模组曝光时长的限制较小,有利于充分满足摄像模组的曝光时间需求。
本实施例通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是现有方案的防串扰方案的示意性时序图。
图2是本公开实施例的图像采集系统的示意性框图。
图3是本公开实施例的防串扰方案的示意性时序图。
图4是本公开实施例的摄像模组的部署位置的正视图。
图5是本公开实施例的摄像模组的部署位置的侧视图。
图6是本公开实施例的摄像模组的视场范围的示意图。
图7是本公开实施例的摄像模组的视场范围的示意图。
图8是本公开实施例的图像采集控制装置的框图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
目前常用的第一种防串扰方案,是控制各个摄像模组完全错开曝光过程以实现防串扰。例如,参见图1所示,设置图像采集系统的单帧图像输出时间周期为T,单帧图像输出时间周期T包括对应于第一摄像模组工作的时间段T1和对应于第二摄像模组工作的时间段T2,由于不同摄像模组的曝光过程是完全错开的,两者之间不会产生串扰。理论上曝光时间越长图像曝光效果越好,这种防串扰方案在系统的单帧图像输出时间周期T内需要令各个摄像模组完全错开曝光,每个摄像模组的曝光时长受到较大限制,导致出现曝光量不足的情况,进而影响图像识别算法的性能。
对于红外摄像模组,目前常用的第二种防串扰方案是使用红外带宽滤光片防串扰。对于不同的红外摄像模组,分别使用不同波段的红外补光灯和对应波段的带通滤光片,用物理的方式阻隔光串扰。这种方式有可能会出现红暴现象,影响车内乘员的舒适度。
本公开实施例的目的在于提供一种可用于减少乘客舱内部不同摄像模组之间曝光串扰的新技术方案,不再存在上述缺陷。
为了便于理解本公开的方案,首先对本公开实施例的车辆的图像采集系统作简要介绍。
在一个实施例中,图像采集系统部署在乘员舱内,可以用于采集驾驶员的状态和乘员舱内整体图像。驾驶员的状态例如可以是驾驶员的眼部开合度、闭眼、视线方向、眨眼、唇动以及人眼注意力等。通过检测驾驶员的状态,可以在一定程度上提高驾驶安全性。乘员舱内整体图像可以反映乘员舱内全体乘员和乘员舱内物体的状态。可以对乘员舱内整体图像进行检测,例如乘员的位置检测、儿童识别、宠物识别、肢体关键点检测、头部姿态检测以及乘员状态检测等整体特征识别等。乘员舱内整体图像可以直接用于视频会议、即时通信、乘员舱内安全状态视频监控等。
参见图2所示,本公开实施例的图像采集系统包括第一摄像模组CM1和第二摄像模组CM2。
第一摄像模组CM1和第二摄像模组CM2可以是相机、镜头、摄像机、摄像头等能够采集图像或影像的设备。第一摄像模组CM1和第二摄像模组CM2可以包括图像传感器和补光灯。图像传感器用于采集图像或视频等信息。补光灯用于在光照条件不满足采集需求的情况下为图像传感器提供光源。图像传感器可以是可见光图像传感器,补光灯可以是可见光补光灯。图像传感器可以是红外图像传感器,补光灯可以是红外光补光。在一个实施例中,为了使图像采集系统可在各种光照条件下可靠工作,第一摄像模组CM1和第二摄像模组CM2可以是主动红外探测相机,可以在不同照明环境下感知到红外补光灯发射的经过物体反射的红外光线,并转换成可分辨的图像信号。
在一个实施例中,第一摄像模组CM1包括第一图像传感器和第一补光灯,第二摄像模组CM2包括第二图像传感器和第二补光灯。也就是说,为每个摄像模组配置单独的补光灯以覆盖各自图像传感器的视场区域,以实现更有针对性的补光效果。
在一个实施例中,第一摄像模组CM1和第二摄像模组CM2在乘员舱内的视场范围存在部分重叠,如果不对第一摄像模组CM1的补光过程进行控制,第一摄像模组CM1的补光过程会对第二摄像模组CM2的曝光过程产生干扰。
在一个实施例中,第一摄像模组CM1用于采集驾驶员的图像以进行驾驶员监控,即第一摄像模组CM1为驾驶员监控相机(Driver Monitoring Camera,DMS)。在一个实施例中,第二摄像模组CM2用于采集乘员舱内整体图像以进行乘员监控,即第二摄像模组CM2为乘员监控相机(Occupant Monitoring Camera,OMS)。第二摄像模组CM2的视场范围会大一些,可以涵盖第一摄像模组CM1的视场范围。也就是说,第一摄像模组CM1和第二摄像模组CM2在乘员舱内的视场范围存在重叠区域,在这种情况下,如果不对第一补光灯的补光过程进行控制,则第一补光灯的补光过程会对第二图像传感器的曝光过程产生干扰。
下面,对于本公开实施例的可用于防止第一摄像模组CM1对第二摄像模组CM2的曝光串扰的技术方案进行具体说明:
参见图2和图3所示,本公开实施例提供了一种第一摄像模组CM1,设置于车辆的乘员舱内。第一摄像模组CM1包括第一补光灯和第一图像传感器。第一补光灯被配置为在第一时间T21(也即时间段T1)开启并且在第二时间T22关闭,第一图像传感器被配置为在第一时间T21(也即时间段T1)内获取图像。其中,第二时间T22是根据第二摄像模组CM2的第二图像传感器的第一曝光时间确定的,第一曝光时间用于供第二图像传感器获取第二图像传感器的第二子视场的图像,第二子视场包括第二图像传感器的视场中被第一补光灯的预设照射范围覆盖到的部分。
参见图2和图3所示,本公开实施例提供了一种第二摄像模组CM2,设置于车辆的乘员舱内。第二摄像模组CM2包括第二补光灯和第二图像传感器。第二补光灯被配置为在第一时间T21和第二时间T22开启,第二图像传感器被配置为在第一时间T21获取第二图像传感器的第一子视场的图像,在第二时间T22获取第二图像传感器的第二子视场的图像。其中,第二子视场包括第二图像传感器的视场中被第一摄像模组CM1的第一补光灯的预设照射范围覆盖到的部分,第一补光灯被配置为在第二时间T22关闭。
在一个实施例中,第一摄像模组CM1的第一图像传感器被配置为在第一时间T21内获取图像。在一个实施例中,第一摄像模组CM1的第一补光灯被配置为在第一时间T21开启为第一图像传感器补光。
本公开实施例中,第二摄像模组CM2为具有分时曝光的多个子视场的摄像模组,其中包括第一子视场和第二子视场,第二子视场被第一摄像模组CM1的第一补光灯的预设照射范围覆盖。
本公开实施例中,第二时间T22是根据第二图像传感器的第一曝光时间确定的是指第二时间T22要完全覆盖第一曝光时间,第一曝光时间完全属于第二时间T22。本公开实施例中,第二时间T22的时长可以等于第一曝光时间的时长或者大于第一曝光时间的时长。
本公开实施例中,第二摄像模组CM2的第二图像传感器的第二子视场被第一摄像模组CM1的第一补光灯的预设照射范围覆盖,第二摄像模组CM2的第二图像传感器在第二时间T22内可以完成对于第二子视场的曝光,控制第一摄像模组CM1的第一补光灯在第二时间T22处于关闭状态,可以保证第一补光灯不会对第二图像传感器获取第二子视场图像的过程造成干扰。
在一个实施例中,第一图像传感器被配置为在第一时间T21内进行曝光,第二补光灯在第一时间T21处于开启状态可以对第一图像传感器进行整体性补光增强,在需要时可以调低第一补光灯的亮度以防止第一图像传感器过曝。通过这种方式,不需要调整第二补光灯在第一时间T21和第二时间T22内的亮度,只需要控制第一补光灯的开闭时间和设置第一补光灯在开启时的亮度,就可以防止第一补光灯对于第二图像传感器的干扰,并且可以保证不会造成第一传感器过曝。
在一个实施例中,第二摄像模组CM2为具有分时曝光的多个子视场的摄像模组。例如,第二图像传感器具有分时曝光的第一子视场和第二子视场,在一次完整的曝光拍摄过程中,第二图像传感器前一段曝光时间用于采集第一子视场的图像,后一段曝光时间用于采集第二子视场的图像,或者,第二图像传感器前一段曝光时间用于采集第二子视场的图像,后一段曝光时间用于采集第一子视场的图像。
在一个实施例中,第二图像传感器可以采用单行逐行曝光方式、双行逐行曝光方式、分部曝光方式等,以完成对多个子视场的分时曝光。
在一个实施例中,第二摄像模组CM2可以为卷帘式曝光摄像模组(RollingShutter Camera),卷帘式曝光摄像模组采用逐行曝光扫描方式读出图像,当上一行的所有像素同时曝光后,下一行的所有像素再开始曝光,直至所有像素行依次完成曝光。例如,第二图像传感器一共具有N行像素行,采用单行逐行曝光方式,曝光时是从第1行像素行到第N行像素行逐行进行曝光,N行像素行中的前N1个像素行对应于第一子视场且后N2个像素行对应于第二子视场,其中N、N1、N2均为正整数且N=N1+N2。例如,第二图像传感器一共具有M行像素行,采用单行逐行曝光方式,曝光时是从第1行像素行到第M行像素行逐行进行曝光,M行像素行中的前M1个像素行对应于第二子视场且后M2个像素行对应于第一子视场,其中M、M1、M2均为正整数且M=M1+M2。
在一个实施例中,第二摄像模组CM2用于采集乘员舱内整体图像以进行乘员监控,第二摄像模组CM2为卷帘式曝光摄像模组。卷帘式曝光摄像模组的曝光时间较长,整车运动场景下易出现运动模糊,但是图像噪声较低。乘员监控其主要用于两种场景,场景一可以包括乘员位置检测、儿童识别、宠物识别、肢体关键点检测、头部姿态检测、乘员状态检测等整体特征识别,图像运动模糊对此类算法造成的影响相对较小;场景二是直接将图像用于视频会议、即时通信、乘客舱内安全状态视频监控等,在场景二下人眼将直接看到第二摄像模组CM2拍摄的图像,若图像噪声较高会引起人眼主观上的不适。本公开实施例中采用卷帘式曝光摄像模组进行乘员监控,能够更好地满足乘员监控需求。
在一个实施例中,第一摄像模组CM1为全局式曝光摄像模组。
在一个实施例中,第一摄像模组CM1用于采集驾驶员的图像以进行驾驶员监控,第一摄像模组CM1为全局式曝光摄像模组。对于驾驶员状态监控,需要在整车行车震动场景下快速的检查驾驶员的疲劳状态。全局式曝光摄像模组的所有像素同时曝光,并且曝光时间较短,可以有效地避免图像运动模糊,输出满足人脸局部特征识别算法的图像,有助于更好地实现对于驾驶员的眼部开合度检测、轻微闭眼检测、闭眼检测、视线方向检测、眨眼检测、唇动检测、人眼注意力检测等功能。
本公开实施例中,第一摄像模组CM1和第二摄像模组CM2的安装位置可以根据具体实际需求设置。参见图4和图5所示,在一个实施例中,第一摄像模组CM1部署于驾驶员前方,以便于进行驾驶员监控。例如,将第一摄像模组CM1安装在汽车A柱处,或安装在转向管柱上罩盖处。在一个实施例中,第二摄像模组CM2部署于乘员舱前方,可以部署第二摄像模组CM2的位置高于第一摄像模组CM1的位置,以便于进行乘员舱前后排整体监控。参见图4和图5所示,在一个实施例中,第二摄像模组CM2可以安装后视镜位置处,例如安装在后视镜的上方。
本公开实施例中,第一摄像模组CM1和第二摄像模组CM2的安装角度可以根据实际需求进行设置,例如,参见图4和图5所示,第一摄像模组CM1和第二摄像模组CM2具有不同的安装角度。
在一个实施例中,第一补光灯的预设照射范围与第一图像传感器的视场匹配,可以为第一图像传感器的全视场范围提供补光且不会影响其他区域的光照情况。在一个实施例中,第二补光灯的预设照射范围与第二图像传感器的视场匹配,可以为第二图像传感器的全视场范围提供补光且不会影响其他区域的光照情况。
在一个实施例中,第一补光灯在乘员舱内的预设照射范围与第二图像传感器在乘员舱内的视场至少存在部分重叠。第二子视场包括第二图像传感器的视场中被第一补光灯的预设照射范围覆盖到的部分,也就是说,第一补光灯在乘员舱内的预设照射范围与第二图像传感器在乘员舱内的视场的重叠区域属于第二图像传感器的第二子视场。第一曝光时间用于供第二图像传感器获取第二子视场的图像,如果第一补光灯在第一曝光时间内开启,则第一补光灯会对第二图像传感器对该重叠区域的曝光产生干扰,导致第二图像传感器的两个子视场的曝光程度不同。
第二时间T22是根据第二摄像模组CM2的第二图像传感器的第一曝光时间确定的,第二时间T22完全覆盖第一曝光时间,控制第一摄像模组CM1的第一补光灯在第二时间T22内关闭,可以保证在第二摄像模组CM2的第二图像传感器获取第二子视场的图像的过程中,第一补光灯处于关闭状态不会对第二图像传感器造成干扰。
在一个实施例中,参见图4和图5所示,第一摄像模组CM1为DMS且部署在驾驶员正前方,第二摄像模组CM2为OMS且部署在后视镜位置处,第二摄像模组CM2的位置高于第一摄像模组CM1的位置,也就是说第二摄像模组CM2的安装位置更靠近车顶。
在第一方向(也即车顶-车底的上下方向)上,第一图像传感器的视场上边缘与第一方向的上夹角小于或等于第二图像传感器的视场上边缘与第一方向的上夹角,第一图像传感器的视场下边缘与第一方向的下夹角大于第二图像传感器的视场下边缘与第一方向的下夹角。参见图6所示,第一图像传感器的视场上边缘L11与第一方向的上夹角小于或等于第二图像传感器的视场上边缘L21与第一方向的上夹角,第一图像传感器的视场下边缘L12与第一方向的下夹角大于第二图像传感器的视场下边缘L22与第一方向的下夹角。
从图5中可以看出,第一图像传感器和第二图像传感器在乘员舱内的视场范围存在重叠区域,第一补光灯的预设照射范围与第一图像传感器的视场匹配,第二补光灯的预设照射范围与第二图像传感器的视场匹配,在这种情况下,如果不对第一补光灯的补光过程进行控制,则第一补光灯的补光过程会对第二图像传感器的曝光过程产生干扰。
参见图3-图6所示,假设图像采集系统的单帧图像输出时间周期为T,单帧图像输出时间周期T可以在整体上对应于第二摄像模组CM2工作的时间段T2,单帧图像输出时间周期T的一部分可以对应于第一摄像模组CM1工作的时间段T1。
在第一方向上,第二图像传感器用于从上至下逐行进行曝光或者从下至上逐行进行曝光。第二图像传感器的曝光时间包括第一时间T21和第二时间T22。第一时间T21用于对第二图像传感器的第一子视场(角B对应的子视场)进行图像采集,第二时间T22用于对第二图像传感器的第二子视场(角A对应的子视场)进行图像采集,第一子视场和第二子视场以虚拟视场分界线LD分界。
第二子视场包括了被第一补光灯的预设照射范围覆盖到的视场部分,也就是说,在第二时间T22内,第二图像传感器会完成对其视场中的被第一补光灯的预设照射范围覆盖到的视场部分的图像采集。
在第二图像传感器对第二子视场进行图像采集期间(对应于第二时间T22),禁止第一补光灯进行补光,也就是关闭第一补光灯,以免第一补光灯在第二图像传感器对第二子视场进行图像采集的过程中照射到第二子视场,对第二图像传感器造成干扰。
对于第一摄像模组CM1来说,第一补光灯被配置为在第二时间T22关闭,第一补光灯被配置为在时间段T1(对应于第一时间T21)开启同时第一图像传感器被配置为在时间段T1(对应于第一时间T21)进行图像采集。从而在不对第二摄像模组CM2造成干扰的前提下,保证第一摄像模组CM1可以进行拍摄工作。
在本公开实施例中,在空间维度上调整两个摄像模组的补光、曝光时序,达到防止第一摄像模组对第二摄像模组串扰的目的。同时,在时间维度上两个摄像模组存在同时曝光的时间段(第一时间T21),使得摄像模组可以获得充足曝光时间,输出高质量图像。
从图3中可以看出,本公开实施例的防串扰方案对于摄像模组曝光时长的限制较小,第二摄像模组CM2可以充分利用单帧图像输出时间周期T的时长进行曝光,获取更高质量的图像。
在本公开实施例中,第二摄像模组CM2的第二子视场的范围可以根据实际情况预先进行标定。下面参照图7所示介绍一种标定方法:
第一摄像模组CM1为DMS且部署在驾驶员正前方,第二摄像模组CM2为OMS且部署在后视镜位置处,第二摄像模组CM2的位置高于第一摄像模组CM1的位置,也就是说第二摄像模组CM2更靠近车顶。
在第一方向上,第二图像传感器从上至下进行逐行曝光或者从下至上进行逐行曝光。第一图像传感器的视场上边缘L11与第一方向的上夹角小于或等于第二图像传感器的视场上边缘L21与第一方向的上夹角,第一图像传感器的视场下边缘L11与第一方向的下夹角大于第二图像传感器L22的视场下边缘与第一方向的下夹角。
第一摄像模组CM1为DMS,第二摄像模组CM2为OMS,两者共同的感兴趣区域(Regionof Interest,ROI)为驾驶员面部。基于该ROI区域(驾驶员面部),确定该ROI区域的最前端所在的第一方向直线与第一图像传感器的视场下边缘L12的交点D,确定从第二图像传感器至交点D的虚拟视场分界线LD,则第一子视场为第二图像传感器的视场下边缘L22与虚拟视场分界线LD共同限定的视场区域,第二子视场为第二图像传感器的视场上边缘L21与虚拟视场分界线LD共同限定的视场区域。
基于上述方式确定虚拟视场分界线LD进而标定第二图像传感器的第二子视场,保证第二摄像模组在拍摄到驾驶员面部时,第一摄像模组的第一补光灯是关闭的,第二摄像模组对驾驶员面部的图像采集不会被第一摄像模组的第一补光灯所干扰。
本公开实施例提供了一种图像采集控制方法,包括步骤S11-S12。
步骤S11,获取第二摄像模组的曝光时间信息。
所述曝光时间信息包括第一曝光时间。所述第一曝光时间用于供第二图像传感器获取第二图像传感器的第二子视场的图像。所述第二子视场包括第二图像传感器的视场中被第一补光灯的预设照射范围覆盖到的部分。
步骤S12,控制第一补光灯在第一时间开启并且在第二时间关闭,控制第一图像传感器在第一时间内获取图像。
可选地,第二补光灯在第一时间和第二时间开启,第二图像传感器在第一时间获取第二图像传感器的第一子视场的图像,在第二时间获取中第二图像传感器的第二子视场的图像。
本公开实施例提供了一种图像采集控制方法,包括步骤S21-S22:
步骤S21,接收帧时间同步触发信息。
步骤S22,根据所述帧时间同步触发信息和预设的时间参数信息控制第一摄像模组和第二摄像模组的工作状态为:
第二补光灯在第一时间和第二时间开启,第二图像传感器在第一时间获取第二图像传感器的第一子视场的图像,在第二时间获取中第二图像传感器的第二子视场的图像;
第一补光灯在第一时间开启且在第二时间关闭,第一图像传感器在第一时间内获取图像;
其中,第二子视场包括第二图像传感器的视场中被第一摄像模组的第一补光灯的预设照射范围覆盖到的部分。
在一个实施例中,提供了一种图像采集系统,该图像采集系统包括前述任一实施例的第一摄像模组和前述任一实施例的第二摄像模组。
在一个实施例中,提供了一种车辆,该车辆包括前述任一实施例的图像采集系统。
在一个实施例中,如图8所示,本实施例介绍了一种图像采集控制装置,包括处理器410和存储器420,所述存储器420存储可在所述处理器410上运行的程序或指令,所述程序或指令被所述处理器410执行时实现如本公开任一实施例所述的图像采集控制方法的步骤。
在一个实施例中,本申请还介绍了一种计算机程序产品,包括计算机程序/指令,其特征在于,当所述计算机程序/指令被处理器执行时实现如上述任一项实施例中的图像采集控制方法。
本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一个实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
这里参照根据本实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。
Claims (17)
1.一种第一摄像模组,设置于车辆的乘员舱内,包括第一补光灯和第一图像传感器;其特征在于,
所述第一补光灯被配置为在第一时间开启,在第二时间关闭;
所述第一图像传感器被配置为在所述第一时间内获取图像;
其中,所述第二时间是根据第二摄像模组的第二图像传感器的第一曝光时间确定的,所述第一曝光时间用于供所述第二图像传感器获取所述第二图像传感器的第二子视场的图像;所述第二子视场包括所述第二图像传感器的视场中被所述第一补光灯的预设照射范围覆盖到的部分。
2.根据权利要求1所述的第一摄像模组,其特征在于,所述第一补光灯的预设照射范围与所述第一图像传感器的视场匹配,和/或,所述第一补光灯在乘员舱内的预设照射范围与所述第二图像传感器在乘员舱内的视场至少存在部分重叠。
3.根据权利要求1所述的第一摄像模组,其特征在于,所述第一摄像模组为全局式曝光摄像模组,和/或,所述第二摄像模组为具有分时曝光的多个子视场的摄像模组。
4.根据权利要求1所述的第一摄像模组,其特征在于,所述第一摄像模组为全局式曝光摄像模组,和/或,所述第二摄像模组为卷帘式曝光摄像模组。
5.根据权利要求1所述的第一摄像模组,其特征在于,所述第一摄像模组和所述第二摄像模组为红外摄像模组。
6.根据权利要求1所述的第一摄像模组,其特征在于,所述第一摄像模组部署在驾驶员前方,和/或,所述第二摄像模组部署在乘员舱前方且高于所述第一摄像模组的位置。
7.根据权利要求1所述的第一摄像模组,其特征在于,所述第一摄像模组用于采集驾驶员的图像,所述第二摄像模组用于采集乘员舱整体图像;所述第二图像传感器的视场还包括第二子视场;
在第一方向上,第一图像传感器的视场上边缘与第一方向的上夹角小于或等于第二图像传感器的视场上边缘与第一方向的上夹角,第一图像传感器的视场下边缘与第一方向的下夹角大于第二图像传感器的视场下边缘与第一方向的下夹角;
在第一方向上,第二图像传感器从上至下进行逐行曝光或者从下至上进行逐行曝光;
基于第一图像传感器和第二图像传感器的共同的感兴趣区域,确定所述感兴趣区域的最前端所在的第一方向直线与第一图像传感器的视场下边缘的交点,确定从第二图像传感器至交点的虚拟视场分界线;
第一子视场为第二图像传感器的视场下边缘与虚拟视场分界线共同限定的视场区域,所述第二子视场为第二图像传感器的视场上边缘与虚拟视场分界线共同限定的视场区域。
8.一种第二摄像模组,设置于车辆的乘员舱内,包括第二补光灯和第二图像传感器;其特征在于,
所述第二补光灯被配置为在第一时间和第二时间开启;
所述第二图像传感器被配置为在所述第一时间获取所述第二图像传感器的第一子视场的图像,在所述第二时间获取所述第二图像传感器的第二子视场的图像;
其中,所述第二子视场包括所述第二图像传感器的视场中被第一摄像模组的第一补光灯的预设照射范围覆盖到的部分,所述第一补光灯被配置为在所述第二时间关闭。
9.根据权利要求8所述的第二摄像模组,其特征在于,所述第一摄像模组的第一图像传感器被配置为在所述第一时间内获取图像。
10.根据权利要求8所述的第二摄像模组,其特征在于,所述第一补光灯的预设照射范围与第一图像传感器的视场匹配,和/或,所述第一补光灯在乘员舱内的预设照射范围与所述第二图像传感器在乘员舱内的视场至少存在部分重叠。
11.根据权利要求8所述的第二摄像模组,其特征在于,所述第一摄像模组为全局式曝光摄像模组,和/或,所述第二摄像模组为具有分时曝光的多个子视场的摄像模组。
12.根据权利要求8所述的第二摄像模组,其特征在于,所述第一摄像模组为全局式曝光摄像模组,和/或,所述第二摄像模组为卷帘式曝光摄像模组。
13.根据权利要求8所述的第二摄像模组,其特征在于,所述第一摄像模组和所述第二摄像模组为红外摄像模组。
14.根据权利要求8所述的第二摄像模组,其特征在于,所述第一摄像模组部署在驾驶员前方,和/或,所述第二摄像模组部署在后视镜位置。
15.根据权利要求8所述的第二摄像模组,其特征在于,所述第一摄像模组用于采集驾驶员的图像,所述第二摄像模组用于采集乘员舱整体图像;
在第一方向上,第一图像传感器的视场上边缘与第一方向的上夹角小于或等于第二图像传感器的视场上边缘与第一方向的上夹角,第一图像传感器的视场下边缘与第一方向的下夹角大于第二图像传感器的视场下边缘与第一方向的下夹角;
在第一方向上,第二图像传感器从上至下进行逐行曝光或者从下至上进行逐行曝光;
基于第一图像传感器和第二图像传感器的共同的感兴趣区域,确定所述感兴趣区域的最前端所在的第一方向直线与第一图像传感器的视场下边缘的交点,确定从第二图像传感器至交点的虚拟视场分界线;
所述第一子视场为第二图像传感器的视场下边缘与虚拟视场分界线共同限定的视场区域,所述第二子视场为第二图像传感器的视场上边缘与虚拟视场分界线共同限定的视场区域。
16.一种图像采集系统,其特征在于,包括如权利要求1-7中任一项所述的第一摄像模组和如权利要求8-15中任一项所述的第二摄像模组。
17.一种车辆,其特征在于,包括如权利要求16所述的图像采集系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311481925.8A CN117615232A (zh) | 2023-11-08 | 2023-11-08 | 摄像模组、图像采集系统和车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311481925.8A CN117615232A (zh) | 2023-11-08 | 2023-11-08 | 摄像模组、图像采集系统和车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117615232A true CN117615232A (zh) | 2024-02-27 |
Family
ID=89952567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311481925.8A Pending CN117615232A (zh) | 2023-11-08 | 2023-11-08 | 摄像模组、图像采集系统和车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117615232A (zh) |
-
2023
- 2023-11-08 CN CN202311481925.8A patent/CN117615232A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6638851B1 (ja) | 撮像装置、撮像システム、撮像方法および撮像プログラム | |
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
EP2583847B1 (de) | Vorrichtung und Verfahren zur Reduzierung der Blendwirkung | |
EP2434759B1 (en) | Monitoring apparatus | |
US20200112666A1 (en) | Image processing device, imaging device, image processing method, and program | |
US20190092239A1 (en) | Image-pickup apparatus, image-pickup display method, and image-pickup display program | |
CN110798655A (zh) | 消除移动载具a柱盲区的行车图像系统及其图像处理方法 | |
US20170136962A1 (en) | In-vehicle camera control device | |
WO2018008426A1 (ja) | 信号処理装置および方法、並びに撮像装置 | |
KR102493027B1 (ko) | 촬상 소자 및 그 구동 방법, 그리고 전자 기기 | |
US10455159B2 (en) | Imaging setting changing apparatus, imaging system, and imaging setting changing method | |
CN107950020B (zh) | 影像记录装置 | |
JP2009035162A (ja) | 後方視認装置 | |
CN117615232A (zh) | 摄像模组、图像采集系统和车辆 | |
US20230171510A1 (en) | Vision system for a motor vehicle | |
US20200226975A1 (en) | Blind spot reduction system | |
WO2018220993A1 (ja) | 信号処理装置、信号処理方法及びコンピュータプログラム | |
US11778316B2 (en) | Imaging apparatus | |
US11546523B2 (en) | Image processing system, in-vehicle camera system with image processing system, and vehicle with camera system | |
CN112602318B (zh) | 车载用拍摄装置及车载用图像识别装置 | |
JP2008018870A (ja) | 車両用防眩ミラーの制御方法及び制御装置 | |
CN113411476A (zh) | 图像传感器控制装置、方法、存储介质和可移动对象 | |
CN116389919A (zh) | 行泊一体相机的图像切换方法、装置、车辆及存储介质 | |
JPH09142211A (ja) | 車両のビュー装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |