CN106170057A - 车载相机设备 - Google Patents

车载相机设备 Download PDF

Info

Publication number
CN106170057A
CN106170057A CN201610340096.5A CN201610340096A CN106170057A CN 106170057 A CN106170057 A CN 106170057A CN 201610340096 A CN201610340096 A CN 201610340096A CN 106170057 A CN106170057 A CN 106170057A
Authority
CN
China
Prior art keywords
image
control circuit
circuit plate
camera model
relevant treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610340096.5A
Other languages
English (en)
Other versions
CN106170057B (zh
Inventor
村尾俊和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN106170057A publication Critical patent/CN106170057A/zh
Application granted granted Critical
Publication of CN106170057B publication Critical patent/CN106170057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了一种车载相机设备，该车载相机设备包括相机模块、控制电路板、壳体、支架和罩。壳体容纳相机模块和控制电路板。支架将壳体固定至宿主车辆的前挡风玻璃。罩布置成覆盖相机模块。相机模块捕获宿主车辆前方区域的图像。相机模块生成作为捕获图像的多个线性图像，在所述多个线性图像中，亮度与输出像素值之间的关系是固定的。相机模块还在预定成像模式下基于线性图像生成高动态范围图像，在该高动态范围图像中，亮度与输出像素值之间的关系根据亮度区域而不同。控制电路板使得能够基于捕获图像执行多种类型的驾驶相关处理。

Description

车载相机设备
技术领域
本公开涉及车载相机设备。
背景技术
已知下述技术：其中，在已经通过成像得到的线性图像(即，在该图像中，对于全部亮度区域而言输出像素值与亮度之间的关系是固定的)上执行灰度转换处理。由此得到其中的对象的明度被优化的非线性图像(参照JP-A-2007-311895)。由于在由车载设备执行的处理中所使用的捕获图像被转换为这种非线性图像，因此认为可以优化识别对象的明度并且可以提高处理的精确度。
然而，根据由车载设备执行的上述处理的内容、周围的环境等，使用线性图像优于使用非线性的图像的情况是可能的。在这种情况下，当在其中生成线性图像的模式与其中生成非线性图像的模式之间执行切换时可能发生图像生成的延迟。因此，可能损害处理的实时性。
发明内容
因而，期望能够基于捕获到的宿主车辆前方区域的图像以高精确度实时地执行处理。
本公开的示例性实施方式提供了一种车载相机设备，包括：相机模块，该相机模块捕获宿主车辆前方区域的图像并生成多个线性图像，而且还在预定成像模式下基于线性图像生成高动态范围(HDR)图像，其中，在多个线性图像中，亮度与输出像素值之间的关系是固定的，在该高动态范围图像中，亮度与输出像素值之间的关系根据亮度区域而不同；控制电路板，该控制电路板使得能够基于捕获图像执行多种类型的驾驶相关处理；壳体，该壳体容纳相机模块和控制电路板；支架，该支架是用于将壳体固定至宿主车辆的前挡风玻璃的构件，并且在支架中形成有开口从而使得在壳体由构件固定至前挡风玻璃的状态下壳体与前挡风玻璃彼此相对；以及罩，该罩布置成覆盖相机模块。
根据这种构型，当对宿主车辆前方区域执行成像时车载相机设备生成多个线性图像。另外，车载相机设备还在预定成像模式下基于线性图像生成HDR图像。因此，即使在生成HDR图像的模式与不生成HDR图像的模式之间切换成像模式时，也可以在无延迟的情况下生成捕获图像。可以选择性地使用线性图像和HDR图像，由此提高了驾驶相关处理的精确度。因此，可以基于捕获到的宿主车辆周边的图像以高精确度实时地执行处理。
附图说明
在附图中：
图1是根据第一实施方式的相机设备的截面图；
图2是根据第一实施方式的相机设备的分解立体图；
图3是根据第一实施方式的图像传感器的分解立体图；
图4是根据第一实施方式相机模块和控制电路板的框图；
图5是HDR图像特征的示意图；
图6是根据第一实施方式的成像处理的流程图；以及
图7是根据第二实施方式的成像处理的流程图。
具体实施方式
将在下文参照附图对本公开适用的实施方式进行描述。
【第一实施方式】
【构型的描述】
在图1和图2中示出的相机设备1在内侧(车辆驾驶室侧)附接至车辆的前挡风玻璃2。相机设备1设置在前挡风玻璃2的上部的中央处(靠近后视镜)。相机设备1包括图像传感器11、支架12、罩13、第一热传导构件14、第二热传导构件15、盖16、换气扇17和热线18。图1和图2示出了前挡风玻璃2的一部分。为了便于描述，在图2中省略了在图1中示出的换气扇17和热线18。在下文中，安装有相机设备1的车辆称为宿主车辆。
如在图3中所示，图像传感器11包括相机模块111、电连接配线112、控制电路板113、壳体114和下盖115。
相机模块111是用于捕获宿主车辆前方的或车辆前侧方的场景的图像的装置。相机模块111包括透镜111a、透镜筒部111b和图像传感器(未示出)。图像传感器在透镜筒部111b的内部设置在透镜111a的光轴上。透镜筒部111b为将透镜111a保持在其中的圆筒状部分。图像传感器由已知的阵列式图像传感器和红蓝绿青(RGBC)拜尔滤波器构成。
在阵列式图像传感器中，用于采集光学图像的光接收元件布置成阵列。光接收元件为例如互补型金属氧化物半导体(CMOS)传感器或电荷耦合装置(CCD)传感器。RGBC拜尔滤波器为一组多个类型的、各自具有不同的通频带的滤光器。图像传感器构造成使得每个光接收元件通过构成RGBC拜尔滤波器的滤光器中的任一个滤光器接收入射光。由光接收元件接收的光的波段是这样的：对至少与可见光相对应的波长敏感。
电连接配线112是用于将相机模块111与控制电路板113电连接的部件(例如柔性印制板)。
控制电路板113为板状部件，其包括已知的微型计算机。微型计算机主要包括中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。
壳体114为底部敞开的容器状构件，并且壳体114具有侧壁和顶壁。壳体114容纳相机模块111、电连接配线112和控制电路板113并且从上方覆盖这些部件。另外，壳体114的挡风玻璃侧壁部1141中形成有凹口部1142。凹口部1142设置成使相机模块111的透镜筒部111b能够暴露在前挡风玻璃2一侧。在此，挡风玻璃侧壁部1141为壳体114的顶壁的下述部分：在通过稍后描述的方法将壳体114由支架12固定至前挡风玻璃2的状态下，所述部分在壳体114的内部设置成比相机模块111更朝向前挡风玻璃2一侧。
下盖115是用于封闭壳体114的底部的构件。
在图1和图2中示出的支架12是由树脂构成的大致板状的构件。在支架12的中央部分中形成有开口部12a，并且在支架12的围绕开口部12a的区域中形成有凹口部12b从而使得支架12形成为U形形状。支架12用于将图像传感器11的壳体114固定至前挡风玻璃2。也就是说，支架12的表面、即垂直于厚度方向的两个面中的一个面固定(在本示例中为粘附)至前挡风玻璃2。
壳体114组装至固定的支架12，由此将壳体114固定至前挡风玻璃2。在壳体114由支架12以这种方式固定至前挡风玻璃2的状态下，由于支架12中形成有开口部12a，因此壳体114与前挡风玻璃2彼此相对。本文中的术语“相对”是指壳体114和前挡风玻璃2面向彼此并且两者之间没有任何部件。另外，支架12的凹口部12b定位在从壳体114暴露出来的相机模块111的前方。凹口部12b形成为梯形形状，其中，梯形形状的宽度在相机模块111的成像方向上朝向前侧变宽以与相机模块111的视角范围相对应。由此确保了相机模块111的视场。
罩13是由树脂构成的构件。罩13具有梯形底表面以及在梯形底表面的除基部侧之外的两侧竖立的两个侧表面。罩13以配装在支架12的凹口部12b中的方式使用。
根据本实施方式，壳体114组装至已经配装有罩13的支架12。因此，形成罩13覆盖相机模块111的透镜筒部111b的构型。在此，罩13布置成使得罩13的底表面定位在相机模块111的透镜筒部111b的下方。以此方式布置的罩13使得能够阻止透镜111a捕获相机模块111视角范围外的场景。
第一热传导构件14为具有等于或大于1[W/m.K]并且等于或小于50[W/m.K]的热传导系数的硅基片构件。第一热传导构件14具有粘着性和粘附特性。也就是说，第一热传导构件14粘附至已经与第一热传导构件14相接触的物体。第一热传导构件14设置成在形成于支架12中的开口部12a中与壳体114和前挡风玻璃2相接触。
根据本实施方式，首先，第一热传导构件14通过粘附而附接至壳体114的挡风玻璃侧壁部1141。然后，壳体114由支架12固定至前挡风玻璃2。因此，第一热传导构件14与前挡风玻璃2紧密接触并且粘附至前挡风玻璃2。在此，第一热传导构件14的尺寸和形状类似于壳体114的挡风玻璃侧壁部1141的顶表面的尺寸和形状。因此，第一热传导构件14与区域1141a相接触，该区域1141a定位成比挡风玻璃侧壁部1141的凹口部1142更朝向相机模块111的成像方向上的后侧。另外，第一热传导构件14还与挡风玻璃侧壁部1141的从两侧夹置凹口部1142的区域1141b相接触。
第二热传导构件15为由与第一热传导构件14的材料相同的材料构成的片构件。第二热传导构件15定位在支架12与前挡风玻璃2之间，并且设置成与支架12和前挡风玻璃2相接触。根据本实施方式，第二热传导构件15的形状和尺寸类似于支架12的顶表面的形状和尺寸。第二热传导构件15粘附至支架12的整个顶表面。通过使用粘合剂，第二热传导构件15固定至支架12和前挡风玻璃2。
根据本实施方式，在第二热传导构件15与前挡风玻璃2之间使用黑色陶瓷部件3将第二热传导构件15附接至前挡风玻璃2以使得用于将第二热传导构件15固定至前挡风玻璃2的粘合剂等从宿主车辆的外部观察时不可见。在此，在黑色陶瓷部件3中形成有梯形凹口部3a，以不阻挡相机模块111的视场。凹口部3a的梯形形状对应于相机模块111的视角范围。
盖16为顶部敞开的容器状构件，并且盖16具有侧表面和底表面。盖16从下方覆盖图像传感器11、支架12和罩13。盖16用于使这些部件从宿主车辆的驾驶室的内部不可见。根据本实施方式，在盖16的底表面上形成有通孔16a。
换气扇17是用于交换存在于盖16内部的空气的设备。换气扇17以配装至形成于盖16中的通孔16a的方式固定至盖16。
热线18对前挡风玻璃2的定位至相机模块111的透镜11a的前方的部分进行加热。根据本实施方式，热线18是铜线。热线18的两端连接至布置在宿主车辆中的电源(未示出)。热线18通过传导产生热。
在现有技术文献中公开了图像传感器的详细结构，比如日本公开特许公报No.2013-199973、No.2014-215644以及No.2014-260494。
接着，将对相机模块111的电气配置以及控制电路板113进行描述(图4)。
相机模块111包括成像器30、图像I/F 31等。
成像器30包括以上所述的图像传感器、放大单元、模拟-数字(A/D)转换单元、图像处理单元等。
当图像传感器捕获图像时，放大单元以预定增益对模拟信号(图像信号)进行放大。模拟信号表示从图像传感器输出的捕获图像中的像素的亮度(明度)。另外，A/D转换单元将表示放大图像信号的模拟值转换为数字值(构成捕获图像的像素的输出像素值)。因此，生成线性图像。线性图像是如下捕获图像：其中，对于所有亮度区域而言亮度与输出像素值之间的关系是固定(即，线性的)的。在线性图像中，亮度与输出像素值之间的关系由所有亮度区域之间通用的线性函数表示。
另外，图像处理单元合成多个线性图像，由此生成高动态范围(HDR)图像，也就是具有扩大的动态范围的捕获图像。在HDR图像中，亮度与输出像素值之间的关系根据亮度区域而不同。
图5示出了在HDR图像中的亮度与输出像素值之间的关系。该关系由具有在低亮度区域、中亮度区域以及高亮度区域中的斜率(或者倾斜度或者梯度)各不相同的多个直线段的折线(即，包含有在这三个区域中具有不同斜率的三种类型的直线段L1、L2和L3的图形)表示。这三个区域中，低亮度区域的分辨率最精细，而高亮度区域的分辨率最粗糙。因此，可以输出很宽的亮度范围。在图5中示出的亮度与输出像素值之间的关系是本实施方式中的示例。例如，该关系可以由包含有具有不同斜率的两种或四种或更多种直线段的图形来表示。替代性地，该关系可以由对数特性(曲线)来表示。
在相机模块111中，单个成像正时(timing)执行曝光X次(如三次)。成像器30基于在相应的曝光下从相机模块111输出的模拟信号生成具有不同亮度分辨率的线性图像。也就是说，成像器30单个成像正时生成具有不同亮度分辨率的X个线性图像。
另外，成像器30设置有线性模式和HDR模式。在线性模式下，成像器30每个成像正时生成以上所述的X个线性图像。同时，在HDR模式下，成像器30生成X个线性图像并且还生成通过将这些线性图像组合而得到HDR图像。
图像I/F 31向控制电路板113输出由成像器30生成的捕获图像的图像数据。
控制电路板113包括控制单元20、通信单元21、存储器22等。
控制单元20主要由已知的微型计算机构成。微型计算机包括CPU、ROM、RAM、连接这些部件的总线等。控制单元20基于存储在ROM中的程序对相机设备1执行综合控制。
通信单元21经由车载局部区域网(LAN)5——比如控制器区域网(CAN)——执行与安装在宿主车辆中的另一个电子控制单元(ECU)6的通信。
存储器22为对由相机模块111等捕获到的图像的图像数据进行存储的部分。存储器22由RAM等构成。
【处理】
根据第一实施方式的相机设备1使用相机模块111以周期性到达的成像正时捕获宿主车辆前方区域的图像。然后，基于捕获图像，控制电路板113或其他的ECU 6执行多种类型的驾驶相关处理。在每个类型的驾驶相关处理中，对捕获图像执行图像识别，并且随后基于图像识别的结果执行与宿主车辆的驾驶相关处理。作为多种类型的驾驶相关处理的示例，可以考虑驾驶辅助处理、能够自动巡航的处理等。更具体地，例如，可以考虑检测其他交通工具、行人等并且执行发出警告、车速控制、转向角控制等以避免碰撞的处理。此外，可以考虑检测从车道偏离的处理、控制前灯方向等的处理等。
另外，在驾驶相关处理中根据所述处理的内容使用线性图像和HDR图像中的任一者。然后，将对成像处理进行描述，在成像处理中，在周期性成像正时到达时对宿主车辆前方区域的图像进行捕获并且生成在驾驶相关处理中使用的所捕获图像(图6)。
在步骤S200中，在相机设备1中的控制电路板113的控制单元20更新帧计数器并且继续进行到步骤S205。帧计数器指示要使用捕获图像的驾驶相关处理。例如，帧计数器在0至n(n是等于或大于1的整数)之间循环变化。帧计数器的数字分别与驾驶相关处理相关联。
在步骤S205中，控制单元20判定与更新的帧计数器的值相对应的驾驶相关处理是否为需要HDR图像的处理。当在步骤S205处判定为“是”时，控制单元20继续进行到步骤S210。当在步骤S205处判定为“否”时，控制单元20继续进行到步骤S215。
在S210中，控制单元20使用相机模块111在HDR模式下执行成像并且生成HDR图像。控制单元20随后使得能够基于HDR图像执行驾驶相关处理。控制单元20结束本处理。具体地，例如，当控制电路板113执行驾驶相关处理时，控制单元20可以向执行驾驶相关处理的部分供应HDR图像，并且使该部分开始进行驾驶相关处理。另外，例如，当其他的ECU 6执行驾驶相关处理时，控制单元20可以将HDR图像经由车载LAN 5传送至ECU 6，并且使ECU 6执行驾驶相关处理。
在步骤S215中，控制单元20使用相机模块111在线性模式下执行成像并且生成线性图像。控制单元20随后使得能够基于线性图像以与步骤S210类似的方式执行驾驶相关处理。控制单元20结束本处理。
作为基于HDR图像执行的驾驶相关处理，例如，可以考虑伴随着根据捕获图像执行对前方车辆上的灯的照明状态的图像识别处理的处理。另外，作为基于线性图像执行的驾驶相关处理，例如，可以考虑伴随着根据捕获图像执行对白色标线、行人、交通工具等的图像识别处理的处理。
【效果】
在相机设备中，当在线性模式与HDR模式之间执行切换时，在生成捕获图像方面发生延迟，驾驶相关处理的实时性可能会受到损害。
在这方面，根据第一实施方式的相机设备1以周期性到达的成像正时生成X个线性图像。在HDR模式下，相机设备1还基于线性图像生成HDR图像。因此，即使当成像模式被切换时，仍可以在无延迟的情况下生成线性图像或HDR图像。不损害驾驶相关处理的实时性。另外，可以选择性地使用这些捕获图像，并且可以提高驾驶相关处理的精确度。因此，可以基于所捕获到的宿主车辆周边的图像而以高精确度并且实时地执行驾驶相关处理。
另外，驾驶相关处理为：例如，检测另一个车辆、行人等并且执行发出警告、车速控制、转向角控制等以避免碰撞的处理；检测相对于行车道偏离的处理；以及控制前灯方向等的处理。因此，可以以高精确度并且实时地执行这些处理。
另外，相机设备1的成像模式根据驾驶相关处理的内容在线性模式与HDR模式之间进行切换，其中，在线性模式下仅生成线性图像，而在HDR模下生成线性图像和HDR图像。因此，可以使用合适的捕获图像来执行驾驶相关处理。驾驶相关处理可以以高精确度执行。
【第二实施方式】
接着，将对根据第二实施方式的相机设备1进行描述。根据第二实施方式的相机设备1以与根据第一实施方式相似的方式被构造。然而，成像处理的内容有一部分是不同的。下文将主要描述差异。
具体地，根据第一实施方式，相机设备1以基于接下来将要执行的驾驶相关处理的成像模式执行成像。相机设备1随后生成适于驾驶相关处理的捕获图像。相反地，根据第二实施方式，相机设备1以基于宿主车辆前方区域中的明度水平差异的成像模式执行成像并且生成捕获图像。下文将对根据第二实施方式的成像处理进行描述。
在步骤S300中，在相机设备1中的控制电路板113的控制单元20使用相机模块111对宿主车辆前方区域执行成像并且生成线性图像。控制单元20随后基于输出像素值(步骤S305)测量线性图像的动态范围(来自于图像传感器的图像信号的最小值与最大值之比)并且继续进行到步骤S310。
在步骤S315中，控制单元20判定动态范围是否超过预定阈值(宿主车辆前方区域的明度水平差异是否较大)。当在步骤S315处判定为“是”时，控制单元20继续进行到步骤S320。当在步骤S315处判定为“否”时，控制单元20继续进行到步骤S325。
在步骤S320中，控制单元20使用相机模块111在HDR模式下以与在根据第一实施方式的成像处理中的步骤S210类似的方式执行成像。控制单元20随后使得能够基于HDR图像执行驾驶相关处理并且结束本处理。
同时，在步骤S325中，控制单元使用相机模块111在线性模式下以与在根据第一实施方式的成像处理中的步骤S215类似的方式执行成像。控制单元20随后使得能够基于线性图像执行驾驶相关处理并且结束本处理。
【效果】
当宿主车辆前方区域的明度水平差异较大时，根据第二实施方式的相机设备1的成像模式是生成线性图像和HDR图像的HDR模式。因此，可以防止基于灰度变差的捕获图像执行驾驶相关处理。可以以高精确度执行驾驶相关处理。
【其他实施方式】
上文描述了本公开的实施方式。然而，本公开不局限于以上所述的实施方式。各种其它实施方式也是可能的。
(1)在根据第一实施方式和第二实施方式的相机设备1中，以周期性成像正时执行成像。然而，本公开不局限于此。可以以不同正时(例如，以驾驶相关处理所需要的正时)执行成像。甚至可以在这些情况下实现类似的效果。
(2)在根据第一实施方式的相机设备1中，成像模式根据驾驶相关处理的内容在线性模式与HDR模式之间进行切换。在根据第二实施方式的相机设备1中，成像模式基于宿主车辆前方区域中的明度水平差异而在线性模式与HDR模式之间进行切换。然而，本公开不局限于此。成像模式可以基于各种因素在线性模式与HDR模式之间进行切换。甚至可以在这些情况下实现类似的效果。
(3)根据第一实施方式和第二实施方式的相机设备1附接至宿主车辆的前挡风玻璃2。然而，附接位置不局限于前挡风玻璃2。例如，相机设备1可以使用类似的构型附接至宿主车辆的后挡风玻璃、侧窗等。甚至可以在这些情况下实现类似的效果。
(4)由根据第一实施方式或第二实施方式的单个构成元件提供的功能可以分散在多个构成元件中。由多个构成元件提供的功能可以集成在单个构成元件中。另外，根据第一实施方式或第二实施方式的构型的至少一部分可以通过提供类似功能的公知的构型来替换。此外，可以省略根据第一实施方式或第二实施方式的构型的一部分。此外，根据第一实施方式或第二实施方式的构型的至少一部分可以被添加至根据第一实施方式或第二实施方式的另一种构型或者可以替换根据第一实施方式或第二实施方式的另一种构型。包括在由权利要求中的文字所描述的技术理念中的任何实施方式均为本公开的实施方式。
(5)本公开也可以由除了以上所述的相机设备1之外的各种模式实现，比如其中相机设备1为构成元件的系统、使计算机能够用作相机设备1的程序、其上记录有程序的记录介质、以及与根据第一实施方式和第二实施方式的成像处理相对应的方法。
【与权利要求的对应关系】
在第一实施方式和第二实施方式的描述中使用的术语与在权利要求中使用的术语之间的对应关系将被指明。
在根据第二实施方式的成像处理中的步骤S305对应于一种检测手段的示例。

Claims (11)

1.一种车载相机设备，包括：
相机模块，所述相机模块捕获宿主车辆的前方区域的图像并生成作为捕获图像的多个线性图像，在所述多个线性图像中，亮度与输出像素值之间的关系是固定的，并且所述相机模块还在预定成像模式下基于所述线性图像生成高动态范围图像，在所述高动态范围图像中，亮度与输出像素值之间的关系根据亮度区域而不同；
控制电路板，所述控制电路板使得能够执行基于所述捕获图像的多种类型的驾驶相关处理；
壳体，所述壳体容纳所述相机模块和所述控制电路板；
支架，所述支架为用于将所述壳体固定至所述宿主车辆的前挡风玻璃的构件，并且在所述支架中形成有开口从而使得在所述壳体通过所述构件固定至所述前挡风玻璃的状态下所述壳体与所述前挡风玻璃彼此相对；以及
罩，所述罩布置成覆盖所述相机模块。
2.根据权利要求1所述的车载相机设备，其中：
所述控制电路板使得能够执行作为所述多种类型的驾驶相关处理的用于检测所述宿主车辆相对于行车道的偏离的处理、用于控制所述宿主车辆的前灯的处理、以及用于避免所述宿主车辆碰撞的处理中的至少一者。
3.根据权利要求1所述的车载相机设备，其中：
所述控制电路板使得能够基于所述线性图像执行所述多种类型的驾驶相关处理中的第一类型的处理，并且使得能够基于所述高动态范围图像执行所述多种类型的驾驶相关处理中的第二类型的处理。
4.根据权利要求1所述的车载相机设备，还包括：
检测装置，所述检测装置用于检测在所述宿主车辆的前方区域中的明度水平差异，其中，
所述控制电路板基于由所述检测装置检测到的所述亮度水平差异选择所述线性图像和所述高动态范围图像中的一者，并且所述控制电路板使得能够基于所选择的图像执行所述驾驶相关处理。
5.根据权利要求1所述的车载相机设备，其中:
所述控制电路板使所述相机模块能够在周期性到达的正时生成所述捕获图像，并且所述控制电路板使得能够基于所述捕获图像执行所述多种类型的驾驶相关处理。
6.根据权利要求2所述的车载相机设备，其中：
所述控制电路板使得能够基于所述线性图像执行所述多种类型的驾驶相关处理中的第一类型的处理，并且所述控制电路板使得能够基于所述高动态范围图像执行所述多种类型的驾驶相关处理中的第二类型的处理。
7.根据权利要求2所述的车载相机设备，还包括：
检测装置，所述检测装置用于检测在所述宿主车辆的前方区域中的明度水平差异，其中，
所述控制电路板基于由所述检测装置检测到的所述明度水平差异选择所述线性图像和所述高动态范围图像中的一者，并且所述控制电路板使得能够基于所选择的图像执行驾驶相关处理。
8.根据权利要求2所述的车载相机设备，其中：
所述控制电路板使所述相机模块能够在周期性到达的正时生成所述捕获图像，并且所述控制电路板使得能够基于所述捕获图像执行所述多种类型的驾驶相关处理。
9.根据权利要求3所述的车载相机设备，其中：
所述控制电路板使所述相机模块能够在周期性到达的正时生成所述捕获图像，并且所述控制电路板使得能够基于所述捕获图像执行所述多种类型的驾驶相关处理。
10.根据权利要求4所述的车载相机设备，其中：
所述控制电路板使所述相机模块能够在周期性到达的正时生成所述捕获图像，并且所述控制电路板使得能够基于所述捕获图像执行所述多种类型的驾驶相关处理。
11.一种用于车载相机设备的控制方法，所述车载相机设备包括：相机模块；控制电路板；壳体，所述壳体容纳所述相机模块和所述控制电路板；支架，所述支架为用于将所述壳体固定至宿主车辆的前挡风玻璃的构件，并且在所述支架中形成有开口从而使得在所述壳体通过所述构件固定至所述前挡风玻璃的状态下所述壳体与所述前挡风玻璃彼此相对；以及罩，所述罩布置成覆盖所述相机模块，所述控制方法包括：
通过所述相机模块捕获宿主车辆的前方区域的图像并且生成作为捕获图像的多个线性图像并且还在预定成像模式下基于所述线性图像生成高动态范围图像，其中，在所述多个线性图像中，亮度与输出像素值之间的关系是固定的，在所述高动态范围图像中，亮度与输出像素值之间的关系根据亮度区域而不同；以及
通过所述控制电路板使得能够基于所述捕获图像执行多种类型的驾驶相关处理。
CN201610340096.5A 2015-05-21 2016-05-19 车载相机设备 Active CN106170057B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-103572 2015-05-21
JP2015103572A JP6390512B2 (ja) 2015-05-21 2015-05-21 車載カメラ装置

Publications (2)

Publication Number Publication Date
CN106170057A true CN106170057A (zh) 2016-11-30
CN106170057B CN106170057B (zh) 2020-06-19

Family

ID=57231634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610340096.5A Active CN106170057B (zh) 2015-05-21 2016-05-19 车载相机设备

Country Status (4)

Country Link
US (1) US10380432B2 (zh)
JP (1) JP6390512B2 (zh)
CN (1) CN106170057B (zh)
DE (1) DE102016208771B4 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108569222A (zh) * 2017-03-08 2018-09-25 Trw汽车美国有限责任公司 通过车辆风挡的、驾驶员辅助摄像机的温度管理装置
CN108791203A (zh) * 2017-04-26 2018-11-13 奥迪股份公司 机动车的传感器装置、机动车及运行传感器装置的方法
CN108808295A (zh) * 2017-05-01 2018-11-13 株式会社电装 车载摄像机
CN108815838A (zh) * 2018-05-30 2018-11-16 努比亚技术有限公司 一种游戏控制方法、电子设备及计算机可读存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP2017220843A (ja) * 2016-06-09 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
EP3497925B1 (en) * 2016-08-09 2022-11-23 Contrast, Inc. Real-time hdr video for vehicle control
US10288986B2 (en) 2017-02-22 2019-05-14 Trw Automotive U.S. Llc Moderation of a driver assist camera enhancement via a vehicle windshield
JP6343089B1 (ja) * 2017-12-25 2018-06-13 荘太郎 林 フロントワイパーと、リヤーワイパーが無い自動車。
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
WO2020139471A1 (en) * 2018-12-28 2020-07-02 Flir Commercial Systems, Inc. Integrated camera with embedded heater systems and methods
FR3103256B1 (fr) * 2019-11-14 2021-10-15 Renault Sas Système de commande d’au moins un projecteur d’un véhicule automobile.
US10981520B1 (en) 2019-11-14 2021-04-20 Zf Friedrichshafen Ag Driver assist system for a vehicle
JP7472780B2 (ja) * 2020-12-23 2024-04-23 株式会社デンソー 画像処理装置
DE102021132645A1 (de) 2021-12-10 2023-06-15 Valeo Schalter Und Sensoren Gmbh Bildsensoranordnung, Fahrzeugkamera und Verfahren zur Steuerung einer Bildsensoranordnung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174808A1 (en) * 2007-12-26 2009-07-09 Denso Corporation Exposure control apparatus and exposure control program for vehicle-mounted electronic camera
JP2012075059A (ja) * 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置
WO2013019795A1 (en) * 2011-08-02 2013-02-07 Magna Electronics Inc. Vehicular camera system
CN103413286A (zh) * 2013-08-02 2013-11-27 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN104185576A (zh) * 2012-03-28 2014-12-03 株式会社电装 车载摄像头

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
KR0142263B1 (ko) * 1994-08-06 1998-06-15 김광호 디지탈 감마 보정방법 및 그 장치
US7655894B2 (en) * 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6396408B2 (en) * 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
WO2003083773A2 (en) * 2002-03-27 2003-10-09 The Trustees Of Columbia University In The City Of New York Imaging method and system
CN101023407A (zh) * 2002-08-21 2007-08-22 金泰克斯公司 自动车辆外部照明控制的图像采集和处理方法
US20040164228A1 (en) 2003-02-21 2004-08-26 Fogg Jeremy A. Automatic vehicle exterior light control system assemblies
JP5182555B2 (ja) * 2005-03-15 2013-04-17 オムロン株式会社 画像処理装置および画像処理方法、画像処理システム、プログラム、並びに、記録媒体
JP4985394B2 (ja) * 2005-03-15 2012-07-25 オムロン株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP1868368A4 (en) * 2005-03-15 2009-06-24 Omron Tateisi Electronics Co IMAGE PROCESSOR, IMAGE PROCESSING, PROGRAM AND RECORDING MEDIUM
JP4766302B2 (ja) * 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4747670B2 (ja) * 2005-05-20 2011-08-17 株式会社デンソー 画像処理装置
EP1837803A3 (en) * 2006-03-24 2008-05-14 MobilEye Technologies, Ltd. Headlight, taillight and streetlight detection
JP2007311895A (ja) 2006-05-16 2007-11-29 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP4484856B2 (ja) * 2006-10-06 2010-06-16 日立オートモティブシステムズ株式会社 自動車用ヘッドライト制御装置
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム
US8102435B2 (en) * 2007-09-18 2012-01-24 Stmicroelectronics S.R.L. Method for acquiring a digital image with a large dynamic range with a sensor of lesser dynamic range
US8587706B2 (en) 2008-01-30 2013-11-19 Gentex Corporation Imaging device
JP4571179B2 (ja) * 2007-12-07 2010-10-27 パナソニック株式会社 撮像装置
JP4433045B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
US9584710B2 (en) * 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
JP5038190B2 (ja) * 2008-02-29 2012-10-03 キヤノン株式会社 撮影装置及びその設定方法
JP2009239398A (ja) 2008-03-26 2009-10-15 Victor Co Of Japan Ltd 撮像装置
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
DE102009055269B4 (de) 2009-12-23 2012-12-06 Robert Bosch Gmbh Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
US8456327B2 (en) * 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
JP5574792B2 (ja) * 2010-04-13 2014-08-20 キヤノン株式会社 撮影装置
US8885978B2 (en) 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
EP2596457A2 (de) * 2010-07-19 2013-05-29 Hella KGaA Hueck & Co Verfahren und vorrichtung zum erkennen von lichtquellen
US9415662B2 (en) * 2010-08-06 2016-08-16 Trw Automotive U.S. Llc Method and apparatus for determining temperature and relative humidity for use in a vehicle HVAC system
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
JP6176028B2 (ja) 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
US9690997B2 (en) * 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP5518007B2 (ja) * 2011-07-11 2014-06-11 クラリオン株式会社 車両用外界認識装置及びそれを用いた車両制御システム
WO2013123161A1 (en) * 2012-02-17 2013-08-22 Magna Electronics, Inc. Vehicle vision system with light baffling system
US9055178B2 (en) * 2011-08-30 2015-06-09 University Of Dayton Single-shot high dynamic range imaging
KR20130035019A (ko) * 2011-09-29 2013-04-08 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9137451B2 (en) * 2012-03-09 2015-09-15 Htc Corporation Electronic apparatus and adjustment method thereof
JP2013199973A (ja) 2012-03-23 2013-10-03 Seiko Instruments Inc 転がり軸受装置の製造装置および転がり軸受装置の製造方法
JP6028382B2 (ja) * 2012-04-27 2016-11-16 株式会社デンソー 前方監視カメラ
JP2014050042A (ja) * 2012-09-03 2014-03-17 Toshiba Corp 画像処理装置及び固体撮像装置
US9160936B1 (en) * 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP6253077B2 (ja) 2013-04-22 2017-12-27 株式会社ユピテル 装置及びプログラム
JP6064776B2 (ja) * 2013-05-07 2017-01-25 株式会社デンソー 画像処理装置及び画像処理方法
JP6413754B2 (ja) 2014-03-10 2018-10-31 株式会社デンソー 撮像装置および撮像装置を備えた車載装置
JP2015193366A (ja) * 2014-03-17 2015-11-05 日本電産エレシス株式会社 車載カメラ用筐体の製造方法、車載カメラ用筐体、および車載カメラ
JP6316043B2 (ja) * 2014-03-19 2018-04-25 キヤノン株式会社 装置、方法、及びプログラム
JP6303974B2 (ja) * 2014-10-22 2018-04-04 株式会社デンソー 車載カメラ装置及び車載システム
US10139707B2 (en) * 2015-01-28 2018-11-27 Trw Automotive U.S. Llc Camera bracket
EP3214600B1 (en) * 2016-03-04 2019-02-06 Aptiv Technologies Limited Method for processing high dynamic range (hdr) data from a nonlinear camera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174808A1 (en) * 2007-12-26 2009-07-09 Denso Corporation Exposure control apparatus and exposure control program for vehicle-mounted electronic camera
JP2012075059A (ja) * 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置
WO2013019795A1 (en) * 2011-08-02 2013-02-07 Magna Electronics Inc. Vehicular camera system
CN104185576A (zh) * 2012-03-28 2014-12-03 株式会社电装 车载摄像头
CN103413286A (zh) * 2013-08-02 2013-11-27 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108569222A (zh) * 2017-03-08 2018-09-25 Trw汽车美国有限责任公司 通过车辆风挡的、驾驶员辅助摄像机的温度管理装置
CN108569222B (zh) * 2017-03-08 2022-03-01 Trw汽车美国有限责任公司 通过车辆风挡的、驾驶员辅助摄像机的温度管理装置
CN108791203A (zh) * 2017-04-26 2018-11-13 奥迪股份公司 机动车的传感器装置、机动车及运行传感器装置的方法
CN108808295A (zh) * 2017-05-01 2018-11-13 株式会社电装 车载摄像机
CN108808295B (zh) * 2017-05-01 2021-02-26 株式会社电装 车载摄像机
CN108815838A (zh) * 2018-05-30 2018-11-16 努比亚技术有限公司 一种游戏控制方法、电子设备及计算机可读存储介质
CN108815838B (zh) * 2018-05-30 2021-08-10 努比亚技术有限公司 一种游戏控制方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20160344977A1 (en) 2016-11-24
JP6390512B2 (ja) 2018-09-19
US10380432B2 (en) 2019-08-13
JP2016220057A (ja) 2016-12-22
DE102016208771B4 (de) 2021-12-30
DE102016208771A1 (de) 2016-11-24
CN106170057B (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN106170057A (zh) 车载相机设备
CN113271400B (zh) 成像装置和电子设备
US7583182B2 (en) Lane departure warning method and apparatus
CN101088027B (zh) 用于机动车的立体摄像机
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
WO2020066803A1 (ja) 固体撮像素子、および、撮像装置
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
CN110073655B (zh) 固态摄像器件、电子设备和用于控制固态摄像器件的方法
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP2022016546A (ja) 固体撮像装置、および電子機器
JP2002171430A (ja) 複眼撮像系、撮像装置および電子機器
WO2020235363A1 (ja) 受光デバイス、固体撮像装置、電子機器及び情報処理システム
TW202101959A (zh) 圖像辨識裝置及圖像辨識方法
CN111010545A (zh) 车辆驾驶决策方法、系统、终端及存储介质
CN110915204A (zh) 图像处理装置、图像处理方法、程序和成像装置
Yamada et al. A vision sensor having an expanded dynamic range for autonomous vehicles
WO2023021780A1 (ja) 撮像装置、電子機器及び情報処理方法
US7421091B2 (en) Image-capturing apparatus
US20230308779A1 (en) Information processing device, information processing system, information processing method, and information processing program
WO2020075357A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP4747670B2 (ja) 画像処理装置
KR101684782B1 (ko) 우적 감응형 와이퍼 장치
KR20200006971A (ko) 신호 처리 장치 및 방법, 촬상 소자 및 전자 기기
US11678079B2 (en) Solid-state imaging element, imaging apparatus, and method of controlling solid-state imaging element
JP2005167831A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant