CN106168728A - 图像生成设备 - Google Patents

图像生成设备 Download PDF

Info

Publication number
CN106168728A
CN106168728A CN201610335107.0A CN201610335107A CN106168728A CN 106168728 A CN106168728 A CN 106168728A CN 201610335107 A CN201610335107 A CN 201610335107A CN 106168728 A CN106168728 A CN 106168728A
Authority
CN
China
Prior art keywords
image
capture
camera
imaging
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610335107.0A
Other languages
English (en)
Other versions
CN106168728B (zh
Inventor
村尾俊和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN106168728A publication Critical patent/CN106168728A/zh
Application granted granted Critical
Publication of CN106168728B publication Critical patent/CN106168728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/003Control of exposure by setting shutters, diaphragms or filters, separately or conjointly setting of both shutter and diaphragm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

一种图像生成设备,在预定的第一正时在适于捕获用于识别在显示板上示出的信息的图像的第一状态下利用安装在自身车辆中的相机的成像操作捕获自身车辆周边的图像,并且由在第一状态下捕获的图像生成第一捕获图像。在预定的第二正时在适于捕获用于识别通过从电子显示设备发出的光而显示的信息的图像的第二状态下利用相机的成像操作捕获自身车辆周边的图像,并且由在第二状态下捕获的图像生成第二捕获图像。执行利用第一捕获图像和第二捕获图像的过程。

Description

图像生成设备
技术领域
本公开涉及图像生成设备。
背景技术
已知一种在捕获自身车辆周边的图像时基于自身车辆的车辆速度和自身车辆周边的光亮度来设定曝光时间的技术。因此,所捕获的图像的模糊度保持在一定的范围内(参照日本特许公报No.5421999)。因此,提高了通过所捕获的图像对在显示板等上示出的标记进行识别的精确度。
然而,当曝光时间缩短以减少模糊度时,在捕获电子显示设备的图像时会发生闪烁。降低了借助于所捕获的图像对通过从电子显示设备发出的光所显示的标记进行识别的精确度。
发明内容
因此,期望利用单个相机基于在显示板上示出的信息和在电子显示设备上显示的信息以较高的精确度执行过程。
本公开的第一示例性实施方式提供了一种图像生成设备,所述图像生成设备包括:第一成像装置,所述第一成像装置在预定的第一正时在适于捕获用于识别在显示板上示出的信息的图像的第一状态下通过安装在自身车辆中的相机的成像操作捕获所述自身车辆周边的图像,并且从在所述第一状态下捕获的所述图像获取第一捕获图像;第二成像装置,所述第二成像装置在预定的第二正时在适于捕获用于识别通过从电子显示设备发出的光而显示的信息的图像的第二状态下通过所述相机的成像操作捕获所述自身车辆周边的图像,并且从在所述第二状态下捕获的所述图像获取第二捕获图像;以及执行装置,所述执行装置用于执行基于由所述第一成像装置获取的所述第一捕获图像和由所述第二成像装置获取的所述第二捕获图像的过程。
作为比如这种配置的结果,通过单个相机生成了适于识别在显示板上示出的信息的捕获图像和适于识别通过从电子显示设备发出的光所显示的信息的捕获图像。因此,通过选择性地使用这些图像,可以以高精确度识别在显示板上示出的信息和在电子显示设备上显示的信息两者。因此,可以利用单个相机以较高的精确度执行基于在显示板上示出的信息和在电子显示设备上显示的信息的过程。
本公开的第二示例性实施方式提供了一种图像生成设备,所述图像生成设备包括:成像装置,所述成像装置在预定正时处通过安装在自身车辆中的相机的多次成像操作以使得利用所述多次成像操作捕获的所述多个图像中的每个图像的模糊度均能够保持在预定许可范围内的曝光时间捕获所述自身车辆周边的多个图像,并且由利用所述多次成像操作捕获的所述多个图像获取多个捕获图像;生成装置,所述生成装置对在所述预定正时处获取的所述多个捕获图像中的位置偏差进行校正,并且随后通过将所述多个捕获图像彼此组合而生成合成图像;以及执行装置,所述执行装置执行基于所述合成图像的过程。
作为比如这种配置的结果,通过单个相机生成了模糊度降低的多个捕获图像。另外,在将这些捕获图像中的位置偏差校正之后,生成这些捕获图像的合成图像。在每个捕获图像中均抑制了模糊。因此,可以从合成图像以高精确度识别在显示板上示出的信息。另外,由于对利用多次成像操作捕获的图像进行了合成,因此可以使亮度分布适于识别在电子显示设备上显示的信息。因此,可以利用单个相机以较高的精确度执行基于在显示板上示出的信息和在电子显示设备上显示的信息的过程。
附图说明
在附图中:
图1是根据第一实施方式的图像生成系统的框图;
图2是根据第一实施方式的成像过程的流程图;
图3是根据第一实施方式的第一帧设定过程的流程图;
图4是示出了车辆速度与曝光限值时间之间的关系的曲线图;
图5是根据第一实施方式的第二帧设定过程的流程图;
图6是根据第一实施方式至第三实施方式的用于第二帧的曝光时间的说明图;
图7是根据第二实施方式至第三实施方式的成像过程的流程图;
图8是根据第四实施方式的成像过程的流程图;以及
图9是根据第四实施方式的共用帧设定过程的流程图。
具体实施方式
下文将参照附图对应用本公开的各实施方式进行描述。
[第一实施方式]
[配置的描述]
如图1中所示,根据第一实施方式的图像生成系统1安装在车辆(下文将称作“自身车辆”)中,并且该图像生成系统1包括捕获自身车辆周边的图像的相机10以及图像生成设备20等。
相机10包括成像器11和图像接口(I/F)12等。
成像器11包括图像传感器、放大单元、模数(A/D)转换单元等。图像传感器可以是电荷耦合装置(CCD)图像传感器或互补式金属氧化物半导体(CMOS)图像传感器。
在成像器11中,当图像传感器捕获图像时,放大单元以预定的增益将从图像传感器输出的模拟信号放大。模拟信号指示所捕获的图像中的每个像素的亮度(光亮度)。另外,A/D转换单元将放大的模拟信号所指示的模拟值转换成数字值。随后,成像器11将指示数字值(即,构成所捕获的图像的每个像素的输出像素值)的信号作为图像数据以行为单位(即,与沿水平扫描方向排列的像素对应的图像数据的集合)输出。
图像I/F 12将由成像器11生成的图像数据输出至图像生成设备20。
图像生成设备20包括控制单元21、通信单元22、传感器单元23、存储器24等。
控制单元21主要由已知的微型计算机构成。微型计算机包括中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、输入/输出(I/O)、连接这些部件的总线等等。控制单元21基于储存在ROM中的程序和加载到RAM上的程序执行各个过程。另外,控制单元21通过相机10捕获自身车辆周边的图像。此外,控制单元21设定相机10的曝光时间、曝光频率、增益等。
通信单元22经由诸如控制器局域网(CAN)之类的车载局域网(LAN)2与安装在自身车辆中的另一电子控制单元(ECU)30进行通信。
传感器单元23检测自身车辆的车辆速度。
存储器24是用于在其中储存由相机10捕获的图像的图像数据的部分,并且存储器24包括RAM等。
[过程]
在根据第一实施方式的图像生成系统1中,相机10在周期性到来的成像正时处捕获自身车辆周边的图像。随后,基于所捕获的图像,图像生成系统1或其他ECU 30执行与驱动有关的过程。在与驱动有关的过程中,执行对捕获图像的图像识别。随后,基于图像识别的结果,执行与自身车辆的驱动有关的过程。
作为与驱动有关的过程的示例,可以考虑驱动辅助过程、用于实现自动巡航的过程等等。更具体地,例如,可以考虑检测到另一车辆、行人或类似物并执行发出警告、进行车辆速度控制、进行转向角度控制或类似行为以避免碰撞的过程。此外,可以考虑检测偏离行车道的过程、控制头灯方向等的过程和类似过程。
图像生成系统1在成像正时处在成像期间生成多种类型的捕获图像。所捕获的图像包括因抑制了模糊而适于对标记板标记进行图像识别的第一捕获图像(下文称作“第一帧”)。另外,所捕获的图像包括因抑制了闪烁而适于对电子标记进行图像识别的第二捕获图像(下文称作“第二帧”)。标记板标记例如指的是印在显示板等上的标记的信息。电子标记指的是通过从电子显示设备发出的光显示出的信息。下面将对由图像生成系统1执行的过程进行详细的描述。
(1)成像过程
首先,将对用于生成第一帧和第二帧的成像过程进行描述(图2)。图像生成设备20在周期性成像正时到来时执行该过程。
在步骤S100处,图像生成设备20的控制单元21执行第一帧设定过程(细节在下文描述),在第一帧设定过程中,相机10被设定至使第一帧能够成像的第一状态。控制单元21随后进行至步骤S105。
在步骤S105处,控制单元21通过相机10捕获第一帧。另外,控制单元21从相机10获取第一帧并将第一帧储存在存储器24中。控制单元21随后进行至步骤S110。
在步骤S110处,控制单元21执行第二帧设定过程(细节在下文描述),在第二帧设定过程中,相机10被设定至使第二帧能够成像的第二状态。控制单元21随后进行至步骤S115。
在步骤S115处,控制单元21通过相机10捕获第二帧。另外,控制单元21从相机10获取第二帧并将第二帧储存在存储器24中。控制单元21随后进行至步骤S120。
在步骤S120处,控制单元21从存储器24读出第一帧和第二帧。控制单元21随后允许基于第一帧和第二帧执行与驱动有关的过程。控制单元21终止该过程。具体地,例如,当图像生成设备20执行与驱动有关的过程时,控制单元21可以将第一帧和第二帧给送至执行该与驱动有关的过程的部分,并且使该部分开始与驱动有关的过程。另外,例如,当其他ECU 30执行该与驱动有关的过程时,控制单元21可以经由车载LAN 2将第一帧和第二帧传输至ECU 30并使ECU 30执行该与驱动有关的过程。
(2)第一帧设定过程
接下来,将描述第一帧设定过程(图3)。在第一帧设定过程中,相机10设定至使得第一帧能够被捕获的状态。该过程被配置为成像过程所调用的子程序。
在步骤S200处,图像生成设备20的控制单元21在曝光时间和增益等设定至提前规定的预设值的情况下通过相机10进行成像。控制单元21随后基于所捕获的图像中的每个像素的亮度测量自身车辆周边的光亮度(步骤S205)。
在随后的步骤S210处,控制单元21基于光亮度的测量值确定相机10的适于使第一帧成像的曝光时间和增益等。控制单元21随后进行至步骤S215。
在步骤S215处,控制单元21判断所确定的曝光时间是否小于曝光时间限值。曝光时间限值是基于自身车辆的车辆速度和预定许可模糊度范围而预先确定的。此处,曝光时间限值以下述方式预先确定。
也就是说,第一帧的许可模糊度范围是基于以第一帧为基础所执行的与驱动有关的过程的内容而预先确定的。另外,发生模糊的趋势根据自身车辆的车辆速度以及是白天还是夜晚等情况而不同。因此,对于白天和对于夜晚,最大曝光时间(曝光时间限值)是基于自身车辆的车辆速度而预先确定的。最大曝光时间是使模糊度能够保持在许可范围内的最大时间量。
图4中的曲线图分别指示白天和夜晚当许可的模糊度范围在4个像素内、在2个像素内及在1.5个像素内时与车辆速度相关的曝光时间限值。在与驱动有关的过程中,相比在白天期间,在夜晚进行针对更靠近自身车辆的区域的图像识别。在夜晚,对远距离区域中存在的物体不进行图像识别。因此,在对靠近自身车辆的区域中存在的物体成像时如果模糊度处于许可范围内,模糊不会产生问题。在相同的车辆速度下,夜晚的曝光时间限值比白天的曝光时间限值长,甚至在许可模糊度范围相同的情况下,也是如此。
控制单元21的ROM中储存与每个曲线图(这些曲线图分别对应于白天及夜晚的许可模糊度范围)对应的曝光时间限值确定表。控制单元21经由传感器单元23检测自身车辆的车辆速度。另外,控制单元21基于光亮度的测量值判断是白天还是夜晚。控制单元21随后参照和基于与驱动有关的过程的内容而预先确定的许可模糊度范围以及和就白天或夜晚的确定结果相对应的曝光时间限值确定表,并且控制单元21基于自身车辆的车辆速度确定曝光时间限值。
随后,当确定曝光时间小于曝光时间限值(即步骤S215处为是)时,控制单元21进行至步骤S225。当确定曝光时间等于或大于曝光限值时间(即,步骤S215处为否)时,控制单元21进行至步骤S220。
在步骤S220处,控制单元21再次确定曝光时间和增益。具体地,控制单元21以下述方式增大所捕获的图像的亮度:
曝光时间=在步骤S215处确定的曝光时间限值
新的增益=在步骤S210处确定的增益×在步骤S210处确定的曝光时间/在步骤S215处确定的曝光时间限值
在随后的步骤S225处,控制单元21将所确定的曝光时间和增益等设定在相机10的成像器11中并终止该过程。
(3)第二帧设定过程
接下来,将描述第二帧设定过程(图5)。在第二帧设定过程中,相机10设定至使得第二帧能够被捕获的状态。该过程被配置为成像过程所调用的子程序。
在步骤S300处,图像生成设备20的控制单元21在曝光时间和增益等设定至提前规定的预设值的情况下通过相机10进行成像。控制单元21随后基于所捕获的图像中的每个像素的亮度测量自身车辆周边的光亮度(步骤S305)。
在随后的步骤S310处,控制单元21将曝光时间确定为能够抑制在捕获电子标记的图像时发生的闪烁的预定时间长度。基于该曝光时间,控制单元21确定预定增益并且随后进行至步骤S315。具体地,曝光时间可以大约是在电子显示设备上显示的电子标记的闪烁周期所采用的时间段的时间量或者是比该时间段长的时间量。
在步骤S315处,控制单元21判断光亮度的测量值是否是提前规定的阈值或更大。因此,控制单元21判断在相机10以所确定的曝光时间进行成像时发生饱和的像素的数目是否达到提前规定的水平。随后,当在步骤S315处确定为是时,控制单元21进行至步骤S320。当在步骤S315处确定为否时,控制单元21进行至步骤S325。
在步骤S320处,控制单元21将增益确定为较小的值以使得将在步骤S305处从所捕获的图像测得的光亮度抑制至在步骤S315处使用的阈值或更低。具体地,例如,可以提供下述表:在该表中,设定为增益的值被与光亮度的超出阈值的测量值相关联地记录。控制单元21随后可以通过参照该表确定增益的值。
也就是说,根据第一实施方式,当捕获第二帧时,以与被采用作为电子标记的闪烁周期的时间段相等或长于该时间段的较长曝光时间进行成像。另外,当因曝光时间增加而预测会发生较大的饱和时,将增益减小以抑制饱和度(图6)。
在步骤S325处,控制单元21将所确定的曝光时间和增益等设定在相机10的成像器11中并终止该过程。
[效果]
在根据第一实施方式的图像生成系统1中,在每个成像正时处通过单个相机10生成了第一帧和第二帧。第一帧适于对标记板标记进行图像识别。第二帧适于对电子标记进行图像识别。因此,通过这些帧的选择性使用,可以以较高的精确度对标记板标记和电子标记进行识别。因此,可以利用单个相机10以较高的精确度执行基于标记板标记和电子标记进行的与驱动有关的过程。
另外,将捕获第一帧时的曝光时间设定至曝光时间限值或更小。曝光时间限值是基于自身车辆的车辆速度以及是白天还是夜晚规定的。因此,可以将所捕获的图像的模糊度确定地保持在许可范围内。此外,当曝光时间限值不满足正常所需的曝光时间时,在相机10的成像器11中设定较大的增益。较大的增益是基于正常所需的曝光时间与曝光时间限值的比率规定的。因此,可以在抑制模糊的同时使所捕获的图像的亮度合适。
另外,在捕获第二帧时,设定了使得能够抑制闪烁的曝光时间。另外,当预测要生成大量饱和像素时,在相机10的成像器11中设定较低的增益。因此,可以抑制饱和。
[第二实施方式]
接下来,将描述根据第二实施方式的图像生成系统1。根据第二实施方式的图像生成系统1由与根据第一实施方式的相机和图像生成设备类似的相机10和图像生成设备20构成。然而,过程的内容部分地不同。下文,将主要描述这些不同之处。
根据第二实施方式,图像生成设备20在周期性成像正时到来时执行成像过程。第一帧和第二帧从而被捕获。然而,用于捕获第二帧的方法与根据第一实施方式的方法不同。
具体地,根据第二实施方式,当成像正时到来时,连续进行两次成像(图6)。此处,将曝光时间设定成使得发生饱和的像素的数目保持在提前规定的水平或更少的曝光时间(例如,为电子标记的闪烁周期所采用的时间段的大约一半的时间量)。此时,在第一次成像操作期间,生成了构成所捕获图像的偶数行图像数据。在第二次成像操作期间,生成了构成所捕获图像的奇数行图像数据。将这些捕获图像进行合成从而生成第二帧。
构造通过相机10捕获的图像的行从上端侧按顺序被从1开始进行编号。偶数行指的是编号为偶数的行,奇数行指的是编号为奇数的行。
下面将描述根据第二实施方式的成像过程(图7)。当周期性成像正时到来时通过图像生成设备20执行该过程。在该过程中,步骤S400和S405类似于根据第一实施方式的成像过程的步骤S100和S105。因此,省去了对其的描述。
在步骤S410处,控制单元21将相机10的曝光时间设定至电子标记的闪烁周期的大约一半的时间量。另外,控制单元21基于该曝光时间设定相机10的增益等。控制单元21随后进行至步骤S415。
在步骤S415处,控制单元21通过相机10进行两次成像。此时,在第一次成像操作期间,控制单元21在存储器24中仅储存构成从相机10输出的捕获图像的偶数行的图像数据。在第二次成像操作期间,控制单元21在存储器24中仅储存构成从相机10输出的捕获图像的奇数行的图像数据。
用于捕获第二帧的方法不限于先前描述的方法。在第一次成像操作期间,可以通过图像传感器使相机10进行与偶数行对应的成像。随后可以将偶数行的图像数据储存在存储器24中。另外,在第二次成像操作期间,可以通过图像传感器使相机10进行与奇数行对应的成像。随后可以将奇数行的图像数据储存在存储器24中。
在随后的步骤S420处,控制单元21通过将偶数行的图像数据与奇数行的图像数据进行合成而生成了第二帧。另外,控制单元21将第二帧储存在存储器24中。此处,这些行的图像数据段以合适的顺序排列。
随后的步骤S425类似于根据第一实施方式的成像过程的步骤S120。因此,省去了对其的描述。
[效果]
在根据第二实施方式的图像生成系统1中,在第二帧的成像正时处进行两次成像。此处,曝光时间是电子标记的闪烁周期所采用的时间段的大约一半。在第一次成像操作期间,生成了偶数行的图像数据。在第二次成像操作期间,生成了奇数行的图像数据。通过将这些捕获图像进行合成生成了第二帧。
因此,由这些图像数据段生成了饱和度降低的捕获图像。另外,甚至在偶数行的图像数据和奇数行的图像数据中的一者发生闪烁的情况下,只要另一者中没有发生闪烁,就能抑制整个第二帧中的闪烁。此外,这两次成像操作的总曝光时间大约等于电子标记的闪烁周期。因此,甚至在一次成像操作期间发生闪烁的情况下,也可以在另一成像操作期间抑制闪烁。因此,可以更可靠地抑制第二帧中的闪烁。
[第三实施方式]
接下来,将描述根据第三实施方式的图像生成系统1。根据第三实施方式的图像生成系统1由与根据第二实施方式的相机和图像生成设备类似的相机10和图像生成设备20构成。执行与根据第二实施方式的过程类似的过程。然而,用于捕获第二帧的方法与根据第二实施方式的方法不同。
具体地,根据第三实施方式,当成像正时到来时,利用三次成像操作(图6)连续地捕获第二帧。此处,曝光时间设定成使得发生饱和的像素的数目保持在提前规定的水平或更少的曝光时间(例如,为电子标记的闪烁周期所采用的时间段的大约三分之一的时间量)。将这些捕获图像进行合成从而生成了第二帧。
成像正时处的成像操作的次数不限于三次。成像可以进行两次、四次或更多次。随后可以通过将所捕获的图像进行合成来生成第二帧。此时,这些成像操作的总曝光时间优选地是大约为电子标记的闪烁周期或更长的时间量。
就步骤S410至S420(图7)而言,根据第三实施方式的成像过程与根据第二实施方式的成像过程不同。将描述步骤S410至S420处的过程。
在步骤S410处,控制单元21将相机10的曝光时间设定至电子标记的闪烁周期的大约三分之一的时间量。另外,控制单元21基于该曝光时间设定相机10的增益等。控制单元21随后进行至步骤S415。
在步骤S415处,控制单元21通过相机10进行三次成像。另外,控制单元21将所捕获的图像储存在存储器24中。控制单元21随后进行至步骤S420。
在步骤S420处,控制单元21将在步骤S415处生成的捕获图像合成并且因此生成了第二帧。第二帧在这种情况下被调节成使得亮度分布适于所述与驱动有关的过程。控制单元21将第二帧储存在存储器24中。控制单元21随后进行至步骤S425。此时,可以在对捕获图像中的位置偏差校正之后将捕获图像进行合成。
[效果]
在根据第三实施方式的图像生成系统1中,在第二帧的成像正时处进行三次成像。此处,曝光时间是电子标记的闪烁周期所采用的时长的大约三分之一。随后通过将捕获图像进行合成而生成第二帧。
因此,由图像数据段生成了饱和度降低的捕获图像。另外,甚至在捕获图像中的任意捕获图像发生闪烁的情况下,只要剩余捕获图像没有发生闪烁,就能抑制整个第二帧中的闪烁。此外,这三次成像操作的总曝光时间大约等于电子标记的闪烁周期。因此,甚至在捕获图像中的任意捕获图像发生闪烁的情况下,也可以在剩余捕获图像中抑制闪烁。因此,可以更可靠地抑制第二帧中的闪烁。
[第四实施方式]
接下来,将描述根据第四实施方式的图像生成系统1。根据第四实施方式的图像生成系统1由与根据第一实施方式的相机和图像生成设备类似的相机10和图像生成设备20构成。然而,过程的内容部分地不同。下文,将主要描述这些不同之处。
根据第四实施方式,图像生成设备20在周期性成像正时到来时执行成像过程。然而,在成像过程中,捕获的是适于标记板标记的图像识别和电子标记的图像识别的单个共用帧(在该单个共用帧中,抑制了模糊和闪烁两者)。
具体地,当成像正时到来时,以较短的曝光时间连续地进行多次成像,从而使得模糊能够被抑制。随后,将捕获图像中的位置偏差校正。随后,通过将捕获图像进行合成而生成共用帧。
下面将更详细地描述根据第四实施方式的图像生成系统1所执行的过程。
(1)成像过程
首先,将对用于生成共用帧的成像过程进行描述(图8)。图像生成设备20在周期性成像正时到来时执行该过程。
在步骤S500处,图像生成设备20的控制单元21执行共用帧设定过程(细节在下文描述),在共用帧设定过程中,相机10被设定至使得共用帧能够成像的状态。控制单元21随后进行至步骤S505.
在步骤S505处,控制单元21以针对共用帧设定过程设定的曝光次数进行成像。控制单元21随后进行至步骤S510。当执行下文描述的共用帧设定过程的步骤S630时,曝光的次数设定为两次或更多次。然而,当没有执行步骤S630时,曝光次数设定为一次。
在步骤S510处,控制单元21校正各捕获图像中的位置偏差。具体地,例如,控制单元21可以从捕获图像中的任意捕获图像提取特征点。特征点是多个边缘相交的点。控制单元21随后可以在其他捕获图像中搜索所提取的特征点并将各捕获图像中的特征点相关联。随后,控制单元21可以通过移动各捕获图像中的像素的位置来校正位置偏差,使得各捕获图像的相应特征点重叠。
接着,控制单元21通过将校准过的捕获图像进行合成而生成共用帧。该共用帧在这种情况下被调节成使得亮度分布适于与驱动有关的过程。控制单元21将共用帧储存在存储器24中。控制单元21随后进行至步骤S515。
在步骤S515处,控制单元21从存储器24读出共用帧。控制单元21随后允许基于共用帧执行与驱动有关的过程。控制单元21终止该过程。具体地,当图像生成设备20执行与驱动有关的过程时,控制单元21可以将共用帧给送至执行与驱动有关的过程的部分,并且使该部分开始与驱动有关的过程。另外,当其他ECU 30执行与驱动有关的过程时,控制单元21可以经由车载LAN 2将共用帧传输至ECU 30,并且使ECU30执行与驱动有关的过程。
(2)共用帧设定过程
接下来,将描述共用帧设定过程,在该共用帧设定过程中,相机10设定至使得共用帧能够被捕获的状态(图9)。该过程被配置为成像过程所调用的子程序。
在该过程中,步骤S600至S620与根据第一实施方式的第一帧设定过程的步骤S200至S220类似。因此,将省去对其的描述。
当在步骤S615处确定为是时或者在于步骤S620之后执行的步骤S625处时,控制单元21判断所确定的曝光时间是否小于提前规定的抗闪烁曝光时间(例如大约为电子标记的闪烁周期的时间量)。当在步骤S625处确定为是时,控制单元21进行至步骤S630。当步骤S625处确定为否时,控制单元21进行至步骤S635。
在步骤S630处,控制单元21将曝光的次数(换句话说,相机10进行成像的次数)确定为两次或更多次。控制单元21随后进行至步骤S635。具体地,例如,控制单元21可以计算通过用抗闪烁曝光时间除以早前确定的曝光时间所获得的值。控制单元21随后可以将所获得的值的小数点后的数字调高为整数以形成下一整数,并将所得到的值设定为曝光的次数。换句话说,控制单元21可以将曝光时间设定成使得成像操作的总曝光时间是抗闪烁曝光时间或更长。
在步骤S635处,控制单元21将所确定的曝光时间和增益等设定在相机10的成像器11中。控制单元21随后终止该过程。
[效果]
在根据第四实施方式的图像生成系统1中,通过单个相机10生成了模糊度被降低的多个捕获图像。另外,在将这些捕获图像中的位置偏差进行校正之后,生成这些捕获图像的合成图像。在每个捕获图像中均抑制了模糊。因此,可以以高精确度从该合成图像识别标记板标记。另外,由于对利用多次成像操作捕获的图像进行合成,因此可以使亮度分布适于对电子标记进行识别。因此,可以利用单个相机10以高精确度执行基于标记板标记和电子标记的与驱动有关的过程。
[其他实施方式]
上文描述了本公开的多个实施方式。然而,本公开不限于上述实施方式。不同的其他实施方式也可以。
(1)在根据第二实施方式的图像生成系统1中,在成像正时处进行两次成像。在第一次成像操作期间,生成了用于偶数行的图像数据。在第二次成像操作期间,生成了用于奇数行的图像数据。也就是说,提供了两种类型的排列模式作为构成捕获图像的第一行至第X行进行排列的模式。在这两种排列模式中,行被排列成在这些行中的相邻行之间具有等于单行的间隔。
然而,本公开不限于此,在这些排列模式中,行可以被排列成在这些行中的相邻行之间具有等于两行或更多行的间隔。替代性地,行可以以Y(Y>2)行为单位排列成在这些行中的相邻行之间具有等于单行、两行或更多行的间隔。另外,可以提供Z(Z>2)种类型的排列模式。在成像正时处可以进行Z次成像。在每次成像操作期间,可以生成与不同排列模式对应的行的图像数据。当然,排列模式优选地被规定成使得在将所有类型的排列模式的行组合时,所有这些行将排列成在各行之间不存在间隔。此时,在成像正时处执行的成像操作的总曝光时间优选地是大约为闪烁周期或更长的时间量。
具体地,例如,提供了三种类型的排列模式。在这种情况下,这些排列模式可以分别由序列用3x(x是1或更大的整数)来表达的行、序列用3x+1来表达的行、以及序列用3x+2来表达的行构成。
即使在使用前述构造时,也可以实现类似的效果。
(2)根据上述实施方式的单个构成元件所提供的功能可以分散在多个构成元件中。多个构成元件所提供的功能可以结合在单个构成元件中。另外,可以用提供了类似功能的公知配置来代替根据上述实施方式的配置的至少一部分。此外,可以省去根据上述实施方式的配置的一部分。此外,可以增添根据上述实施方式的配置的至少一部分或者可以用根据上述实施方式的配置的至少一部分代替根据上述实施方式的另一配置。在通过对权利要求的范围的表述指定的技术思想中包括的任何实施方式都是本公开的实施方式。
(3)本公开还可以由除上述图像生成系统1以外的不同形式实现,比如与图像生成系统1对应的单个设备、使计算机能够用作构成图像生成系统1的图像生成设备20的程序、记录该程序的记录媒介以及与图像生成设备20所执行的过程对应的方法。
[与权利要求的对应性]
将指出在第一实施方式至第四实施方式的描述中所使用的术语与权利要求中所使用的术语之间的对应性。
图像生成设备20的传感器单元23对应于车辆速度检测装置的示例。
在根据第一实施方式的图像生成设备20的控制单元21所执行的成像过程中,步骤S105对应于第一成像装置的示例;步骤S115对应于第二成像装置的示例;并且步骤S120对应于执行装置。
在控制单元21所执行的第一帧设定过程中,步骤S210至S225对应于第一成像装置的示例;并且步骤S205对应于光亮度检测装置的示例。
在控制单元21所执行的第二帧设定过程中,步骤S310至S325对应于第二成像装置的示例。
在根据第二实施方式和第三实施方式的图像生成设备20的控制单元21所执行的成像过程中,步骤S405对应于第一成像装置的示例;步骤S410至S420对应于第二成像装置的示例;并且步骤S425对应于执行装置。
在根据第四实施方式的图像生成设备20的控制单元21所执行的成像过程中,步骤S505对应于成像装置的示例;步骤S510对应于生成装置的示例;并且步骤S515对应于执行装置的示例。

Claims (10)

1.一种图像生成设备,包括:
第一成像装置,所述第一成像装置在预定的第一正时在第一状态下利用安装在自身车辆中的相机的成像操作捕获所述自身车辆周边的图像,并且由在所述第一状态下捕获的图像生成第一捕获图像,其中,所述第一状态适于捕获用于识别在显示板上示出的信息的图像;
第二成像装置,所述第二成像装置在预定的第二正时在第二状态下利用所述相机的成像操作捕获所述自身车辆周边的图像,并且由在所述第二状态下捕获的图像生成第二捕获图像,其中,所述第二状态适于捕获用于识别通过从电子显示设备发出的光而显示的信息的图像;以及
执行装置,所述执行装置执行利用由所述第一成像装置生成的所述第一捕获图像和由所述第二成像装置生成的所述第二捕获图像的过程。
2.根据权利要求1所述的图像生成设备,还包括:
车辆速度检测装置,所述车辆速度检测装置检测所述自身车辆的车辆速度;以及
光亮度检测装置,所述光亮度检测装置检测所述自身车辆周边的光亮度,其中,
所述第一状态是基于所述自身车辆的车辆速度、所述自身车辆周边的光亮度以及利用所述相机的成像操作捕获的图像的预定许可模糊度范围而设定所述相机的曝光时间的状态。
3.根据权利要求1所述的图像生成设备,其中,
所述第二状态是所述相机的曝光时间设定成抑制在利用所述相机的成像操作捕获所述电子显示设备的图像时发生的闪烁、并且来自所述相机的图像传感器的信号的增益设定成抑制利用所述相机的成像操作捕获的图像中的饱和度的状态。
4.根据权利要求1所述的图像生成设备,其中,
通过将多个图像彼此组合而构成由所述相机捕获的图像,所述多个图像以按预定种类型的排列模式排列的多个行被捕获从而具有预定种类型,每种类型的所述排列模式均具有所述多个行中的一个或更多个不同的行,所述一个或更多个不同的行被排列成在所述不同的行中的相邻行之间具有等于预定个行的间隔,通过将以所有类型的排列模式中的所述多个行捕获的所述多个图像彼此组合而构成由所述相机捕获的图像;并且
所述第二成像装置配置成:
当在所述第二状态下捕获图像的时候所述第二正时到来时,利用所述相机的与所述预定种类型的排列模式对应的预定次成像操作,以所述相机的如下曝光时间捕获所述自身车辆周边的多个图像:所述相机的所述曝光时间使得利用所述成像操作捕获的所述多个图像中的每个图像中的饱和度均能够被抑制;
通过在所述第二正时处执行的所述成像操作中的各次成像操作而获取以不同类型的排列模式的一个或更多个不同的行捕获的多个图像;以及
通过将以各类型的排列模式的行捕获的所述多个图像彼此组合而生成所述第二捕获图像。
5.根据权利要求1所述的图像生成设备,其中,
当在所述第二状态下捕获图像的时候所述第二正时到来时,所述第二成像装置利用所述相机的多次成像操作以所述相机的使饱和度能够被抑制的曝光时间捕获所述自身车辆周边的多个图像,并且
所述第二成像装置基于利用所述多次成像操作捕获的图像生成所述第二捕获图像。
6.根据权利要求2所述的图像生成设备,其中,
所述第二状态是所述相机的曝光时间设定成抑制在利用所述相机的成像操作捕获所述电子显示设备的图像时发生的闪烁、并且来自所述相机的图像传感器的信号的增益设定成抑制利用所述相机的成像操作捕获的图像中的饱和度的状态。
7.根据权利要求2所述的图像生成设备,其中,
通过将多个图像彼此组合而构成利用所述相机捕获的图像,所述多个图像以按预定种类型的排列模式排列的多个行被捕获从而具有预定种类型,每种类型的所述排列模式均具有所述多个行中的一个或更多个不同的行,所述一个或更多个不同的行被排列成在所述不同的行中的相邻行之间具有等于预定个行的间隔,通过将以所有类型的排列模式中的所述多个行捕获的所述多个图像彼此组合而构成由所述相机捕获的图像;并且
所述第二成像装置配置成:
当在所述第二状态下捕获图像的时候所述第二正时到来时,利用所述相机的与所述预定种类型的排列模式对应的预定次成像操作,以所述相机的如下曝光时间捕获所述自身车辆周边的多个图像:所述相机的所述曝光时间使得利用所述成像操作捕获的所述多个图像中的每个图像中的饱和度均能够被抑制;
通过在所述第二正时处执行的所述成像操作中的各次成像操作而获取以不同类型的排列模式的一个或更多个不同的行捕获的多个图像;以及
通过将以各类型的排列模式的行捕获的所述多个图像彼此组合而生成所述第二捕获图像。
8.根据权利要求2所述的图像生成设备,其中,
当在所述第二状态下捕获图像的时候所述第二正时到来时,所述第二成像装置利用所述相机的多次成像操作以使饱和度能够被抑制的所述相机的曝光时间捕获所述自身车辆周边的多个图像,并且
所述第二成像装置基于利用所述多次成像操作捕获的图像而生成所述第二捕获图像。
9.一种图像生成设备,包括:
成像装置,所述成像装置在预定正时处、利用安装在自身车辆中的相机的多次成像操作、以使得利用所述多次成像操作捕获的所述多个图像中的每个图像的模糊度均能够保持在预定许可范围内的曝光时间捕获所述自身车辆周边的多个图像,并且,所述成像装置由利用所述多次成像操作捕获的所述多个图像生成多个捕获图像;
生成装置,所述生成装置对所述预定正时处的所述多个捕获图像中的每个捕获图像的位置偏差进行校正,并且随后通过将所述多个捕获图像彼此组合而生成合成图像;以及
执行装置,所述执行装置执行利用所述合成图像的过程。
10.一种图像生成方法,包括:
在预定的第一正时在第一状态下利用安装在自身车辆中的相机(10)的成像操作捕获所述自身车辆周边的图像,并且由在所述第一状态下捕获的图像生成第一捕获图像,其中,所述第一状态适于捕获用于识别在显示板上示出的信息的图像;
在预定的第二正时在第二状态下利用所述相机的成像操作捕获所述自身车辆周边的图像,并且由在所述第二状态下捕获的图像生成第二捕获图像,其中,所述第二状态适于捕获用于识别通过从电子显示设备发出的光而显示的信息的图像;以及
执行利用所述第一捕获图像和所述第二捕获图像的过程。
CN201610335107.0A 2015-05-21 2016-05-19 图像生成设备 Active CN106168728B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015103571A JP2016220056A (ja) 2015-05-21 2015-05-21 画像生成装置
JP2015-103571 2015-05-21

Publications (2)

Publication Number Publication Date
CN106168728A true CN106168728A (zh) 2016-11-30
CN106168728B CN106168728B (zh) 2019-11-05

Family

ID=57231481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610335107.0A Active CN106168728B (zh) 2015-05-21 2016-05-19 图像生成设备

Country Status (4)

Country Link
US (1) US10228699B2 (zh)
JP (1) JP2016220056A (zh)
CN (1) CN106168728B (zh)
DE (1) DE102016208768A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620857A (zh) * 2018-06-20 2019-12-27 Zkw集团有限责任公司 用于创建高对比度图像的方法和装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10412312B2 (en) * 2016-08-08 2019-09-10 Gentex Corporation System and method for processing video data to detect and eliminate flickering light sources through dynamic exposure control
JP7059680B2 (ja) 2018-02-19 2022-04-26 日本電気株式会社 撮影装置、撮影方法、プログラム
JP2019197985A (ja) * 2018-05-09 2019-11-14 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US11172219B2 (en) * 2019-12-30 2021-11-09 Texas Instruments Incorporated Alternating frame processing operation with predicted frame comparisons for high safety level use
JP2021118478A (ja) * 2020-01-28 2021-08-10 パナソニックi−PROセンシングソリューションズ株式会社 監視カメラ、カメラパラメータ決定方法およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1339227A2 (en) * 2002-02-25 2003-08-27 Kabushiki Kaisha Toshiba Image pickup apparatus
US20050232468A1 (en) * 2004-03-31 2005-10-20 Fuji Photo Film Co., Ltd. Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
JP2006245784A (ja) * 2005-03-01 2006-09-14 Canon Inc 固体撮像装置及びその駆動方法並びに撮像システム
WO2011058875A1 (ja) * 2009-11-16 2011-05-19 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
JP2014153167A (ja) * 2013-02-07 2014-08-25 Nidec Elesys Corp 物体認識装置、物体認識方法及び物体認識プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10342388A1 (de) 2003-09-13 2005-04-07 Hella Kgaa Hueck & Co. Optoelektronische Überwachungseinrichtung für Kraftfahrzeuge
JP4531609B2 (ja) * 2004-03-31 2010-08-25 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム
JP4685562B2 (ja) * 2005-09-13 2011-05-18 クラリオン株式会社 移動体撮像装置
US7773158B2 (en) * 2005-10-12 2010-08-10 Panasonic Corporation Visual processing device, display device, and integrated circuit
EP1944732A3 (en) * 2007-01-12 2010-01-27 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
JP2008262467A (ja) 2007-04-13 2008-10-30 Honda Motor Co Ltd 運転支援装置
JP2009010836A (ja) * 2007-06-29 2009-01-15 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
DE102007034505A1 (de) * 2007-07-24 2009-01-29 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Verkehrszeichenerkennung
US20100028385A1 (en) * 2008-08-04 2010-02-04 Allergan, Inc. Treatment of excess cerumen secretion
JP5421999B2 (ja) 2009-10-09 2014-02-19 パナソニック株式会社 車両用周囲監視装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1339227A2 (en) * 2002-02-25 2003-08-27 Kabushiki Kaisha Toshiba Image pickup apparatus
US20050232468A1 (en) * 2004-03-31 2005-10-20 Fuji Photo Film Co., Ltd. Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
JP2006245784A (ja) * 2005-03-01 2006-09-14 Canon Inc 固体撮像装置及びその駆動方法並びに撮像システム
WO2011058875A1 (ja) * 2009-11-16 2011-05-19 富士通テン株式会社 車載照明装置、画像処理装置及び画像表示システム
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
JP2014153167A (ja) * 2013-02-07 2014-08-25 Nidec Elesys Corp 物体認識装置、物体認識方法及び物体認識プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620857A (zh) * 2018-06-20 2019-12-27 Zkw集团有限责任公司 用于创建高对比度图像的方法和装置

Also Published As

Publication number Publication date
JP2016220056A (ja) 2016-12-22
CN106168728B (zh) 2019-11-05
US20160344916A1 (en) 2016-11-24
US10228699B2 (en) 2019-03-12
DE102016208768A1 (de) 2016-11-24

Similar Documents

Publication Publication Date Title
CN106168728A (zh) 图像生成设备
CN105590479B (zh) 车位监测方法和装置
EP3026651B1 (en) Vehicle monitoring device and vehicle monitoring method
ATE354497T1 (de) Vorrichtung zum überwachen der umgebung eines fahrzeuges und verfahren zur einstellung derselben
DE102019210333A1 (de) Kamerasystem, ereignisaufzeichnungssystem und ereignisaufzeichnungsverfahren
CN101646021A (zh) 曝光确定装置和图像处理设备
CN103680137B (zh) 基于智能交通监控系统的图像获取方法及装置
CN105530404A (zh) 影像识别装置及影像识别方法
JP5800288B2 (ja) 車両用画像処理装置
KR20200064866A (ko) 롤링셔터를 이용한 객체 속도검출장치 및 방법
JP2002367077A (ja) 交通渋滞判定装置及び交通渋滞判定方法
JPH07101048A (ja) 印刷検査方法および装置
JP5222779B2 (ja) ナンバープレート認識装置
JP7043910B2 (ja) 画像処理装置、撮像装置、機器制御システム、移動体、画像処理方法、プログラム
DE112020002689T5 (de) Feststeckungsbestimmungsvorrichtung und feststeckungsbestimmungsverfahren
JP2001126192A (ja) 駐車場の駐車スペースの駐/空車判定方法
JP6813847B2 (ja) ナンバープレート情報関連付けシステムおよび重量計測システム
JP3017870B2 (ja) レール断面摩耗測定装置
JP2000268173A (ja) 物体認識画像処理方法
WO2005024726A1 (ja) 対象物進行方向検出方法
JPH0735699A (ja) 表面欠陥検出方法およびその装置
DE102013211604A1 (de) Verfahren und Steuergerät zum Überwachen eines Erfassungsbereichs einer Kamera
JPS6340862A (ja) 車両速度計測装置
EP4379361A1 (en) Display body, data processing device, data processing method, and program
JP2814315B2 (ja) 車両動態計測装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant