CN1611064A - 增大图像传感器有效动态范围的系统和方法 - Google Patents

增大图像传感器有效动态范围的系统和方法 Download PDF

Info

Publication number
CN1611064A
CN1611064A CNA028083512A CN02808351A CN1611064A CN 1611064 A CN1611064 A CN 1611064A CN A028083512 A CNA028083512 A CN A028083512A CN 02808351 A CN02808351 A CN 02808351A CN 1611064 A CN1611064 A CN 1611064A
Authority
CN
China
Prior art keywords
image
zone
exposure
overlapping
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028083512A
Other languages
English (en)
Other versions
CN1316814C (zh
Inventor
布雷特·A·沃勒克
哈维·A·科塞尔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Personal Robotics Inc
Original Assignee
Personal Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Personal Robotics Inc filed Critical Personal Robotics Inc
Publication of CN1611064A publication Critical patent/CN1611064A/zh
Application granted granted Critical
Publication of CN1316814C publication Critical patent/CN1316814C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种通过(电或机械)控制多幅图像的曝光(830,870),并根据不同曝光设置的多幅图像(200,900,1000)的适当曝光区域(910,1010,1020,1130)有选择地形成合成图像(1100)而增大图像传感器(101)动态范围的系统和方法。所述系统和方法的某些实施例利用图像处理技术(320,410)确定不同曝光设置,并可形成有选择的合成图像。机器视觉应用程序(330)可直接使用所述正确曝光的区域。

Description

增大图像传感器有效动态范围的系统和方法
                    发明背景
技术领域
本发明概括而言涉及数字图像处理领域。本发明具体涉及提供一种将不同曝光时拍摄的同一景色的多幅图像的信息通过数字图像处理进行组合,增大图像传感器有效动态范围的系统和方法。
背景技术
许多应用需要分析图像,提取信息。例如,使用视觉的可移动机器人(“机器视觉”的一种形式,下面更加详细地描述)采集并分析一系列数字图像,寻找包括路标和障碍物在内的物体,以便设计其运动。计算机和人分析来自安全系统的图像,保证一切均按部就班。通过寻找物体或图案,或通过比较不同时间拍摄的类似图像,分析来自卫星的图像。通常,图像中较大的对比度(即动态范围)增加了可从该图像提取出的信息,因为更好地限定了边缘和其他细节。在机器视觉中,这种更高的对比度能简化边缘检测和物体定位。
人类视觉系统具有很宽的动态范围,并且非常善于从同时包含极亮和极暗区域的景色中提取信息。不过,高对比度常常抑制其它图像传感器,如数码相机或模拟相机的动态范围,使相当大的区域饱和或者太暗。对于数字图像而言,饱和区域是包含最大亮度或接近最大亮度象素的区域,而暗区域为包含最小亮度或接近最小亮度象素的区域。一般,由曝光过量产生饱和区域,由曝光不足产生暗区域。通常极难有效地分析饱和区域和暗区域。高价照相机一般具有更大动态范围,不过对于许多应用而言价格过高。
曝光控制是调节图像对比度的一种方法。当前的自动曝光系统通常非常精确。典型自动曝光系统使用相机内的反射光曝光计,检测光强,并将照相机的快门速度和/或光圈电调节至最佳曝光设置。通常使用光电池作为曝光计,其中硅光电二极管最为常用。图像传感器一般具有其自己的曝光计。
虽然这些光平均曝光控制系统在选择正确的额定曝光时做得很好,不过许多图像仍然包含曝光过度(饱和)和曝光不足(暗)区域。例如在包含光源的照相图像中,该图像的大部分可能呈现出正确曝光,不过靠近光源的区域常常曝光过度(饱和),呈现出亮白色,缺少细节。
当前市场上某些数码相机具有增强的自动曝光系统。一种这类系统允许使用者通过一次按下开关(称为托架),三次曝光自动拍摄同一张相片。然后使用者可以选择三次曝光中最佳的拍摄。这些系统还使使用者可选择三次曝光的范围。不过,图像中的局部亮区和暗区仍然使之不可能通过任何一次曝光有效地拍摄整幅图像。一般,摄影师使用外部光源或闪光灯,通过增大景色的动态范围来提高图片对比度。
机器视觉指系统(即机器)通过分析一幅图像或一系列图像,产生有关对什么进行成像的有用的描述,以便完成给定任务。例如,机器视觉可包括从一幅图像提取出面部特征,以便将图像中的人与面部特征数据库匹配,或者根据两个立体图像确定到物体的距离,从而机器人决定它可以向前移动多远而不碰到该物体。下面为可采用机器视觉处理的应用的例子:
1.确定环境地图,以便机器人自主地走来走去,而不会撞上物体;
2.识别图像的人,判断是谁处于某一位置;
3.在多幅图像中跟踪对象,确定所述对象在图像中所处的位置(例如,确定足球在图像中所处的位置,从而可以替换为图像中足球形状的广告);
4.确定对象的位置,方向和大小,从而可由机器自动操纵(例如,机器臂需要从组装线中拾取物体,并且所述物体可以为任何一种形状并且处于传送带上不同位置/方向);
5.在多幅图像中跟踪物体,判断它在周围环境中所处的位置(例如,即将到来的物体的视觉特性,位置,速度和轨迹,判断它是导弹还是飞机);以及
6.分析医疗图像,为了寻找可能的患病区域。
在机器视觉应用中,其中一个例子为机器人技术,观察所有区域均具有足够大对比度的整个景色,识别和分析其中所包含的特征的能力是有利的。在视觉机器人技术中,机器人通过识别物体,开放空间,图案,墙壁等,导航通过外界环境。机器人视觉的一种实际实现方式是采用两个照相机获得立体视觉,确定到物体的距离。缺少足够大动态范围的曝光不良图像,可导致机器人迷路或者不能适当地定位和避开诸如开放楼梯间的物体或者危险物。从而,视觉机器人和图像传感与处理技术需要增大图像传感器的有效动态范围。有效动态范围的这种增大将有助于除了上述机器人应用以外的多种应用。
发明内容
本发明涉及一种通过计算机控制曝光(电或机械)增大图像传感器有效动态范围的系统和方法。本发明通过不同曝光条件下图像传感器采集的多幅图像的数字处理,克服了上述传统和增强型自动曝光系统的局限性。
本发明的一个方面包括一种有效增大图像传感器动态范围的方法,包括获得不同曝光时拍摄的景色的多幅图像,根据表示亮度的象素值,从多幅图像的一幅选定图像中搜索曝光过度区域和曝光不足区域,分析多幅图像中以更低曝光拍摄的其他图像中与所选定图像中曝光过量区域空间相应的部分,分析多幅图像中以更高曝光拍摄的其他图像中与所选定图像中曝光不足区域空间相应的部分,并用机器视觉应用程序对至少一个所分析部分进行处理。该方法还包括其中所述图像传感器为数码相机。该方法还包括其中所述部分可以重叠,不重叠,或者为重叠与不重叠组合。
本发明另一方面包括一种有效增大图像传感器动态范围的方法,包括获得景色的图像,分析所述图像识别出一个或多个太亮或太暗的区域,其中任何一个区域包括多个象素,对于任何识别为太亮的区域,获得减少曝光图像,对于任何识别为太暗的区域,获得增加曝光图像,并对该图像一个或多个适当曝光区域,和减少和/或增加曝光图像中一个或多个适当曝光区域进行处理。该方法还包括其中所述图像传感器为数码相机。该方法还包括其中该区域可以为重叠,不重叠,或者为重叠与不重叠的组合。该方法还包括如果所述图像传感器可具有更低曝光设置,则以减少曝光获得另一幅图像。该方法还包括如果所述图像传感器可具有更高曝光设置,则以增加曝光获得另一幅图像。该方法还包括在任何区域的平均象素值只要不处于选定限度内时重复获得减少曝光图像和/或获得增加曝光图像元素。
该方法还包括分析减少和/或增加曝光图像中的适当曝光区域,识别出一个或多个太亮或太暗的子区域,对于任何识别为太亮的子区域,获得另一幅减少曝光图像,对于任何识别为太暗的子区域,获得另一幅增加曝光图像,并处理所述适当曝光的区域和减少和/或增加曝光图像中一个或多个适当曝光的子区域。该方法还包括其中所述图像传感器安装在可移动机器人上,并且对于多个搜索包括路标和障碍物在内的对象的场景重复该方法,以便设计可移动机器人的运动。该方法还包括其中所述照相机包括CCD或CMOS探测器。
本发明又一方面包括一种计算机程序存储介质,保存处理器执行增大图像传感器动态范围的方法时所执行的指令,包括获得景色的基础图像,分析该基础图像,识别出一个或多个太亮或太暗的区域,其中任何一个区域包括多个象素,对于任何识别为太亮的区域,获得一幅减少曝光图像,对于任何识别为太暗的区域,获得增加曝光图像,并处理所述基础图像和减少和/或增加曝光图像中一个或多个适当曝光的区域。该存储介质还包括其中所述图像传感器为数码相机。该存储介质还包括其中所述区域可以重叠,不重叠,或为重叠与不重叠的组合。
本发明再一方面包括一种用于有效增大图像传感器动态范围的图像传感系统,包括通过不同曝光多次采集景色的图像获得多幅图像的装置,和将所述图像分割成多幅图像区域的装置,其中每个区域表示一个选定的动态范围,并且其中用机器视觉应用程序处理所述多幅图像区域中的一个或多个。
该系统还包括其中所述图像传感器为数码相机。该系统还包括其中所述图像传感系统包括至少两个相互补偿的图像传感器。该系统还包括其中所述机器视觉应用程序利用来自所述至少两个图像传感器的图像部分确定从照相机系统到被成像物体或特征的距离和/或方向。该系统还包括其中所述图像传感系统产生合成图像,用于包括物体识别与定位,边缘检测和图案识别在内的特征提取。该系统还包括其中所述图像传感系统产生合成图像,用于包括物体识别与定位,边缘检测和图案识别在内的特征提取。该系统还包括其中所述区域可重叠,不重叠,或者为重叠与不重叠的组合。
本发明另一方面包括一种有效增大图像传感器动态范围的方法,包括通过多次不同曝光采集景色的图像而获得多幅图像,将所述图像分割成多幅图像区域,其中每个区域代表一个选定的动态范围,并用机器视觉应用程序处理所述多幅图像区域中的任何一个或多个。该方法还包括其中所述图像传感器为数码相机。
本发明另一方面包括一种用于有效增大图像传感器动态范围的图像采集系统,包括用于获得景色的多幅图像,其中每个图像具有不同曝光量的装置,和用于获得多幅图像区域,其中每个图像区域包含所述多幅图像中具有良好动态范围的特定图像部分的装置,其中用机器视觉应用程序处理所述多幅图像区域中的任何一个或多个。
还包括一种用于将该系统从一个位置移动到另一位置,以便采集不同景色的图像的装置。该系统还包括其中所述图像传感器为数码相机。该系统还包括其中所述图像传感系统包含至少两个相互补偿的图像传感器。该系统还包括其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分确定从所述照相机系统到被成像对象或特征的距离和/或方向。该系统还包括其中所述成像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。该系统还包括其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。
本发明又一方面包括一种有效增大图像传感器动态范围的方法,包括获得在不同照明条件下拍摄的景色的多幅图像,根据表示亮度的象素值在所述多幅图像的一幅图像中搜索曝光过量和曝光不足部分,再次分析与所述多幅图像中在不同照明条件下拍摄的其他图像中空间相关部分相应的选定图像中的曝光过量部分和曝光不足部分,并用机器视觉应用程序处理至少一个该再次分析部分。该方法还包括其中所述图像传感器为数码相机。该方法还包括其中所述位置可重叠,不重叠,或者为重叠与不重叠的组合。该方法还包括其中所述不同照明条件包括一个或多个闪光灯。
本发明另一方面包括一种有效增大一个或多个图像传感器动态范围的图像传感系统,包括用于在不同照明条件下多次采集景色的图像,以便获得多幅图像的装置,和用于将所述图像分割成多幅图像区域的装置,其中每个图像区域代表一个选定的动态范围,其中用机器视觉应用程序处理所述多幅图像区域中的任何一个或多个。
该系统还包括其中所述一个或多个图像传感器为一个或多个数码相机。该系统还包括其中所述不同照明条件包括使用一个或多个闪光灯。该系统还包括其中所述图像传感系统包含至少两个相互补偿的图像传感器。该系统还包括其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分确定从该照相机系统到被成像对象或特性的距离和/或方向。该系统还包括其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。该系统还包括其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。
附图说明
结合附图理解,参照下面的详细说明,将更好地理解本发明的上述和其他方面,特征和优点。这些附图和相关说明用于说明本发明的某些实施例,并未限制本发明的范围。
图1A为利用一个单一图像传感器的图像传感与处理系统的一个实施例的图示。
图1B为利用安装在可移动机器人上的多个图像传感器的图像传感与处理系统的一个实施例的图示。
图2为通过图像传感器自动曝光系统选择正常曝光时拍摄的景色的数字图像,作为基础图像。
图3为图像传感与处理系统一个实施例中的模块系统图。
图4为图像传感与处理系统另一实施例中的模块系统图。
图5为图像传感与处理系统中递归曝光过程步骤的一个实施例的流程图。
图6为图5中所示寻找亮区域(FindBrightRegions)过程步骤的一个实施例的流程图。
图7为图5中所示寻找暗区域(FindDarkRegions)过程步骤的一个实施例的流程图。
图8为图6和7中所示处理区域(ProcessRegion)过程步骤的一个实施例的流程图。
图9为图2中所示基础图像景色的数字图像,不过在更低曝光强度时拍摄。
图10为图2中所示基础图像景色的数字图像,不过在更高曝光强度时拍摄。
图11为使用每个图像的最佳曝光部分,由图2、图9和图10的图像拼接在一起的合成图像。
具体实施方式
某些实施例的下列详细描述表现出对本发明特定实施方式的多种表述。不过,可由权利要求限定和覆盖的多种不同方式实施本发明。在本说明中,将附图中的相同元件赋予相同附图标记。
本发明的一个实施例提供了一种通过组合同一景色在不同曝光条件下拍摄的不同图像的多幅图像的信息,增大图像传感器有效动态范围的机制。该实施例包括一个或多个图像传感器,例如数码相机,能足够长时间地保持有效固定,以便获得同一景色的多幅图像。这种数字成像过程一般不会花费较长时间,因为计算机通常可在不到一秒的时间内完成该过程。从而,在多个实施例中,所述图像传感器可以是便携式的,并放置在地面上,处于三脚架上或者集成在可移动机器人中。其他实施例可具有其它结构的图像传感器。可由计算机控制最初曝光设置。不过,还可以使用自动曝光系统获得基础,即第一幅图像。曝光控制可以是电或机械的,并且可以利用计算机控制光圈。
某些实施例还包括计算机,对该图像传感器采集的图像进行数字图像处理。该图像传感器和计算机例如通过常用的可存取的计算机存储器或经过网络连接通信,交换数据。在一个实施例中,计算机可以包括具有图像传感器外壳内必要部件的印刷电路板。在移动机器人技术的情形中,机器人通常包括至少一个计算机,一驱动系统和一图像传感器,所述图像传感器为例如具有曝光控制机制的照相机。
在一个实施例中,从图像传感器系统拍摄景色的称作基础图像的照相图像开始所述过程。搜索该基础图像,寻找饱和或接近饱和的区域。对于每个饱和或接近饱和的区域,连续以更低(例如更暗)曝光采集同一景色的附加图像,直至前一饱和区域的平均象素值接近象素值范围的中间值。对于每个黑色(即曝光不足)或接近黑色的区域,连续以更高(例如更亮)曝光采集附加图像,直至前一黑色区域的平均象素值接近象素值范围的中间值。
递归曝光是一种进一步分割图像曝光不良区域的方法。不同曝光时的附加图像不必整个区域都具有良好的对比度。可以使用多幅图像的部分提供一系列合在一起能覆盖整个感兴趣区域的图像片段。
在另一实施例中,并非递归调节曝光,并根据需要拍摄尽可能多的照片来改善图像,计算机可操纵图像传感器在不同曝光时同时或相继拍摄预定数量的照片。在该实施例中,并非使每个区域的曝光最佳,而是计算机从所述一系列图像中选择每个区域的最佳曝光。所述计算机控制的图像传感器可以包括专业图像传感装置,在不同曝光下自动拍摄一定数目的照片。
在白天从户外通过门口往里看暗室拍摄图像的例子中,典型的自动曝光图像传感系统选择用于建筑物外部的适当曝光。不过,在这种情形中,房间内的物体和/或特征显得很黑(即曝光不足)。在一个实施例中,计算机图像处理系统分析该图像,并确定门口内所有东西都是暗的。在更高曝光时再次拍照,并再次分析该图像的门口部分。如果该图像的平均象素值依然低于预先确定的阈值,则计算机继续操纵该图像传感系统在不同的更高曝光下拍摄另外的图像,直至门内的区域被充分曝光,或者该图像传感器已经达到了最大曝光设置。
根据这种递归曝光技术,获得总体上针对每个图像区域包含足够对比度的一系列图像。图像分割技术有多种实施方式。例如,在一个实施例中,通过每幅图像中正确和充分曝光的特定象素跟踪该区域。或者,可以使用多种可能的形状划分该区域,例如矩形,多边形,椭圆形,曲线形(即通过两点或多点的平滑曲线,通常由数学公式产生)等。在本实施例中,可由特定应用程序分析每幅图像的适当曝光部分。在利用机器视觉的一个实施例中,所分割的区域可以重叠,或者甚至包含任何图像中均未正常曝光的空间。通过这种方法,机器人使用其所能获得的全部信息,不过由于图像处理算法的统计性,它不能100%地对所有给定景色起作用。
在另一实施例中,如某些例如立体视觉应用所需的,该系统利用多个图像传感器,例如数码相机。可以独立地对每个照相机采集的图像进行曝光分析,或者对于来自不同照相机的图像中的相应区域,可以选择曝光相同。
在另一实施例中,可使用灯或闪光灯改变图像之间的对比度。图像处理应用程序通常不限于可见光光谱。例如,使用互补金属氧化物半导体(CMOS)装置获取图像的照相机,可以工作于红外光区域,从而可使用红外区域中的曝光设置。由于人眼不能看到红外光,照相机系统可以具有人眼看不见的光源或闪光灯。可利用使用电荷耦合装置(CCD)获取图像的其他照相机。
在又一实施例中,并非所有的照片都是针对同一景色拍摄的。当图像传感器或景色不能保持固定时产生这种情况,诸如每个图像属于稍稍不同的景色。本实施例显然需要执行更多的图像处理,由于物体和特征在图像中处于不同位置,计算机必须将每张照片中的物体和特征相互联系起来。本领域中存在相关技术,如用于匹配图像中物体的光流。在另一实施例中,使用模拟照相机作为图像传感器,要求在不同曝光下拍摄全部图像,并在执行曝光分析技术之前以数字格式扫描到计算机中。
在利用机器视觉应用程序的实施例中,计算机执行的图像处理算法分别分析每个子区域,或者在多个图像传感器应用的情形中分别分析相应的子区域。在人对图像进行分析的实施例中,计算机算法可以将多幅图像的正确曝光区域拼接成一幅图像。虽然这种拼接图像可能不连贯,不过该图像的多个区域适当曝光,从而可以对整个图像中的物体和/或特征进行处理。所述适当曝光区域可以重叠,不重叠,或者为重叠与不重叠的组合。
在利用立体视觉的一个实施例中,例如在基于机器人技术的视觉中,计算机将来自其一个图像传感器的图像中的物体和/特征与来自另一图像传感器的图像中的相应物体和/或特征进行匹配。可使用对象和/或特征在每个图像中的相对位置,确定机器人相对该物体和/或特征的距离和方向。在本实施例中,适当曝光区域是其中物体和/或图像具有足够大对比度的区域,从而在两个立体图像传感器的图像之间可以匹配。
图1A为利用单个图像传感器101的图像传感与处理系统的一个实施例的图示。在该实施例中,图像传感器101通过电缆104与计算机102相连。虽然可以使用以数字格式获取图像的任何图像传感器,不过目前广泛使用的一类图像传感器为数码相机。对于诸如立体视觉的应用,可以使用多个图像传感器101。图1A中所示的电缆104可以为多种接口电缆中的一种或多种,例如串口电缆(例如RS-232,EIA-232或RS-422),并口电缆,USB(通用串行总线)接口电缆,网络接口电缆(例如以太网或TCP/IP),或者任何其他能连接多个装置允许在所述装置之间进行数据通信的电缆。在其他实施例中,使用模拟照相机图像传感器101,使用传统照相软片格式获得图像。将照相软片图像扫描成数字格式,并由计算机102保存。不过,与使用图像传感器直接以数字格式获取图像相比,这种方法更加麻烦和费时。
图1A中所示的实施例中计算机102为台式个人电脑(PC),不过在其他实施例中,计算机102也可以为例如专用印刷电路板或仅具有图像处理所需硬件的单个集成电路。在另一些实施例中,图像传感器101与计算机102可以集成为一个机器或装置,从而可能消除连接它们的电缆104。在又一些实施例中,可由无线链路取代图1A中所示的电缆104。
图1A表示安装在三脚架103上的图像传感器101,例如照相机,三脚架广泛地应用于照相技术中,用于在采集图像的同时固定照相机101和使照相机101的移动最小。使用三脚架103有利于保证除了改变曝光以外,图像基本相同。图1A还表示包含物体105的景色的示例,物体105可以处于布景中,例如在本例中为灯和桌子。用于多图像处理的典型物体为具有静物105的布景,在相当短的时间周期内获得所述布景。不过,此处所述的图像处理技术可以应用于在不同时刻拍摄的照片,具有在不同图像中照明不同的附加优点。递归曝光技术还可应用于物体和/或特征在多幅图像中处于不同位置的动态景色。在这种情况下,需要额外的处理来使在图像之间改变位置的物体相互关联。
图1B为利用安装在可移动机器人装置110上的多个图像传感器101的图像传感与处理系统的一个实施例的图示。图1B表示出具有两个图像传感器101的机器人110,不过还可以考虑到仅具有一个图像传感器101(如图1A所示)或者具有多于两个图像传感器101(该结构未示出)的其他实施例。图1B中所示的两个图像传感器101能在几乎同一时刻或在不同时刻,用相同或不同曝光条件拍摄布景中物体105的多幅图像。
在图1B所示的一个实施例中,一个或多个照相机101可以安装在可移动机器人110上,在这种情形中,对于多个景色重复图像处理方法,寻找包括路标和障碍物在内的物体105,以便设计机器人110的运动。本申请人共同悬而未决的专利申请美国专利申请第09/449,177中描述了可移动机器人110。
图2为图像传感器101的自动曝光系统选择的标准曝光下拍摄的景色的数字图像,用作基础图像200。基础图像200的许多区域正常曝光,并且在照片中很清晰,例如悬挂在门上的衬衫210。在图2所示的基础图像200中,还可以看出衬衫上的图案和窗户阴影上的印痕。不过,灯220后面的区域饱和(即过亮或曝光过量),而门230后面的空间和窗户240则太暗(即曝光不足)。在图2所示的基础图像200示例中,灯220后面的区域是唯一过亮的区域。
图3为图像传感与处理系统一个实施例中模块300的系统图。在本实施例中,包括采集多幅图像模块310。模块310与图像区域分割模块320进行数据通信。模块320还与机器视觉处理模块330进行数据通信。数据通信可以采用多种形式,包括例如常用的可存取计算机存储器或网络连接,仅指出几种。对于与机器视觉处理算法有关的更多信息,参见例如B.K.P.Horn,“Robot Vision”,MIT press和McGraw-Hill(1986),Klette,Schluns & Koschan,“ComputerVision”,Springer-Verlag Singapore Pte.Limited(1998),Duda & Hart,“Pattern Classification and Scene Analysis”,John Wiley & Sons(1973)和S.E.Umbaugh,“Computer Vision and Image Processing”,PrenticeHall(1998)。
图4为图像传感与处理系统另一实施例中模块400的系统图。在本实施例中,包括采集多幅图像模块310(参见图3)。模块310与图像区域模块410进行数据通信。模块410还与机器视觉处理模块330(参见图3)进行数据通信。模块330还与运动模块420进行数据通信。运动模块420指挥系统从一个位置移动到另一位置,以便获得不同景色的图像。数据通信可以采用上面参照图3所述的多种形式。
图5为图像传感与处理系统中递归曝光过程500步骤一个实施例的流程图。如图5所示,从开始步骤502开始该递归曝光过程500。在开始步骤502之后,该递归曝光过程500进入寻找亮区域寻找亮区域(FindBrightRegions)过程510。执行下面关于图6更加详细描述的FindBrightRegions过程510,获得基础图像200的过亮(饱和)区域220。在FindBrightRegions过程510之后,递归曝光过程500进入寻找暗区域(FindDarkRegions)过程520。执行下面参照图7更加详细描述的FindDarkRegions过程520,获得基础图像200的过暗(曝光不足)区域230,240。在FindDarkRegions过程520之后,递归曝光过程500进入将所有区域发送给图像处理程序的步骤530。这种图像处理程序的一个例子为光流分析。关于光流分析的更多信息,参见例如F.Bergholm和S.Carlsson,“A“theory”ofoptical flow”,Computer Visions,Graphics,and Image Processing:Image Understanding,vol.53,pp.171-188,1992年3月;还参见S.Baker和T.Kanade,“Super Resolution Optical Flow”,tech.reportCMU-RI-TR-99-36,Robotics Institute,Carnegie Mellon University,1999年10月。在步骤530之后,在结束步骤540结束该递归曝光过程500。
图6为图5中所示FindBrightRegions过程510步骤一个实施例的流程图。过亮区域是其中足够数量象素组的值大于指定阈值的区域。这种过亮区域的一个例子为其中各象素均饱和的区域。如图6所示,在开始步骤602开始FindBrightRegions过程510。在开始步骤602之后,FindBrightRegions过程510执行判断步骤610。如果在该判断步骤610判断结果为不存在另一组太亮的象素,则在结束步骤640结束FindBrightRegions过程510。然而,如果在判断步骤610判断结果为存在另一组太亮象素,则该FindBrightRegions过程510进入产生包含饱和象素的新区域的步骤620。可由例如多边形,象素阵列(压缩或未压缩)或链码表示所述区域。在步骤620之后,该FindBrightRegions过程510进入处理区域(ProcessRegion)过程630,下面将参照图8对其进行更加详细的描述。
图7为图5中所示FindDarkRegions过程520步骤一个实施例的流程图。过暗区域是其中平均象素值小于指定阈值的区域。一个例子为其中各象素均具有零亮度即为黑色的区域。如图7所示,在开始步骤702开始FindDarkRegions过程520。在开始步骤702之后,该FindDarkRegions过程520进入判断步骤710。如果在判断步骤710判断结果为不存在另一组太暗象素,则在结束步骤730结束该FindDarkRegions过程520。然而如果在判断步骤710判断结果为存在另一组太暗的象素,则该FindDarkRegions过程520进入用于产生包含暗象素的新区域的步骤720。在步骤720之后,该FindDarkRegions过程520进入下面将要参照图8更加详细描述的ProcessRegion过程630。回到图2中所示的示例性基础图像200,该窗户240和通过门230的区域为使用ProcessRegion过程630再次处理的暗区域的例子。
图8为图6和图7中所示ProcessRegion过程630步骤一个实施例的流程图。在本实施例中,分析每个太亮或太暗的区域,并使用图8所示的ProcessRegion过程630在不同曝光下产生新图像。如图8所示,在开始步骤802开始该ProcessRegion过程630。在开始步骤802之后,该ProcessRegion过程630进入判断步骤810。如果在判断步骤810判断结果为新图像中相应的区域太亮,则该ProcessRegion过程630进入判断步骤820。如果在判断步骤820判断结果为图像传感器101,例如照相机,处于最暗(即最低)曝光,则在结束步骤880结束该ProcessRegion过程630。不过,如果在判断步骤820判断结果为图像传感器101并非处于最低曝光,则该ProcessRegion过程630进入降低曝光步骤830,降低图像传感器101的曝光设置。
有多种可用于确定曝光减少量的算法。例如,在一个实施例中,使用二维表格查找,输入量为当前区域中的平均象素值和当前曝光设置。本实施例表格查找的输出为新的曝光设置。在一替代实施例中,计算新的曝光设置,使新曝光设置与前次曝光设置的比值基本上等于所需平均象素值与当前平均象素值的比值。在某些实施例中,可通过多种技术例如,改变图像传感器101接收光的时间,改变图像传感器101透镜口径的尺寸,改变亮度(例如黑色)设置,改变对比度(例如增益)设置,使用稳定光源或闪光灯照射景色,或者其他前获取或后获取曝光技术,增强图像的曝光。
在步骤830之后,该ProcessRegion过程630进入采集图像步骤840,在一个实施例中采集图像步骤包括图像传感器101通过与采集前一幅图像相同的方式,但用不同曝光设置采集新图像。在步骤840之后,该ProcessRegion过程630进入判断步骤810。在步骤830处减小照相机曝光设置和步骤840采集新图像之后,重复该过程直到平均象素值处于可接受范围内(如上面与判断步骤810和850有关的描述)或者由于照相机曝光设置处于其最小或最大值(如上面与判断步骤820和860有关的描述)而不可能进行更多补偿。在重复该过程的最终结果为平均象素值处于可接受范围内的情况下,对于图像中该区域递归执行该过程(如图8中步骤510和520的递归执行所示,上面结合图6和7进行了描述)。换句话说,使用与先前检查基础图像200相同的过程,通过FindBrightRegions过程510检查该区域获得太亮象素组,通过FindDarkRegions过程520获得太暗象素组。虽然有可能每个象素均具有唯一的理想曝光,不过通过少数几次曝光,大多数图像最佳。在另一实施例中,在较大的不同曝光范围内采集景色的多幅图像,并在获取图像后发生的图像处理之前进行保存。在本实施例中,图像处理如上所述,不过在步骤840采集图像,检索并处理最接近于对应于所需曝光的图像。
不过,如果在判断步骤810中判断结果为该区域不太亮,则该ProcessRegion过程630进入判断步骤850。如果在判断步骤850判断结果为该区域太暗,则该ProcessRegion过程630进入判断步骤860。如果在判断步骤860判断结果为该图像传感器处于最亮曝光,则在结束步骤882结束该ProcessRegion过程630。然而,如果在判断步骤860判断结果为该图像传感器并非处于最亮曝光,则该ProcessRegion过程630转到增加曝光步骤870。
可使用多种算法确定曝光的增加量。在一个实施例中,使用二维表格查找,其输入为当前区域中的平均象素值和当前曝光设置。本实施例中表格查找的输出为新的曝光设置。在另一实施例中,计算新曝光设置,使新曝光设置与前次曝光设置的比值基本上等于所需平均象素值与当前平均象素值的比值。
在步骤870之后,该ProcessRegion过程630进入采集图像步骤840。在步骤840之后,如上所述,该ProcessRegion过程630执行判断步骤810。
不过,如果在判断步骤850判断结果为该区域并非太暗,则该ProcessRegion过程630进入上面结合图6描述的FindBrightRegions过程510。在FindBrightRegions过程510之后,该ProcessRegion过程630执行上面结合图7描述的FindDarkRegions过程520。在FindDarkRegions过程520之后,在结束步骤884结束该ProcessRegion过程630。图8中的结束步骤880,882,884代表相同的结束处理指令,不过表示成三个分离步骤仅仅为了简化图8的描绘。
图9为图2中所示基础图像200景色的数字图像900,不过在更低曝光强度时拍摄。在图像900中,基础图像200(参见图2)的过亮区域220被适当曝光,如区域910所示。而图像900的其余较低曝光区域920未经处理,观察图9发现,图像900的区域920曝光不足,从而对于识别大部分物体和/或特征的图像处理而言太暗。
图10为图2中所示基础图像200的数字图像1000,不过在更高曝光强度时拍摄。在新图像1000中,基础图像200的过暗区域230,240被适当曝光,分别如区域1010,1020所示。不过,观察图10发现,图像1000的大多数其余区域1030曝光过量,从而对于识别大多数物体和/或特征的图像处理而言太亮。
图11为使用每幅图像200,900和1000的最佳曝光部分,将图2,图9和图10的图像拼接在一起的合成图像1100。在一个实施例中,处理了过亮和过暗区域,该图像可用于取决于图像处理的应用。在利用机器视觉的应用的实施例中,通常计算机分析独立发生在各图像的适当曝光区域。本发明有不需要合成图像的实施例,图11表示如果产生这种合成图像1100时的有效图像。在该实施例中,使用三个曝光图像200,900和1000,合成图像1100的大部分区域1130来自于基础图像200。基础图像200中的过亮区域220被图9中所示曝光不足图像900的适当曝光区域910取代。基础图像200的过暗区域230,240分别被图10中所示曝光过量图像1000的适当曝光区域1010和1020取代。在一个实施例中,因为仅使用三次曝光而未经历进一步图像处理,合成图像1100有可能不连贯,不过如图11所示,与最初的基础图像200相比,在合成图像1100的所有区域中均能看到多得多的细节。
在其他实施例中,获得附加曝光,产生类似环形的子区域,其中对于一系列图像显示出逐渐增大的环。在这些实施例中,区域之间的亮度过渡更加平滑。在又一些实施例中,其中允许图像传感器移动的动态景色或场合,需要更多的图像处理,不过可以通过与上述相同的方式进行分析和处理。在这些实施例中,在不同图像之间区域形状可以稍有不同。
虽然上面的详细说明表示、描述并指出当应用于多个实施例时本发明的新颖特征,不过应该理解,本领域技术人员在不偏离本发明目的的条件下,可以对所述装置或方法的形式和细节进行多种省略,替代和改变。本发明的范围由所附权利要求表示,并非由上面的描述表示。所有属于权利要求的等效含义和范围的改变均包含在其范围之内。

Claims (42)

1.一种有效增大图像传感器动态范围的方法,所述方法包括:
获得不同曝光下拍摄的景色的多幅图像;
根据表示亮度的象素值,搜索所述多幅图像的一选定图像,获得曝光过量和曝光不足区域;
分析所述多幅图像中在更低曝光时拍摄的其他图像中与所选定图像的曝光过量部分空间相应的部分;
分析所述多幅图像中在更高曝光时拍摄的其他图像中与所选定图像的曝光不足部分空间相应的部分;以及
用机器视觉应用程序处理至少一个所述经过分析的区域。
2.根据权利要求1所述的方法,其中所述图像传感器为数码相机。
3.根据权利要求1所述的方法,其中所述部分可以重叠,不重叠,或者为重叠或不重叠的组合。
4.一种有效增大图像传感器动态范围的方法,所述方法包括:
获得景色的一幅图像;
分析所述图像,识别出一个或多个太亮或太暗的区域,
其中任何一个所述区域包括多个象素;
对于任何一个识别为太亮的区域,获得一幅减少曝光图像;
对于任何一个识别为太暗的区域,获得一幅增加曝光图像;以及
对所述图像的一个或多个适当曝光区域,和所述减少和/或增加曝光图像的一个或多个适当曝光区域进行处理。
5.根据权利要求4所述的方法,其中所述图像传感器为数码相机。
6.根据权利要求4所述的方法,其中所述区域可以重叠,不重叠,或者为重叠或不重叠的组合。
7.根据权利要求4所述的方法,还包括如果所述图像传感器可具有更低曝光设置,则在减少曝光时获得另一图像。
8.根据权利要求4所述的方法,还包括如果所述图像传感器可具有更高曝光设置,则在增加曝光时获得另一图像。
9.根据权利要求4所述的方法,其中只要任何区域的平均象素值不处于选定范围之内,则重复获得减少曝光图像和/或获得增加曝光图像元素。
10.根据权利要求4所述的方法,还包括:
分析所述减少和/或增加曝光图像中的适当曝光区域,识别出一个或多个太亮或太暗的子区域;
对于任何识别为太亮的子区域,获得另一减少曝光图像;
对于任何识别为太暗的子区域,获得另一增加曝光图像;以及
对所述适当曝光的区域和所述减少和/或增加曝光图像中一个或多个适当曝光的子区域进行处理。
11.根据权利要求4所述的方法,其中所述图像传感器安装在可移动机器人上,并且对多个景色重复所述方法寻找包括路标和障碍物在内的对象,以设计可移动机器人的运动。
12.根据权利要求5所述的方法,其中所述照相机包括CCD或CMOS传感器。
13.一种计算机程序存储介质,保存处理器执行增加图像传感器动态范围的方法时所执行的指令,所述方法包括:
获得景色的基础图像;
分析所述基础图像,以识别出一个或多个太亮或太暗的区域,其中任何一个所述区域包括多个象素;
对于任何识别为太亮的区域,获得减少曝光图像;
对于任何识别为太暗的区域,获得增加曝光图像;以及
对所述基础图像和所述减少和/或增加曝光图像中一个或多个适当曝光区域进行处理。
14.根据权利要求13所述的存储介质,其中所述图像传感器为数码相机。
15.根据权利要求13所述的存储介质,其中所述区域可重叠,不重叠,或者为重叠与不重叠的组合。
16.一种用于有效增大图像传感器动态范围的图像传感系统,包括:
使用不同曝光多次采集景色图像,获得多幅图像的装置;以及
将所述图像分割成多幅图像区域的装置,其中每个区域代表一个选定的动态范围,并且其中用机器视觉应用程序对所述多个图像区域中的任何一个或多个进行处理。
17.根据权利要求16所述的系统,其中所述图像传感器为数码相机。
18.根据权利要求16所述的系统,其中所述图像传感系统包括至少两个相互补偿的图像传感器。
19.根据权利要求18所述的系统,其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分,确定从所述照相机系统到被成像对象或特征的距离和/或方向。
20.根据权利要求16所述的系统,其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。
21.根据权利要求19所述的系统,其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。
22.根据权利要求16所述的系统,其中所述区域可以重叠,不重叠,或者为重叠或不重叠的组合。
23.一种有效增大图像传感器动态范围的方法,所述方法包括:使用不同曝光多次采集景色的图像,以便获得多幅图像;
将所述图像分割成多幅图像区域,其中每个区域代表一个选定的动态范围;以及
用机器视觉应用程序对所述多幅图像区域中的任何一个或多个进行处理。
24.根据权利要求23所述的方法,其中所述图像传感器为数码相机。
25.一种用于有效增大图像传感器动态范围的图像采集系统,所述系统包括:
用于采集景色多幅图像的装置,每个图像具有不同曝光;以及
用于获得多幅图像区域的装置,其中每个区域包含来自所述多幅图像的具有良好动态范围的特定图像部分,并且其中用机器视觉应用程序对所述多幅图像区域中的任何一个或多个进行处理。
26.根据权利要求25所述的系统,还包括用于将所述系统从一个位置移动到另一位置,以便采集不同景色图像的装置。
27.根据权利要求25所述的系统,其中所述图像传感器为数码相机。
28.根据权利要求25所述的系统,其中所述图像传感系统包括至少两个相互补偿的图像传感器。
29.根据权利要求28所述的系统,其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分,确定从所述照相机系统到被成像对象或特征的距离和/或方向。
30.根据权利要求25所述的系统,其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。
31.根据权利要求29所述的系统,其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。
32.一种有效增大图像传感器动态范围的方法,所述方法包括:
获得不同照明条件下拍摄的景色的多幅图像;
根据表示亮度的象素值,搜索所述多幅图像中一幅图像,获得曝光过量和曝光不足部分;
再次分析所选择图像中与所述多幅图像在不同照明条件下拍摄的其他图像中空间相关部分相应的曝光过量部分和曝光不足部分;以及
用机器视觉应用程序对至少一个所述再次分析部分进行处理。
33.根据权利要求32所述的方法,其中所述图像传感器为数码相机。
34.根据权利要求32所述的方法,其中所述部分可以重叠,不重叠,或者为重叠与不重叠的组合。
35.根据权利要求32所述的方法,其中所述不同照明条件包括一个或多个闪光灯。
36.一种用于有效增大一个或多个图像传感器动态范围的图像传感系统,所述系统包括:
在不同照明条件下多次采集景色的图像,以便获得多幅图像的装置;以及
将所述图像分割成多幅图像区域的装置,其中每个区域代表一个选定的动态范围,并且其中用机器视觉应用程序对所述多幅图像区域中的任何一个或多个进行处理。
37.根据权利要求36所述的系统,其中所述一个或多个图像传感器为一个或多个数码相机。
38.根据权利要求36所述的系统,其中所述不同照明条件包括使用一个或多个闪光灯。
39.根据权利要求36所述的系统,其中所述图像传感系统包含至少两个相互补偿的图像传感器。
40.根据权利要求39所述的系统,其中所述机器视觉应用程序利用来自所述至少两个图像传感器的相应图像部分,确定从所述照相机系统到被成像对象或特征的距离和/或方向。
41.根据权利要求36所述的系统,其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。
42.根据权利要求40所述的系统,其中所述图像传感系统产生合成图像,用于包括目标识别与定位,边缘检测和图案识别在内的特征提取。
CNB028083512A 2001-03-16 2002-03-15 增大图像传感器有效动态范围的系统和方法 Expired - Fee Related CN1316814C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US27636601P 2001-03-16 2001-03-16
US60/276,366 2001-03-16

Publications (2)

Publication Number Publication Date
CN1611064A true CN1611064A (zh) 2005-04-27
CN1316814C CN1316814C (zh) 2007-05-16

Family

ID=23056369

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028083512A Expired - Fee Related CN1316814C (zh) 2001-03-16 2002-03-15 增大图像传感器有效动态范围的系统和方法

Country Status (6)

Country Link
US (1) US7133069B2 (zh)
EP (1) EP1371223A1 (zh)
JP (1) JP4398153B2 (zh)
KR (1) KR20040052491A (zh)
CN (1) CN1316814C (zh)
WO (1) WO2002076090A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101197942B (zh) * 2007-12-27 2010-07-28 华为技术有限公司 多曝光控制方法及多曝光控制装置
CN101213831B (zh) * 2005-07-08 2010-10-13 皇家飞利浦电子股份有限公司 具有扫描型闪光灯的数字图像捕获设备
CN101888492A (zh) * 2009-05-11 2010-11-17 英属开曼群岛商恒景科技股份有限公司 用于具多重数据读出机制的影像感测器的处理器
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
CN101841631B (zh) * 2009-03-20 2011-09-21 微星科技股份有限公司 暗部曝光补偿方法及应用该方法的图像处理装置
CN102308201A (zh) * 2008-12-24 2012-01-04 斯奈克玛 机械零件的无损检查方法
CN103685922A (zh) * 2012-09-12 2014-03-26 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN104050651A (zh) * 2014-06-19 2014-09-17 青岛海信电器股份有限公司 一种场景图像的处理方法及装置
CN104104886A (zh) * 2014-07-24 2014-10-15 深圳市中兴移动通信有限公司 过曝拍摄方法及装置
CN104113701A (zh) * 2014-07-25 2014-10-22 深圳市中兴移动通信有限公司 拍摄方法及装置
CN105827994A (zh) * 2016-04-12 2016-08-03 乐视控股(北京)有限公司 一种解决对焦区曝光过度的系统及方法
CN107077607A (zh) * 2014-11-13 2017-08-18 英特尔公司 3d增强的图像校正
CN107155094A (zh) * 2016-03-02 2017-09-12 海德堡印刷机械股份公司 采用多个摄像机的图像检验方法
CN107545555A (zh) * 2016-06-27 2018-01-05 比亚迪股份有限公司 图像处理方法及装置
WO2019114220A1 (zh) * 2017-12-15 2019-06-20 珊口(上海)智能科技有限公司 控制方法、系统及所适用的移动机器人
US10437253B2 (en) 2017-12-15 2019-10-08 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8198900B2 (en) 1996-07-29 2012-06-12 Midtronics, Inc. Automotive battery charging system tester
US6331762B1 (en) * 1997-11-03 2001-12-18 Midtronics, Inc. Energy management system for automotive vehicle
US6566883B1 (en) 1999-11-01 2003-05-20 Midtronics, Inc. Electronic battery tester
US8872517B2 (en) 1996-07-29 2014-10-28 Midtronics, Inc. Electronic battery tester with battery age input
US6850037B2 (en) 1997-11-03 2005-02-01 Midtronics, Inc. In-vehicle battery monitor
US7706991B2 (en) 1996-07-29 2010-04-27 Midtronics, Inc. Alternator tester
US7705602B2 (en) 1997-11-03 2010-04-27 Midtronics, Inc. Automotive vehicle electrical system diagnostic device
US7774151B2 (en) 1997-11-03 2010-08-10 Midtronics, Inc. Wireless battery monitor
US8958998B2 (en) 1997-11-03 2015-02-17 Midtronics, Inc. Electronic battery tester with network communication
US7688074B2 (en) 1997-11-03 2010-03-30 Midtronics, Inc. Energy management system for automotive vehicle
EP1181540A4 (en) 1999-04-08 2009-12-09 Midtronics Inc ELECTRONIC BATTERY TESTER
US7398176B2 (en) 2000-03-27 2008-07-08 Midtronics, Inc. Battery testers with secondary functionality
US8513949B2 (en) 2000-03-27 2013-08-20 Midtronics, Inc. Electronic battery tester or charger with databus connection
US7446536B2 (en) 2000-03-27 2008-11-04 Midtronics, Inc. Scan tool for electronic battery tester
US7133069B2 (en) * 2001-03-16 2006-11-07 Vision Robotics, Inc. System and method to increase effective dynamic range of image sensors
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
GB0130652D0 (en) * 2001-12-21 2002-02-06 Bae Systems Plc Improvements in or relating to low light level imaging devices
JP4451583B2 (ja) * 2001-12-27 2010-04-14 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP4154157B2 (ja) * 2002-02-25 2008-09-24 株式会社東芝 撮像装置
FR2838016B1 (fr) * 2002-03-29 2004-09-17 Valeo Vision Procede de traitement en temps reel d'un signal representatif d'une image
US7012433B2 (en) * 2002-09-18 2006-03-14 Midtronics, Inc. Battery tester upgrade using software key
FR2844898B1 (fr) * 2002-09-20 2005-03-11 Thales Sa Procede de traitement d'image couleur pour supprimer les ombres et les reflets.
JP2004236251A (ja) * 2003-02-03 2004-08-19 Noritsu Koki Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、および、画像処理プログラムを記録した記録媒体
US7315656B2 (en) * 2003-05-22 2008-01-01 The Boeing Company Methods and apparatus for enhanced viewing of aerial refueling operations
US9692964B2 (en) * 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7492391B1 (en) * 2003-07-14 2009-02-17 Arecont Vision, Llc. Wide dynamic range network camera
US7492390B2 (en) * 2003-07-14 2009-02-17 Arecont Vision, Llc. Dual spectral band network camera
US9255955B2 (en) 2003-09-05 2016-02-09 Midtronics, Inc. Method and apparatus for measuring a parameter of a vehicle electrical system
US7154276B2 (en) 2003-09-05 2006-12-26 Midtronics, Inc. Method and apparatus for measuring a parameter of a vehicle electrical system
US9018958B2 (en) 2003-09-05 2015-04-28 Midtronics, Inc. Method and apparatus for measuring a parameter of a vehicle electrical system
US8164343B2 (en) 2003-09-05 2012-04-24 Midtronics, Inc. Method and apparatus for measuring a parameter of a vehicle electrical system
US7977914B2 (en) 2003-10-08 2011-07-12 Midtronics, Inc. Battery maintenance tool with probe light
CN1317671C (zh) * 2003-11-26 2007-05-23 佳能株式会社 信号处理设备和控制方法
US8804028B2 (en) * 2004-01-30 2014-08-12 Hewlett-Packard Development Company, L.P. Digital image production method and apparatus
US7777612B2 (en) 2004-04-13 2010-08-17 Midtronics, Inc. Theft prevention device for automotive vehicle service centers
US7697791B1 (en) 2004-05-10 2010-04-13 Google Inc. Method and system for providing targeted documents based on concepts automatically identified therein
US11409812B1 (en) 2004-05-10 2022-08-09 Google Llc Method and system for mining image searches to associate images with concepts
US8065611B1 (en) 2004-06-30 2011-11-22 Google Inc. Method and system for mining image searches to associate images with concepts
US7996753B1 (en) * 2004-05-10 2011-08-09 Google Inc. Method and system for automatically creating an image advertisement
US7583305B2 (en) * 2004-07-07 2009-09-01 Eastman Kodak Company Extended dynamic range imaging system
JP2006033049A (ja) * 2004-07-12 2006-02-02 Konica Minolta Photo Imaging Inc 撮像装置
US7772850B2 (en) 2004-07-12 2010-08-10 Midtronics, Inc. Wireless battery tester with information encryption means
US8436619B2 (en) 2004-08-20 2013-05-07 Midtronics, Inc. Integrated tag reader and environment sensor
US8442877B2 (en) 2004-08-20 2013-05-14 Midtronics, Inc. Simplification of inventory management
US9496720B2 (en) 2004-08-20 2016-11-15 Midtronics, Inc. System for automatically gathering battery information
US8344685B2 (en) 2004-08-20 2013-01-01 Midtronics, Inc. System for automatically gathering battery information
KR101029071B1 (ko) 2004-09-09 2011-04-18 삼성전자주식회사 감지 휘도 범위를 넓히기 위한 디지털 촬영 장치의 제어방법, 및 이 방법을 채용한 디지털 촬영 장치
KR100494102B1 (ko) 2004-10-29 2005-06-10 엠텍비젼 주식회사 다이나믹 레인지가 넓은 이미지 센서
US7710119B2 (en) 2004-12-09 2010-05-04 Midtronics, Inc. Battery tester that calculates its own reference values
US7561731B2 (en) * 2004-12-27 2009-07-14 Trw Automotive U.S. Llc Method and apparatus for enhancing the dynamic range of a stereo vision system
JP4851723B2 (ja) 2005-03-04 2012-01-11 富士通株式会社 内部構造画像取得装置、内部構造画像取得方法および内部構造画像取得プログラム
JP4766302B2 (ja) * 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7403707B2 (en) * 2005-07-28 2008-07-22 Mitsubishi Electric Research Laboratories, Inc. Method for estimating camera settings adaptively
KR20080034508A (ko) * 2005-08-08 2008-04-21 요셉 러브너 적응형 노출 제어
JP4567593B2 (ja) * 2005-12-27 2010-10-20 三星デジタルイメージング株式会社 撮像装置および撮影方法
FR2902263B1 (fr) * 2006-06-13 2008-08-22 Tietronix Optics Soc Par Actio Systeme et procede d'elaboration d'images par juxtaposition
TW200820123A (en) * 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
KR100843098B1 (ko) * 2007-01-17 2008-07-02 삼성전자주식회사 이미지 촬상 장치의 손떨림을 보상하기 위한 장치 및 방법
KR20080076004A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 촬상장치 및 그 다이나믹 레인지 확장방법
US7791348B2 (en) 2007-02-27 2010-09-07 Midtronics, Inc. Battery tester with promotion feature to promote use of the battery tester by providing the user with codes having redeemable value
US7808375B2 (en) 2007-04-16 2010-10-05 Midtronics, Inc. Battery run down indicator
US9274157B2 (en) 2007-07-17 2016-03-01 Midtronics, Inc. Battery tester for electric vehicle
GB2491304B (en) 2007-07-17 2013-01-09 Midtronics Inc Battery tester and electric vehicle
EP2031867B1 (en) 2007-08-28 2015-07-08 SIR S.p.A. System and method of artificial viewing for robotised equipments
US20090059039A1 (en) * 2007-08-31 2009-03-05 Micron Technology, Inc. Method and apparatus for combining multi-exposure image data
US8203345B2 (en) 2007-12-06 2012-06-19 Midtronics, Inc. Storage battery and battery tester
FR2929734A1 (fr) * 2008-04-03 2009-10-09 St Microelectronics Rousset Procede et systeme de videosurveillance.
US20100149393A1 (en) * 2008-05-22 2010-06-17 Panavision Imaging, Llc Increasing the resolution of color sub-pixel arrays
US8035711B2 (en) * 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
US20090290052A1 (en) * 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
US8805110B2 (en) 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
TWI373961B (en) * 2008-09-18 2012-10-01 Ind Tech Res Inst Fast video enhancement method and computer device using the method
US8289400B2 (en) 2009-06-05 2012-10-16 Apple Inc. Image capturing device having continuous image capture
US20110022231A1 (en) * 2009-07-25 2011-01-27 Jeffrey Walker Apparatuses, Systems and Methods for Automated Crop Picking
US9792012B2 (en) 2009-10-01 2017-10-17 Mobile Imaging In Sweden Ab Method relating to digital images
SE534551C2 (sv) 2010-02-15 2011-10-04 Scalado Ab Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild
US20110205384A1 (en) * 2010-02-24 2011-08-25 Panavision Imaging, Llc Variable active image area image sensor
US9588185B2 (en) 2010-02-25 2017-03-07 Keith S. Champlin Method and apparatus for detecting cell deterioration in an electrochemical cell or battery
CN102804478B (zh) 2010-03-03 2015-12-16 密特电子公司 用于前部接线端电池的监控器
US9229062B2 (en) 2010-05-27 2016-01-05 Midtronics, Inc. Electronic storage battery diagnostic system
US11740294B2 (en) 2010-06-03 2023-08-29 Midtronics, Inc. High use battery pack maintenance
JP5829681B2 (ja) 2010-06-03 2015-12-09 ミッドトロニクス インコーポレイテッド 電気自動車用バッテリパックのメンテナンス
US10046649B2 (en) 2012-06-28 2018-08-14 Midtronics, Inc. Hybrid and electric vehicle battery pack maintenance device
US8738309B2 (en) 2010-09-30 2014-05-27 Midtronics, Inc. Battery pack maintenance for electric vehicles
CN101865671B (zh) * 2010-06-03 2012-09-19 厦门思泰克光电科技有限公司 一种投影三维测量方法
US9419311B2 (en) 2010-06-18 2016-08-16 Midtronics, Inc. Battery maintenance device with thermal buffer
KR101019801B1 (ko) * 2010-06-29 2011-03-04 (주) 골프존 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치
KR101019824B1 (ko) * 2010-06-29 2011-03-04 (주) 골프존 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치
US9201120B2 (en) 2010-08-12 2015-12-01 Midtronics, Inc. Electronic battery tester for testing storage battery
ES2599174T3 (es) 2010-08-23 2017-01-31 Red.Com, Inc. Vídeo de rango dinámico alto
SE1150505A1 (sv) 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
EP2718896A4 (en) 2011-07-15 2015-07-01 Mobile Imaging In Sweden Ab METHOD FOR PROVIDING ADJUSTED DIGITAL GRAPHIC REPRESENTATION OF VIEW AND APPROPRIATE APPARATUS
KR101385323B1 (ko) * 2011-09-23 2014-04-16 주식회사 크리에이츠 스타트 센서를 이용하는 가상 스포츠 시스템
US10429449B2 (en) 2011-11-10 2019-10-01 Midtronics, Inc. Battery pack tester
DE102012209327A1 (de) * 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und eine Vorrichtung zur videobasierten Unterbodenaufnahme
US11325479B2 (en) 2012-06-28 2022-05-10 Midtronics, Inc. Hybrid and electric vehicle battery maintenance device
US9851411B2 (en) 2012-06-28 2017-12-26 Keith S. Champlin Suppressing HF cable oscillations during dynamic measurements of cells and batteries
JP5991224B2 (ja) * 2013-02-15 2016-09-14 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6156686B2 (ja) * 2013-02-20 2017-07-05 パナソニックIpマネジメント株式会社 画像処理装置
US9244100B2 (en) 2013-03-15 2016-01-26 Midtronics, Inc. Current clamp with jaw closure detection
US10721448B2 (en) * 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US9312575B2 (en) 2013-05-16 2016-04-12 Midtronics, Inc. Battery testing system and method
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
TWI464526B (zh) * 2013-08-08 2014-12-11 Quanta Comp Inc 高動態範圍影像曝光時間控制方法
CN104427254B (zh) * 2013-09-10 2019-01-15 联想(北京)有限公司 感光控制方法及感光控制装置
US10843574B2 (en) 2013-12-12 2020-11-24 Midtronics, Inc. Calibration and programming of in-vehicle battery sensors
US9923289B2 (en) 2014-01-16 2018-03-20 Midtronics, Inc. Battery clamp with endoskeleton design
US10473555B2 (en) 2014-07-14 2019-11-12 Midtronics, Inc. Automotive maintenance system
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10222397B2 (en) 2014-09-26 2019-03-05 Midtronics, Inc. Cable connector for electronic battery tester
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
WO2016123075A1 (en) 2015-01-26 2016-08-04 Midtronics, Inc. Alternator tester
WO2016165967A1 (en) * 2015-04-14 2016-10-20 Fotonation Limited Image acquisition method and apparatus
US10141916B2 (en) 2015-09-01 2018-11-27 Samsung Electronics Co., Ltd. High-speed flip-flop semiconductor device
US9966676B2 (en) 2015-09-28 2018-05-08 Midtronics, Inc. Kelvin connector adapter for storage battery
US10608353B2 (en) 2016-06-28 2020-03-31 Midtronics, Inc. Battery clamp
US11054480B2 (en) 2016-10-25 2021-07-06 Midtronics, Inc. Electrical load for electronic battery tester and electronic battery tester including such electrical load
EP3389257A1 (en) * 2017-04-13 2018-10-17 Continental Automotive GmbH Method for adapting brightness of image data, image capturing system and advanced driver assistance system
CN107680135B (zh) * 2017-11-16 2019-07-23 珊口(上海)智能科技有限公司 定位方法、系统及所适用的机器人
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US11212454B2 (en) * 2018-10-15 2021-12-28 Bio-Rad Laboratories, Inc. Saturation avoidance in digital imaging
US11513160B2 (en) 2018-11-29 2022-11-29 Midtronics, Inc. Vehicle battery maintenance device
US11566972B2 (en) 2019-07-31 2023-01-31 Midtronics, Inc. Tire tread gauge using visual indicator
US11545839B2 (en) 2019-11-05 2023-01-03 Midtronics, Inc. System for charging a series of connected batteries
US11668779B2 (en) 2019-11-11 2023-06-06 Midtronics, Inc. Hybrid and electric vehicle battery pack maintenance device
US11474153B2 (en) 2019-11-12 2022-10-18 Midtronics, Inc. Battery pack maintenance system
US11973202B2 (en) 2019-12-31 2024-04-30 Midtronics, Inc. Intelligent module interface for battery maintenance device
US11486930B2 (en) 2020-01-23 2022-11-01 Midtronics, Inc. Electronic battery tester with battery clamp storage holsters
US11562572B2 (en) 2020-12-11 2023-01-24 Argo AI, LLC Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps
WO2022151054A1 (zh) * 2021-01-13 2022-07-21 深圳市大疆创新科技有限公司 图像处理方法及装置、存储介质
CN113070817B (zh) * 2021-04-22 2022-07-15 盐城工学院 一种球形工件表面光洁度自识别方法及抛丸机

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5638118A (en) * 1987-06-09 1997-06-10 Canon Kabushiki Kaisha Image sensing device with diverse storage times used in picture composition
JPH0817455B2 (ja) 1987-06-09 1996-02-21 キヤノン株式会社 撮像装置
JPS6434202A (en) * 1987-07-30 1989-02-03 Kubota Ltd Working wagon of automatic conduct type
EP0387817A3 (en) * 1989-03-16 1991-12-11 Konica Corporation Electronic still camera
US5247366A (en) * 1989-08-02 1993-09-21 I Sight Ltd. Color wide dynamic range camera
US5309243A (en) * 1992-06-10 1994-05-03 Eastman Kodak Company Method and apparatus for extending the dynamic range of an electronic imaging system
US5517242A (en) * 1993-06-29 1996-05-14 Kabushiki Kaisha Toyota Chuo Kenkyusho Image sensing device having expanded dynamic range
US5801773A (en) 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
US6204881B1 (en) * 1993-10-10 2001-03-20 Canon Kabushiki Kaisha Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range
JPH0879597A (ja) * 1994-09-02 1996-03-22 Canon Inc 撮像装置
US6040858A (en) * 1994-11-18 2000-03-21 Canon Kabushiki Kaisha Method and apparatus for expanding the dynamic range of sensed color images
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
US5614948A (en) * 1996-04-26 1997-03-25 Intel Corporation Camera having an adaptive gain control
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
WO2001037060A1 (en) 1999-11-18 2001-05-25 The Procter & Gamble Company Home cleaning robot
US6374155B1 (en) * 1999-11-24 2002-04-16 Personal Robotics, Inc. Autonomous multi-platform robot system
US7133069B2 (en) * 2001-03-16 2006-11-07 Vision Robotics, Inc. System and method to increase effective dynamic range of image sensors

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101213831B (zh) * 2005-07-08 2010-10-13 皇家飞利浦电子股份有限公司 具有扫描型闪光灯的数字图像捕获设备
CN101394485B (zh) * 2007-09-20 2011-05-04 华为技术有限公司 图像生成方法、装置及图像合成设备
CN101197942B (zh) * 2007-12-27 2010-07-28 华为技术有限公司 多曝光控制方法及多曝光控制装置
CN102308201A (zh) * 2008-12-24 2012-01-04 斯奈克玛 机械零件的无损检查方法
CN101841631B (zh) * 2009-03-20 2011-09-21 微星科技股份有限公司 暗部曝光补偿方法及应用该方法的图像处理装置
CN101888492A (zh) * 2009-05-11 2010-11-17 英属开曼群岛商恒景科技股份有限公司 用于具多重数据读出机制的影像感测器的处理器
CN101888492B (zh) * 2009-05-11 2013-01-23 英属开曼群岛商恒景科技股份有限公司 用于具有多重数据读出机制的影像感测器的处理器
US9894252B2 (en) 2012-09-12 2018-02-13 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and storage medium for reducing noise of an image obtained by combining parallax images
CN103685922A (zh) * 2012-09-12 2014-03-26 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN103685922B (zh) * 2012-09-12 2017-04-12 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN104050651A (zh) * 2014-06-19 2014-09-17 青岛海信电器股份有限公司 一种场景图像的处理方法及装置
CN104104886A (zh) * 2014-07-24 2014-10-15 深圳市中兴移动通信有限公司 过曝拍摄方法及装置
WO2016011889A1 (zh) * 2014-07-24 2016-01-28 努比亚技术有限公司 过曝拍摄方法及装置
CN104104886B (zh) * 2014-07-24 2016-07-06 努比亚技术有限公司 过曝拍摄方法及装置
CN104113701A (zh) * 2014-07-25 2014-10-22 深圳市中兴移动通信有限公司 拍摄方法及装置
US10764563B2 (en) 2014-11-13 2020-09-01 Intel Corporation 3D enhanced image correction
CN107077607A (zh) * 2014-11-13 2017-08-18 英特尔公司 3d增强的图像校正
CN107155094A (zh) * 2016-03-02 2017-09-12 海德堡印刷机械股份公司 采用多个摄像机的图像检验方法
CN107155094B (zh) * 2016-03-02 2018-09-11 海德堡印刷机械股份公司 采用多个摄像机的图像检验方法
CN105827994A (zh) * 2016-04-12 2016-08-03 乐视控股(北京)有限公司 一种解决对焦区曝光过度的系统及方法
CN107545555A (zh) * 2016-06-27 2018-01-05 比亚迪股份有限公司 图像处理方法及装置
CN107545555B (zh) * 2016-06-27 2021-07-30 比亚迪半导体股份有限公司 图像处理方法及装置
WO2019114220A1 (zh) * 2017-12-15 2019-06-20 珊口(上海)智能科技有限公司 控制方法、系统及所适用的移动机器人
US10437253B2 (en) 2017-12-15 2019-10-08 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same

Also Published As

Publication number Publication date
JP2005508574A (ja) 2005-03-31
US7133069B2 (en) 2006-11-07
KR20040052491A (ko) 2004-06-23
JP4398153B2 (ja) 2010-01-13
WO2002076090A1 (en) 2002-09-26
US20020176010A1 (en) 2002-11-28
EP1371223A1 (en) 2003-12-17
CN1316814C (zh) 2007-05-16

Similar Documents

Publication Publication Date Title
CN1316814C (zh) 增大图像传感器有效动态范围的系统和方法
US9615032B2 (en) Imaging apparatus with scene adaptive auto exposure compensation
CN101416219B (zh) 数字图像中的前景/背景分割
TWI422946B (zh) 照明控制模組、包含其之攝影機及照明控制方法
CN1184502C (zh) 自动对焦技术
CN1926851A (zh) 通过深度信息优化捕获装置设置的方法和设备
WO2012093519A1 (ja) 撮像装置及びその発光量制御方法
EP2826237A1 (en) Lighting system and method for image and object enhancement
WO2009123628A1 (en) Systems and methods to increase speed of object detection in a digital image
US9025043B2 (en) Image segmentation from focus varied images using graph cuts
CN103543575A (zh) 图像获取装置与其光源辅助拍摄方法
JP2014137482A (ja) 撮影装置および撮影用照明装置
CN115278098B (zh) 图像拍摄的方法、系统及其拍摄装置
WO2012063177A2 (en) Flashlight device
WO2016166586A1 (en) Camera led flash with variable lens gain
CN103685964A (zh) 一种控制方法、装置及电子设备
Hrabar et al. High dynamic range stereo vision for outdoor mobile robotics
Jiang et al. Shadow-resistant tracking in video
CN113992837A (zh) 基于对象尺寸的自动聚焦方法以及数字图像采集装置
JP2016220002A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US11985739B2 (en) Low light exposure control using infrared light-emitting diode zones during night vision
JP2005024971A (ja) 撮影システム、照明システム、及び照明条件設定方法
WO2023232417A1 (en) 3d reconstruction method and picture recording arrangement
CN118118803A (zh) 一种适用于室内外的深度相机及电子设备
WO2023232373A1 (en) Illumination adapting method and picture recording arrangement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070516

Termination date: 20110315