CN114390234A - 逐次记录相对于摄像机运动的对象的记录方法和记录系统 - Google Patents

逐次记录相对于摄像机运动的对象的记录方法和记录系统 Download PDF

Info

Publication number
CN114390234A
CN114390234A CN202111214635.8A CN202111214635A CN114390234A CN 114390234 A CN114390234 A CN 114390234A CN 202111214635 A CN202111214635 A CN 202111214635A CN 114390234 A CN114390234 A CN 114390234A
Authority
CN
China
Prior art keywords
image data
recorded
camera
data set
line image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111214635.8A
Other languages
English (en)
Inventor
约尔格·孔策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Basler AG
Original Assignee
Basler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Basler AG filed Critical Basler AG
Publication of CN114390234A publication Critical patent/CN114390234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/701—Line sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/845—Objects on a conveyor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种用于逐次记录相对于摄像机运动的对象的记录系统。记录系统包括：摄像机，其包括图像传感器，用于在所触发的运行中记录对象的行图像数据集；接收单元，用于接收重新扫描信息；以及重新扫描单元，用于对已记录的行图像数据集进行重新扫描，重新扫描的行图像数据集关于已记录的行图像数据集的空间位置与接收到的重新扫描信息相关。图像传感器是面传感器，其适合于，借助于多个像素行分别记录多个行图像数据集以用于产生重新扫描的行图像数据集。图像传感器包括电子快门，其适合于时间上交错地开始多个像素行中的每个像素行的曝光，已记录的行图像数据集的重新扫描与多个像素行中的每个像素行的曝光开始的时间上的交错相关。

Description

逐次记录相对于摄像机运动的对象的记录方法和记录系统
技术领域
本发明处于电气通信工程的领域上，并且尤其涉及用于逐次记录相对于摄像机运动的对象的记录方法以及记录系统。
背景技术
在工业环境中，经常使用数字摄像机，以便例如监视、控制、调节生产过程或机器，或者以便对对象进行分拣。在此称为工业摄像机的这种摄像机的特征主要在于其在机器和设备中的可集成性。但是，所述摄像机的用途不限于工业环境，并且所述摄像机可以以几乎相同的形式用于许多其他应用，例如邮件分拣、收费桥或医学技术设备。
工业摄像机包括面摄像机(英文“area-scan camera”)和行摄像机(英文“line-scan camera”)。在此，仅具有一个唯一的光敏行(“行传感器”)的摄像机类型通常被称为行摄像机。与此相反，面摄像机(英文“area-scan camera”)具有多个行(“行传感器”)。
面摄像机的使用通常在如下情况下是符合目的的，即涉及分别对其中比例分别处于1的量级中的各个对象的成像，如例如在制动盘或SMD电阻器中是这种情况。与此相反，行摄像机用于对其比例远远偏离于1(例如铁路轨道)或在连续过程中生产或检查的对象进行成像。作为连续的过程的示例，在此提及在报刊出版社中印刷新闻纸。行摄像机也经常用于对连续系列的后续被分拣的对象、例如传送带上的谷物颗粒或岩石逐次成像。
为了借助于行摄像机记录二维图像，需要时间上依次记录对象的不同部位，并且需要从在此获得的行图像数据集中形成二维图像。在此，通常在待记录的对象与行摄像机之间发生相对运动。要么借助于输送带等使待记录的对象运动(“传真原理”)，要么使行摄像机在静止的对象上运动(“扫描仪原理”)。
在借助于行摄像机记录时的问题在于，在待记录的对象与行摄像机之间的相对速度不均匀的情况下，相继记录的行之间的间距不恒定。因此，在没有对应的修正措施的情况下，这种速度变化引起所记录的图像中的几何失真。
用于处理变化的相对速度的传统的记录方法在于，根据相对运动的速度来控制图像重复率。如果相对运动较慢，则同样减慢图像重复率以便保持所记录的行之间的恒定的间距。如果相对运动较快，则对应地提高图像重复率。图像重复率的控制可以通过如下方式实现：向行摄像机输送外部触发信号(所触发的运行)。然而，图像重复率的变化通常也引起曝光的变化，这又需要对应的曝光控制。
发明内容
基于所提及的现有技术，本发明的所基于的目的在于，提出一种用于逐次记录相对于摄像机运动的对象的记录系统，所述记录系统能够实现以简单的方式获得用于形成二维图像的行图像数据集。本发明所基于的目的还在于，提出一种用于逐次记录相对于摄像机运动的对象的对应的记录方法。
根据本发明的第一方面提供了一种用于逐次记录相对于摄像机运动的对象的记录系统，所述记录系统包括：
-摄像机，其中摄像机包括图像传感器，所述图像传感器用于在所触发的运行中记录待记录的对象的行图像数据集，
-接收单元，所述接收单元用于接收与待记录的对象与摄像机之间的相对运动的速度相关的重新扫描信息，以及
-重新扫描单元，所述重新扫描单元用于对已记录的行图像数据集进行重新扫描，以便产生重新扫描的行图像数据集，其中重新扫描的行图像数据集关于已记录的行图像数据集的空间位置与接收到的重新扫描信息相关，
i其中图像传感器是面传感器，所述面传感器包括多个像素行并且所述面传感器适合于，借助于多个像素行分别记录多个行图像数据集以用于产生重新扫描的行图像数据集，
ii其中图像传感器包括电子快门，所述电子快门适合于时间上交错地开始多个像素行中的每个像素行的曝光，其中重新扫描单元调整成，使得已记录的行图像数据集的重扫描与多个像素行中的每个像素行的曝光开始的时间上的交错相关。
本发明所基于的发明人的知识在于，通过使用包括多个像素行的面传感器，可以分别同时或基本上同时记录多个行图像数据集。在此，在每个时刻，多个像素行覆盖比行摄像机的一行更大的待记录的对象的区域。借此，可以以简单方式获得行图像数据集以形成二维图像。此外得出一系列其他优点：行摄像机通常涉及市场上卖得高价的高质量的专业的摄像机。典型的行摄像机以高速度工作，提供高质量的图像，并且根据应用的要求配备有特殊的设计特点，例如配备有用于输送非常快的外部触发信号的输入端。与此相反，可以获得大量面传感器，所述大量面传感器在其他方面有可类比的性能数据、尤其在相同的图像宽度的情况下具有明显低于行传感器的成本。由此，根据本发明可行的是，与具有行传感器的传统的行摄像机相比，以更低的材料成本实现用于逐次记录相对于摄像机运动的对象的记录系统。
根据本发明，图像传感器包括电子快门，所述电子快门适合于时间上交错地开始多个像素行中的每个像素行的曝光。通常被称为卷帘快门或电子卷帘快门的所述类型的电子快门的特征在于，对于第一行，在第一时刻开始曝光，并且在不同的时刻分别时间上交错地开始其他像素行的曝光。因为通常期望图像的所有像素行具有相同的积分时间，所以通常也时间上交错地在各不同的时刻结束曝光。与全局快门相反，直接通过读取来结束曝光，所述全局快门的特征在于，图像传感器的像素行的曝光同时开始，并且通常也同时结束。因此，不需要存储光电荷。通过消除存储光电荷的必要性，具有卷帘快门的图像传感器的像素基本上可以构建得小于具有全局快门的图像传感器的像素。因此，通过由于更小的像素而所需更小的硅面积，具有卷帘快门的图像传感器可以比具有全局快门的图像传感器基本上成本更低地制造。此外，由于更小的像素，物镜也可以基本上更小地构造，从而可以同样成本更低地制造。借此，可以以成本特别低的方式借助于具有卷帘快门的图像传感器实现用于逐次记录相对于摄像机运动的对象的记录系统。
因为在卷帘快门中并不同时记录多个行图像数据集，所以根据本发明进行已记录的行图像数据集的重新扫描，以便产生具有所期望的恒定的(空间上的)间距的重新扫描的行图像数据集。在DE 10 2004 050 422A1中描述了用于在自由行驶运行(英文“free run”)中的行传感器的这种重新扫描。为了所述目的，用于逐次记录相对于摄像机运动的对象的记录系统包括：接收单元，所述接收单元用于接收与待记录的对象与摄像机之间的相对运动的速度相关的重新扫描信息；以及重新扫描单元，所述重新扫描单元用于对已记录的行图像数据集进行重新扫描，以便产生重新扫描的行图像数据集，其中重新扫描的行图像数据集关于已记录的行图像数据集的空间位置与接收到的重新扫描信息相关。因为重新扫描单元调整成，使得已记录的行图像数据集的重新扫描与多个像素行中的每个像素行的曝光开始的时间上的交错相关，所以可以避免已记录的行图像数据集的空间失配(Fehlzuordnungen)和与其联系的不利的图像伪影。
优选的是，重新扫描单元构成用于，根据重新扫描的所期望的空间分辨率来执行重新扫描，其中优选地可以配置所期望的空间分辨率。如所提及的那样，重新扫描的行图像数据集关于已记录的行图像数据集的空间位置与接收到的重新扫描信息相关，所述重新扫描信息又与待记录的对象与摄像机之间的相对运动的速度相关。相对于摄像机运动的对象例如可以是在传送带上运动的对象。在所述情况下，例如可以通过传送带的旋转角度编码器或用于检测传送带的速度的另一传感器来确定相对运动的速度。相对运动的速度是用于重新扫描的主要参数，因为所述速度确定待记录的对象在特定时间间隔内相对于摄像机运动了多远。另一参数是重新扫描的所期望的空间分辨率，所述空间分辨率说明重新扫描的所期望的“像素密度”。如果可以配置所述参数，则用于逐次记录相对于摄像机运动的对象的记录系统可以非常灵活地适应不同的记录情况和记录要求。重新扫描的所期望的空间分辨率可以是优选的或可配置的，使得所述空间分辨率对应于图像传感器的空间分辨率。然后，待记录的对象可以优选地在很大程度上无失真地记录、即以基本上正确的高宽比记录。
还优选的是，重新扫描单元构成用于，根据用于触发图像传感器的外部触发信号在所触发的运行中执行重新扫描。在此，触发信号优选地与待记录的对象与摄像机之间的相对运动的速度相关。例如，触发图像传感器可以通过外部触发信号进行成，使得通过待记录的对象与摄像机之间的相对运动在两个相邻的时刻之间引起的空间移动分别恒定。
优选的是，记录系统适合于在向前运行
Figure BDA0003310162690000041
中执行逐次记录，在所述向前运行中，多个像素行中的每个像素行的曝光开始的时间上的交错与待记录的对象在摄像机的图像传感器上的成像的运动方向相反地进行，或者所述记录系统适合于在向后运行中执行所述逐次记录，在所述向后运行中，多个像素行中的每个像素行的曝光开始的时间上的交错在待记录的对象在摄像机的图像传感器上的成像的运动方向上进行。如所阐述的那样，在卷帘快门中，图像传感器的像素行的不仅曝光而且读取并不分别同时地进行，而是逐行地在时间上交错地进行。借此直观地，在二维时间-位置图表(时间在x轴上，并且空间位置在y轴上)中，相继的像素行的曝光时刻不是竖直地叠置，而是所述曝光时刻侧向地移动了相应的像素行的曝光时刻的差。视逐次记录是在向前运行中执行还是在向后运行中执行而定，所述时间偏移具有不同的效果。因为待记录的对象与摄像机之间的相对运动，所以时间偏移引起已记录的行图像数据集的空间位置也略微移动。在此，对于向前运行遵循：已记录的行图像数据集在空间上被拉开。与具有全局快门和相同的像素尺寸的图像传感器相比，也可以称为扫描扩张的所述效果引起略微的欠扫描。对于向后运行于是对应地适用，已记录的行图像数据集在空间上被压缩。与具有全局快门和相同的像素尺寸的图像传感器相比，也可以称为扫描收缩的所述效果引起略微的过扫描。由于对于具有卷帘快门的典型的图像传感器非常小的时间偏移，向前运行和向后运行关于对于重新扫描可用的信息都不是问题。重新扫描单元调整成，使得已记录的行图像数据集的重新扫描与多个像素行中的每个像素行的曝光开始的时间上的交错相关，但是优选地考虑相应的运行。
还优选的是，多个像素行处于4至128个像素行、优选地4至64个像素行、还更优选地8至32个像素行、最优选地8至16个像素行的范围内。在借助于面传感器逐次记录相对于摄像机运动的对象时，与行摄像机相比，应考虑一个特点。与待记录的对象、例如在传送带上运动的对象的高度相关地，通过距摄像机的不同的间距得出不同的角速度和从而不同的图像速度。这在多行扫描的情况下可能引起图像伪影，所述图像伪影在此称为三维失真(3D失真)。通过多个像素行处于所提及的范围内的方式，可以将3D失真限制到可接受的程度上，并且同时可以实现所获得的行图像数据集的高质量的重新扫描。在此，尤其8至32个像素行以及在还更大的尺寸上8至16个像素行的值是如下两者之间的突出的折衷：即使在待记录的对象与摄像机之间的相对速度有较大波动的情况下也获得有足够密度使得可以实现已记录的行图像数据集的高质量的重新扫描的行图像数据集，和减少3D失真。此外，作为较少数量的像素行的附加效果，待通过光源照明的面的尺寸减小，由此例如可以降低照明的能量消耗，或可以更纤细且更节省地设计照明。此外，减少了摄像机相对于相对运动方向可能不完全精确地机械定向的问题。
优选的是，图像传感器包括比多个像素行更多数量的像素行，并且适合于将待读取的图像区域限制到多个像素行上。换言之，面图像传感器适合于，在连续曝光中的每次曝光中读取比面传感器的像素行的总数量更少数量的像素行。借此，为了实现用于逐次记录相对于摄像机运动的对象的记录系统，不需要使用精确地包括(例如在8至16个像素行的范围内的)多个像素行的特殊面传感器，而是可以使用市售面传感器，这再次降低成本。
尤其优选的是，待读取的区域可以被配置为摄像机中的可配置的感兴趣区域。这种配置可能性存在于可用的面传感器的大部分中，并从而允许将待读取的区域限制到多个像素行上。
优选的是，具有缝隙形的光阑开口的光阑在摄像机中设置在图像传感器前。除了物镜中的所谓的孔径光阑之外，许多摄像机包含另一光阑，所述另一光阑在此示例性地称为视场光阑(Feldblende)并且通常定位在图像传感器前的空间附近。用于面传感器的视场光阑的常见的实施方式具有很大程度上矩形的开口，所述开口在此在不考虑典型倒圆的角部的情况下被称为矩形光阑，并且通常具有1:1至2:1的范围内的比例。与此相对，行摄像机通常具有视场光阑的另一实施方式，所述视场光阑也可以称为缝隙光阑。这种缝隙光阑具有带有大于4:1、优选地大于8:1、还更优选地大于12:1的范围内的比例的缝隙形的光阑开口。例如，所述光阑开口可以实施为矩形、带有倒圆的角部的缝隙形的矩形或带有圆形端部的缝隙。还可行的是，在一侧或两侧安置倒棱。在面传感器使用于用于逐次记录相对于摄像机运动的对象的记录系统中的情况下，如果曝光图像传感器的不需要的区域，尤其如果以强烈的强度进行所述曝光，原则上会出现不期望的图像伪影。在DE 10 2008 016 393 B4中阐述了发生这种不期望的图像伪影的示例。另一问题是可能通过面传感器的不期望的照明引起的散射光。即散射光原则上不仅在物镜中产生，而且还可能在摄像机的其他光学部件、例如传感器盖玻璃处产生。通过在不考虑所使用的面传感器的情况下在摄像机中设置具有缝隙形的光阑开口的光阑的方式，可以减少不期望的图像伪影、如例如传感器盖玻璃处的散射光。
还优选的是，在待重新扫描的行图像数据集关于已记录的行图像数据集的空间位置在多个已记录的行图像数据集中的在不同时刻记录的两个或更多个集中处于各两个已记录的行图像数据集之间的情况下，重新扫描单元适合于，根据多个已记录的行图像数据集中的在不同的时刻记录的两个或更多个集中的各两个已记录的行图像数据集来产生重新扫描的行图像数据集。这种多重扫描例如可以通过如下方式来进行：对于多个已记录的行图像数据集中的在不同时刻记录的两个或更多个集中的每个集，确定自身的重新扫描的行图像数据集，并且通过组合从这样获得的两个或更多个重新扫描的行图像数据集中产生重新扫描的行图像数据集。在此，组合例如可以通过相加、平均、加权平均或线性组合来进行。这样产生的重新扫描的行图像数据集通常比下述重新扫描的行图像数据集有更好的信噪比，该行图像数据集是根据仅仅一组多个已记录的行图像数据集中的两个已记录的行图像数据集产生的。所述改善的信噪比通常引起图像质量的改善，并且在逐次记录弱光图像时是特别期望的。
优选的是，图像传感器是单色图像传感器，或者图像传感器是具有马赛克过滤器、例如如US 3,971,065 A中描述的拜耳图案的彩色图像传感器。在后一种情况下，也可以借助于摄像机记录彩色图像，其中这可以借助于马赛克过滤器以相对小的耗费来实现。为此，与处理单色图像传感器的行图像数据集相比，需要至少一个另外的技术步骤，因为在具有马赛克过滤器的彩色图像传感器中需要颜色内插，其中颜色值基本上在中间像素位置处确定。在此，中间像素位置表示不一定恰好处于像素网格上而是可以相对于所述像素网格移动了小于一个像素的尺寸的量度的位置。进行这种内插的可能的途径在于，应用对于存在于彩色面传感器上的彩色过滤器的设置已知的内插方法，例如根据EP 2 929 503 B1。由此，从原始图像中分别获得各具有多个颜色分量的彩色图像，其中随后可以在每个通过相应的颜色分量的值展开的颜色平面内通过内插获得用于各所期望的中间像素位置的颜色分量值。然后，用于相应的中间位置的所述颜色分量值的全体分别形成用于所述中间位置的颜色值。例如在DE 10 2016 112 968 B4中描述了另一更精妙的用于中间像素位置的颜色内插的方法。此外，所述方法具有如下优点：所获得的颜色值符合标准EMVA 1288的模型。由此，所述颜色值在物理上如具有彩色行传感器的彩色行摄像机的颜色值那样表现。
还优选的是，摄像机包括接收单元和重新扫描单元。
优选的是，记录系统还包括用于检测待记录的对象与摄像机之间的相对运动的速度的传感器。
根据本发明的另一方面，提供了一种用于逐次记录相对于摄像机运动的对象的记录方法，其中记录方法包括：
-在所触发的运行中借助于摄像机的图像传感器记录待记录的对象的行图像数据集，
-接收与待记录的对象与摄像机之间的相对运动的速度相关的重新扫描信息，以及
-对已记录的行图像数据集进行重新扫描，以便产生重新扫描的行图像数据集，其中重新扫描的行图像数据集关于已记录的行图像数据集的空间位置与接收到的重新扫描信息相关，
i其中图像传感器是面传感器，所述面传感器包括多个像素行，其中借助于多个像素行分别记录多个行图像数据集以用于产生重新扫描的行图像数据集，
ii其中图像传感器包括电子快门，所述电子快门适合于时间上交错地开始多个像素行中的每个像素行的曝光，其中已记录的行图像数据集的重扫描与多个像素行中的每个像素行的曝光开始的时间上的交错相关。
应理解的是，根据本发明的记录系统和根据本发明的记录方法具有相似和/或相同的优选的实施方式，尤其如在说明书中所限定的那样。
应理解的是，本发明的优选的实施方式也可以是实施例的任意组合。
附图说明
下面参照附图详细描述本发明的优选的实施例，其中，
图1示意性且示例性地示出用于逐次记录相对于摄像机运动的对象的记录系统的实施方式，
图2示意性且示例性地示出用于在向前运行中具有卷帘快门的图像传感器的已记录的行图像数据集的重新扫描，
图3示意性且示例性地示出用于在向后运行中具有卷帘快门的图像传感器的已记录的行图像数据集的重新扫描，
图4示意性且示例性地示出用于在向前运行中具有卷帘快门的图像传感器的已记录的行图像数据集的借助于多重扫描的重新扫描，以及
图5示出示例性地说明用于逐次记录相对于摄像机运动的对象的记录方法的实施方式的流程图。
在附图中，相同或对应的元件或单元分别设有相同或对应的附图标记。如果已经结合附图描述了元件或单元，则必要时结合另一附图省去详细表示。
具体实施方式
在图1中示意性且示例性地示出用于逐次记录相对于摄像机3运动的对象2的记录系统1的实施方式。记录系统1包括：摄像机3，其中摄像机3包括图像传感器4，所述图像传感器用于在所触发的运行中记录待记录的对象2的行图像数据集10；接收单元5，所述接收单元用于接收与待记录的对象2与摄像机3之间的相对运动的速度v相关的重新扫描信息；以及重新扫描单元6，所述重新扫描单元用于重新扫描已记录的行图像数据集10，以便产生重新扫描的行图像数据集11(参见图2至图4)，其中重新扫描的行图像数据集11关于已记录的行图像数据集10的空间位置与接收到的重新扫描信息相关。图像传感器4是面传感器、在此是单色图像传感器，所述面传感器包括多个像素行12并且适合于，借助于多个像素行12分别记录多个行图像数据集10以用于产生重新扫描的行图像数据集11。图像传感器4包括电子快门7，所述电子快门适合于时间上交错地开始多个像素行12中的每个像素行的曝光，其中重新扫描单元6调整成，使得已记录的行图像数据集10的重新扫描与多个像素行12中的每个像素行的曝光开始的时间上的交错相关。通常被称为卷帘快门或电子卷帘快门的所述类型的电子快门的特征在于，对于第一行，在第一时刻开始曝光，并且分别时间上交错地在不同的时刻开始其他像素行的曝光。因为通常期望图像的所有像素行具有相同的积分时间，所以通常也时间上交错地在各不同的时刻结束曝光。
在所述实施方式中，摄像机3包括接收单元5和重新扫描单元6。
重新扫描单元6构成用于，根据重新扫描的所期望的空间分辨率来执行重新扫描。如所提及的那样，重新扫描的行图像数据集11关于已记录的行图像数据集10的空间位置与接收到的重新扫描信息相关，所述重新扫描信息又与待记录的对象2与摄像机3之间的相对运动的速度v相关。在所述示例中，相对于摄像机3运动的对象2是在传送带13上运动的对象2。相对运动的速度v通过传送带13的旋转角度编码器14确定。相对运动的速度v是用于重新扫描的主要参数，因为所述速度确定待记录的对象2在特定时间间隔内相对于摄像机3运动了多远。另一参数是重新扫描的所期望的空间分辨率，所述空间分辨率说明重新扫描的所期望的“像素密度”。在所述实施方式中，所述参数是可配置的，例如可以经由摄像机3的合适的接口——在该图中未示出——配置，使得用于逐次记录相对于摄像机3运动的对象2的记录系统1可以非常灵活地适应不同的记录情况和记录要求。
记录系统1适合于在向前运行中执行逐次记录，在所述向前运行中，多个像素行12中的每个像素行的曝光开始的时间上的交错与待记录的对象2在摄像机3的图像传感器4上的成像的运动方向相反地进行，或者适合于在向后运行中执行逐次记录，在所述向后运行中，多个像素行12中的每个像素行的曝光开始的时间上的交错在待记录的对象2在摄像机3的图像传感器4上的成像的运动方向上进行。
在图2(向前运行)中和图3(向后运行)中示意性且示例性地示出用于具有卷帘快门的图像传感器4的已记录的行图像数据集10的重新扫描。这些附图分别示出了二维时间-位置图表(时间在x轴上，并且空间位置在y轴上)。在每个时刻t0、t1、t2等，具有多个像素行12的图像传感器4分别记录多个行图像数据集10——在此仅通过各个透明的方块可视化——以用于产生重新扫描的行图像数据集11。如可看出，多个已记录的行图像数据集10中的在不同的时刻t0、t1、t2等记录的集由于待记录的对象2与摄像机3之间的相对运动而在空间上(在图表中的y方向上)相对于彼此移动。在此，两个相邻时刻之间的空间移动的程度与所述时刻之间的相对运动的速度v以及所述时刻之间的时间间距相关。在所示出的示例中，触发图像传感器4可以通过外部触发信号进行成，使得两个相邻时刻之间的移动分别恒定。为此，将时刻t0与t1之间的间距(较小的速度v0-1)选择得比时刻t1与t2之间的间距(较大的速度v1-2)更大。待重新扫描的行图像数据集11——在此仅通过各个黑色实心圆可视化——关于已记录的行图像数据集10的空间位置可以根据相对运动的速度v、用于触发图像传感器4的外部触发信号以及重新扫描的所期望的空间分辨率来确定。在所述示例中，重新扫描的所期望的空间分辨率恰好对应于图像传感器4的分辨率。重新扫描的行图像数据集11从各相邻的已记录的行图像数据集10中产生。这例如可以借助于线性内插来进行，所述线性内插在图2中示例性地针对重新扫描的行图像数据集11用附图标记L说明。
如所阐述的那样，在卷帘快门中，图像传感器4的像素行的不仅曝光而且读取不是分别同时进行，而是逐行地在时间上交错地进行。借此，直观地，在二维时间-位置图表(时间在x轴上，并且空间位置在y轴上)中，相继像素行的曝光时刻不是竖直地叠置，而是所述曝光时刻侧向地移动了相应的像素行的曝光时刻的差。视逐次记录是在向前运行中执行还是在向后运行中执行而定，所述时间偏移具有不同的效果。通过待记录的对象2与摄像机3之间的相对运动，时间偏移引起已记录的行图像数据集的空间位置(在图表中的y方向上)也略微移动。在此，对于向前运行(图2)遵循已记录的行图像数据集10在空间上被拉开。与具有全局快门的图像传感器4相比，也可以称为扫描扩张的所述效果引起略微的欠扫描。然后对于向后运行(图3)相应地适用，已记录的行图像数据集10在空间上被压缩。与具有全局快门的图像传感器4相比，也可以称为扫描收缩的所述效果引起略微的过扫描。由于对于具有卷帘快门的典型的图像传感器非常小的时间偏移，向前运行和向后运行关于对于重新扫描可用的信息都不是问题。重新扫描单元6调整成，使得已记录的行图像数据集10的重新扫描与多个像素行12中的每个像素行的曝光开始的时间上的交错相关，但是考虑相应的运行。
再次参照图1，应注意，在所述图中，为了概览起见，取4个像素行的值作为多个像素行12的数量。但是，如所阐述的那样，优选的是，多个像素行处于4至128个像素行、优选地4至64个像素行、还更优选地8至32个像素行、最优选地8至16个像素行的范围内。因此，在所述实施方式中，多个像素行12的数量实际上处于8至16个像素行的范围内。
在所述实施方式中，图像传感器4包括比多个像素行12——为了概览起见，在图1中示出8个像素行，但是在市售的面传感器中可以是几百或几千个像素行——更多数量的像素行，并且适合于将待读取的图像区域限制到多个像素行12上。换言之，面图像传感器4适合于，在连续曝光中的每次曝光中读取比面传感器4的像素行的总数量更少数量的像素行12。在所述实施方式中，待读取的区域可以配置为摄像机3中的可配置的感兴趣区域。这种配置可能性存在于可用的面传感器的大部分中，从而允许将待读取的区域限制到多个像素行12上。
在摄像机3中，除了物镜中的所谓的孔径光阑——在图中未示出——之外，具有缝隙形的光阑开口9的光阑8(缝隙光阑)设置在图像传感器4前。所述光阑定位在图像传感器4前的空间附近，并且在所述实施方式中实施为具有圆形端部的缝隙。通过在不考虑所使用的面传感器4的情况下在摄像机3中设置具有缝隙形的光阑开口9的光阑8的方式，可以减少不期望的图像伪影、如例如传感器盖玻璃处的散射光。
在待重新扫描的行图像数据集11关于已记录的行图像数据集10的空间位置在多个已记录的行图像数据集10中的在不同时刻t0、t1、t2等记录的两个或更多个集中处于各两个已记录的行图像数据集10之间的情况下，重新扫描单元适合于，根据多个已记录的行图像数据集10中的在不同时刻t0、t1、t2等记录的两个或更多个集中的各两个已记录的行图像数据集10来产生重新扫描的行图像数据集11。
对于在向前运行中具有卷帘快门的图像传感器4，在图4中示意性且示例性地示出借助于多重扫描对已记录的行图像数据集10进行的这种重新扫描。在所述示例中，所述重新扫描通过如下方式进行：对于多个已记录的行图像数据集10中的在不同时刻记录的两个或更多个集中的每个集，确定自身的重新扫描的行图像数据集，并且通过组合从这样获得的两个或更多个重新扫描的行图像数据集中产生重新扫描的行图像数据集11。在此，合并例如可以通过相加、平均、加权平均或线性组合来进行。对于在向后运行中具有卷帘快门的图像传感器4，也可以以类似的方式借助于多重扫描对已记录的行图像数据集10执行对应的重新扫描。
在下文中，参照图5中所示出的流程图示例性地描述用于逐次记录相对于摄像机3运动的对象2的记录方法的实施方式。在所述实施方式中，记录方法通过在图1中示意性且示例性地示出的记录系统1来实施。
在步骤S101中，在所触发的运行中借助于摄像机3的图像传感器4记录待记录的对象2的行图像数据集10。
在步骤S102中，接收与待记录的对象2与摄像机3之间的相对运动的速度相关的重新扫描信息。这在所述示例中通过接收单元5来实现。
在步骤S103中，对已记录的行图像数据集10进行重新扫描，以便产生重新扫描的行图像数据集11，其中重新扫描的行图像数据集11关于已记录的行图像数据集10的空间位置与接收到的重新扫描信息相关。这在所述示例中通过重新扫描单元6来实现。
图像传感器4是面传感器，所述面传感器包括多个像素行12并且适合于，借助于多个像素行12分别记录多个行图像数据集10以用于产生重新扫描的行图像数据集11。图像传感器4包括电子快门7，所述电子快门适合于时间上交错地开始多个像素行12中的每个像素行的曝光，其中已记录的行图像数据集10的重新扫描与多个像素行12中的每个像素行的曝光开始的时间上的交错相关。
在图1中所示出的实施方式中，摄像机3包括接收单元5和重新扫描单元6。在所述情况下，接收单元5例如可以是摄像机3的合适的接口，并且接收到的重新扫描信息可以包括待记录的对象2与摄像机3之间的相对运动的速度v。在替选的实施方式中，摄像机3可以不包括接收单元5和重新扫描单元6。例如，用于逐次记录相对于摄像机3运动的对象2的记录系统1可以包括摄像机3和计算机或关于摄像机3在外部的另一处理单元，所述另一处理单元包括接收单元5和重新扫描单元6。在所述情况下，由摄像机3的图像传感器4记录的行图像数据集经由合适的接口提供给外部处理单元，并且接收单元5可以是外部处理单元的适合于接收重新扫描信息的接口。在所述情况下，接收到的重新扫描信息也可以包括待记录的对象2与摄像机3之间的相对运动的速度v。此外，重新扫描信息可以包括重新扫描的所期望的空间分辨率。但是与摄像机3是否包括接收单元5和重新扫描单元6无关地，也可行的是，在重新扫描信息中两个或更多个参数已经彼此关联，从而所述参数例如已经包括重新扫描的行图像数据集11关于已记录的行图像数据集10的从相对运动的速度v以及重新扫描的所期望的空间分辨率中确定的空间位置。
在图1中所示出的实施方式中，可以配置所期望的空间分辨率。在其他实施方式中，所述参数也可以是不可配置的。在所述情况下，可以将图像传感器4的空间分辨率用作重新扫描的所期望的空间分辨率，以用于确定重新扫描的行图像数据集11关于已记录的行图像数据集10的空间位置。
在图1中所示出的实施方式中，图像传感器4是单色图像传感器。但是在其他实施方式中，图像传感器4也可以是具有马赛克过滤器的彩色图像传感器。在所述情况下，也可以借助于摄像机3记录彩色图像，其中这可以借助于马赛克过滤器以相对小的耗费来实现。为此，与处理单色图像传感器的行图像数据集相比，需要至少一个另外的技术步骤，因为在具有马赛克过滤器的彩色图像传感器中需要颜色内插，其中颜色值基本上在中间像素位置处确定。
在权利要求中，术语“具有”和“包括”并不排除其他元件或步骤，并且不定冠词“一个”不排除多个。
单个单元或设备可以执行实施例中列出的多个元件的功能。在不同的实施例中列出各个功能和/或元件的事实不意味着也不能有利地使用所述功能和/或元件的组合。
由一个或多个单元或设备执行的过程，如接收与待记录的对象与摄像机之间的相对运动的速度相关的重新扫描信息、对已记录的行图像数据集进行重新扫描以便产生重新扫描的行图像数据集等，也可以由不同数量的单元或设备执行。所述过程可以实现为计算机程序的程序代码和/或对应的硬件。
计算机程序可以存储和/或分布在合适的介质上，如例如与其他硬件一起销售或作为其一部分销售的光学存储介质或固态存储介质。但是，计算机程序也可以以其他形式销售，例如经由网络或其他电信系统。
权利要求中的附图标记不应理解成，使得权利要求的主题和保护范围受所述附图标记限制。
总之，描述了一种用于逐次记录相对于摄像机运动的对象的记录系统。记录系统包括：摄像机，其中摄像机包括图像传感器，所述图像传感器用于在所触发的运行中记录待记录的对象的行图像数据集；接收单元，所述接收单元用于接收与待记录的对象与摄像机之间的相对运动的速度相关的重新扫描信息；以及重新扫描单元，所述重新扫描单元用于对已记录的行图像数据集进行重新扫描，以便产生重新扫描的行图像数据集，其中重新扫描的行图像数据集关于已记录的行图像数据集的空间位置与接收到的重新扫描信息相关。图像传感器是面传感器，所述面传感器包括多个像素行并且适合于借助于多个像素行分别记录多个行图像数据集以用于产生重新扫描的行图像数据集。图像传感器包括电子快门，所述电子快门适合于时间上交错地开始多个像素行中的每个像素行的曝光，其中已记录的行图像数据集的重扫描与多个像素行中的每个像素行的曝光开始的时间上的交错相关。

Claims (13)

1.一种用于逐次记录相对于摄像机(3)运动的对象(2)的记录系统(1)，包括：
-所述摄像机(3)，其中所述摄像机(3)包括图像传感器(4)，所述图像传感器用于在所触发的运行中记录待记录的所述对象(2)的行图像数据集(10)，
-接收单元(5)，所述接收单元用于接收与待记录的所述对象(2)与所述摄像机(3)之间的相对运动的速度(v)相关的重新扫描信息，以及
-重新扫描单元(6)，所述重新扫描单元用于对已记录的行图像数据集(10)进行重扫描，以便产生重新扫描的行图像数据集(11)，其中所述重新扫描的行图像数据集(11)关于所述已记录的行图像数据集(10)的空间位置与接收到的所述重新扫描信息相关，
其中所述图像传感器(4)是面传感器，所述面传感器包括多个像素行(12)并且适合于，借助于所述多个像素行(12)分别记录多个行图像数据集(10)以用于产生所述重新扫描的行图像数据集(11)，
其中所述图像传感器(4)包括电子快门(7)，所述电子快门适合于时间上交错地开始所述多个像素行(12)中的每个像素行的曝光，其中所述重新扫描单元(6)调整成，使得所述已记录的行图像数据集(10)的重新扫描与所述多个像素行(12)中的每个像素行的曝光开始的时间上的交错相关。
2.根据权利要求1所述的记录系统(1)，其中所述重新扫描单元(6)构成用于，根据所述重新扫描的所期望的空间分辨率来执行所述重新扫描，其中优选地能够配置所述所期望的空间分辨率。
3.根据权利要求1或2所述的记录系统(1)，其中所述重新扫描单元(6)构成用于，根据用于触发所述图像传感器(4)的外部触发信号在所触发的运行中执行所述重新扫描。
4.根据权利要求1至3中任一项所述的记录系统(1)，其中所述记录系统(1)适合于在向前运行中执行所述逐次记录，在所述向前运行中，所述多个像素行(12)中的每个像素行的曝光开始的时间上的交错与待记录的所述对象(2)在所述摄像机(3)的图像传感器(4)上的成像的运动方向相反地进行，或者所述记录系统适合于在向后运行中执行所述逐次记录，在所述向后运行中，所述多个像素行(12)中的每个像素行的曝光开始的时间上的交错在待记录的所述对象(2)在所述摄像机(3)的图像传感器(4)上的成像的运动方向上进行。
5.根据权利要求1至4中任一项所述的记录系统(1)，其中所述多个像素行(12)处于4至128个像素行、优选地4至64个像素行、还更优选地8至32个像素行、最优选地8至16个像素行的范围内。
6.根据权利要求1至5中任一项所述的记录系统(1)，其中所述图像传感器(4)包括比所述多个像素行(12)更多数量的像素行，并且适合于将待读取的图像区域限制到所述多个像素行(12)上。
7.根据权利要求1至6中任一项所述的记录系统(1)，其中待读取的所述区域能够配置为所述摄像机(3)中的可配置的感兴趣区域。
8.根据权利要求1至7中任一项所述的记录系统(1)，其中在所述摄像机(3)中，具有缝隙形的光阑开口(9)的光阑(8)设置在所述图像传感器(4)前。
9.根据权利要求1至8中任一项所述的记录系统(1)，其中在待重新扫描的行图像数据集(11)关于所述已记录的行图像数据集(10)的所述空间位置在多个所述已记录的行图像数据集(10)中的在不同时刻(t0，t1，t2)记录的两个或更多个集中处于各两个已记录的行图像数据集(10)之间的情况下，所述重新扫描单元(6)适合于，根据多个所述已记录的行图像数据集(10)中的在不同时刻(t0，t1，t2)记录的所述两个或更多个集中的各两个所述已记录的行图像数据集(10)来产生所述重新扫描的行图像数据集(11)。
10.根据权利要求1至9中任一项所述的记录系统(1)，其中所述图像传感器(4)是单色图像传感器，或者其中所述图像传感器(4)是具有马赛克过滤器的彩色图像传感器。
11.根据权利要求1至10中任一项所述的记录系统(1)，其中所述摄像机(3)包括所述接收单元(5)和所述重新扫描单元(6)。
12.根据权利要求1至11中任一项所述的记录系统(1)，还包括传感器(14)，所述传感器用于检测待记录的所述对象(2)与所述摄像机(3)之间的所述相对运动的速度(v)。
13.一种用于逐次记录相对于摄像机(3)运动的对象(2)的记录方法，包括：
-在所触发的运行中借助于所述摄像机(3)的图像传感器(4)记录(S101)待记录的所述对象(2)的行图像数据集(10)，
-接收(S102)与待记录的所述对象(2)与所述摄像机(3)之间的相对运动的速度(v)相关的重新扫描信息，以及
-对已记录的行图像数据集(10)进行重扫描(S103)，以便产生重新扫描的行图像数据集(11)，其中所述重扫描的行图像数据集(11)关于所述已记录的行图像数据集(10)的空间位置与接收到的所述重新扫描信息相关，
其中所述图像传感器(4)是面传感器，所述面传感器包括多个像素行(12)，其中借助于所述多个像素行(12)分别记录多个行图像数据集(10)以用于产生所述重新扫描的行图像数据集(11)，
其中所述图像传感器(4)包括电子快门(7)，所述电子快门适合于时间上交错地开始所述多个像素行(12)中的每个像素行的曝光，其中所述已记录的行图像数据集(10)的重扫描与所述多个像素行(12)中的每个像素行的曝光开始的时间上的交错相关。
CN202111214635.8A 2020-10-19 2021-10-19 逐次记录相对于摄像机运动的对象的记录方法和记录系统 Pending CN114390234A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020127495.5A DE102020127495B4 (de) 2020-10-19 2020-10-19 Aufnahmeverfahren und Aufnahmesystem zum sukzessiven Aufnehmen eines relativ zu einer Kamera bewegten Objekts
DE102020127495.5 2020-10-19

Publications (1)

Publication Number Publication Date
CN114390234A true CN114390234A (zh) 2022-04-22

Family

ID=80929430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111214635.8A Pending CN114390234A (zh) 2020-10-19 2021-10-19 逐次记录相对于摄像机运动的对象的记录方法和记录系统

Country Status (2)

Country Link
CN (1) CN114390234A (zh)
DE (1) DE102020127495B4 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116405784B (zh) * 2023-06-08 2023-09-05 合肥埃科光电科技股份有限公司 一种线扫描相机多重曝光方法、装置及扫描设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
EP0510179A1 (en) 1990-11-19 1992-10-28 Eastman Kodak Company Scanning speed compensation
US5608538A (en) 1994-08-24 1997-03-04 International Business Machines Corporation Scan line queuing for high performance image correction
GB2314987A (en) 1996-07-05 1998-01-14 Innovision Plc Telecine apparatus
US7425982B2 (en) 2003-11-12 2008-09-16 Euresys Sa Method and apparatus for resampling line scan data
DE102005060048B4 (de) 2005-12-15 2007-10-31 Siemens Ag Vorrichtung und Verfahren zur Aufnahme und Verarbeitung mindestens einer getakteten Bildfolge
DE102008016393B4 (de) 2008-03-29 2009-11-19 Basler Ag Verfahren zur Korrektur von Bildfehlern elektronischer Kameras
DE102013000301A1 (de) 2013-01-10 2014-07-10 Basler Ag Verfahren und Vorrichtung zur Erzeugung eines verbesserten Farbbildes mit einem Sensor mit Farbfilter
US9666234B2 (en) 2013-01-30 2017-05-30 Windense Ltd. Motion picture processing system
DE102016112968B4 (de) 2016-07-14 2018-06-14 Basler Ag Bestimmung von Farbwerten für Pixel an Zwischenpositionen
JP7075208B2 (ja) 2017-12-22 2022-05-25 キヤノン株式会社 撮像装置および撮像システム

Also Published As

Publication number Publication date
DE102020127495A1 (de) 2022-04-21
DE102020127495B4 (de) 2022-05-25

Similar Documents

Publication Publication Date Title
JP5144916B2 (ja) 画像信号処理方法および装置
US4782399A (en) Image processing apparatus with high- and low-resolution image sensors and an edge detector
US7602418B2 (en) Digital image with reduced object motion blur
US6014165A (en) Apparatus and method of producing digital image with improved performance characteristic
EP1529395B1 (en) Shading correction method for image reading means
US8073246B2 (en) Modifying color and panchromatic channel CFA image
US20030179418A1 (en) Producing a defective pixel map from defective cluster pixels in an area array image sensor
EP1206130A1 (en) Method and system for generating a low resolution image from a sparsely sampled extended dynamic range image
JPWO2013099638A1 (ja) 撮像素子及び撮像装置
JP2008514134A (ja) 有効ダイナミック・レンジの拡張
EP1173010A2 (en) Method and apparatus to extend the effective dynamic range of an image sensing device
CN102668571A (zh) 具有像素替代的稀疏色彩像素阵列
EP1046132B1 (en) A method and a system for processing images
WO2019078335A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
CN114390234A (zh) 逐次记录相对于摄像机运动的对象的记录方法和记录系统
JPH07143439A (ja) 画像撮影装置及び画像処理装置
US7656565B2 (en) Exploiting random motion during scanning to yield improved image
CN114390235A (zh) 逐次记录相对于摄像机运动的对象的记录方法和记录系统
US7010172B1 (en) Image acquiring method, image processing method, and image transforming method
JP3531035B2 (ja) 画像撮影記録装置
US11902683B1 (en) Method for forming a digital image
US5726776A (en) Method and arrangement for synchronizing the image recordings of monochrome and color recordings by means of light-sensitive sensors
JP2003015026A (ja) 画像処理方法及び画像処理装置
JP3218157B2 (ja) 静止画像撮像装置
US20030011748A1 (en) Apparatus and method for scanning film images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220422