CN111225141B - 用于读取图像传感器的方法 - Google Patents

用于读取图像传感器的方法 Download PDF

Info

Publication number
CN111225141B
CN111225141B CN201911172573.1A CN201911172573A CN111225141B CN 111225141 B CN111225141 B CN 111225141B CN 201911172573 A CN201911172573 A CN 201911172573A CN 111225141 B CN111225141 B CN 111225141B
Authority
CN
China
Prior art keywords
pixel
pixel range
imaging device
sensor
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911172573.1A
Other languages
English (en)
Other versions
CN111225141A (zh
Inventor
W·沃克纳
G·本亨德纳
A·瓦尔德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
B&R Industrial Automation GmbH
Original Assignee
B&R Industrial Automation GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by B&R Industrial Automation GmbH filed Critical B&R Industrial Automation GmbH
Publication of CN111225141A publication Critical patent/CN111225141A/zh
Application granted granted Critical
Publication of CN111225141B publication Critical patent/CN111225141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/701—Line sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block

Abstract

成像设备(2)以及用于读取成像设备(2)中的图像传感器(1)的方法。该成像设备(2)具有光学器件(3)，使用该光学器件(3)该成像设备(2)能够聚焦在物体(4)上。该图像传感器(1)具有多个传感器行(5)，其中每个传感器行(5)包括多个优选地线性布置的、优选地单独可读的像素元件(6)。像素范围(7)被定义，其中该像素范围(7)包括传感器行(5)的至少一部分。对图像传感器(1)的读取被限制于像素范围(7)中的像素元件(6)。

Description

用于读取图像传感器的方法
本发明涉及一种用于读取成像设备中的图像传感器的方法，其中该成像设备具有光学器件，使用该光学器件该成像设备能够聚焦在物体上，其中该图像传感器具有多个传感器行，并且其中每个传感器行包括多个优选地线性布置的、优选地单独可读的像素元件。此外，本发明涉及一种成像设备，该成像设备具有：至少一个图像传感器，其中该图像传感器具有多个传感器行，并且其中每个传感器行包括多个优选地线性布置的、优选地单独可读的像素元件；光学器件，使用该光学器件该成像设备能够聚焦在物体上；以及控制单元，由图像传感器的像素元件记录的值使用该控制单元来读取。
众多工业应用需要使用复杂的光学传感器解决方案，其中特别是机器视觉系统的实现与大量技术努力相关联。另一方面，尝试减少由传感器传送给中央控制器的数据量，以及减少由传感器自身处理的数据量，以免使现有系统的传输和计算容量过载。这是市场上存在优选使用行传感器的大量应用的原因。例如，如果要捕获圆柱体的外表面，则在角位置或转速已知的情况下可以逐行扫描该外表面，直至已获得该外表面的整体图像为止。如果例如跨所提供的带状背光源运输物体，则即使对于线性移动(诸如在传送带上的那些线性移动)，行传感器也可能是有利的。在该情形中，行传感器由传送方触发。然而，行传感器的使用不太灵活，并且市场上没有能够被集成到中央控制器或驱动系统中以使得它们能够与物体的移动同步的可用行传感器。因此，例如必须使用外部时钟来进行激活。
通常使用暗场照射以便能够使用行传感器来捕获表面上的结构(如果必要的话，也可以使用亮场照射)。例如，可以通过将传感器与待捕获物体的表面基本或近似垂直地对准、并通过布置照明设备以使得物体的表面以理想的浅角度被照射来实现暗场。另一方面，照明设备可按基本上垂直的方式照射物体表面，由此相机以浅角度聚焦在物体表面上。相机与物体表面之间的任何位置也可能取决于相应的应用是合适的。
当要在平坦或拱形表面上寻找凸起和凹陷(诸如划痕、裂缝、材料、生产和/或显示误差)时，照明设备与相机之间的角度尤其重要。这产生了必须手动确定和设置最佳角度的问题。一方面，该过程是劳动密集的；另一方面，该过程难以再现并且还容易出错。
DE 10 2009 006 112 A1公开了一种用于检查具有发光颜色图案的物体(特别是纸币)的方法和设备。用至少一个激发发光颜色图案的发光的辐射来照射物体，并且随后将物体移动通过辐射传感器，发光辐射使用该辐射传感器来捕获、分析和评估。所发射的发光辐射用图像传感器来捕获，其中该图像传感器的各行快速连续、彼此分开地读取。以预定的时间间隔曝光的像素和/或行的信号值被用于创建发光颜色图案的被激发发光辐射的强度值的值或测量曲线。
EP 2903264 A1公开了一种借助于具有图像传感器的成像设备来确定物体的光场的方法。物体在相对于成像设备与该成像设备间隔开预定距离的物体平面上移动，其中特定物体行的多个单行图像在不同时间被拍摄，并且其中与表面法线的相应角度因各个单行图像而异。根据单行图像的数据创建光场数据结构。
本发明的目的尤其是改善现有技术的传感器解决方案，以提供更高的灵活性和更简单的应用。
根据本发明，本发明的这些和其他目的通过其中定义像素范围的上述类型的方法来实现，其中该像素范围包括传感器行的至少一部分，并且其中对图像传感器的读取被限制于该像素范围中的像素元件。由于该限制，图像传感器可以被灵活地配置为不同的传感器单元，并且对像素范围的限制还允许更高的采集速率，因为仅需要读取图像传感器的一部分，这减少了待处置的数据量。像素范围可以优选地包括图像传感器的全体像素元件的任何子集。可任选地，可以将图像传感器的全部像素元件划分成子群(例如，定义例如传感器行的整数划分部分，具体而言是整个或一半或四分之一的传感器行)，其中像素范围可以包括图像传感器的全部子群的任何子集。
在本公开的上下文中，术语“图像传感器”是指用于通过电手段来采集光的基于像素图像的二维图像的任何设备。因此，图像传感器的示例特别包括其中像素元件的某些子群同时可读的图像传感器(诸如CCD传感器)和其中每个像素元件单独可读的图像传感器(诸如CMOS图像传感器)。
在本公开的上下文中，术语“光”被用于可见和不可见范围中可使用对应图像传感器来测量的任何电磁辐射。因此，光特别是指可见光谱中、红外范围中、UV范围中和X射线范围中的电磁辐射。
以有利的方式，像素范围可以包括至少一个完整传感器行。结果，单个图像传感器可以提供可使用的多个线性传感器，每个线性传感器覆盖待捕获的特定线性区域并具有特定的入射角。参数化也被简化。
在一有利实施例中，对像素范围的定义可以基于由成像设备先前拍摄的至少一个图像来定义。例如，这促成针对主要条件来对所选像素范围进行很大程度上自主的适配。
在另一有利实施例中，对像素范围的定义可以基于预定的参数化。例如，这促成将成像设备集成到自动化系统中，该自动化系统提供用于参数化的参数。
像素范围可以有利地包括图像传感器的连续部分，或者在恰适的情况下像素范围可以具有两个或更多个在空间上分开的像素部分。结果，成像设备可以用作单个传感器或用作若干个传感器的群，例如，用作在不同方向上取向的多个线性传感器的群。
在本发明的另一有利实施例中，对像素范围的定义可以针对至少一个物体的潜在移动位置来适配。关于物体位置的信息可以例如由外部或集成传感器、由成像设备自身来检测或者由中央控制器来传送。例如，可以在经定义的物体位置同步读取像素范围。
在另一有利实施例中，对像素范围的定义可以被动态地改变。结果，可以实现“移动传感器位置”而不必改变成像设备的位置。可任选地，移动物体可以按像素范围被“跟踪”。这可以通过物体上的移动像素范围所指向的图像区域以及固定的表面位置、或者通过使图像区域“扫过”(移动或静止)物体的表面以扫描该物体的表面并在必要情况下创建对应图像来完成。
如本文中所使用的术语“动态的”在该上下文中是指对像素范围的定义在特定测量任务内改变。可以通过记录连续和相关测量数据的开始和结束来定义测量任务。
在本发明的另一有利实施例中，为了对可任选移动物体的表面进行成像而对像素范围的定义可以被动态地改变。例如，这使得可以扫描传送系统中的物体表面以发现生产误差，而不必将物体置于特殊位置或者甚至停止。
在另一方面，本发明的目的通过其中涵盖图像传感器的至少一个部分的像素范围可以由控制单元来定义的上述类型的成像设备来实现，其中该像素范围包括传感器行的至少一部分，并且其中控制单元将对图像传感器的读取限定于像素范围中的像素元件。该成像设备促成根据本发明的方法的有利实现。
有利地，像素范围可以基于至少一个完整传感器行来定义。这样，成像设备可以用作灵活的行传感器(或用作多个行传感器)。
在一有利实施例中，可以在控制单元中实现程序逻辑，该程序逻辑适合于定义像素范围，特别是基于由成像设备先前拍摄的至少一张照片来定义。例如，可以基于使用图像传感器拍摄的照片(整个区域)来确定具有最大对比度的位置，并且随后可以针对该位置调整像素范围。可以在开始特定测量任务之前和/或以规则或不规则的间隔以此方式来执行定义。
在另一有利实施例中，控制单元可以具有与外部控制器的接口，经由该接口可以由外部控制器接收用于定义像素范围的参数。这允许成像设备的自主、半自主或不自主(heteronomous)操作。术语“自主”是指在像素范围是由成像设备自身的控制单元根据预定参数定义的情况下使用的操作模式。术语“半自主”或“部分自主”是指在控制单元从外部控制器接收参数的情况下使用的操作模式，成像设备的控制单元借助于该操作模式来计算相应像素范围的位置。在恰适的情况下，成像设备的控制单元也可以以不自主方式操作，即，直接根据接收到的参数进行操作，在该情形中像素范围针对由外部控制器预定的参数进行调整而无需任何进一步计算步骤。
根据本发明，像素范围也可以被定义为图像传感器的连续部分，和/或像素范围可以被定义为两个或更多个在空间上分开的像素子范围。结果，可以使用单个成像设备来定义在不同方向上对准的多个“传感器”，即，每个“传感器”覆盖图像的不同区域。
根据本发明的一有利实施例，对像素范围的定义可被动态地改变。成像设备由此可以对例如改变的环境条件做出反应。
有利地，对像素范围的定义可以针对至少一个物体的可能移动位置来适配。像素范围因此可被用于捕获物体的表面。可任选地，像素范围也可以被动态地更改以“跟踪”移动物体。
在本发明的一有利实施例中，为了检测可能移动物体的表面而对像素范围的定义可以是可动态改变的。在该情形中，可由被指派给像素范围的相应图像区域“扫过”静止或移动物体的表面，并且可以创建物体表面的图像(可能从不同的观察方向)。这些图像可以被用于例如创建物体的“展开”表面表示或3d渲染。
下文参照图1到6更详细描述了本发明，图1到6通过示例示出了本发明的示意性和非限定性有利实施例。在附图中：
图1和2各自用示意性表示示出了根据本发明的成像设备的图像传感器，
图3到5示出了根据本发明的被布置用于对物体进行光学监视的成像设备的示意性表示，其中解释了根据本发明的方法，以及
图6示出了根据本发明的被提供用于监视复杂移动物体的成像设备的示意性表示。
图1用高度示意性和简化表示示出了根据本发明的成像设备2的图像传感器1的平面视图，该视图特别用于解释本文所使用的标示和附图标记。图1基本示出了图像传感器1的光敏矩形表面。出于清晰的原因，图像传感器1的其他组件未呈现。此类传感器的设计和技术功能对于本领域技术人员而言是已知的。
在图像传感器1的光敏表面上，多个单独可读的像素元件6被布置在传感器行5和传感器列10的网格中。图像传感器1例如包括“n”个传感器行5和“m”个传感器列10。数字n和数字m可以根据惯用传感器变量自由选择或针对特定情形进行定制。工业领域中频繁使用的图像传感器例如具有4:3格式并具有640×480、1280×960、1600×1200等等的分辨率n×m，但也具有其他尺寸，例如具有格式1:1、3:2、5:4、6:9或者市场上可购买或能够生产的具有不同像素数的其他特殊格式，从小于1兆像素到具有数千兆像素的特殊格式。
每个单独传感器行5可以由1至n之间的数字x唯一性地标识，并且每个传感器列10可以由1至m之间的数字y唯一性地标识。在图1中，这由传感器行的附图标记51、5p、5x、5q和5n以及传感器列的附图标记101、10r、10y、10s和10m例示。因此，具有特定传感器行5x和某一传感器列10y的数字的每个像素元件6可以被清晰地标识，例如在图1中由传感器元素6xy所示。
每个像素元件6可包括单个光传感器或例如用于不同光谱范围的光传感器协作群。
本发明尤其基于对图像传感器的区域的定义，诸如图1中阴影线所示的矩形像素范围7。像素范围7可以包括所有像素元件6xy的任意部分选择，其中在矩形像素范围7的情形中该定义例如由可清晰定义的起始传感器行5p、结尾传感器行5q、起始传感器列10r和结尾传感器列10s给出。
根据本公开，像素范围7不一定需要具有矩形连续形状，而是可以由矩形像素子范围9的任何组合构成，如将参照图2中的图示来解释的。
图2中所示的像素范围7包括三个连续的、分别为矩形的像素子范围9a、9b和9c以及与这些像素子范围分开并且彼此分开的两个像素子范围9d和9e。后两个像素部分9d和9e各自在行的整个长度上延伸，即，跨所有传感器列101至10m。
在此描述的图像传感器1的像素布置在每一情形中基于“经典的”棋盘状像素几何形状，其中所有像素元件具有相同的尺寸(例如，在常规的Bayer矩阵的意义上)。这种布置基于市场上最常见的图像传感器，但是也存在其中可以提供不同尺寸的像素元件的替换布局(例如，在被称为“X-转置-矩阵(X-trans-matrix)”的布置中)或其中像素元件以偏离棋盘图案的图案来布置(例如，以五个像素群或对角线地布置)的替换布局。在此类情形中，对像素范围7的定义应当被相应地调整，这在本领域普通技术人员的技术范围内。
根据本公开，例如在图3中示出的根据本发明的成像设备2包括至少一个图像传感器1、至少一个光学器件3以及一个控制单元8。根据上述设计，图像传感器1具有多个传感器行5，其中每个传感器行5包括多个优选地线性布置的、单独可读的像素元件6。使用光学器件3，成像设备2可以聚焦在位于成像区域11中的物体4上。聚焦可以通过调整光学器件3中的透镜布置和/或通过将成像设备2布置在对应于待捕获物体4的距离处按已知方式来完成。
由图像传感器1的像素元件6记录的值可以借助控制单元8来读取。在图3中所示的图示中，图像传感器1被直接布置在控制单元8上。控制单元8使得可以定义包括图像传感器1的至少一个部分的像素范围7，其中控制单元8将图像传感器1的读取排他性地限制于像素范围7中的像素元件6。像素范围7可以特别被定义成具有结合图1和2所描述的形式，其中该定义可以优选地包括在图像传感器1上提供的全体像素元件6的任意子群。替换地，为了简化参数化，可定义的像素范围7可被限定于特定的像素群。具体而言，控制单元8可使用完整传感器行5的任意选择来定义像素范围7，这促成参数化并能够使用例如逐行读取的图像传感器(诸如CCD传感器)。像素范围7的每个传感器行5(或每群相邻传感器行5)可以表示在经定义方向上聚焦在成像区域11上的“线性传感器”类型。替换地，像素范围7的可能定义还可被限定于传感器行的各部分，例如被限定于传感器行5的“上”或“下”半部分等等。
由于控制单元8不必读取图像传感器1的全部所有像素元件6，而是仅需要处理像素范围7内的像素元件6，因此待处理以及可任选地待传送的数据量可以显著地减少，这随后可以用于例如增大采集频率。
像素范围7可以由成像设备2中提供的控制单元8基于定义的算法直接确定，或者可以基于经由接口12从外部控制设备13传送的参数来确定。接口12可包括例如工业总线系统。控制器可以例如是用恰适软件或可编程逻辑控制器(PLC)或其他自动化组件来编程的计算机。成像设备2可以借助接口12被集成到工业应用中。如果必要的话，接口12可以经由总线系统来通信，该总线系统还由自动化组件用于控制其他系统部件。
像素范围7可以针对特定应用不变地定义，也可以被动态地改变，即，在特定测量任务内改变，这使得可以执行下面描述的多个有利过程。
图3通过示例描绘了三个像素范围7，出于区分的目的这些像素范围使用相应的上划线被标识为像素范围7’、7”和7”’。在该情形中，每个像素范围7’、7”和7”’包括传感器行5的所有像素元件6，具体而言，第一像素范围7’包括第一传感器行51的像素元件6，第三像素范围7”’包括最后传感器行5n的像素元件，并且第二像素范围7”包括中间传感器行5x的像素元件6。一方面由于图像传感器1的尺寸，并且另一方面由于光学器件3的尺寸、性质和相对取向，为成像设备2定义了成像区域11，其中光学器件3聚焦在特定的测量平面15上并定义该测量平面15中基本上矩形的测量范围。在具有对应景深的情形中，如果必要的话，还可以以足够的精度检测被布置在测量平面15上方(即，更靠近光学器件3)和测量平面15下方的区域。每个像素范围7’、7”和7”’在测量平面15中定义对应的图像区域14’、14”、14”’，其被相应像素范围7’、7”和7”’中的像素元件6捕获。特别地，靠近边缘的图像区域14(诸如两个最外面的图像区域14’和14”’)可能由于像差而经受畸变，特别是光学器件3的畸变，如果必要的话，控制单元8(或外部控制器13)可以考虑和/或扣除该畸变。
在图3中所解说的情形中，(线性)像素范围7’、7”和7”’各自定义了线性传感器，其中这些线性传感器的图像区域14’、14”、14”’各自以不同的角度聚焦在测量平面15上。这与测量平面15的照射特别相关。图3通过示例示出了照明单元16，该照明单元16用暗场照射的方式以平坦角度照射测量平面15。照明单元16可以可任选地与成像设备2的成像频率同步。由于平坦的入射角，物体4上的特征(例如，物体表面上的凹口17或划痕)取决于图像区域14’、14”、14”’的位置而在被照明单元16照射时各自具有不同的反射行为。因此，取决于物体4的位置，凹口17被成像设备2以不同的对比度捕获。
对于许多应用，需要使该对比度最大化，根据本发明，这可以例如通过当具有已知特征(诸如图3中所示的凹口17)的基准物体被布置在测量平面15中或移动通过该测量平面15时首先对整个图像传感器1执行基准测量来实现。通过评估该基准测量，可以确定有望具有最大对比度的位置并且可以相应地调整像素范围。该评估可以由成像设备2自主执行或在外部控制单元12的控制下执行。类似的规程还可以有利地与明场照射或透射光图像联用。代替由照射单元16提供的平坦的暗场照射，例如可以使用(LED)环形灯，该环形灯被布置在光学器件3周围并且从成像设备2的方向照射测量表面15。
如果成像设备2(或外部控制器13)已知物体4的位置，则当物体4移动通过成像区域11时，还可以通过动态地改变图像传感器1上的对应像素范围7来“跟踪”具有移动图像区域14的物体4上的某些特征。(这在图3中由被标示为4’、4”和4”’的物体4的位置示出)。这样，可以在不同的照明条件下获得单个区域的多个图像。该方法还可以用于使具有已知表面偏差(诸如图3中所示的凹口17)的基准物体移动通过成像区域11并且跟踪与图像区域14的表面偏差。这使得可以确定像素范围7的位置，这有望具有用于进一步测量的最大对比度。
除了上述确定最佳测量位置之外，根据本发明的成像设备2还可以执行更复杂的过程。例如，可以使用用(固定的)成像设备2可以产生的不同的成像方向来扫描移动物体的表面，如参照图4所解释的。物体4例如线性地并且以已知速度移动通过成像区域11。在图4中用附图标记4’、4”、4”’和4””来标识物体4的相继位置。在第一位置(物体4’)，物体进入成像区域11。此时，像素范围7由外部控制器13或由控制单元8设置成行传感器形式的第一传感器行51。当物体移动通过成像区域11时，像素范围7还以如下方式改变：使得对应的图像区域14与物体4一起移动，但是以比物体4缓慢的速度移动。像素范围7在整个成像周期内动态地改变，以使得最后的图像区域14””在物体4离开成像区域11时检测到物体4””的后端。
由于图像区域14和物体4之间的相对移动，在各个相继像素范围7中捕获的单独图像可以被组合以形成物体表面的完整图像。应当注意，由于成像角度而可以完整地描绘正面和背面，这对于快照是不可能的。例如，在物体4和像素范围7均匀移动的情形中，与平面表面的图像相比前后图像会失真，但是该失真可以借助已知的算术方法来确定，并且如果必要的话根据图像的整体表示来计算。
在图5中示意性地示出了可以用根据本发明的图像采集单元2执行的方法的另一示例。再次，当物体通过成像区域11时，像素范围7(在位置7’、7”、7”’中示出)动态聚焦在物体4(位置4’、4”、4”’)上。然而，与上述示例形成对比，像素范围7’、7”、7”’总是包括多个传感器行5，以使得对于每个单独图像生成图像矩阵。此外，像素范围7移动的速度与物体4的速度匹配，以使得物体4的相同部分(在该情形中，前端上边缘)总是位于对应图像区域14’、13”、14”’的中心。由于由此从不同的视线捕获了物体4的相同区域，因此可以通过比较各图像来创建被监视区域或整个物体4的3d模型，而无需为此移动或枢转成像设备2。
特别地，为了更好地理解和简化该描述，使用图3到5的表示所基于的物体4的线性和恒定移动。显然，根据本发明的方法和设备也可以用于在一个或多个平移或旋转轴上的复杂移动。
图6示出了可以用成像设备2执行的根据本发明的有利方法的另一示例。在该情形中，物体4的表面将用成像设备2来扫描，例如以检测产品或生产缺陷、划痕、损坏等等。在现有技术中，通常将每个单独物体4停在线性扫描仪前面的经定义位置，并且在该位置，物体4围绕其轴线旋转，以使得线性扫描仪可以用该线性扫描仪来扫描物体4的整个周边。该方法不仅对运输设备和控制器是挑战，而且非常缓慢且不灵活，因为转换为其他形状的物体通常需要重新组织至少整个测量设置，并且通常还需要对照明设备进行特定调整。
为了减少这种努力，图6中所示的成像设备2在运输或移动路径上与其成像区域11对准，多个物体4通过该路径运输或以其他方式移动通过该成像区域11。在所解说的情形中，物体4沿着路径17移动，同时另外围绕正交于图像平面的轴线旋转。该轨迹可以是例如在生产、灌装或包装工厂中使用的传送带，并且物体可以是例如半成品或成品或包装容器，诸如瓶、盒、袋、包裹等等。每个物体4可以例如具有基准特征18，其中该基准特征18可以是例如在每个物体4上存在的标签、凸起商标或另一产品或包装特征。基准特征18不是强制性的，但是可以促成调整。
可以用适合于相应情形的恰适类型的光场或暗场照射来照射成像区域11。在图6中，提供LED环形灯作为照射设备16，该照射设备16被布置在成像设备2的透镜或光学器件3周围，并且照射整个成像区域11。
物体沿着路径17的移动可以可任选地由中央控制器13(例如，PLC或另一自动化单元)监视和/或控制，该中央控制器13还控制成像设备2，但是也可以提供其他控制结构。在所解说的情形中，中央控制器13经由接口12向成像设备2传送参数。基于这些参数，成像设备2动态地确定对应的像素范围7，读取由像素范围7中的相应像素元件6根据参数确定的测量值，并将对应的传感器数据传送回中央控制器13。传输可以优选地经由相同的接口12或以另一方式来传送。
像素范围7同时包括多个像素子范围9a-9f，其中每个像素部分9a-9f与特定物体4相关联。像素范围7基本上被实时地修改，以使得从物体4进入成像区域11的时间开始直到物体4离开该成像区域11的时间为止每个像素子区域9a-9f(或由该像素子区域9a-9f产生的测量区域14a-14f)与其相关联的物体4对准。可任选地，也可以仅在成像区域11的较小子区间中扫描物体4。每个像素子区域9a-9f可以例如被形成为线性传感器，并且包括成像设备2的图像传感器1的一个或多个相邻传感器行5，如结合上述实施例已描述的。
由于除了沿着路径17的平移移动之外，每个物体4还执行围绕其自身轴线的旋转，因此可以通过当物体在成像区域11内旋转时相应地快速且准确地调整像素子范围9a-9f来基本上完整地对每个物体4的外表面进行成像。基准特征18可以用于检测物体4的取向或用于生成基准测量，例如，使用该基准测量可以优化测量区域14的照射和确切对准。在基本上为圆柱形物体的情形中，例如可以始终以使得对整个圆柱形表面的测量基本上以恒定的表面角进行的方式来使测量区域14与移动物体4对准。
可任选地，除了根据上述方案动态改变的像素范围7之外，成像设备2还可以以附加间隔创建整个成像区域11的完整图像，例如以便优化测量区域14的对准或生成附加测量数据。例如，还可以在系统启动后或以规则的间隔“拍摄”整个成像区域11(在恰适的情况下，可以相应地降低成像频率，或者可以使用跨图像传感器1像素的元素6的仅部分选择(例如，在选择每第五个像素元件的网格中)以减少数据量)。使用对该拍摄结果的分析，随后可以创建并实现用于控制测量区域14的最佳策略。
如上所述，在所有实施例中，对相应静态或动态像素范围7的定义可以由成像设备2的控制单元8或由中央控制器或借助分布式角色来执行。中央控制器能够例如通过传送参数来控制像素范围7的定义和成像设备2的其他功能。此类参数的示例尤其包括包含像素范围7的直接定义(即，像素子范围的数目、形状和尺寸)的参数，使得控制单元8能够确定像素范围7的参数，即，对图像区域14的区域的位置指示，例如，定义曝光频率的参数、定义曝光时间的参数、与聚焦有关的参数、定义用于特定像素范围配置的曝光时间的参数、以及与输出数据的创建(例如，基于移动像素子区域的图像创建物体4的“滚降(rolled-off)”图像，创建物体的3d模型等等)有关的参数。
根据本发明的成像设备2还可以有利地用于其他领域，例如，用于监视任何类型的物体，其中对像素范围7的定义的功能性可以按任何方式与整个图像传感器的成像能力相组合。例如，可以连续地拍摄成像区域11(可任选地以低成像频率或仅使用跨图像传感器1分布几个像素)并且例如通过确定差分图像来检测移动。当检测到某些移动模式时，则可以发起具有静态或动态像素范围7的特定图像序列。
所描述的成像设备的所有实施例和此处公开的方法步骤可以按任何有意义的方式组合。特别地，本发明的意图是以任何方式将结合特定实施例描述的特征与其他实施例相组合，除非在相关文本中明确指出并不旨在这种组合或者这种组合出于技术原因是明显不可能的。
本描述和权利要求中所公开的方法步骤可以在可由成像设备2的控制单元8和/或由外部控制器13执行的程序逻辑中定义，其中由该控制单元8或外部控制器13执行的程序逻辑使得控制单元8或外部控制器13能够执行对应的方法步骤。
附图标记：
图像传感器 1
成像设备 2
光学器件 3
物体 4
传感器行 5
像素元件 6
像素范围 7
控制单元 8
像素子范围 9
传感器列 10
成像区域 11
接口 12
控制器 13
图像区域 14
测量平面 15
照明单元 16
路径 17
基准特征 18

Claims (20)

1.一种用于读取成像设备（2）中的图像传感器（1）的方法，其中所述成像设备（2）具有光学器件（3），使用所述光学器件（3）所述成像设备（2）能够聚焦在物体（4）上，其中所述图像传感器（1）具有多个传感器行（5），并且其中每个传感器行（5）包括多个像素元件（6），其中，像素范围（7）被定义，其中所述像素范围（7）包括传感器行（5）的至少一个部分，并且其中对所述图像传感器（1）的读取被限定于所述像素范围（7）中的像素元件（6），其特征在于，通过用所述图像传感器(1)执行基准测量来最大化对比度，同时具有已知特征的基准物体被布置在测量平面(15)内或者移动通过所述测量平面(15)，通过评估所述基准测量来确定保证最大对比度的位置，并且相应地设置所述像素范围(7)。
2.如权利要求1所述的方法，其特征在于，所述像素范围（7）包括至少一个完整传感器行（5）。
3.如权利要求1或2所述的方法，其特征在于，对所述像素范围（7）的定义是基于由所述成像设备（2）先前拍摄的图像中的至少一者来定义的。
4.如权利要求1或2所述的方法，其特征在于，对所述像素范围（7）的定义是基于预定参数化进行的。
5.如权利要求1或2所述的方法，其特征在于，所述像素范围（7）包括所述图像传感器（1）的连续部分，或者所述像素范围（7）具有能够在空间上彼此分开的两个或更多个像素子范围（9a-9e）。
6.如权利要求1或2所述的方法，其特征在于，对所述像素范围（7）的定义是针对至少一个物体（4）的可任选移动位置来适配的。
7.如权利要求1或2所述的方法，其特征在于，对所述像素范围（7）的定义是动态地改变的。
8.如权利要求7所述的方法，其特征在于，为了检测可任选移动物体（4）的表面而对所述像素范围（7）的定义是动态地改变的。
9.如权利要求1所述的方法，其特征在于，所述多个传感器行包括线性布置的像素元件。
10.如权利要求1所述的方法，其特征在于，所述多个传感器行包括分开读取的像素元件。
11.一种成像设备（2），所述成像设备（2）具有至少一个图像传感器（1），其中所述图像传感器（1）包括多个传感器行（5），并且其中每个传感器行（5）包括多个像素元件（6）；光学器件（3），使用所述光学器件（3）所述成像设备（2）能够聚焦在物体（4）上；以及控制单元（8），由所述图像传感器（1）的所述像素元件（6）记录的值经由所述控制单元（8）被读取，其中，所述控制单元（8）能够定义包括所述图像传感器（1）的至少一个部分的像素范围（7），所述像素范围（7）包括传感器行（5）的至少一部分，并且由所述控制单元（8）对所述图像传感器（1）的读取被限定于所述像素范围（7）中的像素元件（6），其特征在于，所述图像传感器(1)通过下述方式最大化对比度：所述图像传感器(1)执行基准测量，在所述基准测量期间具有已知特征的基准物体被布置在测量平面(15)内或者移动通过所述测量平面(15)，通过评估所述基准测量来确定保证最大对比度的位置，并且相应地设置所述像素范围(7)。
12.如权利要求11所述的成像设备（2），其特征在于，所述像素范围（7）能够基于至少一个完整传感器行（5）来定义。
13.如权利要求11或12所述的成像设备（2），其特征在于，程序逻辑被实现在所述控制单元（8）中，所述程序逻辑能够特别是基于由所述成像设备（2）先前拍摄的至少一个图像来定义所述像素范围（7）。
14.如权利要求11或12所述的成像设备（2），其特征在于，所述控制单元（8）具有与外部控制器（13）的接口（12），经由所述接口（12）所述外部控制器能够接收用于定义所述像素范围（7）的参数。
15.如权利要求11或12所述的成像设备（2），其特征在于，所述像素范围（7）能被定义为所述图像传感器的连续部分，和/或所述像素范围（7）能够被定义为两个或更多个互相在空间上分开的像素子范围（9a，9b）。
16.如权利要求11或12所述的成像设备（2），其特征在于，对所述像素范围（7）的定义能够动态地改变。
17.如权利要求11或12所述的成像设备（2），其特征在于，对所述像素范围（7）的定义能够针对至少一个物体（4）的可任选移动位置来适配。
18.如权利要求11或12所述的成像设备（2），其特征在于，为了检测可任选移动物体（4）的表面而对所述像素范围（7）的定义能够动态地改变。
19.如权利要求11所述的成像设备（2），其特征在于，所述多个传感器行包括线性布置的像素元件。
20.如权利要求11所述的成像设备（2），其特征在于，所述多个传感器行包括分开读取的像素元件。
CN201911172573.1A 2018-11-27 2019-11-26 用于读取图像传感器的方法 Active CN111225141B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18208542.3A EP3661191A1 (de) 2018-11-27 2018-11-27 Verfahren zum auslesen eines flächensensors
EP18208542.3 2018-11-27

Publications (2)

Publication Number Publication Date
CN111225141A CN111225141A (zh) 2020-06-02
CN111225141B true CN111225141B (zh) 2023-07-07

Family

ID=64606705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911172573.1A Active CN111225141B (zh) 2018-11-27 2019-11-26 用于读取图像传感器的方法

Country Status (6)

Country Link
US (1) US11442022B2 (zh)
EP (1) EP3661191A1 (zh)
JP (1) JP2020088859A (zh)
KR (1) KR20200064002A (zh)
CN (1) CN111225141B (zh)
CA (1) CA3062237A1 (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797328A (zh) * 2011-08-12 2014-05-14 莱卡地球系统公开股份有限公司 用于确定辅助测量仪器的空间位置的测量装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803978B2 (en) * 2006-05-23 2014-08-12 Microsoft Corporation Computer vision-based object tracking system
AT505771B1 (de) 2008-02-01 2009-04-15 Arc Austrian Res Centers Gmbh Verfahren und vorrichtung zum prufen von lumineszenzfarbmuster tragenden gegenstanden
AT512220B1 (de) * 2011-11-30 2015-03-15 Ait Austrian Inst Technology Verfahren und eine aufnahmevorrichtung zur aufnahme von multispektralbildern
JP5932376B2 (ja) * 2012-02-08 2016-06-08 富士機械製造株式会社 画像転送方法および画像転送装置
US9716847B1 (en) * 2012-09-25 2017-07-25 Google Inc. Image capture device with angled image sensor
DE102013223852B4 (de) * 2013-11-21 2015-10-22 Robert Bosch Gmbh Verfahren zur Erstellung von mindestens zwei Bildern mit einer Kameravorrichtung sowie Kameravorrichtung
AT515318B1 (de) 2014-01-31 2015-08-15 Ait Austrian Inst Technology Verfahren zur Ermittlung des Lichtfeldes eines Gegenstands
JP2015216482A (ja) * 2014-05-09 2015-12-03 キヤノン株式会社 撮像制御方法、および撮像装置
DE102016220757A1 (de) * 2016-10-21 2018-04-26 Texmag Gmbh Vertriebsgesellschaft Verfahren und Vorrichtung zur Materialbahnbeobachtung und Materialbahninspektion
JP6987513B2 (ja) * 2017-03-07 2022-01-05 ソニー・オリンパスメディカルソリューションズ株式会社 内視鏡装置
US11007018B2 (en) * 2018-06-15 2021-05-18 Mako Surgical Corp. Systems and methods for tracking objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103797328A (zh) * 2011-08-12 2014-05-14 莱卡地球系统公开股份有限公司 用于确定辅助测量仪器的空间位置的测量装置

Also Published As

Publication number Publication date
CN111225141A (zh) 2020-06-02
US11442022B2 (en) 2022-09-13
JP2020088859A (ja) 2020-06-04
EP3661191A1 (de) 2020-06-03
US20200167895A1 (en) 2020-05-28
CA3062237A1 (en) 2020-05-27
KR20200064002A (ko) 2020-06-05

Similar Documents

Publication Publication Date Title
CN110530869B (zh) 一种基于位置信息和图像信息的检测系统
JP7026309B2 (ja) 光学式外観検査装置、及びこれを用いた光学式外観検査システム
JP7370991B2 (ja) 飲料缶のカラー装飾仕様をオンラインで監視および制御するための方法とシステム
JP3575693B2 (ja) 光学式計測装置
AU753652B2 (en) Apparatus for surface image sensing and surface inspection of three-dimensional structures
CN111225141B (zh) 用于读取图像传感器的方法
KR101606720B1 (ko) 3차원 표면 측정 장치 및 방법
JP7306620B2 (ja) 表面欠陥検査装置及び表面欠陥検査方法
WO2011087454A1 (en) Apparatus and methods for manipulating and acquiring images of a pallet load
WO2020184567A1 (ja) 画像検査装置及び画像検査方法
JP5257224B2 (ja) 物品検査方法
WO2003021242A1 (en) Method and apparatus for inspecting the surface of workpieces
JP2013079986A (ja) 表面検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant