CN110022435A - 具有集成反馈回路和飞行时间传感器的透镜组件 - Google Patents

具有集成反馈回路和飞行时间传感器的透镜组件 Download PDF

Info

Publication number
CN110022435A
CN110022435A CN201811636486.2A CN201811636486A CN110022435A CN 110022435 A CN110022435 A CN 110022435A CN 201811636486 A CN201811636486 A CN 201811636486A CN 110022435 A CN110022435 A CN 110022435A
Authority
CN
China
Prior art keywords
vision system
lens
sensor
time
flight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811636486.2A
Other languages
English (en)
Inventor
A·韦伯
L·努恩宁克
R·德拉索斯
W·埃奎特兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/857,733 external-priority patent/US11002854B2/en
Application filed by Cognex Corp filed Critical Cognex Corp
Priority to CN202310179788.6A priority Critical patent/CN116264637A/zh
Publication of CN110022435A publication Critical patent/CN110022435A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • G01S17/48Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/08Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted to co-operate with a remote control mechanism
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/282Autofocusing of zoom lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/40Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种集成飞行时间传感器,所述集成飞行时间传感器将距离信息递送至与相机组件和视觉系统相关联的处理器。所述距离以上文所描述反馈控制进行处理以基于视场内的特定尺寸/形状物体而在运行操作期间自动聚焦所述相机组件的可变透镜。所述最短测量距离用于设定所述透镜的焦距。为校正校准或漂移误差,基于图像的进一步焦点优化可关于所述测量距离和/或基于所述测量温度而发生。由所述飞行时间传感器所生成的所述距离信息可用于执行其它功能。其它功能包括图像采集的自触发、物体尺寸标注、物体缺陷的检测和分析和/或视场中的物体之间的间隙检测以及软件控制范围检测,以防止(例如)限定范围之外的物体上的ID的无意读取(呈现模式)。

Description

具有集成反馈回路和飞行时间传感器的透镜组件
相关申请
本申请为提交于2013年3月13日的、标题为“具有用于焦点调整的集成反馈回路的透镜组件(LENS ASSEMBLY WITH INTEGRATED FEEDBACK LOOP FOR FOCUS ADJUSTMENT)”的共同待审美国专利申请系列No.13/800,055的部分继续申请,该专利申请的教导内容以引用方式明确地并入本文。
技术领域
本申请涉及机器视觉中使用的相机,并且更具体地涉及相机中的自动聚焦透镜组件和测距仪。
背景技术
执行物体的测量、检测和对准和/或符号表示的解码(如,条形码或更简单的“ID”)的视觉系统用于广泛范围的应用和行业。这些系统基于图像传感器的使用,该图像传感器采集对象或物体的图像(通常为灰度图像或彩色图像以及一维、二维或三维图像),并利用板载或互连视觉系统处理器来处理这些采集图像。处理器通常包括处理硬件和非暂态计算机可读程序指令两者,该硬件和非暂态计算机可读程序指令执行一个或多个视觉系统过程以基于图像的处理信息而生成期望输出。该图像信息通常提供于图像像素阵列中,每个图像像素阵列具有各种颜色和/强度。在ID读取器的实例中,用户或自动化过程程序采集据信含有一个或多个ID的图像。处理图像以识别ID特征,这些ID特征然后通过解码过程和/或处理器进行解码以获得以ID的图案所编码的固有信息(例如,字母数字数据)。
视觉系统相机通常包括内部处理器以及其它部件,这些部件允许其充当独立单元,从而向下游过程(诸如,库存追踪计算机系统或物流应用程序)提供期望输出数据(例如,所解码的符号信息)。通常可期望的是,相机组件包括透镜安装件(诸如通常所用的C形安装件),该透镜安装件能够接纳各种透镜配置。这样,相机组件可适用于具体视觉系统任务。透镜配置的选择可通过多种因素来推动,诸如灯光/照明、视场、焦距、相机轴线和成像表面的相对角度,和成像表面上细节的精细度。此外,透镜和/或用于安装视觉系统的可变空间的成本还可推动透镜的选择。
在某些视觉系统应用程序中令人满意的示例性透镜配置为自动对焦(auto-focus)组件。通过实例的方式,自动聚焦透镜可通过所谓液体透镜组件来促进。液体透镜的一种形式采用了两种等密度液体-油作为绝缘体,同时水为导体。由于周围电路而穿过透镜的电压变化导致液-液交界面的曲率的变化,这继而导致透镜的焦长(focal length)的变化。液体透镜使用中的一些显著优点是透镜的耐用性(无机械活动件)、其响应快速时间、其相对良好光学质量、其低功耗且小尺寸。通过消除对手动接触透镜的需求,液体透镜的使用可理想地简化视觉系统的安装、设置和维护。相较于其它自动聚焦机构,液体透镜具有极其快速的响应时间。液体透镜也理想地用于读取物体之间(面-面间)的距离变化或一个物体到另一个物体之间的距离变化,例如,扫描含不同尺寸/高度物体的移动输送器(如,运输箱)。一般来讲,能够“动态地(on the fly)”迅速聚焦在许多视觉系统应用程序中为期望的。
液体透镜技术的最新发展可从瑞士Optotune公司获取。该透镜利用覆盖贮液器的可移动膜来改变其焦距。绕线管施加压力以改变膜的形状并且从而改变透镜焦点。绕线管通过在预设范围内改变输入电流进行移动。不同电流水平对于液体透镜提供不同焦距。该透镜可提供用于各种应用中的较大孔径。然而,由于热漂移及其它因素,通常在运行时使用期间和随着时间可能存在校准和焦点设置的变化。可提供各种系统以补偿和/或校正焦点变化和其它因素。然而,这些可需要处理时间(在相机的内部处理器内),该处理时间减慢了透镜至新焦点的整体响应时间。一般认识到,可需要至少约1000Hz的控制频率以充分地控制透镜的焦点并且将其维持于期望范围内。这对于视觉系统的处理器产生负担,该处理器可基于DSP或类似架构。即,视觉系统任务将遭受DSP连续地专注于透镜控制任务的情况。
此外,在许多视觉系统应用中,诸如物流操作中的ID解码(例如,随着包裹向下穿过输送线,追踪这些包裹上的ID),高度、长度、整体尺寸和物体之间的间距间隙为高度可变的。这对视觉系统提出了挑战。各种技术允许3D成像,但它们可能并非成本有效的,或可能不适于物流(或类似)环境,其中主要目标是尽可能快速地和有效地检测含ID的表面的存在和采集ID的可解码图像。此外,ID读取器还可以所谓呈现模式(presentation mode)进行配置,其中读取器牢固地安装并且通常涉及使场景向下成像。在操作中,用户将ID码(通常位于物体的顶部表面)定位于读取器的读取范围内(即,对读取器呈现ID)。在此类应用中,读取范围应清晰地限定,但不应太大,以防止在用户所不期望的时间(和仅当特意地呈现时)无意读取代码。
发明内容
本发明通过提供一种用于视觉系统相机的可拆卸安装透镜组件而克服了现有技术的缺点,该视觉系统相机包括整体自动聚焦液体透镜单元,其中该透镜单元通过采用集成至透镜组件的本体中的反馈控制电路而补偿焦点变化。反馈控制电路从位置传感器(例如,霍尔传感器)接收关于致动器(诸如透镜的绕线管(其在电流控制条件下使膜可变地偏置))的运动信息,并且在内部利用该信息来校正运动变化,该运动变化在目标透镜焦距设定处偏离透镜设定位置。所定义的“位置传感器”可为单个(例如,霍尔传感器)单元或离散传感器的组合,该单个单元或离散传感器的组合相对于致动器/绕线管件进行各种定位以测量透镜单元周围的各个位置处的移动。例示性地,反馈电路可与一个或多个温度传感器互连,该一个或多个温度传感器对于特定温度值调整透镜设定位置。此外,反馈电路可与加速度计通信,该加速度计感测重力的作用方向,并且从而基于透镜的空间取向而校正透镜膜中的潜在垂度(或其它取向诱导变形)。
本发明还提供了一种集成(例如,不昂贵的和可商购获得的)单点或多点飞行时间传感器,该单点或多点集成飞行时间传感器将距离信息递送至与相机组件和视觉系统相关联的处理器。例示性地,该距离信息结合上文所描述的反馈控制进行处理以基于视场内的特定尺寸/形状物体而在运行时操作期间自动聚焦相机组件的可变(例如,液体)透镜。例示性地,最短测量距离用于设定透镜的焦距。为校正校准或漂移误差,基于图像的进一步焦点优化可关于测量距离和/或基于测量温度而发生。由飞行时间传感器所生成的距离信息还可用于执行其它功能。另一种功能为物体通过视觉系统的图像采集的自触发。即,当测量到物体距离的变化(例如,正高度和支撑基部/输送器高度之间的变化)时,触发图像捕获。该功能可用于触发以呈现模式(其中物体穿行至相机的视场中)或以输送带应用(其中物体沿着特定行进方向穿过相机视场)的采集。另一种功能为物体(例如,箱)尺寸标注,其中具有飞行时间传感器的视觉系统安装于支撑/测量基部(例如,输送带)之上。在校准期间,测量基部和视觉系统之间的高度被测量并存储于系统中。在运行时,视觉系统捕获图像并且测量至图像中心的物体的距离。如果检测到(例如)矩形形状(其包括图像的中心),那么该矩形的尺寸基于测量距离和成像仪的已知光学性质(传感器尺寸、焦长)而确定。示例性箱的高度为相机的高度与相机和箱之间的测量最短距离之间的差值。
另一种可能功能为物体缺陷的检测和分析。在如上文所描述的矩形顶部表面的检测之后,测量与矩形形状的偏差并且可检测到损坏物体(例如,箱)。又一种可能功能为感兴趣区域(RoI)检测。基于相机的ID读取器的视场还成像于多点(即,n X 1或n X m飞行时间点/像素)传感器阵列的感测区域上。由传感器阵列所生成的测量3D高度映射可用于窄化感兴趣区域以用于ID解码。即,随着ID候选特征从整体采集图像的窄化感兴趣区域进行检索,物体驻留其中的一部分图像的获知减少了解码时间。
另一种可能功能为视场中的物体之间的间隙检测,这有助于将适当ID码链接至适当成像物体(箱)。在物流应用程序中,其中存在同时驻留于视场内的一个以上的箱,飞行时间测量可有助于定位物体的边缘和确定实际上与之相关联的ID。
本文的视觉系统布置的又一种可能功能为采用接收自飞行时间传感器的所测量距离来限制视觉系统的读取范围,以防止无意读取。这可为视觉系统内的所谓呈现模式功能的一部分。仅通过实例的方式,只有在距物体的距离在限定范围内,那么(例如)ID读取器(a)捕获图像,(b)启动ID解码过程,和/或(c)将解码数据传送至主机系统。如果距ID码的距离(如由飞行时间传感器所指示)在该范围之外,那么整个ID读取过程中的上述步骤(a)至(c)中的至少一者可停用,因此结果未生成或未存储用于任务的下游使用,等等。
在一个例示性实施例中,提供了一种基于图像的ID码读取器。读取器包括具有图像传感器和光学器件的视觉系统相机以及视觉系统处理器,该视觉系统处理器布置成查找并解码视觉系统相机的采集图像中的ID。飞行时间传感器与视觉系统相机集成,该飞行时间传感器读取相对于视觉系统相机的视场中的物体的距离。飞行时间传感器操作性地连接视觉系统处理器和相机控制件中的至少一者。在多个实施例中,所读取物体距离的变化可触发通过视觉系统相机的图像采集和通过视觉系统处理器的ID解码过程中的至少一者。例示性地,距离的变化包括得自基线距离的减小距离,该基线距离来源于物体的支撑件或输送器。飞行时间传感器可为单点飞行时间传感器或多点飞行时间传感器。在一个示例性实施例中,其中读取器以所谓呈现模式操作,(a)图像采集、(b)解码过程和(c)递送ID解码过程的结果(其可由图像传感器、处理器和/或相机控制件执行)中的至少一者仅在物体在预定距离范围内的情况下才启用。
在另一个例示性实施例中,提供了一种视觉系统,该视觉系统包括2D图像传感器和成像仪透镜,该成像仪透镜将得自场景的接收光投影于图像传感器上。成像仪透镜包括具有电气可控焦距的可变透镜。飞行时间传感器从场景接收距离测量值;并且温度传感器生成相对于成像仪透镜的周围环境的温度测量值。可变透镜控制电路还布置成基于距离测量值和温度测量值而设定可变透镜的焦距。例示性地,飞行时间传感器为单点飞行时间传感器,和/或可变透镜组件包括基于膜的液体透镜组件。
在另一个例示性实施例中,提供了一种视觉系统,该视觉系统包括2D图像传感器、成像仪透镜和飞行时间传感器;2D图像传感器采集场景的图像,成像仪透镜将得自场景的接收光投影于图像传感器上,飞行时间传感器从场景接收距离测量值。处理器布置成从飞行时间传感器接收距离数据。基于距离数据,处理器确定关于场景内的一个或多个物体的一个或多个高度测量值,以对一个或多个物体执行分析过程。例示性地,一个或多个物体限定直线(rectilinear)形状,并且分析过程通过以下方式限定一个或多个物体的测量尺寸:(a)测量图像传感器和图像中心的物体之间的距离,(b)利用一个或多个视觉系统工具搜索图像传感器所采集的图像的中心的矩形形状,(c)基于测量距离和图像传感器和成像仪透镜的已知光学性质来相对于矩形形状计算一个或多个物体的顶部表面的尺寸,和(d)基于图像传感器和顶部表面之间的测量最短距离以及图像传感器基于基准表面的已知高度位置,计算一个或多个物体的高度。基准表面可包括移动输送器(或其它较平坦/平面移动或静止台架),该移动输送器使一个或多个物体穿过场景。处理器可布置成确定与直线形状的偏差以确定一个或多个物体中的缺陷。另外,一个或多个物体可相对于图像传感器和飞行时间传感器而相对运动。图像传感器和成像仪透镜可安装成采集一个或多个物体的图像(随着它们在输送器上传送通过场景)。传感器和透镜操作性地连接至ID解码器,该ID解码器查找并解码一个或多个物体上的ID信息。飞行时间传感器可为单点飞行时间传感器或多点飞行时间传感器。例示性地,处理器从多点飞行时间传感器同时接收相对于场景的离散部分的多个高度值,并且基于测量高度值而限定相对于一个或多个物体的至少一个感兴趣区域。ID解码器可从场景接收图像数据,并且可定位并解码至少一个感兴趣区域内的ID信息。此外,ID解码器可从场景接收图像数据,并且可定位并解码得自图像数据的ID信息。处理器布置成基于场景中的高度值而检测多个物体,并且分别使一个或多个定位ID相对于多个物体的每一者相关联。成像仪透镜还可限定可拆卸透镜组件,该可拆卸透镜组件包括电气控制可变透镜和操作性地连接至可变透镜的透镜控制器电路。因此,透镜控制器电路可容纳于可拆卸透镜组件中。在多个实施例中,飞行时间传感器还可整体地包含于可拆卸透镜组件内并且互连至透镜控制器电路。
附图说明
下述本发明具体实施方式参考附图,其中:
图1根据一个例示性实施例为具有基于集成反馈回路的焦点控制件的可交换自动聚焦透镜组件的外部结构的透视图;
图2为图1的透镜组件的侧剖视图,示出了内部机械、光学、电光和电子部件的布局;
图3为图1的透镜组件的透视图,其中外盖移除以展示部件的布置;
图4为图1的透镜组件的透视图,其中外盖和间隔件组件移除以展示液体透镜和控制电路之间的互连部;
图5为用于图1的透镜组件的液体透镜、集成控制器和相机视觉系统处理器之间的一般化电连接部和数据流的框图;
图5A为用于图1的透镜组件的基于反馈回路的绕线管位置控制过程的流程图;
图6为图5的控制电路存储器中的所存储数据的框图;
图7为温度校正过程,该温度校正过程生成用于与图5的控制电路和图5A的过程一起使用的温度校正绕线管位置值。
图8根据一个实施例为视觉系统的图示,该视觉系统具有集成飞行时间传感器,采集示例性物体的图像和并行距离测量值;
图9为用于可变(例如,液体)透镜利用图8的示例性视觉系统中的集成飞行时间传感器的自动聚焦的过程的流程图;
图10为用于基于物体相对于图8的示例性视觉系统中的集成飞行时间传感器的存在而自触发图像采集的过程的流程图;
图11为用于利用图8的示例性视觉系统中的集成飞行时间传感器来确定物体和任选物体缺陷的尺寸的过程的流程图;
图12根据一个示例性实施例为视觉系统的图示,该视觉系统具有集成多点飞行时间传感器,采集视觉系统相机的视场内的多个物体的图像和相关联距离测量值的矩阵;
图13为用于利用由图12的示例性视觉系统的距离测量值的矩阵所提供的信息来确定所采集图像内的一个或多个感兴趣区域(以用于(例如)查找和解码ID特征)的过程的流程图;
图14为用于利用由图8或图12的示例性视觉系统的距离测量值所提供的信息来确定所采集图像内的物体之间的间隙的过程的流程图;和
图15为用于确定物体是否基于物体在预定范围内的位置而呈现给视觉系统(诸如以呈现模式实施)的过程的流程图。
具体实施方式
I.视觉系统相机透镜
图1根据一个例示性实施例细化了可交换自动聚焦透镜组件(也简称为“透镜组件”)100的外部结构。透镜组件包括限定大体圆柱形状的外盖110。该外盖110对于变焦透镜元件(在该示例性实施例中包括Optotune基于膜的液体透镜型号EL-6-18或EL-10-30)120提供了保护和支撑壳体。利用有用背景信息,具有该透镜的各种型号的规格的当前数据页可在www.optotune.com/images/products/Optotune%20EL-6-18.pdf万维网上获得。明确地设想出,本文实施例的教导内容可应用于多种电子聚焦透镜类型,包括其它形式的液体透镜技术和机电调整固体透镜。出于本说明书的目的,整体自动聚焦透镜组件100的变焦透镜元件120(也简称为“液体透镜”)假定基于电流(或在另选布置中,电压)的预定输入而操作,并且提供各种输出,这些输出可用于利用常规技术来监测并控制透镜。此类输出可包括绕线管利用例如一个或多个霍尔传感器(下文进一步描述)的位置和/或透镜利用一个或多个常规温度传感器的当前温度。
利用另一背景,已观察到,此类液体透镜表现出其光功率随着时间和温度的过度漂移。尽管透镜可较迅速地聚焦至新焦点位置(即,在5毫秒内),但是其往往几乎立即从该焦点漂移。初始漂移(或“迟滞”)由膜从一个聚焦状态至下一聚焦状态的膜拉伸的延迟引起,即,拉伸耗费一定量的时间来发生。具有较长时间常数的第二漂移效应由加热透镜膜和液体的透镜致动器绕线管的功率耗散引起。此外,透镜相对于重力的作用方向的取向可引起对焦点具有影响的膜垂度(membrane sag)。本文所描述实施例的系统和方法解决了此类液体透镜在操作和性能方面所观察的缺点。
透镜组件100的后部130包括螺纹基部,该螺纹基部可适用于坐落于标准相机安装件中,诸如普通"cine"或(C形安装件)。虽然未示出,但是明确地设想出,透镜组件100可(可拆卸地)安装多种相机类型,这些相机类型适用于以相关联视觉系统处理器执行视觉系统任务。
还进一步参考图2至图4,进一步详细地描述了透镜组件100的构造。明确地设想出,所描述构造示出了对于本领域的技术人员应显而易见的部件的可能布置的范围。盖110限定了金属壳体(例如,铝合金),金属壳体包括侧裙边140和一体前端面150。盖覆盖间隔件/填充物210(也参见图3)。该填充物210包括一对螺纹孔310(图3),该对螺纹孔310接纳螺纹紧固件160以将盖可拆卸地固定于填充物210上。一对相对螺纹紧固件170凹陷于盖的对应孔172中并且穿过填充物210中的孔320至两个键部440上的螺纹孔410(图4)中,两个键部440可旋转地接合主镜筒组件220(图2和图4)。这种关系在下文进一步描述。这些紧固件170维持主镜筒组件220与填充物210的轴向对准。
如图2所示,镜筒组件220包括一系列的固定透镜230、232、234、236和238,这些固定透镜根据普通光学技术布置于液体透镜210之后。这些透镜允许沿着光轴OA投影至视觉系统传感器的图像的尺寸适当地设定至对于透镜组件所指定的变化焦距范围上的传感器的区域。通过实例的方式,光功率的范围可为-2至+10屈光度。透镜230-238以压缩叠堆布置于主镜筒组件220内(其间具有适当台阶和/或间隔件)。整体叠堆由透镜组件110处的后端部(13)处的螺纹保持环状物240保持在适当位置。孔径光阑盘250位于主镜筒的前部,孔径光阑盘250将系统孔径减小至适当较小直径。这允许对于给定视觉系统应用程序的亮度/曝光度控制和/或景深的定制。
主镜筒组件220包括后部外螺纹基部260,后部外螺纹基部260具有小于C形安装件的直径和螺纹,例如,与采用该标准或另一任意螺纹尺寸的相机可互换的常规M-12安装件尺寸。具有例如C形安装件外部螺纹264的螺纹安装件环状物262旋拧于基部螺纹260上。该环状物262允许透镜的后焦点相对于相机传感器精确地设定。一般来讲,当透镜针对相机本体固定时,环状物的肩部266设定成邻接相机安装件的端面。一对紧定螺钉360(图3和图4)穿过环状物262,并且可拆卸地接合基部螺纹260以将安装件环状物262维持于适当后焦点设定。
O形环267提供于液体透镜120的前端面上以消除公差。此外,并且还参考图4,填充物210适用于相对于主镜筒组件220旋转。一对半圆键部440(由O形环450保持在一起)接合填充物210中的凹槽,并且允许填充物210和盖110相对于镜筒组件220绕着轴线OA旋转,同时沿着轴向方向固定这些部件。这样,在透镜组件螺纹基部以期望后焦点适当地坐落于相机外壳中之后,盖旋转以使缆线270与相机的连接插座对准。该旋转经由旋钮180(图1)固定,旋钮180旋拧通过填充物210中的孔380并且可紧固以抵靠镜筒组件220,从而将这些部件以其间的期望旋转取向旋转地锁定在一起。
如图3所示,填充物210的前端部包括一定程度的矩形凹陷部330以将液体透镜120的形状支撑于组件的前部和主镜筒组件220的前部的适当位置。根据一个例示性实施例,填充物210还包括具有适当凸起保持突片342的扁平顶端部(搁架)340以支撑透镜控制电路板350。搁架340、电路板350和盖110的布置限定了盖的内表面和电路板之间的充分间隙G(图2)以为该板提供空隙。在一个实施例中,盖的近似直径为约32毫米。
值得注意的是,镜筒组件220为可互换部件,使得不同固定透镜布置可设置于整体透镜组件中(即,具有相同液体透镜、盖和控制电路)。因此,该设计提供了大体通用性,从而对于不同视觉系统应用提供了可能焦距的范围。
还值得注意的是,透镜控制电路在透镜组件的整体结构内的设置允许某些控制功能局限于透镜本身内。这在下文进一步详细地描述。电路板350经由连接器422和标准绕线管缆线420连接至液体透镜120,如图4所示。填充物210提供了间隙以将缆线420布线于这些部件之间。此外,控制电路板350连接至缆线270和多针端部连接器272。这些布置成电连接至相机外壳上的插孔(通常沿着相邻于透镜安装件的其前端面)。该缆线将功率从相机本体提供至透镜组件(电路板和液体透镜),并且还提供了透镜和相机的视觉系统处理器之间的数据互连,如下文所进一步详细地描述。盖110的后部边缘处的切口274为缆线270提供了暗槽以从透镜组件110的内部穿行至外部。适当密封件和/或紧密公差配合防止了环境的水分或污染物侵入。
II.透镜反馈控制
电路板350的控制功能现参考图5来进一步详细地描述。如上文所描述,已观察到,漂移或迟滞可通过以下方式进行控制:测量致动器的位置和透镜的温度,和利用该数据来控制通过透镜致动器绕线管(磁线圈,该磁线圈在不同电流设定条件下压缩透镜变量)的电流。在一个例示性实施例中,此类漂移/迟滞由电路板上的控制电路510(还简称为“控制器”)进行补偿,该电路板将(数字)反馈回路完全地集成至透镜组件的镜筒中,从而避免使用相机的视觉系统处理器来控制这些调整。控制电路包括相关联存储器(例如,EEPROM)512,相关联存储器512如图6所示可分成数据存储器610和程序存储器620。如下文所进一步描述,数据存储器610可包括温度校正参数612、相对于重力的取向614和其它适当参数616。此类其它参数616可包括公差对照参数,诸如凸缘公差校正(下文描述)。程序存储器可包括反馈回路控制软件和校正应用程序622。
在启动时,视觉系统520将其凸缘至传感器距离的公差值传输至透镜组件电路350。该值为与理想C形安装件距离(通常为17.526毫米)的偏差,该理想C形安装件距离在视觉系统的组装之后已测量并且已存储于视觉系统的存储器526(例如,非易失性闪存存储器)中。控制电路510布置成校正凸缘公差,如下文所进一步描述。
在启动之后,控制电路510可请求视觉系统相机520的视觉系统处理器522来提供最新固件升级528,使得功能透镜组件与视觉系统的软件和固件同步。如果固件为近期的,那么处理器对透镜控制电路指示该状态并且升级未执行。如果估计为过期的,那么将新固件加载于透镜组件的程序存储器620(图6)的适当位置。该通信通常在透镜组件的I2C通信接口(531)上发生,在缆线270上传送(图2)。
注意,如本文所用,术语“过程”和/或“处理器”应广义地理解以包括各种基于电子硬件和/或软件的功能和部件。此外,所描述过程或处理器可组合其它过程和/或处理器,或可分成各种子过程或子处理器。此类子过程和/或子处理器可根据本文的实施例进行各种组合。同样,明确地设想出,本文的任何功能、过程和/或处理器可利用电子硬件、软件(包括程序指令的非暂态计算机可读介质)或硬件和软件的组合来实现。
控制电路510可利用各种电子硬件来实现。例示性地,采用了微控制器。控制电路510从视觉系统相机520(即,经由缆线270和接口链路531)接收焦点信息530(例如,焦距,该焦距通过控制器平移至目标绕线管位置)。该焦点信息可来源于聚焦过程532,聚焦过程532在相机处理器522中操作。聚焦过程可利用常规或定制的自动聚焦技术来确定合适焦点。这些可包括测距或步进通过一系列的聚焦值,以生成由传感器536所采集的物体的图像534中的清晰边缘。虽然为高度可变的,但是2K×1K像素传感器用于示例性实施例中。另选地,聚焦过程可包括来源于测距传感器(诸如如下文所描述的集成飞行时间传感器)的数据。
聚焦信息530由控制电路510用于生成目标绕线管位置并且用于将具有移动信息540的数字信号提供至电流控制器544。电流控制器将适当电流施加至环形绕线管组件550(或“绕线管”),从而使液体透镜膜552变形以将适当凸状形状提供至绕线管550的中心开口内的隆起透镜区域554。绕线管550包括穿行于常规线性霍尔传感器560之上的磁体558。该霍尔传感器560生成数字位置信号562(其回到控制电路510),其中其对于实际绕线管位置(例如,存储器512中的调用值)相对于由对应霍尔传感器目标位置所表示的目标位置进行分析。如果,在实际霍尔传感器值和目标霍尔传感器值的比较中,这些值不匹配,那么控制电路510应用校正值,并且该校正值递送至电流控制器544,其中电流控制器544用于将绕线管550移动至符合目标霍尔传感器位置的正确位置。一旦绕线管550处于正确位置,那么控制器可发出校正完成的信号。
需注意,额外霍尔传感器(或其它位置感测装置)566(以虚线示出)可生成额外(任选)位置信号568,这些额外位置信号568由控制电路用于验证和/或补充传感器560的信号。在一个实施例中,数据利用I2C协议在部件之间进行传送,但明确地设想出其它协议。一般来讲,可商购获得的霍尔传感器在数字领域中操作(即,利用I2C接口协议),从而有效地避免由于磁效应的信号干扰。通过非限制性实例的方式,可使用获得自奥地利的奥地利微电子公司(AustriaMicrosystems,AMS)的AS5510型霍尔线性传感器。
参考图5A,绕线管位置感测/校正反馈回路过程570以一系列的流程图过程步骤示出。在步骤572,目标焦距接收自视觉系统处理器。随着该焦距由透镜组件控制电路(控制器)510用于确定由目标霍尔传感器值(其由绕线管上的一个或多个传感器提供)所表示的绕线管位置的目标值,控制反馈回路570然后启动。目标霍尔传感器值可基于存储器512中所存储的参数来校正(步骤574)。此类参数包括但不限于温度、空间取向和凸缘至传感器距离公差,并且该(任选)过程在下文进一步描述。在步骤576,控制电路510基于一个或多个霍尔传感器的位置和一个或多个相关联信号值(562)来测量绕线管的实际位置。在步骤578,控制电路510然后将一个或多个实际返回霍尔传感器值与目标值相比较。如果这些值非大体等同,那么决定步骤580分支至步骤582,并且控制电路指导电流控制器544来输入电流,该电流将绕线管移动至所校正位置。这可基于用以在实际位置和正确位置之间移动绕线管所需的电流的差值。如果步骤578的比较结果确定实际霍尔传感器值和目标霍尔传感器值大体等同,那么决定步骤580分支至步骤582并且系统指示校正完成。控制电路重复校正步骤574、576、578、580和582,直至实际霍尔传感器值和目标霍尔传感器值大体等同(在可接受公差内),并且新正确绕线管位置得以指示。该完成状态可报告至相机的处理器522以用于执行图像采集。
需注意,该局部反馈回路570一旦建立,则可连续地运行以将焦点维持于设定位置,并且直至新绕线管位置/焦点由相机指向。因此,反馈回路570确保了物体的图像采集中的稳态和连续聚焦,并且以避免了相机的视觉系统处理器上的增加负担的方式进行。
在步骤574,对于一个或多个霍尔传感器的目标值的确定可包括任选温度、空间取向和/或基于存储于存储器512中的参数612、614、616(图6)的其它参数(例如,凸缘距离)校正。透镜单元的温度(任选地)通过板载或相邻温度传感器588(图5)进行感测。温度传感器588(类似于电路350的其它部件)可采用标准接口协议(例如,I2C)。
如图7所示,在控制电路510内操作的任选温度补偿过程700接收得自传感器536的温度读数710和目标焦点或绕线管位置信息720,并且应用温度校准参数730。这些可本地存储于透镜组件电路存储器512上,如图6所示。校正参数可限定与给定温度读数(其在校准期间进行测量)相关联的曲线或一系列的表格值。过程700基于由视觉系统相机所提供的焦距而将目标霍尔传感器值(和相关联绕线管位置)从基值修改至说明透镜焦点相对于透镜温度的变化的值。因此,霍尔传感器基值可基于透镜处的当前温度读数而添加至控制电路510或从其减除以生成温度校正目标值740。
同样,对于取向相对于重力的校正(其可以不同方式导致透镜膜下垂或其它几何变形)由(任选)加速度计594进行补偿,加速度计594经由例如I2C协议将透镜/相机相对于重力的作用方向的空间取向596传送至控制电路。在一个实施例中,取向校正因数被确定(通过读取加速度计594),并且以类似于温度校正(图7)的方式(取代框710中温度的取向)由控制电路应用至目标霍尔传感器值。因为取向通常保持恒定(移动相机的情况除外),所以取向的确定可为一次性事件(即,在相机设置/校准处),或可在启动之后或以基于控制电路的时钟的定时间隔发生。如同温度校正,取向校正参数可包括映射至不同取向的曲线或查找表,这可在校准期间确定。将适当取向参数值应用至确定目标霍尔传感器值的步骤(574),并且目标值调整成包括关于空间取向的该进一步校正。需注意,在移动相机的情况下,取向参数可以相同方式(将温度更新以说明随着时间的变化)连续地更新。
其它参数(图6中的616)(诸如凸缘至传感器距离公差)还可存储于电路存储器512中。这些参数可在启动之后或以另一时间间隔根据视觉系统相机的数据存储库进行更新。每个参数的值由控制电路的过程用于进一步调整并校正目标霍尔传感器值。该整体校正值针对实际测量值用于比较步骤578,从而将绕线管移动至正确位置。
III.集成飞行时间传感器
图8根据一个示例性实施例示出了视觉系统布置800和相关联视觉系统相机组件810。相机组件810可为任何可接受形式因数,但通常包括外壳812,外壳812可相对于一位置(诸如输送器820)牢固地安装,输送器820将物体(例如,箱)830从源移动至目的地(箭头822)。视觉系统800和相关联相机组件810可为物流应用程序的一部分,该物流应用程序查找并解码打印或粘合至箱830的一个或多个表面(例如,顶部表面)832的ID。虽然箱具有矩形表面(即,通常为直线形),但是其可包括倾斜或曲线表面,例如,三角形横截面或圆形横截面管。
相机组件810可包括具有相关联图像处理器814和存储器815的内部和/或外部处理电路812,内部和/或外部处理电路812利用接收自图像传感器电路816的图像数据执行一般图像采集和图像处理任务,图像传感器电路816与光学路径内的(例如)CMOS图像传感器S相关联。相机电路可包括聚焦处理器818,聚焦处理器818可位于整体视觉系统布置的其它模块中,诸如透镜组件840(和相关联透镜控制电路850),如上文所大致描述(参见图3中的电路350)。透镜组件840包括可变透镜842,诸如上文所描述的液体透镜,可变透镜842响应于调整信息(例如,电压值)844以改变其焦距。透镜组件840可包括集成或外部控制电路850,集成或外部控制电路850可并入反馈控制电路布置852或与之结合,如上文所大致描述。其它电路元件(诸如存储器854)也可提供至透镜控制电路850。
值得注意的是,透镜组件840(或相机组件810的另一部分)可包括飞行时间传感器860,飞行时间传感器860指示感测其发射器/接收器表面和远程表面(诸如箱830的顶部832)之间的距离(DT)。该实施例中的飞行时间传感器为可商购获得的单点单元(诸如由瑞士的STMicroelectronics公司所制造的型号VL53L0X),该单点单元具有以快速模式的多达约五十个(50)循环每秒的操作能力并且具有大约2000毫米的操作范围和数厘米或更小范围内的精度。明确地设想出得自其它制造商的传感器和/或其它传感器型号的使用。如下文所进一步描述,可采用其它型号和类型(不同操作理论)的飞行时间传感器,包括多点传感器。飞行时间传感器有利之处在于,其以各种规格、紧凑性、较低功率、相当精确性和对许多环境操作条件的耐受性为广泛可用的。其还为相当廉价的,目前具有低至1至2美元的批量单位成本。飞行时间传感器通过发射光束(经由发射器)而操作,其中其强度以高频进行调制,使得所发射光束和所反射光束(其由接收器部分接收)表现出其间的相移。相移的程度通过传感器的电路进行测量,该电路将发射器处的相位与接收器处的相位相比较。所测量相移然后基于校准参数而转换成距离测量值,该校准参数驻留于传感器和/或外部电子器件内。飞行时间传感器照亮了以传送激光或(例如,基于IR)光脉冲所捕获的整个场景。在飞行时间传感器的一些典型实施方式中,光束以高达约30度的角度发射。然而,10度或更小的发射角度对于各种应用可为适当的。得自传感器的返回距离值862可返回为电压或其它数据形式(例如,数字值),该电压或其它数据形式表示至物体表面的所测量距离。如所示,传感器可定位成轻微地偏离透镜光轴OA并且达到成像表面的期望测量值。传感器可并入透镜外壳内(通过共同前窗口观察成像表面),或可定位于透镜外壳之外。传感器可为具有适当干预光学器件的整体传感器电路板的一部分,以允许其将光传送至物体和从物体接收光。
在所描述示例性实施例中,输送器820生成(例如,经由编码器)关于输送器移动的运动信息870,运动信息870传送至各种过程和处理器,包括相机处理器814和例示性视觉系统处理器880。视觉系统处理器可全部地或部分地封闭于相机外壳内,或可为外部的,例如,PC、膝上型电脑、服务器、手持装置等所例示。示例性视觉系统处理器880可包括各种功能模块/处理器(其执行一个或多个视觉系统过程),包括视觉工具882,诸如寻边器、斑点分析器、图案识别工具等。这些视觉工具882可用于将各种特征定位于所采集图像中,诸如箱表面上的ID候选特征。示例性实施例的视觉系统处理器880还包括ID查找和解码过程884,ID查找和解码过程884可识别所查找ID候选特征并将其翻译成解码信息886(例如,字母数字信息),解码信息886在适当通信链路上传送至其它装置和过程,诸如物流追踪计算机和/或输送线控制器(例如,开始和停止该线的控制器)、声音警报器、基于ID信息至不同目的地的门箱。示例性视觉系统处理器880还包括执行透镜自动聚焦以及各种物体相关过程的一个或多个功能模块/处理器888,包括感兴趣区域检测、图像采集/ID解码的自触发、缺陷检测和箱尺寸确定。
图9示出基于得自飞行时间传感器(图8中的860)的数据而用于可变(例如,液体)透镜组件的自动聚焦的运行时过程900。需注意,作为上文所描述反馈电路的一部分的温度传感器结合由飞行时间传感器所提供的初始距离来读取。因此,可变透镜的初始运行时焦距基于所测量距离和所测量温度(其由上文所描述反馈电路进行处理)而设定。该初始聚焦过程可在启动时或在周期性基础上执行。
在自动聚焦过程900的步骤910,一个或多个物体定位于相机组件的视场内,该相机组件具有集成飞行时间传感器。在步骤920,飞行时间传感器通过将光能传送至物体表面而操作,并且在步骤930,该光反射至(例如)飞行时间传感器上的接收点。在步骤940,所发射光束和所反射/所接收光束之间的相移与距离值(例如,电压值)关联,该距离值表示从传感器至物体表面的相对距离。
在步骤950,并且如上文所描述,反馈控制的聚焦过程(图5中的532)可采用距飞行时间传感器的距离数据来控制透镜的焦距。因此,聚焦过程输入所感测距离,并且然后利用查找表和/或算法来加载透镜焦距,该算法采用距离值来改变(例如)液体透镜的输入电压。该过程可在容纳于镜筒内的板载电路内完整地执行。然而,所感测距离数据还可提供至相机处理器814(和任选或另选板载聚焦处理器818)和/或视觉系统处理器880以执行自动聚焦和其它上文所描述物体过程(框888)。一旦合适焦点基于相机处理器和/或视觉系统处理器的操作而实现,则采集物体表面的图像。需注意,飞行时间传感器可定位于相机传感器图像平面处,或距该图像平面已知间距的另一位置处。间距解释了焦距的整体计算。
一般来讲,飞行时间传感器可设定成以预定循环速率(例如,三十个(30)循环每秒)连续地操作。在许多可商购获得的传感器中,速率至少在所谓缓慢或精确模式和快速模式之间可改变。在例示性实施例中,快速模式可以合理精度采用。然而,缓慢模式也为可用的,其中较大精度为期望的,并且循环速率仍为可接受的。因此,在图9的过程900,传感器连续地循环(决定步骤960),从而返回恒定距离值(其等同于从输送器(物体支撑基部)至传感器的距离),直至下一事件970(即,视场中物体的存在),此时呈现新距离值以使透镜重新聚焦(步骤920,等等)。当距离在物体已穿出视场之后改变时,透镜可再次重新聚焦,或可维持相同焦点,或可行进至中立焦点设定。更一般地,透镜自动聚焦的操作可基于瞬时距离读数而自动地/连续地发生,或可仅当物体在或不在视场内时操作。需注意,通过飞行时间传感器的距离测量,或透镜的至少自动聚焦应在捕获对象图像之前完成。因此,据设想,在图像捕获循环(相机帧率)和飞行时间传感器的测量循环之间可存在一般同步化以实现该操作。存在检测器(诸如物体检测器(光束、电子眼等)或编码器读数)可用于指示物体的存在以用于视觉系统相机的操作。
另一种形式的存在检测可通过飞行时间传感器自身来提供。图10示出了自触发过程1000,其中高度变化的检测(表示相对于输送器/基部表面的正物体高度)用于操作视觉系统相机并触发图像采集。在步骤1010,飞行时间传感器连续地操作,从而获取距离读数。电路和/或过程(处理器)将读取距离相比于先前距离值和/或基线值范围,例如,至输送器表面的校准距离(步骤1020)。当物体(即,物体前缘)进入相机组件的视场并且由飞行时间传感器拾取时,读取距离值基于物体的高度而改变(决定步骤1030)。新距离值用于建立存在和可能建立当前物体高度。物体高度预期大于最小高度值(例如,大于基线高度,这可由于输送器的高度波动或碎屑的存在),并且如果是,那么过程1000在步骤1040和决定步骤1050指示触发事件,其中物体的存在已发生。过程1000将适当触发信号发出至相机处理器和/或视觉系统处理器以采集视场的图像或(其中连续图像采集发生)标记所采集图像以用于分析(步骤1060)。
参考图11,提供了一种用于确定物体的高度和/或尺寸的过程1100。在校准期间,测量基部(输送器等)和相机组件图像平面之间的高度得以测量并存储于视觉系统中。当物体的前缘基于距离变化(步骤1110)而由飞行时间传感器在视场中检测到时,该边缘的高度得以确定,并且处理器随着物体穿过视场而监测运动和高度。一个或多个处理器往往通过由传感器所读取的第二距离变化而检测后缘(步骤1120)。考虑到高度,边缘过渡部的位置(结合运动程度)允许对物体的长度进行计算,据此还可计算中心以及重心(步骤1130)。基于这些参数,可估计近似三维大小和尺寸(步骤1140)。
根据一般化方法,示例性直线形物体(例如,矩形箱)的尺寸可如下确定:(a)测量相机组件的图像平面和所采集图像的中心的箱之间的距离;(b)搜索(利用视觉系统工具)图像中心的矩形形状(即,箱的顶部表面);(c)基于所测量距离和成像仪的已知光学性质(传感器像素阵列尺寸、焦长等)而计算顶部表面的尺寸;和(d)基于相机图像平面和箱表面之间的测量最短距离以及相机相对于测量基部(例如,输送器表面等)的已知高度位置,计算箱的高度。
一般来讲,物体的宽度还可经由采集图像进行估计或基于长度和高度(应理解,输送器或基部限定了最大宽度(例如,800毫米))进行估算。任选地,在决定步骤1150,尺寸参数可基于公式、已知包装件尺寸的查找表和/或高度的一致性(即,顶部应为平坦的)来与预期尺寸相比。如果物体满足预期,那么其可在步骤1160标记为可接受的(并且该数据存储于(例如)追踪数据库中)。相反地,如果比较结果(决定步骤1140)确定一个或多个测量/估计参数偏离可接受限值,那么物体指示为可能(或确实)存在缺陷(步骤1170)。如下文所进一步描述,尺寸的测量和/或缺陷的检测可利用多点飞行时间传感器来执行。
虽然据设想,本文的各种任务可利用单点飞行时间传感器来执行,但是可采用具有感测点的一维(n X 1)或二维矩阵(n X m)的可商购获得的传感器,这些传感器从各种视点(通常在整个最大范围分开给定角度(参见下文的角度1218))接收反射光。通过实例的方式,可采用8X 8传感器。参考图12,示出了一种视觉系统布置1200。该实施例中的相机组件1210包括图像传感器S和相关联光学器件1212,相关联光学器件1212定位成相邻于(或结合)多点飞行时间传感器1220。随着示例性物体1230和1232穿过(或呈现至)视场1234,多个感测点(例如,点1240、1242和1244)读取每个物体上的高度。其它点(例如,点1250和1254)读取基部或输送器1260的高度,基部或输送器1260在移动(箭头1264)时可将运动信息1262传送至所示的处理器1270。飞行时间感测点的矩阵生成一维或二维高度分布的数据流,该数据流可重叠于每个采集帧中的图像数据上。
参考图13,图13示出了用于将一个或多个感兴趣区域(ROI)定位于图像中的过程1300,该图像包括一个或多个物体(例如,图13中的物体1230和1232)。该功能可用于窄化ID特征的搜索区域,从而允许更快速解码。在步骤1310,多点飞行时间传感器操作(例如,在连续循环基础上)以获得视场内高度读数的矩阵。所接收距离值与视场内的给定角度相关联。该角度的获知允许每个点在适当位置处重叠于采集图像上,使得图像内的给定位置被分配对应高度值(步骤1320)。这些高度值允许图像根据这些位置进行辨析,这些位置具有物体存在并且可能存在物体的顶部或侧部。例如,如果相邻点(例如,1240和1242)测量相同正(高于基部1260)高度,那么位置最可能为顶部表面。测量两个不同正高度的点可使全部或部分的侧表面成像。如上文所描述,测量基部距离的点为物体之间的观察间隙(图12中的1280)。因此,在步骤1330,该信息用于确定每个采集图像(其中物体表面(感兴趣区域)存在)中的位置,和一个或多个图像(其中物体或感兴趣区域(例如,侧表面)不存在)中的位置(步骤1340)。利用该信息,视觉系统和ID解码过程可指示聚焦于此类感兴趣区域。这减小了工作负荷并且加速了整体ID查找和解码过程,因为其省略了不可能包含有意义(或任何)ID信息的区域。
相关过程1400示出于图14中。给定连续的多个采集图像,布置1200(图12)可用于确定物体之间的间隙距离。在步骤1410,多点(或单点)飞行时间传感器可基于最大高度读数(在物体顶部处)和最小高度读数(在输送器/基部处)之间的差值来确定相邻物体的边缘出现的位置。在步骤1420,过程1400可比较每个图像中的相邻边缘的位置并且将该位置相比于所确定运动(基于运动编码器信息)。在步骤1430,基于该比较,相邻物体之间的间隙距离可以相对精度来确定。该信息可存储并且可用于后续过程,诸如采集触发、感兴趣区域分析等。值得注意的是,通过追踪间隙位置,所查找ID可更可靠地与一个或多个图像中的合适物体相关联。
虽然上文所描述实施例示出了单个视觉系统相机和相关联单点或多点飞行时间传感器,但是据设想,多个飞行时间传感器可结合一个或多个视觉系统相机来使用,该一个或多个视觉系统相机均(任选地)校准至共同坐标系统或基准帧。
图15细化了另一过程1500,其中视觉系统(例如,ID读取和解码系统)以一种模式(例如,呈现模式)操作,该模式在物体在预定范围内呈现至视觉系统的情况下仅返回可用结果。即,穿过期望范围之外的视场的物体被视觉系统过程的一个或多个步骤忽略。在步骤1510,基于由传感器所采集的图像中的存在和/或由飞行时间传感器所测量的距离变化,物体定位于视场内。在步骤1520,飞行时间传感器确定物体的距离(如果可能的话)并且将该距离返回至处理器和其相关联过程模块。过程模块包括所存储距离范围,该存储距离范围充当用于结果返回的触发器以用于下游任务(例如,物流任务、物体识别等,基于所读取ID)中。过程1500将返回距离测量值相比于(在决定步骤1530)触发范围。实质上,触发范围适用于限制视觉系统的读取范围以防止物体上ID的无意读取。如上文所描述,这可为视觉系统内的所谓呈现模式功能的一部分。如果至物体的距离在限定触发范围内,那么(例如)ID读取器(a)捕获图像,(b)启动ID解码过程,和/或(c)将解码数据传送至主机系统,因此用于后续任务(步骤1540)。如果至ID码的距离(如由飞行时间传感器测量值所指示)在该触发范围之外,那么整个ID读取过程中的上述步骤(a)至(c)中的至少一者可停用,因此结果未生成或未存储用于任务的下游使用,等等(步骤1550)。
IV.结论
应清楚的是,优越位置校正(大约1毫秒)可利用封装于透镜组件中的控制电路所例示的局部反馈回路来实现。整个透镜组件包装件契合标准C形安装件透镜,从而得到与大范围的视觉系统相机型号和类型的高程度的互操作性。用于控制和校正本文所描述的液体(或其它类似自动聚焦)透镜的聚焦的系统和方法可快速地采用,并且可在相机运行时操作期间的任何时间采用,并且一般不会对相机的视觉系统处理器造成负担。该系统和方法还有利地解释了焦点由于热条件和空间取向(即,由于重力的透镜垂度)的变化。该系统和方法更一般地允许透镜组件安装于常规相机基部中。
集成单点或多点飞行时间传感器结合视觉系统相机布置的使用可提供多种有用功能,诸如自动聚焦、自触发、感兴趣区域确定、控制读取范围(例如,用于ID读取器呈现模式),和/或物体尺寸/质量分析。此类传感器的广泛可用性、较低成本、合理速度和精度使得它们适合用于各种应用中,并且允许其在相机外壳或可互换透镜组件上的使用。
前述内容已对本发明的例示性实施例进行详细描述。在不脱离本发明精神与范围的情况下,可做出各种修改和增添。上文所描述的多个实施例中的每一者的特征可根据情况与其它所描述实施例的特征相组合,以在相关联新实施例中提供多种特征组合。此外,虽然前述内容描述了本发明的设备和方法的多个单独实施例,但是本文的描述仅示出了本发明的原理的应用。例如,尽管霍尔传感器用于测量位置,但是多种另选位置感测装置可与本文的反馈回路联合地使用。例如,基于光学/干扰的位置传感器可用于另选实施例中。另外,据设想,本文的原理可应用于各种透镜(液体和其它方式),其中透镜的曲率经由电子控制件进行改变。因此,术语“可变透镜组件”应广义地理解,以明确地至少包括此类透镜类型。此外,虽然各种绕线管位置校正在透镜控制电路和反馈回路内执行,但是据设想,一些校正可在视觉系统相机处理器内执行,并且所校正焦距然后发送至透镜组件以用于其它反馈回路操作。如本文所用,各种方向和取向术语,诸如“竖直”、“水平”、“向上”、“向下”、“底部”、“顶部”、“侧面”、“前”、“后”、“左”和“右”等,仅作相对常规用语,并且不用作相对于固定坐标系(诸如重力)的绝对取向。因此,本说明书旨在仅通过实例的方式来理解,并且非旨在以其它方式限制本发明的范围。

Claims (20)

1.一种基于图像的ID码读取器,包括:
具有图像传感器和光学器件的视觉系统相机;
视觉系统处理器,所述视觉系统处理器布置成查找和解码所述视觉系统相机的采集图像中的ID;和
与所述视觉系统相机集成的飞行时间传感器,所述飞行时间传感器读取相对于所述视觉系统相机的视场中的物体的距离,所述飞行时间传感器操作性地连接所述视觉系统处理器和相机控制件中的至少一者。
2.根据权利要求1所述的ID码读取器,其中所述读取距离的变化包括得自基线距离的减小距离,所述基线距离来源于所述物体的支撑件或输送器。
3.根据权利要求2所述的ID码读取器,其中所述飞行时间传感器为单点飞行时间传感器。
4.一种基于图像的ID码读取器,包括:
具有图像传感器和光学器件的视觉系统相机;
视觉系统处理器,所述视觉系统处理器布置成查找和解码所述视觉系统相机的采集图像中的ID;
与所述视觉系统相机集成的飞行时间传感器,所述飞行时间传感器读取相对于所述视觉系统相机的视场中的物体的距离,所述飞行时间传感器操作性地连接所述视觉系统处理器和相机控制件中的至少一者;和
其中仅在所述物体处于预定距离范围内,才启用(a)图像采集、(b)解码过程和(c)递送所述ID解码过程的结果中的至少一者,其中所述解码过程由至少一个图像传感器、视觉系统处理器以及相机控制件执行。
5.一种视觉系统,包括:
2D图像传感器;
成像仪透镜,所述成像仪透镜将得自场景的接收光投影于所述图像传感器上,所述成像仪透镜具有可变透镜,所述可变透镜具有电气可控焦距;
飞行时间传感器,所述飞行时间传感器从所述场景接收距离测量值;
温度传感器,所述温度传感器生成相对于所述成像仪透镜的周围环境的温度测量值;和
可变透镜控制电路,所述可变透镜控制电路布置成基于所述距离测量值和所述温度测量值来设定所述可变透镜的焦距。
6.根据权利要求5所述的视觉系统,其中所述飞行时间传感器为单点飞行时间传感器。
7.根据权利要求6所述的视觉系统,其中所述可变透镜组件包括基于膜的液体透镜组件。
8.一种视觉系统,包括:
2D图像传感器,所述2D图像传感器采集场景的图像;
成像仪透镜,所述成像仪透镜将得自所述场景的接收光投影于所述图像传感器上;
飞行时间传感器,所述飞行时间传感器从所述场景接收距离测量值;和
处理器,所述处理器布置成从所述飞行时间传感器接收距离数据,并且基于所述距离数据而确定相对于所述场景内的一个或多个物体的一个或多个高度测量值以对所述一个或多个物体执行分析过程。
9.根据权利要求8所述的视觉系统,其中所述一个或多个物体限定直线形状,并且所述分析过程通过以下方式限定所述一个或多个物体的测量尺寸:(a)测量所述图像传感器和所述图像中心的物体之间的距离,(b)利用一个或多个视觉系统工具搜索所述图像传感器所采集的图像中心中的矩形形状,(c)基于所述测量距离以及图像传感器和成像仪透镜的已知光学性质来相对于所述矩形形状计算所述一个或多个物体的顶部表面的尺寸,和(d)基于所述图像传感器和所述顶部表面之间的测量最短距离以及所述图像传感器基于基准表面的已知高度位置,计算所述一个或多个物体的高度。
10.根据权利要求9所述的视觉系统,其中所述基准表面包括移动输送器,所述移动输送器使所述一个或多个物体穿过所述场景。
11.根据权利要求10所述的视觉系统,其中所述处理器布置成确定与所述直线形状的偏差以确定所述一个或多个物体中的缺陷。
12.根据权利要求9所述的视觉系统,其中所述一个或多个物体相对于所述图像传感器和所述飞行时间传感器而相对运动。
13.根据权利要求12所述的视觉系统,其中所述图像传感器和所述成像仪透镜安装成采集在输送器上传送通过场景的所述一个或多个物体的图像,并且操作性地连接至ID解码器,所述ID解码器查找并解码所述一个或多个物体上的ID信息。
14.根据权利要求11所述的视觉系统,其中所述飞行时间传感器为单点飞行时间传感器。
15.根据权利要求11所述的视觉系统,其中所述飞行时间传感器为多点飞行时间传感器。
16.根据权利要求15所述的视觉系统,其中所述处理器从所述多点飞行时间传感器同时接收相对于所述场景的离散部分的多个高度值,并且基于所测量的高度值来限定相对于所述一个或多个物体的至少一个感兴趣区域。
17.根据权利要求16所述的视觉系统,还包括ID解码器,所述ID解码器从所述场景接收图像数据,并且定位并解码所述至少一个感兴趣区域内的ID信息。
18.根据权利要求15所述的视觉系统,还包括ID解码器,所述ID解码器从所述场景接收图像数据,并且定位并解码得自所述图像数据的ID信息,并且其中所述处理器布置成基于所述场景中的高度值来检测多个物体并相对于所述多个物体的相应物体来关联一个或多个定位ID。
19.根据权利要求18所述的视觉系统,其中所述成像仪透镜限定可拆卸透镜组件,所述可拆卸透镜组件包括电气控制可变透镜和操作性地连接至可变透镜的透镜控制器电路,所述透镜控制器电路容纳于所述可拆卸透镜组件中。
20.根据权利要求19所述的视觉系统,其中所述飞行时间传感器整体地包括于所述可拆卸透镜组件内并且互连至所述透镜控制器电路。
CN201811636486.2A 2017-12-29 2018-12-29 具有集成反馈回路和飞行时间传感器的透镜组件 Pending CN110022435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310179788.6A CN116264637A (zh) 2017-12-29 2018-12-29 具有集成反馈回路和飞行时间传感器的透镜组件

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/857,733 US11002854B2 (en) 2013-03-13 2017-12-29 Lens assembly with integrated feedback loop and time-of-flight sensor
US15/857,733 2017-12-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310179788.6A Division CN116264637A (zh) 2017-12-29 2018-12-29 具有集成反馈回路和飞行时间传感器的透镜组件

Publications (1)

Publication Number Publication Date
CN110022435A true CN110022435A (zh) 2019-07-16

Family

ID=65019269

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811636486.2A Pending CN110022435A (zh) 2017-12-29 2018-12-29 具有集成反馈回路和飞行时间传感器的透镜组件
CN202310179788.6A Pending CN116264637A (zh) 2017-12-29 2018-12-29 具有集成反馈回路和飞行时间传感器的透镜组件

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310179788.6A Pending CN116264637A (zh) 2017-12-29 2018-12-29 具有集成反馈回路和飞行时间传感器的透镜组件

Country Status (2)

Country Link
EP (1) EP3505961A1 (zh)
CN (2) CN110022435A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113281762A (zh) * 2020-02-20 2021-08-20 康耐视公司 使用距离数据预测物体特征的方法和装置
CN115546276A (zh) * 2021-06-30 2022-12-30 斑马技术公司 用于可变焦透镜的区分焦点漂移和距目标距离变化的方法
US11846731B2 (en) 2019-07-31 2023-12-19 Canon Kabushiki Kaisha Distance detection device and imaging apparatus

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018105301B4 (de) * 2018-03-08 2021-03-18 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten
JP2021026236A (ja) * 2019-07-31 2021-02-22 キヤノン株式会社 距離検出装置および撮像装置
DE102019128814B4 (de) * 2019-10-25 2021-05-20 Sick Ag Kamera zur Erfassung eines Objektstroms und Verfahren zur Bestimmung der Höhe von Objekten
DE102019130963B3 (de) 2019-11-15 2020-09-17 Sick Ag Fokusmodul

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060257142A1 (en) * 2005-05-12 2006-11-16 Fuji Photo Film Co., Ltd. Camera system
CN102564338A (zh) * 2010-08-10 2012-07-11 霍尼韦尔国际公司 用于物体计量的系统和方法
CN105807285A (zh) * 2016-04-21 2016-07-27 深圳市金立通信设备有限公司 多区域测距方法、测距装置及终端
CN105827933A (zh) * 2015-06-29 2016-08-03 维沃移动通信有限公司 一种摄像方法、装置以及移动终端
CN107454311A (zh) * 2016-05-31 2017-12-08 佳能株式会社 镜头控制设备及其控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3727543B2 (ja) * 2000-05-10 2005-12-14 三菱電機株式会社 画像表示装置
US7677451B2 (en) * 2007-12-20 2010-03-16 International Business Machines Corporation Reducing incident infrared radiation received by one or more infrared detectors in a self checkout point of sale system
US20150260830A1 (en) * 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
CN112850406A (zh) * 2015-04-03 2021-05-28 奥的斯电梯公司 用于乘客运输的通行列表产生

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060257142A1 (en) * 2005-05-12 2006-11-16 Fuji Photo Film Co., Ltd. Camera system
CN102564338A (zh) * 2010-08-10 2012-07-11 霍尼韦尔国际公司 用于物体计量的系统和方法
CN105827933A (zh) * 2015-06-29 2016-08-03 维沃移动通信有限公司 一种摄像方法、装置以及移动终端
CN105807285A (zh) * 2016-04-21 2016-07-27 深圳市金立通信设备有限公司 多区域测距方法、测距装置及终端
CN107454311A (zh) * 2016-05-31 2017-12-08 佳能株式会社 镜头控制设备及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
林为才,王晶,: "一种高精度调焦机构设计", 《长春理工大学学报(自然科学版)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11846731B2 (en) 2019-07-31 2023-12-19 Canon Kabushiki Kaisha Distance detection device and imaging apparatus
CN113281762A (zh) * 2020-02-20 2021-08-20 康耐视公司 使用距离数据预测物体特征的方法和装置
CN115546276A (zh) * 2021-06-30 2022-12-30 斑马技术公司 用于可变焦透镜的区分焦点漂移和距目标距离变化的方法

Also Published As

Publication number Publication date
EP3505961A1 (en) 2019-07-03
CN116264637A (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN110022435A (zh) 具有集成反馈回路和飞行时间传感器的透镜组件
US11422257B2 (en) Lens assembly with integrated feedback loop and time-of-flight sensor
US20210003811A1 (en) Lens assembly with integrated feedback loop for focus adjustment
US9076199B2 (en) System and method for determining and controlling focal distance in a vision system camera
US11301655B2 (en) Vision imaging system having a camera and dual aimer assemblies
JP5896390B2 (ja) カメラのフォーカスを合わせるための方法、装置、システム、およびソフトウェア
US7809258B2 (en) Camera and method for use with camera
US20140307100A1 (en) Orthographic image capture system
KR20190075044A (ko) 깊이 정보 결정을 위한 다중 이미터 조명
CN109425994A (zh) 深度相机组件、头戴式显示器和用于深度感测的方法
EP3400113A1 (en) Robot for automated image acquisition
US10832023B2 (en) Dual-imaging vision system camera and method for using the same
US9910507B2 (en) Image display apparatus and pointing method for same
JP5749319B2 (ja) センサの位置合わせ用携帯端末機
KR20140034937A (ko) 접촉 없이 조작될 수 있는 측정 장치 및 이와 같은 측정 장치를 위한 제어 방법
KR101739768B1 (ko) 스테레오 카메라와 협각 카메라를 이용한 원거리 시선 추적 시스템
US20110141345A1 (en) Projected Light Scale for Forensic Photography
US10641896B2 (en) Distance measurement device, distance measurement method, and distance measurement program
KR102079697B1 (ko) 판독장치, 프로그램 및 유닛
EP2948791B1 (en) Improved laser range finding
US10353070B2 (en) Distance measurement device, distance measurement method, and distance measurement program
CN109946769A (zh) 减少视觉系统变焦透镜漂移的系统及方法
JP6370165B2 (ja) ポインティング装置、ポインティング方法、プログラム及び画像表示装置
US20220291509A1 (en) Head-mounted display apparatus with autofocus system
CN110192226A (zh) 基于深度的图像处理方法、处理装置和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190716

RJ01 Rejection of invention patent application after publication