CN110243397A - 检测图像数据的相机和方法 - Google Patents

检测图像数据的相机和方法 Download PDF

Info

Publication number
CN110243397A
CN110243397A CN201910171191.0A CN201910171191A CN110243397A CN 110243397 A CN110243397 A CN 110243397A CN 201910171191 A CN201910171191 A CN 201910171191A CN 110243397 A CN110243397 A CN 110243397A
Authority
CN
China
Prior art keywords
camera
elevation section
control
assessment unit
detection zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910171191.0A
Other languages
English (en)
Inventor
罗曼·穆勒
弗洛里安·施耐德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of CN110243397A publication Critical patent/CN110243397A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L25/00—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof
    • H01L25/16—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits
    • H01L25/167—Assemblies consisting of a plurality of individual semiconductor or other solid state devices ; Multistep manufacturing processes thereof the devices being of types provided for in two or more different main groups of groups H01L27/00 - H01L33/00, or in a single subclass of H10K, H10N, e.g. forming hybrid circuits comprising optoelectronic devices, e.g. LED, photodiodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Vascular Medicine (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请涉及检测图像数据的相机和方法。提出一种相机(10)，具有用于检测来自检测区域(14)的图像数据的图像传感器(18)、根据光飞行时间法原理的光电距离传感器(24)以及与图像传感器(18)和距离传感器(18)连接的控制和评估单元(38)。在此，距离传感器(24)具有多个光接收元件(30a)，以便产生高程剖面，并且控制和评估单元(38)被构造用于使用高程剖面来确定相机参数和/或评估图像数据。

Description

检测图像数据的相机和方法
本发明涉及根据权利要求1或13的前序部分的用于检测来自检测区域的图像数据的相机和方法。
相机以各种方式应用于工业应用中，以自动检测对象属性，例如用于检查或测量对象。在这种情况下，捕获对象的图像并根据任务通过图像处理方法进行评估。相机的另一种应用是读取代码。借助图像传感器捕获具有位于其上的代码的对象，在这些图像中识别代码区域，然后进行解码。基于相机的读码器可以轻松地应对一维条形码以外的其他代码类型，这些代码类型与矩阵码一样，也被构造成二维的并提供更多信息。打印地址的自动文本捕获(OCR，光学字符识别)或手稿的自动文本捕获原则上是代码的读取。读码器的典型应用领域是超市收银台、自动包裹识别、邮件分拣、机场行李处理和其他物流应用。
常见的检测情况是将相机安装在传送带上方。当对象流在传送带上相对移动期间，相机捕获图像并根据所获得的对象特征引入其他处理步骤。这些处理步骤例如是在作用于所输送的对象机器上进行的适合具体对象的进一步处理，或者是通过在质量控制的范围内将某些对象从对象流中排除或将对象流分类成多个子对象流来改变对象流。如果相机是基于相机的读码器，则根据所安置的代码来识别对象以便进行正确的分类或类似的处理步骤。
相机通常是复杂的传感器系统的一部分。例如，在传送带上的读取通道中常见的是，预先用单独的激光扫描仪测量被传送的对象的几何形状并从中确定焦点信息、触发时间、具有对象的图像区域等等。仅通过这样的传感器组合结构和相应的控制装置使系统智能化并且能够可靠地对信息进行分类并增加信息密度。
因此，作为隔离的传感器，传统相机装备有很少或完全没有固有智能。仍然已知的是，将距离传感器集成在相机中，该距离传感器测量到待拍摄的对象的距离，以便在对象位于一定的距离内的情况下，调节相机的物镜的焦点位置或触发图像拍摄。为此，距离传感器例如使用光飞行时间法(ToF，Time of Flight)。但是，这种简单的距离传感器仅能够测量正面距相机的唯一距离值。因此，可以通过距离传感器获得的附加功能非常易于控制。
因此，本发明的任务在于改进相机的独立的控制或评估。
该任务通过根据权利要求1或13的用于检测来自检测区域的图像数据的相机和方法得以实现。相机利用图像传感器获取来自检测区域的图像数据。除了图像传感器之外，相机还包括根据光飞行时间法原理的光电距离传感器。控制和评估单元可以访问图像传感器的图像数据和距离传感器。
本发明基于使用有空间分辨率的距离传感器的基本思想。由此，利用多个光接收元件从多次距离测量中获得高程剖面控制和评估单元使用高程剖面来确定或设置相机参数，作为评估图像数据的支持或用于触发相机的各种功能。
本发明的优点在于，具有空间分辨率或多区评估的距离传感器创造了固有智能提高的先决条件。由此，相机在其相应的应用中自身做出决定，以便提高其性能或改进图像数据的质量。在这种情况下，特别地，可以独立地决定是否应该收集具体拍摄情况的信息并且将该信息减少到基本要素。这特别是将相机集成到大型系统(云、大数据)时，降低了带宽要求、存储器需求和计算功率。
优选地，控制和评估单元被构造用于在特定的高程剖面下触发图像传感器的拍摄。为此，与参考剖面或特定的参考特征进行比较或相关联，诸如平均高度、高程剖面内的至少一个中心点的高度等，其中允许有一定的容差。因此，根据规范的复杂性，可以通过在特定的子检测区域和距离内的对象触发相机，但也可以实现至少基本的对象识别，该对象识别例如忽略已知的对象。
优选地，控制和评估单元被构造用于根据关于容器的参考剖面的信息和高程剖面来决定是空的容器还是具有对象的容器位于检测区域中，并据此决定是否触发图像传感器的拍摄。参考剖面整体上或其特征描述空的容器，或者可选地，还描述了具有待拍摄的对象的容器。现在，通过使用距离传感器拍摄的高程剖面可以区分空的容器和被填充的容器，并且可以有针对性地仅拍摄具有对象的容器。这可以理解为通过特定的高程剖面触发的特殊情况，其中特定的高程剖面由空的容器预先给定。
优选地，控制和评估单元被构造用于根据高程剖面调节图像传感器的接收光学器件的焦点位置。由于空间分辨率，在此不仅可以针对单个正面测量的距离进行固定的焦点调节，而且还可以针对所有检测的对象点进行最佳调节。可替代地，可以确定感兴趣的区域，由于空间分辨率可以针对感兴趣的区域提供合适的距离值，通过该距离值适当地聚焦。
优选地，控制和评估单元被构造用于根据高程剖面确定检测区域中的表面的倾斜度。该表面例如是底表面，诸如地面或输送机的平面。然后，检测的倾斜度例如用于校准。同样，还可以设想，确定至少一个检测的对象表面的倾斜度。这是就其自身而言有趣的测量变量，该测量变量例如还可以用于以透视方式矫正(entzerren)图像数据。
优选地，控制和评估单元被构造用于根据高程剖面确定和/或监测相机自身的视角。视角包括位置和定向的多达六个自由度，其中仅确定其中的一部分是有利的，主要由于相应的应用和安装通常已经确定了自由度。自身视角的确定对相机的校准是有用的。借助监测来发现相机何时被移动或碰触，以便发出警告或自动重新校准。为此，预先给定规定位置的参考剖面或在初始对准的安装位置中记录参考剖面，并从而在操作期间进行比较。取平均或其他滤波器是有用的，以便不从检测区域中的对象移动得出关于相机移动的错误结论。
优选地，控制和评估单元被构造用于根据高程剖面确定感兴趣的区域。高程剖面可以表示待拍摄的对象的特征。特别优选地，在没有感兴趣的对象的情况下，无论是通过使用距离传感器的初始学习还是通过诸如平坦背景的假设的简单规定，预先给定背景的参考剖面。然后，在操作中高程剖面偏离参考剖面的地方推断出对象并确定相应感兴趣的区域。感兴趣的区域可以作为附加信息一并输出，或者图像数据已经在相机中被削减，因此限于感兴趣的区域。
优选地，距离传感器的视场至少部分地位于检测区域之外。这涉及至少一个横向方向，优选地涉及所有相关的横向方向。通过这种方式，可以在对象移动到检测区域中之前获得事前信息。特别优选的实施方式设置了视场，该视场不与检测区域相邻，而是比检测区域更大并且包围检测区域。
优选地，相机固定地安装在传送设备上，该传送设备将待检测的对象在传送方向上引导通过检测区域。这是相机的一种非常常见的工业应用。此外，框架条件有利于从高程剖面中简单、可靠地获取附加信息。在固定距离处存在传送带或者至少托盘或容器形式的已知的通常平坦的底部，并且仅在一个维度上有效地形成均匀的对象流。
优选地，控制和评估单元被构造用于根据高程剖面确定检测区域中的对象的速度。速度通常包括数值和/或方向，两个元素可以单独地或共同地引起兴趣。通过在高程剖面中检测到对象第一次在该处出现的位置可以实现简单的方向确定。还可以通过多次检测高程剖面来跟踪浸入的对象边缘，以便根据数值和方向确定速度。稍微更复杂，但更可靠的是在不同的时刻至少检测高程剖面两次，并随后与对象区域关联，以便估计对象的位移矢量，并连同检测的时间差一起估计速度矢量。在传送设备上，评估的成本降低，因为只有方向必须区分向前和向后，并且所有对象都以相同的速度数值进行输送。因此，仅需对在朝向浸入的对象的输送方向上的边缘进行监测，并且清楚这些对象随后在高程剖面的进一步检测中在哪个方向上移动。
优选地，相机具有用于照明检测区域的照明单元，其中控制和评估单元被构造用于根据高程剖面调节照明单元。由此，可以确保对感兴趣的对象的最佳照明，该照明避免了曝光不足和过度曝光，并补偿强度随着距离的增加的二次幂降低。
优选地，控制和评估单元被构造用于在图像数据中识别代码区域，并读取该代码区域的代码内容。因此，相机是根据各种标准的用于条形码和/或2D代码，必要时还用于文本识别(OCR，Optical Character Reading)的基于相机的读码器。
根据本发明的方法可以以类似的方式进一步发展并同时显示出类似的优点。这种有利的特征在从属于独立权利要求的从属权利要求中示例性地但不详尽地进行了描述。
附图说明
下面示例性地根据实施方式并参考附图对本发明的其他特征和优点进行更详细的阐述。在附图中：
图1示出了具有空间分辨的光电距离传感器的相机的示意性剖视图；
图2示出了相机安装在传送带上方的示例性应用的三维视图；
图3示出了相机及其视场的示意图以用于说明对象的移动方向；
图4示出了相机及其视场的示意图以用于说明检测的表面的角度位置；
图5示出了相机及其视场的示意图以用于说明对对象速度的确定；
图6示出了相机及其视场的示意图以用于说明利用对象对感兴趣的区域的确定；以及
图7示出了相机及其视场的示意图以用于说明对具有或不具有对象的容器的确定。
图1示出了相机10的示意性剖视图。来自检测区域14的接收光12入射到接收光学器件16上，该接收光学器件16将接收光12引导到图像传感器18上。优选地，接收光学器件16的光学元件被设计成由多个透镜和诸如光阑、棱镜等其他光学元件构成的物镜，但这里为了简化起见仅通过透镜表示。
为了在相机10的拍摄期间利用发射光20照亮检测区域14，相机10包括可选的照明单元22，该照明单元在图1中以简单光源且没有发射光学器件地示出。在其他的实施方式中，多个光源，例如LED或激光二极管，例如环状地围绕接收路径布置，这些光源甚至可以彩色地和成组地或单独地进行控制，以便调整照明单元22的参数，诸如颜色、强度和方向。
除了用于获取图像数据的实际的图像传感器18外，相机10还具有光电距离传感器24，该距离传感器利用光飞行时间法(TOF，Time of Flight)测量到检测区域14中的对象的距离。距离传感器24包括具有TOF发射光学器件28的TOF光发射器26和具有TOF接收光学器件32的TOF光接收器30。由此，TOF光信号34被发送并再次接收。光飞行时间测量单元36确定TOF光信号34的飞行时间，并且从中确定到TOF光信号34被反射的对象处的距离。
TOF光接收器30具有多个光接收元件30a或像素，因此是有空间分辨率的。因此，检测的不是单个距离值，而是有空间分辨率的高程剖面(深度图，3D图像)。在这种情况下，仅设置相对少量的光接收元件30a并从而提供高程剖面的横向分辨率。2×2像素或者甚至1×2像素就已经足够了。当然，具有n×m像素(n，m>2)的更高的横向分辨率的高程剖面能够实现更复杂和更准确的评估。但TOF光接收器30的像素数量保持相对较低，例如，几十、几百或几千像素或n，m≤10、n，m≤20、n，m≤50或n，m≤100，远离图像传感器18的常规的百万像素分辨率。
距离传感器24的结构纯粹是示例性的。在参考图3至图7的本发明的进一步描述中，距离传感器24被视为封装模块，该模块根据要求提供高程剖面。借助光飞行时间法的光电距离测量是已知的，因此不再详细阐述。两种示例性的测量方法是利用周期性调制的TOF光信号34进行的光电检测(Photomischdetektion)和利用脉冲调制的TOF光信号34进行的脉冲传播时间测量。在这种情况下，还存在高度集成的解决方案，其中，具有用于飞行时间测量的光飞行时间测量单元36或至少其中的一部分(诸如，TDC(Time-to-Digital-Converter))的TOF光接收器30安装在共同的芯片上。特别地，TOF光接收器30适合于此，该TOF光接收器被构造成SPAD光接收元件30a(单光子雪崩二极管)的矩阵。TOF光学器件28、32仅象征性地示为代表任意光学器件(诸如，微透镜阵列)的相应的单透镜。
控制和评估单元38与照明单元22、图像传感器18和距离传感器38连接，并且负责相机10中的控制、评估和其他协调任务。因此，该控制和评估单元读取图像传感器18的图像数据，以便存储图像数据或将其输出到接口40。距离传感器24的高程剖面根据用于各种目的的实施方式使用控制和评估单元38，以便确定或调节相机参数，触发相机功能或评估图像数据，其中还包括用于在相机10或上级的系统中进行实际评估的预处理装置。优选地，控制和评估单元38能够找出图像数据中的代码区域并对其进行解码，从而将相机10变为基于相机的读码器。
相机10由壳体42保护，该壳体在接收光12落入的前部区域中，通过前板44封闭。
图2示出了相机10安装在传送带46上方的可能应用。相机10在此和下面仅作为符号示出，而不是以根据图1阐述的结构来示出。传送带46将对象48如箭头50所示输送通过相机10的检测区域14。对象48可在其外表面上携带代码区域52。相机10的任务在于，检测对象48的特性并且在作为读码器的优选的用途中识别代码区域52，读取安置在那里的代码并进行解码，以及将代码与相关的对象48相关联。为了还检测对象侧面，特别是在侧面安置的代码区域54，优选从不同的视角使用未示出的附加相机10。
现在根据图3至图7阐述使用距离传感器24的高程剖面或多区评估以便为相机10配备一定的固有智能的各种可行方案。分离成各个图只用于概述，各种功能可以按需组合。
一种应用可行方案是调整焦点调节。与具有简单的距离传感器的传统自动聚焦相比，高程剖面能够实现有针对性地聚焦于任意截面或对焦点位置的选择，其中尽可能多的相关对象点位于景深范围内。如果对象位于合适的距离范围内，则同样适用于相机10的触发(启动)。在此，由于高程剖面，可以显然更清晰地确定对象实际上是否令人感兴趣。
图3示出了在横向移动到相机的检测区域14中的对象48上方的相机10。在此，还可以区分图像传感器18的检测区域14和距离传感器24的视场14a。优选地，这两者明显重叠，并且当距离传感器具有比相机10大的视角(Field-of-View)并且由此至少在一侧，更优选地在所有横向方向上，视场14a比检测区域14大且包围该检测区域14时是特别有利的。然后，高程剖面的至少一个外边缘已经可用于使用图像传感器18进行的实际拍摄。
现在，对象48来自某个方向，在本实施例中来自右侧。这通过高程剖面来识别，因为在其视场14a的右边缘处的距离传感器24在对象48进入时测量比先前更短的距离。现在，相机10可以准备，诸如设置焦点位置或触发时刻。
当对象48诸如图2中那样位于传送带46上时，该方向识别是特别有利的。然后，可以区分传送带46是向前还是向后运行，并相应地选择某种模式，例如当带向后运行时，由于对象48再次引入，因此删除最后的测量值。
图4示出了在对象48的倾斜表面上方的照相机10。根据高程剖面可以确定表面相对于参考(诸如，地面或传送带46)的倾斜角α。为此，可以设想三角计算或特定的、相应的倾斜角所特有的高程剖面的预先设定。图4示例性地图示了视场14a的视角β、最短距离d以及边缘处的两个距离d1和d2作为用于α的三角计算的可能变量。例如，倾斜角α可以用于在视角上矫正，即根据图像数据产生对应于垂直方向的图像。
可替代地，确定参考表面，而不是对象48的表面的倾斜角α。换句话说，在此例如测量相机10本身相对于地面或传送带46的取向。这可以用作调节辅助或用于相机10的初始校准。此外，相机10还可以在操作中确定初始的倾斜角α是否被维持。改变被理解为由于碰撞等而引起的相机10的校准的不希望的损失，并且例如发出警告或进行独立的重新校准。在这种情况下，应该通过较长的观察时间段、取平均或其他合适的措施来排除仅由对象48引起的瞬态变化。
这种校准辅助和自我监测不需要基于表面和单个倾斜角α。可替代地，使用具有任何静态物体的高程剖面作为参考。即使这样，相机10也能够识别到持续性变化，并从而识别到不存在的自身的位置和/或定向。
图5示出了在横向移动的对象48上方的相机10，以用于阐述速度确定。为此，多次确定对象的位置，在此例如在四个时刻t1...t4确定。考虑到在两次位置确定之间经过的时间dt和到对象48测量的距离或者假定的距离(诸如，对应于相机10的安装高度)，可以将速度计算为每次的位置变化。在传送带46上的应用中，由于已知运动的方向，因此简化了评估。可替代地，如果需要，可如图2所阐述的那样，在相机10中确定方向。通过获得速度的数值和方向也可以检测到非典型的运动并指出可能的危险情况。
图6示出了在对象48上方的相机10，该对象仅占据检测区域14的相对小的部分。借助于高程剖面，可以检测对象48的位置并从而检测感兴趣的区域56。相机10自身可以使用该信息，以便将图像定尺到感兴趣的区域56或仅在那里搜索代码，从而更有效和更快地工作。另一种可行方案是保留图像数据，但是一并输出关于感兴趣的区域56的信息。然而，定尺的优点在于整体上产生更少的数据。
图7示出了在多个容器58上方的相机10，其中对象48部分地位于其中。根据情况和应用，容器58同时或相继地位于检测区域14中。应用示例是托盘输送器或传送带46，在其上，对象48在箱体中被传送。根据空的容器58的参考剖面或其表征的特征，诸如其间具有较深表面的高边缘区域，相机10识别出相应的容器58是否携带有对象48。然后，相机10例如仅针对被填充的容器58触发拍摄，或者将感兴趣的区域56仅放置在被填充容器周围。省略了空的容器58的不必要的数据检测。
容器58是根据高程剖面识别并且其中对象48将被检测的特定已知环境的示例。通常，相机10可以根据高程剖面识别出是否存在对象48以及对象48位于何处，对象应该不仅仅被理解成背景，以便有针对性地将拍摄限于相关情况。
高程剖面的另一应用可行方案是调节照明单元22。照明强度随距离二次幂地减小。然而，为了保障最佳的对比度以及避免饱和，照明例如可以通过照明单元22的电流、光阑或图像传感器18的曝光时间根据高程剖面得以优化或重新调整。在这种调节范围内也可以设想，激活或去激活不同的照明模块或光源组。通过这种方式，不仅可以涵盖可能强度的更大区间，而且使照明甚至局部地与高程剖面适配。此外，还可以确定外来光的强度和分布，并且还可以使照明与之适配，这特别是在外部应用的情况下进一步改善了图像数据。
有空间分辨率的距离传感器24的应用及其高程剖面用于相机10的更多固有智能的内部利用也可以转移到其他传感器，例如光栅、激光扫描仪以及甚至非光学传感器。

Claims (13)

1.一种相机(10)，具有：图像传感器(18)，其用于检测来自检测区域(14)的图像数据；根据光飞行时间法原理的光电距离传感器(24)；以及控制和评估单元(38)，其与所述图像传感器(18)和所述距离传感器(18)连接，
其中，
所述距离传感器(24)具有多个光接收元件(30a)，以便产生高程剖面，并且所述控制和评估单元(38)被构造用于使用所述高程剖面来确定相机参数和/或评估所述图像数据。
2.根据权利要求1所述的相机(10)，其中，所述控制和评估单元(38)被构造用于在特定的高程剖面时触发所述图像传感器(18)的拍摄。
3.根据权利要求1或2所述的相机(10)，其中，所述控制和评估单元(38)被构造用于根据关于容器(58)的参考剖面的信息和所述高程剖面来决定是空的容器(58)还是具有对象(48)的容器(58)位于检测区域(14)中，并据此决定是否触发图像传感器(18)的拍摄。
4.根据前述权利要求中任一项所述的相机(10)，其中，所述控制和评估单元(38)被构造用于根据所述高程剖面调节所述图像传感器(18)的接收光学器件(16)的焦点位置。
5.根据前述权利要求中任一项所述的相机(10)，其中，所述控制和评估单元(38)被构造用于根据所述高程剖面确定所述检测区域(14)中的表面的倾斜度(α)。
6.根据前述权利要求中任一项所述的相机(10)，其中所述控制和评估单元(38)被构造用于根据所述高程剖面确定和/或监测所述相机(10)自身的视角。
7.根据前述权利要求中任一项所述的相机(10)，其中，所述控制和评估单元(38)被构造用于根据所述高程剖面，特别是在考虑到参考轮廓的情况下，确定感兴趣的区域(56)。
8.根据前述权利要求中任一项所述的相机(10)，其中，所述距离传感器(24)的视场(14a)至少部分地位于所述检测区域(14)之外。
9.根据前述权利要求中任一项所述的相机(10)，所述相机固定地安装在传送设备(46)上方，所述传送设备将待检测的对象(48)在传送方向(50)上引导通过所述检测区域(14)。
10.根据前述权利要求中任一项所述的相机(10)，其中，所述控制和评估单元(38)被构造用于根据所述高程剖面确定所述检测区域(14)中的对象(48)的速度。
11.根据前述权利要求中任一项所述的相机(10)，所述相机具有用于照明所述检测区域(14)的照明单元(22)，其中，所述控制和评估单元(38)被构造用于根据所述高程剖面调节所述照明单元(22)。
12.根据前述权利要求中任一项所述的相机(10)，所述相机具有控制和评估单元(38)，所述控制和评估单元被构造用于在所述图像数据中识别代码区域(52)，并读取所述代码区域的代码内容。
13.一种用于检测来自检测区域(14)的图像数据的方法，其中利用附加的光电距离传感器(24)根据光飞行时间法原理测量距离，
其中，
利用所述距离传感器(24)产生有空间分辨率的高程剖面，并且所述高程剖面用于确定检测所述图像数据的拍摄参数和/或评估所述图像数据。
CN201910171191.0A 2018-03-08 2019-03-07 检测图像数据的相机和方法 Pending CN110243397A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018105301.0 2018-03-08
DE102018105301.0A DE102018105301B4 (de) 2018-03-08 2018-03-08 Kamera und Verfahren zur Erfassung von Bilddaten

Publications (1)

Publication Number Publication Date
CN110243397A true CN110243397A (zh) 2019-09-17

Family

ID=65529288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910171191.0A Pending CN110243397A (zh) 2018-03-08 2019-03-07 检测图像数据的相机和方法

Country Status (5)

Country Link
US (1) US20190281199A1 (zh)
EP (1) EP3537339A3 (zh)
KR (1) KR20190106765A (zh)
CN (1) CN110243397A (zh)
DE (1) DE102018105301B4 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699697A (zh) * 2019-10-22 2021-04-23 西克股份公司 读码器和用于读取光学代码的方法
CN112710283A (zh) * 2019-10-25 2021-04-27 西克股份公司 用于检测对象流的相机和用于确定对象高度的方法
CN113473000A (zh) * 2020-03-31 2021-10-01 西克股份公司 相机的更换
CN113518164A (zh) * 2020-04-09 2021-10-19 西克股份公司 用于检测图像数据的相机和方法
CN113518177A (zh) * 2020-04-09 2021-10-19 西克股份公司 运动对象的图像数据的检测
CN113630548A (zh) * 2020-05-07 2021-11-09 西克股份公司 对象检测
CN113671514A (zh) * 2020-05-15 2021-11-19 西克股份公司 运动对象的检测
CN114761145A (zh) * 2019-12-03 2022-07-15 克朗斯股份公司 用于识别在容器物料流中倒下的和/或损坏的容器的方法和装置
US20230019383A1 (en) * 2019-10-31 2023-01-19 United States Postal Service Container management device

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2575165B (en) * 2018-05-13 2022-07-20 Oscar Thomas Wood Billy Object identification system
WO2020131277A1 (en) 2018-12-20 2020-06-25 Snap Inc. Flexible eyewear device with dual cameras for generating stereoscopic images
CN113226668A (zh) * 2019-01-21 2021-08-06 Abb瑞士股份有限公司 用于生产线仿真的方法和装置
DE102019128710B4 (de) 2019-10-24 2023-02-23 Sick Ag Kamera und Verfahren zur Erfassung von Bilddaten aus einem Erfassungsbereich
DE102019130963B3 (de) * 2019-11-15 2020-09-17 Sick Ag Fokusmodul
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
DE102019134701A1 (de) * 2019-12-17 2021-06-17 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung eines Objekts
DE202020102581U1 (de) 2020-05-07 2021-08-10 Sick Ag Erfassung von Objekten
DE202020102757U1 (de) 2020-05-15 2021-08-17 Sick Ag Erfassung von bewegten Objekten
EP4047507B1 (de) 2021-02-18 2022-11-30 Sick Ag Erfassen eines optischen codes
DE102021109078B3 (de) 2021-04-12 2022-11-03 Sick Ag Kameravorrichtung und Verfahren zur Erfassung eines bewegten Stromes von Objekten
DE202021103066U1 (de) 2021-06-07 2022-09-08 Sick Ag Kamera zur Erfassung von durch einen Erfassungsbereich bewegten Objekten
DE102021114556A1 (de) 2021-06-07 2022-12-08 Sick Ag Kamera und Verfahren zur Erfassung von durch einen Erfassungsbereich bewegten Objekten
WO2023107158A2 (en) * 2021-07-29 2023-06-15 Laitram, L.L.C. System for tracking conveyed objects

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020040933A1 (en) * 2000-10-11 2002-04-11 Sick Ag Apparatus and a method for the identifcation of codes
US20090038157A1 (en) * 2003-11-27 2009-02-12 Jochen Kruse Cold forming process for manufacturing ball pivots
CN101900867A (zh) * 2009-05-26 2010-12-01 索尼公司 焦点检测装置、摄像器件和电子照相机
CN102812391A (zh) * 2010-01-12 2012-12-05 株式会社理光 自动对焦控制设备、电子成像设备和数码相机
CN103581555A (zh) * 2012-07-31 2014-02-12 西克股份公司 用于检测物体流的照相机系统和方法
CN104166296A (zh) * 2013-05-17 2014-11-26 西克股份公司 用以生成3d相机照明区的照明装置和方法
CN105027141A (zh) * 2013-01-31 2015-11-04 富士机械制造株式会社 图像处理系统及辅助系统
CN105279467A (zh) * 2014-07-09 2016-01-27 西克股份公司 用于检测对象的图像采集系统
CN105572681A (zh) * 2014-10-31 2016-05-11 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
CN106657794A (zh) * 2017-01-16 2017-05-10 广东容祺智能科技有限公司 一种可自动变焦机载云台系统
CN106713665A (zh) * 2017-02-08 2017-05-24 上海与德信息技术有限公司 一种快速开启相机的方法及装置
CN107743590A (zh) * 2015-06-25 2018-02-27 高通股份有限公司 用于使用飞行时间传感器来执行曝光估计的方法及设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6975361B2 (en) * 2000-02-22 2005-12-13 Minolta Co., Ltd. Imaging system, two-dimensional photographing device and three-dimensional measuring device
ATE457500T1 (de) * 2007-08-10 2010-02-15 Sick Ag Aufnahme entzerrter bilder bewegter objekte mit gleichmässiger auflösung durch zeilensensor
CN102165463B (zh) * 2008-09-24 2014-09-17 Opto电子有限公司 具有图像曝光控制的光学代码检测
JP4473337B1 (ja) * 2009-07-31 2010-06-02 株式会社オプトエレクトロニクス 光学的情報読取装置及び光学的情報読取方法
US11002854B2 (en) * 2013-03-13 2021-05-11 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor
EP3505961A1 (en) * 2017-12-29 2019-07-03 Cognex Corporation Lens assembly with integrated feedback loop and time-of-flight sensor

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020040933A1 (en) * 2000-10-11 2002-04-11 Sick Ag Apparatus and a method for the identifcation of codes
US20090038157A1 (en) * 2003-11-27 2009-02-12 Jochen Kruse Cold forming process for manufacturing ball pivots
CN101900867A (zh) * 2009-05-26 2010-12-01 索尼公司 焦点检测装置、摄像器件和电子照相机
CN102812391A (zh) * 2010-01-12 2012-12-05 株式会社理光 自动对焦控制设备、电子成像设备和数码相机
CN103581555A (zh) * 2012-07-31 2014-02-12 西克股份公司 用于检测物体流的照相机系统和方法
CN105027141A (zh) * 2013-01-31 2015-11-04 富士机械制造株式会社 图像处理系统及辅助系统
CN104166296A (zh) * 2013-05-17 2014-11-26 西克股份公司 用以生成3d相机照明区的照明装置和方法
CN105279467A (zh) * 2014-07-09 2016-01-27 西克股份公司 用于检测对象的图像采集系统
CN105572681A (zh) * 2014-10-31 2016-05-11 洛克威尔自动控制安全公司 飞行时间传感器的绝对距离测量
CN107743590A (zh) * 2015-06-25 2018-02-27 高通股份有限公司 用于使用飞行时间传感器来执行曝光估计的方法及设备
CN106657794A (zh) * 2017-01-16 2017-05-10 广东容祺智能科技有限公司 一种可自动变焦机载云台系统
CN106713665A (zh) * 2017-02-08 2017-05-24 上海与德信息技术有限公司 一种快速开启相机的方法及装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699697A (zh) * 2019-10-22 2021-04-23 西克股份公司 读码器和用于读取光学代码的方法
CN112699697B (zh) * 2019-10-22 2024-03-22 西克股份公司 读码器和用于读取光学代码的方法
CN112710283A (zh) * 2019-10-25 2021-04-27 西克股份公司 用于检测对象流的相机和用于确定对象高度的方法
CN112710283B (zh) * 2019-10-25 2022-12-09 西克股份公司 用于检测对象流的相机和用于确定对象高度的方法
US11821777B2 (en) * 2019-10-31 2023-11-21 United States Postal Service Container management device
US20230019383A1 (en) * 2019-10-31 2023-01-19 United States Postal Service Container management device
CN114761145A (zh) * 2019-12-03 2022-07-15 克朗斯股份公司 用于识别在容器物料流中倒下的和/或损坏的容器的方法和装置
US11528403B2 (en) 2020-03-31 2022-12-13 Sick Ag Networked cameras configured for camera replacement
CN113473000A (zh) * 2020-03-31 2021-10-01 西克股份公司 相机的更换
CN113518164A (zh) * 2020-04-09 2021-10-19 西克股份公司 用于检测图像数据的相机和方法
CN113518177B (zh) * 2020-04-09 2023-04-25 西克股份公司 运动对象的图像数据的检测
CN113518177A (zh) * 2020-04-09 2021-10-19 西克股份公司 运动对象的图像数据的检测
CN113630548B (zh) * 2020-05-07 2023-09-19 西克股份公司 对象检测的相机和方法
CN113630548A (zh) * 2020-05-07 2021-11-09 西克股份公司 对象检测
CN113671514A (zh) * 2020-05-15 2021-11-19 西克股份公司 运动对象的检测

Also Published As

Publication number Publication date
DE102018105301A1 (de) 2019-09-12
EP3537339A3 (de) 2020-01-22
EP3537339A2 (de) 2019-09-11
US20190281199A1 (en) 2019-09-12
KR20190106765A (ko) 2019-09-18
DE102018105301B4 (de) 2021-03-18

Similar Documents

Publication Publication Date Title
CN110243397A (zh) 检测图像数据的相机和方法
CN208805571U (zh) 光学感测设备
CN111830530B (zh) 一种距离测量方法、系统及计算机可读存储介质
US10121039B2 (en) Depth sensor based auto-focus system for an indicia scanner
US8878901B2 (en) Time of flight camera unit and optical surveillance system
CN101405613B (zh) 用于光学测距的装置
US20170353649A1 (en) Time of flight ranging for flash control in image capture devices
US10739445B2 (en) Parallel photon counting
US8482720B2 (en) Method and optical sensor for the detection of objects
CN108431626A (zh) 光检测和测距传感器
CN109839639A (zh) 激光雷达和减少环境光干扰的激光雷达系统及其探测方法
CN111766596A (zh) 一种距离测量方法、系统及计算机可读存储介质
JP7192022B2 (ja) カメラ及び画像データ取得方法
CN112817197B (zh) 聚焦模块
CN111796295A (zh) 一种采集器、采集器的制造方法及距离测量系统
CN107782732B (zh) 自动对焦系统、方法及影像检测仪器
CN213091889U (zh) 一种距离测量系统
US11928874B2 (en) Detection of moving objects
CN111796296A (zh) 一种距离测量方法、系统及计算机可读存储介质
JP7350924B2 (ja) 移動する物体の流れの検出
CN113630548B (zh) 对象检测的相机和方法
CN110476080B (zh) 用于对扫描角进行扫描并且用于分析处理探测器的激光雷达设备和方法
JP6766185B2 (ja) 検出装置、対象物までの距離を検出する方法、プログラム及び記憶媒体
CN115508845A (zh) 用于检测运动通过检测区域的对象的相机和方法
CN118140156A (zh) 飞行时间传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190917