CN103581496B - 用于检测物体流的照相机系统和方法 - Google Patents

用于检测物体流的照相机系统和方法 Download PDF

Info

Publication number
CN103581496B
CN103581496B CN201310313858.9A CN201310313858A CN103581496B CN 103581496 B CN103581496 B CN 103581496B CN 201310313858 A CN201310313858 A CN 201310313858A CN 103581496 B CN103581496 B CN 103581496B
Authority
CN
China
Prior art keywords
image data
image
camera arrangement
detection
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310313858.9A
Other languages
English (en)
Other versions
CN103581496A (zh
Inventor
于尔根·赖兴巴赫
罗兰·吉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sick AG
Original Assignee
Sick AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sick AG filed Critical Sick AG
Publication of CN103581496A publication Critical patent/CN103581496A/zh
Application granted granted Critical
Publication of CN103581496B publication Critical patent/CN103581496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种用于检测物体流的照相机系统和方法,其用于检测相对于照相机系统(10)移动的物体(14)的流,其中照相机系统(10)包括多个检测单元(18a‑b)和估计单元(28),其中所述检测单元(18a‑b)每个都具有用于拍摄来自部分地重叠并覆盖物体(14)的流的整个宽度的拍摄区域(20a‑b)的图像数据的图像传感器,所述估计单元(28)用于将检测单元(18a‑b)的图像数据合并成共同的图像,以及用于识别图像数据中的感兴趣的区域。其中估计单元(28)被构建为,在感兴趣的区域内的所述共同的图像的合并时,仅使用相同的检测单元(18a‑b)的图像数据。

Description

用于检测物体流的照相机系统和方法
技术领域
本发明涉及使用多个检测单元检测物体流的照相机系统和方法。
背景技术
为了实现传送带上的过程的自动化使用传感器,以便检测所传送的物体的物体属性,并依赖于此开始进一步的处理步骤。在物流自动化中,处理通常包含分类。除了如物体的体积和重量的通常信息,在物体上所附的光学编码常常被用作最重要的信息源。
最常见的读码器是条码扫描仪,其用读取激光束在横向于代码的方向上探测条码或条形码。其通常用在超级市场的收款机处、用于自动分组识别、分拣邮件或用在机场的行李处理上,以及用于其它物流应用中。随着数码相机技术的进步,越来越多的条码扫描仪将通过基于相机的读码器取代。基于相机的读码器借助于像素分辨率图像传感器来拍摄物体以及其上存在代码的图像,而不是扫描代码区域,并且图像估计软件从这些图像提取代码信息。基于相机的读码器对不同于一维条形码的其它代码形式而言也是没有问题的,其例如还被形成为二维的,并提供更多的信息的矩阵代码。在一个重要的应用组中,带有代码的物体被传送经过读码器。照相机,经常为照相机列,连续地读取具有相对移动的代码信息。
单个传感器往往不足以拍摄在传送带上关于物体的所有相关信息。因此,在读取系统或读取通道中将多个传感器结合。为提高多条传送带的物体吞吐量而并排放置或使用被扩展的传送带,由此多个传感器以其过于狭窄的视场相互补充,以便覆盖整个宽度。此外,传感器被安装在不同的位置上,以便从所有侧面拍摄代码(全方位读取)。
读取系统将检测到的信息(比如物体的代码内容和图像)提供给更高级别的控制装置。这些图像例如被用于外部文本识别、可视化或手动的后加工(视频编码)。因此,读取系统通常为每个物体给出一个图像。现在多个传感器被彼此并排放置,以覆盖更宽的读取区,由此产生了一些困难。在各个视野的重叠的区域中的物体被多次检测,而其它物体根本不位于单独的视野之内。然而,更高级别的控制装置预期,不依赖于进行检测的传感器的读取宽度和数量,可为每个物体给出正好一个完整的图像,或者物体区域正好被完全地包含在物体流的整体图像中一次。
这些不同的图像处理方法在文献中是已知的,其中来自多个数据源的图像被合并在一起(“图像拼接”)。在通常的、复杂的情况下,只存在图像数据,以及该方法在合并过程中试图通过图像特征的匹配的接缝来重建。而合并的成功和质量在很大程度上依赖于图像数据。可选的是,拍摄条件被精确地控制,因此,照相机还非常精确地相互对齐并校准,从而使得构建的接缝是已知的。这是难以实现并非常不灵活的,并且与在构建上的假设偏离会导致在合并后的图像的质量降低。如果通过合并仅影响感兴趣的区域(比如物体区域、代码区域或文本区域)中的图像质量,被合并的图像可能会变得无法使用。
EP 1645839 B1公开了一种设备,其用于监测传送带上的移动物体,其具有预先安排的测量距离的激光扫描仪(其用于检测传送带上的物体的几何形状)以及行列照相机。根据激光扫描仪的数据,物体区域被认为是感兴趣的区域(ROI,即感兴趣的区域),以及行列照相机的图像数据的估计将限于这些感兴趣的区域。因此不能提供相邻排列的读码器的图像数据的合并。
WO 03/044586 A1公开了一种用于对传送带上的物体的图像进行透视失真校正的方法,所述图像由行列图像传感器所拍摄。因此,图像线的半部分借助图像处理重新调整共同的图像的分辨率的刻度,其中每条图像线以两个半部分来处理。在该文件中,一个单个的行列图像传感器拍摄整个宽度。
发明内容
因此,本发明的目的是,在这种类型的相机系统中改善在对图像数据合并时的图像质量。
这个目的将通过如以下项目1或12所述的使用多个检测单元拍摄物体流的照相机系统和方法来实现。因此,本发明具有的基本思想是,通过合并(拼接)保持特别重要的图像区域无损伤。因此,估计单元确定感兴趣的区域(ROI),并在感兴趣的区域内仅应用来自单个源(即同一检测单元)的图像数据。所以说,确定感兴趣的区域和组合图像数据这两种功能将在估计单元中组合。而这并不排除,应用两个分离的组件,以便在空间上和时间上彼此分离这些功能。例如,感兴趣的区域可能已经由在照相机系统上游的几何形状检测装置呈现给了照相机系统,或在另一方面,可以在紧接着照相机系统以外的下游处实现图像数据的合并。
本申请提供了以下内容:
1.一种照相机系统,其用于检测相对于所述照相机系统移动的物体的流,其中所述照相机系统包括多个检测单元和估计单元,其中所述检测单元每个都具有用于拍摄来自部分地重叠并覆盖所述物体的流的整个宽度的拍摄区域的图像数据的图像传感器,所述估计单元用于将所述检测单元的图像数据合并成共同的图像,以及用于识别所述图像数据中的感兴趣的区域,其中所述估计单元被构建为,在感兴趣的区域内的所述共同的图像的合并时,仅使用相同的检测单元的图像数据。
2.如1所述的照相机系统,其中所述估计单元被构建用于,在两个检测单元的两个检测区域的重叠区域中画一条连线,并在合并共同的图像时,在所述连线的一侧使用一个检测单元的图像数据,以及在所述连线的另一侧使用另一个检测单元的图像数据。
3.如2所述的照相机系统,其中所述估计单元被构建用于,在感兴趣的区域之外画所述连线。
4.如上述中任一项所述的照相机系统,其中至少一个检测单元被构建为基于相机的读码器。
5.如上述中任一项所述的照相机系统,其中所述照相机系统具有至少一个几何形状检测传感器,以提前检测所述物体的流的轮廓。
6.如5所述的照相机系统,其中所述估计单元被构建为,借助于所述轮廓来确定感兴趣的区域。
7.如上述中任一项所述的照相机系统,其中所述估计单元被构建为,将感兴趣的区域合并为一个包络的感兴趣的区域。
8.如上述中任一项所述的照相机系统,其中所述估计单元被构建为,输出图像数据和附加信息,所述图像数据和附加信息允许合并的检查或允许随后的合并。
9.如8所述的照相机系统,其中所述估计单元被构建为,以共同的被结构化数据,特别是XML数据输出图像数据和附加信息。
10.如8或9所述的照相机系统,其中所述估计单元被构建为,输出图像数据,所述图像数据每行都具有分别从属于一行的附加信息。
11.如8至10中任一项所述的照相机系统,其中所述附加信息包括以下信息中的至少一个:代码(16)的内容和位置、感兴趣的区域的位置、物体的几何形状或拍摄参数。
12.一种使用多个检测单元检测物体的流的方法,所述检测单元分别拍摄检测区域内的所述物体的图像数据,其中所述检测区域部分地重叠,并覆盖所述物体的流的整个宽度,其中在所述图像数据中识别感兴趣的区域,以及将所述检测单元的图像数据合并成共同的图像,其中所述估计单元被构建为,在感兴趣的区域内的所述共同的图像的合并时,仅使用相同的检测单元的图像数据。
13.如12所述的方法,其中首先输出各检测单元的图像数据和附加信息,并随后在下游根据附加信息将所述图像数据合并成所述共同的图像。
14.如12或13所述的方法,其中在所述物体已经被检测之后,所述感兴趣的区域在下游的步骤中被确定或被重新定义。
15.如12至14中任一项所述的方法,其中所述检测单元单独跟踪其拍摄参数,以获得最佳的图像质量,以及其中所述图像数据随后被归一化,以方便合并。
优选地,每个行列传感器被用作在检测单元中的图像传感器,其被成行读取的图像数据形成列(aneinanderreihen),以便在物体关于照相机系统相对移动期间连续获得图像。在纵向方向上或移动方向上的合并将由此变得非常容易。通过图像处理实现的横向合并可以各自被限制在单独的图像行上。通过对特别的拍摄位置的了解,将由此显著地简化合并的普遍问题。可选的是,检测单元具有矩阵传感器,或多个检测单元是矩阵传感器或其它行列传感器。
本发明具有的优点是,能够以简单的方式组合一共同的图像。在检测单元的重叠区域中具有仅最小的质量损失。在特别相关的图像区域(即感兴趣的区域)中的图像数据将不会通过合并而被改变。因此,图像质量正好在最重要的区域中保持很高,而无需昂贵的图像调整。
估计单元优选地被构建为,用于在两个检测单元的两个检测区域的重叠区域中画一条连线,并在合并共同的图像时,在连线的一侧使用一个检测单元的图像数据,以及在连线的另一侧使用另一个检测单元的图像数据。此外,不同源的图像数据沿着被描述为连线的接缝或“拼接线”存在清晰的界线,以及在连线的两侧上的共同的图像的图像数据最好各自仅源于对应的一个检测单元。例如连线首先被设在重叠区域的中心,并随后形成突起以考虑感兴趣的区域。
估计单元优选地被构建为,在感兴趣的区域之外画一条连线。该连线还将被设置或移动其位置,使得避开感兴趣的区域。因此,感兴趣的区域内的共同的图像的图像数据仅可靠地来自一个源。因此,当感兴趣的区域的最大宽度与重叠区域的宽度相对应时,总是有可能实现完全避开。否则应该尝试的是,画连线使得通过在感兴趣的区域内的不可避免的接缝来保持小的干扰。因此,例如连线被画成,使得尽可能大部分的感兴趣的区域保持在一侧上,即特别是整个部分位于重叠的区域内。可选的是,也可以尝试使连线和因此的接缝至少在感兴趣的区域内延伸,使得特别关键的图像元素,如代码元素或字符,每个都通过相同的检测单元的图像数据来检测。
至少一个检测单元优选地被构建为基于照相机的读码器。优选地,重叠区域宽于代码。因此,每个检测单元可以单独读取代码,并因此不需要共同的图像。共同的图像很大程度上用于外部识别方法(如文字识别(OCR))的准备,或用于可视化、分组跟踪、故障探测和类似用途。当然可以想象的是,代码首先根据共同的图像来进行解码。因此,能够例如根据检测单元的单个图片检查较早的解码,或者代码内容的分配、物体和其它特征将能够被回溯(nachvollzogen)或决定(vorgenommen)。
照相机系统优选地具有至少一个几何形状检测传感器,以便提前检测物体流的轮廓。该轮廓对应于从照相机系统的视角看去的物体的里程图(Entfernungskarte)。例如,几何形状检测传感器是距离测定激光扫描仪或3D照相机。后者在原则上还能够被形成为具有集成的检测单元。此外,之前不提供几何数据,而是首先随同其它图像数据被同时提供。虽然对于如调焦的目的可能是太晚了,但是在这样的集成的解决方案中,存在用于在合并共同的图像时进行图像处理的所有图像和几何形状数据。
估计单元优选地被构建为,借助于轮廓来确定感兴趣的区域。感兴趣的区域是例如物体或物体的适当包络(例如平行六面体)。代码区域或文本字段不能借助于单纯的几何形状被检测。通过同时对于反射的估计,还可识别以下类型的区域,例如明亮的地址字段。
估计单元优选地构建为,将多个感兴趣的区域合并为一个包络的感兴趣的区域。只要检测单元在重叠区域中的感兴趣的区域的位置上是一致的,则所述感兴趣的区域可以由不同的检测单元所检测,但在相同的感兴趣的区域处可以被相互识别。如果不是这种情况,感兴趣的区域在某种程度上可以通过包络按照或关系“ODER-Verknüpfung”来合并。因此,由于包络的图像区域只提供一个源,即一个检测单元,则共同的图像不具有多意性,并且正好包括每个感兴趣的区域一次。
评估单元优选地被构建为,输出图像数据和附加信息,其允许合并的检查或随后的合并。无需输出具有与合并共同的图像相关的参数的附加信息,优选地在照相机系统中并且实时地实现共同的图像的合并。在第一可选方案中,还可能发生的是,随后除了共同的图像之外还输出各图像和附加信息。下游的处理检查共同的图像是否以所期望的方式由各图像合并而成。在第二可选方案中,只有各图像和附加信息将被输出,在照相机系统内不发生到共同的图像的合并。下游的处理首先(可能在实质上更有效率的系统上并且没有实时性要求)使用附加信息,以合并共同的图像。因此,用于拍摄一张单个图像的、拍摄其它单个图像的和合并共同的图像的这三个时间点相互分离。还可能的是,在组装前的下游的处理中,改变或重新确定感兴趣的区域,在其每个图像数据内,只有一个检测单元用于共同的图像。
估计单元优选地被构建用于,以共同的被结构化的数据(特别是XML数据)输出图像数据和附加信息。因此,下游的处理能够非常容易地访问所有数据。如XML的标准格式用于,进一步简化后加工,而不需要有关于专有数据格式的知识。
估计单元优选地被构建用于,输出图像数据,所述图像数据每行都具有分别从属于一行的附加信息。因此,附加信息具有每个图像行一个拼接矢量的形式的格式。即,如果图像行只需要在物体的移动方向上形成列,则共同的图像的合并的至关重要(anspruchsvolle)的部分被限制在横向方向上。为此所有相关的附加信息成行地存在于拼接矢量中。例如,之后的每行的拼接过程首先读取所属的几何形状参数和拍摄参数,以便事先将被合并的行中的与物体相关的分辨率标准化为整个的默认值(数字变焦)。
附加信息优选为包括以下信息中的至少一个:代码的内容和位置、感兴趣的区域的位置、物体的几何形状或拍摄参数。因此,可以获得的附加信息为:图像数据中的哪些部分区域是重要的,以及这些部分区域是如何被布置和定向的,使得下游的处理在合并时也考虑到这些附加信息,以及可以避免图像质量的劣化。拍摄参数(如聚焦、变焦、曝光时间、照相机位置和定向或角度)是图像数据之外的其他线索,其简化了合并并改善了结果。
该根据本发明的方法可以类似的方式被进一步改进,因此显示了类似的优点。这种有利的特征是示例性的,但并非在项目2-11和13-15中被详尽无遗地描述。
优选地,首先输出各检测单元的图像数据和附加信息,并然后在下游借助于附加信息将图像数据合并为共同的图像。因此,消除了照相机系统的有限估计能力或实时需求所导致的限制。合并也可在一些情况下受到限制(其中实际上是必须的),即例如读取错误、错误安置或关于物体下落的调查的情况下受到限制。
在物体已经被检测之后,感兴趣的区域优选为在下游的步骤中被确定或重新定义。感兴趣的区域通常已经由照相机系统所确定。然后,可以根据本实施方案被忽略,或由照相机系统传送的感兴趣的区域仅作为建议被检测或甚至被直接放弃。因此,要通过重新定义或新定义关于要考虑的感兴趣的区域的位置来自己决定下游的步骤。因此,这意味着从这里的下游仅像以前那样,直接的实时合并被取消,例如已经被完整拍摄的物体。因此,这样的系统可以在下游的步骤期间继续操作,并例如检测其它物体。
检测单元优选地单独跟踪其拍摄参数,以获得最佳的图像质量,其中图像数据随后被归一化,以方便合并。单独跟踪导致更好的单个图像,但对于未知的追踪参数而言使得合并成为共同的图像变得困难。照相机系统因此优选地使用关于追踪参数的知识,以执行归一化,如物体区域中的相同的分辨率的刻度重新调整(数码变焦),亮度归一化或平滑。因此在归一化之后,通过检测单元和追踪参数尽可能地拉平个体差异。原则上,甚至能够以这种方式来补偿被不同地构建的检测单元的应用。然而,检测单元优选为具有彼此相同的结构,以便不给归一化和图像处理设置过分的要求。
附图说明
下面还根据实施方案并参考附图更详细地说明本发明的其它特征和优点。所示附图中示出:
图1是在具有要检测的物体的传送带上的照相机系统的示意性三维顶视图;
图2是照相机系统的非常简化的框图图示;以及
图3是具有要检测的物体的传送带的顶视图,用于说明照相机系统的两个检测单元的视野、重叠区域和连线。
具体实施方式
图1示出了具有要检测的物体14的传送带12上的照相机系统10的示意性三维顶视图,在所述物体14上附有代码16。传送带12是用于产生物体流14的示例,其相对于静止的照相机系统10移动。可选的是,照相机系统10可以被移动,或物体14本身在照相机系统10的静态安装中通过其它手段或通过自身移动来移动。
照相机系统10包括两个基于照相机的读码器18a-b。所述读码器18a-b各自具有多个被设在像素行或像素矩阵上的光接收元件的、未示出的图像传感器,以及物镜。因此,读码器18a-b为照相机,该照相机额外设有用于读取代码信息的解码单元和用于找到和编辑代码区域的相应的预处理装置。还可以想到的是,可检测没有的代码16的物体流14,并且可以相应地放弃解码单元本身或放弃应用该解码单元。读码器18a-b不但可以是独立的照相机而且可以是同一照相机内的检测单元。
对于由单个的读码器18a-b检测来说,传送带12太宽。因此,在传送带12的宽度方向上有多个拍摄区域20a-b重叠。所示出的重叠程度应被理解为单纯示例性的,以及因此可以在其它实施方案中显著地不同。此外,能够使用额外的读码器,因此其拍摄区域可成对地或以较大的组重叠。在重叠区域中,图像数据被提供为冗余的。其将以有待进一部说明的方式来使用,以便合并形成覆盖输送带12的整个宽度的共同的图像。
在图1的示例中,读码器18a-b的检测区域20a-b为平面上的一定角度的部分。在一个时间点上,在传送带12上的物体14的图像行随后被检测,并且在传送带的移动期间,连续的图像行形成列,以便得到整个图像。如果读码器18a-b的图像传感器为不规则的矩阵传感器,则图像可选地由平面部分所合并或由矩阵中选定的行所合并,或被拍摄为快照,并被单独估计。
相对于在读码器18a-b上面的传送带12的移动方向,几何形状检测传感器22例如按照在已知的距离测量激光扫描仪处的形式来设置,该传感器通过其拍摄区域覆盖整个的传送带12。几何形状检测传感器22测量传送带12上的物体14的三维轮廓,使得照相机系统10在读码器18a-b的检测过程之前已经识别出物体14的数量以及其位置和形状或尺寸。约通过三维地施加容差或者以简单的主体(比如平行六面体)包络物体14(框架),可随后简化所述三维轮廓。借助于三维轮廓的几何形状数据,可定义感兴趣的区域,例如物体14或代码16的图像区域。作为对三维轮廓的补充,还可以测量反射特性,以定位如物体14、代码16或其它物体的感兴趣的特征,如文字字段或地址字段。感兴趣的区域能够很容易地通过其角点被存储和通信。
激光扫描仪具有非常大的视角,使得其还可读取宽的传送带12。然而,在其他实施方案中能够并排地设置额外的几何形状传感器,以便通过不同的物体高度减少阴影的影响。
在输送带12上,另外设有编码器26,用于确定推进或速度。可选的是,传送带按已知的移动曲线可靠地移动,或将相应的信息给到更高级别的控制装置的照相机系统。
传送带12的相应推进是必须的,以便通过正确的措施将以逐层方式测量的几何形状合并成三维的轮廓,并将图像行合并成整个图像,并因此在检测期间以及达到输出在检测位置下方被检测到的物体和代码信息期间,尽管传送带12不断运动,但所述传送带12的设置被保持。物体14将因此根据第一检测的推动被追踪(跟踪)。如上所述,其它的、未示出的传感器可从其它角度安装,以便从侧面或从下面检测几何形状或代码。
图2在非常简化的框图中示出了相机系统10。由几何形状检测传感器22所确定的三维轮廓以及读码器18a-b的图像数据被传递到控制和估计单元28。在这里,不同的数据将在共同的坐标系统中被归一化。其中,确定感兴趣的区域,解码代码,并将图像数据合并成共同的图像。根据配置,代码信息和参数以及图像数据在不同处理阶段通过输出端30被输出。控制和估计单元28的功能可能是与所示出的相反,也可能是分离的。例如已经将几何形状检测传感器22固定到感兴趣的区域中,读码器18a-b已经读取了在自身解码单元中的代码信息,以及图像数据的合并首先在外部通过连接到输出端30的更高级别的单元基于所输出的原始数据来实现。其它示例是在从系统或主系统中分布读码器18a-b,其中主系统承担控制和估计单元28的功能。
图3再次以俯视图示出了传送带12,以解释在将读码器18a-b的单个图形合并到整个图形时的动作。拍摄区域20a-b具有重叠区域32,该重叠区域32在图3中由两条虚线32a-b所限定。重叠区域32可以动态地依赖于几何形状检测传感器22的三维轮廓数据以及控制和估计单元28中的读码器18a-b的位置来确定。可选的是,配置重叠区域32。在重叠区域32中延伸连线34(拼接线)。对于共同的图像,在连线34以上使用读码器18a的图像数据,在其以下使用另一个读码器18b的图像数据。
因此,连线34形成在共同的图像中的接缝。现在可取的是,该接缝尽可能保持不可见。对此,能够通过成本高昂的合并算法,对读码器18a-b的拍摄参数的知识中的相应的单个图像的在先逼近或归一化以及共同的图像的后处理来实现。所有的这些也可根据本发明被额外想象。但是,首先应该通过连线34的智能定位来避免使得在共同的图像中的接缝将变得愈发重要。
为此还提出的是,连线34被动态地调整并因此画成直线,从而使得避开感兴趣的区域。在图3的示例中,连线34形成向上的突起部分34a,以避开代码16a-b。在共同的图像中,代码16a-b因此完全由下部读码器18b的图像数据所构成。优选的是,如果拼接算法考虑到在接缝位置的周边区域中的更大邻近区,则连线34甚至比所示出的具有更大的到感兴趣的区域的距离。通过合并,通过考虑感兴趣的区域来确保其特别相关的图像信息不受影响。
物体14b完全位于单独的读码器18b的可视区域中,因此其可以基于几何形状数据被确定,以及连线34可以置于在整个物体14b以外。这将在图3中通过第二突起部分34b被示出。连线34不仅避开了在物体14b上的代码16c,而且避开了整个物体14b,以便更进一步减少相关图像信息的干扰。对于较大的左侧物体14a,当该左侧物体14a还延伸到上部的读码器18a独自的可视区域20a中时,则不可能有连线34这类更大范围的避开,从而使得在此仅考虑代码16a-b。而其与第三个被示出的物体14c无关,因为该物体14c完全仅由读码器14c检测,并因此与通过连线34定位的接缝位置无关。
为了将两个读码器18a-b的图像数据中相互对应的图像部分相互对齐以便合并成共同的图像,能够使用例如通过在共同的坐标系统中的物体14的角点或边缘或代码16所给出的感兴趣的区域。因此,仅感兴趣的区域的那些点可以被用作参考,在这两个图像中都清晰可见。根据这些重叠的参考位置,两个图像被相互重叠地放置,然后并沿着连线34,分别将在上方的图像的图像数据以及在下方的其它图像的图像数据接收到共同的图像中。当然,可以考虑成本更高昂的算法,其中例如像素的相邻关系被用于平滑的过渡。然而,由于感兴趣的区域本身正好避开连线34,则其不受由该类型的拼接方式情况的影响。将干扰排除在外,因为由相应的读码器18a-b接收的原始的图像信息,所以保持了感兴趣的区域中本身的图像质量,并且可以省略成本高昂的图像校正。
两幅单个图像中存在不同的感兴趣的区域,因此由单个感兴趣的区域构成了包络的共同的感兴趣的区域。然后,连线34的位置要考虑包络的感兴趣的区域。
共同的图像的合并,能够与至今所描述的不同,还实现了在下游的处理中与实时性的要求分离。因此,每个读码器18a-b或控制和估计单元28产生了附加信息,其可方便后续的合并。该附加信息可以特别地被写入到例如以XML格式的结构化文件中。除了用于读码器18a-b的单个图像的图像数据,则通过附加信息的访问包括例如代码信息、代码和物体位置、感兴趣的区域的位置、物体的三维轮廓、各图像部分的放大因子、或读码器18a-b的位置和角度(优选为在共同的坐标系统中)。还可以想象的是,来自几何形状检测传感器22的三维轮廓与读码器18a-b的图像数据被融合为灰度结构(Grauwerttextur)。
通过附加信息可以得知连接到输出端30的更高级别的系统的所有相关的数据,以便回溯或自身实现共同的图像的合并以用于进行控制。因此,还可新确定并定位感兴趣的区域和连线34。
特别是共同的图像的图像数据,其可被压缩以便输出,以减少所需要的带宽。因此,可以设想的是,从压缩获得感兴趣的区域,以保持其高图像质量。
在所描述的实施例中,从拼接方法获得感兴趣的区域,以保持其图像信息。在互补的方法中可想象的是,仅将拼接完全地限制在感兴趣的区域中。因此,接缝位于感兴趣的区域内并由此在相关信息内,从而使得不能够排除由于拼接过程所导致的较差的图像质量。由此,成本显著地降低,因为在感兴趣的区域以外根本不需要合并共同的图像。

Claims (15)

1.一种照相机系统(10),其用于检测相对于所述照相机系统(10)移动的物体(14)的流,其中所述照相机系统(10)包括多个检测单元(18a-b)和估计单元(28),其中所述检测单元(18a-b)每个都具有用于拍摄来自部分地重叠并覆盖所述物体(14)的流的整个宽度的拍摄区域(20a-b)的图像数据的图像传感器,所述估计单元(28)用于将所述检测单元(18a-b)的图像数据合并成共同的图像,以及用于识别所述图像数据中的感兴趣的区域,
其特征在于,
所述检测单元(18a-b)各自具有行列传感器和/或矩阵传感器,以便在物体关于照相机系统相对移动期间连续获得图像;以及
所述估计单元(28)被构建为,在感兴趣的区域内的所述共同的图像合并时,仅使用来自同一检测单元(18a-b)的被连续获得的图像的数据,
并且其中所述估计单元(28)被构建用于,在两个检测单元(18a-b)的两个检测区域的重叠区域中画一条连线(34),并在合并共同的图像时,在所述连线(34)的一侧使用一个检测单元(18a)的图像数据,以及在所述连线(34)的另一侧使用另一个检测单元(18b)的图像数据。
2.如权利要求1所述的照相机系统(10),其中所述估计单元(28)被构建用于,在感兴趣的区域之外画所述连线(34)。
3.如权利要求1至2中任一项所述的照相机系统(10),其中至少一个检测单元(18a-b)被构建为基于相机的读码器。
4.如权利要求1至2中任一项所述的照相机系统(10),其中所述照相机系统(10)具有至少一个几何形状检测传感器(22),以提前检测所述物体(14)的流的轮廓。
5.如权利要求4所述的照相机系统(10),其中所述估计单元(28)被构建为,借助于所述轮廓来确定感兴趣的区域。
6.如权利要求1至2中任一项所述的照相机系统(10),其中所述估计单元(28)被构建为,将感兴趣的区域合并为一个包络的感兴趣的区域。
7.如权利要求1至2中任一项所述的照相机系统(10),其中所述估计单元(28)被构建为,输出图像数据和附加信息,所述估计单元(28)的所述图像数据和附加信息允许合并的检查或允许随后的合并。
8.如权利要求7所述的照相机系统(10),其中所述估计单元(28)被构建为,以共同的被结构化数据输出图像数据和附加信息。
9.如权利要求8所述的照相机系统(10),所述共同的被结构化数据为XML数据。
10.如权利要求7所述的照相机系统(10),其中所述估计单元(28)的所述图像数据每行都具有分别从属于一行的附加信息。
11.如权利要求7所述的照相机系统(10),其中所述附加信息包括以下信息中的至少一个:代码(16)的内容和位置、感兴趣的区域的位置、物体的几何形状或拍摄参数。
12.一种使用多个检测单元(18a-b)检测物体(14)的流的方法,所述检测单元(18a-b)分别拍摄检测区域(20a-b)内的所述物体(14)的图像数据,其中所述检测区域(20a-b)部分地重叠,并覆盖所述物体(14)的流的整个宽度,其中在所述图像数据中识别感兴趣的区域,以及将所述检测单元(18a-b)的图像数据合并成共同的图像,
其特征在于,
所述检测单元(18a-b)各自具有行列传感器和/或矩阵传感器,以便在物体关于照相机系统相对移动期间连续获得图像;以及
在感兴趣的区域内的所述共同的图像合并时,仅使用来自同一检测单元(18a-b)的被连续获得的图像的数据,
并且其中,在两个检测单元(18a-b)的两个检测区域的重叠区域中画一条连线(34),并在合并共同的图像时,在所述连线(34)的一侧使用一个检测单元(18a)的图像数据,以及在所述连线(34)的另一侧使用另一个检测单元(18b)的图像数据。
13.如权利要求12所述的方法,其中首先输出各检测单元(18a-b)的图像数据和附加信息,并随后在下游根据附加信息将所述图像数据合并成所述共同的图像。
14.如权利要求12或13所述的方法,其中在所述物体(14)已经被检测之后,所述感兴趣的区域在下游的步骤中被确定或被重新定义。
15.如权利要求12或13所述的方法,其中所述检测单元(18a-b)单独跟踪其拍摄参数,以获得最佳的图像质量,以及其中所述图像数据随后被归一化,以方便合并。
CN201310313858.9A 2012-07-31 2013-07-24 用于检测物体流的照相机系统和方法 Active CN103581496B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP12178686.7A EP2693364B1 (de) 2012-07-31 2012-07-31 Kamerasystem und Verfahren zur Erfassung eines Stromes von Objekten
EP12178686.7 2012-07-31

Publications (2)

Publication Number Publication Date
CN103581496A CN103581496A (zh) 2014-02-12
CN103581496B true CN103581496B (zh) 2018-06-05

Family

ID=46650392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310313858.9A Active CN103581496B (zh) 2012-07-31 2013-07-24 用于检测物体流的照相机系统和方法

Country Status (3)

Country Link
US (1) US20140036069A1 (zh)
EP (1) EP2693364B1 (zh)
CN (1) CN103581496B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2966593A1 (de) * 2014-07-09 2016-01-13 Sick Ag Bilderfassungssystem zum Detektieren eines Objektes
CN104796617B (zh) * 2015-04-30 2018-08-28 北京星河泰视特科技有限公司 用于流水线的视觉检测方法和系统
DE102015107730B4 (de) * 2015-05-18 2020-07-23 Hmgeb Holding B.V. Blisterband-Inspektionsvorrichtung
EP3290178B1 (de) * 2016-08-31 2019-04-03 Weckerle GmbH Verfahren und vorrichtung zum steuern eines abkühlprozesses von giessformen für kosmetische produkte
DE102016122711A1 (de) * 2016-11-24 2018-05-24 Sick Ag Erfassungsvorrichtung und Verfahren zum Erfassen eines Objekts mit mehreren optoelektronischen Sensoren
CN107167478A (zh) * 2017-04-25 2017-09-15 明基材料有限公司 片材面内标记检测方法及装置
EP3425324B2 (de) * 2017-07-04 2022-11-16 Sick Ag Verfahren zur parametrierung eines sensors
EP3454298B1 (de) 2017-09-06 2019-08-07 Sick AG Kameravorrichtung und verfahren zur erfassung eines stromes aus objekten
GB2567454B (en) * 2017-10-12 2020-10-14 Marden Edwards Group Holdings Ltd Enhanced code reading for packaging conveyor system
DE102017128331A1 (de) * 2017-11-29 2019-05-29 Ioss Intelligente Optische Sensoren & Systeme Gmbh Bildaufnehmersystem
CN110874699B (zh) * 2018-08-31 2024-02-09 杭州海康机器人股份有限公司 记录物品的物流信息方法、装置及系统
EP3946840A4 (en) 2019-04-04 2022-12-28 Plus One Robotics, Inc. INDUSTRIAL ROBOTICS SYSTEMS AND METHODS FOR CONTINUOUS AND AUTOMATIC LEARNING
WO2020210769A1 (en) * 2019-04-11 2020-10-15 Plus One Robotics, Inc. Systems and methods for identifying package properties in an automated industrial robotics system
CN110472921A (zh) * 2019-08-22 2019-11-19 一物一码数据(广州)实业有限公司 一种出入库信息采集系统、方法、设备
CN111787489B (zh) * 2020-07-17 2023-02-17 北京百度网讯科技有限公司 实采兴趣点的位置确定方法、装置、设备和可读存储介质
WO2022026963A1 (en) 2020-07-28 2022-02-03 Shell Oil Comapny A system and method for the automatic and continuous high-speed measurement of color and geometry characteristics of particles
US12104537B1 (en) 2023-03-30 2024-10-01 Pratt & Whitney Canada Corp. Engine accessory fire shield

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912076B2 (en) * 2000-03-17 2005-06-28 Accu-Sort Systems, Inc. Coplanar camera scanning system
US7385743B2 (en) 2001-10-16 2008-06-10 Accu-Sort Systems, Inc. Linear imager rescaling method
PL1645839T3 (pl) 2004-10-11 2007-12-31 Sick Ag Urządzenie i sposób kontroli przemieszczanych obiektów
US20070164202A1 (en) * 2005-11-16 2007-07-19 Wurz David A Large depth of field line scan camera
US7533819B2 (en) * 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
EP2003599A1 (de) * 2007-06-14 2008-12-17 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung von Codes
DE502007002821D1 (de) * 2007-08-10 2010-03-25 Sick Ag Aufnahme entzerrter Bilder bewegter Objekte mit gleichmässiger Auflösung durch Zeilensensor
DK2026033T3 (da) * 2007-08-14 2009-09-14 Sick Ag Fremgangsmåde og anordning til dynamisk frembringelse og overförsel af geometridata
US8322621B2 (en) * 2008-12-26 2012-12-04 Datalogic ADC, Inc. Image-based code reader for acquisition of multiple views of an object and methods for employing same
US8269868B2 (en) * 2008-12-26 2012-09-18 Datalogic ADC, Inc. Systems and methods for imaging
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching

Also Published As

Publication number Publication date
EP2693364B1 (de) 2014-12-17
US20140036069A1 (en) 2014-02-06
CN103581496A (zh) 2014-02-12
EP2693364A1 (de) 2014-02-05

Similar Documents

Publication Publication Date Title
CN103581496B (zh) 用于检测物体流的照相机系统和方法
US11087484B2 (en) Camera apparatus and method of detecting a stream of objects
CA2981552C (en) Store shelf imaging system and method
CN110596129B (zh) 一种基于图像采集的片状玻璃边缘瑕疵检测系统
CA2981673C (en) Store shelf imaging system and method
US10176452B2 (en) Store shelf imaging system and method
CN103581555B (zh) 用于检测物体流的照相机系统和方法
US10438036B1 (en) System and method for reading and decoding ID codes on a curved, sloped and/or annular object
CN103443001B (zh) 用于运动中的物体的光学识别的方法
US7139424B2 (en) Stereoscopic image characteristics examination system
US9760804B2 (en) Marker generating and marker detecting system, method and program
US20150310242A1 (en) Camera and method for the detection of a moved flow of objects
CN110399759A (zh) 用于拼接物体的连续图像的系统和方法
JP7062722B2 (ja) 光学コードのモジュールサイズの特定
CN102792124A (zh) 增强的成像方法及装置
KR20110095344A (ko) 성형 시트의 결함 검사 장치
US9349064B2 (en) Machine-readable form configuration and system and method for interpreting at least one user mark
DE102014114506B4 (de) Kamera zur Montage an einer Fördereinrichtung und Verfahren zur Inspektion oder Identifikation
US7346193B2 (en) Method for detecting object traveling direction
EP2798573B1 (en) Method and system for recording images of surfaces of moving objects with reduced distortion
KR101802918B1 (ko) 3차원 영상 획득 장치 및 그 동작방법
So et al. 3DComplete: Efficient completeness inspection using a 2.5 D color scanner
JP2019113477A (ja) 欠陥検査装置、及び欠陥検査方法
Bellavia et al. Underwater archaeological mosaicing
Wang et al. Image mosaicking for oversized documents with a multi-camera rig

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant