CN110233953A - 照相机核心、智能照相机以及用于工业图像处理的方法 - Google Patents
照相机核心、智能照相机以及用于工业图像处理的方法 Download PDFInfo
- Publication number
- CN110233953A CN110233953A CN201910163286.8A CN201910163286A CN110233953A CN 110233953 A CN110233953 A CN 110233953A CN 201910163286 A CN201910163286 A CN 201910163286A CN 110233953 A CN110233953 A CN 110233953A
- Authority
- CN
- China
- Prior art keywords
- camera
- interface
- control unit
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009131 signaling function Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2222—Prompting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种智能照相机的照相机核心,为此设有照相机核心(15),照相机核心(15)设计为硬件计算单元并且在照相机核心(15)中附加地设有照相机控制单元(3)和用于连接实时数据总线(11)的实时数据总线接口(7),其中,照相机控制单元(3)与实时数据总线接口(11)和图像传感器接口(4)连接,并且照相机控制单元(3)通过实时数据总线接口(11)被操控,以用于触发图像拍摄,其中,照相机控制单元(3)控制图像传感器接口(4)。此外,本发明涉及一种智能照相机以及一种用于对图像数据进行工业图像处理的方法。
Description
技术领域
本发明涉及一种用于工业图像处理的智能照相机的照相机核心,包括用于连接用于拍摄图像的图像传感器的图像传感器接口。此外本发明涉及一种包括这样的照相机核心的智能照相机和用于图像数据的工业图像处理的方法,所述图像数据利用智能照相机的图像传感器拍摄。
背景技术
在工业图像处理中使用所谓的智能照相机。所述智能照相机的特点在于,不只拍摄图像,而且还进一步处理图像。进一步处理可以包括拍摄的图像的预处理,例如图像数据的滤波或准备或校正,例如以便补偿像差,和/或评估(可能经预处理的)图像数据,例如用于检测测量值、确定物体的方位/位置/定向等。智能照相机因此在接口上不递交原始图像数据,而是递交以确定的方式处理或加工成输出信号的图像数据。但当然由智能照相机可以也附加地传输原始图像数据。
因为这样的图像处理通常计算耗费和/或经常希望或需要高的拍摄速率,已经已知,在智能照相机中使用硬件计算单元(FPGA(现场可编程门阵列)、ASIC(专用集成电路)、CPLD(复杂可编程逻辑器件) 或类似物)并且使用用于处理图像数据的软件计算单元。为此的示例可以从DE 10 2009 009 533 B4或US 8,794,521 B2得出。在硬件计算单元中进行拍摄的图像数据的预处理。预处理的图像数据然后在软件计算单元中进一步处理成输出参量,所述输出参量由软件计算单元作为智能照相机的输出信号输出。所述输出参量例如用于控制机器或设备,在所述机器或设备中使用工业图像处理。在DE 10 2009 009 533 B4或US 8,794,521 B2中,软件计算单元承担智能照相机的所有组件、尤其是成像仪和硬件计算单元的控制。提供与外界的数据接口的通讯控制器也连接到软件计算单元上并且由其控制。
但在许多使用中要求,将智能照相机结合到实时系统中。这尤其是表示,图像拍摄必须通过智能照相机在预定的实时步骤中同步地、确定性地并且以尽可能小的抖动、典型地少于1μs进行。如果在实时系统中的智能照相机不维持这些实时要求,则其触发故障报告并且可能使智能照相机在其中结合的整个设备停止运转。同步性也是用于在多个实时组件之间的数据交换的前提,如其例如在高动态的机器或设备中例如在存储器可编程控制器(SPS)、机器或设备的驱动组件和智能照相机之间可以是需要的。
用于多个实时组件之间的数据交换的基本条件一方面是有实时能力的数据总线(现场总线)或时间敏感网络(TSN),通过其交换数据,并且其例如通过在IEEE1588中指定的精确时间协议(PTP)或通过通讯协议能够实现同步。附加地,多个实时组件的完全的集成能够实现统一的数据库,利用该数据库,每个单独的实时组件可以同步控制并且影响另一个实时组件的数据和事件。
软件计算单元通常由连接的组件中断地控制。这表示,连接到软件计算单元上的组件在中断线路上显示中断,所述中断在软件计算单元中触发确定的程序块的实施方式。基于存在的中断等待时间、但也基于软件计算单元中的软件的实施的需要的优先,利用按照DE 10 2009 009 533 B4的智能照相机可能难以满足困难的实时要求,例如因为在那里所述的通讯控制器直接与软件计算单元连接或因为图像的拍摄由软件计算单元触发。
在公开文献DE 10 2016 121088 A1中,图像拍摄的触发利用拍摄调节器,基于物体的在网络中由运动调节器通讯的运动数据进行控制。为此在拍摄调节器中设有在软件计算单元中的虚拟轴线应用,利用其仿真物体的运动,以用于图像触发。图像拍摄的触发因此通过拍摄调节器进行,所述拍摄调节器通过网络与运动调节器通讯。为此通过虚拟轴线应用也需要附加的计算资源。对本领域技术人员显明,在此即使利用确定性网络、如例如在DE10 2016 121088 A1中的POWERLINK 和/或利用通过IEEE1588标准的调节器的同步时钟,困难的实时要求由于通讯基于调节器级联所出现的等待时间只可困难地维持。此外还出现需要的附加的计算资源,其同样对实时能力产生影响。
在智能照相机的这些已知的硬件设计中,硬件构造也无法简单地改变,因为软件计算单元对于智能照相机是中心的并且所述软件计算单元通过处于其间的硬件计算单元控制图像传感器的图像触发。因此智能照相机的组件必须彼此协调并且与应用协调并且因此无法简单地替换。按照现有技术的智能照相机的配置借此固定地预定。
发明内容
本发明的任务是,给出一种有实时能力的、按照硬件灵活可配置的智能照相机和一种利用该智能照相机实施的工业图像处理方法。
该任务按照本发明如下解决,照相机核心实施为硬件计算单元并且在照相机核心中附加地设置用于连接实时数据总线的实时数据总线接口和照相机控制单元,其中,照相机控制单元与实时数据总线接口和图像传感器接口连接,并且照相机控制单元通过实时数据总线接口操控以用于触发图像拍摄,其中,照相机控制单元控制图像传感器接口。按照本发明的方法的特征在于,图像传感器通过智能照相机的照相机核心的图像传感器接口与照相机核心的照相机控制单元连接并且照相机控制单元与照相机核心的实时数据总线接口连接,其中,当通过连接到实时数据总线接口上的实时数据总线接收同步数据包时,照相机控制单元控制通过图像传感器的图像拍摄的触发。
该实施方式能够实现利用图像传感器对图像拍摄的实时的触发,因为图像传感器接口通过照相机控制单元紧密地与实时数据总线接口和在其上连接的实时数据总线连接。附加地,照相机核心可以灵活地与不同的图像传感器连接,以便将智能照相机与要求适配。
有利地,在硬件计算单元中设有用于连接软件计算单元的数据接口,其中,数据接口与照相机控制单元连接并且照相机控制单元控制数据接口。通过数据接口,可以连接不同的软件计算单元,由此照相机核心可以灵活地扩展并且缩放,以便使智能照相机灵活地与要求适配。
在一种有利的设计中,在硬件计算单元中设有用于连接不具有实时能力的数据总线的数据总线接口,其中,数据总线接口与照相机控制单元连接并且照相机控制单元控制数据总线接口。通过不具有实时能力的数据总线接口,拍摄的图像数据的处理的结果可以例如以输出信号的形式发送,亦或发送图像数据本身。此外数据总线接口也可以用于配置照相机核心或其组件,或用于将程序加载到可能连接的软件计算单元中,而不用对实时数据总线加载。
有利地,在硬件计算单元中设有用于连接照明单元的照明接口,所述照明单元由照相机控制单元控制。这能够实现照明与图像拍摄的实时的触发的同步。
当在硬件计算单元中设有由照相机控制单元控制的I/O接口时,则智能照相机的外部的组件可以简单地同步。
为了在照相机核心中能够实现读入的图像数据的快速的预处理,可以在硬件计算单元中设有用于处理图像数据的图像处理单元和/或照相机控制单元本身设置用于处理图像数据。
当照相机控制单元通过连接到实时数据总线接口上的实时数据总线接收同步数据包,或当照相机控制单元通过连接到I/O接口上的触发器输入端接收触发器信号时,优选触发智能照相机的图像拍摄和/ 或激活照明单元。
为了扩展图像数据的处理的可行性方案,可以在数据接口上连接软件计算单元,所述软件计算单元获得并且处理照相机核心的图像数据。
附图说明
接着参考图1至4进一步解释本发明,所述图示出本发明的示例性地、示意性并且非限制地有利的设计。在此示出:
图1为具有照相机核心的按照本发明的智能照相机;
图2为具有照相机核心的按照本发明的智能照相机的另一种设计以及
图3和4为智能照相机在具有工业图像处理的控制复合系统中的结合。
具体实施方式
利用图1说明按照本发明的智能照相机1的重要的组件。设计为硬件计算单元2的按照本发明的照相机核心15处于智能照相机1的中心。硬件计算单元2例如是FPGA、ASIC或CPLD模块、亦即集成的电子电路,其中按照硬件实现需要的功能。“按照硬件实现”在此表示,需要的功能通过数字电路实现。硬件计算单元2在示出的实施例中具有图像传感器接口4、实时数据总线接口7、数据接口9和照相机控制单元3。
用于图像的数字的拍摄的图像传感器5可以通过图像传感器线路 6连接到图像传感器接口4上。图像传感器线路6可以具有用于配置图像传感器5和触发图像拍摄的图像传感器数据线路和图像传感器控制线路。通过图像传感器线路6,图像数据从图像传感器5传输给照相机核心15的图像传感器接口4。在图像传感器线路6中的附加的配置线路可以根据需要调节或设定其他对于成像重要的和可能存在的组件、例如对焦(也作为自动对焦)和图像传感器5的光学系统的光圈的调节。为了传输图像数据当然优选设置足够快速的图像传感器线路 6、例如宽带的数据接口。
有实时能力的数据总线11可以连接到实时数据总线接口7上。借此照相机核心15或智能照相机1可以结合到实时系统中。例如智能照相机1可以借此连接到外部的控制单元8上,所述控制单元将智能照相机1集成到机器或设备的实时控制中。存在大量在此可以使用的有实时能力的数据总线、尤其是基于以太网的现场总线、例如 POWERLINK、EtherNet/IP、Profinet、SERCOS III等。同样实时数据总线接口7可以对于不同的已知的通讯协议、例如CANopen、OPC UA、 openSAFETY等实施。对于工业应用,经常将保证小于1ms的总线周期的数据总线称为有实时能力的数据总线,其中,在每个总线周期中数据可以按照实施的通讯协议传输。例如利用POWERLINK可以在小于1 μs的跳动时保证在100μs的范围中的总线周期。
软件计算单元10可以通过数据总线12连接到数据接口9上。但不是必须在智能照相机1中强制设置软件计算单元10。软件计算单元 10例如是微处理器、DSP(数字信号处理器)、计算机或类似物。软件计算单元10的突出之处在于,其通过程序设计获得其功能性,所述程序设计例如加载到软件计算单元10中。需要的程序在软件计算单元 10上实施。对数据接口9的要求在此与智能照相机1的实时适应性分离,因为实时关键的图像拍摄不是必须通过该数据接口9触发。数据接口9的带宽仅对于智能照相机1的整体性能是决定性的(如果图像数据在软件计算单元10上处理的话),因此可以使用LVDS(低压差分信号)接口、例如不同的代(当前PCIeV4.0)的PCIe(高速外围组件互连)总线或MIPI(移动工业处理器接口联盟)相机串行接口或任何其他合适的高性能的数据接口作为数据接口9。
附加地,在照相机核心15中实施照相机控制单元3,所述照相机控制单元控制图像传感器接口4、实时数据总线接口7和数据接口9。控制在此表示,照相机控制单元3触发利用图像传感器5对图像的拍摄和通过图像传感器接口4对图像数据的读入,通过实时数据总线11 和实时数据总线接口7控制实时数据通讯并且必要时也通过数据接口 12利用软件计算单元10控制数据通讯。基于照相机核心15作为硬件计算单元2的实施方式,具有实时要求的各个组件、尤其是图像传感器接口4和实时数据总线接口7可以并行并且基本上彼此独立地实施其功能。不是必须一定要满足实时要求的其他组件、如数据接口9也可以并行实施。借此不会出现时间上的延迟、例如等待时间的中断、软件的优先等。这些时序要求严格的功能因此直接通过硬件计算单元 2本身控制并且可以借此非常快速地实施,这使得照相机核心15原则上有实时能力,特别是也因为所有对于同步图像触发需要的组件通过实时数据总线接口7也可以与其他的实时组件连接。借此尤其是通过图像传感器5对图像拍摄的触发结合到实时系统中并且可以实时进行。
在照相机控制单元3中也可以进行由图像传感器5读入的图像数据的预处理,然后图像数据被存储或在智能照相机1中输送给例如在软件计算单元10中的进一步处理。在简单的应用中,可以在照相机控制单元3中也进行读入的图像数据的完整的处理,借此在某些情况下也可以放弃用于进一步处理的软件计算单元10。在照相机核心15的简单的实施中可以因此也放弃数据接口9。
附加地,可以在照相机核心15中也实施数据总线接口17,以便将照相机核心15或智能照相机1与不具有实时能力的数据总线14连接,如在图1虚线示出的。数据总线接口17也优选由照相机控制单元 3控制。数据总线14可以例如是以太网总线,以TCP/IP作为通讯协议。借此照相机核心15或智能照相机1也可以与其他的组件18、例如机器或设备连接,所述组件不必须满足实时要求。当然也可能设置控制单元8或其他网络组件,包括用于不具有实时能力的数据总线14 的接口和用于有实时能力的数据总线11的接口,所述接口然后不仅与数据总线接口17而且与实时数据总线接口7可连接(例如在图3中示出的)。例如可以通过不具有实时能力的数据总线14也输出在智能照相机1中的图像处理的结果。
但智能照相机1的基本的结构此外具有优点,即,在照相机核心 15上通过其接口(图像传感器接口4、实时数据总线接口7、必要时数据接口9并且必要时还有数据总线接口17)可以连接不同的组件,这能够实现智能照相机1的特别灵活的配置。例如图像传感器5可以与照相机核心15共同设置在照相机壳体16中,如在图1中。但同样外部的图像传感器5也可通过图像传感器接口4连接到照相机壳体16 中的照相机核心15上。借此可以利用相同的照相机核心15使用不同的图像传感器5或具有不同的光学系统的图像传感器5。以相同的方式,软件计算单元10可以设置在照相机壳体16中,如在图1中虚线表示的。但通过数据接口12也可以将外部的软件计算单元10连接到照相机核心15上。以这种方式可以例如使用更高性能的处理器,或照相机核心15也可以连接到作为软件计算单元10的(工业)PC上。除了用于实时数据总线11的可行性之外,也存在用于有实时能力的智能照相机1的配置的一系列可行性方案。
在使用(工业)PC或高性能的DSP作为软件计算单元10时,多个照相机核心15也可能连接到唯一的软件计算单元10上。
通过有实时能力的照相机核心15和没有实时要求的软件计算单元2的分离,能够开发模块化的照相机系统,其在其实时能力方面关于图像触发没有区别(无论软件计算单元2的性能如何)。这能够实现智能照相机1的特别灵活的配置。
此外可以在照相机核心15中也还将智能照相机1的其他的功能按照硬件实施、亦即实施为数字电路,如借助图2解释的那样。接着所述附加功能性可以当然独立于其他的附加功能性并且以任意的组合实现。在照相机核心15中的按照硬件的执行的优点再次是,附加功能可以并行实施。
通过照明接口23,例如可以通过合适的照明连接25将外部的照明单元24连接到实时能力的照相机核心15上。这能够实现,通过照相机控制单元3控制照明单元24,例如以与图像拍摄同步的闪光灯的形式。
备选地,照明单元24本身可以是实时组件,所述实时组件可以直接与实时数据总线11连接并且其例如由在实时数据总线11上的控制单元8控制。
通过一般的I/O接口22,可以连接或同步任意的其他的外部的仪器或功能。例如可通过I/O接口22实现外部的触发器输入端同步,以便将智能照相机1与外部的功能同步,所述功能例如不通过实时数据总线接口7实现。同样可通过I/O接口22也从智能照相机1同步外部的组件。但因为不通过实时数据总线接口7集成的外部的组件通常承受不可完全纠正的跳动,总系统的性能在此可能比在完全通过实时数据总线接口7集成的方案(该方案借此较有利)要低。
在照相机核心15中也可以设置图像处理单元20,在所述图像处理单元中可以进行图像传感器5的图像数据的确定的(预)处理。图像处理单元20当然也可能在照相机控制单元3或图像传感器接口4 中实现。(预)处理的图像数据可以由图像处理单元20通过照相机控制单元3和数据接口9、亦或直接通过数据接口9、如虚线地在图2 中表示的传输给软件计算单元10。在软件计算单元10中可以进一步处理图像数据或(预)处理的图像数据。在软件计算单元10的图像数据的进一步处理之后,所述图像数据也可以再次往回传输到照相机核心15中,例如以便在那里存储或通过数据总线接口17输出。
在照相机核心15中也可以实现存储单元21,以便将图像传感器5 的图像数据、(预)处理的图像数据和/或在软件计算单元10中进一步处理的图像数据存储,例如以便然后通过实时数据总线接口7输出。存储单元21也可作为存储模块、例如SD-RAM或DDR3连接到照相机核心15上。为此可以在照相机核心15中实施存储器控制单元,存储模块连接到所述存储器控制单元上。存储器控制单元然后与照相机控制单元3连接并且由其控制。当然同样软件计算单元10也可以以已知的方式具有存储单元。
在智能照相机1中以图像传感器5拍摄的图像数据的处理的结果以输出信号的形式可以同样通过实时数据总线接口7发送到其他与智能照相机1通过实时数据总线11连接的组件、例如调节或控制复合组件上。但备选地,所述结果也可通过数据总线接口17发送,例如以便不对实时能力的数据总线11的带宽进行加载。但也可设想,软件计算单元10具有单独的数据总线接口,例如通过连接的不具有实时能力的数据总线14,通过所述单独的数据总线接口发送在软件计算单元10 中确定的结果。处理的结果通常不实时提供,因此不将其通过实时数据总线11发送是没有问题的。但如果所述结果可以由照相机核心15 以预定的实时步骤、亦即实时提供,则所述结果也可以实时地通过实时数据总线11发送。借此不仅能实现实时地触发图像拍摄,而且能实现实时地提供读入的图像数据的处理的结果。例如所述结果可以是拍摄的物体的定向的信息、物体的类型、有缺陷的工件的标记等。在此当然对图像数据的处理可能性没有设定界限。可以通过实时数据总线 11或也通过不具有实时能力的数据总线14传输图像数据,但这通常不需要或不希望的。
在触发图像拍摄之后的图像引入(读入图像传感器5的图像数据) 的准确的进行、可能设置的曝光的持续时间、HDR(高动态范围)或多重拍摄等是智能照相机1的配置的组成部分,所述配置通常在使用智能照相机1之前实施。为此例如可以设置在存储单元21中的配置参数或对软件计算单元10进行编程。为此可以例如使用数据总线接口17。所述配置也可以在构建硬件计算单元2、例如图像处理单元20的数字电路时进行。智能照相机1其他的设置的图像处理然后时间同步地由照相机核心15完成。
照相机核心15确保图像拍摄的实时能力、亦即图像拍摄和必要时照明的触发。所有其他、如图像传感器5的图像的读取、读取的图像数据的预处理(例如在图像处理单元20中)和/或进一步处理(例如在软件计算单元10中)基于图像数据的数据量和经常复杂的处理通常不具有实时能力(亦即可在实时周期中执行)。读取的图像数据的处理的结果在许多使用中只需尽可能或足够迅速地在照相机核心15中可获得,这通过周围性能、软件计算单元10、数据接口9、图像处理单元20等确定。当但读取的图像数据的处理在智能照相机1中、例如在软件计算单元10、图像处理单元20和/或照相机控制单元3中在足够短的时间段中(在确定的实时周期内)结束的话,则也确保通过智能照相机1输出输出信号的实时能力。按照本发明的有实时能力的照相机核心15因此也能够实现,将智能照相机1以简单的方式按照要求和应用来适配,例如通过连接不同的软件计算单元10或通过配置图像处理单元20来适配。
按照本发明的智能照相机1可在工业图像处理(机器视觉应用) 的应用中使用,如借助图3示例性解释的。机器或设备13(或其确定的功能、例如驱动轴)由控制单元8(例如驱动轴的伺服放大器)实时控制。为此,机器或设备13和控制单元8通过实时数据总线11、例如POWERLINK相互连接。控制单元8用于通过智能照相机1的控制获得来自机器或设备13的反馈。例如机器13可能是印刷机并且利用智能照相机1评估打印的打印标记,这在控制单元8中使用,以便调节在印刷机中的印刷机构。智能照相机1通过实时数据总线11与控制单元8连接。控制单元8可以通过实时数据总线11实时控制通过智能照相机1的图像拍摄。在此当然也可以使用多个智能照相机1,如在图3中表示的,其中,另一个智能照相机1的图像拍摄也可以由另一个智能照相机1触发(示例性地再次借助通过实时数据总线11发送的同步数据包)。照相机核心15中的照相机控制单元3基于与智能照相机1通过实时数据总线11连接的外部的组件、例如控制单元8亦或另一个实时能力的智能照相机的通过实时数据总线接口7接收的同步数据包,通过图像传感器接口4触发通过图像传感器5的图像拍摄。图像拍摄的触发也可以从外部(例如通过触发器输入端同步)进行,但以此不再可能可靠地保证实时性。优选,图像拍摄因此通过实时数据总线11、例如通过经由实时数据总线11接收的实时数据通讯来触发。随着图像拍摄的触发,由照相机核心15读入和处理图像数据。
但也可以将照相机核心15单独在实时数据总线11上使用,亦即没有图像传感器5,以便将通过实时数据总线11与照相机核心15连接的(一个亦或多个)智能照相机1实时触发,如在图4中示出的那样。在此照相机核心15例如从控制单元8获得用于图像拍摄的指令并且照相机核心15将该指令通过因此用作外部图像传感器的、连接的智能照相机1实现。
由图像传感器5读入的图像数据可以(例如通过照相机控制单元 3或直接由图像传感器接口4)转移给图像处理单元20以用于预处理,或缓存在存储单元21中。图像数据可以也直接在图像引入时并行地并且没有附加的延迟地在照相机控制单元3中处理和/或在图像处理单元20中处理。这例如可以是根据存储的校准数据对图像数据的校正,以便补偿光学的系统的像差。但读入的图像数据也可被滤波,在对比度上进行改变,对确定的物体的方位/定向/位置进行确定,标识确定的物体或物体的特征,对被拍摄的物体的进行测量等。在此当然可设想最多样化的可能性,以便处理读入的图像数据。读入的和/或处理的图像数据也可以在存储单元21中存储。该预处理的结果不再必须是图像数据,而是可以作为结果是希望的输出信号或两者的组合。预处理的或读入的图像数据可以然后由照相机控制单元3转移给软件计算单元10,以便必要时实施图像数据的需要的进一步处理。该进一步处理因此由硬件计算单元2触发。该进一步处理的结果不再必须是图像数据,而是可以作为结果是希望的输出信号或两者的组合。输出信号和/ 或处理的图像数据由软件计算单元10往回发送给照相机控制单元3 和/或存储单元21。照相机控制单元3在所实施的图像处理结束时发送输出信号和/或处理的图像数据。输出信号或图像数据可以在此通过数据总线接口17和不具有实时能力的数据总线14或通过实时数据总线接口7和实时数据总线11输出。输出信号例如可以发送给外部的控制单元8,所述控制单元根据输出信号可以控制机器或设备13的功能。不言而喻,当对于应用是需要的时,也可通过不具有实时能力的数据总线14或实时数据总线11发送图像数据或处理的图像数据。
Claims (17)
1.一种用于工业图像处理的智能照相机(1)的照相机核心,包括图像传感器接口(4),该图像传感器接口用于连接用于拍摄图像的图像传感器(5),其特征在于,照相机核心(15)设计为硬件计算单元并且在照相机核心(15)中附加地设有照相机控制单元(3)和用于连接实时数据总线(11)的实时数据总线接口(7),其中,照相机控制单元(3)与实时数据总线接口(11)和图像传感器接口(4)连接,并且照相机控制单元(3)通过实时数据总线接口(11)被操控,以用于触发图像拍摄,其中,照相机控制单元(3)控制图像传感器接口(4)。
2.按照权利要求1所述的照相机核心,其特征在于,在硬件计算单元中设有用于连接软件计算单元(10)的数据接口(9),其中,数据接口(9)与照相机控制单元(3)连接并且照相机控制单元(3)控制数据接口(9)。
3.按照权利要求1所述的照相机核心,其特征在于,在硬件计算单元中设有用于连接不具有实时能力的数据总线(14)的数据总线接口(17),其中,所述数据总线接口(17)与照相机控制单元(3)连接并且照相机控制单元(3)控制数据总线接口(17)。
4.按照权利要求1所述的照相机核心,其特征在于,在硬件计算单元中设有用于连接照明单元(24)的照明接口(23)并且照相机控制单元(3)控制照明接口(23)。
5.按照权利要求1所述的照相机核心,其特征在于,在硬件计算单元中设有I/O接口(22)并且照相机控制单元(3)控制I/O接口(22)。
6.按照权利要求1所述的照相机核心,其特征在于,在硬件计算单元中设有用于处理图像数据的图像处理单元(20)并且照相机控制单元(3)控制图像处理单元(20)。
7.按照权利要求1或6所述的照相机核心,其特征在于,所述照相机控制单元(3)设置用于处理图像数据。
8.一种智能照相机,包括按照权利要求1至7之一所述的照相机核心(15),其特征在于,在图像传感器接口(4)上连接有图像传感器(5),并且当照相机控制单元(3)通过连接到实时数据总线接口(7)上的实时数据总线(11)接收到同步数据包时,照相机控制单元(3)操控图像传感器接口(4),以用于触发通过图像传感器(5)的图像拍摄。
9.按照权利要求8所述的智能照相机,其特征在于,在照明接口(23)上连接有照明单元(24)。
10.按照权利要求8或9所述的智能照相机,其特征在于,当照相机控制单元(3)通过连接到I/O接口(22)上的触发器输入端接收到触发器信号时,照相机控制单元(3)触发图像拍摄和/或激活照明单元(24)。
11.按照权利要求8至10之一所述的智能照相机,其特征在于,在数据接口(9)上连接有软件计算单元(10),所述软件计算单元从照相机核心(15)获得图像数据并且处理所述图像数据。
12.一种用于对图像数据进行工业图像处理的方法,所述图像数据利用智能照相机(1)的图像传感器(5)拍摄,其特征在于,图像传感器(5)通过智能照相机(1)的照相机核心(15)的图像传感器接口(4)与照相机核心(15)的照相机控制单元(3)连接并且照相机控制单元(3)与照相机核心(15)的实时数据总线接口(7)连接,其中,当通过连接到实时数据总线接口(7)上的实时数据总线(11)接收到同步数据包时,照相机控制单元(3)控制通过图像传感器(5)的图像拍摄的触发。
13.按照权利要求12所述的方法,其特征在于,在照相机控制单元(3)中处理图像数据。
14.按照权利要求12或13所述的方法,其特征在于,在照相机核心(15)的与照相机控制单元(3)连接的图像处理单元(20)中处理图像数据。
15.按照权利要求12至14之一所述的方法,其特征在于,在照相机核心(15)的数据接口(9)上连接软件计算单元(10),并且将图像数据从照相机核心(15)发送给软件计算单元(10)并且在软件计算单元(10)中处理所述图像数据。
16.按照权利要求13至15之一所述的方法,其特征在于,通过所述处理产生输出信号,所述输出信号通过实时数据总线接口(7)或通过在照相机核心(15)中的数据总线接口(17)输出。
17.按照权利要求16所述的方法,其特征在于,由照相机控制单元(3)控制所述输出信号的输出。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18160253.3 | 2018-03-06 | ||
EP18160253.3A EP3537707B1 (de) | 2018-03-06 | 2018-03-06 | Kamerakern einer smart kamera für die industrielle bildverarbeitung und verfahren zur industriellen bildverarbeitung |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110233953A true CN110233953A (zh) | 2019-09-13 |
Family
ID=61581009
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910163286.8A Pending CN110233953A (zh) | 2018-03-06 | 2019-03-05 | 照相机核心、智能照相机以及用于工业图像处理的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10937145B2 (zh) |
EP (1) | EP3537707B1 (zh) |
JP (1) | JP2019161644A (zh) |
KR (1) | KR20190106745A (zh) |
CN (1) | CN110233953A (zh) |
CA (1) | CA3035778A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102022120823A1 (de) | 2022-08-17 | 2024-02-22 | Krones Aktiengesellschaft | Vorrichtung und Verfahren zum Inspizieren von Behältnissen |
CN118354195B (zh) * | 2024-06-17 | 2024-08-20 | 合肥安迅精密技术有限公司 | 贴片机基准标记相机收图控制方法、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201947366U (zh) * | 2010-08-18 | 2011-08-24 | 深圳市蓝盾科技有限公司 | 一种工业数字摄像机 |
CN103780819A (zh) * | 2014-02-26 | 2014-05-07 | 深圳华用科技有限公司 | 一种智能工业相机 |
CN105241883A (zh) * | 2015-09-25 | 2016-01-13 | 华南理工大学 | 一种印刷机图案在线检测和色彩分割的方法 |
US20160234404A1 (en) * | 2013-11-11 | 2016-08-11 | Toshiba Teli Corporation | Synchronous camera |
US20170236269A1 (en) * | 2014-06-09 | 2017-08-17 | Keyence Corporation | Inspection Apparatus, Inspection Method, And Program |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7327396B2 (en) * | 2002-04-10 | 2008-02-05 | National Instruments Corporation | Smart camera with a plurality of slots for modular expansion capability through a variety of function modules connected to the smart camera |
US8121392B2 (en) * | 2004-10-25 | 2012-02-21 | Parata Systems, Llc | Embedded imaging and control system |
JP4446194B2 (ja) * | 2005-11-29 | 2010-04-07 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
US7760238B2 (en) * | 2007-07-25 | 2010-07-20 | National Instruments Corporation | Vision system with deterministic low-latency communication |
JP5317641B2 (ja) * | 2008-11-17 | 2013-10-16 | キヤノン株式会社 | 画像処理方法及び画像処理装置ならびに該画像処理方法を実行するためのプログラム |
DE102009009533B4 (de) | 2009-02-18 | 2016-09-15 | Leuze Electronic Gmbh & Co. Kg | Bildverarbeitender Sensor |
US9304730B2 (en) * | 2012-08-23 | 2016-04-05 | Microsoft Technology Licensing, Llc | Direct communication between GPU and FPGA components |
US8794521B2 (en) | 2012-10-04 | 2014-08-05 | Cognex Corporation | Systems and methods for operating symbology reader with multi-core processor |
DE202015009702U1 (de) | 2015-04-20 | 2019-05-02 | Krones Ag | Behälterinspektionsvorrichtung zur Inspektion von Behältern |
DE102016121088B4 (de) | 2015-11-06 | 2023-12-14 | Cognex Corporation | Systeme und Verfahren mit prädiktiver Bewegungsregelung |
US10007292B2 (en) * | 2016-01-11 | 2018-06-26 | Qualcomm Incorporated | Energy aware dynamic adjustment algorithm |
-
2018
- 2018-03-06 EP EP18160253.3A patent/EP3537707B1/de active Active
-
2019
- 2019-02-26 JP JP2019032296A patent/JP2019161644A/ja active Pending
- 2019-03-05 CN CN201910163286.8A patent/CN110233953A/zh active Pending
- 2019-03-05 US US16/292,842 patent/US10937145B2/en active Active
- 2019-03-06 CA CA3035778A patent/CA3035778A1/en active Pending
- 2019-03-06 KR KR1020190025520A patent/KR20190106745A/ko unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201947366U (zh) * | 2010-08-18 | 2011-08-24 | 深圳市蓝盾科技有限公司 | 一种工业数字摄像机 |
US20160234404A1 (en) * | 2013-11-11 | 2016-08-11 | Toshiba Teli Corporation | Synchronous camera |
CN103780819A (zh) * | 2014-02-26 | 2014-05-07 | 深圳华用科技有限公司 | 一种智能工业相机 |
US20170236269A1 (en) * | 2014-06-09 | 2017-08-17 | Keyence Corporation | Inspection Apparatus, Inspection Method, And Program |
CN105241883A (zh) * | 2015-09-25 | 2016-01-13 | 华南理工大学 | 一种印刷机图案在线检测和色彩分割的方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3537707B1 (de) | 2021-07-28 |
JP2019161644A (ja) | 2019-09-19 |
CA3035778A1 (en) | 2019-09-06 |
KR20190106745A (ko) | 2019-09-18 |
US10937145B2 (en) | 2021-03-02 |
US20190279355A1 (en) | 2019-09-12 |
EP3537707A1 (de) | 2019-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4998624B2 (ja) | 交換レンズ | |
US20020051216A1 (en) | Smart camera | |
JP6508402B1 (ja) | 交換レンズ | |
CN103262060A (zh) | 用于3d捕获同步的方法和装置 | |
CN110233953A (zh) | 照相机核心、智能照相机以及用于工业图像处理的方法 | |
US11675253B2 (en) | Interchangeable lens, imaging apparatus, and camera system | |
JP2015121638A (ja) | 通信システム、カメラシステム | |
EP3598225B1 (en) | Interchangeable lens and method of transmitting data | |
JP2023055779A (ja) | カメラボディ、カメラアクセサリ、カメラシステム、通信方法および振れ補正方法 | |
WO2021124885A1 (ja) | 撮影システム、制御方法、およびプログラム | |
JP7222397B2 (ja) | カメラアクセサリおよび情報送信方法 | |
JP7172806B2 (ja) | カメラボディ及びカメラシステム | |
JP7107294B2 (ja) | カメラボディおよびカメラシステム | |
JP5435077B2 (ja) | 交換レンズ、交換可能デバイス、カメラボディおよび電子デバイス | |
WO2021124886A1 (ja) | 撮影システム、制御方法、およびプログラム | |
JP2023029467A (ja) | カメラボディ | |
JP2013172403A (ja) | シリアル通信装置および電子カメラ | |
Plewiński et al. | Embedded system for remote control of a 3D camera rig |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190913 |
|
RJ01 | Rejection of invention patent application after publication |