EP2301877B1 - Optical control method for quality assurance in print finishing - Google Patents

Optical control method for quality assurance in print finishing Download PDF

Info

Publication number
EP2301877B1
EP2301877B1 EP20090171148 EP09171148A EP2301877B1 EP 2301877 B1 EP2301877 B1 EP 2301877B1 EP 20090171148 EP20090171148 EP 20090171148 EP 09171148 A EP09171148 A EP 09171148A EP 2301877 B1 EP2301877 B1 EP 2301877B1
Authority
EP
European Patent Office
Prior art keywords
product
line
light
light line
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Not-in-force
Application number
EP20090171148
Other languages
German (de)
French (fr)
Other versions
EP2301877A1 (en
Inventor
Carl Conrad Mäder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ferag AG
Original Assignee
Ferag AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ferag AG filed Critical Ferag AG
Priority to DK09171148T priority Critical patent/DK2301877T3/en
Priority to EP20090171148 priority patent/EP2301877B1/en
Priority to PCT/EP2010/005522 priority patent/WO2011035857A1/en
Publication of EP2301877A1 publication Critical patent/EP2301877A1/en
Application granted granted Critical
Publication of EP2301877B1 publication Critical patent/EP2301877B1/en
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H43/00Use of control, checking, or safety devices, e.g. automatic devices comprising an element for sensing a variable
    • B65H43/08Photoelectric devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H29/00Delivering or advancing articles from machines; Advancing articles to or into piles
    • B65H29/66Advancing articles in overlapping streams
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2301/00Handling processes for sheets or webs
    • B65H2301/40Type of handling process
    • B65H2301/42Piling, depiling, handling piles
    • B65H2301/422Handling piles, sets or stacks of articles
    • B65H2301/4224Gripping piles, sets or stacks of articles
    • B65H2301/42244Sets in which articles are offset to each other
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2553/00Sensing or detecting means
    • B65H2553/40Sensing or detecting means using optical, e.g. photographic, elements
    • B65H2553/42Cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2557/00Means for control not provided for in groups B65H2551/00 - B65H2555/00
    • B65H2557/50Use of particular electromagnetic waves, e.g. light, radiowaves or microwaves
    • B65H2557/51Laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2701/00Handled material; Storage means
    • B65H2701/10Handled articles or webs
    • B65H2701/13Parts concerned of the handled material
    • B65H2701/132Side portions
    • B65H2701/1321Side portions of folded article or web
    • B65H2701/13212Fold, spine portion of folded article

Definitions

  • the present invention relates to an optical control method for quality evaluation in the print finishing according to the preamble of claim 1 and an apparatus for performing the method according to the preamble of claim 13.
  • the device has a light source, an optical sensor and an evaluation unit connected to the optical sensor.
  • the light source in a preferred embodiment, a laser, has a beam shaping optics, for example in the form of optical lenses, in particular of cylindrical lenses, of apertures or diffractive optical elements, through which the emitted light, a predetermined illumination beam profile "imprinted" is. Within the illumination beam profile objects are irradiated with light.
  • the light source can be assigned an optical axis via the beam shaping optics, which extends straight from the light source in space. This optical axis forms in the sense of WO2008119192 at the same time a central beam axis of the illumination beam profile and is referred to in the publication as the illumination beam axis.
  • the optical sensor in a preferred embodiment for example an electronic camera with a plurality of photosensitive elements, is equipped with a detection optical system for forming a detection beam profile.
  • detection optics for example, a camera lens is used.
  • the detection beam profile includes all the locations from which the optical sensor can detect light.
  • the detection beam profile of the optical sensor is composed of the individual detection beam profiles associated with each individual photosensitive element.
  • the detection beam profile of the optical sensor could be visualized by replacing the photosensitive elements with small light sources.
  • an optical axis can also be assigned to the optical sensor via the detection optics. This optical axis forms in the sense of WO2008119192 simultaneously a central beam axis of the detection beam profile and is also referred to as detection beam axis.
  • the illumination beam profile and the detection beam profile are aligned at an angle to one another in such a way that they overlap in a detection area.
  • the illumination beam axis and the detection beam axis are even in one plane.
  • the optical sensor may generate a detection signal with information about the detected portion of the surface profile.
  • the detection signal is forwarded to a downstream evaluation unit.
  • the evaluation unit preferably a computer, can use the detection signal to determine the number of areal products which were located in the detection area at the time of detection.
  • the apparatus for counting and detecting sheet-like products is assigned a transport device.
  • the sheet-like products moved through the detection area along a transport direction with the aid of the transport device are preferably continuously counted in order, for example, to check their completeness.
  • the illumination beam axis is preferably aligned inclined relative to the surface normal of, for example, resting on a conveyor belt or transported by means of brackets or grippers flat products.
  • the illumination beam profile in the detection area is preferably formed by means of the beam shaping optics as a substantially rectilinear region, in particular as a so-called illumination line, which illuminates the section of the surface profile of the planar products in a defined manner.
  • the illumination line extends substantially parallel to the transport direction.
  • a computer-executable image processing program can then determine from the image of the projected illumination line on the basis of the curvatures and paragraphs the number of planar products that have been in the detection area.
  • the recording or detection time is short compared to the time within which a flat product has moved by the amount of its thickness.
  • the number of surface products located in the detection area is determined solely from the detected surface profile of the sheet-like products. It is not necessary to attach identification information to the sheet products. Due to the relative to the ambient light comparatively high intensity of the light generated by the light source in the illumination beam profile, in particular within the illumination line in the detection area, there is sufficient contrast in the image recordings, so that a reliable identification of the illuminated surface profile is guaranteed.
  • the optical sensor may be provided with corresponding filter elements to further reduce the interference of ambient light.
  • the WO 2008119192 it is described as particularly preferred to assign the device for counting and detecting sheet products a transport device.
  • the sheet-like products moved through the detection area along a transport direction with the aid of the transport device are preferably continuously counted in order, for example, to check their completeness.
  • the illumination beam axis is preferably aligned inclined relative to the surface normal of, for example, resting on a conveyor belt or transported by means of brackets or grippers flat products.
  • the illumination beam profile in the detection area is preferably formed by means of the beam shaping optics as a substantially rectilinear region, in particular as a so-called illumination line, which illuminates the section of the surface profile of the planar products in a defined manner.
  • the illumination line extends substantially parallel to the transport direction.
  • a camera Immediately above the sheet products, with its detection beam axis slightly inclined to the surface normal and aligned substantially perpendicular to the transport direction, is located a camera as an optical sensor.
  • the detection beam profile is formed by the detection optics such that an image of the light line projected onto the surface of the planar products by the light source is generated on the photosensitive elements of the camera.
  • the recording or detection time is short compared to the time within which a flat product has moved by the amount of its thickness.
  • the number of surface products located in the detection area is determined solely from the detected surface profile of the sheet-like products. It is not necessary to attach identification information to the sheet products. Due to the relative to the ambient light comparatively high intensity of the light generated by the light source in the illumination beam profile, in particular within the illumination line in the detection area, there is sufficient contrast in the image recordings, so that a reliable identification of the illuminated surface profile is guaranteed.
  • the optical sensor may be provided with corresponding filter elements to further reduce the interference of ambient light.
  • a device for detecting double prints in a separator of postal, overlapping, flowing objects is described.
  • a light projector arranged laterally to the letter mail projects at least one light line transversely to a potential overlapping area of the letters
  • a camera positioned laterally to the letters and positioned obliquely to the light projector takes a picture of the projected light line and its displacements (or curvatures, size changes or more generally geometrical Deviations from a reference line shown in double-deduction items).
  • the EP 2 030 924 A1 discloses a device for controlling the position and / or at least one dimension of printed products transported flat in a flow.
  • the device has a conveying device for transporting the printed products.
  • a sensor connected to a controller projects a light curtain onto the printed product (light rays). The light rays of the light curtain fall partially on a reflector, these light rays are reflected by the reflector back to the sensor.
  • the sensor is directed to a freestanding flat side and / or a side edge of the printed products so the position of the corresponding edge of the printed product can be detected.
  • the method according to the present invention makes it possible to generate measurement information based on the product identifier determined from the electronic image.
  • This measurement information is again the objective basis for the quality assessment. It not only allows to determine the number of products present in a given area, but - as described in detail below - to make a real quality assessment.
  • line profile should be understood in the context of the present application, on the one hand surface profiles, as already in the WO 2008/119192 by the applicant, in which the curvatures and steps of the illumination line projected on the uneven "projection surface” of the product streams are reproduced.
  • line profile also includes intensity profiles which are caused by differences in the reflection and / or absorption behavior of the surfaces illuminated by the light line, regardless of whether these surfaces are plane or uneven "projection surfaces”.
  • line profile also includes profiles in which changes in the light line are caused by scattering or diffraction of the preferably monochromatic light, in particular at product edges.
  • an orientation and / or a position of the product is determined; and generating the measurement information based on the orientation and / or location of the product.
  • the at least two line profiles defined by light lines are generated essentially along a longitudinal axis of the conveying path, respectively parallel to the conveying direction, and the orientation and / or position of the products, product stacks or product groups to be controlled is determined with respect to the longitudinal axis.
  • Such linear situations can be found in print finishing, for example in straight sections of product scale streams, Straight sections of conveyor lines of staple or rapier conveyors, straight belt conveyors, single-pass belts and the like.
  • a particular advantage of the method according to the invention lies in the fact that the quality control can be carried out very simply and with high precision, even in non-linear situations.
  • the quality of product flows for example of scale flows, in curves in the plane or in the room, of products in processing drums or on windings can be well monitored, since the method according to the invention and the device according to the invention hardly any restrictions with respect to the spatial orientation of the products to be monitored make necessary.
  • the inventive method can also be used advantageously for quality control, if the products to be controlled are transported and / or processed in bags or conveyor drums.
  • the method and apparatus provide users with a high degree of variation in the arrangement of the lines of light on the products, product groups and / or product streams to be controlled.
  • the lines of light can be aligned, for example, depending on the spatial conditions in the processing plant or on the expected types of errors in any other angular positions to the longitudinal and / or transverse axes of the products or the conveying directions.
  • the generated beam profiles can be changed and / or redirected so that more than one light source can be generated at different positions in desired lengths with desired sharpness with only one radiation source ,
  • the electronic image of the line profile generated by the light line on the illuminated surface will be referred to as the light line. It is readily possible for a person skilled in the art to recognize from the context whether the light lines described are the light lines actually projected on products or the electronically detected, stored, processed, etc. virtual light lines.
  • the difference between an actually recorded input image and a dark image taken with the lens covered by the camera is preferably calculated and used to correct the recorded input image.
  • the noise reduction, respectively highlighting the recorded light line is preferably a matched filter or optimal filter in the essentially follows the shape of the expected light line and its width, and the noise is more suppressed with increasing distance from a center pixel line of this expected line.
  • the actual detection of the light line is carried out according to a first embodiment by determining the pixel with the maximum brightness values of each image line and the assignment of this pixel to the line if its brightness value exceeds a predetermined threshold.
  • This method which now generates a one-pixel-wide virtual light line, is particularly useful for detecting changes in the line profile that are due to directional changes and / or breakages when filling existing gaps in the line.
  • the position of the line does not very precisely characterize the light line in many cases, there may be kinks in the line which can make it difficult to determine the actual course of the line they are similar, such as "kinks" by product edges, for example, in the transition between two products. For this reason, the position of the line is preferably approximated to the actual position.
  • the algorithm used must allow the kinks to pass through the product edges / transitions, but smoothen false kinks.
  • a gap in the line corresponds to a region with low reflection and thus represents no error in the line, but the actually desired information dar.
  • the predetermined threshold for the assignment of the pixels to the light line can be set so high that it is only achieved by the points of the light line, which lie in the region of the highly reflective surface of the sticker. The beginning and end of the detected light line in this case correspond to the two edge points of the sticker.
  • a further step at least a first derivative of the light line is calculated, then the zero crossings of the derivative of the light line, and thus the direction changes of the light line are determined.
  • the derived signal can be very noisy, it is preferably additionally filtered with a low-pass filter.
  • a low-pass filter eg FIR filter, window method, Hamming window.
  • FIR filter inserts a shift of (number of coefficients -1) / 2, the filtered signal is corrected accordingly.
  • a second derivative can be calculated, in which the filtered first derivative is derived again. If one considers the number of zero crossings of the second derivative (inflection points) which occur after the maximum of the first derivative, this number can be a measure of whether the analyzed image region contains no, one, two or more product edges.
  • the inventive further information about the position of the edge points is assigned to each of these.
  • the position information is pinpoint coded as y- and x-value, or blurred, for example, over four position values (for example: y1, y1 + n, x1, x1 + m) which covers a range of (for example (1 + n) x (1 + m)) define pixels. This range may even match the crop after cropping.
  • the control method according to the invention makes it possible, by means of the generated measurement information, to determine an edge number which, for example, corresponds to a product number, based on features of the curve shape of the light line.
  • the measurement information is generated as possible in real time, preferably within a work cycle time.
  • substantially monochromatic light sources for example lasers
  • the cameras used for image acquisition can be provided with filter elements to make the inventive system even less susceptible to interference.
  • pulsed lasers are used, which are clocked synchronously to the product clock.
  • the lasers can be clocked in known manner via light barriers or other clocks. This increases the service life of the lasers and at the same time reduces energy consumption.
  • the optical sensor can also be clocked.
  • the laser lines produced are kept as short as possible.
  • short laser lines of a few centimeters in length are often sufficient. Since misplacements can also be detected on the basis of the absence of edge points, it is not absolutely necessary to illuminate the entire area within which an edge point could lie, for example, in the case of an incorrectly positioned product. In extreme cases, it is only necessary to illuminate the tolerance range within which an edge point must lie with a correct product position, product size, etc.
  • suitable filters and / or additional lenses and / or mirror devices multiple lines of light can be generated at different positions by means of a single laser.
  • the light energy for example the laser energy
  • the light energy is preferably distributed homogeneously over the line profile to be generated. This makes it possible to keep the number of image processing steps as low as possible, since changes in the line profile directly attributable to the edge points to be detected can be attributed to a per se homogeneous brightness distribution. It should be mentioned again that changes in the line profile should be understood as meaning changes of direction and / or interruptions as well as changes in width and / or intensity.
  • the optical sensor is preferably arranged with an oblique to the beam axis of the projection means extending optical axis away from the products to be controlled when surface profiles are to be detected.
  • the two axes can be aligned parallel to each other and at a small distance.
  • more than one projection means and / or more than one optical sensor are used.
  • the Swiss application CH number not yet known
  • Mirrors are used.
  • the front and back of a product group can be acted on simultaneously with a beam profile and a mirror beam profile, and the areas thus exposed can be simultaneously detected by means of mirrors from a single camera.
  • the image processing unit is set up such that the at least one product identifier can be determined by determining position information of at least one product edge point, and the measurement information can be generated based on the position information of the at least one product edge point.
  • the projection means are preferably set up in such a way that at least two line profiles defined by light lines are generated with spatial position known to each other and the image processing unit is set up to determine position information from at least one product edge point based on the at least two line profiles defined by the light lines.
  • the image processing unit is configured to determine the at least one product identifier by determining the light line in the electronic image, determining a curve shape of the light line and determining a position specification of a product edge point from the curve of the light line.
  • the image processing unit is set up in such a way that the curve of the light line is rotated by rotation of the electronic image into a desired position, calculation of at least one derivative of the light line, calculation of Zero crossings of the derivative of the light line, and determination of changes in direction of the light line to determine.
  • the measurement information can be generated by determining a product number based on features of the curve of the light line, wherein the characteristics of the curve comprise at least one of: number of zero crossings of a first derivative of the light line, maximum value of the first derivative, Number of zero crossings of a second derivative of the light line occurring after the maximum value of the first derivative, and magnitude of an angle of change of direction of the light line.
  • the quality of the product flow is determined and controlled by printed in brackets K printed products 101, 102.
  • brackets K are indicated, each holding two folded printed products 101, 102 in the region of the folded edge 110.
  • two products each 101, 102 promoted by a bracket K.
  • the products 101, 102 are arranged offset from one another, so that the leading in the conveying direction F product 101 each further into the bracket K projects as the trailing in the conveying direction F product 102.
  • all products 101, 102 are correct in the brackets K. aligned.
  • a pair of printed products 101, 102 are subjected to four laser lines 2, 3, 4, 5, which are generated by at least one laser 10.
  • Two of the laser lines 2, 3 are aligned on the printed products parallel to their side edges 111 and in the conveying direction F and extend at least over the regions of the front folded edge 110.
  • Two of the laser lines 4, 5 extend transversely to the conveying direction and run approximately parallel to the folded edge 110 For energetic reasons it is advantageous to keep the laser lines as short as possible and to use pulsed lasers as already described above.
  • An electronic camera 20 detects all laser lines in the detection area.
  • FIG. 1 is arranged laterally to the flow of a laser light barrier 50, which generates by means of the detection of the brackets K, a trigger signal for the timing of the inventive device and the method.
  • the elements of the device are all omitted, only the generated on the surface of the printed products in the scale flow line profiles in the form of laser lines 2, 3 and 4 are shown.
  • the position of the first product 101 in the conveying direction F is checked.
  • four edge points P1, P2, P3 and P4 are determined on the printed product 101.
  • On the basis of the position of the two edge points P1 and P2 which are generated with the aid of the two laser lines 2 and 3 on the leading edge product 110 it can be determined whether this leading edge product 110 is aligned correctly in relation to the conveying axis. If only the two edge points P1 and P2 were determined, it would not be possible to determine whether the product 101 projects laterally out of the scale flow transversely to the conveying direction. Therefore, in the example shown, the edge points P3 and P4 lying on the side edges 112 and 111 are also determined. As a result, it can be clearly determined whether the respectively controlled product is correctly aligned in the scale flow.
  • FIGS. 5a to 5d schematically show the electronic image sections in the area of the four generated edge points P1 to P4 from the FIG. 3 ,
  • the light lines shown in the image sections are already detected, filtered, smoothed and the gaps are filled.
  • the light line is shown in the area of the edge point P1.
  • the show Figures 5b, 5c and 5d the light lines from the areas of the edge points P2, P3 and P4.
  • the FIG. 5e are the individual electronic images, respectively the illustrated light lines, rotated by a fixed predetermined value in a respective desired position and the sake of clarity side by side shown in a composite image.
  • the laser lines intersect the product edges in each case approximately at right angles, but by the angular position of the camera, the light lines are imaged in the electronic image but in other angular positions, offers a rotation in a desired position in which substantial portions of the light lines to be analyzed are perpendicular.
  • the position values of the individual points on the lines must be tracked in order to ensure the exact position determination of the determined edge points.
  • the detected edge lines of the leading product edge 110 which in FIGS. 5a and 5b and in the FIG. 5e are shown left hand, have significant changes in direction.
  • the edge line of the camera rear view product side edge 111 which in FIG. 5c and in the FIG. 5e is shown to the right of the center, has a significant interruption.
  • the respective edge points can be determined with exact position and any deviations from predefined setpoints can trigger corresponding control signals or error messages.
  • FIGS. 6a to 6c are in fragmentary form each two offset from each other stapled printed products 105, 106 shown as they are transported, for example, in a staple conveyor.
  • the printed product pairs 105, 106 are each subjected to three lines of light in the form of laser lines 6, 7, 8.
  • the printed products 105, 106 are in the folding area 113, 114, each with three brackets 31, 32, 33 and 34, 35, 36 stapled.
  • the three laser lines 6, 7, 8 are approximately at right angles to the top folding edges 113, 114 aligned approximately parallel to each other, that they illuminate the fold areas 113, 114 respectively in the staples 31, 34 or 32, 35 or 33, 36.
  • FIG. 6a two correctly stapled products 105, 106 are shown.
  • FIG. 6a two correctly stapled products 105, 106 are shown.
  • FIG. 7 shows that to control the product quality, ie the stapling according to the examples of FIG. 6 , now changes in the line profile are considered, which are based on width and / or intensity changes. Since the used metal wire staples strongly reflect the laser light, they cause a local thickening of the light line in the electronic image. In the case of the correctly stapled products 105, 106, the electronic images of the detected lines of light 31, 32, 33 would all be approximately identical to those of Figs FIGS. 7a and 7c appear. The correct position for all staples can be verified by the position of the edge points, which are clearly visible in the images as thickening of the light lines. To explain the control result in case of error are in the FIGS.
  • the electronic image of the light line 32 is in the region of the defective stapling position 32 on product 105 ' FIG. 6b shown.
  • the product 105 ' no changes in the line profile are detected based on a change in width and / or intensity, which would lead to the generation of a corresponding edge point.
  • the three light lines as in the overview according to the FIG. 8d can be clearly determined that and which edge point is missing, which means that a staple is missing.
  • FIG. 9 is a perspective view of a schematic view of a stack 100 of three printed products 107, 108, 109 sketched with different formats, as for example, in the print finishing of various newspaper supplements collected and transported on conveyor belts.
  • the product stack 100 is loaded with four lines of light 11, 12, 13, 14, which are aligned in pairs spaced from each other at right angles to the product side edges.
  • the lines of light are positioned so that each side edge of a product is illuminated by two lines of light.
  • FIG. 10a is again the product stack 100 with the three correctly aligned printed products 107, 108, 109 according to the FIG. 9 shown.
  • FIGS. 10b-10d examples of faulty stacks are shown.
  • the control unit recognizes that all products are present, but that the top product is not aligned correctly. It is also recognized from the position of the detected edge points that the misaligned small-sized product 109 does not project beyond the edges of the bottommost product 107, which has the largest format, on either side.
  • a higher-level control system can be informed and decide whether the misposition leads to the departure of the product stack or can be tolerated for the further processing steps.
  • the stack according to FIG. 10b subsequently welded in foil for shipment, the misalignment of the uppermost product 109 would be readily tolerable.
  • a faulty stack according to the FIG. 10c On the other hand, it would not be possible to supply it to a device for shrink-wrapping in foil, since it would be feared that the above-mentioned product 109 would make the welding process impossible.
  • the misalignment as shown for the uppermost product, can not be recognized from the edge points P5 - P8 lying on the longitudinal edges of the product, since the illustrated lateral displacement along the conveying direction F has no influence on the position of the detected and calculated edge points P5 - P8 has.
  • the misalignment is not recognized until at least one of the edge points P9 - P12 is considered.
  • the faulty stack 100 ' can be eliminated based on the error message that is generated by the control method according to the invention or brought into a further processable state by a correction of the position of the uppermost product.
  • FIG. 10d is a faulty position of the middle product 108 in the stack 100 "shown., It can be according to the present invention again by a lack of the corresponding Edge points or the wrong position of the edge points to the product 109 easily recognize, so that the faulty stack 100 "can be post-processed or eliminated.
  • edge points to be determined can be made. For example, only one edge point per product edge can be determined, which further reduces the demands on computing power and signal processing.
  • FIG. 11 From the FIG. 11 can be seen how the correct spacing of products in the scale flow can be determined by means of a further embodiment of the invention.
  • two light lines 15, 16, which act on the leading edge product 110 are each two edge points per product, in the case illustrated magazines 120, 121, 122, 123, generated.
  • the light lines 15, 16 again run approximately parallel to the longitudinal axis of the illustrated conveyor belt B and spaced from each other. If a deviation from the desired distance A between two products is determined, which is no longer within a predetermined tolerance range, a signal is generated based on this measurement information. This signal can subsequently trigger a correction of the incorrect distance F.
  • the signal includes not only the information about the detected error, but also the information about the product to be corrected, in this case the magazine 122nd
  • the in the FIG. 12a illustrated fault situation can be easily transferred to a promotion in a gripper or staple conveyors in which, for example, two products are conveyed with an offset to each other. There, for example, the mishandling of product 126 to product 125 would be recognized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

Die vorlegende Erfindung betrifft ein optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung gemäss Oberbegriff von Patentanspruch 1 und eine Vorrichtung zur Durchführung des Verfahrens gemäss Oberbegriff von Patentanspruch 13.The present invention relates to an optical control method for quality evaluation in the print finishing according to the preamble of claim 1 and an apparatus for performing the method according to the preamble of claim 13.

Optische Kontrollverfahren zum Zählen und Erkennen von flexiblen, flächigen Produkten, insbesondere Druckprodukten wie Zeitungen, Zeitschriften, Prospekten, Werbebeilagen, Anzeigeblättern oder Teilen davon, in der Druckweiterverarbeitung sind grundsätzlich bekannt.Optical control methods for counting and detecting flexible, flat products, in particular printed products such as newspapers, magazines, brochures, advertising supplements, display sheets or parts thereof, in the print finishing are basically known.

Aus der WO 2008119192 der Anmelderin ist eine Vorrichtung zum Zählen und Erkennen von flächigen Produkten, insbesondere von Druckereiprodukten bekannt. Die Vorrichtung weist eine Lichtquelle, einen optischen Sensor und eine mit dem optischen Sensor verbundenen Auswerteeinheit auf. Die Lichtquelle, in einer bevorzugten Ausführungsform ein Laser, verfügt über eine Strahlformungsoptik, beispielsweise in Form von optischen Linsen, insbesondere von Zylinderlinsen, von Blenden oder diffraktiven optischen Elementen, durch welche dem ausgesendeten Licht ein vorbestimmtes Beleuchtungsstrahlprofil "aufgeprägt" wird. Innerhalb des Beleuchtungsstrahlprofils befindliche Objekte werden mit Licht bestrahlt. Der Lichtquelle kann über die Strahlformungsoptik eine optische Achse zugeordnet werden, die sich ausgehend von der Lichtquelle geradlinig im Raum erstreckt . Diese optische Achse bildet im Sinne der WO2008119192 gleichzeitig eine zentrale Strahlachse des Beleuchtungsstrahlprofils und wird in der Publikation auch als Beleuchtungsstrahlachse bezeichnet.From the WO 2008119192 the applicant is a device for counting and detecting of sheet products, in particular of printed products known. The device has a light source, an optical sensor and an evaluation unit connected to the optical sensor. The light source, in a preferred embodiment, a laser, has a beam shaping optics, for example in the form of optical lenses, in particular of cylindrical lenses, of apertures or diffractive optical elements, through which the emitted light, a predetermined illumination beam profile "imprinted" is. Within the illumination beam profile objects are irradiated with light. The light source can be assigned an optical axis via the beam shaping optics, which extends straight from the light source in space. This optical axis forms in the sense of WO2008119192 at the same time a central beam axis of the illumination beam profile and is referred to in the publication as the illumination beam axis.

Der optische Sensor, in einer bevorzugten Ausführungsform beispielsweise eine elektronische Kamera mit einer Mehrzahl von lichtempfindlichen Elementen, ist mit einer Detektionsoptik zur Formung eines Detektionsstrahlprofils ausgestattet. Als Detektionsoptik wird beispielsweise ein Kameraobjektiv eingesetzt. Das Detektionsstrahlprofil umfasst all die Orte, von denen der optische Sensor Licht detektieren kann. Bei Verwendung eines optischen Sensors mit mehreren lichtempfindlichen Elementen, wie bei der bereits erwähnten Kamera, setzt sich das Detektionsstrahlprofil des optischen Sensors aus den jedem einzelnen lichtempfindlichen Element zugeordneten einzelnen Detektionsstrahlprofilen zusammen. Das Detektionsstrahlprofil des optischen Sensors könnte beispielsweise sichtbar gemacht werden, in dem die lichtempfindlichen Elemente durch kleine Lichtquellen ersetzt werden würden. In Analogie zur Lichtquelle kann auch dem optischen Sensor über die Detektionsoptik eine optische Achse zugeordnet werden. Diese optische Achse bildet im Sinne der WO2008119192 gleichzeitig eine zentrale Strahlachse des Detektionsstrahlprofils und wird auch als Detektionsstrahlachse bezeichnet.The optical sensor, in a preferred embodiment for example an electronic camera with a plurality of photosensitive elements, is equipped with a detection optical system for forming a detection beam profile. As detection optics, for example, a camera lens is used. The detection beam profile includes all the locations from which the optical sensor can detect light. When using an optical sensor having a plurality of photosensitive elements, as in the aforementioned camera, the detection beam profile of the optical sensor is composed of the individual detection beam profiles associated with each individual photosensitive element. For example, the detection beam profile of the optical sensor could be visualized by replacing the photosensitive elements with small light sources. In analogy to the light source, an optical axis can also be assigned to the optical sensor via the detection optics. This optical axis forms in the sense of WO2008119192 simultaneously a central beam axis of the detection beam profile and is also referred to as detection beam axis.

Das Beleuchtungsstrahlprofil und das Detektionsstrahlprofil sind dabei derart winkelversetzt zueinander ausgerichtet, dass sie in einem Detektionsbereich überlappen. In einer bevorzugten Ausführungsform liegen die Beleuchtungsstrahlachse und die Detektionsstrahlachse sogar in einer Ebene. Zum Zählen der flächigen Produkte muss sich wenigstens ein Abschnitt des Oberflächenprofils der flächigen Produkte im Detektionsbereich befinden. Dieser Abschnitt ist erfindungsgemäss wenigstens teilweise durch das Beleuchtungsstrahlprofil begrenzt und mittels des optischen Sensors detektierbar. Der optische Sensor kann ein Detektionssignal mit Informationen über den detektierten Abschnitt des Oberflächenprofils erzeugen. Das Detektionssignal wird an eine nachgeschaltete Auswerteeinheit weitergeleitet. Die Auswerteeinheit, vorzugsweise ein Computer, kann aus dem Detektionssignal die Anzahl der flächigen Produkte, die sich zum Zeitpunkt der Detektion im Detektionsbereich befunden haben, bestimmen.In this case, the illumination beam profile and the detection beam profile are aligned at an angle to one another in such a way that they overlap in a detection area. In a preferred embodiment, the illumination beam axis and the detection beam axis are even in one plane. For counting the sheet-like products, at least a portion of the surface profile of the sheet-like products must be in the detection area. This section is according to the invention at least partially limited by the illumination beam profile and detectable by means of the optical sensor. The optical sensor may generate a detection signal with information about the detected portion of the surface profile. The detection signal is forwarded to a downstream evaluation unit. The evaluation unit, preferably a computer, can use the detection signal to determine the number of areal products which were located in the detection area at the time of detection.

In einer besonders bevorzugten Ausführungsform ist der Vorrichtung zum Zählen und Erkennen von flächigen Produkten eine Transportvorrichtung zugeordnet. Die mit Hilfe der Transportvorrichtung entlang einer Transportrichtung durch den Detektionsbereich bewegten flächigen Produkte werden vorzugsweise fortlaufend gezählt, um beispielsweise deren Vollständigkeit zu kontrollieren. Die Beleuchtungsstrahlachse ist dabei bevorzugter Weise gegenüber den Flächennormalen der beispielsweise auf einem Förderband aufliegenden oder mittels Klammern oder Greifern transportierten flächigen Produkte geneigt ausgerichtet. Das Beleuchtungsstrahlprofil im Detektionsbereich ist mittels der Strahlformungsoptik vorzugsweise als ein im Wesentlichen geradliniger Bereich, insbesondere als eine sogenannte Beleuchtungslinie, ausgeformt, welche den Abschnitt des Oberflächenprofils der flächigen Produkte auf eine definierte Weise beleuchtet. Vorzugsweise erstreckt sich die Beleuchtungslinie im Wesentlichen parallel zur Transportrichtung. Unmittelbar oberhalb von den flächigen Produkten, mit seiner Detektionsstrahlachse leicht geneigt zu deren Flächennormalen und im Wesentlichen rechtwinklig zur Transportrichtung ausgerichtet, befindet sich eine Kamera als optischer Sensor. Das Detektionsstrahlprofil ist durch die Detektionsoptik derart ausgeformt, dass eine Abbildung von der durch die Lichtquelle auf die Oberfläche der flächigen Produkte projizierten Beleuchtungslinie auf den lichtempfindlichen Elementen der Kamera erzeugt wird.In a particularly preferred embodiment, the apparatus for counting and detecting sheet-like products is assigned a transport device. The sheet-like products moved through the detection area along a transport direction with the aid of the transport device are preferably continuously counted in order, for example, to check their completeness. The illumination beam axis is preferably aligned inclined relative to the surface normal of, for example, resting on a conveyor belt or transported by means of brackets or grippers flat products. The illumination beam profile in the detection area is preferably formed by means of the beam shaping optics as a substantially rectilinear region, in particular as a so-called illumination line, which illuminates the section of the surface profile of the planar products in a defined manner. Preferably, the illumination line extends substantially parallel to the transport direction. Immediately above the sheet-like products, with its detection beam axis slightly inclined to the surface normal and aligned substantially perpendicular to the transport direction, there is a camera as an optical sensor. The detection beam profile is formed by the detection optics such that an image of the light line projected onto the surface of the planar products by the light source is generated on the photosensitive elements of the camera.

Aufgrund der durch die Dicke und die Anordnung der flächigen Produkte hervorgerufenen Höhenunterschiede im "abzutastenden" Oberflächenprofil, insbesondere dann, wenn sich ein Randbereich eines flächigen Produkts im Detektionsbereich befindet, wird ein von der Kamera aufgenommenes Bild von der auf diese unebene "Projektionsfläche" projizierten Beleuchtungslinie deren Krümmungen und Absätze wiedergeben. Diese Bildinformationen werden im Detektionssignal an einen elektrisch verbundenen Computer weitergeleitet. Ein auf dem Computer ausführbares Bildverarbeitungsprogramm kann dann aus dem Abbild der projizierten Beleuchtungslinie anhand der Krümmungen und Absätze die Anzahl der flächigen Produkte, die sich im Detektionsbereich befunden haben, ermitteln. Damit die Bildinformationen möglichst wenig durch Bewegungsartefakte aufgrund des Transports der flächigen Produkte während der Bildaufnahme beeinflusst werden, ist die Aufnahme bzw. Detektionszeit kurz im Vergleich zur Zeit, innerhalb der sich ein flächiges Produkt um den Betrag seiner Dicke bewegt hat. Die Anzahl der sich im Detektionsbereich befindlichen flächigen Produkte wird allein aus dem detektierten Oberflächenprofil der flächigen Produkte bestimmt. Es ist nicht nötig, Identifikationsinformationen an den flächigen Produkten anzubringen. Aufgrund der gegenüber dem Umgebungslicht vergleichsweise hohen Intensität des von der Lichtquelle erzeugten Lichts im Beleuchtungsstrahlprofil, insbesondere innerhalb der Beleuchtungslinie im Detektionsbereich, ergibt sich ein ausreichender Kontrast in den Bildaufnahmen, so dass eine zuverlässige Identifizierung des angestrahlten Oberflächenprofils gewährleistet ist. Bei Verwendung einer im Wesentlichen monochromatischen Lichtquelle, beispielsweise eines Lasers, kann der optische Sensor zudem mit entsprechenden Filterelementen ausgestattet sein, um den Störeinfluss von Umgebungslicht zusätzlich zu verringern.Due to the height differences caused by the thickness and the arrangement of the sheet-like products in the "surface profile to be scanned", in particular when an edge region of a flat product is in the detection region, an image recorded by the camera is projected from the illumination line projected onto this uneven "projection surface" whose bends and heels reflect. This image information is forwarded in the detection signal to an electrically connected computer. A computer-executable image processing program can then determine from the image of the projected illumination line on the basis of the curvatures and paragraphs the number of planar products that have been in the detection area. So the picture information As little as possible are affected by motion artifacts due to the transport of the sheet-like products during image acquisition, the recording or detection time is short compared to the time within which a flat product has moved by the amount of its thickness. The number of surface products located in the detection area is determined solely from the detected surface profile of the sheet-like products. It is not necessary to attach identification information to the sheet products. Due to the relative to the ambient light comparatively high intensity of the light generated by the light source in the illumination beam profile, in particular within the illumination line in the detection area, there is sufficient contrast in the image recordings, so that a reliable identification of the illuminated surface profile is guaranteed. In addition, when using a substantially monochromatic light source, such as a laser, the optical sensor may be provided with corresponding filter elements to further reduce the interference of ambient light.

In der WO 2008119192 ist es als besonders bevorzugt beschrieben der Vorrichtung zum Zählen und Erkennen von flächigen Produkten eine Transportvorrichtung zuzuordnen. Die mit Hilfe der Transportvorrichtung entlang einer Transportrichtung durch den Detektionsbereich bewegten flächigen Produkte werden vorzugsweise fortlaufend gezählt, um beispielsweise deren Vollständigkeit zu kontrollieren. Die Beleuchtungsstrahlachse ist dabei bevorzugter Weise gegenüber den Flächennormalen der beispielsweise auf einem Förderband aufliegenden oder mittels Klammern oder Greifern transportierten flächigen Produkte geneigt ausgerichtet. Das Beleuchtungsstrahlprofil im Detektionsbereich ist mittels der Strahlformungsoptik vorzugsweise als ein im Wesentlichen geradliniger Bereich, insbesondere als eine sogenannte Beleuchtungslinie, ausgeformt, welche den Abschnitt des Oberflächenprofils der flächigen Produkte auf eine definierte Weise beleuchtet. Vorzugsweise erstreckt sich die Beleuchtungslinie im Wesentlichen parallel zur Transportrichtung. Unmittelbar oberhalb von den flächigen Produkten, mit seiner Detektionsstrahlachse leicht geneigt zu deren Flächennormalen und im Wesentlichen rechtwinklig zur Transportrichtung ausgerichtet, befindet sich eine Kamera als optischer Sensor. Das Detektionsstrahlprofil ist durch die Detektionsoptik derart ausgeformt, dass eine Abbildung von der durch die Lichtquelle auf die Oberfläche der flächigen Produkte projizierten Beleuchtungslinie auf den lichtempfindlichen Elementen der Kamera erzeugt wird.In the WO 2008119192 it is described as particularly preferred to assign the device for counting and detecting sheet products a transport device. The sheet-like products moved through the detection area along a transport direction with the aid of the transport device are preferably continuously counted in order, for example, to check their completeness. The illumination beam axis is preferably aligned inclined relative to the surface normal of, for example, resting on a conveyor belt or transported by means of brackets or grippers flat products. The illumination beam profile in the detection area is preferably formed by means of the beam shaping optics as a substantially rectilinear region, in particular as a so-called illumination line, which illuminates the section of the surface profile of the planar products in a defined manner. Preferably, the illumination line extends substantially parallel to the transport direction. Immediately above the sheet products, with its detection beam axis slightly inclined to the surface normal and aligned substantially perpendicular to the transport direction, is located a camera as an optical sensor. The detection beam profile is formed by the detection optics such that an image of the light line projected onto the surface of the planar products by the light source is generated on the photosensitive elements of the camera.

Im Stand der Technik gemäss der WO 2008119192 ist zudem beschrieben, dass aufgrund der durch die Dicke und die Anordnung der flächigen Produkte hervorgerufenen Höhenunterschiede im "abzutastenden" Oberflächenprofil, insbesondere dann, wenn sich ein Randbereich eines flächigen Produkts im Detektionsbereich befindet, ein von der Kamera aufgenommenes Bild von der auf diese unebene "Projektionsfläche" projizierten Beleuchtungslinie deren Krümmungen und Absätze wiedergeben wird. Diese Bildinformationen werden im Detektionssignal an einen elektrisch verbundenen Computer weitergeleitet. Ein auf dem Computer ausführbares Bildverarbeitungsprogramm kann dann aus dem Abbild der projizierten Beleuchtungslinie anhand der Krümmungen und Absätze die Anzahl der flächigen Produkte, die sich im Detektionsbereich befunden haben, ermitteln. Damit die Bildinformationen möglichst wenig durch Bewegungsartefakte aufgrund des Transports der flächigen Produkte während der Bildaufnahme beeinflusst werden, ist die Aufnahme bzw. Detektionszeit kurz im Vergleich zur Zeit, innerhalb der sich ein flächiges Produkt um den Betrag seiner Dicke bewegt hat. Die Anzahl der sich im Detektionsbereich befindlichen flächigen Produkte wird allein aus dem detektierten Oberflächenprofil der flächigen Produkte bestimmt. Es ist nicht nötig, Identifikationsinformationen an den flächigen Produkten anzubringen. Aufgrund der gegenüber dem Umgebungslicht vergleichsweise hohen Intensität des von der Lichtquelle erzeugten Lichts im Beleuchtungsstrahlprofil, insbesondere innerhalb der Beleuchtungslinie im Detektionsbereich, ergibt sich ein ausreichender Kontrast in den Bildaufnahmen, so dass eine zuverlässige Identifizierung des angestrahlten Oberflächenprofils gewährleistet ist. Bei Verwendung einer im Wesentlichen monochromatischen Lichtquelle, beispielsweise eines Lasers, kann der optische Sensor zudem mit entsprechenden Filterelementen ausgestattet sein, um den Störeinfluss von Umgebungslicht zusätzlich zu verringern.In the prior art according to the WO 2008119192 In addition, it is described that due to the height differences caused by the thickness and the arrangement of the flat products in the "surface profile to be scanned", especially when an edge region of a flat product is in the detection region, an image taken by the camera is uneven ". Projection surface "projected lighting line whose curvatures and paragraphs is reproduced. This image information is forwarded in the detection signal to an electrically connected computer. A computer-executable image processing program can then determine from the image of the projected illumination line on the basis of the curvatures and paragraphs the number of planar products that have been in the detection area. So that the image information is influenced as little as possible by motion artifacts due to the transport of the sheet-like products during image acquisition, the recording or detection time is short compared to the time within which a flat product has moved by the amount of its thickness. The number of surface products located in the detection area is determined solely from the detected surface profile of the sheet-like products. It is not necessary to attach identification information to the sheet products. Due to the relative to the ambient light comparatively high intensity of the light generated by the light source in the illumination beam profile, in particular within the illumination line in the detection area, there is sufficient contrast in the image recordings, so that a reliable identification of the illuminated surface profile is guaranteed. In addition, when using a substantially monochromatic light source, such as a laser, the optical sensor may be provided with corresponding filter elements to further reduce the interference of ambient light.

Aus der DE102007001989 ist eine Vorrichtung zur Erkennung von Doppelabzügen in einem Vereinzeler von postalischen, überlappbar strömenden Gegenständen beschrieben. Dabei projiziert ein seitlich zu den Briefsendungen angeordneter Lichtprojektor mindestens eine Lichtlinie quer zu einem potentiellen Überlappungsbereich der Briefe und eine seitlich zu den Briefen angeordnete und schräg zum Lichtprojektor positionierte Kamera nimmt eine Abbildung der projizierten Lichtlinie und deren Versetzungen (bzw. Krümmungen, Grössenänderungen oder allgemeiner geometrischen Abweichungen zu einer bei doppelabzugsfreien Gegenständen abgebildeten Referenzlinie) auf. Mit einem Rechner, der über einen Bildspeicher an der Kamera angeschlossen ist und ein Modul zum Vergleich zwischen den ermittelten Höhenunterschieden an lückenfreien Rändern des Überlappungsbereiches und vorgegebenen Höhenwerten doppelabzugsfähiger Gegenstände aufweist wird auf nicht weiter beschriebene Art und Weise unter Vergleichen die Entscheidung getroffen werden, ob strömende Gegenstände unter Verdacht eines Doppelabzugs von der Strömung ausgeschleust werden müssen.From the DE102007001989 a device for detecting double prints in a separator of postal, overlapping, flowing objects is described. In this case, a light projector arranged laterally to the letter mail projects at least one light line transversely to a potential overlapping area of the letters, and a camera positioned laterally to the letters and positioned obliquely to the light projector takes a picture of the projected light line and its displacements (or curvatures, size changes or more generally geometrical Deviations from a reference line shown in double-deduction items). With a computer which is connected via an image memory to the camera and has a module for comparison between the ascertained differences in height at gap-free edges of the overlap area and predetermined height values of double-extractable objects will be made in a manner not further described under comparison, whether flowing Items under suspicion of a double deduction from the flow must be discharged.

Die EP 2 030 924 A1 offenbart eine Vorrichtung zur Kontrolle der Lage und/oder wenigstens einer Abmessung von in einem Förderstrom flach aufliegend transportierter Druckprodukte. Die Vorrichtung weist eine Fördervorrichtung zum Transport der Druckprodukte auf. Ein mit einer Steuerung verbundener Sensor projiziert einen Lichtvorhang auf das Druckprodukt (Lichtstrahlen). Die Lichtstrahlen des Lichtvorhangs fallen bereichsweise auf einen Reflektor, wobei diese Lichtstrahlen von dem Reflektor zurück an den Sensor reflektiert werden. Der Sensor ist auf eine freistehende Flachseite und/oder eine Seitenkante der Druckprodukte gerichtet so kann die Lage der entsprechenden Kante des Druckproduktes erfasst werden.The EP 2 030 924 A1 discloses a device for controlling the position and / or at least one dimension of printed products transported flat in a flow. The device has a conveying device for transporting the printed products. A sensor connected to a controller projects a light curtain onto the printed product (light rays). The light rays of the light curtain fall partially on a reflector, these light rays are reflected by the reflector back to the sensor. The sensor is directed to a freestanding flat side and / or a side edge of the printed products so the position of the corresponding edge of the printed product can be detected.

Es ist Aufgabe der vorliegenden Erfindung ein Verfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung, zur Verfügung zu stellen, das es erlaubt verschiedenste Qualitätsmängel zu erkennen und zu beurteilen; dabei soll das Verfahren nicht nur hinsichtlich der benötigten Hardwareleistung vereinfacht werden, sondern es sollen auch seine Betriebszuverlässigkeit und seine Arbeitsgeschwindigkeit erhöht werden.It is an object of the present invention to provide a method for quality assessment in post-press, which makes it possible to recognize and assess various quality defects; The process should be simplified not only in terms of the required hardware performance, but it should also be increased its operational reliability and its operating speed.

Es ist zudem Aufgabe der vorliegenden Erfindung eine Vorrichtung zur Qualitätsbeurteilung in der Druckweiterverarbeitung, zur Verfügung zu stellen, die es erlaubt verschiedenste Qualitätsmängel zu erkennen, dabei hinsichtlich der benötigten Hardwareleistung einfach und damit preisgünstig ist, aber gleichzeitig hinsichtlich der Betriebszuverlässigkeit sehr robust ist.It is also an object of the present invention to provide a device for quality assessment in postpress, to make it possible to detect a variety of quality defects, it is simple and therefore inexpensive in terms of the required hardware performance, but at the same time is very robust in terms of operational reliability.

Eine Lösung der der Erfindung zugrunde liegenden Aufgabe ist im Anspruch 1 angegeben. Merkmale, die das erfindungsgemässe Verfahren vorteilhaft weiterbilden, sind Gegenstand der abhängigen Ansprüche 2 bis 12.A solution to the problem underlying the invention is specified in claim 1. Features which advantageously further develop the method according to the invention are the subject matter of dependent claims 2 to 12.

Erfindungswesentlich ist beim optischen Kontrollverfahren zur Verwendung in der Druckweiterverarbeitung, dass es zumindest die folgenden Schritte umfasst:

  1. a. ein Führen eines flächigen Produkts, zum Beispiel eines Druckprodukts, einer Produktgruppe oder eines Produktstroms entlang einer Förderstrecke an mindestens einem optischen Sensor vorbei;
  2. b. ein Beaufschlagen des flächigen Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Strahlprofil zum Erzeugen eines durch eine Lichtlinie definierten Linienprofils;
  3. c. ein Erfassen eines elektronischen Bildes durch den optischen Sensor, wobei das elektronische Bild mindestens einen Bereich des Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie definierten Linienprofils umfasst;
  4. d. ein Ermitteln von mindestens einem Produktkennzeichen aus dem elektronischen Bild basierend auf dem durch die Lichtlinie definierten Linienprofil;
  5. e. ein Generieren mindestens einer Messinformation basierend auf dem mindestens einen Produktkennzeichen; und
  6. f. ein Erzeugen mindestens eines Signals basierend auf der mindestens einen Messinformation.
It is essential to the invention in the optical control method for use in the print finishing that it comprises at least the following steps:
  1. a. guiding a planar product, for example a printed product, a product group or a product stream, past at least one optical sensor along a conveying path;
  2. b. applying the planar product, the product group or the product stream with at least one beam profile for generating a line profile defined by a light line;
  3. c. acquiring an electronic image by the optical sensor, the electronic image comprising at least a portion of the product, the product group, or the product stream having at least a portion of the line profile defined by the light line;
  4. d. determining at least one product identifier from the electronic image based on the line profile defined by the light line;
  5. e. generating at least one measurement information based on the at least one product identifier; and
  6. f. generating at least one signal based on the at least one measurement information.

Das Verfahren gemäss der vorliegenden Erfindung erlaubt es basierend auf dem aus dem elektronischen Bild ermittelten Produktkennzeichen eine Messinformation zu generieren. Diese Messinformation ist wiederum die objektive Grundlage für die Qualitätsbeurteilung. Sie erlaubt es nicht nur die Anzahl der in einem betrachteten Bereich vorhandenen Produkte zu ermitteln, sondern - wie im weiteren ausführlich beschrieben ist - eine echte Qualitätsbeurteilung vorzunehmen.The method according to the present invention makes it possible to generate measurement information based on the product identifier determined from the electronic image. This measurement information is again the objective basis for the quality assessment. It not only allows to determine the number of products present in a given area, but - as described in detail below - to make a real quality assessment.

Unter dem Begriff Linienprofil sollen im Zusammenhang mit der vorliegenden Anmeldung einerseits Oberflächenprofile verstanden werden, wie sie bereits in der WO 2008/119192 der Anmelderin offenbart wurden, bei denen die Krümmungen und Absätze der auf der unebenen "Projektionsfläche" der Produktströme projizierten Beleuchtungslinie wiedergeben werden. Unter den Begriff Linienprofil fallen in der vorliegenden Anmeldung auch Intensitätsprofile, die durch Unterschiede im Reflexions- und/oder Absorptionsverhalten der von der Lichtlinie beleuchteten Oberflächen bewirkt werden, unabhängig davon ob diese Oberflächen ebene oder unebene "Projektionsflächen" sind. Zudem fallen in der vorliegenden Anmeldung unter den Begriff Linienprofil auch Profile, bei denen Änderungen der Lichtlinie durch Streuung, respektive Beugung des vorzugsweise monochromatischen Lichts insbesondere an Produktkanten bewirkt werden.The term line profile should be understood in the context of the present application, on the one hand surface profiles, as already in the WO 2008/119192 by the applicant, in which the curvatures and steps of the illumination line projected on the uneven "projection surface" of the product streams are reproduced. In the present application, the term line profile also includes intensity profiles which are caused by differences in the reflection and / or absorption behavior of the surfaces illuminated by the light line, regardless of whether these surfaces are plane or uneven "projection surfaces". In addition, in the present application, the term line profile also includes profiles in which changes in the light line are caused by scattering or diffraction of the preferably monochromatic light, in particular at product edges.

Das neue Kontrollverfahren zeichnet sich dadurch aus, dass das Ermitteln des mindestens einen Produktkennzeichen ein Bestimmen von Positionsangaben mindestens eines Produktkantenpunkts (im Folgenden auch kurz als Kantenpunkt bezeichnet) umfasst; und dass das Generieren der Messinformation basierend auf den Positionsangaben des mindestens einen Kantenpunkts erfolgt. Das Produktkennzeichen ist vorzugsweise eine Lageangabe, die die Lage eines Produktes relativ zu einem Fördermittel oder relativ zu anderen Produkten bezeichnet, eine Grössenangabe, die Auskunft gibt über die Format, Breite, Höhe oder Länge eines Druckproduktes oder einer Gruppe von Druckprodukten, oder eine Anwesenheitsangabe, die es erlaubt das Vorhandensein eines Produktes oder einer Produktgruppe zu ermitteln.The new control method is characterized in that determining the at least one product identifier comprises determining position information of at least one product edge point (also referred to below as an edge point for short); and that generating the measurement information is based on the position information of the at least one edge point. The product identifier is preferably a position indication which indicates the position of a product relative to a conveyor or relative to other products, a size indication which gives information about the format, width, height or length of a printed product or a group of printed products, or a presence statement that allows the presence of a product or a product group to be determined.

Der Begriff Kantenpunkt soll im Rahmen der vorliegenden Anmeldung nicht eng, das heisst im Sinne eines Punktes einer räumlich deutlich abgesetzten Produktkante, verstanden werden, sondern unter dem Begriff Kantenpunkt fallen auch solche Kanten, wie sie mit minimalem Höhenunterschied zum Beispiel durch Aufkleber auf den Druckprodukten oder durch Heftklammern definiert werden. Die Kantenpunkte beeinflussen das von der Lichtlinie definierte Linienprofil derart, dass sie sich im elektronischen Bild einfach und schnell erkennen und auswerten lassen.The term edge point in the context of the present application is not narrow, ie in the sense of a point of a spatially significantly offset product edge understood, but under the term edge point also fall such edges as they with minimal height difference, for example by stickers on the printed products or be defined by staples. The edge points influence the line profile defined by the light line in such a way that they can be easily and quickly recognized and evaluated in the electronic image.

Vorzugsweise werden bei den neuen Kontrollverfahren mindestens zwei durch Lichtlinien definierte Linienprofile mit zueinander bekannter räumlicher Lage erzeugt und basierend auf den mindestens zwei durch die Lichtlinien definierten Linienprofilen werden jeweils Positionsangaben von mindestens einem Kantenpunkt je Lichtlinie für je mindestens ein Produkt ermittelt.Preferably, in the new control method, at least two line profiles defined by light lines are generated with spatial position known to each other, and based on the at least two line profiles defined by the light lines, position information of at least one edge point per light line is determined for each at least one product.

Basierend auf den Produktkantenpunkten wird eine Ausrichtung und/oder eine Lage des Produkts bestimmt wird; und dass das Generieren der Messinformation basierend auf der Ausrichtung und/oder Lage des Produkts erfolgt.Based on the product edge points, an orientation and / or a position of the product is determined; and generating the measurement information based on the orientation and / or location of the product.

Gemäss vorteilhafter Ausführungsformen des erfindungsgemässen Kontrollverfahrens werden die mindestens zwei durch Lichtlinien definierten Linienprofile im Wesentlichen entlang einer Längsachse der Förderstrecke, respektive parallel zur Förderrichtung erzeugt und die Ausrichtung und/oder Lage der zu kontrollierenden Produkte, Produktstapel oder Produktgruppen ist bezüglich der Längsachse bestimmt. Solche lineare Situationen finden sich in der Druckweiterverarbeitung zum Beispiel bei geraden Abschnitten von Produkt-Schuppenströmen, geraden Abschnitten von Förderstrecken von Klammer- oder Greiferförderanlagen, geraden Bandförderern, Eintaktbändern und ähnlichem.According to advantageous embodiments of the control method according to the invention, the at least two line profiles defined by light lines are generated essentially along a longitudinal axis of the conveying path, respectively parallel to the conveying direction, and the orientation and / or position of the products, product stacks or product groups to be controlled is determined with respect to the longitudinal axis. Such linear situations can be found in print finishing, for example in straight sections of product scale streams, Straight sections of conveyor lines of staple or rapier conveyors, straight belt conveyors, single-pass belts and the like.

Ein besonderer Vorteil des erfindungsgemässen Verfahrens liegt jedoch darin, dass die Qualitätskontrolle aber gerade auch in nicht-linearen Situationen sehr einfach und mit hoher Präzision durchgeführt werden kann. So lässt sich die Qualität von Produktströmen, zum Beispiel von Schuppenströmen, in Kurven in der Ebene oder im Raum, von Produkten in Verarbeitungstrommeln oder auf Wickeln gut überwachen, da das erfindungsgemässe Verfahren und die erfindungsgemässe Vorrichtung kaum Einschränkungen hinsichtlich der räumlichen Ausrichtung der zu überwachenden Produkte nötig machen. Das erfindungsgemässe Verfahren lässt sich auch vorteilhaft zur Qualitätskontrolle einsetzen, wenn die zu kontrollierenden Produkte in Taschen oder Fördertrommeln transportiert und/oder verarbeitet werden.However, a particular advantage of the method according to the invention lies in the fact that the quality control can be carried out very simply and with high precision, even in non-linear situations. Thus, the quality of product flows, for example of scale flows, in curves in the plane or in the room, of products in processing drums or on windings can be well monitored, since the method according to the invention and the device according to the invention hardly any restrictions with respect to the spatial orientation of the products to be monitored make necessary. The inventive method can also be used advantageously for quality control, if the products to be controlled are transported and / or processed in bags or conveyor drums.

Je nach Fehlerart die bestimmt werden soll, ist es angezeigt Lichtlinien nicht oder nicht nur parallel zu einer Förderrichtung, respektive im Wesentlichen entlang oder parallel zu einer Längsachse der Förderstrecke, sondern ausschliesslich oder zusätzlich auch quer zu dieser zu erzeugen. Eine oder mehrere Linienprofile werden dabei im Wesentlichen entlang oder parallel zu einer Querachse der Förderstrecke erzeugt. Dies vorzugsweise wenn die Ausrichtung und/oder Lage des Produkts bezüglich der Querachse bestimmt wird.Depending on the type of fault that is to be determined, it is indicated that light lines are not or not only parallel to a conveying direction, or substantially along or parallel to a longitudinal axis of the conveying path, but exclusively or additionally to produce transversely thereto. One or more line profiles are thereby generated substantially along or parallel to a transverse axis of the conveyor line. This is preferably when the orientation and / or position of the product with respect to the transverse axis is determined.

Aus den folgenden Erläuterungen zum Linienprofil und insbesondere zur Rolle der Kantenpunkte wird für den Fachmann deutlich, dass das erfindungsgemässe Verfahren und die Vorrichtung den Nutzern ein hohes Mass an Variationsmöglichkeiten hinsichtlich der Anordnung der Lichtlinien auf den zu kontrollierenden Produkten, Produktgruppen und/oder Produktströmen bieten. Die Lichtlinien können zum Beispiel je nach räumlichen Gegebenheiten in der Weiterverarbeitungsanlage oder nach den zu erwartenden Fehlertypen auch in beliebigen weiteren Winkelstellungen zu den Längs- und/oder Querachsen der Produkte oder der Förderrichtungen ausgerichtet sein.It will be apparent to those skilled in the art from the following discussion of the line profile and, in particular, the role of the edge points, that the method and apparatus provide users with a high degree of variation in the arrangement of the lines of light on the products, product groups and / or product streams to be controlled. The lines of light can be aligned, for example, depending on the spatial conditions in the processing plant or on the expected types of errors in any other angular positions to the longitudinal and / or transverse axes of the products or the conveying directions.

So lassen sich zum Beispiel dieselben vier Kantenpunkte, zum Beispiel die Mittelpunkte der Seitenkanten, auf den vier Kanten eines quadratischen Produkts durch zwei sich kreuzende Lichtlinien entlang der Längs- und der Querachse oder durch zwei parallele Lichtlinien die jeweils im Winkel von 45° zu Längs- und Querachse verlaufen. Dieselben vier Kantenpunkte lassen sich auch durch vier Lichtlinien generieren. 0b diese vier Lichtlinien, gemäss diesem Beispiel, von einer einzigen Lichtquelle oder von mehreren Lichtquellen erzeugt werden spielt dabei keine Rolle. Vorteilhaft ist es eine Lichtlinie nur von einer Lichtquelle erzeugen zu lassen, um Unschärfen durch ungenau justierte Lichtquellen zu vermeiden. Durch den Einsatz von Linsen, Filtern, anderen strahlformenden Einrichtungen und vor allem auch durch Spiegel lassen sich die erzeugten Strahlprofile derart verändern und/oder umlenken, dass mit nur einer Strahlungsquelle mehr als eine Lichtlinie an verschiedenen Positionen in gewünschten Längen mit gewünschter Schärfe generiert werden können.Thus, for example, the same four edge points, for example the centers of the side edges, on the four edges of a square product can be defined by two intersecting light lines along the longitudinal and transverse axes or by two parallel light lines each at an angle of 45 ° to the longitudinal direction. and transverse axis. The same four edge points can also be generated by four light lines. 0b these four light lines, according to this example, generated by a single light source or multiple light sources does not matter. It is advantageous to have a light line generated only by a light source to avoid blurring by inaccurately adjusted light sources. Through the use of lenses, filters, other beam-shaping devices and above all by mirrors, the generated beam profiles can be changed and / or redirected so that more than one light source can be generated at different positions in desired lengths with desired sharpness with only one radiation source ,

Bezüglich vorteilhafter Anordnungen von Lichtquelle und Detektionsoptik zueinander und zu den zu kontrollierenden Produkten, das heisst bezüglich Beleuchtungsstrahl- und Detektionsstrahlachse, soll auf die obigen Ausführungen zur WO 2008119192 verwiesen werden, die sich grundsätzlich auf die vorliegende Erfindung übertragen lassen.With regard to advantageous arrangements of light source and detection optics to each other and to the products to be controlled, that is with respect to illumination beam and detection beam axis, is to the above statements to WO 2008119192 be referred, which can be basically transferred to the present invention.

Die Lichtlinien generieren im Zusammenwirken mit den beaufschlagten Oberflächen der zu kontrollierenden Produkte und allenfalls auch im Zusammenwirken mit Oberflächen wesentlicher Transportmittel sehr kontrastreiche Linienprofile, von denen elektronische Bilder erfasst werden. Das vorzugsweise mittels einer digitalen Kamera erfasste elektronische Bild umfasst mindestens einen Bereich des Druckprodukts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie definierten Linienprofils.The lines of light, in cooperation with the exposed surfaces of the products to be controlled and possibly also in interaction with surfaces of essential means of transport, generate very high-contrast line profiles from which electronic images are recorded. The electronic image, which is preferably detected by means of a digital camera, comprises at least one region of the printed product, the product group or the product stream with at least a part of the line profile defined by the light line.

Im Folgenden wird, der Einfachheit halber, das elektronische Abbild des von der Lichtlinie auf der beleuchteten Oberfläche generierten Linienprofils, weiterhin als Lichtlinie bezeichnet. Es ist für den Fachmann ohne weiteres möglich aus dem Zusammenhang zu erkennen ob es sich bei den beschriebenen Lichtlinien um die tatsächlich auf Produkte projizierten Lichtlinien oder die elektronisch erfassten, abgespeicherten, bearbeiteten etc. virtuellen Lichtlinien handelt.Hereinafter, for the sake of simplicity, the electronic image of the line profile generated by the light line on the illuminated surface will be referred to as the light line. It is readily possible for a person skilled in the art to recognize from the context whether the light lines described are the light lines actually projected on products or the electronically detected, stored, processed, etc. virtual light lines.

Beim erfindungsgemässen Kontrollverfahren umfasst das Ermitteln des mindestens einen Produktkennzeichens zumindest die folgenden Schritte:

  1. a. ein Bestimmen der mindestens einen Lichtlinie im elektronischen Bild;
  2. b. ein Bestimmen eines Kurvenverlaufs der Lichtlinie; und
  3. c. ein Ermitteln einer Positionsangabe mindestens eines Produktkantenpunkts aus dem Kurvenverlauf der Lichtlinie.
In the inventive control method, determining the at least one product identifier comprises at least the following steps:
  1. a. determining the at least one light line in the electronic image;
  2. b. determining a curve of the light line; and
  3. c. determining a position specification of at least one product edge point from the curve of the light line.

Unter Kurvenverlauf wird im Kontext der vorliegenden Erfindung nicht nur der Verlauf der Linie, respektive des Linienprofils in X- und Y-Richtung im elektronischen Bild, sondern auch der Verlauf der Intensität, respektive der Breite der Linie im elektronischen Bild sowie auch das Vorhandensein oder Fehlen der Linie verstanden. Ein wesentlicher Vorteil der vorliegenden Erfindung besteht darin, dass den relevanten Produktkantenpunkten Positionsangaben zugeordnet sind. Diese positionsgenau ermittelten Kantenpunkte erlauben es nicht nur quantitative Aussagen zum Vorhandensein oder der Anzahl der kontrollierten Produkte zu machen, sondern auch eine ganze Reihe von qualitativen und quantitativen Parametern wie Lage, Breite, Höhe, Dicke, Länge etc. der Produkte zu ermitteln.Under the course of the curve in the context of the present invention is not only the course of the line, respectively the line profile in the X and Y direction in the electronic image, but also the course of the intensity, respectively the width of the line in the electronic image as well as the presence or absence understood the line. A significant advantage of the present invention is that the relevant product edge points are assigned position information. These positionally determined edge points not only make it possible to make quantitative statements about the presence or the number of controlled products, but also to determine a whole series of qualitative and quantitative parameters such as position, width, height, thickness, length etc. of the products.

Das Bestimmen der Lichtlinie im elektronischen Bild umfasst gemäss bevorzugter Ausführungsformen die folgenden Schritte:

  1. a. eine Rauschunterdrückung im elektronischen Bild;
  2. b. ein Hervorheben der Lichtlinie durch ein Optimalfilter;
  3. c. ein Detektieren der Lichtlinie im elektronischen Bild basierend auf Helligkeitswerten;
  4. d. ein Füllen von vorhandenen Lücken in der Lichtlinie; und
  5. e. ein Glätten von detektionsbedingten Knicken/Artefakten in der Lichtlinie.
The determination of the light line in the electronic image comprises according to preferred embodiments the following steps:
  1. a. a noise reduction in the electronic picture;
  2. b. highlighting the light line through a matched filter;
  3. c. detecting the light line in the electronic image based on brightness values;
  4. d. a filling of existing gaps in the light line; and
  5. e. a smoothing of detection-related kinks / artifacts in the light line.

Um den sogenannten Fixpattern-Noise der Kamera zu unterdrücken wird vorzugsweise die Differenz zwischen einem tatsächlich aufgenommenen Eingangsbild und einem mit abgedecktem Objektiv der Kamera aufgenommenen Dunkelbild berechnet und zur Korrektur des aufgenommenen Eingangsbild verwendet.In order to suppress the so-called fixed pattern noise of the camera, the difference between an actually recorded input image and a dark image taken with the lens covered by the camera is preferably calculated and used to correct the recorded input image.

Vor dem Bestimmen des Kurvenverlaufs der Lichtlinie wird gemäss bevorzugter Ausführungsformen das elektronische Bild in eine Solllage rotiert, um die nachfolgenden Analyse- und Berechnungsschritte, besonders allfällige Vergleichsschritte, zu vereinfachen.Before determining the curve of the light line according to preferred embodiments, the electronic image is rotated to a desired position to simplify the subsequent analysis and calculation steps, especially any comparison steps.

Es hat sich auch als vorteilhaft erwiesen aus dem erfassten elektronischen Bild nur einen oder mehrere Ausschnitte weiterzuverarbeiten. Die Ausschnitte sind so gewählt, dass sie lediglich die Bereiche der Lichtlinie mit den zu erfassenden Änderungen, respektive Kantenpunkten umfassen. Dadurch wird sichergestellt, dass die Lichtlinie die Teile des Hintergrunds oder stark reflektierende Metallteile der Förderanlage beleuchtet die Auswertung nicht stören kann. Solche helle Punkte im elektronischen Bild könnten ansonsten fälschlicherweise als zur Linie gehörend betrachtet werden. Beim sogenannten Cropping wird der Ausschnitt des elektronischen Bilds, der weiterverarbeitet wird anhand der Position begrenzt. Vorzugsweise definieren vier Pixel (ymin, ymax, Xmin, xmax) einen rechteckigen Bildausschnitt, der beliebig vorgegeben oder ausgewählt werden kann.It has also proved to be advantageous to further process only one or more sections from the captured electronic image. The cutouts are chosen so that they only include the areas of the light line with the changes to be detected, respectively edge points. This ensures that the light line does not disturb the parts of the background or heavily reflecting metal parts of the conveyor system. Such bright spots in the electronic image could otherwise be mistaken for belonging to the line. With so-called cropping, the section of the electronic image that is processed further is limited by the position. Preferably For example, four pixels (y min , y max , x min , x max ) define a rectangular image section that can be arbitrarily specified or selected.

Da auch nach dem Unterdrücken des Fixpattern-Noise störendes Rauschen im elektronischen Bild übrig ist, das ab einer gewissen Intensität die Detektion der Linie im Bild erschweren kann, wird zur Rauschunterdrücken, respektive der Hervorhebung der aufgenommenen Lichtlinie vorzugsweise ein matched Filter oder Optimalfilter, der im wesentlichen die Form der erwarteten Lichtlinie und deren Breite folgt und das Rauschen mit zunehmendem Abstand von einer mittleren Bildpunktzeile dieser erwarteten Linie stärker unterdrückt.Since even after suppressing the Fixpattern noise disturbing noise is left in the electronic image, which can complicate the detection of the line in the image from a certain intensity, the noise reduction, respectively highlighting the recorded light line is preferably a matched filter or optimal filter in the essentially follows the shape of the expected light line and its width, and the noise is more suppressed with increasing distance from a center pixel line of this expected line.

Das eigentliche Detektieren der Lichtlinie erfolgt gemäss einer ersten Ausführungsform über das bestimmen des Bildpunkts mit dem maximalen Helligkeitswerte einer jeden Bildzeile und der Zuordnung dieses Bildpunkts zur Linie falls sein Helligkeitswert einen vorgegebenen Schwellenwert übersteigt. Diese Methode, bei der nun eine virtuelle Lichtlinie mit einer Breite von einem Pixel generiert wurde, eignet sich besonders zur Erfassung von Änderungen im Linienprofil, die auf Richtungsänderungen und/oder Unterbrüchen beruhen, wenn bestehende Lücken in der Linie gefüllt werden.The actual detection of the light line is carried out according to a first embodiment by determining the pixel with the maximum brightness values of each image line and the assignment of this pixel to the line if its brightness value exceeds a predetermined threshold. This method, which now generates a one-pixel-wide virtual light line, is particularly useful for detecting changes in the line profile that are due to directional changes and / or breakages when filling existing gaps in the line.

Vor allem in Bereichen in denen Licht verloren geht, da die zu kontrollierenden Produkte, respektive Bereiche davon in einem ungünstigen, zum Beispiel flachen Winkel zur Kamera und zum Laser stehen, kann es passieren, dass der maximale Helligkeitswert einzelner Zeilen zu klein wird und damit die Line an diesen Stellen unterbrochen wird. Die so entstandenen Lücken werden aufgefüllt, in dem zwischen den Punkten am Rand der Lücke, das heisst zwischen als Linienpunkte erkannten Punkten benachbarter Bildzeilen, linear interpoliert wird. Dabei wird vorzugsweise eine maximale Lückengrösse, zum Beispiel über die Anzahl der Bildzeilen ohne Bildpunkt mit einem maximalen Helligkeitswert oberhalb des vorgegebnen Schwellenwerts vordefiniert. Übersteigt die Lückengrösse diesen Maximalwert, dann wird nicht mehr aufgefüllt.Especially in areas where light is lost, because the products to be controlled, respectively areas of it are in an unfavorable, for example flat angle to the camera and the laser, it can happen that the maximum brightness value of individual lines becomes too small and thus the Line is interrupted at these points. The resulting gaps are filled in by interpolating linearly between the points at the edge of the gap, that is, between points of adjacent image lines recognized as line points. In this case, a maximum gap size, for example, over the number of image lines without a pixel with a maximum brightness value above the predetermined threshold value is preferably predefined. If the gap size exceeds this maximum value, then it will not be filled up.

Da das Maximum einer Zeile, das heisst der Bildpunkt mit dem maximalen Helligkeitswerte einer Bildzeile, als Position der Linie die Lichtlinie in vielen Fällen nicht sehr genau charakterisiert kann es Knicke in der Linie geben, die das Bestimmen des tatsächlichen Verlaufs der Linie erschweren können, da sie ähnlich sind, wie "Knicke" durch Produktkanten zum Beispiel beim Übergang zwischen zwei Produkten. Aus diesem Grund wird die Position der Linie vorzugsweise der tatsächlichen Position nachträglich angenähert. Dabei muss der verwendete Algorithmus die Knicke durch die Produktkanten/Übergänge stehen lassen und falsche Knicke jedoch glätten.Since the maximum of a line, that is to say the pixel with the maximum brightness value of a picture line, as the position of the line does not very precisely characterize the light line in many cases, there may be kinks in the line which can make it difficult to determine the actual course of the line they are similar, such as "kinks" by product edges, for example, in the transition between two products. For this reason, the position of the line is preferably approximated to the actual position. The algorithm used must allow the kinks to pass through the product edges / transitions, but smoothen false kinks.

Zur Erkennung von Änderungen im Linienprofil die auf Breiten- und/oder Intensitätsänderungen beruhen ist es gemäss bestimmter Ausführungsformen vorteilhaft die Lücken nicht zu Füllen. Eine Lücke in der Linie entspricht zum Beispiel einem Bereich mit niedriger Reflektion und stellt damit keinen Fehler in der Linie, sondern die eigentlich angestrebte Information dar. Soll zum Beispiel überprüft werden ob ein Werbeaufkleber mit reflektierender Oberfläche auf der Titelseite einer Tageszeitung an der korrekten Position aufgeklebt ist, so kann der vorgegebene Schwellenwert für die Zuordnung der Bildpunkte zur Lichtlinie so hoch angesetzt werden, dass er überhaupt nur von den Punkten der Lichtlinie erreicht wird, die im Bereich der stark reflektierenden Oberfläche des Aufklebers liegen. Beginn und Ende der erfassten Lichtlinie entsprechen in diesem Fall den beiden Kantenpunkten des Aufklebers.In order to detect changes in the line profile which are based on changes in width and / or intensity, it is advantageous, according to certain embodiments, not to fill the gaps. A gap in the line, for example, corresponds to a region with low reflection and thus represents no error in the line, but the actually desired information dar. For example, to be checked whether a sticker with reflective surface on the front page of a newspaper glued to the correct position is, so the predetermined threshold for the assignment of the pixels to the light line can be set so high that it is only achieved by the points of the light line, which lie in the region of the highly reflective surface of the sticker. The beginning and end of the detected light line in this case correspond to the two edge points of the sticker.

Gemäss bevorzugter Ausführungsformen des neuen Verfahrens wird basierend auf dem wie oben beschrieben bearbeiteten elektronischen Abbild der Lichtlinie in einem weiteren Schritt mindestens eine erste Ableitung der Lichtlinie berechnet, anschliessend werden die Nulldurchgänge der Ableitung der Lichtlinie, und damit die Richtungsänderungen der Lichtlinie bestimmt.According to preferred embodiments of the new method, based on the electronic image of the light line processed as described above, in a further step at least a first derivative of the light line is calculated, then the zero crossings of the derivative of the light line, and thus the direction changes of the light line are determined.

Da das abgeleitete Signal stark verrauscht sein kann, wird es vorzugsweise zusätzlich mit einem Tiefpass gefiltert. (z.B. FIR-Filter, Fenster-Methode, Hamming-Window). Da ein solches FIR-Filter eine Verschiebung von (Anzahl Koeffizienten -1)/2 einfügt, wird das gefilterte Signal entsprechend korrigiert.Since the derived signal can be very noisy, it is preferably additionally filtered with a low-pass filter. (eg FIR filter, window method, Hamming window). As such FIR filter inserts a shift of (number of coefficients -1) / 2, the filtered signal is corrected accordingly.

Eine zweite Ableitung lässt sich berechnen, in dem die gefilterte erste Ableitung nochmals abgeleitet wird. Betrachtet man die Anzahl der Nulldurchgänge der zweiten Ableitung (Wendepunkte), welche nach dem Maximum der ersten Ableitung auftreten, so kann diese Anzahl ein Mass dafür sein, ob der analysierte Bildbereich keine, eine, zwei oder mehrere Produktkanten enthält.A second derivative can be calculated, in which the filtered first derivative is derived again. If one considers the number of zero crossings of the second derivative (inflection points) which occur after the maximum of the first derivative, this number can be a measure of whether the analyzed image region contains no, one, two or more product edges.

Anhand der Anzahl der Nulldurchgänge einer ersten Ableitung der Lichtlinie, dem maximalen Wert der ersten Ableitung, der Anzahl der Nulldurchgänge einer zweiten Ableitung der Lichtlinie, die nach dem maximalen Wert der ersten Ableitung auftreten, und Betrag eines Winkels einer Richtungsänderung der Lichtlinie lässt sich also bestimmen ob und wie viele Kantenpunkte vorhanden sind. Die erfindungsgemässe weitere Information über die Lage der Kantenpunkte ist diesen jeweils zugeordnet. Die Lageinformation ist dabei punktgenau als y- und x-Wert codiert, oder unschärfer zum Beispiel über vier Positionswerte (zum Beispiel: y1, y1+n, x1, x1+m) die einen Bereich von (zum Beispiel (1+n) x (1+m)) Bildpunkten definieren. Dieser Bereich kann sogar mit dem Bildausschnitt nach dem Cropping übereinstimmen.Based on the number of zero crossings of a first derivative of the light line, the maximum value of the first derivative, the number of zero crossings of a second derivative of the light line, which occur after the maximum value of the first derivative, and the amount of an angle of a change in direction of the light line can thus be determined if and how many edge points are present. The inventive further information about the position of the edge points is assigned to each of these. The position information is pinpoint coded as y- and x-value, or blurred, for example, over four position values (for example: y1, y1 + n, x1, x1 + m) which covers a range of (for example (1 + n) x (1 + m)) define pixels. This range may even match the crop after cropping.

Das erfindungsgemässe Kontrollverfahren erlaubt es mittels der generierten Messinformation eine Kantenanzahl, die zum Beispiel einer Produktanzahl entspricht, basierend auf Merkmalen des Kurvenverlaufs der Lichtlinie zu bestimmen.The control method according to the invention makes it possible, by means of the generated measurement information, to determine an edge number which, for example, corresponds to a product number, based on features of the curve shape of the light line.

Beispiele für Messinformationen die mittels dem erfindungsgemässen Kontrollverfahren generiert werden sind in der folgenden - nicht abschliessenden - Auflistung zusammengestellt. Es können einzelne oder Kombinationen von Messwerten der folgenden Gruppe generiert werden:

  1. a) eine Lageinformation mindestens einer Druckproduktkante;
  2. b) eine Längeninformation mindestens eines Druckprodukts;
  3. c) eine Breiteninformation mindestens eines Druckprodukts;
  4. d) eine Höheninformation mindestens eines Druckprodukts;
  5. e) eine Lageinformation einer Heftklammer;
  6. f) eine Lageinformation mindestens zweier Druckproduktkanten desselben oder unterschiedlicher Druckprodukte; und
  7. g) Anzahl von Druckprodukten innerhalb eines definierten Bereichs der Förderstrecke.
Examples of measurement information generated by the control method according to the invention are summarized in the following - not exhaustive - list. You can generate individual or combinations of measurements from the following group:
  1. a) a position information of at least one printed product edge;
  2. b) length information of at least one printed product;
  3. c) a width information of at least one printed product;
  4. d) height information of at least one printed product;
  5. e) a position information of a staple;
  6. f) a position information of at least two printed product edges of the same or different printed products; and
  7. g) Number of printed products within a defined range of the conveyor line.

Die Messinformation wird möglichst in Echtzeit generiert, vorzugsweise innerhalb einer Arbeitstaktzeit.The measurement information is generated as possible in real time, preferably within a work cycle time.

Eine Vorrichtung zur Durchführung des optischen Kontrollverfahrens gemäss der vorliegenden Erfindung umfasst folgendes:

  1. a. Projektionsmittel zum Generieren mindestens eines Strahlprofils und zum Beaufschlagen eines flächigen Druckprodukts, einer Produktgruppe oder eines Produktstroms, welche entlang einer Förderstrecke geführt werden, mit dem mindestens einen Strahlprofil zum Erzeugen eines durch eine Lichtlinie definierten Linienprofils;
  2. b. mindestens einen optischen Sensor, vorzugsweise eine Digitalkamera, zum Erfassen eines elektronischen Bildes des Druckereiprodukts, der Produktgruppe oder des Produktstroms, welche entlang der Förderstrecke am optischen Sensor vorbeigeführt werden, wobei das elektronische Bild mindestens einen Bereich des Druckprodukts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie definierten Linienprofils umfasst; und
  3. c. eine Bildverarbeitungseinheit, welche eingerichtet ist, basierend auf dem durch die Lichtlinie definierten Linienprofil aus dem elektronischen Bild mindestens ein Produktkennzeichen zu ermitteln, basierend auf dem mindestens einen Produktkennzeichen eine Messinformation zu generieren, und basierend auf der Messinformation mindestens ein Signal zu erzeugen, das an eine übergeordnete Systemsteuerung weitergegeben werden kann.
An apparatus for carrying out the optical control method according to the present invention comprises:
  1. a. Projection means for generating at least one beam profile and for applying a flat printed product, a product group or a product stream, which are guided along a conveying path, with the at least one beam profile for generating a defined by a light line line profile;
  2. b. at least one optical sensor, preferably a digital camera, for capturing an electronic image of the printed product, the product group or the product stream, which are passed along the conveying path on the optical sensor, wherein the electronic image at least a portion of the printed product, the product group or the product stream with at least a part of the line profile defined by the light line comprises; and
  3. c. an image processing unit which is set up to determine at least one product identifier based on the line profile defined by the light line from the electronic image, to generate measurement information based on the at least one product identifier, and to generate at least one signal based on the measurement information higher-level control panel can be passed.

Wie bereits aus der W02008119192 bekannt ist, werden zur Erzeugung der Lichtlinien vorzugsweise im Wesentlichen monochromatische Lichtquellen, zum Beispiel Laser, verwendet. Entsprechend lassen sich die zur Bilderfassung verwendeten Kameras mit Filterelementen versehen um das erfindungsgemässe System noch weniger anfällig für Störeinflüsse zu machen. Bei der Überwachung von Verarbeitungsanlagen, bei denen die Produkte in einem streng festgelegten Takt gefördert und bearbeitet werden, werden bevorzugt gepulste Laser verwendet, die auf den Produkttakt synchron getaktet sind. Bei nicht getakteten Anlagen, respektive Produktströmen lassen sich die Laser auf bekannte Weise über Lichtschranken oder andere Taktgeber takten. Die Lebensdauer der Laser lässt sich dadurch erhöhen und der Energieverbrauch gleichzeitig verringern.As already from the W02008119192 It is known that substantially monochromatic light sources, for example lasers, are used to generate the lines of light. Accordingly, the cameras used for image acquisition can be provided with filter elements to make the inventive system even less susceptible to interference. When monitoring processing plants in which the products are conveyed and processed in a strictly fixed cycle, preferably pulsed lasers are used, which are clocked synchronously to the product clock. With non-clocked systems or product streams, the lasers can be clocked in known manner via light barriers or other clocks. This increases the service life of the lasers and at the same time reduces energy consumption.

Analog zum Verwenden gepulster Lichtquellen lässt sich auch der optische Sensor takten.Analogous to using pulsed light sources, the optical sensor can also be clocked.

Um den Energieverbrauch und auch die Kosten für die erfindungsgemässen Anlagen weiter zu senken werden die erzeugten Laserlinien so kurz als möglich gehalten. Zur Beleuchtung der relevanten Produktkanten genügen oft kurze Laserlinien von wenigen Zentimetern Länge. Da sich Fehllagen auch anhand des Fehlens von Kantenpunkten erkennen lassen, muss nicht zwingend der gesamte Bereich innerhalb dessen ein Kantenpunkt zum Beispiel bei einem falsch positionierten Produkt liegen könnte beleuchtet werden. Es genügt im Extremfall nur den Toleranzbereich, innerhalb dessen ein Kantenpunkt bei einer korrekten Produktposition, Produktgrösse etc. liegen muss, zu beleuchten. Mittels geeigneter Filter und/oder Vorsatzlinsen und/oder Spiegeleinrichtungen lassen sich mehrere Lichtlinien an unterschiedlichen Positionen mittels einem einzigen Laser generieren.In order to further reduce the energy consumption and also the costs for the systems according to the invention, the laser lines produced are kept as short as possible. To illuminate the relevant product edges, short laser lines of a few centimeters in length are often sufficient. Since misplacements can also be detected on the basis of the absence of edge points, it is not absolutely necessary to illuminate the entire area within which an edge point could lie, for example, in the case of an incorrectly positioned product. In extreme cases, it is only necessary to illuminate the tolerance range within which an edge point must lie with a correct product position, product size, etc. By means of suitable filters and / or additional lenses and / or mirror devices, multiple lines of light can be generated at different positions by means of a single laser.

Die Lichtenergie, zum Beispiel die Laserenergie wird vorzugsweise homogen über die das zu generierende Linienprofil verteilt. Dies erlaubt die Anzahl der Bildbearbeitungsschritte möglichst niedrig zu halten, da sich bei einer per se homogenen Helligkeitsverteilung Änderungen im Linienprofil mit direkt den zu detektierenden Kantenpunkten zuschreiben lassen. Es soll nochmals erwähnt werden, dass unter Änderungen im Linienprofil sowohl Richtungsänderungen und/oder Unterbrüche wie auch Breiten- und/oder Intensitätsänderungen verstanden werden sollen.The light energy, for example the laser energy, is preferably distributed homogeneously over the line profile to be generated. This makes it possible to keep the number of image processing steps as low as possible, since changes in the line profile directly attributable to the edge points to be detected can be attributed to a per se homogeneous brightness distribution. It should be mentioned again that changes in the line profile should be understood as meaning changes of direction and / or interruptions as well as changes in width and / or intensity.

Der optische Sensor ist vorzugsweise mit einer schräg zur Strahlachse der Projektionsmittel verlaufenden optischen Achse entfernt von den zu kontrollierenden Produkten angeordnet wenn Oberflächenprofile erfasst werden sollen. Zum erfassen von Intensitätsprofilen können die beiden Achsen parallel und mit geringem Abstand zueinander ausgerichtet sein.The optical sensor is preferably arranged with an oblique to the beam axis of the projection means extending optical axis away from the products to be controlled when surface profiles are to be detected. To capture intensity profiles, the two axes can be aligned parallel to each other and at a small distance.

In bestimmten Ausführungsformen der Erfindung kommen mehr als ein Projektionsmittel und/oder mehr als ein optischer Sensor zum Einsatz. So hat es sich zum Beispiel als vorteilhaft erwiesen verschiedene Ansichten der zu kontrollierenden Produkte und/oder Produktbereiche die von einer Kamera nicht gleichzeitig eingesehen werden können, durch zwei Kameras zu erfassen. Alternativ dazu können gemäss der Schweizer Anmeldung CH (Nummer noch nicht bekannt) mit dem gleichlautenden Titel " Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung" vom 23. September 2009 Spiegel eingesetzt werden. Mittels der Spiegel lassen sich zum Beispiel Vorder- und Rückseite einer Produktgruppe gleichzeitig mit einem Strahlprofil und einem Spiegelstrahlprofil beaufschlagen und die derart beaufschlagten Bereiche lassen sich mit Hilfe von Spiegeln von einer einzigen Kamera gleichzeitig erfassen.In certain embodiments of the invention, more than one projection means and / or more than one optical sensor are used. Thus, for example, it has proved to be advantageous to use different views of the products and / or product areas to be monitored, which can not be viewed simultaneously by a camera, by two Capture cameras. Alternatively, according to the Swiss application CH (number not yet known) with the same title " Optical Control Method for Quality Assessment in Postpress "of 23 September 2009 Mirrors are used. By means of the mirrors, for example, the front and back of a product group can be acted on simultaneously with a beam profile and a mirror beam profile, and the areas thus exposed can be simultaneously detected by means of mirrors from a single camera.

Die Bildverarbeitungseinheit ist derart eingerichtet, dass das mindestens eine Produktkennzeichen durch Bestimmen von Positionsangaben mindestens eines Produktkantenpunkts ermittelt werden kann, und die Messinformation basierend auf den Positionsangaben des mindestens einen Produktkantenpunkts zu generierbar ist.The image processing unit is set up such that the at least one product identifier can be determined by determining position information of at least one product edge point, and the measurement information can be generated based on the position information of the at least one product edge point.

Vorzugsweise sind die Projektionsmittel derart eingerichtet, dass mindestens zwei durch Lichtlinien definierte Linienprofile mit zueinander bekannter räumlicher Lage erzeugt werden und die Bildverarbeitungseinheit ist derart eingerichtet, dass basierend auf den mindestens zwei durch die Lichtlinien definierten Linienprofilen jeweils Positionsangaben von mindestens einem Produktkantenpunkt ermittelt werden.The projection means are preferably set up in such a way that at least two line profiles defined by light lines are generated with spatial position known to each other and the image processing unit is set up to determine position information from at least one product edge point based on the at least two line profiles defined by the light lines.

Die Bildverarbeitungseinheit ist derart eingerichtet, das mindestens eine Produktkennzeichen durch Bestimmen der Lichtlinie im elektronischen Bild, Bestimmen eines Kurvenverlaufs der Lichtlinie und Ermitteln einer Positionsangabe eines Produktkantenpunkts aus dem Kurvenverlauf der Lichtlinie zu ermitteln.The image processing unit is configured to determine the at least one product identifier by determining the light line in the electronic image, determining a curve shape of the light line and determining a position specification of a product edge point from the curve of the light line.

Als vorteilhaft haben sich Vorrichtungen erwiesen, bei denen die Bildverarbeitungseinheit so eingerichtet ist, den Kurvenverlauf der Lichtlinie durch Rotation des elektronischen Bilds in eine Solllage, Berechnung von mindestens einer Ableitung der Lichtlinie, Berechnung von Nulldurchgängen der Ableitung der Lichtlinie, und Bestimmung von Richtungsänderungen der Lichtlinie zu bestimmen. Zudem ist es vorteilhaft die Bildverarbeitungseinheit derart einzurichten, dass die Messinformation durch Bestimmen einer Produktanzahl basierend auf Merkmalen des Kurvenverlaufs der Lichtlinie generierbar ist, wobei die Merkmale des Kurvenverlaufs mindestens eines umfassen aus: Anzahl Nulldurchgänge einer ersten Ableitung der Lichtlinie, maximaler Wert der ersten Ableitung, Anzahl Nulldurchgänge einer zweiten Ableitung der Lichtlinie, die nach dem maximalen Wert der ersten Ableitung auftreten, und Betrag eines Winkels einer Richtungsänderung der Lichtlinie.Devices have proved to be advantageous in which the image processing unit is set up in such a way that the curve of the light line is rotated by rotation of the electronic image into a desired position, calculation of at least one derivative of the light line, calculation of Zero crossings of the derivative of the light line, and determination of changes in direction of the light line to determine. In addition, it is advantageous to set up the image processing unit in such a way that the measurement information can be generated by determining a product number based on features of the curve of the light line, wherein the characteristics of the curve comprise at least one of: number of zero crossings of a first derivative of the light line, maximum value of the first derivative, Number of zero crossings of a second derivative of the light line occurring after the maximum value of the first derivative, and magnitude of an angle of change of direction of the light line.

Werden mehrere Lichtlinien, wie oben bereits kurz beschrieben über eine Triangulation über Spiegel erzeugt, so bringt dies den Vorteil mit sich, dass diese Lichtlinien bei gepulsten Lichtquellen absolut zeitsynchron sind.If several lines of light, as already briefly described above, are generated by means of triangulation via mirrors, this has the advantage that these lines of light are absolutely time-synchronized in the case of pulsed light sources.

Die Einsatzbereiche der erfindungsgemässen Vorrichtungen und Verfahren umfassen, sind aber nicht eingeschränkt auf :

  1. a) die Qualitätskontrolle eines Schuppenstroms, bei der nicht nur die Anzahl der Produkte, sondern die Lage der Produkte zueinander und die Lage der Produkte im Schuppenstrom und die Lage der Produkte relativ zum Fördermittel kontrolliert werden kann;
  2. b) die Qualitätskontrolle von einem oder mehreren Produkten in Klammern, bei der nicht nur die Anzahl der Produkte, sondern die Lage der Produkte zueinander und die Lage der Produkte in der Klammer und die Lage der Produkte relativ zur Klammer kontrolliert werden kann;
  3. c) die Kontrolle der Position und Ausrichtung von Produkten in Stapeln zueinander und/oder relativ zu einem Fördermittel;
  4. d) die Kontrolle der Position und Ausrichtung von flächigen Gegenständen, d.h. insbesondere von Teilprodukten oder "Add-Ons" wie aufgeklebten Postkarten, Werbeklebern, Adressklebern, Produktmustern, Musterbeuteln, Datenträgern wie CD-Roms oder DVDs, Booklets etc. auf Druckprodukten;
  5. e) die Bestimmung und Kontrolle von Produktmassen um falsche Gegenstände, Teilprodukte oder "Add-Ons" zu identifizieren;
  6. f) die Kontrolle der Anwesenheit und/oder Position von Heftklammern;
  7. g) die Kontrolle der Abstände zwischen Druckprodukten, wobei der Abstand dabei auch kleiner als Null sein kann; und
  8. h) die Kontrolle auf gebrochene Heftklammern oder nicht korrekt umgebogener freier Enden der Heftklammern.
The fields of application of the devices and methods according to the invention include, but are not limited to:
  1. (a) the quality control of a shingled stream in which not only the number of products but the position of the products and the position of the products in the shingled stream and the position of the products relative to the grain can be controlled;
  2. (b) the quality control of one or more products in brackets, which not only controls the number of products but also the position of the products and the position of the products in the parenthesis and the position of the products relative to the parenthesis;
  3. c) the control of the position and orientation of products in stacks relative to each other and / or relative to a conveyor;
  4. d) the control of the position and orientation of flat objects, ie in particular of partial products or "add-ons" such as pasted postcards, advertising adhesives, adhesive stickers, product samples, sample bags, data carriers such as CD-ROMs or DVDs, booklets, etc. on printed products;
  5. e) identify the identification and control of product masses to identify wrong items, partial products or add-ons;
  6. f) checking the presence and / or position of staples;
  7. g) the control of the distances between printed products, wherein the distance can also be less than zero; and
  8. h) checking for broken staples or improperly folded free ends of the staples.

Im Folgenden wird anhand der in den Figuren dargestellten Beispiele die Erfindung näher beschrieben. Dabei zeigen:

Fig. 1
in perspektivischer Darstellung eine erfindungsgemässe Vorrichtung zur Quali- tätsbeurteilung mit Druckprodukten, die jeweils Paarweise in Klammern einer Fördereinrichtung gehalten sind;
Fig. 2
in perspektivischer Darstellung eine weitere Ausführungsform einer erfindungs- gemässe Vorrichtung zur Qualitätsbeurteilung mit Druckprodukten, die im Schuppenstrom auf einer Fördereinrichtung gefördert werden;
Fig. 3
in perspektivischer Darstellung eine schematisierte Ansicht von Produkten im Schuppenstrom gemäss Figur, die mit drei Lichtlinien beaufschlagt sind auf wel- chen die zu ermittelnden Kantenpunkte markiert sind;
Fig. 4
in perspektivischer Darstellung eine stark schematisierte Ansicht eines mit ei- nem Aufkleber versehenen Druckproduktes, das mit drei Lichtlinien beauf- schlagt ist auf welchen die zu ermittelnden Kantenpunkte markiert sind;
Fig. 5a-d
jeweils ein von der Kamera aufgenommenes Bild einer Lichtlinie im Bereich der relevanten Kantenpunkte gemäss Figur 3;
Fig. 5e
ein aus den Bildern gemäss Fig. 5a-d zusammengesetztes Bild;
Fig. 6a-c
in perspektivischer Darstellung zwei versetzt zueinander angeordnete geheftete Druckprodukte beaufschlagt mit jeweils drei Lichtlinien;
Fig. 7a-c
jeweils ein von der Kamera aufgenommenes Bild der Lichtlinien im Bereich der relevanten Kantenpunkte gemäss Figur 6c;
Fig. 7d
ein aus den Bildern gemäss Fig. 7a-c zusammengesetztes Bild;
Fig. 8a-c
jeweils ein von der Kamera aufgenommenes Bild der Lichtlinien im Bereich der relevanten Kantenpunkte gemäss Figur 6b;
Fig. 8d
ein aus den Bildern gemäss Fig. 7a-c zusammengesetztes Bild;
Fig. 9
in perspektivischer Darstellung eine schematisierte Ansicht eines Stapels aus drei Druckprodukten, der mit vier Lichtlinien beaufschlagt ist, auf welchen die zu ermittelnden Kantenpunkte markiert sind;
Fig. 10a
der Produktstapel gemäss Figur 9, bei dem die Produkte in korrekter Ausrich- tung zueinander angeordnet sind;
Fig. 10b
Produktstapel gemäss Figur 9, bei dem sich das oberste Produkt in einer fehler- haften Lage befindet;
Fig. 10c
Produktstapel gemäss Figur 9, bei dem sich das oberste Produkt in einer weite- ren fehlerhaften Lage befindet;
Fig. 10d
Produktstapel gemäss Figur 9, bei dem sich das mittlere Produkt in einer fehler- haften Lage befindet;
Fig. 11
in perspektivischer Darstellung eine weitere Fehlersituation zur Kontrolle mit einer erfindungsgemässe Vorrichtung bei der Druckprodukte, die im Schuppen- strom auf einer Fördereinrichtung gefördert werden, fehlerhafte Abstände auf- weisen;
Fig. 12a
in perspektivischer Darstellung eine teilweise Ansicht von einer inkorrekten Pro- duktzusammenstellung bestehend aus drei Druckprodukten, die mit drei Lichtli- nien beaufschlagt sind, wobei das Fördermittel weggelassen ist; und
Fig. 12b
ein von zusammengesetztes Bild der Lichtlinien im Bereich der relevanten Kan- tenpunkte einer Produktzusammenstellung gemäss Fig. 12a.
The invention will be described in more detail below with reference to the examples shown in the figures. Showing:
Fig. 1
a perspective view of an inventive device for quality assessment with printed products, which are held in pairs in brackets of a conveyor;
Fig. 2
a perspective view of another embodiment of an inventive device for quality assessment with printed products, which are conveyed in the scale flow on a conveyor;
Fig. 3
in a perspective view a schematic view of products in the scale flow according to the figure, which are acted upon by three lines of light on which the edge points to be determined are marked;
Fig. 4
a perspective view of a highly schematic view of a printed product provided with a sticker, which is acted upon by three light lines on which the edge points to be determined are marked;
Fig. 5a-d
in each case an image taken by the camera of a light line in the region of the relevant edge points in accordance with FIG. 3 ;
Fig. 5e
one from the pictures according to Fig. 5a-d composite picture;
Fig. 6a-c
in perspective view, two staggered printed products arranged offset from one another act on three light lines in each case;
Fig. 7a-c
in each case an image of the light lines in the region of the relevant edge points recorded by the camera FIG. 6c ;
Fig. 7d
one from the pictures according to Fig. 7a-c composite picture;
Fig. 8a-c
in each case an image of the light lines in the region of the relevant edge points recorded by the camera FIG. 6b ;
Fig. 8d
one from the pictures according to Fig. 7a-c composite picture;
Fig. 9
a perspective view of a schematic view of a stack of three printed products, which is acted upon by four lines of light on which the edge points to be determined are marked;
Fig. 10a
the product stack according to FIG. 9 in which the products are correctly aligned with each other;
Fig. 10b
Product stack according to FIG. 9 in which the top product is in a faulty position;
Fig. 10c
Product stack according to FIG. 9 where the top product is in another faulty position;
Fig. 10d
Product stack according to FIG. 9 in which the middle product is in a faulty position;
Fig. 11
a perspective view of another error situation for checking with a device according to the invention in the printed products, which are conveyed in the scale flow on a conveyor, have erroneous distances;
Fig. 12a
a perspective view of a partial view of an incorrect product combination consisting of three printed products, which are acted upon by three light lines, wherein the conveying means is omitted; and
Fig. 12b
a composite image of the light lines in the area of the relevant edge points of a product combination according to Fig. 12a ,

Im Ausführungsbeispiel, wie es in der Figur 1 dargestellt ist, wird die Qualität des Produktstroms von in Klammern K geförderten Druckprodukten 101, 102 ermittelt und kontrolliert. Von der Fördereinrichtung sind lediglich die Klammern K angedeutet, die jeweils zwei gefalzte Druckprodukte 101, 102 im Bereich der Falzkante 110 halten. Um die Kapazität der Fördervorrichtung besser auszunutzen, werden im dargestellten Beispiel jeweils zwei Produkte 101, 102 von einer Klammer K gefördert. Die Produkte 101, 102 sind dabei versetzt zueinander angeordnet, so dass das in Förderrichtung F vorlaufende Produkt 101 jeweils weiter in die Klammer K ragt als das in Förderrichtung F nachlaufende Produkt 102. Im dargestellten Beispiel sind alle Produkte 101, 102 korrekt in den Klammern K ausgerichtet. Beim Passieren der erfindungsgemässen Vorrichtung 1 wird jeweils ein Paar von Druckprodukten 101, 102 mit vier Laserlinien 2, 3, 4, 5 beaufschlagt, die von mindestens einem Laser 10 generiert werden. Zwei der Laserlinien 2, 3 sind auf den Druckprodukten parallel zu deren Seitenkanten 111 und in Förderrichtung F ausgerichtet und erstrecken sich zumindest über die Bereiche der vorderen Falzkante 110. Zwei der Laserlinien 4, 5 erstrecken sich Quer zur Förderrichtung und verlaufen annähernd parallel zur Falzkante 110. Aus energetischen Gründen ist es vorteilhaft die Laserlinien so kurz als möglich zu halten und, wie oben bereits beschrieben gepulste Laser zu verwenden. Um das Prinzip der Beaufschlagung mit mehreren Laserlinien zu verdeutlichen sind diese in den Figuren 1 bis 4 und 9 und 10 jeweils länger gezeichnet, als sie im tatsächlichen Betrieb generiert werden. Eine elektronische Kamera 20 erfasst alle Laserlinien im Detektionsbereich.In the embodiment, as in the FIG. 1 is shown, the quality of the product flow is determined and controlled by printed in brackets K printed products 101, 102. Of the conveyor, only the brackets K are indicated, each holding two folded printed products 101, 102 in the region of the folded edge 110. In order to make better use of the capacity of the conveyor, in the example shown two products each 101, 102 promoted by a bracket K. The products 101, 102 are arranged offset from one another, so that the leading in the conveying direction F product 101 each further into the bracket K projects as the trailing in the conveying direction F product 102. In the example shown, all products 101, 102 are correct in the brackets K. aligned. When passing through the device 1 according to the invention, in each case a pair of printed products 101, 102 are subjected to four laser lines 2, 3, 4, 5, which are generated by at least one laser 10. Two of the laser lines 2, 3 are aligned on the printed products parallel to their side edges 111 and in the conveying direction F and extend at least over the regions of the front folded edge 110. Two of the laser lines 4, 5 extend transversely to the conveying direction and run approximately parallel to the folded edge 110 For energetic reasons it is advantageous to keep the laser lines as short as possible and to use pulsed lasers as already described above. In order to clarify the principle of the admission with several laser lines these are in the FIGS. 1 to 4 and 9 and 10 each drawn longer than they are generated in actual operation. An electronic camera 20 detects all laser lines in the detection area.

In der Figur 1 ist seitlich zum Förderstrom eine Laserlichtschranke 50 angeordnet, die mittels der Erfassung der Klammern K ein Triggersignal für die Taktung der erfindungsgemässen Vorrichtung und des Verfahrens generiert.In the FIG. 1 is arranged laterally to the flow of a laser light barrier 50, which generates by means of the detection of the brackets K, a trigger signal for the timing of the inventive device and the method.

In der Figur 2 ist eine weitere Einsatzmöglichkeit der erfindungsgemässen Vorrichtung 1' bei der Qualitätskontrolle eines auf einem Förderband B transportierten Schuppenstroms in der Druckweiterverarbeitung dargestellt. Laser 10' und Kamera 20' sind um einen räumlichen Winkel α versetzt zueinander über dem Schuppenstrom angeordnet. Der Laser 10' generiert drei Laserlinien 2, 3, 4. Zwei der Linien 2, 3 verlaufen parallel zur Förderrichtung F beabstandet voneinander über jeweils zumindest ein, vorzugsweise über zwei direkt aufeinander folgende Druckprodukte 103, 104. Die dritte Laserlinie 4 verläuft im rechten Winkel dazu annähernd parallel zur Falzkante 110 des vorlaufenden 103 dieser beiden Druckprodukte. In der Figur 3 sind stark schematisiert drei Druckprodukte 101, 102, 103 aus einem Schuppenstrom zum Beispiel gemäss Figur 2 im Bereich der Kontrollvorrichtung dargestellt. Die Elemente der Vorrichtung sind alle weggelassen, lediglich die auf der Oberfläche der Druckprodukte im Schuppenstrom generierten Linienprofile in Form von Laserlinien 2, 3 und 4 sind eingezeichnet. Im dargestellten Beispiel wird die Lage des in Förderrichtung F ersten Produkts 101 kontrolliert. Dazu werden vier Kantenpunkte P1, P2, P3 und P4 am Druckprodukt 101 ermittelt. Anhand der Position der beiden Kantenpunkte P1 und P2 die mit Hilfe der beiden Laserlinien 2 und 3 auf der vorlaufenden Produktkante 110 generiert werden, lässt sich bestimmen ob diese vorlaufenden Produktkante 110 in Relation zur Förderachse korrekt ausgerichtet ist. Würden nur die beiden Kantenpunkte P1 und P2 ermittelt, so könnte nicht festgestellt werden ob das Produkt 101 quer zur Förderrichtung verschoben seitlich aus dem Schuppenstrom ragt. Daher werden im dargestellten Beispiel auch noch die Kantenpunkte P3 und P4, die auf den Seitenkanten 112 und 111 liegen, ermittelt. Dadurch kann eindeutig festgestellt werden, ob das jeweils kontrollierte Produkt korrekt im Schuppenstrom ausgerichtet ist.In the FIG. 2 is a further possible use of the inventive device 1 'in the quality control of a conveyed on a conveyor belt B Schuppenstroms shown in the print finishing. Laser 10 'and camera 20' are offset from each other by a spatial angle α arranged above the scale flow. The laser 10 'generates three laser lines 2, 3, 4. Two of the lines 2, 3 run parallel to the conveying direction F spaced from each other via at least one, preferably two directly successive printed products 103, 104. The third laser line 4 is at right angles to approximately parallel to the folded edge 110 of the leading 103 of these two printed products. In the FIG. 3 are strongly schematized three printed products 101, 102, 103 from a scale flow, for example according to FIG. 2 shown in the control device. The elements of the device are all omitted, only the generated on the surface of the printed products in the scale flow line profiles in the form of laser lines 2, 3 and 4 are shown. In the example shown, the position of the first product 101 in the conveying direction F is checked. For this purpose, four edge points P1, P2, P3 and P4 are determined on the printed product 101. On the basis of the position of the two edge points P1 and P2 which are generated with the aid of the two laser lines 2 and 3 on the leading edge product 110, it can be determined whether this leading edge product 110 is aligned correctly in relation to the conveying axis. If only the two edge points P1 and P2 were determined, it would not be possible to determine whether the product 101 projects laterally out of the scale flow transversely to the conveying direction. Therefore, in the example shown, the edge points P3 and P4 lying on the side edges 112 and 111 are also determined. As a result, it can be clearly determined whether the respectively controlled product is correctly aligned in the scale flow.

Die Figuren 5a bis 5d zeigen schematisch die elektronischen Bildausschnitte im Bereich der vier generierten Kantenpunkte P1 bis P4 aus der Figur 3. Die in den Bildausschnitten gezeigten Lichtlinien sind bereits detektiert, gefiltert, geglättet und die Lücken sind gefüllt. In der Figur 5a ist die Lichtlinie im Bereich des Kantenpunkts P1 dargestellt. Entsprechend zeigen die Figuren 5b, 5c und 5d die Lichtlinien aus den Bereichen der Kantenpunkte P2, P3 und P4. In der Figur 5e sind die einzelnen elektronischen Bilder, respektive die dargestellten Lichtlinien, um einen fix vorgegebenen Wert in eine jeweilige Solllage rotiert und der Übersichtlichkeit halber nebeneinander in einem zusammengesetzten Bild dargestellt. Strichliniert sind Hilfslinien angegeben, die tatsächlich im Bild nicht generiert werden müssen, hier aber zur Erläuterung der Rotation in die Solllage benötigt werden. Die Rotation in eine Solllage erleichtert es die Linien hervorzuheben, was vorzugsweise mittels der bereits beschriebenen Optimalfilter oder Matched Filter erfolgt. Um die Anpassungen des Filters an den tatsächlichen Kurvenverlauf gering zu halten und die verwendeten Filter zum Beispiel auf einen Filter für senkrechte Strukturen beschränken zu können, wurden die Lichtlinien im dargestellten Beispiel in etwa anhand der vorgesehenen Lage der Produktkanten ausgerichtet. Da die Laserlinien die Produktkanten jeweils annähernd im rechten Winkel schneiden, durch die Winkelstellung der Kamera die Lichtlinien im elektronischen Bild aber in anderen Winkelstellungen abgebildet werden, bietet sich eine Rotation in eine Solllage an in der wesentliche Anteile der zu analysierenden Lichtlinien senkrecht stehen. Bei der Rotation der Abbilder ist zu beachten dass die Positionswerte der einzelnen Punkte auf den Linien nachgeführt werden müssen um die genaue Lagebestimmung der ermittelten Kantenpunkte zu gewährleisten.The FIGS. 5a to 5d schematically show the electronic image sections in the area of the four generated edge points P1 to P4 from the FIG. 3 , The light lines shown in the image sections are already detected, filtered, smoothed and the gaps are filled. In the FIG. 5a the light line is shown in the area of the edge point P1. Accordingly, the show Figures 5b, 5c and 5d the light lines from the areas of the edge points P2, P3 and P4. In the FIG. 5e are the individual electronic images, respectively the illustrated light lines, rotated by a fixed predetermined value in a respective desired position and the sake of clarity side by side shown in a composite image. Guides are indicated by dashed lines, which actually do not have to be generated in the image, but are needed here to explain the rotation to the desired position. The rotation in a desired position makes it easier to highlight the lines, which is preferably done by means of the already described optimal filter or matched filter. To adjust the adjustments of the filter To keep the actual curve low and to limit the filter used, for example, on a filter for vertical structures, the light lines were aligned in the example shown approximately based on the intended position of the product edges. Since the laser lines intersect the product edges in each case approximately at right angles, but by the angular position of the camera, the light lines are imaged in the electronic image but in other angular positions, offers a rotation in a desired position in which substantial portions of the light lines to be analyzed are perpendicular. When rotating the images, it must be noted that the position values of the individual points on the lines must be tracked in order to ensure the exact position determination of the determined edge points.

Im dargestellten Ausführungsbeispiel sind zwei typische Formen von Änderungen im Linienprofil dargestellt. Die detektierten Kantenlinien der vorlaufenden Produktkante 110, die in Figuren 5a und 5b und in der Figur 5e linker Hand dargestellt sind, weisen deutliche Richtungsänderungen auf. Die Kantenlinie der aus Kamerasicht hinteren Produktseitenkante 111, die in Figur 5c und in der Figur 5e rechts von der Mitte dargestellt ist, weist einen deutlichen Unterbruch auf. Die Kantenlinie der aus Kamerasicht vorderen Produktseitenkante 112, die in Figur 5d und in der Figur 5e ganz rechts dargestellt ist, weist wiederum deutliche Richtungsänderungen auf. Anhand der Richtungsänderungen und Unterbrüche lassen sich die jeweiligen Kantenpunkte positionsgenau bestimmen und allfällige Abweichungen von vorgegebenen Sollwerten können entsprechende Steuersignale oder Fehlermeldungen auslösen.In the illustrated embodiment, two typical forms of changes in the line profile are shown. The detected edge lines of the leading product edge 110, which in FIGS. 5a and 5b and in the FIG. 5e are shown left hand, have significant changes in direction. The edge line of the camera rear view product side edge 111, which in FIG. 5c and in the FIG. 5e is shown to the right of the center, has a significant interruption. The edge line of the camera-view-front product side edge 112, which in FIG. 5d and in the FIG. 5e shown on the right, again has significant changes in direction. On the basis of changes in direction and interruptions, the respective edge points can be determined with exact position and any deviations from predefined setpoints can trigger corresponding control signals or error messages.

In den Figuren 6a bis 6c sind in perspektivischer Darstellung ausschnittsweise jeweils zwei versetzt zueinander angeordnete geheftete Druckprodukte 105, 106 dargestellt, wie sie zum Beispiel in einem Klammerförderer transportiert werden. Die Druckproduktpaare 105, 106 sind mit jeweils drei Lichtlinien in Form von Laserlinien 6, 7, 8 beaufschlagt. Die Druckprodukte 105, 106 sind im Falzbereich 113, 114 mit jeweils drei Klammern 31, 32, 33 und 34, 35, 36 geheftet. Die drei Laserlinien 6, 7, 8 sind derart annähernd rechtwinklig zu den oberseitigen Falzkanten 113, 114 annähernd parallel zueinander ausgerichtet, dass sie die Falzbereiche 113, 114 jeweils im Bereich der Heftklammern 31, 34 oder 32, 35 oder 33, 36 beleuchten. In der Figur 6a sind zwei korrekt geheftete Produkte 105, 106 dargestellt. In der Figur 6b fehlt beim Produkt 105' die mittlere Heftklammer 32, was auf den Ausfall eines Heftapparats hinweist. Beim Produkt 105" gemäss der Figur 6c ist die Heftklammer 32 nicht korrekt im Falzbereich, sondern in Blickrichtung nach unten verschoben, angebracht, was zum Beispiel durch eine Dejustierung eines Heftapparats hervorgerufen sein kann.In the FIGS. 6a to 6c are in fragmentary form each two offset from each other stapled printed products 105, 106 shown as they are transported, for example, in a staple conveyor. The printed product pairs 105, 106 are each subjected to three lines of light in the form of laser lines 6, 7, 8. The printed products 105, 106 are in the folding area 113, 114, each with three brackets 31, 32, 33 and 34, 35, 36 stapled. The three laser lines 6, 7, 8 are approximately at right angles to the top folding edges 113, 114 aligned approximately parallel to each other, that they illuminate the fold areas 113, 114 respectively in the staples 31, 34 or 32, 35 or 33, 36. In the FIG. 6a two correctly stapled products 105, 106 are shown. In the FIG. 6b the middle staple 32 is missing from the product 105 ', indicating the failure of a stapler. For the product 105 "according to the FIG. 6c the staple 32 is not correctly in the fold area, but shifted in the direction of downward, attached, which may be caused for example by a misalignment of a stapler.

Aus der Figur 7 geht hervor, dass zur Kontrolle der Produktqualität, das heisst der Heftungen gemäss der Beispielen aus Figur 6, nun Änderungen im Linienprofil betrachtet werden, die auf Breiten- und/oder Intensitätsänderungen beruhen. Da die verwendeten Heftklammern aus Metalldraht das Laserlicht stark reflektieren, führen sie im elektronischen Bild zu einer lokalen Verdickung der Lichtlinie. Im Fall der korrekt gehefteten Produkte 105, 106 würden die elektronischen Bilder der erfassten Lichtlinien 31, 32, 33 alle annähernd identisch zu den Figuren 7a und 7c erscheinen. Anhand der Position der Kantenpunkte, die in den Bildern als deutliche Verdickungen der Lichtlinien erkennbar sind, kann die korrekte Position für alle Heftklammern verifiziert werden. Um das Kontrollergebnis im Fehlerfall zu erläutern sind in den Figuren 7a bis 7c jedoch tatsächlich die Abbilder zu den Lichtlinien 31, 32, 33 für das korrekt geheftete Produkt 106 und das Produkt 105" mit der falsch positionierten Klammer 32 gemäss Figur 6c dargestellt. Aus der Figur 7b ist schon von blossem Auge erkennbar, dass die Verdickung der Lichtlinie im Bereich der Klammer 32 nicht an derselben Position liegt wie bei den korrekten Heftstellen gemäss Figuren 7a und 7c. Der Zusammenzug der Abbildungen gemäss Figur 7d macht unterstützt durch ein Linienraster das Ausmass der Abweichung besonders deutlich. Der falsch positionierte Kantenpunkt kann eindeutig erkannt und ein entsprechendes Fehlersignal generiert werden, dass es dem Bedienpersonal ermöglicht umgehend die falsche Heftposition zu korrigieren.From the FIG. 7 shows that to control the product quality, ie the stapling according to the examples of FIG. 6 , now changes in the line profile are considered, which are based on width and / or intensity changes. Since the used metal wire staples strongly reflect the laser light, they cause a local thickening of the light line in the electronic image. In the case of the correctly stapled products 105, 106, the electronic images of the detected lines of light 31, 32, 33 would all be approximately identical to those of Figs FIGS. 7a and 7c appear. The correct position for all staples can be verified by the position of the edge points, which are clearly visible in the images as thickening of the light lines. To explain the control result in case of error are in the FIGS. 7a to 7c but in fact the images to the light lines 31, 32, 33 for the correctly stapled product 106 and the product 105 "with the mispositioned clip 32 according to FIG. 6c shown. From the FIG. 7b It can already be seen by the naked eye that the thickening of the line of light in the region of the clamp 32 is not at the same position as in the case of the correct stapling points FIGS. 7a and 7c , The combination of the figures according to FIG. 7d supported by a line grid makes the extent of the deviation particularly clear. The incorrectly positioned edge point can be clearly identified and a corresponding error signal generated, which allows the operator to immediately correct the wrong stapling position.

In der Figur 8b ist das elektronische Bild der Lichtlinie 32 im Bereich der fehlerhaften Heftposition 32 auf Produkt 105' aus Figur 6b dargestellt. Für das Produkt 105' wird keine Änderungen im Linienprofil basierend auf einer Breiten- und/oder Intensitätsänderung detektiert, die zur Erzeugung eines entsprechenden Kantenpunktes führen würde. Anhand der drei Lichtlinien, wie sie in der Übersicht gemäss der Figur 8d nebeneinander dargestellt sind, kann eindeutig ermittelt werden dass und welcher Kantenpunkt fehlt, was bedeutet, dass eine Heftklammer fehlt.In the FIG. 8b For example, the electronic image of the light line 32 is in the region of the defective stapling position 32 on product 105 ' FIG. 6b shown. For the product 105 ', no changes in the line profile are detected based on a change in width and / or intensity, which would lead to the generation of a corresponding edge point. On the basis of the three light lines, as in the overview according to the FIG. 8d can be clearly determined that and which edge point is missing, which means that a staple is missing.

Das Fehlen aller Kantenpunkte könnte als Fehlen aller Klammern gewertet werden, könnte aber auch von einer massiven Fehllage der Produkte in der Klammer oder dem vollständigen Fehlen der Produkte hervorgerufen werden. Die vorliegende Erfindung erlaubt es jedoch äusserst einfach zwischen solchen Fehlern zu unterscheiden. Werden zusätzlich zu den Änderungen im Linienprofil die auf Breiten- und/oder Intensitätsänderungen beruhen auch die Änderungen im Linienprofil, die auf Richtungsänderungen und/oder Unterbrüchen beruhen erfasst und ausgewertet, so kann eindeutig festgestellt werden ob bei korrekter Produktlage nur eine oder mehrere Klammern fehlen oder ob tatsächlich Produkte fehlen oder falsch im oder auf dem Transportmittel positioniert sind.The absence of all edge points could be seen as a lack of all brackets, but could also be caused by a massive misplacement of the products in the bracket or the complete absence of the products. However, the present invention makes it extremely easy to distinguish between such errors. If, in addition to the changes in the line profile, the changes based on changes in width and / or intensity are also recorded and evaluated in the line profile based on changes in direction and / or interruptions, it can be clearly determined whether only one or more parentheses are missing or if the product position is correct whether products are actually missing or incorrectly positioned in or on the means of transport.

In der Figur 9 ist in perspektivischer Darstellung eine schematisierte Ansicht eines Stapels 100 aus drei Druckprodukten 107, 108, 109 mit unterschiedlichen Formaten skizziert, wie er zum Beispiel in der Druckweiterverarbeitung aus verschiedenen Zeitungsbeilagen zusammengetragen und auf Förderbändern transportiert wird. Der Produktstapel 100 ist mit vier Lichtlinien 11, 12, 13, 14 beaufschlagt, die paarweise beabstandet voneinander rechtwinklig zu den Produkt-Seitenkanten ausgerichtet sind. Die Lichtlinien sind so positioniert, dass jede Seitenkante eines Produkts von zwei Lichtlinien beleuchtet wird. Pro Produkt 107, 108, 109 können entsprechend 8 Kantenpunkte erfasst werden, was eine komplette und eindeutige Kontrolle der Produktpositionen relativ zueinander und auf einem nicht dargestellten Fördermittel zulässt.In the FIG. 9 is a perspective view of a schematic view of a stack 100 of three printed products 107, 108, 109 sketched with different formats, as for example, in the print finishing of various newspaper supplements collected and transported on conveyor belts. The product stack 100 is loaded with four lines of light 11, 12, 13, 14, which are aligned in pairs spaced from each other at right angles to the product side edges. The lines of light are positioned so that each side edge of a product is illuminated by two lines of light. For each product 107, 108, 109 correspondingly 8 edge points can be detected, which allows a complete and unambiguous control of the product positions relative to each other and on an unillustrated conveyor.

In der Figur 10a ist nochmals der Produktstapel 100 mit den drei korrekt ausgerichteten Druckprodukten 107, 108, 109 gemäss der Figur 9 dargestellt. In den Figuren 10b - 10d sind Beispiele für fehlerhafte Stapel gezeigt. In der Figur 10b ist das oberste Produkt 109 verdreht abgelegt, so dass alle zugehörigen Kantenpunkte falsche Positionen aufweisen. Die Kontrolleinrichtung erkennt dass das alle Produkte vorhanden sind, dass aber das oberste Produkt nicht korrekt ausgerichtet ist. Anhand der Position der ermittelten Kantenpunkte wird zudem erkannt, dass das fehlerhaft ausgerichtete kleinformatige Produkt 109 an keiner Seite über die Kanten des untersten Produkts 107, das das grösste Format aufweist, hinausragt. Durch das Generieren eines entsprechenden Signals kann ein übergeordnetes Steuersystem informiert werden und entscheiden ob die Fehllage zum Ausscheiden des Produktstapels führt oder für die weiteren Verarbeitungsschritte toleriert werden kann. Würde der Stapel gemäss Figur 10b nachfolgend für den Versand in Folie eingeschweisst werden, so wäre die Fehllage des obersten Produkts 109 ohne weiteres tolerierbar.In the FIG. 10a is again the product stack 100 with the three correctly aligned printed products 107, 108, 109 according to the FIG. 9 shown. In the FIGS. 10b-10d examples of faulty stacks are shown. In the FIG. 10b If the top product 109 is stored twisted, so that all associated edge points have incorrect positions. The control unit recognizes that all products are present, but that the top product is not aligned correctly. It is also recognized from the position of the detected edge points that the misaligned small-sized product 109 does not project beyond the edges of the bottommost product 107, which has the largest format, on either side. By generating a corresponding signal, a higher-level control system can be informed and decide whether the misposition leads to the departure of the product stack or can be tolerated for the further processing steps. Would the stack according to FIG. 10b subsequently welded in foil for shipment, the misalignment of the uppermost product 109 would be readily tolerable.

Ein fehlerhafter Stapel gemäss der Figur 10c könnte hingegen nicht einer Vorrichtung zum Einschweissen in Folie zugeführt werden, da zu befürchten wäre, dass das vorstehende Produkt 109 den Schweissvorgang verunmöglicht. Die Fehllage, wie sie für das oberste Produkt dargestellt ist, kann nicht anhand der Kantenpunkte P5 - P8, die auf den Längskanten des Produktes liegen, erkannt werden, da die dargestellte Lateralverschiebung entlang der Förderrichtung F keinen Einfluss auf die Position der detektierten und berechneten Kantenpunkte P5 - P8 hat. Die Fehllage wird erst erkannt wenn zumindest einer der Kantenpunkte P9 - P12 betrachtet wird. Der fehlerhafte Stapel 100' kann basieren auf der Fehlermeldung die durch das erfindungsgemässen Kontrollverfahren generiert wird ausgeschieden oder durch eine Korrektur der Lage des obersten Produktes in einen weiterverarbeitbaren Zustand gebracht werden.A faulty stack according to the FIG. 10c On the other hand, it would not be possible to supply it to a device for shrink-wrapping in foil, since it would be feared that the above-mentioned product 109 would make the welding process impossible. The misalignment, as shown for the uppermost product, can not be recognized from the edge points P5 - P8 lying on the longitudinal edges of the product, since the illustrated lateral displacement along the conveying direction F has no influence on the position of the detected and calculated edge points P5 - P8 has. The misalignment is not recognized until at least one of the edge points P9 - P12 is considered. The faulty stack 100 'can be eliminated based on the error message that is generated by the control method according to the invention or brought into a further processable state by a correction of the position of the uppermost product.

In der Figur 10d ist eine fehlerhafte Lage des mittleren Produkts 108 im Stapel 100" dargestellt. Sie lässt sich gemäss der vorliegenden Erfindung wiederum durch ein fehlen der entsprechenden Kantenpunkte oder die falsche Position der Kantenpunkte zum Produkt 109 problemlos erkennen, so dass der fehlerhafte Stapel 100" nachbearbeitet oder ausgeschieden werden kann.In the FIG. 10d is a faulty position of the middle product 108 in the stack 100 "shown., It can be according to the present invention again by a lack of the corresponding Edge points or the wrong position of the edge points to the product 109 easily recognize, so that the faulty stack 100 "can be post-processed or eliminated.

Um für die Qualitätskontrolle weniger Hardwareleistung zu beanspruchen, kann eine gezielte Auswahl der zu ermittelnden Kantenpunkte vorgenommen werden. Es kann zum Beispiel nur ein Kantenpunkt pro Produktkante ermittelt werden, was die Anforderungen an Rechenleistung und Signalverarbeitung weiter verringert.In order to use less hardware performance for quality control, a targeted selection of the edge points to be determined can be made. For example, only one edge point per product edge can be determined, which further reduces the demands on computing power and signal processing.

Ähnlich wie die Qualität von zusammengetragenen Produkten in Produktstapeln lässt sich gemäss der vorliegenden Erfindung auch die Qualität von Klebevorgängen überwachen. In der Figur 4 ist in perspektivischer Darstellung eine stark schematisierte Ansicht eines mit einem Aufkleber 40 versehenen Druckproduktes 107 dargestellt. Das Druckprodukt 107 und der Aufkleber sind mit drei Lichtlinien 15-17 beaufschlagt, die so ausgerichtet sind, dass die für den Aufkleber vorgesehene Position von allen drei Lichtlinien beleuchtet wird. Die Lichtlinien 15 - 17 sind im Bereich der Oberfläche des Aufklebers 40 dicker gezeichnet, um die höhere Intensität des von der Aufkleberoberfläche reflektierten Lichts anzudeuten. Die dem Aufkleber zugeordneten Kantenpunkte P41 - P46 werden wie oben bereits ausführlich beschieben anhand der Änderungen im Linienprofil generiert, die auf Breiten-und/oder Intensitätsänderungen beruhen. Bereits die Lichtlinien 15 und 16 würden im gezeigten Beispiel ausreichend um genügend Kantenpunkte zu generieren, die eine eindeutige Positionserkennung von Druckprodukt 107 und Aufkleber 40 zulassen. Mit der relativ kurzen Lichtlinie 17 soll angedeutet werden, das auf die lange und damit energieintensivere Lichtlinie 15 auch verzichtet werden kann. Dennoch kann eine ausreichende Qualitätsprüfung durchgeführt werden kann, da zu jeder Kante des Aufklebers 40 ein Kantenpunkt und drei Kantenpunkte des Druckproduktes 107 erfasst werden.Similar to the quality of collected products in product stacks, the quality of gluing operations can also be monitored according to the present invention. In the FIG. 4 is a perspective view of a highly schematic view of a provided with a sticker 40 printed product 107 is shown. The printed product 107 and the sticker are loaded with three light lines 15-17, which are aligned so that the position provided for the sticker is illuminated by all three lines of light. The light lines 15-17 are drawn thicker in the area of the surface of the sticker 40 to indicate the higher intensity of the light reflected from the sticker surface. As already described above, the edge points P41-P46 assigned to the sticker are generated in detail based on the changes in the line profile which are based on changes in width and / or intensity. Already the light lines 15 and 16 would be sufficient in the example shown to generate enough edge points that allow a clear position detection of printed product 107 and sticker 40. With the relatively short line of light 17 is to be indicated that can be dispensed with the long and therefore more energy-intensive light line 15. Nevertheless, a sufficient quality check can be carried out, since an edge point and three edge points of the printed product 107 are detected for each edge of the sticker 40.

Aus der Figur 11 lässt sich entnehmen wie anhand einer weiteren Ausführungsform der Erfindung der korrekte Abstand von Produkten im Schuppenstrom ermittelt werden kann. Mittels einer oder vorzugsweise wie dargestellt zweier Lichtlinien 15, 16, die die vorlaufenden Produktkanten 110 beaufschlagen werden jeweils zwei Kantenpunkte pro Produkt, im dargestellten Falle Zeitschriften 120, 121, 122, 123, generiert. Die Lichtlinien 15, 16 verlaufen wiederum annähernd Parallel zur Längsachse des dargestellten Förderbands B und beabstandet voneinander. Wird eine Abweichung vom gewünschten Abstand A zwischen zwei Produkten ermittelt, die nicht mehr innerhalb eines vorgegebenen Toleranzbereiches liegt, wird basierend auf dieser Messinformation ein Signal generiert. Dieses Signal kann nachfolgend eine Korrektur des inkorrekten Abstands F auslösen. Das Signal umfasst dazu nicht nur die Information über den ermittelten Fehler, sondern auch die Information über das zu korrigierende Produkt, im vorliegenden Fall die Zeitschrift 122.From the FIG. 11 can be seen how the correct spacing of products in the scale flow can be determined by means of a further embodiment of the invention. By means of one or preferably as shown two light lines 15, 16, which act on the leading edge product 110 are each two edge points per product, in the case illustrated magazines 120, 121, 122, 123, generated. The light lines 15, 16 again run approximately parallel to the longitudinal axis of the illustrated conveyor belt B and spaced from each other. If a deviation from the desired distance A between two products is determined, which is no longer within a predetermined tolerance range, a signal is generated based on this measurement information. This signal can subsequently trigger a correction of the incorrect distance F. The signal includes not only the information about the detected error, but also the information about the product to be corrected, in this case the magazine 122nd

In der Figur 12 ist dargestellt, wie ein Fehler in einem Schuppenstrom, der auf einer Verdrehung einer Zeitschrift 126 beruht, gemäss der Erfindung erkannt wird. Vom Schuppenstrom sind nur drei Produkte 124 - 126 dargestellt. Drei Lichtlinien 17, 18, 19 sind parallel zur Förderrichtung F, und damit zu den Produktseitenkanten der korrekt angeordneten Produkte 124, 125 ausgerichtet. Um gleichzeitig zur Lage der Produkte im Schuppenstrom auch die korrekte Heftung kontrollieren zu können sind die Lichtlinien 17-19 derart angeordnet, dass sie die Produktvorderkanten jeweils im Bereich der Heftung/der Heftklammern schneiden. In der Figur 12b ist wiederum ein zusammengesetztes Bild der aufgenommenen Lichtlinien im Bereich der relevanten Kantenpunkte der beiden Zeitschriften 125 und 126 gezeigt.In the FIG. 12 It is shown how an error in a scale flow, which is based on a rotation of a magazine 126, is recognized according to the invention. From the scale flow only three products 124 - 126 are shown. Three light lines 17, 18, 19 are aligned parallel to the conveying direction F, and thus to the product side edges of the correctly arranged products 124, 125. In order to be able to control the correct stitching at the same time as the position of the products in the shingled stream, the lines of light 17-19 are arranged in such a way that they intersect the product leading edges in the area of the staple / staples. In the FIG. 12b In turn, a composite image of the recorded light lines in the region of the relevant edge points of the two magazines 125 and 126 is shown.

Die in der Figur 12a dargestellte Fehlersituation lässt sich problemlos auf eine Förderung in einem Greifer- oder Klammerförderer, in dem zum Beispiel zwei Produkte mit einem Versatz zueinander gefördert werden, übertragen. Dort würde zum Beispiel die Fehllage des Produkts 126 gegenüber Produkt 125 erkannt.The in the FIG. 12a illustrated fault situation can be easily transferred to a promotion in a gripper or staple conveyors in which, for example, two products are conveyed with an offset to each other. There, for example, the mishandling of product 126 to product 125 would be recognized.

Das erfindungsgemässe Verfahren kann dem Betreiber, zum Beispiel einem Betrieb der Druckweiterverarbeitung, nicht nur helfen die Qualität der produzierten Produkte zu erhöhen, sondern es erlaubt auch eine lückenlose und umfassende Protokollierung der Produktionsqualität. Die generierten Signale können in der übergeordneten Systemsteuerung erfasst und protokolliert werden, so dass dem Auftraggeber verschiedenste Informationen zur Verfügung gestellt werden können, aus der er ersehen kann mit welcher Qualität seine Produkte hergestellt wurden. Diese Möglichkeiten sind vor allem hinsichtlich der zunehmenden Individualisierung von Druckprodukten von Bedeutung. Ein Zeitschriftenverlag kann zum Beispiel einem Werbekunden ein detailliertes Produktions-Protokoll vorlegen, das zeigt dass die gewünschten Add-On's, wie Musterbeutel oder Postkarten, in der gewünschten Anzahl und in Zeitschriften für die gewünschten Zustellregionen tatsächlich eingeklebt wurden.The inventive method can not only help the operator, for example, an operation of the print finishing, to increase the quality of the products produced, but it also allows a complete and comprehensive logging of the production quality. The generated signals can be recorded and logged in the higher-level system control so that the client can be provided with a wide range of information from which he can see the quality of his products. These options are particularly important with regard to the increasing customization of printed products. For example, a magazine publisher may present a detailed production log to an advertiser showing that the desired add-ons, such as sample bags or postcards, have actually been glued in the desired number and in magazines for the desired delivery regions.

Liste der BezugszahlenList of reference numbers

11
Kontrollvorrichtungcontrol device
2-82-8
Laserlinienlaser lines
1010
Laserlaser
11-1911-19
Lichtlinienlight lines
2020
Kameracamera
31 - 3331 - 33
Heftklammernstaples
4040
Aufklebersticker
5050
Lichtschrankephotocell
100100
DruckproduktstapelPrint product stack
101-109101-109
Druckprodukteprinting products
110110
Falzkantefold edge
111, 112111, 112
Seitenkantenside edges
113, 114113, 114
Falzbereichefold areas
120-123120-123
ZeitschriftenMagazines
A, FA, F
Abständedistances
BB
Förderbandconveyor belt
FF
Förderrichtungconveying direction
KK
Klammerclip
P1-P4P1-P4
Kantenpunkteedge points
P41-P46P41-P46
Kantenpunkte eines AufklebersEdge points of a sticker

Claims (19)

  1. Optical control method for use in the processing of planar objects, in particular in print finishing, comprising:
    a. guiding a planar product, a product group, or a product stream (101-109, 120-126) along a conveyor line past at least one optical sensor (20, 20');
    b. applying at least one beam profile to the planar product, the product group, or the product stream to produce a line profile defined by a light line (2-8, 11-19);
    c. acquiring an electronic image through the optical sensor (20, 20'), the electronic image comprising at least a region of the product, the product group, or the product stream having at least a part of the line profile defined by the light line (2-8, 11-19);
    d. ascertaining at least one product characteristic from the electronic image based on the line profile defined by the light line (2-8, 11-19);
    e. generating at least one item of measured information based on the at least one product characteristic;
    f. producing at least one signal based on the at least one item of measured information,
    characterized in that the ascertainment of the at least one product characteristic comprises a determination of position specifications of at least one product edge point, and in that the generation of the item of measured information is performed based on the position specifications of the at least one product edge point.
  2. Control method according to Claim 1, characterized in that at least two line profiles defined by light lines, having known spatial location relative to one another, are produced, and in that position specifications of at least one product edge point are respectively ascertained based on the at least two line profiles defined by the light lines.
  3. Control method according to Claim 1 or 2, characterized in that an alignment and/or location of the product is determined based on the product edge points, and in that the generation of the item of measured information is performed based on the alignment and/or location of the product.
  4. Control method according to Claim 3, characterized in that the at least two line profiles defined by light lines are generated substantially along a longitudinal axis of the conveyor line, and in that the alignment and/or location of the product is determined in relation to the longitudinal axis.
  5. Control method according to either of Claims 3 and 4, characterized in that the at least two line profiles defined by light lines are generated substantially along a transverse axis of the conveyor line, and in that the alignment and/or location of the product is determined in relation to the transverse axis.
  6. Control method according to one of Claims 1 to 5, characterized in that the ascertainment of the at least one product characteristic comprises the following steps:
    a. determining the light line in the electronic image;
    b. determining a curve shape of the light line; and
    c. ascertaining a position specification of at least one product edge point from the curve shape of the light line.
  7. Control method according to Claim 6, characterized in that the determination of the light line in the electronic image comprises the following steps:
    a. suppressing noise in the electronic image;
    b. emphasizing the light line by an optimal filter;
    c. detecting the light line in the electronic image based on brightness values;
    d. filling existing gaps in the light line; and
    e. smoothing detection-related kinks in the light line.
  8. Control method according to either of Claims 6 and 7, characterized in that the determination of the curve shape of the light line comprises rotating the electronic image into a target location, calculating at least one derivative of the light line, calculating zero crossings of the derivative of the light line, and determining direction changes of the light line.
  9. Control method according to one of Claims 6 to 8, characterized in that the generation of the item of measured information comprises determining a product number based on features of the curve shape of the light line.
  10. Control method according to Claim 9, characterized in that the features of the curve shape for determining the product number comprising at least one of the following: number of zero crossings of a first derivative of the light line, maximum value of the first derivative, number of zero crossings of a second derivative of the light line which occur after the maximum value of the first derivative, and absolute value of an angle of a direction change of the light line.
  11. Control method according to one of Claims 1 to 10, characterized in that the item of measured information is selected from the following group:
    (a) location information of at least one product edge;
    (b) length information of at least one product;
    (c) width information of at least one product;
    (d) height information of at least one product;
    (e) location information of a staple;
    (f) location information of at least two product edges of the same or different products;
    (g) number of products within a defined region of the conveyor line;
    (h) distance information of products to one another; and
    (i) location information of add-ons on a product or add-ons to one another.
  12. Control method according to one of Claims 1 to 11, characterized in that at least the generation of the item of measured information occurs in real time, preferably within one work cycle time.
  13. Device (1) for carrying out the optical control method according to one of Claims 1 to 12, comprising:
    a. projection means (10) for generating at least one beam profile and for applying the at least one beam profile to a planar product, a product group, or a product stream, which is guided along a conveyor line, to generate a line profile defined by a light line (2-8, 11-19);
    b. at least one optical sensor (20) for acquiring an electronic image of the product, the product group, or the product stream, which is guided along the conveyor line past the optical sensor (20), the electronic image comprising at least one region of the product, the product group, or the product stream having at least a part of the line profile defined by the light line (2-8, 11-19); and
    c. an image processing unit, which is configured to ascertain, based on the line profile defined by the light line (2-8, 11-19), at least one product characteristic from the electronic image, to generate an item of measured information based on the at least one product characteristic, and to produce at least one signal based on the item of measured information, characterized in that the image processing unit is configured to ascertain the at least one product characteristic by determining position specifications of at least one product edge point and to generate the item of measured information based on the position specifications of the at least one product edge point.
  14. Device according to Claim 13, characterized in that the optical sensor (20) is arranged at a distance from the products to be checked having an optical axis extending diagonally to the beam axis of the projection means (10).
  15. Device according to either of Claims 13 and 14, characterized in that the projection means are configured to produce at least two line profiles defined by light lines (2-8, 11-19) having known spatial location to one another, and in that the image processing unit is configured to ascertain, based on the at least two line profiles defined by the light lines (2-8, 11-19), respective position specifications of at least one product edge point.
  16. Device according to one of Claims 13 to 15, characterized in that the image processing unit is configured to ascertain the at least one product characteristic by determining the light line in the electronic image, determining a curve shape of the light line (2-8, 11-19), and ascertaining a position specification of a product edge point from the curve shape of the light line (2-8, 11-19).
  17. Device according to Claim 16, characterized in that the image processing unit is configured to determine the curve shape of the light line (2-8, 11-19) by rotating the electronic image into a target location, calculating at least one derivative of the light line, calculating zero crossings of the derivative of the light line, and determining direction changes of the light line (2-8, 11-19).
  18. Device according to either of Claims 16 and 17, characterized in that the image processing unit is configured to generate the item of measured information by determining a product number based on features of the curve shape of the light line (2-8, 11-19), the features of the curve shape comprising at least one of the following: number of zero crossings of a first derivative of the light line (2-8, 11-19), maximum value of the first derivative, number of zero crossings of a second derivative of the light line which occur after the maximum value of the first derivative, and absolute value of an angle of a direction change of the light line (2-8, 11-19).
  19. Device according to one of the preceding claims, characterized in that it comprises at least two projection means and/or at least two optical sensors.
EP20090171148 2009-09-23 2009-09-23 Optical control method for quality assurance in print finishing Not-in-force EP2301877B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DK09171148T DK2301877T3 (en) 2009-09-23 2009-09-23 Optical control method for quality assessment in further processing of pressure
EP20090171148 EP2301877B1 (en) 2009-09-23 2009-09-23 Optical control method for quality assurance in print finishing
PCT/EP2010/005522 WO2011035857A1 (en) 2009-09-23 2010-09-08 Optical control method for quality assessment in print further processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP20090171148 EP2301877B1 (en) 2009-09-23 2009-09-23 Optical control method for quality assurance in print finishing

Publications (2)

Publication Number Publication Date
EP2301877A1 EP2301877A1 (en) 2011-03-30
EP2301877B1 true EP2301877B1 (en) 2012-11-28

Family

ID=41600621

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20090171148 Not-in-force EP2301877B1 (en) 2009-09-23 2009-09-23 Optical control method for quality assurance in print finishing

Country Status (3)

Country Link
EP (1) EP2301877B1 (en)
DK (1) DK2301877T3 (en)
WO (1) WO2011035857A1 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3414732A (en) * 1965-10-19 1968-12-03 Milgo Electronic Corp Counter for folded paper objects
US5197012A (en) * 1988-11-21 1993-03-23 Datatronic, Centre D'etude Et De Developpement Electronique Et Informatique Sarl Method and apparatus for detecting and for counting any instantaneous variations in a profile, and applications thereof
DE19842192A1 (en) * 1998-09-15 2000-03-16 Roland Man Druckmasch Shadow detection system monitors sheets of paper as they are fed to a printing process preventing damage from incorrect grade paper
DE102007001989B4 (en) 2007-01-08 2009-04-23 Siemens Ag Arrangement for detecting double prints in mail sorting machines
EP2256075A3 (en) 2007-04-03 2010-12-22 Ferag AG Method and device for controlling flat products
EP2030924A1 (en) * 2007-08-28 2009-03-04 Müller Martini Holding AG Device for processing printed products
DE102007054938A1 (en) * 2007-11-17 2009-05-20 Manroland Ag Apparatus for forming a scale flow

Also Published As

Publication number Publication date
WO2011035857A1 (en) 2011-03-31
EP2301877A1 (en) 2011-03-30
DK2301877T3 (en) 2013-01-02

Similar Documents

Publication Publication Date Title
EP1910202B1 (en) Method and device for controlling the clamped transportation of flat products
EP0650911B1 (en) Apparatus and method for detection of overlapping flexible and flat objects
DE102010046115A1 (en) Method for monitoring the transport of banknotes
EP1570927B1 (en) Feeding device for a press brake with a lighting device and method for feeding metal sheets
EP2130163B1 (en) Device and method for counting and detecting flat products
EP2250627A1 (en) Method and device for processing valuable documents
EP0782538B1 (en) Process for producing inner books consisting of folded printed sheets
DE102008051758A1 (en) Method and device for processing value documents
WO2002072270A1 (en) Device and method for canceling sheet material
EP2301877B1 (en) Optical control method for quality assurance in print finishing
EP1992580B1 (en) Method and device for opening printed products
EP1953685B1 (en) Device for counting printing products in a layer transport flow
DE102005008747B4 (en) Method and device for the detection of banknotes
EP1980516B1 (en) Method and device for determining the position of webs of material
EP2480470B1 (en) Optical checking method for evaluating quality in print processing
DE102006051710A1 (en) Length standardization e.g. for examination and or for measurement by articles such as printed elements and notes, involves having opening for articles with picture recording procedure provided which can be measured and examined
DE102007001989B4 (en) Arrangement for detecting double prints in mail sorting machines
EP1216947B1 (en) Method for processing printed sheets during their collation
DE102020114980B4 (en) DEVICE AND SYSTEM FOR INSPECTING AT LEAST ONE DIFFACTIVE OPTICAL ELEMENT OF A DOCUMENT
DE102011101252A1 (en) Method for determining quality of folding in folding crate made of cardboard blank, involves determining width of each slot at bottom and top parts of folding crate by calculating width of displacement of laser line projected on crate
EP3388376A1 (en) Method and device for monitoring the transport of products and a system for producing, processing and/or testing products
DE69012193T2 (en) Method for monitoring the composition of units composed of sheet-like parts and apparatus for assembling and testing the assembled units.
DE102021003334A1 (en) Sensor for checking the luminescence of value documents
DE102007055087A1 (en) Web length measurement, of webs fed to a printing press on different planes, has a single meter for two adjacent webs
DE10220186A1 (en) Method and device for counting edges of products

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

17P Request for examination filed

Effective date: 20110517

17Q First examination report despatched

Effective date: 20110615

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: B65H 29/66 20060101ALI20120516BHEP

Ipc: B65H 43/08 20060101AFI20120516BHEP

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: CH

Ref legal event code: NV

Representative=s name: PATENTANWAELTE SCHAAD, BALASS, MENZL AND PARTN, CH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 586043

Country of ref document: AT

Kind code of ref document: T

Effective date: 20121215

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009005494

Country of ref document: DE

Effective date: 20130124

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20121128

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130228

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130328

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130301

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130228

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20130829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009005494

Country of ref document: DE

Effective date: 20130829

BERE Be: lapsed

Owner name: FERAG AG

Effective date: 20130930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20130923

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20140530

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130930

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130923

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130923

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130930

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20140919

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20140911

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20090923

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130923

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20150923

Year of fee payment: 7

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20150930

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 586043

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150923

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150923

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150930

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20160921

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160924

REG Reference to a national code

Ref country code: SE

Ref legal event code: EUG

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502009005494

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180404

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20181128

Year of fee payment: 10

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190930

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190930