EP2301877A1 - Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung - Google Patents

Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung Download PDF

Info

Publication number
EP2301877A1
EP2301877A1 EP09171148A EP09171148A EP2301877A1 EP 2301877 A1 EP2301877 A1 EP 2301877A1 EP 09171148 A EP09171148 A EP 09171148A EP 09171148 A EP09171148 A EP 09171148A EP 2301877 A1 EP2301877 A1 EP 2301877A1
Authority
EP
European Patent Office
Prior art keywords
product
line
light
light line
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP09171148A
Other languages
English (en)
French (fr)
Other versions
EP2301877B1 (de
Inventor
Carl Conrad Mäder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ferag AG
Original Assignee
Ferag AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ferag AG filed Critical Ferag AG
Priority to DK09171148T priority Critical patent/DK2301877T3/da
Priority to EP20090171148 priority patent/EP2301877B1/de
Priority to PCT/EP2010/005522 priority patent/WO2011035857A1/de
Publication of EP2301877A1 publication Critical patent/EP2301877A1/de
Application granted granted Critical
Publication of EP2301877B1 publication Critical patent/EP2301877B1/de
Not-in-force legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H43/00Use of control, checking, or safety devices, e.g. automatic devices comprising an element for sensing a variable
    • B65H43/08Photoelectric devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H29/00Delivering or advancing articles from machines; Advancing articles to or into piles
    • B65H29/66Advancing articles in overlapping streams
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2301/00Handling processes for sheets or webs
    • B65H2301/40Type of handling process
    • B65H2301/42Piling, depiling, handling piles
    • B65H2301/422Handling piles, sets or stacks of articles
    • B65H2301/4224Gripping piles, sets or stacks of articles
    • B65H2301/42244Sets in which articles are offset to each other
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2553/00Sensing or detecting means
    • B65H2553/40Sensing or detecting means using optical, e.g. photographic, elements
    • B65H2553/42Cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2557/00Means for control not provided for in groups B65H2551/00 - B65H2555/00
    • B65H2557/50Use of particular electromagnetic waves, e.g. light, radiowaves or microwaves
    • B65H2557/51Laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65HHANDLING THIN OR FILAMENTARY MATERIAL, e.g. SHEETS, WEBS, CABLES
    • B65H2701/00Handled material; Storage means
    • B65H2701/10Handled articles or webs
    • B65H2701/13Parts concerned of the handled material
    • B65H2701/132Side portions
    • B65H2701/1321Side portions of folded article or web
    • B65H2701/13212Fold, spine portion of folded article

Definitions

  • the present invention relates to an optical control method for quality evaluation in the print finishing according to the preamble of claim 1 and an apparatus for performing the method according to the preamble of claim 14.
  • Optical control methods for counting and detecting flexible, flat products, in particular printed products such as newspapers, magazines, brochures, advertising supplements, display sheets or parts thereof, in the print finishing are basically known.
  • the device has a light source, an optical sensor and an evaluation unit connected to the optical sensor.
  • the light source in a preferred embodiment, a laser, has a beam shaping optics, for example in the form of optical lenses, in particular of cylindrical lenses, of apertures or diffractive optical elements, through which the emitted light, a predetermined illumination beam profile "imprinted" is. Within the illumination beam profile objects are irradiated with light.
  • the light source can be assigned an optical axis via the beam shaping optics, which extends straight from the light source in space. This optical axis forms in the sense of WO2008119192 at the same time a central beam axis of the illumination beam profile and is referred to in the publication as the illumination beam axis.
  • the optical sensor in a preferred embodiment for example an electronic camera with a plurality of photosensitive elements, is equipped with a detection optical system for forming a detection beam profile.
  • detection optics for example, a camera lens is used.
  • the detection beam profile includes all the locations from which the optical sensor can detect light.
  • the detection beam profile of the optical sensor is composed of the individual detection beam profiles associated with each individual photosensitive element.
  • the detection beam profile of the optical sensor could be visualized by replacing the photosensitive elements with small light sources.
  • an optical axis can also be assigned to the optical sensor via the detection optics. This optical axis forms in the sense of WO2008119192 simultaneously a central beam axis of the detection beam profile and is also referred to as detection beam axis.
  • the illumination beam profile and the detection beam profile are aligned at an angle to one another in such a way that they overlap in a detection area.
  • the illumination beam axis and the detection beam axis are even in one plane.
  • the optical sensor may generate a detection signal with information about the detected portion of the surface profile.
  • the detection signal is forwarded to a downstream evaluation unit.
  • the evaluation unit preferably a computer, can use the detection signal to determine the number of areal products which were located in the detection area at the time of detection.
  • the apparatus for counting and detecting sheet-like products is assigned a transport device.
  • the sheet-like products moved through the detection area along a transport direction with the aid of the transport device are preferably continuously counted in order, for example, to check their completeness.
  • the illumination beam axis is preferably aligned inclined relative to the surface normal of, for example, resting on a conveyor belt or transported by means of brackets or grippers flat products.
  • the illumination beam profile in the detection area is preferably formed by means of the beam shaping optics as a substantially rectilinear region, in particular as a so-called illumination line, which illuminates the section of the surface profile of the planar products in a defined manner.
  • the illumination line extends substantially parallel to the transport direction.
  • a camera as an optical sensor.
  • the detection beam profile is formed by the detection optics such that an image of the light line projected onto the surface of the planar products by the light source is generated on the photosensitive elements of the camera.
  • a computer-executable image processing program can then determine from the image of the projected illumination line on the basis of the curvatures and paragraphs the number of planar products that have been in the detection area.
  • the recording or detection time is short compared to the time within which a flat product has moved by the amount of its thickness.
  • the number of surface products located in the detection area is determined solely from the detected surface profile of the sheet-like products. It is not necessary to attach identification information to the sheet products. Due to the relative to the ambient light comparatively high intensity of the light generated by the light source in the illumination beam profile, in particular within the illumination line in the detection area, there is sufficient contrast in the image recordings, so that a reliable identification of the illuminated surface profile is guaranteed.
  • the optical sensor may be provided with corresponding filter elements to further reduce the interference of ambient light.
  • the WO 2008119192 it is described as particularly preferred to assign the device for counting and detecting sheet products a transport device.
  • the sheet-like products moved through the detection area along a transport direction with the aid of the transport device are preferably continuously counted in order, for example, to check their completeness.
  • the illumination beam axis is preferably aligned inclined relative to the surface normal of, for example, resting on a conveyor belt or transported by means of brackets or grippers flat products.
  • the illumination beam profile in the detection area is preferably formed by means of the beam shaping optics as a substantially rectilinear region, in particular as a so-called illumination line, which illuminates the section of the surface profile of the planar products in a defined manner.
  • the illumination line extends substantially parallel to the transport direction.
  • a camera Immediately above the sheet products, with its detection beam axis slightly inclined to the surface normal and aligned substantially perpendicular to the transport direction, is located a camera as an optical sensor.
  • the detection beam profile is formed by the detection optics such that an image of the light line projected onto the surface of the planar products by the light source is generated on the photosensitive elements of the camera.
  • the recording or detection time is short compared to the time within which a flat product has moved by the amount of its thickness.
  • the number of surface products located in the detection area is determined solely from the detected surface profile of the sheet-like products. It is not necessary to attach identification information to the sheet products. Due to the relative to the ambient light comparatively high intensity of the light generated by the light source in the illumination beam profile, in particular within the illumination line in the detection area, there is sufficient contrast in the image recordings, so that a reliable identification of the illuminated surface profile is guaranteed.
  • the optical sensor may be provided with corresponding filter elements to further reduce the interference of ambient light.
  • a device for detecting double prints in a separator of postal, overlapping, flowing objects is described.
  • a light projector arranged laterally to the letter mail projects at least one light line transversely to a potential overlapping area of the letters
  • a camera positioned laterally to the letters and positioned obliquely to the light projector takes a picture of the projected light line and its displacements (or curvatures, size changes or more generally geometrical Deviations from a reference line shown in double-deduction items).
  • the process should be simplified not only in terms of the required hardware performance, but it should also be increased its operational reliability and its operating speed.
  • the new method according to the present invention allows measurement information to be generated based on the product identifier determined from the electronic image.
  • This measurement information is again the objective basis for the quality assessment. It not only allows to determine the number of products present in a given area, but - as described in detail below - to make a real quality assessment.
  • line profile should be understood in the context of the present application, on the one hand surface profiles, as already in the WO 2008/119192 by the applicant, in which the curvatures and steps of the illumination line projected on the uneven "projection surface” of the product streams are reproduced.
  • line profile also includes intensity profiles which are caused by differences in the reflection and / or absorption behavior of the surfaces illuminated by the light line, regardless of whether these surfaces are plane or uneven "projection surfaces”.
  • line profile also includes profiles in which changes in the light line are caused by scattering or diffraction of the preferably monochromatic light, in particular at product edges.
  • the new control method is characterized in that the determination of the at least one product identifier comprises determining position information of at least one product edge point (hereinafter also referred to as edge point for short); and that generating the measurement information is based on the position information of the at least one edge point.
  • the product identifier is preferably a position indication which indicates the position of a product relative to a conveyor or relative to other products, a size indication which gives information about the format, width, height or length of a printed product or a group of printed products, or a presence statement that allows the presence of a product or a product group to be determined.
  • edge point in the context of the present application is not narrow, ie in the sense of a point of a spatially significantly offset product edge understood, but under the term edge point also fall such edges as they with minimal height difference, for example by stickers on the printed products or be defined by staples.
  • the edge points influence the line profile defined by the light line in such a way that they can be easily and quickly recognized and evaluated in the electronic image.
  • At least two line profiles defined by light lines are generated with spatial position known to each other, and based on the at least two line profiles defined by the light lines, position information of at least one edge point per light line is determined for each at least one product.
  • an orientation and / or a position of the product is determined; and generating the measurement information based on the orientation and / or location of the product.
  • the at least two line profiles defined by light lines are generated essentially along a longitudinal axis of the conveying path, respectively parallel to the conveying direction, and the orientation and / or position of the products, product stacks or product groups to be controlled is determined with respect to the longitudinal axis.
  • Such linear situations can be found in print finishing, for example in straight sections of product scale streams, Straight sections of conveyor lines of staple or rapier conveyors, straight belt conveyors, single-pass belts and the like.
  • a particular advantage of the method according to the invention lies in the fact that the quality control can be carried out very simply and with high precision, even in non-linear situations.
  • the quality of product flows for example of scale flows, in curves in the plane or in the room, of products in processing drums or on windings can be well monitored, since the method according to the invention and the device according to the invention hardly any restrictions with respect to the spatial orientation of the products to be monitored make necessary.
  • the inventive method can also be used advantageously for quality control, if the products to be controlled are transported and / or processed in bags or conveyor drums.
  • light lines are not or not only parallel to a conveying direction, or substantially along or parallel to a longitudinal axis of the conveying path, but exclusively or additionally to produce transversely thereto.
  • One or more line profiles are thereby generated substantially along or parallel to a transverse axis of the conveyor line. This is preferably when the orientation and / or position of the product with respect to the transverse axis is determined.
  • the method and apparatus provide users with a high degree of variation in the arrangement of the lines of light on the products, product groups and / or product streams to be controlled.
  • the lines of light can be aligned, for example, depending on the spatial conditions in the processing plant or on the expected types of errors in any other angular positions to the longitudinal and / or transverse axes of the products or the conveying directions.
  • the same four edge points for example the centers of the side edges, on the four edges of a square product can be defined by two intersecting light lines along the longitudinal and transverse axes or by two parallel light lines each at an angle of 45 ° to the longitudinal direction. and transverse axis.
  • the same four edge points can also be generated by four light lines. 0b these four light lines, according to this example, generated by a single light source or multiple light sources does not matter. It is advantageous to have a light line generated only by a light source to avoid blurring by inaccurately adjusted light sources.
  • the generated beam profiles can be changed and / or redirected so that more than one light source can be generated at different positions in desired lengths with desired sharpness with only one radiation source ,
  • the lines of light in cooperation with the exposed surfaces of the products to be controlled and possibly also in interaction with surfaces of essential means of transport, generate very high-contrast line profiles from which electronic images are recorded.
  • the electronic image which is preferably detected by means of a digital camera, comprises at least one region of the printed product, the product group or the product stream with at least a part of the line profile defined by the light line.
  • the electronic image of the line profile generated by the light line on the illuminated surface will be referred to as the light line. It is readily possible for a person skilled in the art to recognize from the context whether the light lines described are the light lines actually projected on products or the electronically detected, stored, processed, etc. virtual light lines.
  • the difference between an actually recorded input image and a dark image taken with the lens covered by the camera is preferably calculated and used to correct the recorded input image.
  • the electronic image is rotated to a desired position to simplify the subsequent analysis and calculation steps, especially any comparison steps.
  • the cutouts are chosen so that they only include the areas of the light line with the changes to be detected, respectively edge points. This ensures that the light line does not disturb the parts of the background or heavily reflecting metal parts of the conveyor system. Such bright spots in the electronic image could otherwise be mistaken for belonging to the line.
  • cropping the section of the electronic image that is processed further is limited by the position.
  • four pixels y min , y max , x min , x max
  • the noise reduction, respectively highlighting the recorded light line is preferably a matched filter or optimal filter in the essentially follows the shape of the expected light line and its width, and the noise is more suppressed with increasing distance from a center pixel line of this expected line.
  • the actual detection of the light line is carried out according to a first embodiment by determining the pixel with the maximum brightness values of each image line and the assignment of this pixel to the line if its brightness value exceeds a predetermined threshold.
  • This method which now generates a one-pixel-wide virtual light line, is particularly useful for detecting changes in the line profile that are due to directional changes and / or breakages when filling existing gaps in the line.
  • a maximum gap size for example, over the number of image lines without a pixel with a maximum brightness value above the predetermined threshold value is preferably predefined. If the gap size exceeds this maximum value, then it will not be filled up.
  • the position of the line does not very precisely characterize the light line in many cases, there may be kinks in the line which can make it difficult to determine the actual course of the line they are similar, such as "kinks" by product edges, for example, in the transition between two products. For this reason, the position of the line is preferably approximated to the actual position.
  • the algorithm used must allow the kinks to pass through the product edges / transitions, but smoothen false kinks.
  • a gap in the line corresponds to a region with low reflection and thus represents no error in the line, but the actually desired information dar.
  • the predetermined threshold for the assignment of the pixels to the light line can be set so high that it is only achieved by the points of the light line, which lie in the region of the highly reflective surface of the sticker. The beginning and end of the detected light line in this case correspond to the two edge points of the sticker.
  • a further step at least a first derivative of the light line is calculated, then the zero crossings of the derivative of the light line, and thus the direction changes of the light line are determined.
  • the derived signal can be very noisy, it is preferably additionally filtered with a low-pass filter.
  • a low-pass filter eg FIR filter, window method, Hamming window.
  • FIR filter inserts a shift of (number of coefficients -1) / 2, the filtered signal is corrected accordingly.
  • a second derivative can be calculated, in which the filtered first derivative is derived again. If one considers the number of zero crossings of the second derivative (inflection points) which occur after the maximum of the first derivative, this number can be a measure of whether the analyzed image region contains no, one, two or more product edges.
  • the inventive further information about the position of the edge points is assigned to each of these.
  • the position information is pinpoint coded as y- and x-value, or blurred, for example, over four position values (for example: y1, y1 + n, x1, x1 + m) which covers a range of (for example (1 + n) x (1 + m)) define pixels. This area may even match the crop after cropping.
  • the control method according to the invention makes it possible, by means of the generated measurement information, to determine an edge number which, for example, corresponds to a product number, based on features of the curve shape of the light line.
  • the measurement information is generated as possible in real time, preferably within a work cycle time.
  • the content and technical teaching in this regard is hereby incorporated into the present application, are preferably used to generate the light lines substantially monochromatic light sources, for example laser. Accordingly, the cameras used for image acquisition can be provided with filter elements to make the inventive system even less susceptible to interference.
  • pulsed lasers are used, which are clocked synchronously to the product clock. With non-clocked systems or product streams, the lasers can be clocked in known manner via light barriers or other clocks. This increases the service life of the lasers and at the same time reduces energy consumption.
  • the optical sensor can also be clocked.
  • the laser lines produced are kept as short as possible.
  • short laser lines of a few centimeters in length are often sufficient. Since misplacements can also be detected on the basis of the absence of edge points, it is not absolutely necessary to illuminate the entire area within which an edge point could lie, for example, in the case of an incorrectly positioned product. In extreme cases, it is only necessary to illuminate the tolerance range within which an edge point must lie with a correct product position, product size, etc.
  • suitable filters and / or additional lenses and / or mirror devices multiple lines of light can be generated at different positions by means of a single laser.
  • the light energy for example the laser energy
  • the light energy is preferably distributed homogeneously over the line profile to be generated. This makes it possible to keep the number of image processing steps as low as possible, since changes in the line profile directly attributable to the edge points to be detected can be attributed to a per se homogeneous brightness distribution. It should be mentioned again that changes in the line profile should be understood as meaning changes of direction and / or interruptions as well as changes in width and / or intensity.
  • the optical sensor is preferably arranged with an oblique to the beam axis of the projection means extending optical axis away from the products to be controlled when surface profiles are to be detected.
  • the two axes can be aligned parallel to each other and at a small distance.
  • more than one projection means and / or more than one optical sensor are used.
  • mirrors can be used.
  • the front and back of a product group can be acted on simultaneously with a beam profile and a mirror beam profile, and the areas thus exposed can be simultaneously detected by means of mirrors from a single camera.
  • the image processing unit is set up such that the at least one product identifier can be determined by determining position information of at least one product edge point, and the measurement information can be generated based on the position information of the at least one product edge point.
  • the projection means are preferably set up in such a way that at least two line profiles defined by light lines are generated with spatial position known to each other and the image processing unit is set up to determine position information from at least one product edge point based on the at least two line profiles defined by the light lines.
  • the image processing unit is configured to determine the at least one product identifier by determining the light line in the electronic image, determining a curve shape of the light line and determining a position specification of a product edge point from the curve of the light line.
  • the image processing unit is set up in such a way that the curve of the light line is rotated by rotation of the electronic image into a desired position, calculation of at least one derivative of the light line, calculation of Zero crossings of the derivative of the light line, and determination of changes in direction of the light line to determine.
  • the measurement information can be generated by determining a product number based on features of the curve of the light line, wherein the characteristics of the curve comprise at least one of: number of zero crossings of a first derivative of the light line, maximum value of the first derivative, Number of zero crossings of a second derivative of the light line occurring after the maximum value of the first derivative, and magnitude of an angle of change of direction of the light line.
  • the quality of the product flow is determined and controlled by printed in brackets K printed products 101, 102.
  • brackets K are indicated, each holding two folded printed products 101, 102 in the region of the folded edge 110.
  • two products each 101, 102 promoted by a bracket K.
  • the products 101, 102 are arranged offset from one another, so that the leading in the conveying direction F product 101 each further into the bracket K projects as the trailing in the conveying direction F product 102.
  • all products 101, 102 are correct in the brackets K. aligned.
  • a pair of printed products 101, 102 are subjected to four laser lines 2, 3, 4, 5, which are generated by at least one laser 10.
  • Two of the laser lines 2, 3 are aligned on the printed products parallel to their side edges 111 and in the conveying direction F and extend at least over the regions of the front folded edge 110.
  • Two of the laser lines 4, 5 extend transversely to the conveying direction and run approximately parallel to the folded edge 110 For energetic reasons it is advantageous to keep the laser lines as short as possible and to use pulsed lasers as already described above.
  • An electronic camera 20 detects all laser lines in the detection area.
  • FIG. 1 is arranged laterally to the flow of a laser light barrier 50, which generates by means of the detection of the brackets K, a trigger signal for the timing of the inventive device and the method.
  • FIG. 2 is a further possible use of the inventive device 1 'in the quality control of a conveyed on a conveyor belt B Schuppenstroms shown in the print finishing.
  • Laser 10 'and camera 20' are offset from each other by a spatial angle ⁇ arranged above the scale flow.
  • the third laser line 4 is at right angles to approximately parallel to the folded edge 110 of the leading 103 of these two printed products.
  • FIG. 3 are strongly schematized three printed products 101, 102, 103 from a scale flow, for example according to FIG. 2 shown in the control device.
  • the elements of the device are all omitted, only the generated on the surface of the printed products in the scale flow line profiles in the form of laser lines 2, 3 and 4 are shown.
  • the position of the first product 101 in the conveying direction F is checked.
  • four edge points P1, P2, P3 and P4 are determined on the printed product 101.
  • On the basis of the position of the two edge points P1 and P2 which are generated with the aid of the two laser lines 2 and 3 on the leading edge product 110 it can be determined whether this leading edge product 110 is aligned correctly in relation to the conveying axis. If only the two edge points P1 and P2 were determined, it would not be possible to determine whether the product 101 projects laterally out of the scale flow transversely to the conveying direction. Therefore, in the example shown, the edge points P3 and P4 lying on the side edges 112 and 111 are also determined. As a result, it can be clearly determined whether the respectively controlled product is correctly aligned in the scale flow.
  • FIGS. 5a to 5d schematically show the electronic image sections in the area of the four generated edge points P1 to P4 from the FIG. 3 ,
  • the light lines shown in the image sections are already detected, filtered, smoothed and the gaps are filled.
  • the light line is shown in the area of the edge point P1.
  • the show Figures 5b, 5c and 5d the light lines from the areas of the edge points P2, P3 and P4.
  • the FIG. 5e are the individual electronic images, respectively the illustrated light lines, rotated by a fixed predetermined value in a respective desired position and the sake of clarity side by side shown in a composite image.
  • the laser lines intersect the product edges in each case approximately at right angles, but by the angular position of the camera, the light lines are imaged in the electronic image but in other angular positions, offers a rotation in a desired position in which substantial portions of the light lines to be analyzed are perpendicular.
  • the position values of the individual points on the lines must be tracked in order to ensure the exact position determination of the determined edge points.
  • the detected edge lines of the leading product edge 110 which in FIGS. 5a and 5b and in the FIG. 5e are shown left hand, have significant changes in direction.
  • the edge line of the camera rear view product side edge 111 which in FIG. 5c and in the FIG. 5e is shown to the right of the center, has a significant interruption.
  • the respective edge points can be determined with exact position and any deviations from predefined setpoints can trigger corresponding control signals or error messages.
  • FIGS. 6a to 6c are in fragmentary form each two offset from each other stapled printed products 105, 106 shown as they are transported, for example, in a staple conveyor.
  • the printed product pairs 105, 106 are each subjected to three lines of light in the form of laser lines 6, 7, 8.
  • the printed products 105, 106 are in the folding area 113, 114, each with three brackets 31, 32, 33 and 34, 35, 36 stapled.
  • the three laser lines 6, 7, 8 are approximately at right angles to the top folding edges 113, 114 aligned approximately parallel to each other, that they illuminate the fold areas 113, 114 respectively in the staples 31, 34 or 32, 35 or 33, 36.
  • FIG. 6a two correctly stapled products 105, 106 are shown.
  • FIG. 6a two correctly stapled products 105, 106 are shown.
  • the middle staple 32 is missing from the product 105 ', indicating the failure of a stapler.
  • the staple 32 is not correctly in the fold area, but shifted in the direction of downward, attached, which may be caused for example by a misalignment of a stapler.
  • FIG. 7 shows that to control the product quality, ie the stapling according to the examples of FIG. 6 , now changes in the line profile are considered, which are based on width and / or intensity changes. Since the used metal wire staples strongly reflect the laser light, they cause a local thickening of the light line in the electronic image. In the case of the correctly stapled products 105, 106, the electronic images of the detected lines of light 31, 32, 33 would all be approximately identical to those of Figs FIGS. 7a and 7c appear. The correct position for all staples can be verified by the position of the edge points, which are clearly visible in the images as thickening of the light lines. To explain the control result in case of error are in the FIGS.
  • the electronic image of the light line 32 is in the region of the defective stapling position 32 on product 105 ' FIG. 6b shown.
  • the product 105 ' no changes in the line profile are detected based on a change in width and / or intensity, which would lead to the generation of a corresponding edge point.
  • the three light lines as in the overview according to the FIG. 8d can be clearly determined that and which edge point is missing, which means that a staple is missing.
  • FIG. 9 is a perspective view of a schematic view of a stack 100 of three printed products 107, 108, 109 sketched with different formats, as for example, in the print finishing of various newspaper supplements collected and transported on conveyor belts.
  • the product stack 100 is loaded with four lines of light 11, 12, 13, 14, which are aligned in pairs spaced from each other at right angles to the product side edges.
  • the lines of light are positioned so that each side edge of a product is illuminated by two lines of light.
  • FIG. 10a is again the product stack 100 with the three correctly aligned printed products 107, 108, 109 according to the FIG. 9 shown.
  • FIGS. 10b-10d examples of faulty stacks are shown.
  • the control unit recognizes that all products are present, but that the top product is not aligned correctly. It is also recognized from the position of the detected edge points that the misaligned small-sized product 109 does not project beyond the edges of the bottommost product 107, which has the largest format, on either side.
  • a higher-level control system can be informed and decide whether the misposition leads to the departure of the product stack or can be tolerated for the further processing steps.
  • the stack according to FIG. 10b subsequently welded in foil for shipment, the misalignment of the uppermost product 109 would be readily tolerable.
  • a faulty stack according to the FIG. 10c On the other hand, it would not be possible to supply it to a device for shrink-wrapping in foil, since it would be feared that the above-mentioned product 109 would make the welding process impossible.
  • the misalignment as shown for the uppermost product, can not be recognized from the edge points P5 - P8 lying on the longitudinal edges of the product, since the illustrated lateral displacement along the conveying direction F has no influence on the position of the detected and calculated edge points P5 - P8 has.
  • the misalignment is not recognized until at least one of the edge points P9 - P12 is considered.
  • the faulty stack 100 ' can be eliminated based on the error message that is generated by the control method according to the invention or brought into a further processable state by a correction of the position of the uppermost product.
  • FIG. 10d is a faulty position of the middle product 108 in the stack 100 "shown., It can be according to the present invention again by a lack of the corresponding Edge points or the wrong position of the edge points to the product 109 easily recognize, so that the faulty stack 100 "can be post-processed or eliminated.
  • edge points to be determined can be made. For example, only one edge point per product edge can be determined, which further reduces the demands on computing power and signal processing.
  • FIG. 4 is a perspective view of a highly schematic view of a provided with a sticker 40 printed product 107 is shown.
  • the printed product 107 and the sticker are loaded with three light lines 15-17, which are aligned so that the position provided for the sticker is illuminated by all three lines of light.
  • the light lines 15-17 are drawn thicker in the area of the surface of the sticker 40 to indicate the higher intensity of the light reflected from the sticker surface.
  • the edge points P41-P46 assigned to the sticker are generated in detail based on the changes in the line profile which are based on changes in width and / or intensity.
  • FIG. 11 From the FIG. 11 can be seen how the correct spacing of products in the scale flow can be determined by means of a further embodiment of the invention.
  • two light lines 15, 16, which act on the leading edge product 110 are each two edge points per product, in the case illustrated magazines 120, 121, 122, 123, generated.
  • the light lines 15, 16 again run approximately parallel to the longitudinal axis of the illustrated conveyor belt B and spaced from each other. If a deviation from the desired distance A between two products is determined, which is no longer within a predetermined tolerance range, a signal is generated based on this measurement information. This signal can subsequently trigger a correction of the incorrect distance F.
  • the signal includes not only the information about the detected error, but also the information about the product to be corrected, in this case the magazine 122nd
  • FIG. 12 It is shown how an error in a scale flow, which is based on a rotation of a magazine 126, is recognized according to the invention. From the scale flow only three products 124 - 126 are shown. Three light lines 17, 18, 19 are aligned parallel to the conveying direction F, and thus to the product side edges of the correctly arranged products 124, 125. In order to be able to control the correct stitching at the same time as the position of the products in the shingled stream, the lines of light 17-19 are arranged in such a way that they intersect the product leading edges in the area of the staple / staples. In the FIG. 12b In turn, a composite image of the recorded light lines in the region of the relevant edge points of the two magazines 125 and 126 is shown.
  • the in the FIG. 12a illustrated fault situation can be easily transferred to a promotion in a gripper or staple conveyors in which, for example, two products are conveyed with an offset to each other. There, for example, the mishandling of product 126 to product 125 would be recognized.
  • the inventive method can not only help the operator, for example, an operation of the print finishing, to increase the quality of the products produced, but it also allows a complete and comprehensive logging of the production quality.
  • the generated signals can be recorded and logged in the higher-level system control so that the client can be provided with a wide range of information from which he can see the quality of his products.
  • These options are particularly important with regard to the increasing customization of printed products. For example, a magazine publisher may present a detailed production log to an advertiser showing that the desired add-ons, such as sample bags or postcards, have actually been glued in the desired number and in magazines for the desired delivery regions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

Es werden ein Verfahren und eine Vorrichtung zur Qualitätsbeurteilung vorzugsweise in der Druckweiterverarbeitung vorgeschlagen, das es erlaubt verschiedenste Qualitätsmängel zu erkennen und zu beurteilen. Das neue Verfahren ist nicht nur hinsichtlich der benötigten Hardwareleistung vereinfacht, sondern es sind auch seine Betriebszuverlässigkeit und seine Arbeitsgeschwindigkeit erhöht. Das optische Kontrollverfahren umfasst zumindest die folgenden Schritte: a. ein Führen eines flächigen Produkts, zum Beispiel eines Druckprodukts, einer Produktgruppe oder eines Produktstroms entlang einer Förderstrecke an mindestens einem optischen Sensor vorbei; b. ein Beaufschlagen des flächigen Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Strahlprofil zum Erzeugen eines durch eine Lichtlinie definierten Linienprofils; c. ein Erfassen eines elektronischen Bildes durch den optischen Sensor, wobei das elektronische Bild mindestens einen Bereich des Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie definierten Linienprofils umfasst; d. ein Ermitteln von mindestens einem Produktkennzeichen aus dem elektronischen Bild basierend auf dem durch die Lichtlinie definierten Linienprofil; e. ein Generieren mindestens einer Messinformation basierend auf dem mindestens einen Produktkennzeichen; und f. ein Erzeugen mindestens eines Signals basierend auf der mindestens einen Messinformation.

Description

  • Die vorlegende Erfindung betrifft ein optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung gemäss Oberbegriff von Patentanspruch 1 und eine Vorrichtung zur Durchführung des Verfahrens gemäss Oberbegriff von Patentanspruch 14.
  • Optische Kontrollverfahren zum Zählen und Erkennen von flexiblen, flächigen Produkten, insbesondere Druckprodukten wie Zeitungen, Zeitschriften, Prospekten, Werbebeilagen, Anzeigeblättern oder Teilen davon, in der Druckweiterverarbeitung sind grundsätzlich bekannt.
  • Aus der WO 2008119192 der Anmelderin ist eine Vorrichtung zum Zählen und Erkennen von flächigen Produkten, insbesondere von Druckereiprodukten bekannt. Die Vorrichtung weist eine Lichtquelle, einen optischen Sensor und eine mit dem optischen Sensor verbundenen Auswerteeinheit auf. Die Lichtquelle, in einer bevorzugten Ausführungsform ein Laser, verfügt über eine Strahlformungsoptik, beispielsweise in Form von optischen Linsen, insbesondere von Zylinderlinsen, von Blenden oder diffraktiven optischen Elementen, durch welche dem ausgesendeten Licht ein vorbestimmtes Beleuchtungsstrahlprofil "aufgeprägt" wird. Innerhalb des Beleuchtungsstrahlprofils befindliche Objekte werden mit Licht bestrahlt. Der Lichtquelle kann über die Strahlformungsoptik eine optische Achse zugeordnet werden, die sich ausgehend von der Lichtquelle geradlinig im Raum erstreckt . Diese optische Achse bildet im Sinne der WO2008119192 gleichzeitig eine zentrale Strahlachse des Beleuchtungsstrahlprofils und wird in der Publikation auch als Beleuchtungsstrahlachse bezeichnet.
  • Der optische Sensor, in einer bevorzugten Ausführungsform beispielsweise eine elektronische Kamera mit einer Mehrzahl von lichtempfindlichen Elementen, ist mit einer Detektionsoptik zur Formung eines Detektionsstrahlprofils ausgestattet. Als Detektionsoptik wird beispielsweise ein Kameraobjektiv eingesetzt. Das Detektionsstrahlprofil umfasst all die Orte, von denen der optische Sensor Licht detektieren kann. Bei Verwendung eines optischen Sensors mit mehreren lichtempfindlichen Elementen, wie bei der bereits erwähnten Kamera, setzt sich das Detektionsstrahlprofil des optischen Sensors aus den jedem einzelnen lichtempfindlichen Element zugeordneten einzelnen Detektionsstrahlprofilen zusammen. Das Detektionsstrahlprofil des optischen Sensors könnte beispielsweise sichtbar gemacht werden, in dem die lichtempfindlichen Elemente durch kleine Lichtquellen ersetzt werden würden. In Analogie zur Lichtquelle kann auch dem optischen Sensor über die Detektionsoptik eine optische Achse zugeordnet werden. Diese optische Achse bildet im Sinne der WO2008119192 gleichzeitig eine zentrale Strahlachse des Detektionsstrahlprofils und wird auch als Detektionsstrahlachse bezeichnet.
  • Das Beleuchtungsstrahlprofil und das Detektionsstrahlprofil sind dabei derart winkelversetzt zueinander ausgerichtet, dass sie in einem Detektionsbereich überlappen. In einer bevorzugten Ausführungsform liegen die Beleuchtungsstrahlachse und die Detektionsstrahlachse sogar in einer Ebene. Zum Zählen der flächigen Produkte muss sich wenigstens ein Abschnitt des Oberflächenprofils der flächigen Produkte im Detektionsbereich befinden. Dieser Abschnitt ist erfindungsgemäss wenigstens teilweise durch das Beleuchtungsstrahlprofil begrenzt und mittels des optischen Sensors detektierbar. Der optische Sensor kann ein Detektionssignal mit Informationen über den detektierten Abschnitt des Oberflächenprofils erzeugen. Das Detektionssignal wird an eine nachgeschaltete Auswerteeinheit weitergeleitet. Die Auswerteeinheit, vorzugsweise ein Computer, kann aus dem Detektionssignal die Anzahl der flächigen Produkte, die sich zum Zeitpunkt der Detektion im Detektionsbereich befunden haben, bestimmen.
  • In einer besonders bevorzugten Ausführungsform ist der Vorrichtung zum Zählen und Erkennen von flächigen Produkten eine Transportvorrichtung zugeordnet. Die mit Hilfe der Transportvorrichtung entlang einer Transportrichtung durch den Detektionsbereich bewegten flächigen Produkte werden vorzugsweise fortlaufend gezählt, um beispielsweise deren Vollständigkeit zu kontrollieren. Die Beleuchtungsstrahlachse ist dabei bevorzugter Weise gegenüber den Flächennormalen der beispielsweise auf einem Förderband aufliegenden oder mittels Klammern oder Greifern transportierten flächigen Produkte geneigt ausgerichtet. Das Beleuchtungsstrahlprofil im Detektionsbereich ist mittels der Strahlformungsoptik vorzugsweise als ein im Wesentlichen geradliniger Bereich, insbesondere als eine sogenannte Beleuchtungslinie, ausgeformt, welche den Abschnitt des Oberflächenprofils der flächigen Produkte auf eine definierte Weise beleuchtet. Vorzugsweise erstreckt sich die Beleuchtungslinie im Wesentlichen parallel zur Transportrichtung. Unmittelbar oberhalb von den flächigen Produkten, mit seiner Detektionsstrahlachse leicht geneigt zu deren Flächennormalen und im Wesentlichen rechtwinklig zur Transportrichtung ausgerichtet, befindet sich eine Kamera als optischer Sensor. Das Detektionsstrahlprofil ist durch die Detektionsoptik derart ausgeformt, dass eine Abbildung von der durch die Lichtquelle auf die Oberfläche der flächigen Produkte projizierten Beleuchtungslinie auf den lichtempfindlichen Elementen der Kamera erzeugt wird.
  • Aufgrund der durch die Dicke und die Anordnung der flächigen Produkte hervorgerufenen Höhenunterschiede im "abzutastenden" Oberflächenprofil, insbesondere dann, wenn sich ein Randbereich eines flächigen Produkts im Detektionsbereich befindet, wird ein von der Kamera aufgenommenes Bild von der auf diese unebene "Projektionsfläche" projizierten Beleuchtungslinie deren Krümmungen und Absätze wiedergeben. Diese Bildinformationen werden im Detektionssignal an einen elektrisch verbundenen Computer weitergeleitet. Ein auf dem Computer ausführbares Bildverarbeitungsprogramm kann dann aus dem Abbild der projizierten Beleuchtungslinie anhand der Krümmungen und Absätze die Anzahl der flächigen Produkte, die sich im Detektionsbereich befunden haben, ermitteln. Damit die Bildinformationen möglichst wenig durch Bewegungsartefakte aufgrund des Transports der flächigen Produkte während der Bildaufnahme beeinflusst werden, ist die Aufnahme bzw. Detektionszeit kurz im Vergleich zur Zeit, innerhalb der sich ein flächiges Produkt um den Betrag seiner Dicke bewegt hat. Die Anzahl der sich im Detektionsbereich befindlichen flächigen Produkte wird allein aus dem detektierten Oberflächenprofil der flächigen Produkte bestimmt. Es ist nicht nötig, Identifikationsinformationen an den flächigen Produkten anzubringen. Aufgrund der gegenüber dem Umgebungslicht vergleichsweise hohen Intensität des von der Lichtquelle erzeugten Lichts im Beleuchtungsstrahlprofil, insbesondere innerhalb der Beleuchtungslinie im Detektionsbereich, ergibt sich ein ausreichender Kontrast in den Bildaufnahmen, so dass eine zuverlässige Identifizierung des angestrahlten Oberflächenprofils gewährleistet ist. Bei Verwendung einer im Wesentlichen monochromatischen Lichtquelle, beispielsweise eines Lasers, kann der optische Sensor zudem mit entsprechenden Filterelementen ausgestattet sein, um den Störeinfluss von Umgebungslicht zusätzlich zu verringern.
  • In der WO 2008119192 ist es als besonders bevorzugt beschrieben der Vorrichtung zum Zählen und Erkennen von flächigen Produkten eine Transportvorrichtung zuzuordnen. Die mit Hilfe der Transportvorrichtung entlang einer Transportrichtung durch den Detektionsbereich bewegten flächigen Produkte werden vorzugsweise fortlaufend gezählt, um beispielsweise deren Vollständigkeit zu kontrollieren. Die Beleuchtungsstrahlachse ist dabei bevorzugter Weise gegenüber den Flächennormalen der beispielsweise auf einem Förderband aufliegenden oder mittels Klammern oder Greifern transportierten flächigen Produkte geneigt ausgerichtet. Das Beleuchtungsstrahlprofil im Detektionsbereich ist mittels der Strahlformungsoptik vorzugsweise als ein im Wesentlichen geradliniger Bereich, insbesondere als eine sogenannte Beleuchtungslinie, ausgeformt, welche den Abschnitt des Oberflächenprofils der flächigen Produkte auf eine definierte Weise beleuchtet. Vorzugsweise erstreckt sich die Beleuchtungslinie im Wesentlichen parallel zur Transportrichtung. Unmittelbar oberhalb von den flächigen Produkten, mit seiner Detektionsstrahlachse leicht geneigt zu deren Flächennormalen und im Wesentlichen rechtwinklig zur Transportrichtung ausgerichtet, befindet sich eine Kamera als optischer Sensor. Das Detektionsstrahlprofil ist durch die Detektionsoptik derart ausgeformt, dass eine Abbildung von der durch die Lichtquelle auf die Oberfläche der flächigen Produkte projizierten Beleuchtungslinie auf den lichtempfindlichen Elementen der Kamera erzeugt wird.
  • Im Stand der Technik gemäss der WO 2008119192 ist zudem beschrieben, dass aufgrund der durch die Dicke und die Anordnung der flächigen Produkte hervorgerufenen Höhenunterschiede im "abzutastenden" Oberflächenprofil, insbesondere dann, wenn sich ein Randbereich eines flächigen Produkts im Detektionsbereich befindet, ein von der Kamera aufgenommenes Bild von der auf diese unebene "Projektionsfläche" projizierten Beleuchtungslinie deren Krümmungen und Absätze wiedergeben wird. Diese Bildinformationen werden im Detektionssignal an einen elektrisch verbundenen Computer weitergeleitet. Ein auf dem Computer ausführbares Bildverarbeitungsprogramm kann dann aus dem Abbild der projizierten Beleuchtungslinie anhand der Krümmungen und Absätze die Anzahl der flächigen Produkte, die sich im Detektionsbereich befunden haben, ermitteln. Damit die Bildinformationen möglichst wenig durch Bewegungsartefakte aufgrund des Transports der flächigen Produkte während der Bildaufnahme beeinflusst werden, ist die Aufnahme bzw. Detektionszeit kurz im Vergleich zur Zeit, innerhalb der sich ein flächiges Produkt um den Betrag seiner Dicke bewegt hat. Die Anzahl der sich im Detektionsbereich befindlichen flächigen Produkte wird allein aus dem detektierten Oberflächenprofil der flächigen Produkte bestimmt. Es ist nicht nötig, Identifikationsinformationen an den flächigen Produkten anzubringen. Aufgrund der gegenüber dem Umgebungslicht vergleichsweise hohen Intensität des von der Lichtquelle erzeugten Lichts im Beleuchtungsstrahlprofil, insbesondere innerhalb der Beleuchtungslinie im Detektionsbereich, ergibt sich ein ausreichender Kontrast in den Bildaufnahmen, so dass eine zuverlässige Identifizierung des angestrahlten Oberflächenprofils gewährleistet ist. Bei Verwendung einer im Wesentlichen monochromatischen Lichtquelle, beispielsweise eines Lasers, kann der optische Sensor zudem mit entsprechenden Filterelementen ausgestattet sein, um den Störeinfluss von Umgebungslicht zusätzlich zu verringern.
  • Aus der DE102007001989 ist eine Vorrichtung zur Erkennung von Doppelabzügen in einem Vereinzeler von postalischen, überlappbar strömenden Gegenständen beschrieben. Dabei projiziert ein seitlich zu den Briefsendungen angeordneter Lichtprojektor mindestens eine Lichtlinie quer zu einem potentiellen Überlappungsbereich der Briefe und eine seitlich zu den Briefen angeordnete und schräg zum Lichtprojektor positionierte Kamera nimmt eine Abbildung der projizierten Lichtlinie und deren Versetzungen (bzw. Krümmungen, Grössenänderungen oder allgemeiner geometrischen Abweichungen zu einer bei doppelabzugsfreien Gegenständen abgebildeten Referenzlinie) auf. Mit einem Rechner, der über einen Bildspeicher an der Kamera angeschlossen ist und ein Modul zum Vergleich zwischen den ermittelten Höhenunterschieden an lückenfreien Rändern des Überlappungsbereiches und vorgegebenen Höhenwerten doppelabzugsfähiger Gegenstände aufweist wird auf nicht weiter beschriebene Art und Weise unter Vergleichen die Entscheidung getroffen werden, ob strömende Gegenstände unter Verdacht eines Doppelabzugs von der Strömung ausgeschleust werden müssen.
  • Es ist Aufgabe der vorliegenden Erfindung ein Verfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung, zur Verfügung zu stellen, das es erlaubt verschiedenste Qualitätsmängel zu erkennen und zu beurteilen; dabei soll das Verfahren nicht nur hinsichtlich der benötigten Hardwareleistung vereinfacht werden, sondern es sollen auch seine Betriebszuverlässigkeit und seine Arbeitsgeschwindigkeit erhöht werden.
  • Es ist zudem Aufgabe der vorliegenden Erfindung eine Vorrichtung zur Qualitätsbeurteilung in der Druckweiterverarbeitung, zur Verfügung zu stellen, die es erlaubt verschiedenste Qualitätsmängel zu erkennen, dabei hinsichtlich der benötigten Hardwareleistung einfach und damit preisgünstig ist, aber gleichzeitig hinsichtlich der Betriebszuverlässigkeit sehr robust ist.
  • Eine Lösung der der Erfindung zugrunde liegenden Aufgabe ist im Anspruch 1 angegeben. Merkmale, die das erfindungsgemässe Verfahren vorteilhaft weiterbilden, sind Gegenstand der abhängigen Ansprüche 2 bis 13.
  • Erfindungswesentlich ist beim optischen Kontrollverfahren zur Verwendung in der Druckweiterverarbeitung, dass es zumindest die folgenden Schritte umfasst:
    1. a. ein Führen eines flächigen Produkts, zum Beispiel eines Druckprodukts, einer Produktgruppe oder eines Produktstroms entlang einer Förderstrecke an mindestens einem optischen Sensor vorbei;
    2. b. ein Beaufschlagen des flächigen Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Strahlprofil zum Erzeugen eines durch eine Lichtlinie definierten Linienprofils;
    3. c. ein Erfassen eines elektronischen Bildes durch den optischen Sensor, wobei das elektronische Bild mindestens einen Bereich des Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie definierten Linienprofils umfasst;
    4. d. ein Ermitteln von mindestens einem Produktkennzeichen aus dem elektronischen Bild basierend auf dem durch die Lichtlinie definierten Linienprofil;
    5. e. ein Generieren mindestens einer Messinformation basierend auf dem mindestens einen Produktkennzeichen; und
    6. f. ein Erzeugen mindestens eines Signals basierend auf der mindestens einen Messinformation.
  • Im Gegensatz zu den bekannten Verfahren aus dem vorgängig beschriebenen Stand der Technik erlaubt es das neue Verfahren gemäss der vorliegenden Erfindung basierend auf dem aus dem elektronischen Bild ermittelten Produktkennzeichen eine Messinformation zu generieren. Diese Messinformation ist wiederum die objektive Grundlage für die Qualitätsbeurteilung. Sie erlaubt es nicht nur die Anzahl der in einem betrachteten Bereich vorhandenen Produkte zu ermitteln, sondern - wie im weiteren ausführlich beschrieben ist - eine echte Qualitätsbeurteilung vorzunehmen.
  • Unter dem Begriff Linienprofil sollen im Zusammenhang mit der vorliegenden Anmeldung einerseits Oberflächenprofile verstanden werden, wie sie bereits in der WO 2008/119192 der Anmelderin offenbart wurden, bei denen die Krümmungen und Absätze der auf der unebenen "Projektionsfläche" der Produktströme projizierten Beleuchtungslinie wiedergeben werden. Unter den Begriff Linienprofil fallen in der vorliegenden Anmeldung auch Intensitätsprofile, die durch Unterschiede im Reflexions- und/oder Absorptionsverhalten der von der Lichtlinie beleuchteten Oberflächen bewirkt werden, unabhängig davon ob diese Oberflächen ebene oder unebene "Projektionsflächen" sind. Zudem fallen in der vorliegenden Anmeldung unter den Begriff Linienprofil auch Profile, bei denen Änderungen der Lichtlinie durch Streuung, respektive Beugung des vorzugsweise monochromatischen Lichts insbesondere an Produktkanten bewirkt werden.
  • Das neue Kontrollverfahren zeichnet sich gemäss bevorzugter Ausführungsformen dadurch aus, dass das Ermitteln des mindestens einen Produktkennzeichen ein Bestimmen von Positionsangaben mindestens eines Produktkantenpunkts (im Folgenden auch kurz als Kantenpunkt bezeichnet) umfasst; und dass das Generieren der Messinformation basierend auf den Positionsangaben des mindestens einen Kantenpunkts erfolgt. Das Produktkennzeichen ist vorzugsweise eine Lageangabe, die die Lage eines Produktes relativ zu einem Fördermittel oder relativ zu anderen Produkten bezeichnet, eine Grössenangabe, die Auskunft gibt über die Format, Breite, Höhe oder Länge eines Druckproduktes oder einer Gruppe von Druckprodukten, oder eine Anwesenheitsangabe, die es erlaubt das Vorhandensein eines Produktes oder einer Produktgruppe zu ermitteln.
  • Der Begriff Kantenpunkt soll im Rahmen der vorliegenden Anmeldung nicht eng, das heisst im Sinne eines Punktes einer räumlich deutlich abgesetzten Produktkante, verstanden werden, sondern unter dem Begriff Kantenpunkt fallen auch solche Kanten, wie sie mit minimalem Höhenunterschied zum Beispiel durch Aufkleber auf den Druckprodukten oder durch Heftklammern definiert werden. Die Kantenpunkte beeinflussen das von der Lichtlinie definierte Linienprofil derart, dass sie sich im elektronischen Bild einfach und schnell erkennen und auswerten lassen.
  • Vorzugsweise werden bei den neuen Kontrollverfahren mindestens zwei durch Lichtlinien definierte Linienprofile mit zueinander bekannter räumlicher Lage erzeugt und basierend auf den mindestens zwei durch die Lichtlinien definierten Linienprofilen werden jeweils Positionsangaben von mindestens einem Kantenpunkt je Lichtlinie für je mindestens ein Produkt ermittelt.
  • Basierend auf den Produktkantenpunkten wird eine Ausrichtung und/oder eine Lage des Produkts bestimmt wird; und dass das Generieren der Messinformation basierend auf der Ausrichtung und/oder Lage des Produkts erfolgt.
  • Gemäss vorteilhafter Ausführungsformen des erfindungsgemässen Kontrollverfahrens werden die mindestens zwei durch Lichtlinien definierten Linienprofile im Wesentlichen entlang einer Längsachse der Förderstrecke, respektive parallel zur Förderrichtung erzeugt und die Ausrichtung und/oder Lage der zu kontrollierenden Produkte, Produktstapel oder Produktgruppen ist bezüglich der Längsachse bestimmt. Solche lineare Situationen finden sich in der Druckweiterverarbeitung zum Beispiel bei geraden Abschnitten von Produkt-Schuppenströmen, geraden Abschnitten von Förderstrecken von Klammer- oder Greiferförderanlagen, geraden Bandförderern, Eintaktbändern und ähnlichem.
  • Ein besonderer Vorteil des erfindungsgemässen Verfahrens liegt jedoch darin, dass die Qualitätskontrolle aber gerade auch in nicht-linearen Situationen sehr einfach und mit hoher Präzision durchgeführt werden kann. So lässt sich die Qualität von Produktströmen, zum Beispiel von Schuppenströmen, in Kurven in der Ebene oder im Raum, von Produkten in Verarbeitungstrommeln oder auf Wickeln gut überwachen, da das erfindungsgemässe Verfahren und die erfindungsgemässe Vorrichtung kaum Einschränkungen hinsichtlich der räumlichen Ausrichtung der zu überwachenden Produkte nötig machen. Das erfindungsgemässe Verfahren lässt sich auch vorteilhaft zur Qualitätskontrolle einsetzen, wenn die zu kontrollierenden Produkte in Taschen oder Fördertrommeln transportiert und/oder verarbeitet werden.
  • Je nach Fehlerart die bestimmt werden soll, ist es angezeigt Lichtlinien nicht oder nicht nur parallel zu einer Förderrichtung, respektive im Wesentlichen entlang oder parallel zu einer Längsachse der Förderstrecke, sondern ausschliesslich oder zusätzlich auch quer zu dieser zu erzeugen. Eine oder mehrere Linienprofile werden dabei im Wesentlichen entlang oder parallel zu einer Querachse der Förderstrecke erzeugt. Dies vorzugsweise wenn die Ausrichtung und/oder Lage des Produkts bezüglich der Querachse bestimmt wird.
  • Aus den folgenden Erläuterungen zum Linienprofil und insbesondere zur Rolle der Kantenpunkte wird für den Fachmann deutlich, dass das erfindungsgemässe Verfahren und die Vorrichtung den Nutzern ein hohes Mass an Variationsmöglichkeiten hinsichtlich der Anordnung der Lichtlinien auf den zu kontrollierenden Produkten, Produktgruppen und/oder Produktströmen bieten. Die Lichtlinien können zum Beispiel je nach räumlichen Gegebenheiten in der Weiterverarbeitungsanlage oder nach den zu erwartenden Fehlertypen auch in beliebigen weiteren Winkelstellungen zu den Längs- und/oder Querachsen der Produkte oder der Förderrichtungen ausgerichtet sein.
  • So lassen sich zum Beispiel dieselben vier Kantenpunkte, zum Beispiel die Mittelpunkte der Seitenkanten, auf den vier Kanten eines quadratischen Produkts durch zwei sich kreuzende Lichtlinien entlang der Längs- und der Querachse oder durch zwei parallele Lichtlinien die jeweils im Winkel von 45° zu Längs- und Querachse verlaufen. Dieselben vier Kantenpunkte lassen sich auch durch vier Lichtlinien generieren. 0b diese vier Lichtlinien, gemäss diesem Beispiel, von einer einzigen Lichtquelle oder von mehreren Lichtquellen erzeugt werden spielt dabei keine Rolle. Vorteilhaft ist es eine Lichtlinie nur von einer Lichtquelle erzeugen zu lassen, um Unschärfen durch ungenau justierte Lichtquellen zu vermeiden. Durch den Einsatz von Linsen, Filtern, anderen strahlformenden Einrichtungen und vor allem auch durch Spiegel lassen sich die erzeugten Strahlprofile derart verändern und/oder umlenken, dass mit nur einer Strahlungsquelle mehr als eine Lichtlinie an verschiedenen Positionen in gewünschten Längen mit gewünschter Schärfe generiert werden können.
  • Bezüglich vorteilhafter Anordnungen von Lichtquelle und Detektionsoptik zueinander und zu den zu kontrollierenden Produkten, das heisst bezüglich Beleuchtungsstrahl- und Detektionsstrahlachse, soll auf die obigen Ausführungen zur WO 2008119192 verwiesen werden, die sich grundsätzlich auf die vorliegende Erfindung übertragen lassen. Die diesbezügliche Lehre soll hiermit in die vorliegende Anmeldung aufgenommen werden.
  • Die Lichtlinien generieren im Zusammenwirken mit den beaufschlagten Oberflächen der zu kontrollierenden Produkte und allenfalls auch im Zusammenwirken mit Oberflächen wesentlicher Transportmittel sehr kontrastreiche Linienprofile, von denen elektronische Bilder erfasst werden. Das vorzugsweise mittels einer digitalen Kamera erfasste elektronische Bild umfasst mindestens einen Bereich des Druckprodukts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie definierten Linienprofils.
  • Im Folgenden wird, der Einfachheit halber, das elektronische Abbild des von der Lichtlinie auf der beleuchteten Oberfläche generierten Linienprofils, weiterhin als Lichtlinie bezeichnet. Es ist für den Fachmann ohne weiteres möglich aus dem Zusammenhang zu erkennen ob es sich bei den beschriebenen Lichtlinien um die tatsächlich auf Produkte projizierten Lichtlinien oder die elektronisch erfassten, abgespeicherten, bearbeiteten etc. virtuellen Lichtlinien handelt.
  • Beim erfindungsgemässen Kontrollverfahren umfasst das Ermitteln des mindestens einen Produktkennzeichens zumindest die folgenden Schritte:
    1. a. ein Bestimmen der mindestens einen Lichtlinie im elektronischen Bild;
    2. b. ein Bestimmen eines Kurvenverlaufs der Lichtlinie; und
    3. c. ein Ermitteln einer Positionsangabe mindestens eines Produktkantenpunkts aus dem Kurvenverlauf der Lichtlinie.
  • Unter Kurvenverlauf wird im Kontext der vorliegenden Erfindung nicht nur der Verlauf der Linie, respektive des Linienprofils in X- und Y-Richtung im elektronischen Bild, sondern auch der Verlauf der Intensität, respektive der Breite der Linie im elektronischen Bild sowie auch das Vorhandensein oder Fehlen der Linie verstanden. Ein wesentlicher Vorteil der vorliegenden Erfindung besteht darin, dass den relevanten Produktkantenpunkten Positionsangaben zugeordnet sind. Diese positionsgenau ermittelten Kantenpunkte erlauben es nicht nur quantitative Aussagen zum Vorhandensein oder der Anzahl der kontrollierten Produkte zu machen, sondern auch eine ganze Reihe von qualitativen und quantitativen Parametern wie Lage, Breite, Höhe, Dicke, Länge etc. der Produkte zu ermitteln.
  • Das Bestimmen der Lichtlinie im elektronischen Bild umfasst gemäss bevorzugter Ausführungsformen die folgenden Schritte:
    1. a. eine Rauschunterdrückung im elektronischen Bild;
    2. b. ein Hervorheben der Lichtlinie durch ein Optimalfilter;
    3. c. ein Detektieren der Lichtlinie im elektronischen Bild basierend auf Helligkeitswerten;
    4. d. ein Füllen von vorhandenen Lücken in der Lichtlinie; und
    5. e. ein Glätten von detektionsbedingten Knicken/Artefakten in der Lichtlinie.
  • Um den sogenannten Fixpattern-Noise der Kamera zu unterdrücken wird vorzugsweise die Differenz zwischen einem tatsächlich aufgenommenen Eingangsbild und einem mit abgedecktem Objektiv der Kamera aufgenommenen Dunkelbild berechnet und zur Korrektur des aufgenommenen Eingangsbild verwendet.
  • Vor dem Bestimmen des Kurvenverlaufs der Lichtlinie wird gemäss bevorzugter Ausführungsformen das elektronische Bild in eine Solllage rotiert, um die nachfolgenden Analyse- und Berechnungsschritte, besonders allfällige Vergleichsschritte, zu vereinfachen.
  • Es hat sich auch als vorteilhaft erwiesen aus dem erfassten elektronischen Bild nur einen oder mehrere Ausschnitte weiterzuverarbeiten. Die Ausschnitte sind so gewählt, dass sie lediglich die Bereiche der Lichtlinie mit den zu erfassenden Änderungen, respektive Kantenpunkten umfassen. Dadurch wird sichergestellt, dass die Lichtlinie die Teile des Hintergrunds oder stark reflektierende Metallteile der Förderanlage beleuchtet die Auswertung nicht stören kann. Solche helle Punkte im elektronischen Bild könnten ansonsten fälschlicherweise als zur Linie gehörend betrachtet werden. Beim sogenannten Cropping wird der Ausschnitt des elektronischen Bilds, der weiterverarbeitet wird anhand der Position begrenzt. Vorzugsweise definieren vier Pixel (ymin, ymax, Xmin, xmax) einen rechteckigen Bildausschnitt, der beliebig vorgegeben oder ausgewählt werden kann.
  • Da auch nach dem Unterdrücken des Fixpattern-Noise störendes Rauschen im elektronischen Bild übrig ist, das ab einer gewissen Intensität die Detektion der Linie im Bild erschweren kann, wird zur Rauschunterdrücken, respektive der Hervorhebung der aufgenommenen Lichtlinie vorzugsweise ein matched Filter oder Optimalfilter, der im wesentlichen die Form der erwarteten Lichtlinie und deren Breite folgt und das Rauschen mit zunehmendem Abstand von einer mittleren Bildpunktzeile dieser erwarteten Linie stärker unterdrückt.
  • Das eigentliche Detektieren der Lichtlinie erfolgt gemäss einer ersten Ausführungsform über das bestimmen des Bildpunkts mit dem maximalen Helligkeitswerte einer jeden Bildzeile und der Zuordnung dieses Bildpunkts zur Linie falls sein Helligkeitswert einen vorgegebenen Schwellenwert übersteigt. Diese Methode, bei der nun eine virtuelle Lichtlinie mit einer Breite von einem Pixel generiert wurde, eignet sich besonders zur Erfassung von Änderungen im Linienprofil, die auf Richtungsänderungen und/oder Unterbrüchen beruhen, wenn bestehende Lücken in der Linie gefüllt werden.
  • Vor allem in Bereichen in denen Licht verloren geht, da die zu kontrollierenden Produkte, respektive Bereiche davon in einem ungünstigen, zum Beispiel flachen Winkel zur Kamera und zum Laser stehen, kann es passieren, dass der maximale Helligkeitswert einzelner Zeilen zu klein wird und damit die Line an diesen Stellen unterbrochen wird. Die so entstandenen Lücken werden aufgefüllt, in dem zwischen den Punkten am Rand der Lücke, das heisst zwischen als Linienpunkte erkannten Punkten benachbarter Bildzeilen, linear interpoliert wird. Dabei wird vorzugsweise eine maximale Lückengrösse, zum Beispiel über die Anzahl der Bildzeilen ohne Bildpunkt mit einem maximalen Helligkeitswert oberhalb des vorgegebnen Schwellenwerts vordefiniert. Übersteigt die Lückengrösse diesen Maximalwert, dann wird nicht mehr aufgefüllt.
  • Da das Maximum einer Zeile, das heisst der Bildpunkt mit dem maximalen Helligkeitswerte einer Bildzeile, als Position der Linie die Lichtlinie in vielen Fällen nicht sehr genau charakterisiert kann es Knicke in der Linie geben, die das Bestimmen des tatsächlichen Verlaufs der Linie erschweren können, da sie ähnlich sind, wie "Knicke" durch Produktkanten zum Beispiel beim Übergang zwischen zwei Produkten. Aus diesem Grund wird die Position der Linie vorzugsweise der tatsächlichen Position nachträglich angenähert. Dabei muss der verwendete Algorithmus die Knicke durch die Produktkanten/Übergänge stehen lassen und falsche Knicke jedoch glätten.
  • Zur Erkennung von Änderungen im Linienprofil die auf Breiten- und/oder Intensitätsänderungen beruhen ist es gemäss bestimmter Ausführungsformen vorteilhaft die Lücken nicht zu Füllen. Eine Lücke in der Linie entspricht zum Beispiel einem Bereich mit niedriger Reflektion und stellt damit keinen Fehler in der Linie, sondern die eigentlich angestrebte Information dar. Soll zum Beispiel überprüft werden ob ein Werbeaufkleber mit reflektierender Oberfläche auf der Titelseite einer Tageszeitung an der korrekten Position aufgeklebt ist, so kann der vorgegebene Schwellenwert für die Zuordnung der Bildpunkte zur Lichtlinie so hoch angesetzt werden, dass er überhaupt nur von den Punkten der Lichtlinie erreicht wird, die im Bereich der stark reflektierenden Oberfläche des Aufklebers liegen. Beginn und Ende der erfassten Lichtlinie entsprechen in diesem Fall den beiden Kantenpunkten des Aufklebers.
  • Gemäss bevorzugter Ausführungsformen des neuen Verfahrens wird basierend auf dem wie oben beschrieben bearbeiteten elektronischen Abbild der Lichtlinie in einem weiteren Schritt mindestens eine erste Ableitung der Lichtlinie berechnet, anschliessend werden die Nulldurchgänge der Ableitung der Lichtlinie, und damit die Richtungsänderungen der Lichtlinie bestimmt.
  • Da das abgeleitete Signal stark verrauscht sein kann, wird es vorzugsweise zusätzlich mit einem Tiefpass gefiltert. (z.B. FIR-Filter, Fenster-Methode, Hamming-Window). Da ein solches FIR-Filter eine Verschiebung von (Anzahl Koeffizienten -1)/2 einfügt, wird das gefilterte Signal entsprechend korrigiert.
  • Eine zweite Ableitung lässt sich berechnen, in dem die gefilterte erste Ableitung nochmals abgeleitet wird. Betrachtet man die Anzahl der Nulldurchgänge der zweiten Ableitung (Wendepunkte), welche nach dem Maximum der ersten Ableitung auftreten, so kann diese Anzahl ein Mass dafür sein, ob der analysierte Bildbereich keine, eine, zwei oder mehrere Produktkanten enthält.
  • Anhand der Anzahl der Nulldurchgänge einer ersten Ableitung der Lichtlinie, dem maximalen Wert der ersten Ableitung, der Anzahl der Nulldurchgänge einer zweiten Ableitung der Lichtlinie, die nach dem maximalen Wert der ersten Ableitung auftreten, und Betrag eines Winkels einer Richtungsänderung der Lichtlinie lässt sich also bestimmen ob und wie viele Kantenpunkte vorhanden sind. Die erfindungsgemässe weitere Information über die Lage der Kantenpunkte ist diesen jeweils zugeordnet. Die Lageinformation ist dabei punktgenau als y- und x-Wert codiert, oder unschärfer zum Beispiel über vier Positionswerte (zum Beispiel: y1, y1+n, x1, x1+m) die einen Bereich von (zum Beispiel (1+n) x (1+m)) Bildpunkten definieren. Dieser Bereich kann sogar mit dem Bildausschnitt nach dem Cropping übereinstimmen.
  • Das erfindungsgemässe Kontrollverfahren erlaubt es mittels der generierten Messinformation eine Kantenanzahl, die zum Beispiel einer Produktanzahl entspricht, basierend auf Merkmalen des Kurvenverlaufs der Lichtlinie zu bestimmen.
  • Beispiele für Messinformationen die mittels dem erfindungsgemässen Kontrollverfahren generiert werden sind in der folgenden - nicht abschliessenden - Auflistung zusammengestellt. Es können einzelne oder Kombinationen von Messwerten der folgenden Gruppe generiert werden:
    1. a) eine Lageinformation mindestens einer Druckproduktkante;
    2. b) eine Längeninformation mindestens eines Druckprodukts;
    3. c) eine Breiteninformation mindestens eines Druckprodukts;
    4. d) eine Höheninformation mindestens eines Druckprodukts;
    5. e) eine Lageinformation einer Heftklammer;
    6. f) eine Lageinformation mindestens zweier Druckproduktkanten desselben oder unterschiedlicher Druckprodukte; und
    7. g) Anzahl von Druckprodukten innerhalb eines definierten Bereichs der Förderstrecke.
  • Die Messinformation wird möglichst in Echtzeit generiert, vorzugsweise innerhalb einer Arbeitstaktzeit.
  • Eine Vorrichtung zur Durchführung des optischen Kontrollverfahrens gemäss der vorliegenden Erfindung umfasst folgendes:
    1. a. Projektionsmittel zum Generieren mindestens eines Strahlprofils und zum Beaufschlagen eines flächigen Druckprodukts, einer Produktgruppe oder eines Produktstroms, welche entlang einer Förderstrecke geführt werden, mit dem mindestens einen Strahlprofil zum Erzeugen eines durch eine Lichtlinie definierten Linienprofils;
    2. b. mindestens einen optischen Sensor, vorzugsweise eine Digitalkamera, zum Erfassen eines elektronischen Bildes des Druckereiprodukts, der Produktgruppe oder des Produktstroms, welche entlang der Förderstrecke am optischen Sensor vorbeigeführt werden, wobei das elektronische Bild mindestens einen Bereich des Druckprodukts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie definierten Linienprofils umfasst; und
    3. c. eine Bildverarbeitungseinheit, welche eingerichtet ist, basierend auf dem durch die Lichtlinie definierten Linienprofil aus dem elektronischen Bild mindestens ein Produktkennzeichen zu ermitteln, basierend auf dem mindestens einen Produktkennzeichen eine Messinformation zu generieren, und basierend auf der Messinformation mindestens ein Signal zu erzeugen, das an eine übergeordnete Systemsteuerung weitergegeben werden kann.
  • Wie bereits aus der W02008119192 bekannt ist, deren Inhalt und technische Lehre diesbezüglich hiermit in die vorliegende Anmeldung aufgenommen wird, werden zur Erzeugung der Lichtlinien vorzugsweise im Wesentlichen monochromatische Lichtquellen, zum Beispiel Laser, verwendet. Entsprechend lassen sich die zur Bilderfassung verwendeten Kameras mit Filterelementen versehen um das erfindungsgemässe System noch weniger anfällig für Störeinflüsse zu machen. Bei der Überwachung von Verarbeitungsanlagen, bei denen die Produkte in einem streng festgelegten Takt gefördert und bearbeitet werden, werden bevorzugt gepulste Laser verwendet, die auf den Produkttakt synchron getaktet sind. Bei nicht getakteten Anlagen, respektive Produktströmen lassen sich die Laser auf bekannte Weise über Lichtschranken oder andere Taktgeber takten. Die Lebensdauer der Laser lässt sich dadurch erhöhen und der Energieverbrauch gleichzeitig verringern.
  • Analog zum Verwenden gepulster Lichtquellen lässt sich auch der optische Sensor takten.
  • Um den Energieverbrauch und auch die Kosten für die erfindungsgemässen Anlagen weiter zu senken werden die erzeugten Laserlinien so kurz als möglich gehalten. Zur Beleuchtung der relevanten Produktkanten genügen oft kurze Laserlinien von wenigen Zentimetern Länge. Da sich Fehllagen auch anhand des Fehlens von Kantenpunkten erkennen lassen, muss nicht zwingend der gesamte Bereich innerhalb dessen ein Kantenpunkt zum Beispiel bei einem falsch positionierten Produkt liegen könnte beleuchtet werden. Es genügt im Extremfall nur den Toleranzbereich, innerhalb dessen ein Kantenpunkt bei einer korrekten Produktposition, Produktgrösse etc. liegen muss, zu beleuchten. Mittels geeigneter Filter und/oder Vorsatzlinsen und/oder Spiegeleinrichtungen lassen sich mehrere Lichtlinien an unterschiedlichen Positionen mittels einem einzigen Laser generieren.
  • Die Lichtenergie, zum Beispiel die Laserenergie wird vorzugsweise homogen über die das zu generierende Linienprofil verteilt. Dies erlaubt die Anzahl der Bildbearbeitungsschritte möglichst niedrig zu halten, da sich bei einer per se homogenen Helligkeitsverteilung Änderungen im Linienprofil mit direkt den zu detektierenden Kantenpunkten zuschreiben lassen. Es soll nochmals erwähnt werden, dass unter Änderungen im Linienprofil sowohl Richtungsänderungen und/oder Unterbrüche wie auch Breiten- und/oder Intensitätsänderungen verstanden werden sollen.
  • Der optische Sensor ist vorzugsweise mit einer schräg zur Strahlachse der Projektionsmittel verlaufenden optischen Achse entfernt von den zu kontrollierenden Produkten angeordnet wenn Oberflächenprofile erfasst werden sollen. Zum erfassen von Intensitätsprofilen können die beiden Achsen parallel und mit geringem Abstand zueinander ausgerichtet sein.
  • In bestimmten Ausführungsformen der Erfindung kommen mehr als ein Projektionsmittel und/oder mehr als ein optischer Sensor zum Einsatz. So hat es sich zum Beispiel als vorteilhaft erwiesen verschiedene Ansichten der zu kontrollierenden Produkte und/oder Produktbereiche die von einer Kamera nicht gleichzeitig eingesehen werden können, durch zwei Kameras zu erfassen. Alternativ dazu können gemäss der Schweizer Anmeldung CH (Nummer noch nicht bekannt) mit dem gleichlautenden Titel "Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung" vom 23. September 2009 Spiegel eingesetzt werden. Mittels der Spiegel lassen sich zum Beispiel Vorder- und Rückseite einer Produktgruppe gleichzeitig mit einem Strahlprofil und einem Spiegelstrahlprofil beaufschlagen und die derart beaufschlagten Bereiche lassen sich mit Hilfe von Spiegeln von einer einzigen Kamera gleichzeitig erfassen. Der diesbezügliche Inhalt und die technische Lehre der vorgenannten Anmeldung werden hiermit in die vorliegende Anmeldung aufgenommen.
  • Die Bildverarbeitungseinheit ist derart eingerichtet, dass das mindestens eine Produktkennzeichen durch Bestimmen von Positionsangaben mindestens eines Produktkantenpunkts ermittelt werden kann, und die Messinformation basierend auf den Positionsangaben des mindestens einen Produktkantenpunkts zu generierbar ist.
  • Vorzugsweise sind die Projektionsmittel derart eingerichtet, dass mindestens zwei durch Lichtlinien definierte Linienprofile mit zueinander bekannter räumlicher Lage erzeugt werden und die Bildverarbeitungseinheit ist derart eingerichtet, dass basierend auf den mindestens zwei durch die Lichtlinien definierten Linienprofilen jeweils Positionsangaben von mindestens einem Produktkantenpunkt ermittelt werden.
  • Die Bildverarbeitungseinheit ist derart eingerichtet, das mindestens eine Produktkennzeichen durch Bestimmen der Lichtlinie im elektronischen Bild, Bestimmen eines Kurvenverlaufs der Lichtlinie und Ermitteln einer Positionsangabe eines Produktkantenpunkts aus dem Kurvenverlauf der Lichtlinie zu ermitteln.
  • Als vorteilhaft haben sich Vorrichtungen erwiesen, bei denen die Bildverarbeitungseinheit so eingerichtet ist, den Kurvenverlauf der Lichtlinie durch Rotation des elektronischen Bilds in eine Solllage, Berechnung von mindestens einer Ableitung der Lichtlinie, Berechnung von Nulldurchgängen der Ableitung der Lichtlinie, und Bestimmung von Richtungsänderungen der Lichtlinie zu bestimmen. Zudem ist es vorteilhaft die Bildverarbeitungseinheit derart einzurichten, dass die Messinformation durch Bestimmen einer Produktanzahl basierend auf Merkmalen des Kurvenverlaufs der Lichtlinie generierbar ist, wobei die Merkmale des Kurvenverlaufs mindestens eines umfassen aus: Anzahl Nulldurchgänge einer ersten Ableitung der Lichtlinie, maximaler Wert der ersten Ableitung, Anzahl Nulldurchgänge einer zweiten Ableitung der Lichtlinie, die nach dem maximalen Wert der ersten Ableitung auftreten, und Betrag eines Winkels einer Richtungsänderung der Lichtlinie.
  • Werden mehrere Lichtlinien, wie oben bereits kurz beschrieben über eine Triangulation über Spiegel erzeugt, so bringt dies den Vorteil mit sich, dass diese Lichtlinien bei gepulsten Lichtquellen absolut zeitsynchron sind.
  • Die Einsatzbereiche der erfindungsgemässen Vorrichtungen und Verfahren umfassen, sind aber nicht eingeschränkt auf :
    1. a) die Qualitätskontrolle eines Schuppenstroms, bei der nicht nur die Anzahl der Produkte, sondern die Lage der Produkte zueinander und die Lage der Produkte im Schuppenstrom und die Lage der Produkte relativ zum Fördermittel kontrolliert werden kann;
    2. b) die Qualitätskontrolle von einem oder mehreren Produkten in Klammern, bei der nicht nur die Anzahl der Produkte, sondern die Lage der Produkte zueinander und die Lage der Produkte in der Klammer und die Lage der Produkte relativ zur Klammer kontrolliert werden kann;
    3. c) die Kontrolle der Position und Ausrichtung von Produkten in Stapeln zueinander und/oder relativ zu einem Fördermittel;
    4. d) die Kontrolle der Position und Ausrichtung von flächigen Gegenständen, d.h. insbesondere von Teilprodukten oder "Add-Ons" wie aufgeklebten Postkarten, Werbeklebern, Adressklebern, Produktmustern, Musterbeuteln, Datenträgern wie CD-Roms oder DVDs, Booklets etc. auf Druckprodukten;
    5. e) die Bestimmung und Kontrolle von Produktmassen um falsche Gegenstände, Teilprodukte oder "Add-Ons" zu identifizieren;
    6. f) die Kontrolle der Anwesenheit und/oder Position von Heftklammern;
    7. g) die Kontrolle der Abstände zwischen Druckprodukten, wobei der Abstand dabei auch kleiner als Null sein kann; und
    8. h) die Kontrolle auf gebrochene Heftklammern oder nicht korrekt umgebogener freier Enden der Heftklammern.
  • Im Folgenden wird anhand der in den Figuren dargestellten Beispiele die Erfindung näher beschrieben. Dabei zeigen:
  • Fig. 1
    in perspektivischer Darstellung eine erfindungsgemässe Vorrichtung zur Quali- tätsbeurteilung mit Druckprodukten, die jeweils Paarweise in Klammern einer Fördereinrichtung gehalten sind;
    Fig. 2
    in perspektivischer Darstellung eine weitere Ausführungsform einer erfindungs- gemässe Vorrichtung zur Qualitätsbeurteilung mit Druckprodukten, die im Schuppenstrom auf einer Fördereinrichtung gefördert werden;
    Fig. 3
    in perspektivischer Darstellung eine schematisierte Ansicht von Produkten im Schuppenstrom gemäss Figur, die mit drei Lichtlinien beaufschlagt sind auf wel- chen die zu ermittelnden Kantenpunkte markiert sind;
    Fig. 4
    in perspektivischer Darstellung eine stark schematisierte Ansicht eines mit ei- nem Aufkleber versehenen Druckproduktes, das mit drei Lichtlinien beauf- schlagt ist auf welchen die zu ermittelnden Kantenpunkte markiert sind;
    Fig. 5a-d
    jeweils ein von der Kamera aufgenommenes Bild einer Lichtlinie im Bereich der relevanten Kantenpunkte gemäss Figur 3;
    Fig. 5e
    ein aus den Bildern gemäss Fig. 5a-d zusammengesetztes Bild;
    Fig. 6a-c
    in perspektivischer Darstellung zwei versetzt zueinander angeordnete geheftete Druckprodukte beaufschlagt mit jeweils drei Lichtlinien;
    Fig. 7a-c
    jeweils ein von der Kamera aufgenommenes Bild der Lichtlinien im Bereich der relevanten Kantenpunkte gemäss Figur 6c;
    Fig. 7d
    ein aus den Bildern gemäss Fig. 7a-c zusammengesetztes Bild;
    Fig. 8a-c
    jeweils ein von der Kamera aufgenommenes Bild der Lichtlinien im Bereich der relevanten Kantenpunkte gemäss Figur 6b;
    Fig. 8d
    ein aus den Bildern gemäss Fig. 7a-c zusammengesetztes Bild;
    Fig. 9
    in perspektivischer Darstellung eine schematisierte Ansicht eines Stapels aus drei Druckprodukten, der mit vier Lichtlinien beaufschlagt ist, auf welchen die zu ermittelnden Kantenpunkte markiert sind;
    Fig. 10a
    der Produktstapel gemäss Figur 9, bei dem die Produkte in korrekter Ausrich- tung zueinander angeordnet sind;
    Fig. 10b
    Produktstapel gemäss Figur 9, bei dem sich das oberste Produkt in einer fehler- haften Lage befindet;
    Fig. 10c
    Produktstapel gemäss Figur 9, bei dem sich das oberste Produkt in einer weite- ren fehlerhaften Lage befindet;
    Fig. 10d
    Produktstapel gemäss Figur 9, bei dem sich das mittlere Produkt in einer fehler- haften Lage befindet;
    Fig. 11
    in perspektivischer Darstellung eine weitere Fehlersituation zur Kontrolle mit einer erfindungsgemässe Vorrichtung bei der Druckprodukte, die im Schuppen- strom auf einer Fördereinrichtung gefördert werden, fehlerhafte Abstände auf- weisen;
    Fig. 12a
    in perspektivischer Darstellung eine teilweise Ansicht von einer inkorrekten Pro- duktzusammenstellung bestehend aus drei Druckprodukten, die mit drei Lichtli- nien beaufschlagt sind, wobei das Fördermittel weggelassen ist; und
    Fig. 12b
    ein von zusammengesetztes Bild der Lichtlinien im Bereich der relevanten Kan- tenpunkte einer Produktzusammenstellung gemäss Fig. 12a.
  • Im Ausführungsbeispiel, wie es in der Figur 1 dargestellt ist, wird die Qualität des Produktstroms von in Klammern K geförderten Druckprodukten 101, 102 ermittelt und kontrolliert. Von der Fördereinrichtung sind lediglich die Klammern K angedeutet, die jeweils zwei gefalzte Druckprodukte 101, 102 im Bereich der Falzkante 110 halten. Um die Kapazität der Fördervorrichtung besser auszunutzen, werden im dargestellten Beispiel jeweils zwei Produkte 101, 102 von einer Klammer K gefördert. Die Produkte 101, 102 sind dabei versetzt zueinander angeordnet, so dass das in Förderrichtung F vorlaufende Produkt 101 jeweils weiter in die Klammer K ragt als das in Förderrichtung F nachlaufende Produkt 102. Im dargestellten Beispiel sind alle Produkte 101, 102 korrekt in den Klammern K ausgerichtet. Beim Passieren der erfindungsgemässen Vorrichtung 1 wird jeweils ein Paar von Druckprodukten 101, 102 mit vier Laserlinien 2, 3, 4, 5 beaufschlagt, die von mindestens einem Laser 10 generiert werden. Zwei der Laserlinien 2, 3 sind auf den Druckprodukten parallel zu deren Seitenkanten 111 und in Förderrichtung F ausgerichtet und erstrecken sich zumindest über die Bereiche der vorderen Falzkante 110. Zwei der Laserlinien 4, 5 erstrecken sich Quer zur Förderrichtung und verlaufen annähernd parallel zur Falzkante 110. Aus energetischen Gründen ist es vorteilhaft die Laserlinien so kurz als möglich zu halten und, wie oben bereits beschrieben gepulste Laser zu verwenden. Um das Prinzip der Beaufschlagung mit mehreren Laserlinien zu verdeutlichen sind diese in den Figuren 1 bis 4 und 9 und 10 jeweils länger gezeichnet, als sie im tatsächlichen Betrieb generiert werden. Eine elektronische Kamera 20 erfasst alle Laserlinien im Detektionsbereich.
  • In der Figur 1 ist seitlich zum Förderstrom eine Laserlichtschranke 50 angeordnet, die mittels der Erfassung der Klammern K ein Triggersignal für die Taktung der erfindungsgemässen Vorrichtung und des Verfahrens generiert.
  • In der Figur 2 ist eine weitere Einsatzmöglichkeit der erfindungsgemässen Vorrichtung 1' bei der Qualitätskontrolle eines auf einem Förderband B transportierten Schuppenstroms in der Druckweiterverarbeitung dargestellt. Laser 10' und Kamera 20' sind um einen räumlichen Winkel α versetzt zueinander über dem Schuppenstrom angeordnet. Der Laser 10' generiert drei Laserlinien 2, 3, 4. Zwei der Linien 2, 3 verlaufen parallel zur Förderrichtung F beabstandet voneinander über jeweils zumindest ein, vorzugsweise über zwei direkt aufeinander folgende Druckprodukte 103, 104. Die dritte Laserlinie 4 verläuft im rechten Winkel dazu annähernd parallel zur Falzkante 110 des vorlaufenden 103 dieser beiden Druckprodukte. In der Figur 3 sind stark schematisiert drei Druckprodukte 101, 102, 103 aus einem Schuppenstrom zum Beispiel gemäss Figur 2 im Bereich der Kontrollvorrichtung dargestellt. Die Elemente der Vorrichtung sind alle weggelassen, lediglich die auf der Oberfläche der Druckprodukte im Schuppenstrom generierten Linienprofile in Form von Laserlinien 2, 3 und 4 sind eingezeichnet. Im dargestellten Beispiel wird die Lage des in Förderrichtung F ersten Produkts 101 kontrolliert. Dazu werden vier Kantenpunkte P1, P2, P3 und P4 am Druckprodukt 101 ermittelt. Anhand der Position der beiden Kantenpunkte P1 und P2 die mit Hilfe der beiden Laserlinien 2 und 3 auf der vorlaufenden Produktkante 110 generiert werden, lässt sich bestimmen ob diese vorlaufenden Produktkante 110 in Relation zur Förderachse korrekt ausgerichtet ist. Würden nur die beiden Kantenpunkte P1 und P2 ermittelt, so könnte nicht festgestellt werden ob das Produkt 101 quer zur Förderrichtung verschoben seitlich aus dem Schuppenstrom ragt. Daher werden im dargestellten Beispiel auch noch die Kantenpunkte P3 und P4, die auf den Seitenkanten 112 und 111 liegen, ermittelt. Dadurch kann eindeutig festgestellt werden, ob das jeweils kontrollierte Produkt korrekt im Schuppenstrom ausgerichtet ist.
  • Die Figuren 5a bis 5d zeigen schematisch die elektronischen Bildausschnitte im Bereich der vier generierten Kantenpunkte P1 bis P4 aus der Figur 3. Die in den Bildausschnitten gezeigten Lichtlinien sind bereits detektiert, gefiltert, geglättet und die Lücken sind gefüllt. In der Figur 5a ist die Lichtlinie im Bereich des Kantenpunkts P1 dargestellt. Entsprechend zeigen die Figuren 5b, 5c und 5d die Lichtlinien aus den Bereichen der Kantenpunkte P2, P3 und P4. In der Figur 5e sind die einzelnen elektronischen Bilder, respektive die dargestellten Lichtlinien, um einen fix vorgegebenen Wert in eine jeweilige Solllage rotiert und der Übersichtlichkeit halber nebeneinander in einem zusammengesetzten Bild dargestellt. Strichliniert sind Hilfslinien angegeben, die tatsächlich im Bild nicht generiert werden müssen, hier aber zur Erläuterung der Rotation in die Solllage benötigt werden. Die Rotation in eine Solllage erleichtert es die Linien hervorzuheben, was vorzugsweise mittels der bereits beschriebenen Optimalfilter oder Matched Filter erfolgt. Um die Anpassungen des Filters an den tatsächlichen Kurvenverlauf gering zu halten und die verwendeten Filter zum Beispiel auf einen Filter für senkrechte Strukturen beschränken zu können, wurden die Lichtlinien im dargestellten Beispiel in etwa anhand der vorgesehenen Lage der Produktkanten ausgerichtet. Da die Laserlinien die Produktkanten jeweils annähernd im rechten Winkel schneiden, durch die Winkelstellung der Kamera die Lichtlinien im elektronischen Bild aber in anderen Winkelstellungen abgebildet werden, bietet sich eine Rotation in eine Solllage an in der wesentliche Anteile der zu analysierenden Lichtlinien senkrecht stehen. Bei der Rotation der Abbilder ist zu beachten dass die Positionswerte der einzelnen Punkte auf den Linien nachgeführt werden müssen um die genaue Lagebestimmung der ermittelten Kantenpunkte zu gewährleisten.
  • Im dargestellten Ausführungsbeispiel sind zwei typische Formen von Änderungen im Linienprofil dargestellt. Die detektierten Kantenlinien der vorlaufenden Produktkante 110, die in Figuren 5a und 5b und in der Figur 5e linker Hand dargestellt sind, weisen deutliche Richtungsänderungen auf. Die Kantenlinie der aus Kamerasicht hinteren Produktseitenkante 111, die in Figur 5c und in der Figur 5e rechts von der Mitte dargestellt ist, weist einen deutlichen Unterbruch auf. Die Kantenlinie der aus Kamerasicht vorderen Produktseitenkante 112, die in Figur 5d und in der Figur 5e ganz rechts dargestellt ist, weist wiederum deutliche Richtungsänderungen auf. Anhand der Richtungsänderungen und Unterbrüche lassen sich die jeweiligen Kantenpunkte positionsgenau bestimmen und allfällige Abweichungen von vorgegebenen Sollwerten können entsprechende Steuersignale oder Fehlermeldungen auslösen.
  • In den Figuren 6a bis 6c sind in perspektivischer Darstellung ausschnittsweise jeweils zwei versetzt zueinander angeordnete geheftete Druckprodukte 105, 106 dargestellt, wie sie zum Beispiel in einem Klammerförderer transportiert werden. Die Druckproduktpaare 105, 106 sind mit jeweils drei Lichtlinien in Form von Laserlinien 6, 7, 8 beaufschlagt. Die Druckprodukte 105, 106 sind im Falzbereich 113, 114 mit jeweils drei Klammern 31, 32, 33 und 34, 35, 36 geheftet. Die drei Laserlinien 6, 7, 8 sind derart annähernd rechtwinklig zu den oberseitigen Falzkanten 113, 114 annähernd parallel zueinander ausgerichtet, dass sie die Falzbereiche 113, 114 jeweils im Bereich der Heftklammern 31, 34 oder 32, 35 oder 33, 36 beleuchten. In der Figur 6a sind zwei korrekt geheftete Produkte 105, 106 dargestellt. In der Figur 6b fehlt beim Produkt 105' die mittlere Heftklammer 32, was auf den Ausfall eines Heftapparats hinweist. Beim Produkt 105" gemäss der Figur 6c ist die Heftklammer 32 nicht korrekt im Falzbereich, sondern in Blickrichtung nach unten verschoben, angebracht, was zum Beispiel durch eine Dejustierung eines Heftapparats hervorgerufen sein kann.
  • Aus der Figur 7 geht hervor, dass zur Kontrolle der Produktqualität, das heisst der Heftungen gemäss der Beispielen aus Figur 6, nun Änderungen im Linienprofil betrachtet werden, die auf Breiten- und/oder Intensitätsänderungen beruhen. Da die verwendeten Heftklammern aus Metalldraht das Laserlicht stark reflektieren, führen sie im elektronischen Bild zu einer lokalen Verdickung der Lichtlinie. Im Fall der korrekt gehefteten Produkte 105, 106 würden die elektronischen Bilder der erfassten Lichtlinien 31, 32, 33 alle annähernd identisch zu den Figuren 7a und 7c erscheinen. Anhand der Position der Kantenpunkte, die in den Bildern als deutliche Verdickungen der Lichtlinien erkennbar sind, kann die korrekte Position für alle Heftklammern verifiziert werden. Um das Kontrollergebnis im Fehlerfall zu erläutern sind in den Figuren 7a bis 7c jedoch tatsächlich die Abbilder zu den Lichtlinien 31, 32, 33 für das korrekt geheftete Produkt 106 und das Produkt 105" mit der falsch positionierten Klammer 32 gemäss Figur 6c dargestellt. Aus der Figur 7b ist schon von blossem Auge erkennbar, dass die Verdickung der Lichtlinie im Bereich der Klammer 32 nicht an derselben Position liegt wie bei den korrekten Heftstellen gemäss Figuren 7a und 7c. Der Zusammenzug der Abbildungen gemäss Figur 7d macht unterstützt durch ein Linienraster das Ausmass der Abweichung besonders deutlich. Der falsch positionierte Kantenpunkt kann eindeutig erkannt und ein entsprechendes Fehlersignal generiert werden, dass es dem Bedienpersonal ermöglicht umgehend die falsche Heftposition zu korrigieren.
  • In der Figur 8b ist das elektronische Bild der Lichtlinie 32 im Bereich der fehlerhaften Heftposition 32 auf Produkt 105' aus Figur 6b dargestellt. Für das Produkt 105' wird keine Änderungen im Linienprofil basierend auf einer Breiten- und/oder Intensitätsänderung detektiert, die zur Erzeugung eines entsprechenden Kantenpunktes führen würde. Anhand der drei Lichtlinien, wie sie in der Übersicht gemäss der Figur 8d nebeneinander dargestellt sind, kann eindeutig ermittelt werden dass und welcher Kantenpunkt fehlt, was bedeutet, dass eine Heftklammer fehlt.
  • Das Fehlen aller Kantenpunkte könnte als Fehlen aller Klammern gewertet werden, könnte aber auch von einer massiven Fehllage der Produkte in der Klammer oder dem vollständigen Fehlen der Produkte hervorgerufen werden. Die vorliegende Erfindung erlaubt es jedoch äusserst einfach zwischen solchen Fehlern zu unterscheiden. Werden zusätzlich zu den Änderungen im Linienprofil die auf Breiten- und/oder Intensitätsänderungen beruhen auch die Änderungen im Linienprofil, die auf Richtungsänderungen und/oder Unterbrüchen beruhen erfasst und ausgewertet, so kann eindeutig festgestellt werden ob bei korrekter Produktlage nur eine oder mehrere Klammern fehlen oder ob tatsächlich Produkte fehlen oder falsch im oder auf dem Transportmittel positioniert sind.
  • In der Figur 9 ist in perspektivischer Darstellung eine schematisierte Ansicht eines Stapels 100 aus drei Druckprodukten 107, 108, 109 mit unterschiedlichen Formaten skizziert, wie er zum Beispiel in der Druckweiterverarbeitung aus verschiedenen Zeitungsbeilagen zusammengetragen und auf Förderbändern transportiert wird. Der Produktstapel 100 ist mit vier Lichtlinien 11, 12, 13, 14 beaufschlagt, die paarweise beabstandet voneinander rechtwinklig zu den Produkt-Seitenkanten ausgerichtet sind. Die Lichtlinien sind so positioniert, dass jede Seitenkante eines Produkts von zwei Lichtlinien beleuchtet wird. Pro Produkt 107, 108, 109 können entsprechend 8 Kantenpunkte erfasst werden, was eine komplette und eindeutige Kontrolle der Produktpositionen relativ zueinander und auf einem nicht dargestellten Fördermittel zulässt.
  • In der Figur 10a ist nochmals der Produktstapel 100 mit den drei korrekt ausgerichteten Druckprodukten 107, 108, 109 gemäss der Figur 9 dargestellt. In den Figuren 10b - 10d sind Beispiele für fehlerhafte Stapel gezeigt. In der Figur 10b ist das oberste Produkt 109 verdreht abgelegt, so dass alle zugehörigen Kantenpunkte falsche Positionen aufweisen. Die Kontrolleinrichtung erkennt dass das alle Produkte vorhanden sind, dass aber das oberste Produkt nicht korrekt ausgerichtet ist. Anhand der Position der ermittelten Kantenpunkte wird zudem erkannt, dass das fehlerhaft ausgerichtete kleinformatige Produkt 109 an keiner Seite über die Kanten des untersten Produkts 107, das das grösste Format aufweist, hinausragt. Durch das Generieren eines entsprechenden Signals kann ein übergeordnetes Steuersystem informiert werden und entscheiden ob die Fehllage zum Ausscheiden des Produktstapels führt oder für die weiteren Verarbeitungsschritte toleriert werden kann. Würde der Stapel gemäss Figur 10b nachfolgend für den Versand in Folie eingeschweisst werden, so wäre die Fehllage des obersten Produkts 109 ohne weiteres tolerierbar.
  • Ein fehlerhafter Stapel gemäss der Figur 10c könnte hingegen nicht einer Vorrichtung zum Einschweissen in Folie zugeführt werden, da zu befürchten wäre, dass das vorstehende Produkt 109 den Schweissvorgang verunmöglicht. Die Fehllage, wie sie für das oberste Produkt dargestellt ist, kann nicht anhand der Kantenpunkte P5 - P8, die auf den Längskanten des Produktes liegen, erkannt werden, da die dargestellte Lateralverschiebung entlang der Förderrichtung F keinen Einfluss auf die Position der detektierten und berechneten Kantenpunkte P5 - P8 hat. Die Fehllage wird erst erkannt wenn zumindest einer der Kantenpunkte P9 - P12 betrachtet wird. Der fehlerhafte Stapel 100' kann basieren auf der Fehlermeldung die durch das erfindungsgemässen Kontrollverfahren generiert wird ausgeschieden oder durch eine Korrektur der Lage des obersten Produktes in einen weiterverarbeitbaren Zustand gebracht werden.
  • In der Figur 10d ist eine fehlerhafte Lage des mittleren Produkts 108 im Stapel 100" dargestellt. Sie lässt sich gemäss der vorliegenden Erfindung wiederum durch ein fehlen der entsprechenden Kantenpunkte oder die falsche Position der Kantenpunkte zum Produkt 109 problemlos erkennen, so dass der fehlerhafte Stapel 100" nachbearbeitet oder ausgeschieden werden kann.
  • Um für die Qualitätskontrolle weniger Hardwareleistung zu beanspruchen, kann eine gezielte Auswahl der zu ermittelnden Kantenpunkte vorgenommen werden. Es kann zum Beispiel nur ein Kantenpunkt pro Produktkante ermittelt werden, was die Anforderungen an Rechenleistung und Signalverarbeitung weiter verringert.
  • Ähnlich wie die Qualität von zusammengetragenen Produkten in Produktstapeln lässt sich gemäss der vorliegenden Erfindung auch die Qualität von Klebevorgängen überwachen. In der Figur 4 ist in perspektivischer Darstellung eine stark schematisierte Ansicht eines mit einem Aufkleber 40 versehenen Druckproduktes 107 dargestellt. Das Druckprodukt 107 und der Aufkleber sind mit drei Lichtlinien 15-17 beaufschlagt, die so ausgerichtet sind, dass die für den Aufkleber vorgesehene Position von allen drei Lichtlinien beleuchtet wird. Die Lichtlinien 15 - 17 sind im Bereich der Oberfläche des Aufklebers 40 dicker gezeichnet, um die höhere Intensität des von der Aufkleberoberfläche reflektierten Lichts anzudeuten. Die dem Aufkleber zugeordneten Kantenpunkte P41 - P46 werden wie oben bereits ausführlich beschieben anhand der Änderungen im Linienprofil generiert, die auf Breiten-und/oder Intensitätsänderungen beruhen. Bereits die Lichtlinien 15 und 16 würden im gezeigten Beispiel ausreichend um genügend Kantenpunkte zu generieren, die eine eindeutige Positionserkennung von Druckprodukt 107 und Aufkleber 40 zulassen. Mit der relativ kurzen Lichtlinie 17 soll angedeutet werden, das auf die lange und damit energieintensivere Lichtlinie 15 auch verzichtet werden kann. Dennoch kann eine ausreichende Qualitätsprüfung durchgeführt werden kann, da zu jeder Kante des Aufklebers 40 ein Kantenpunkt und drei Kantenpunkte des Druckproduktes 107 erfasst werden.
  • Aus der Figur 11 lässt sich entnehmen wie anhand einer weiteren Ausführungsform der Erfindung der korrekte Abstand von Produkten im Schuppenstrom ermittelt werden kann. Mittels einer oder vorzugsweise wie dargestellt zweier Lichtlinien 15, 16, die die vorlaufenden Produktkanten 110 beaufschlagen werden jeweils zwei Kantenpunkte pro Produkt, im dargestellten Falle Zeitschriften 120, 121, 122, 123, generiert. Die Lichtlinien 15, 16 verlaufen wiederum annähernd Parallel zur Längsachse des dargestellten Förderbands B und beabstandet voneinander. Wird eine Abweichung vom gewünschten Abstand A zwischen zwei Produkten ermittelt, die nicht mehr innerhalb eines vorgegebenen Toleranzbereiches liegt, wird basierend auf dieser Messinformation ein Signal generiert. Dieses Signal kann nachfolgend eine Korrektur des inkorrekten Abstands F auslösen. Das Signal umfasst dazu nicht nur die Information über den ermittelten Fehler, sondern auch die Information über das zu korrigierende Produkt, im vorliegenden Fall die Zeitschrift 122.
  • In der Figur 12 ist dargestellt, wie ein Fehler in einem Schuppenstrom, der auf einer Verdrehung einer Zeitschrift 126 beruht, gemäss der Erfindung erkannt wird. Vom Schuppenstrom sind nur drei Produkte 124 - 126 dargestellt. Drei Lichtlinien 17, 18, 19 sind parallel zur Förderrichtung F, und damit zu den Produktseitenkanten der korrekt angeordneten Produkte 124, 125 ausgerichtet. Um gleichzeitig zur Lage der Produkte im Schuppenstrom auch die korrekte Heftung kontrollieren zu können sind die Lichtlinien 17-19 derart angeordnet, dass sie die Produktvorderkanten jeweils im Bereich der Heftung/der Heftklammern schneiden. In der Figur 12b ist wiederum ein zusammengesetztes Bild der aufgenommenen Lichtlinien im Bereich der relevanten Kantenpunkte der beiden Zeitschriften 125 und 126 gezeigt.
  • Die in der Figur 12a dargestellte Fehlersituation lässt sich problemlos auf eine Förderung in einem Greifer- oder Klammerförderer, in dem zum Beispiel zwei Produkte mit einem Versatz zueinander gefördert werden, übertragen. Dort würde zum Beispiel die Fehllage des Produkts 126 gegenüber Produkt 125 erkannt.
  • Das erfindungsgemässe Verfahren kann dem Betreiber, zum Beispiel einem Betrieb der Druckweiterverarbeitung, nicht nur helfen die Qualität der produzierten Produkte zu erhöhen, sondern es erlaubt auch eine lückenlose und umfassende Protokollierung der Produktionsqualität. Die generierten Signale können in der übergeordneten Systemsteuerung erfasst und protokolliert werden, so dass dem Auftraggeber verschiedenste Informationen zur Verfügung gestellt werden können, aus der er ersehen kann mit welcher Qualität seine Produkte hergestellt wurden. Diese Möglichkeiten sind vor allem hinsichtlich der zunehmenden Individualisierung von Druckprodukten von Bedeutung. Ein Zeitschriftenverlag kann zum Beispiel einem Werbekunden ein detailliertes Produktions-Protokoll vorlegen, das zeigt dass die gewünschten Add-On's, wie Musterbeutel oder Postkarten, in der gewünschten Anzahl und in Zeitschriften für die gewünschten Zustellregionen tatsächlich eingeklebt wurden.
  • Liste der Bezugszahlen
  • 1
    Kontrollvorrichtung
    2-8
    Laserlinien
    10
    Laser
    11-19
    Lichtlinien
    20
    Kamera
    31 - 33
    Heftklammern
    40
    Aufkleber
    50
    Lichtschranke
    100
    Druckproduktstapel
    101-109
    Druckprodukte
    110
    Falzkante
    111, 112
    Seitenkanten
    113, 114
    Falzbereiche
    120-123
    Zeitschriften
    A, F
    Abstände
    B
    Förderband
    F
    Förderrichtung
    K
    Klammer
    P1-P4
    Kantenpunkte
    P41-P46
    Kantenpunkte eines Aufklebers

Claims (21)

  1. Optisches Kontrollverfahren zur Verwendung in der Verarbeitung flächiger Gegenstände, insbesondere in der Druckweiterverarbeitung, umfassend:
    a. ein Führen eines flächigen Produkts, einer Produktgruppe oder eines Produktstroms entlang einer Förderstrecke an mindestens einem optischen Sensor vorbei;
    b. ein Beaufschlagen des flächigen Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Strahlprofil zum Erzeugen eines durch eine Lichtlinie definierten Linienprofils;
    c. ein Erfassen eines elektronischen Bildes durch den optischen Sensor, wobei das elektronische Bild mindestens einen Bereich des Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie definierten Linienprofils umfasst;
    d. ein Ermitteln aus dem elektronischen Bild von mindestens einem Produktkennzeichen basierend auf dem durch die Lichtlinie definierten Linienprofil;
    e. ein Generieren von mindestens einer Messinformation basierend auf dem mindestens einen Produktkennzeichen; und
    f. ein Erzeugen mindestens eines Signals basierend auf der mindestens einen Messinformation.
  2. Kontrollverfahren gemäss Anspruch 1, dadurch gekennzeichnet, dass das Ermitteln des mindestens einen Produktkennzeichens ein Bestimmen von Positionsangaben mindestens eines Produktkantenpunkts umfasst; und dass das Generieren der Messinformation basierend auf den Positionsangaben des mindestens einen Produktkantenpunkts erfolgt.
  3. Kontrollverfahren einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass mindestens zwei durch Lichtlinien definierte Linienprofile mit zueinander bekannter räumlicher Lage erzeugt werden; und dass basierend auf den mindestens zwei durch die Lichtlinien definierten Linienprofilen jeweils Positionsangaben von mindestens einem Produktkantenpunkt ermittelt werden.
  4. Kontrollverfahren gemäss Anspruch 2 oder 3, dadurch gekennzeichnet, dass basierend auf den Produktkantenpunkten eine Ausrichtung und/oder Lage des Produkts bestimmt wird; und dass das Generieren der Messinformation basierend auf der Ausrichtung und/oder Lage des Produkts erfolgt.
  5. Kontrollverfahren gemäss Anspruch 4, dadurch gekennzeichnet, dass die mindestens zwei durch Lichtlinien definierten Linienprofile im Wesentlichen entlang einer Längsachse der Förderstrecke erzeugt werden; und dass die Ausrichtung und/oder Lage des Produkts bezüglich der Längsachse bestimmt wird.
  6. Kontrollverfahren gemäss einem der Ansprüche 4 oder 5, dadurch gekennzeichnet, dass die mindestens zwei durch Lichtlinien definierten Linienprofile im Wesentlichen entlang einer Querachse der Förderstrecke erzeugt werden; und dass die Ausrichtung und/oder Lage des Produkts bezüglich der Querachse bestimmt wird.
  7. Kontrollverfahren gemäss einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Ermitteln des mindestens einen Produktkennzeichens die folgenden Schritte umfasst:
    a. ein Bestimmen der Lichtlinie im elektronischen Bild;
    b. ein Bestimmen eines Kurvenverlaufs der Lichtlinie; und
    c. ein Ermitteln einer Positionsangabe mindestens eines Produktkantenpunkts aus dem Kurvenverlauf der Lichtlinie.
  8. Kontrollverfahren gemäss Anspruch 7, dadurch gekennzeichnet, dass das Bestimmen der Lichtlinie im elektronischen Bild die folgenden Schritte umfasst:
    a. eine Rauschunterdrückung im elektronischen Bild;
    b. ein Hervorheben der Lichtlinie durch ein Optimalfilter;
    c. ein Detektieren der Lichtlinie im elektronischen Bild basierend auf Helligkeitswerten;
    d. ein Füllen von vorhandenen Lücken in der Lichtlinie; und
    e. ein Glätten von detektionsbedingten Knicken in der Lichtlinie.
  9. Kontrollverfahren gemäss einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass das Bestimmen des Kurvenverlaufs der Lichtlinie eine Rotation des elektronischen Bilds in eine Solllage, eine Berechnung von mindestens einer Ableitung der Lichtlinie, eine Berechnung von Nulldurchgängen der Ableitung der Lichtlinie, und eine Bestimmung von Richtungsänderungen der Lichtlinie umfasst.
  10. Kontrollverfahren gemäss einem der Ansprüche 7 bis 9, dadurch gekennzeichnet, dass das Generieren der Messinformation ein Bestimmen einer Produktanzahl basierend auf Merkmalen des Kurvenverlaufs der Lichtlinie umfasst.
  11. Kontrollverfahren gemäss Anspruch 10, dadurch gekennzeichnet, dass die Merkmale des Kurvenverlaufs zum Bestimmen der Produktanzahl mindestens eines umfassen aus: Anzahl Nulldurchgänge einer ersten Ableitung der Lichtlinie, maximaler Wert der ersten Ableitung, Anzahl Nulldurchgänge einer zweiten Ableitung der Lichtlinie, die nach dem maximalen Wert der ersten Ableitung auftreten, und Betrag eines Winkels einer Richtungsänderung der Lichtlinie.
  12. Kontrollverfahren gemäss einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Messinformation ausgewählt wird aus der folgenden Gruppe:
    a) eine Lageinformation mindestens einer Produktkante;
    b) eine Längeninformation mindestens eines Produkts;
    c) eine Breiteninformation mindestens eines Produkts;
    d) eine Höheninformation mindestens eines Produkts;
    e) eine Lageinformation einer Heftklammer;
    f) eine Lageinformation mindestens zweier Produktkanten des selben oder unterschiedlicher Produkte;
    g) Anzahl von Produkten innerhalb eines definierten Bereichs der Förderstrecke;
    h) eine Abstandsinformation von Produkten zueinander; und
    i) eine Lageinformation von Add On's auf einem Produkt oder von Add On's zueinander.
  13. Kontrollverfahren gemäss einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass zumindest das Generieren der Messinformation in Echtzeit erfolgt, vorzugsweise innerhalb einer Arbeitstaktzeit.
  14. Vorrichtung (1) zur Durchführung des optischen Kontrollverfahrens gemäss einem der Ansprüche 1 bis 13, umfassend:
    a. Projektionsmittel (10) zum Generieren mindestens eines Strahlprofils und zum Beaufschlagen eines flächigen Produkts, einer Produktgruppe oder eines Produktstroms, welche entlang einer Förderstrecke geführt werden, mit dem mindestens einen Strahlprofil zum Erzeugen eines durch eine Lichtlinie (2-8, 11-19) definierten Linienprofils;
    b. mindestens einen optischen Sensor (20) zum Erfassen eines elektronischen Bildes des Produkts, der Produktgruppe oder des Produktstroms, welche entlang der Förderstrecke am optischen Sensor (20) vorbeigeführt werden, wobei das elektronische Bild mindestens einen Bereich des Produkts, der Produktgruppe oder des Produktstroms mit mindestens einem Teil des durch die Lichtlinie (2-8, 11-19) definierten Linienprofils umfasst; und
    c. eine Bildverarbeitungseinheit, welche eingerichtet ist, basierend auf dem durch die Lichtlinie (2-8, 11-19) definierten Linienprofil aus dem elektronischen Bild mindestens ein Produktkennzeichen zu ermitteln, basierend auf dem mindestens einen Produktkennzeichen eine Messinformation zu generieren, und basierend auf der Messinformation mindestens ein Signal zu erzeugen.
  15. Vorrichtung gemäss Anspruch 14, dadurch gekennzeichnet, dass der optische Sensor (20) mit einer schräg zur Strahlachse der Projektionsmittel (10) verlaufenden optischen Achse entfernt von den zu kontrollierenden Produkten angeordnet ist.
  16. Vorrichtung gemäss einem der Ansprüche 14 oder 15, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit eingerichtet ist, das mindestens eine Produktkennzeichen durch Bestimmen von Positionsangaben mindestens eines Produktkantenpunkts zu ermitteln, und die Messinformation basierend auf den Positionsangaben des mindestens einen Produktkantenpunkts zu generieren.
  17. Vorrichtung gemäss einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass die Projektionsmittel eingerichtet sind, mindestens zwei durch Lichtlinien (2-8, 11-19) definierte Linienprofile mit zueinander bekannter räumlicher Lage zu erzeugen; und dass die Bildverarbeitungseinheit eingerichtet ist, basierend auf den mindestens zwei durch die Lichtlinien (2-8, 11-19) definierten Linienprofilen jeweils Positionsangaben von mindestens einem Produktkantenpunkt zu ermitteln.
  18. Vorrichtung gemäss einem der Ansprüche 14 bis 17, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit eingerichtet ist, das mindestens eine Produktkennzeichen durch Bestimmen der Lichtlinie im elektronischen Bild, Bestimmen eines Kurvenverlaufs der Lichtlinie (2-8, 11-19), und Ermitteln einer Positionsangabe eines Produktkantenpunkts aus dem Kurvenverlauf der Lichtlinie (2-8, 11-19) zu ermitteln.
  19. Vorrichtung gemäss Anspruch 18, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit eingerichtet ist, den Kurvenverlauf der Lichtlinie (2-8, 11-19) durch Rotation des elektronischen Bilds in eine Solllage, Berechnung von mindestens einer Ableitung der Lichtlinie, Berechnung von Nulldurchgängen der Ableitung der Lichtlinie, und Bestimmung von Richtungsänderungen der Lichtlinie (2-8, 11-19) zu bestimmen.
  20. Vorrichtung gemäss einem der Ansprüche 18 oder 19, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit eingerichtet ist, die Messinformation durch Bestimmen einer Produktanzahl basierend auf Merkmalen des Kurvenverlaufs der Lichtlinie (2-8, 11-19) zu generieren, wobei die Merkmale des Kurvenverlaufs mindestens eines umfassen aus: Anzahl Nulldurchgänge einer ersten Ableitung der Lichtlinie (2-8, 11-19), maximaler Wert der ersten Ableitung, Anzahl Nulldurchgänge einer zweiten Ableitung der Lichtlinie, die nach dem maximalen Wert der ersten Ableitung auftreten, und Betrag eines Winkels einer Richtungsänderung der Lichtlinie (2-8, 11-19).
  21. Vorrichtung gemäss einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie mindestens zwei Projektionsmittel und/oder mindestens zwei optische Sensoren umfasst.
EP20090171148 2009-09-23 2009-09-23 Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung Not-in-force EP2301877B1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DK09171148T DK2301877T3 (da) 2009-09-23 2009-09-23 Optisk kontrolfremgangsmåde til kvalitetsbedømmelse inden for videreforarbejdning af tryk
EP20090171148 EP2301877B1 (de) 2009-09-23 2009-09-23 Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung
PCT/EP2010/005522 WO2011035857A1 (de) 2009-09-23 2010-09-08 Optisches kontrollverfahren zur qualitätsbeurteilung in der druckweiterverarbeitung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP20090171148 EP2301877B1 (de) 2009-09-23 2009-09-23 Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung

Publications (2)

Publication Number Publication Date
EP2301877A1 true EP2301877A1 (de) 2011-03-30
EP2301877B1 EP2301877B1 (de) 2012-11-28

Family

ID=41600621

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20090171148 Not-in-force EP2301877B1 (de) 2009-09-23 2009-09-23 Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung

Country Status (3)

Country Link
EP (1) EP2301877B1 (de)
DK (1) DK2301877T3 (de)
WO (1) WO2011035857A1 (de)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3414732A (en) * 1965-10-19 1968-12-03 Milgo Electronic Corp Counter for folded paper objects
US5197012A (en) * 1988-11-21 1993-03-23 Datatronic, Centre D'etude Et De Developpement Electronique Et Informatique Sarl Method and apparatus for detecting and for counting any instantaneous variations in a profile, and applications thereof
DE19842192A1 (de) * 1998-09-15 2000-03-16 Roland Man Druckmasch Einrichtung zur Überwachung des Bogenlaufes einer bogenverarbeitenden Vorrichtung
DE102007001989A1 (de) 2007-01-08 2008-07-10 Siemens Ag Anordnung zur Erkennung von Doppelabzügen in Postsortieranlagen
WO2008119192A1 (de) 2007-04-03 2008-10-09 Ferag Ag Vorrichtung und verfahren zum zählen und erkennen von flächigen produkten
EP2030924A1 (de) * 2007-08-28 2009-03-04 Müller Martini Holding AG Einrichtung zum Verarbeiten von Druckprodukten
EP2060519A2 (de) * 2007-11-17 2009-05-20 manroland AG Vorrichtung zur Bildung eines Schuppenstroms

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3414732A (en) * 1965-10-19 1968-12-03 Milgo Electronic Corp Counter for folded paper objects
US5197012A (en) * 1988-11-21 1993-03-23 Datatronic, Centre D'etude Et De Developpement Electronique Et Informatique Sarl Method and apparatus for detecting and for counting any instantaneous variations in a profile, and applications thereof
DE19842192A1 (de) * 1998-09-15 2000-03-16 Roland Man Druckmasch Einrichtung zur Überwachung des Bogenlaufes einer bogenverarbeitenden Vorrichtung
DE102007001989A1 (de) 2007-01-08 2008-07-10 Siemens Ag Anordnung zur Erkennung von Doppelabzügen in Postsortieranlagen
WO2008119192A1 (de) 2007-04-03 2008-10-09 Ferag Ag Vorrichtung und verfahren zum zählen und erkennen von flächigen produkten
EP2030924A1 (de) * 2007-08-28 2009-03-04 Müller Martini Holding AG Einrichtung zum Verarbeiten von Druckprodukten
EP2060519A2 (de) * 2007-11-17 2009-05-20 manroland AG Vorrichtung zur Bildung eines Schuppenstroms

Also Published As

Publication number Publication date
WO2011035857A1 (de) 2011-03-31
EP2301877B1 (de) 2012-11-28
DK2301877T3 (da) 2013-01-02

Similar Documents

Publication Publication Date Title
EP1910202B1 (de) Verfahren und vorrichtung zur kontrolle von klammertransportierten flächigen produkten
EP0650911B1 (de) Vorrichtung und Verfahren zum Erkennen von Überlappungen von biegbaren flachen Sendungen
EP2229329A1 (de) Verfahren und vorrichtung für die überwachung der vereinzelung von blattgut
EP1844865A1 (de) Elektronisches Markieren zum Sortieren von in Objektverbänden hergestellten und geprüften Einzelobjekten
EP2250627A1 (de) Verfahren und vorrichtung zum bearbeiten von wertdokumenten
EP2130163B1 (de) Vorrichtung und verfahren zum zählen und erkennen von flächigen produkten
EP0782538B1 (de) Verfahren zur herstellung von aus gefalzten druckbogen bestehenden buchblöcken
DE102008051758A1 (de) Verfahren und Vorrichtung zum Bearbeiten von Wertdokumenten
WO2002072270A1 (de) Vorrichtung und verfahren zur entwertung von blattgut
EP2301877B1 (de) Optisches Kontrollverfahren zur Qualitätsbeurteilung in der Druckweiterverarbeitung
EP1992580B1 (de) Verfahren und Vorrichtung zum Öffnen von Druckereiprodukten
EP1953685B1 (de) Vorrichtung zum Zählen von Druckprodukten eines Schuppenstromes
DE102005008747B4 (de) Verfahren und Vorrichtung für die Erfassung von Banknoten
EP2480470B1 (de) Optisches kontrollverfahren zur qualitätsbeurteilung in der druckweiterverarbeitung
EP1980516B1 (de) Messverfahren und Vorrichtung zur Bestimmung der Lage von Materialbahnen
DE102006051710A1 (de) Längennormierung
DE102007001989B4 (de) Anordnung zur Erkennung von Doppelabzügen in Postsortieranlagen
EP1216947B1 (de) Verfahren für die weitestgehend fehlerfreie Verarbeitung von Druckbogen auf dem Weg des Zusammentragens dieser Druckbogen
DE102020114980B4 (de) Vorrichtung und system zur inspektion zumindest eines diffraktiven optischen elements eines dokuments
DE102011101252A1 (de) Verfahren zur Prüfung der Faltung einer Faltkiste
EP3388376A1 (de) Verfahren und vorrichtung zum überwachen des transports von produkten und system zur herstellung, verarbeitung und/oder prüfung von produkten
DE102013109937A1 (de) Vorrichtung und Verfahren zur Erzeugung von Postsendungen
DE102007055087A1 (de) Messverfahren und Vorrichtung zur Bestimmung der Lage von Materialbahnen
DE3244587A1 (de) Kollationiereinrichtung fuer bogensammeleinrichtungen
DE10220186A1 (de) Verfahren und Vorrichtung zum Zählen von Kanten von Produkten

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

17P Request for examination filed

Effective date: 20110517

17Q First examination report despatched

Effective date: 20110615

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

RIC1 Information provided on ipc code assigned before grant

Ipc: B65H 29/66 20060101ALI20120516BHEP

Ipc: B65H 43/08 20060101AFI20120516BHEP

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: CH

Ref legal event code: NV

Representative=s name: PATENTANWAELTE SCHAAD, BALASS, MENZL AND PARTN, CH

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 586043

Country of ref document: AT

Kind code of ref document: T

Effective date: 20121215

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

Ref country code: DK

Ref legal event code: T3

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502009005494

Country of ref document: DE

Effective date: 20130124

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: VDEP

Effective date: 20121128

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130228

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130311

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130328

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130301

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20130228

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20130829

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502009005494

Country of ref document: DE

Effective date: 20130829

BERE Be: lapsed

Owner name: FERAG AG

Effective date: 20130930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20130923

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20140530

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130930

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130923

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130923

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130930

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DK

Payment date: 20140919

Year of fee payment: 6

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20140911

Year of fee payment: 6

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20090923

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20130923

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20150923

Year of fee payment: 7

REG Reference to a national code

Ref country code: DK

Ref legal event code: EBP

Effective date: 20150930

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 586043

Country of ref document: AT

Kind code of ref document: T

Effective date: 20150923

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20121128

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150923

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20150930

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20160921

Year of fee payment: 8

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20160924

REG Reference to a national code

Ref country code: SE

Ref legal event code: EUG

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502009005494

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180404

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: CH

Payment date: 20181128

Year of fee payment: 10

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190930

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190930