EP2656327B1 - Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten - Google Patents

Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten Download PDF

Info

Publication number
EP2656327B1
EP2656327B1 EP11801614.6A EP11801614A EP2656327B1 EP 2656327 B1 EP2656327 B1 EP 2656327B1 EP 11801614 A EP11801614 A EP 11801614A EP 2656327 B1 EP2656327 B1 EP 2656327B1
Authority
EP
European Patent Office
Prior art keywords
pixels
error
pixel
digital image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP11801614.6A
Other languages
English (en)
French (fr)
Other versions
EP2656327A1 (de
Inventor
Norbert Holl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giesecke and Devrient Currency Technology GmbH
Original Assignee
Giesecke and Devrient Currency Technology GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giesecke and Devrient Currency Technology GmbH filed Critical Giesecke and Devrient Currency Technology GmbH
Publication of EP2656327A1 publication Critical patent/EP2656327A1/de
Application granted granted Critical
Publication of EP2656327B1 publication Critical patent/EP2656327B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/003—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/005—Testing security markings invisible to the naked eye, e.g. verifying thickened lines or unobtrusive markings or alterations
    • G07D7/0054—Testing security markings invisible to the naked eye, e.g. verifying thickened lines or unobtrusive markings or alterations involving markings the properties of which are altered from original properties
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/2008—Testing patterns thereon using pre-processing, e.g. de-blurring, averaging, normalisation or rotation

Definitions

  • the present invention relates to a method for investigating the optical state of value documents, an evaluation device for carrying out the method and a device for carrying out the method.
  • leaf-shaped objects that represent, for example, a monetary value or an authorization and therefore should not be arbitrarily produced by unauthorized persons. They therefore have features which are not easy to manufacture, in particular to be copied, whose presence is an indication of the authenticity, i. the manufacture by an authorized agency.
  • Important examples of such value documents are chip cards, coupons, vouchers, checks and in particular banknotes.
  • Value documents often have an optical design specific to the particular type of value documents, i. a specific look, which may or may not include security features.
  • the optical design can be given for example by a printed image on the value document.
  • the printed image can be a printed image in the region of the optical radiation or the optical wavelength range, which is understood below to mean infrared radiation, ultraviolet radiation and radiation in the visible wavelength range.
  • the optical design in particular the printed image, may deviate from the given design, for example because the value document has been contaminated by use or manipulation.
  • the nature and extent of the deviations in the optical design substantially determine the optical state of a value document, which in turn represents an essential aspect of the overall state of a value document.
  • the state of the value document can determine whether a value document can still be used as such, that is, whether it is fit for circulation or not.
  • the deviations, in particular in the printed image for example, depending on the nature and extent, may impair or even preclude the recognition of the value or the authenticity of a value document. It is therefore important to be able to examine and evaluate the condition of a value document as far as possible by machine.
  • WO 02/075673 A1 describes a method for monitoring markings on printed documents.
  • the method comprises the steps of obtaining a digital representation of a page of a document by determining the single or multi-color component content of pixels of the representation, comparing the color component content of each pixel of the representation with an upper and lower thresholds for the corresponding pixel of an acceptable, unmarked document and generating a corresponding anomaly pixel if the pixel value is out of range; and determining the presence of a marker when the resulting anomaly pixels satisfy predetermined conditions.
  • the present invention is therefore based on the object to provide a method for investigating the state of a document of value that allows good meaningfulness, as well as to provide means for carrying out the method.
  • the object is achieved by a method for examining the optical state of a value document on the basis of a digital image of at least one predetermined region of the value document, the digital image comprising pixels in which pixels of the digital image are searched for sets of error pixels, respectively given thereby in that the error pixels satisfy a predetermined deviation criterion for an undue deviation of at least one predetermined pixel property, and the distance of each error pixel of the respective quantity to at least one other error pixel of the same quantity does not exceed a predetermined distance which is greater than the distance of immediately adjacent pixels of the digital image , and a number searching for found quantities and / or a value for at least one property of at least one of the amounts found during the search is determined. Then, a signal representing the number or the value may be output, and / or the number or the value may be stored in a memory device.
  • the object is further achieved by an evaluation device for examining the optical state of a value document on the basis of a digital image of at least one predetermined region of the value document, wherein the digital image comprises pixels, the evaluation device having an interface for receiving a digital image of at least one predetermined region of the document Having a value document and is adapted to perform a method according to the invention on the basis of the digital image received by means of the interface of at least one predetermined area of the value document.
  • the evaluation device is designed to search in the pixels of the digital image received by the interface quantities of error pixels, which are respectively given by the fact that the error pixels meet a predetermined deviation criterion for an impermissible deviation of at least one predetermined pixel property and the distance of each error pixel of respective amount to at least one other error pixel of the same amount does not exceed a predetermined distance greater than the distance of immediately adjacent pixels of the digital image, and a number searching for found quantities and / or a value for at least one property of at least one of the search found To determine quantities. Further, it may be configured to then issue a signal representing the number or value and / or to store the number or value.
  • the object is further achieved by a device for examining the optical state of a document of value, having an optical sensor for detecting a digital image of at least one region of the document of value, and an evaluation device according to the invention, the interface of which is connected via a signal connection to the sensor, so that a detected by the sensor digital image of the evaluation device is receivable.
  • Another object of the invention is a method for examining the optical state of a document of value, wherein by means of an optical sensor, a digital image of at least a predetermined portion of the document of value is detected, wherein the digital image comprises pixels, and the above-mentioned inventive method with the digital image is carried out.
  • the starting point of the solution mentioned are therefore digital images of at least one predetermined region of a value document.
  • the area can be predetermined as desired, for example it can comprise the entire value document or only areas which are predetermined as relevant for the assessment of the state. In the latter case, the range for each type of document of value, for banknotes in particular for each denomination or denomination can be specified.
  • the digital image is detected by an optical sensor which detects spatially resolved characteristics of optical radiation emanating from the document of value, optionally filtered by the sensor, producing signals representing the detected property associated with the locations.
  • the digital image comprises in a known manner pixels, each one corresponding to the resolution of the for recording used optical sensor corresponding to extended pixel on the value document and which pixel data are assigned to reflect the properties of the pixels, in particular properties of the emanating from the respective pixel optical radiation and thus with a given illumination optical properties of the area of the value document.
  • the digital image of the sensor may, but need not, be preprocessed prior to use for the method, for example, corrections of the image's characteristics, such as colors, or filtering, in particular a low-pass filter, for example, by averaging over a pixel and its nearest neighboring pixels. This can be done by a corresponding device of the sensor or by the evaluation.
  • the resulting digital image is then used to perform the method.
  • the evaluation device can be used, which has the interface for receiving the digital image and is designed to carry out the method according to the invention with the digital image received by means of the interface.
  • the interface may include hardware and / or software components.
  • a computer may be used with at least one processor, which may be part of the evaluation device in particular.
  • a processor will be understood to mean a suitable controller, an FPGA, a signal processor or a general-purpose processor or a combination of at least two of these elements. Unless a preprogrammed FPGA is used alone, a memory connected to the at least one processor and optionally integrated therein may be provided in which instructions of a computer program are stored, in the execution of which the method according to the invention is carried out.
  • Error pixels are those pixels of the digital image which satisfy the predetermined deviation criterion, which determines when a deviation of the at least one predetermined pixel property from a predetermined value is to be regarded as inadmissible.
  • the deviation criterion can be given, for example, by checking whether the pixel data for one or more pixels of a given evaluation range deviates, for example outside, from a reference distribution for permissible pixel data specified for the pixel or pixels depending on the value document type the reference distribution lie.
  • the amounts of error pixels are characterized in that the distance of each error pixel of the respective quantity to at least one other error pixel of the same quantity does not exceed a predetermined distance which is greater than the distance of immediately adjacent pixels of the digital one Image.
  • Immediately adjacent pixels mean pixels that touch each other at least at one point; in the case of pixels arranged on a square grid, therefore, for a given pixel, the next eight pixels for this next pixel are the immediately adjacent pixels.
  • the distance between two pixels is understood to mean the distance of the geometric center of gravity of the pixels. Due to this property of the sets, an error pixel can only belong to a single set or, in other words, be assigned only to this single set.
  • the error pixels of a set do not necessarily form a contiguous area in the image, but may be given by nearby adjacent areas.
  • the predetermined distance it is determined how far these areas may be apart from each other to belong to the same amount.
  • the distance expressed in units of the smallest distance of immediately adjacent pixels, is between 2 and 10, preferably 3 and 6.
  • the deviation criterion and the predetermined distance no quantities, only a quantity or even several quantities can be used Searches are found.
  • the number of sets found during the search is then determined and / or a value for at least one property of at least one of the quantities found during the search is determined.
  • a differentiated statement about the optical state of the value document is possible.
  • irregularly distributed spots for example sprayed drops, can be easily detected.
  • pixel errors occurring in sensors of very high spatial resolution have less of an effect on the state examination.
  • a signal representing it can be output, or a corresponding value can be stored, which can be done in the memory or in another memory device.
  • results i. the number and / or the value can either be used alone to characterize the overall state or used to determine an overall state in which further parameters are received.
  • error pixels may be assigned to the set such that a next error pixel which satisfies the deviation criterion and which is not yet assigned to the set and whose distance is searched for an error pixel already assigned to the set to the already assigned pixel does not exceed the predetermined distance, and when finding such a next error pixel this is assigned to the amount.
  • the evaluation device can be configured such that error pixels are assigned to the quantity for searching a set of error pixels such that a next error pixel is searched for an error pixel already assigned to the set, which fulfills the deviation criterion and which is not yet assigned to the set and whose Distance to the already assigned pixel does not exceed the predetermined distance, and when finding such a next error pixel this is assigned to the amount.
  • An advantage of this approach is that it allows a quick location of the quantities sought.
  • the search for the next error pixel and its assignment can be carried out repeatedly, with the error pixel last assigned to the set being used in each case as the error pixel already assigned to the set.
  • the evaluation device is then designed to repeat the search for the next error pixel and its assignment when searching for a set, with the error pixel last assigned to the set being used as the error pixel already assigned to the set.
  • This approach has the advantage that the amounts can be determined easily and quickly.
  • the error pixels can be searched arbitrarily. However, it is preferred in the method that in order to search for the next error pixel, a respective error pixel in a search list of pixels is searched for, at least by the last error pixel associated with the set and the predetermined distance or by the last error pixel associated with the set and a predetermined list is determined.
  • the evaluation device may be preferably designed to search for the next error pixel in each case an error pixel in a search list of pixels, at least by the last assigned to the set error pixel and the predetermined distance or by the last of the set error pixel and a predetermined List is determined. This embodiment offers the advantage that only a list of pixels needs to be searched, but a distance calculation is not required.
  • the search list and / or the predetermined list in dependence on the predetermined distance is determined so that this includes depending on the embodiment, all pixels or only all the deviation criterion fulfilling pixels within the predetermined distance
  • the search list only needs to be traversed to a fault pixel Is found.
  • the search list can be determined in particular by the fact that the predetermined list indicates only the position relative to a pixel, and the search list is determined by converting the predetermined list to the position of the last associated error pixel.
  • error pixels are searched for along a search beam starting from the error pixel last assigned to the set and rotated stepwise in a predetermined direction of rotation.
  • the evaluation device is then preferably configured such that, in order to search for the next error pixel, error pixels along a search beam starting from the last assigned error pixel and progressively rotated in a predetermined direction of rotation are searched for.
  • the search beam is an imaginary path in a plane in which pixels are arranged ; it starts in the last error pixel assigned to the set or starts from it, for example its geometric center of gravity, and may preferably have the length of the predetermined distance.
  • the search beam may have an arbitrarily predetermined initial direction, with an arrangement of the pixels in a square matrix, for example along one of the lines.
  • the search between the rotations can be searched either always in the order of increasing distance from the last assigned error pixel, or always in the order of decreasing distance from the last assigned error pixel, or alternately in the order of increasing distance and decreasing distance.
  • This method makes it possible to find error pixels in a particularly efficient way and assign them to a set, since even in unfavorable constellations only a few distances are to be determined.
  • this type of search covers all pixels whose distance from the last assigned error pixel does not exceed the predetermined distance
  • a search list is used to search, it may be selected to search the pixels in the order corresponding to the order described in the last paragraph.
  • the method according to the invention includes the examination of the deviation criterion and, on the other hand, the check as to whether the distance between two error pixels falls below the predetermined distance.
  • These checks can in principle be carried out arbitrarily.
  • the pixels that satisfy the deviation criterion may first be determined, and then these pixels may be assigned to the sets as error pixels.
  • the evaluation device can then be designed so that the pixels that satisfy the deviation criterion are first determined when searching for the quantities, and then these pixels can be assigned to the quantities as error pixels. This method is particularly advantageous if the examination of the deviation criterion can be carried out quickly in comparison to the examination of the distance between two pixels.
  • the evaluation device can preferably be further designed such that, when searching for the quantities starting from an error pixel of a set of pixels whose distance from the error pixel does not exceed the predetermined distance, they are then checked as to whether they satisfy the deviation criterion.
  • Another advantage of the embodiment is that the following preferred development can be easily realized. This provides that in the method the deviation criterion depends on the distance between the error pixel and the pixel currently being tested. The evaluation device is then designed so that the deviation criterion depends on the distance between the error pixel and the currently tested pixel.
  • the method for searching a set of error pixels, it is preferred to first search for groups of error pixels each comprising error pixels that satisfy the deviation criterion and which are immediately adjacent to the method for checking whether the distance is at least of an error pixel of one of the groups of at least one error pixel of another of the groups whose error pixels are not yet assigned to a set, does not exceed the predetermined distance, and if so, the error pixels of the two groups are assigned to the same set.
  • the evaluation device can preferably be further configured to first search for groups of defect pixels, each comprising defect pixels that met the deviation criterion and which are immediately adjacent, in order to check whether the distance is at least of an error pixel of one of the groups of at least one error pixel of another of the groups whose error pixels are not yet assigned to a set, does not exceed the predetermined distance, and if so, the error pixels of the two groups are assigned to the same set.
  • This embodiment is particularly suitable for cases where large groups immediately adjacent error pixels are present.
  • it is also preferred that in the method when searching for the quantities first the pixels are determined which fulfill the deviation criterion, and then these pixels are first assigned to the groups as error pixels. This procedure can considerably accelerate the identification of the groups.
  • the determined number and / or the determined value for at least one property of at least one of the amounts found during the search can preferably be used to determine a value representing the optical state.
  • the evaluation device can then preferably be designed to determine a value representing the optical state using the determined number and / or the determined value for at least one property of at least one of the amounts found during the search.
  • the amount of their number of defect pixels can be used as properties of the set.
  • the evaluation device can be designed accordingly.
  • the method uses as a property of the set a function of the number of error pixels of the set and the length of a line through the error pixels of the set forming its edge.
  • the evaluation device can then be further configured to use, as a property of the set, a function of the number of error pixels of the set and the length of a line through the error pixels of the set forming its edge.
  • the inventive method can be carried out for each value document to be sorted, wherein depending on the determined optical state, preferably in dependence on an overall state determined using the optical state, the value document in one for the determined optical State or overall state provided recording is transported.
  • the invention therefore also relates to a device for processing, in particular sorting, value documents, with a device according to the invention for examining value documents and a transport device for transporting isolated value documents past the examination device, which is designed to display value documents as a function of signals from the examination device as a function of the optical state, preferably a total state determined as a function of the optical state, of transporting a device provided for value documents predetermined optical state or overall state recording of the device.
  • the invention further relates to a computer-readable data carrier with program code that can be executed by a computer, so that the computer executes a method according to the invention.
  • An apparatus 10 for processing value documents 12, in the example a bank note processing apparatus, in FIG Fig. 1 serves among other things to check the authenticity and the overall state of value documents 12 in the form of banknotes and for sorting depending on the result of the authenticity and overall condition check.
  • the device 10 has an input area 14, in the example an input pocket, for input of value documents 12 to be processed, a separator 16, which can access value documents 12 in the input compartment 14 in order to separate them, and one which leads to an output device 18 Transport device 20 for transporting separated documents of value from the singler 16 along a transport path 22 to the output device 18.
  • the output device 18 has at least two, in this example three, output areas 24, 24 'and 24 ", stacking compartments in the example; Output areas comprises the transport means 20 successively arranged points along the transport path 22, in the example two points 26 and 26 ', so that value documents can be selectively fed to one of the discharge areas by activation of the points and before the switches arranged a sensor arrangement 28 which serves for detecting characteristics of individually supplied value documents 12 and formation of the characteristics reproducing sensor signals.
  • a control device 30 is at least connected to the sensor arrangement 28 and the switches 26 and 26 'via signal connections and is used to evaluate sensor signals of the sensor arrangement 28, in particular for checking the authenticity and the state of value documents, and for controlling at least the switches 26 and 26'. depending on the Result of the evaluation of the sensor signals, ie in particular the results of the test for authenticity and condition.
  • the sensor arrangement 24 comprises at least one sensor;
  • an optical sensor 32 for spatially resolved detection of color properties and IR properties is provided, which detects optical radiation remitted from the value document.
  • the sensor arrangement 28 has an optional further sensor 33 for detecting ultrasonic properties of a value document transported past it.
  • the sensor 33 is used to test a value document on whether an adhesive strip is recognizable on it.
  • the sensor 33 outputs a signal to the control device 30 for each value document detected by it, which represents whether an adhesive strip has been recognized or not.
  • the optical sensor 32 acquires an overall digital image of the value document in four spectral ranges corresponding to the three color channels red, green and blue and in the infrared spectral range (IR channel), which is represented by corresponding sensor signals.
  • the overall digital image captured by the optical sensor 32 includes pixels whose characteristics are given by pixel data relevant to checking the bills for their optical state and authenticity.
  • control device 30 For evaluating the sensor signals, the control device 30 has an evaluation device 34, which in the example is integrated in the control device 30 is, in other embodiments, but also part of the sensor assembly 28 itself may be.
  • the control device 30 has, in addition to corresponding interfaces 36 for the sensor 32 for receiving the digital image detected by this and the sensor 33 via a processor connected to the interfaces 34 and a processor 38 connected to the memory 40, in which at least one computer program with program code is stored, in the execution of the processor 38 in a first function as part of the evaluation device 34, the sensor signals, in particular for checking the authenticity and the determination of an optical state and on the basis of an overall state of a tested value document evaluates, and thereby among others one below
  • the evaluation device 34 also includes the interfaces 36. In a second function, the processor controls the device or, according to the evaluation, the transport device 20.
  • the evaluation device 34 therefore forms a computer in the sense of the present invention.
  • the evaluation device 34 checks for each value document detected by the sensor arrangement 28 by means of the processor 38 on the basis of the digital image of the value document at least one predetermined criterion for the authenticity of the value document. Furthermore, the evaluation device 34 examines the optical state of the value document based on the digital image, and determines a state value representing the optical state of the value document. The evaluation device 34 then uses the state value and the signal of the ultrasonic sensor 33 to determine, according to a predetermined criterion, a total state value representing an overall state of the value document.
  • the control device 30, in particular the processor 38 controls the transport device 20, more precisely the points, so that the checked value document is transported to corresponding output areas for storage in accordance with its ascertained authenticity and overall state.
  • value documents recognized as not genuinely recognized in the area 24 recognized as genuine, have value documents capable of being used for further use ("fit") in the area 24 "and having the overall status recognized as genuine but not suitable for further use Value documents in the range 24 "are output.
  • For processing documents of value 12 are separated into the input tray 14 as a stack or individually inserted value documents 12 of the separator 16 and isolated the transport device 18 which supplies the isolated value documents 12 of the sensor assembly 24.
  • This captures optical properties of the value documents 12, in the example the color image with additional IR channel, and forms a digital image whose pixels represent the corresponding properties of the value document. Further, it detects the ultrasonic properties.
  • the control device 30 detects the sensor signals, determined in dependence on these a state and the authenticity of the respective value document and controls depending on the result, the switches so that the examined value documents are fed according to their detected authenticity of the output compartments.
  • the optical sensor 32 is designed to acquire images for three colors and IR radiation
  • a line sensor which, during the transport of a value document past the sensor 32, comprises a sequence of line images which produce a line image of the value document in a direction transverse to the direction of the line.
  • a lighting device 42 for illuminating a transversely to the transport direction T extending strip in a transport plane E (in Fig. 2b parallel to the drawing plane) for the value document 12 or in a plane of the value document 12 with convergent, white light during the transport of the value document over its entire extent transversely to the transport direction T.
  • the illumination device 42 has two sources of optical radiation.
  • the sensor 32 comprises a detection device 44 arranged in the radiation beam emitted by the illumination device 42.
  • a detection device 44 arranged in the radiation beam emitted by the illumination device 42.
  • Each of the line scan cameras each has a detector array with line-arrayed photodetection elements 48, in front of each of the filter is arranged, the from the respective line scan camera to be detected color content of the reflected optical radiation corresponds.
  • the sensor 32 may include further optical elements, in particular for imaging or focusing, which are not shown here.
  • the detector lines of photodetection elements are arranged parallel to each other.
  • the sensor 32 comprises a signal processing device, not shown in the figures, which generates a digital image from the signals of the photodetection elements
  • the line images By arranging the line images according to the chronological order of the detection, ie corresponding assignment of the pixel data, a digital overall image of the value document with pixels is obtained each pixel data are assigned, the optical properties of the value document, namely color values for red, green and blue play or represent.
  • a digital image captured by the sensor 32 is therefore composed of pixels 50 arranged in a rectangular matrix and is described by the pixel data.
  • the resolution of the sensor 32 is at least so great that a pixel corresponds to an area of at most 0.3 mm ⁇ 0.3 mm on the value document.
  • Each of the pixels is assigned pixel data r i , g i , b i for red, green and blue as pixel data next to a number i representing the position in the image.
  • a sensor 32 is used, which represents the said pixel data as a vector in a three-dimensional, device-independent color space, here the CIE-Lab color space.
  • a program is stored with program code which, when executed by the evaluation device 34, ie here the processor 38, performs the steps of a method for examining the optical state of value documents, which in Fig. 4 are illustrated schematically.
  • step S10 a digital image of a value document is detected by means of the optical sensor 32 from the evaluation device 34 or the processor 34, which comprises pixels
  • the evaluation device 34 determines from the digital image the type of the value document in the case of banknotes, for example the denomination or denomination and currency, and the position and orientation of the value document, for example the front or back of the banknote and upright orientation or not, and store corresponding values.
  • step S14 the evaluator 34 then searches in the pixels of the digital image sets of error pixels respectively given by the error pixels satisfying a predetermined deviation criterion for undue deviation of at least one predetermined pixel property and the distance of each error pixel of the respective set to at least one other error pixels of the same amount does not exceed a predetermined distance that is greater than the distance of immediately adjacent pixels of the digital image, and that are not associated with any other set.
  • the evaluation device 34 determines thereon in step S14 a number of search found quantities and at least one value for at least one Property of at least one of the amounts found during the search and stores corresponding values.
  • step S18 the evaluation device 34, depending on the determined number and the at least one value for the property of at least one of the amounts found in the search, forms a signal representing an evaluation for the optical state of the value document and stores a corresponding state value for the optical document Status.
  • the evaluation device 34 determines, in accordance with a predetermined criterion for the overall state as a function of the signal or the stored state value and the signal of the ultrasonic sensor 33, a value for an overall state of the value document which it makes available for driving the transport device 20.
  • Fig. 5 shows in more detail the substeps of step 14 in this embodiment.
  • the evaluation device 34 checks, among other things, whether a pixel meets the predetermined deviation criterion. In the present embodiment, it determines from the type of the value document determined in step S12 the position of the detected digital image relative to a reference image given for the type the position and orientation of the value document determined in step S12.
  • the reference image has the same resolution or pixel number as the digital image, and the pixel data for the pixels of the reference image include coordinates in the color space of the digital image.
  • the evaluation device 34 can assign 34 pixels of the digital image corresponding pixels of the reference image.
  • Each pixel of the reference image is assigned a color reference distribution in the color space used.
  • the evaluation device can now check, pixel by pixel, ie pixels of the two images assigned to one another as the deviation criterion, whether the pixel data lies outside the color reference distribution. If this is the case, the deviation criterion is considered fulfilled, otherwise not.
  • the color reference distribution can in particular be given by a region of the color space enclosed by a reference surface.
  • a method can be used to determine the deviation or to check the deviation criterion, as described in the WO 2008/058742 A1 is described. If a pixel is detected whose pixel data meets the deviation criterion, it is identified by storing at least one corresponding indicator.
  • the evaluation device 34 checks whether the distance between a pixel and an error pixel does not exceed a predetermined distance.
  • the length unit is the length of the sides of the cells of the square grid formed by the pixels.
  • the distance used is the distance of the centers or geometric centroids of the cells or pixels of the square grid whose distance is to be determined.
  • a predetermined distance a distance of 5 units is used in the present embodiment.
  • the evaluation device 34 searches in step S14.2 among the pixels of the digital image, a pixel that meets the predetermined deviation criterion, but is not yet associated with a set of error pixels
  • step S14.3 it is checked if such a pixel could be found. If the evaluation device 34 has not found one, the step S14 is ended.
  • step S14.4 a new set that tells it the found pixel as current, i. last assigned to the set associated error pixel.
  • the pixel is assigned a number that identifies the quantities found.
  • step S14.5 the evaluation device 34 then searches among those pixels of the digital image that are not yet associated with a set, that is also with the last set, a pixel that fulfills the deviation criterion and whose distance from the current, i.e. the last of the set associated error pixel does not exceed the predetermined distance.
  • a search list of pixels represented by the current i. the last of the set associated error pixels and a predetermined list or order of pixels to be examined is determined.
  • the given list is obtained in the present example by iteratively on a path 56 from the last of the set associated error pixel 58 with the length of the predetermined distance in a given Searching direction is searched starting from the pixel closest to the last assigned error pixel on the route to further pixels on the route with increasing distances, and if no pixels are found, the search direction and the distance are rotated in a given search direction until a pixel on the rotated route and the search direction is chosen as a new given search direction.
  • the procedure is in Fig. 6 and Fig. 7 illustrated. In the present example, a pixel is considered to be on the track if a given reference point of the pixel is on the track.
  • An ordered list of relative coordinates is thereby created which, in the order of finding, represents the coordinates of the respectively found pixel relative to the error pixel.
  • the relative coordinates are respectively assigned a natural number which represents the position in the list or sequence. In the example, this is the center or geometric center of gravity of the pixel.
  • the following sub-steps are carried out iteratively, or repeated, until all the pixels in a circular disk with the radius of the specified distance were found to the reference point of the last of the set associated error pixel, or the direction of the distance after further rotation is again in the predetermined direction.
  • the distance is rotated in a predetermined direction of rotation, in the example counterclockwise, as long as, until the first time at least one further pixel is on the route, whose relative coordinates are added to a corresponding number of the list. If, after the rotation, at least two pixels are on the path, the pixel is first added to the list which is closest to the last error pixel assigned to the set.
  • a second sub-step further pixels become on the line in the direction of increasing distances from the last error pixel assigned to the set If found, they or their relative coordinates and a number are added to the list according to the order of finding them. If no further pixels are found on the route in the current position or direction, the first sub-step is performed again.
  • the list thus found is stored in the memory of the evaluation device in order to be used in the method.
  • Fig. 6 the order of pixels for a given distance of 5 on a square grid is represented by numbers given in the pixels, Fig. 6 shows the corresponding value
  • the search list of the pixels to be searched results from the stored list in that the coordinates of the last error pixel assigned to the set are added to the relative coordinates of the stored list.
  • the pixels of the search list ie the pixels whose coordinates are contained in this search list, are structurally spaced from the last error pixel allocated to the set that does not exceed the predetermined distance.
  • step 14.5 therefore, using the stored list, the pixels are searched in the order of the list and the search list, respectively.
  • the search list does not necessarily have to be created beforehand, it is sufficient that the coordinates of the next pixel to be examined are not determined until the examination of the current pixel has been completed.
  • the pixels of the search list are thus checked in the order of the search list to see whether they meet the deviation criterion and whether the pixel has not yet been assigned to a quantity.
  • step S14.6 If such a pixel is found in step S14.6, it is assigned to the set as error pixel in step S14.7 and assigned as the last one assigned to the set, i. current error pixel set.
  • sets of error pixels are found whose error pixels have at least one other error pixel of the set at a distance which does not exceed the predetermined distance and which fulfill the deviation criterion.
  • step S16 the evaluation device determines in step S16 the number of sets found in step S14 and a value for at least one predetermined property of at least one of the sets, in the example a value for two predetermined properties of all found sets.
  • the number of error pixels and thus a measure of the area with color deviations is determined in accordance with the deviation criterion for each of the quantities found. Furthermore, for each of the sets, the quotient is formed from the length of the edge of the area formed by error pixels or the areas formed by the error pixels and the number of error pixels.
  • edge error pixels are searched, i. Error pixels having at least one next adjacent pixel that is not an error pixel. For each edge defect pixel, two next adjacent edge defect pixels are then determined and one line is drawn in each case between the edge defect pixel and the two adjacent edge defect pixels.
  • the length of the edge is the sum of the lines for a set.
  • the evaluation device forms a signal in step S18 and stores a state value which characterizes the state of the value document.
  • the state value is calculated in particular as a function of the number of sets, the number of pixels of the sets, and the determined quotients. For example, a state value for a good state allowing further use or circulation is determined if the largest number of pixels of the sets is less than a predetermined first threshold or the largest number of pixels of the sets is greater than the first and second is less than a predetermined second threshold and the quotient for the set is greater than a third and less than a fourth threshold
  • FIGS. 8a and 8b show the appearance of two value documents of the same type with different soiling.
  • a spot 52 on a document of value in Fig. 8a has the same area as the speckled spot 54 as measured in number of pixels the value document of the same type in Fig. 8b .
  • One used to determine the state only the largest amount of error pixels that are immediately adjacent, and a threshold criterion for the maximum number of error pixels of the amount would be depending on the threshold value document in Fig. 8a not fit, that in Fig. 8b but yes, because in this only small spots would be recognized. In the present example, however, taking the quotient into account, a more differentiated statement is possible if the threshold values are selected accordingly.
  • a second embodiment differs from the embodiment only in that the in Fig. 4 illustrated step S14 by a in Fig. 9 illustrated step S14 'is replaced.
  • step S14 'again differs from the step S14 only in that on the one hand the determination of the pixels which satisfy the deviation criterion is carried out in a step S14.1' at the beginning of the step S14 ', and as a result the step S14 .2 are replaced by step S14.2 'and step S14.5 is replaced by step S14.5'.
  • the other steps are unchanged, so that the explanations to these can be referenced in the first embodiment.
  • the evaluation device of the second embodiment is modified according to the evaluation of the first embodiment, the device including the evaluation otherwise, however, unchanged.
  • step S14.1 ' it is systematically checked for each pixel of the digital image whether it satisfies the deviation criterion mentioned in the first embodiment. If so, the pixel data for the pixel becomes an indicator which indicates that the pixel meets the deviation criterion.
  • step S14.2 'differs from step S14.2 only in that when searching for a pixel not yet allocated a set that satisfies the roll-over criterion, the criterion itself no longer needs to be checked, but at the Searching for the pixel is only checked if its pixel data contain the indicator.
  • step S14.5 'differs from step S14.5 in that when searching for pixels that are not yet assigned to a set and satisfy the deviation criterion and whose distance from the current error pixel does not exceed the predetermined distance, the fulfillment of the Deviation criterion is checked by only checking if the pixel data contains the indicator.
  • a third and fourth embodiment differ from the first and second embodiments only in that, in the search for sets of error pixels, first, groups of error pixels whose error pixels are immediately adjacent to at least one other error pixel are searched; In the present example of an arrangement of rectangular pixels forming a square grid, this means that each error pixel is adjacent to at least one other error pixel of the set.
  • the other steps are unchanged, so that the explanations here apply in the first embodiment as well.
  • the evaluation device is then modified according to the evaluation device in the first and second embodiments, the device including the evaluation each otherwise unchanged.
  • step S14 ' is replaced by the step S14 "included in the Fig. 10a and 10b is illustrated
  • the evaluation device performs the step S14.1 'as in the second embodiment.
  • the evaluation device then executes the steps S14.2 "to S14.4", which are executed like the steps S14.2 ', S14.3 and S14.4, except that groups are formed instead of the sets.
  • the step S14.3 in the case that no further pixel can be found, the step S14 is not terminated, but proceeds to step S14.8".
  • the step S14.5 "differs from the step S14.5 'only in that the evaluation only searches for the deviation criterion fulfilling pixels, which are not yet assigned to a group instead of a set and on the other to the current error pixel immediately adjacent are, ie have a common page with this.
  • the steps S14.6 “and S14.7” differ from the steps S14.6 and S14.7 only in that the evaluation device performs an assignment to a group instead of a set or to step S14.2 “or step S14. 5 "jumps.
  • step S14.3 If no further pixel is found in step S14.3 ", the evaluation device forms quantities of error pixels from the groups found in the following sub-steps of step S14".
  • step S14.8 it looks for a group whose error pixels are not yet associated with a set of error pixels, as in the second Embodiment is determined, ie error pixels that meet the deviation criterion, no other set are assigned and their distance to at least one other error pixel of the same amount does not exceed the predetermined distance.
  • step S14 If the evaluation device does not find such a group in step S14.9 ", it ends step S14".
  • step S14.10 from the error pixels of the group a new set analogous to step S14.4.
  • the evaluation means first searches in step S14.11 "among the found groups whose error pixels are not yet assigned to a set, one which has the one error pixel whose distance from at least one error pixel of the set does not exceed the predetermined distance
  • step S14.12 determines in step S14.12 "that no group has been found, it returns to step S14.8.
  • step S14.11 it may be sufficient to only check, when searching the group, whether among its edge pixels, ie error pixels having at least one neighboring pixel which is not an error pixel, one has a distance to an edge pixel of the current set, which contains the does not exceed the specified distance.
  • a fifth embodiment differs from the first embodiment in that a different deviation criterion is used, otherwise all steps and devices are unchanged, so that the descriptions to these apply unchanged here as well.
  • the deviation criterion additionally depends in this exemplary embodiment on the distance of the pixel from the last error pixel assigned to the set.
  • the area enclosed by the reference area can be reduced with increasing distance, i. scaled with a scaling factor smaller than 1, but its position in the color space remains unchanged.
  • the scaling factor may linearly decrease to a value of 0.75 at a distance of 5 at a distance of 1.
  • the range scaled by the scaling factor associated with the pixel's distance from the last associated error pixel is then used.
  • This approach has the advantage that uneven spots, such as coffee stains on a document of value easier to be recognized as a large spot.
  • two small spots instead of one larger spot might be detected.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Untersuchung des optischen Zustands von Wertdokumenten, eine Auswerteeinrichtung zur Durchführung des Verfahrens und ein Vorrichtung zur Durchführung des Verfahrens.
  • Unter Wertdokumenten werden dabei blattförmige Gegenstände verstanden, die beispielsweise einen monetären Wert oder eine Berechtigung repräsentieren und daher nicht beliebig durch Unbefugte herstellbar sein sollen. Sie weisen daher nicht einfach herzustellende, insbesondere zu kopierende Merkmale auf, deren Vorhandsein ein Indiz für die Echtheit, d.h. die Herstellung durch eine dazu befugten Stelle, ist. Wichtige Beispiele für solche Wertdokumente sind Chipkarten, Coupons, Gutscheine, Schecks und insbesondere Banknoten.
  • Wertdokumente weisen oft eine für den jeweiligen Typ der Wertdokumente spezifische optische Gestaltung, d.h. ein spezifische Aussehen, auf, die zusätzlich Sicherheitsmerkmale umfassen kann, aber nicht muß. Die optische Gestaltung kann beispielsweise durch ein Druckbild auf dem Wertdokument gegeben sein. Das Druckbild kann dabei ein Druckbild im Bereich der optischen Strahlung bzw. dem optischen Wellenlängenbereich sein, worunter im Folgenden infrarote Strahlung, ultraviolette Strahlung und Strahlung im sichtbaren Wellenlängenbereich verstanden wird.
  • Für ein gegebenes Wertdokument kann die optische Gestaltung, insbesondere das Druckbild, von der vorgegebenen Gestaltung abweichen, beispielsweise weil das Wertdokument durch Gebrauch oder Manipulationen verschmutzt wurde. Art und Umfang der Abweichungen in der optischen Gestaltung bestimmen wesentlich den optischen Zustand eines Wertdokuments, der wiederum einen wesentlichen Aspekt des Gesamtzustands eines Wertdokuments darstellt. Der Zustand des Wertdokuments kann insbesondere bestimmen, ob ein Wertdokument noch als solches verwendet werden kann, d.h. umlauffähig ist, oder nicht. In Bezug auf den optischen Zustand können die Abweichungen, insbesondere im Druckbild, beispielsweise je nach Art und Umfang die Erkennung des Wertes oder der Echtheit eines Wertdokuments beeinträchtigen oder gar ausschließen. Es ist daher wichtig, den Zustand eines Wertdokuments möglichst maschinell untersuchen und bewerten zu können. Angesichts der vielen Möglichkeiten für eine Abweichung der optischen Gestaltung von der vorgegebenen Gestaltung ist wünschenswert, Verfahren zur Untersuchung des optischen Zustands von Wertdokumenten zu kennen, die eine differenzierte Bewertung ermöglichen.
  • WO 02/075673 A1 beschreibt ein Verfahren zur Überwachung von Markierungen auf gedruckten Dokumenten. Das Verfahren umfasst die Schritte: Beschaffen einer digitalen Darstellung einer Seite eines Dokuments durch Bestimmen des Ein- oder Mehrfarbekomponenteninhalts von Pixeln der Darstellung, Vergleichen des Farbekomponenteninhalts jedes Pixels der Darstellung mit einem sich zwischen oberen und unteren Schwellwerten für das entsprechende Pixel eines akzeptablen, unmarkierten Dokuments und Erzeugen eines entsprechenden Anomaliepixels, wenn der Pixelwert außerhalb des Bereichs liegt; und Bestimmen des Vorhandenseines einer Markierung, wenn die resultierenden Anomaliepixel vorgegebenen Bedingungen genügen.
  • Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Untersuchung des Zustands eines Wertdokuments bereitzustellen, daß gute Aussagekraft ermöglicht, sowie Mittel zur Durchführung des Verfahrens bereitzustellen.
  • Die Aufgabe wird gelöst durch ein Verfahren zur Untersuchung des optischen Zustands eines Wertdokuments auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments, wobei das digitale Bild Pixel umfaßt, in den Pixeln des digitalen Bildes Mengen von Fehlerpixeln gesucht werden, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Abweichung wenigstens einer vorgegebenen Pixeleigenschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und eine Anzahl beim Suchen gefundener Mengen und/oder ein Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ermittelt wird. Es kann dann ein Signal abgegeben werden, das die Anzahl oder den Wert darstellt, und/oder es kann die Anzahl oder der Wert in einer Speichereinrichtung gespeichert werden.
  • Die Aufgabe wird weiter gelöst durch eine Auswerteeinrichtung zur Untersuchung des optischen Zustands eines Wertdokuments auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments, wobei das digitale Bild Pixel umfaßt, wobei die Auswertvorrichtung eine Schnittstelle zum Empfang eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments aufweist und dazu ausgebildet ist, ein erfindungsgemäßes Verfahren auf der Basis des mittels der Schnittstelle empfangenen digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments durchzuführen. Insbesondere ist die Auswerteeinrichtung dazu ausgebildet, in den Pixeln des mittels der Schnittstelle empfangenen digitalen Bildes Mengen von Fehlerpixeln zu suchen, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Abweichung wenigstens einer vorgegebenen Pixeleigenschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und eine Anzahl beim Suchen gefundener Mengen und/oder ein Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen zu ermitteln. Weiter kann sie dazu ausgebildet sein, dann ein Signal abzugeben, das die Anzahl oder den Wert darstellt, und/oder die Anzahl oder den Wert zu speichern.
  • Die Aufgabe wird weiter gelöst durch eine Vorrichtung zur Untersuchung des optischen Zustands eines Wertdokuments, mit einem optischen Sensor zur Erfassung eines digitalen Bildes wenigstens eines Bereichs des Wertdokuments, und einer erfindungsgemäßen Auswerteeinrichtung, deren Schnittstelle über eine Signalverbindung mit dem Sensor verbunden ist, so daß ein von dem Sensor erfaßtes digitales Bild von der Auswerteeinrichtung empfangbar ist.
  • Weiterer Gegenstand der Erfindung ist ein Verfahren zur Untersuchung des optischen Zustands eines Wertdokuments, bei dem mittels eines optischen Sensors ein digitales Bild wenigstens eines vorgegebenen Bereichs des Wertdokuments erfaßt wird, wobei das digitale Bild Pixel umfaßt, und das oben genannte erfindungsgemäße Verfahren mit dem digitalen Bild durchgeführt wird.
  • Ausgangspunkt der genannten Lösung sind also digitale Bilder wenigstens eines vorgegebenen Bereichs eines Wertdokuments. Der Bereich kann grundsätzlich beliebig geeignet vorgegeben sein, beispielsweise kann er das gesamte Wertdokument umfassen oder nur für die Beurteilung des Zustands als relevant vorgegebene Bereiche. In letzterem Fall kann der Bereich für jeden Typ von Wertdokument, bei Banknoten insbesondere für jede Denomination bzw. Stückelung spezifisch vorgegeben sein.
  • Das digitale Bild wird mit einem optischen Sensor erfaßt, der ortsaufgelöst vorgegebene Eigenschaften von von dem Wertdokument ausgehender optischer Strahlung, die gegebenenfalls durch den Sensor gefiltert wird, erfaßt, wobei Signale erzeugt werden, die den Orten bzw. Bildpunkten zugeordnet die erfaßte Eigenschaft darstellen. Das digitale Bild umfaßt in bekannter Weise Pixel, die jeweils einem entsprechend der Auflösung des zur Erfassung verwendeten optischen Sensors ausgedehnten Bildpunkt auf dem Wertdokument entsprechen und denen Pixeldaten zugeordnet sind, die Eigenschaften der Pixel, insbesondere Eigenschaften der von den jeweiligen Bildpunkt ausgehenden optischen Strahlung und damit bei gegebener Beleuchtung optische Eigenschaften des Bereichs des Wertdokuments wiedergeben. Das digitale Bild des Sensors kann, aber muß nicht, insbesondere vor der Verwendung für das Verfahren noch vorverarbeitet werden, beispielweise können Korrekturen der Eigenschaften des Bildes, beispielsweise von Farben, oder ein Filterung, insbesondere eine Tiefpaßfilter, beispielsweise durch Mittelung über ein Pixel und dessen am nächsten benachbarte Pixel, durchgeführt. Dies kann durch eine entsprechende Einrichtung des Sensors erfolgen oder durch die Auswerteeinrichtung. Das so entstandene digitale Bild wird dann zur Durchführung des Verfahrens verwendet.
  • Zur Weiterverarbeitung des digitalen Bildes kann die Auswerteeinrichtung verwendet werden, die die Schnittstelle zum Empfangen des digitalen Bildes aufweist und zur Durchführung des erfindungsgemäßen Verfahrens mit dem mittels der Schnittstelle empfangenen digitalen Bildes ausgebildet ist. Die Schnittstelle kann Hard- und/oder Softwarekomponenten umfassen. Zur Weiterverarbeitung des digitalen Bildes kann ein Computer mit wenigstens einem Prozessor verwendet werden, der insbesondere Teil der Auswertvorrichtung sein kann. Unter einem Prozessor wird dabei ein geeigneter Controller, ein FPGA, ein Signalprozessor oder ein Vielzweckprozessor oder eine Kombination aus wenigstens zweien dieser Elemente verstanden werden. Soweit nicht allein ein vorprogrammiertes FPGA verwendet wird, kann ein mit dem wenigstens einen Prozessor verbundener, gegebenenfalls in diesen integrierter Speicher vorgesehen sein, in dem Instruktionen eines Computerprogramms gespeichert sind, bei deren Ausführung das erfindungsgemäße Verfahren ausgeführt wird.
  • In dem digitalen Bereich werden mittels des Prozessors unter den Pixeln des digitalen Bildes Mengen von Fehlerpixeln gesucht. Fehlerpixel sind solche Pixel des digitalen Bildes, die das vorgegebene Abweichungskriterium erfüllen, das festlegt, wann eine Abweichung der wenigstens einen vorgegebenen Pixeleigenschaft von einem vorgegebenen Wert als unzulässig anzusehen ist. Das Abweichungskriterium kann beispielsweise dadurch gegeben sein, daß geprüft wird, ob die Pixeldaten für ein Pixel oder mehrere Pixel eines vorgegebenen Auswertebereichs von einer für das Pixel oder die Pixel in Abhängigkeit von dem Wertdokumenttyp vorgegebenen Referenzverteilung für zulässige Pixeldaten gemäß einem vorgegebenen Kriterium abweichen, beispielsweise außerhalb der Referenzverteilung liegen. Ein Beispiel für ein solches Vorgehen zur Ermittlung der Abweichung bzw. zur Prüfung des Abweichungskriteriums ist in der WO 2008/058742 A1 beschrieben Es ist auch möglich, das digitale Bild mit einem Referenzbild für den Wertdokumenttyp zu vergleichen und nach einer Ausrichtung der Bilder aufeinander pixelweise die Abweichungen der Pixeldaten des digitalen Bildes und des Referenzbildes zu ermitteln und ein vorgegebenes Kriterium für eine maximal zulässige Abweichung zu prüfen. Im Fall von Farbbildern kann die Abweichung beispielsweise durch einen Abstand oder ein Quadrat eines Abstands gegeben sein.
  • Die Mengen von Fehlerpixeln zeichnen sich dadurch aus, daß der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes. Unter unmittelbar benachbarten Pixeln werden dabei Pixel verstanden, die sich wenigstens in einem Punkt berühren; im Fall von auf einem Quadratgitter angeordneten Pixeln sind zu einem gegebenen Pixel also die zu diesem nächsten acht Pixel die unmittelbar benachbarten Pixel. Unter dem Abstand zweier Pixel wird dabei der Abstand der geometrischen Schwerpunkte der Pixel verstanden. Aufgrund dieser Eigenschaft der Mengen kann ein Fehlerpixel nur zu einer einzigen Menge gehören bzw. anders formuliert nur dieser einzigen Menge zugeordnet sein. Weiter bilden die Fehlerpixel einer Menge nicht unbedingt ein zusammenhängendes Gebiet in dem Bild, sondern können durch nahe benachbarte Gebiete gegeben sein. Durch Wahl des vorgegebenen Abstands wird dabei festgelegt, wie weit diese Gebiete voneinander entfernt sein dürfen, um zu derselben Menge zu gehören. Vorzugsweise liegt der Abstand, ausgedrückt in Einheiten des kleinsten Abstands unmittelbar benachbarter Pixel, zwischen 2 und 10 vorzugsweise 3 und 6. Je nach optischen Zustand des Wertdokuments, dem Abweichungskriterium und dem vorgegebenen Abstand können keine Mengen, nur eine Menge oder auch mehrere Mengen bei dem Suchen gefunden werden.
  • Es wird dann dien Anzahl der beim Suchen gefundenen Mengen ermittelt und/oder ein Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ermittelt. Auf diese Weise ist ein differenzierte Aussage über den optischen Zustand des Wertdokuments möglich. Insbesondere können beispielsweise unregelmäßig verteilte Flecken, beispielsweise aufgesprühte Tropfen, leicht erfaßt werden. Auch wirken sich unter Umständen bei Sensoren sehr hoher örtlicher Auflösung auftretende Pixelfehler weniger stark bei der Zustandsuntersuchung aus.
  • In Abhängigkeit von dem Ergebnis der Ermittlung bzw. den Ergebnissen der Ermittlung kann ein Signal abgegeben werden, das diese darstellt, oder es kann ein entsprechender Wert gespeichert werden, was in dem Speicher oder ein einer anderen Speichereinrichtung erfolgen kann.
  • Die Ergebnisse, d.h. die Anzahl und/oder der Wert können entweder allein zur Charakterisierung des Gesamtzustands verwendet werden oder zur Ermittlung eines Gesamtzustands verwendet werden, bei der noch weitere Parameter eingehen.
  • Das Suchen nach den Mengen von Fehlerpixeln kann auf unterschiedliche Art und Weise erfolgen. Gemäß einer bevorzugten Alternative können bei dem Verfahren zum Suchen einer Menge von Fehlerpixeln Fehlerpixel derart der Menge zugeordnet werden, daß für ein bereits der Menge zugeordnetes Fehlerpixel ein nächstes Fehlerpixel gesucht wird, das das Abweichungskriterium erfüllt und das der Menge noch nicht zugeordnet ist und dessen Abstand zu dem bereits zugeordneten Pixel den vorgegebenen Abstand nicht überschreitet, und bei Auffinden eines solchen nächsten Fehlerpixels dieses der Menge zugeordnet wird. Dazu kann die Auswerteeinrichtung so ausgebildet sein, daß zum Suchen einer Menge von Fehlerpixeln Fehlerpixel derart der Menge zugeordnet werden, daß für ein bereits der Menge zugeordnetes Fehlerpixel ein nächstes Fehlerpixel gesucht wird, das das Abweichungskriterium erfüllt und das der Menge noch nicht zugeordnet ist und dessen Abstand zu dem bereits zugeordneten Pixel den vorgegebenen Abstand nicht überschreitet, und bei Auffinden eines solchen nächsten Fehlerpixels dieses der Menge zugeordnet wird. Ein Vorteil dieses Vorgehens liegt darin, daß es ein schnelles Auffinden der gesuchten Mengen erlaubt. Insbesondere kann bei dieser Ausführung des Verfahrens beim Suchen einer Menge das Suchen des nächsten Fehlerpixels und dessen Zuordnen wiederholt ausgeführt werden, wobei jeweils als das bereits der Menge zugeordnete Fehlerpixel das zuletzt der Menge zugeordnete Fehlerpixel verwendet wird. Die Auswerteeinrichtung ist dann dazu ausgebildet, beim Suchen einer Menge das Suchen des nächsten Fehlerpixels und dessen Zuordnen wiederholt auszuführen, wobei jeweils als das bereits der Menge zugeordnete Fehlerpixel das zuletzt der Menge zugeordnete Fehlerpixel verwendet wird. Dieses Vorgehen bietet den Vorteil, daß die Mengen einfach und schnell ermittelt werden können.
  • Dabei können die Fehlerpixel grundsätzlich beliebig gesucht werden. Es ist bei dem Verfahren jedoch bevorzugt, daß zum Suchen des nächsten Fehlerpixels jeweils ein Fehlerpixel in einer Suchliste von Pixeln gesucht wird, die wenigstens durch das zuletzt der Menge zugeordnete Fehlerpixel und den vorgegebenen Abstand oder durch das zuletzt der Menge zugeordnete Fehlerpixel und eine vorgegebene Liste bestimmt ist. Die Auswerteeinrichtung kann dazu vorzugsweise dazu ausgebildet sein, daß zum Suchen des nächsten Fehlerpixels jeweils ein Fehlerpixel in einer Suchliste von Pixeln gesucht wird, die wenigstens durch das zuletzt der Menge zugeordnete Fehlerpixel und den vorgegebenen Abstand oder durch das zuletzt der Menge zugeordnete Fehlerpixel und eine vorgegebene Liste bestimmt ist. Diese Ausführungsform bietet den Vorteil, daß nur eine Liste von Pixeln durchsucht zu werden braucht, eine Abstandsberechnung jedoch nicht erforderlich ist. Vorzugsweise ist die Suchliste und/oder die vorgegebenen Liste in Abhängigkeit von dem vorgegebenen Abstand so bestimmt, daß diese je nach Ausführungsform alle Pixel oder nur alle das Abweichungskriterium erfüllende Pixel innerhalb des vorgegebenen Abstands enthält Die Suchliste braucht nur soweit durchlaufen zu werden, bis ein Fehlerpixel gefunden wird. Die Suchliste kann insbesondere dadurch bestimmt sein, daß die vorgegebene Liste nur die Lage relativ zu einem Pixel angibt, und die Suchliste durch Umrechnung der vorgegebenen Liste auf die Lage des zuletzt zugeordneten Fehlerpixels bestimmt wird.
  • Weiter ist es bei dem Verfahren bevorzugt, daß zum Suchen des nächsten Fehlerpixels Fehlerpixel entlang eines von dem zuletzt der Menge zugeordneten Fehlerpixel ausgehenden, schrittweise in einer vorgegebenen Drehrichtung gedrehten Suchstrahls gesucht werden. Die Auswerteeinrichtung ist dann vorzugsweise dazu ausgebildet, daß zum Suchen des nächsten Fehlerpixels Fehlerpixel entlang eines von dem zuletzt der Menge zugeordneten Fehlerpixel ausgehenden, schrittweise in einer vorgegebenen Drehrichtung gedrehten Suchstrahls gesucht werdenDer Suchstrahl ist dabei eine gedachte Strecke in einer Ebene, in der Pixel angeordnet sind; sie beginnt in dem zuletzt der Menge zugeordneten Fehlerpixel bzw. geht von diesem aus, beispielsweise dessen geometrischem Schwerpunkt und kann vorzugsweise die Länge des vorgegebenen Abstands aufweisen. Zu Beginn kann der Suchstrahl eine beliebig vorgegebene Anfangsrichtung aufweisen, bei einer Anordnung der Pixel in einer quadratischen Matrix beispielsweise entlang einer der Zeilen. Bei der Suche zwischen den Drehungen kann entweder immer in der Reihenfolge zunehmenden Abstands von dem zuletzt zugeordneten Fehlerpixel, oder immer in der Reihenfolge abnehmenden Abstands von dem zuletzt zugeordneten Fehlerpixel oder abwechselnd in der Reihenfolge zunehmenden Abstands und abnehmenden Abstands gesucht werden. Dieses Verfahren erlaubt es auf besonders effiziente Weise Fehlerpixel zu finden und einer Menge zuzuordnen, da selbst in ungünstigen Konstellationen nur wenige Abstände zu ermitteln sind. Weiter deckt diese Art des Suchens alle Pixel ab, deren Abstand von dem zuletzt zugeordneten Fehlerpixel den vorgegebenen Abstand nicht übersteigt
  • Wird zum Suchen eine Suchliste verwendet, kann diese so gewählt sein, daß die Pixel in der Reihenfolge durchsucht werden, die der in dem letzten Absatz geschilderten Reihenfolge entspricht.
  • Das erfindungsgemäße Verfahren beinhaltet zum einen die Prüfung des Abweichungskriteriums und zum anderen die Prüfung, ob der Abstand zweier Fehlerpixel den vorgegebenen Abstand unterschreitet. Diese Prüfungen können prinzipiell beliebig durchgeführt werden. So können bei dem Verfahren vorzugsweise beim Suchen der Mengen zunächst die Pixel ermittelt werden, die das Abweichungskriterium erfüllen, und danach können diese Pixel den Mengen als Fehlerpixel zugeordnet werden. Die Auswerteeinrichtung kann dann weiter so ausgebildet sein, daß beim Suchen der Mengen zunächst die Pixel ermittelt werden, die das Abweichungskriterium erfüllen, und danach können diese Pixel den Mengen als Fehlerpixel zugeordnet werden. Dieses Verfahren ist insbesondere dann vorteilhaft, wenn die Prüfung des Abweichungskriteriums im Vergleich zu der Prüfung auf den Abstand zweier Pixel schnell durchführbar ist.
  • Bei einer anderen bevorzugten Ausführungsform kann aber auch vorgesehen sein, daß bei dem Verfahren beim Suchen der Mengen ausgehend von einem Fehlerpixel einer Menge Pixel, deren Abstand zu dem Fehlerpixel den vorgegebenen Abstand nicht überschreiten, daraufhin überprüft werden, ob sie das Abweichungskriterium erfüllen. Die Auswerteeinrichtung kann dazu vorzugsweise weiter so ausgebildet sein, daß beim Suchen der Mengen ausgehend von einem Fehlerpixel einer Menge Pixel, deren Abstand zu dem Fehlerpixel den vorgegebenen Abstand nicht überschreiten, daraufhin überprüft werden, ob sie das Abweichungskriterium erfüllen. Diese Vorgehensweise ist untern anderem vorteilhaft, wenn das Prüfen der Abweichungskriteriums nicht sehr schnell ist
  • Ein weiterer Vorteil der Ausführungsform liegt darin, daß folgende bevorzugte Weiterbildung einfach realisiert werden kann. Diese sieht vor, daß bei dem Verfahren das Abweichungskriterium von dem Abstand zwischen dem Fehlerpixel und dem aktuell geprüften Pixel abhängt. Die Auswerteeinrichtung ist dann so ausgebildet, daß das Abweichungskriterium von dem Abstand zwischen dem Fehlerpixel und dem aktuell geprüften Pixel abhängt.
  • Bei einer anderen Ausführungsform des Verfahrens ist es bevorzugt, daß zum Suchen einer Menge von Fehlerpixeln zunächst Gruppen von Fehlerpixeln gesucht werden, die jeweils Fehlerpixel umfassen, die das Abweichungskriterium erfüllten und die unmittelbar benachbart sind, daß bei dem Verfahren geprüft wird, ob der Abstand wenigstens eines Fehlerpixels einer der Gruppen von wenigstens einem Fehlerpixel einer anderen der Gruppen, deren Fehlerpixel noch nicht einer Menge zugeordnet sind, den vorgegebenen Abstand nicht überschreitet, und wenn dies der Fall ist, die Fehlerpixel der beiden Gruppen derselben Menge zugeordnet werden. Hierzu kann die Auswerteeinrichtung vorzugsweise weiter dazu ausgebildet sein, daß zum Suchen einer Menge von Fehlerpixeln zunächst Gruppen von Fehlerpixeln gesucht werden, die jeweils Fehlerpixel umfassen, die das Abweichungskriterium erfüllten und die unmittelbar benachbart sind, daß bei dem Verfahren geprüft wird, ob der Abstand wenigstens eines Fehlerpixels einer der Gruppen von wenigstens einem Fehlerpixel einer anderen der Gruppen, deren Fehlerpixel noch nicht einer Menge zugeordnet sind, den vorgegebenen Abstand nicht überschreitet, und wenn dies der Fall ist, die Fehlerpixel der beiden Gruppen derselben Menge zugeordnet werden. Diese Ausführungsform eignet sich insbesondere für Fälle, in denen große Gruppen unmittelbar benachbarter Fehlerpixel vorhanden sind. Insbesondere ist bei dieser Ausführungsform auch bevorzugt, daß bei dem Verfahren beim Suchen der Mengen zunächst die Pixel ermittelt werden, die das Abweichungskriterium erfüllen, und danach diese Pixel zunächst den Gruppen als Fehlerpixel zugeordnet werden. Dieses Vorgehen kann die Ermittlung der Gruppen erheblich beschleunigen.
  • Bei dem erfindungsgemäßen Verfahren kann die ermittelte Anzahl und/oder der ermittelte Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen vorzugsweise zur Ermittlung eines den optischen Zustand darstellenden Wertes verwendet werden. Die Auswerteeinrichtung kann dann vorzugsweise dazu ausgebildet sein, unter Verwendung der ermittelten Anzahl und/oder des ermittelten Wertes für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen einen den optischen Zustand darstellenden Wert zu ermitteln.
  • Als Eigenschaften der Menge kann beispielsweise der Menge deren Anzahl an Fehlerpixeln verwendet werden. Hierzu kann die Auswerteeinrichtung entsprechend ausgebildet sein.
  • Es ist aber bevorzugt, daß alternativ oder zusätzlich bei dem Verfahren als Eigenschaft der Menge eine Funktion der Anzahl an Fehlerpixeln der Menge und der Länge einer Linie durch die Fehlerpixel der Menge, die deren Rand bilden, verwendet wird. Die Auswerteeinrichtung kann dann weiter dazu ausgebildet sein, als Eigenschaft der Menge eine Funktion der Anzahl an Fehlerpixeln der Menge und der Länge einer Linie durch die Fehlerpixel der Menge, die deren Rand bilden, zu verwenden.
  • Bei einem Verfahren zum Sortieren von Wertdokumenten, kann das erfindungsgemäße Verfahren für jedes zu sortierende Wertdokument ausgeführt werden, wobei in Abhängigkeit von dem ermittelten optischen Zustand, vorzugsweise in Abhängigkeit von einem unter Verwendung des optischen Zustands ermittelten Gesamtzustands, das Wertdokument in eine für den ermittelten optischen Zustand bzw. Gesamtzustand vorgesehene Aufnahme transportiert wird. Gegenstand der Erfindung ist daher auch eine Vorrichtung zum Bearbeiten, insbesondere Sortieren, von Wertdokumenten, mit einer erfindungsgemäßen Vorrichtung zur Untersuchung von Wertdokumenten und einer Transporteinrichtung zum Transportieren von vereinzelten Wertdokumenten an der Untersuchungsvorrichtung vorbei, die dazu ausgebildet ist, in Abhängigkeit von Signalen der Untersuchungsvorrichtung Wertdokumente in Abhängigkeit von dem optischen Zustand, vorzugsweise einem in Abhängigkeit von dem optischen Zustand ermittelten Gesamtzustand, einem für Wertdokumente vorgegebenen optischen Zustands bzw. Gesamtzustands vorgesehene Aufnahme der Vorrichtung zu transportieren.
  • Gegenstand der Erfindung ist weiter ein computerlesbarer Datenträger mit Programmcode, der von einem Computer ausführbar ist, so daß der Computer ein erfindungsgemäßes Verfahren ausführt.
  • Die Erfindung wird im Folgenden noch weiter beispielhaft an Hand der Zeichnungen erläutert. Es zeigen:
    • Fig. 1
    eine schematische Darstellung einer Wertdokumentbearbeitungsvorrichtung in Form einer Banknotensortiervorrichtung,
    Fig. 2a,b
    schematische Darstellungen eines optischen Sensors der Vorrichtung in Fig. 1 in Transportrichtung eines Wertdokuments und in Blickrichtung auf eine Transportebene, in der Wertdokumenten an diesem vorbeitransportiert werden,
    Fig. 3
    eine schematische Darstellung eines digitalen Bildes eines Wertdokuments und einiger Pixel des Bildes,
    Fig. 4
    ein Ablaufdiagramm für eine erstes Verfahren zur Untersuchung eines Zustands eines Wertdokuments mittels der Vorrichtung in Fig. 1,
    Fig. 5
    ein Ablaufdiagramm für eine Suche von Mengen von Fehlerpixeln in einem Schritt S14 des Verfahrens in Fig. 4,
    Fig. 6
    eine schematische Darstellung eines Teils eines digitalen Bildes zur Veranschaulichung einer Reihenfolge beim Suchen nach Fehlerpixeln,
    Fig. 7
    eine schematische Darstellung des Teils des digitalen Bildes in Fig. 6 mit einem Suchpfad,
    Fig. 8a,b
    Wertdokumente mit verschiedenen Verschmutzungen,
    Fig. 9
    ein Ablaufdiagramm für eine Suche von Mengen von Fehlerpixeln in einem Schritt S14' eines zweiten Verfahrens zur Untersuchung eines Zustands eines Wertdokuments mittels der Vorrichtung in Fig. 1, und
    Fig. 10a,b
    ein Ablaufdiagramm für eine Suche von Mengen von Fehlerpixeln in einem Schritt S14" eines vierten Verfahrens zur Untersuchung eines Zustands eines Wertdokuments mittels der Vorrichtung in Fig. 1.
  • Eine Vorrichtung 10 zur Bearbeitung von Wertdokumenten 12, im Beispiel eine Banknotenbearbeitungsvorrichtung, in Fig. 1 dient unter anderem zur Prüfung der Echtheit und des Gesamtzustands von Wertdokumenten 12 in Form von Banknoten und zur Sortierung in Abhängigkeit vom Ergebnis der Echtheits- und Gesamtzustandsprüfung. Die Vorrichtung 10 verfügt über einen Eingabebereich 14, im Beispiel ein Eingabefach, für die Eingabe von zu bearbeitenden Wertdokumenten 12, einen Vereinzeler 16, der auf Wertdokumente 12 in dem Eingabefach 14 zugreifen kann, um diese zu vereinzeln, und eine zu einer Ausgabeeinrichtung 18 führende Transporteinrichtung 20 zum Transport von dem Vereinzeler 16 vereinzelter Wertdokumente entlang eines Transportpfades 22 zu der Ausgabeeinrichtung 18. Die Ausgabeeinrichtung 18 verfügt über wenigstens zwei, in diesem Beispiel drei, Ausgabebereiche 24, 24' und 24", im Beispiel Stapelfächer; zum wahlweisen Transport in die Ausgabebereiche umfaßt die Transporteinrichtung 20 entlang des Transportpfades 22 nacheinander angeordnete Weichen, im Beispiel zwei Weichen 26 und 26', so daß durch Ansteuerung der Weichen Wertdokumente wahlweise einem der Ausgabebereiche zuführbar sind. Entlang des durch die Transporteinrichtung 18 gegebenen Transportpfades 22 ist nach dem Vereinzeler 16 und vor den Weichen eine Sensoranordnung 28 angeordnet, die zur Erfassung von Eigenschaften vereinzelt zugeführter Wertdokumente 12 und Bildung von die Eigenschaften wiedergebenden Sensorsignalen dient. Eine Steuereinrichtung 30 ist wenigstens mit der Sensoranordnung 28 und den Weichen 26 und 26' über Signalverbindungen verbunden und dient zur Auswertung von Sensorsignalen der Sensoranordnung 28, insbesondere zur Prüfung der Echtheit und des Zustands von Wertdokumenten, und zur Ansteuerung wenigstens der Weichen 26 und 26' in Abhängigkeit von dem Ergebnis der Auswertung der Sensorsignale, d. h. insbesondere den Ergebnissen der Prüfung auf Echtheit und Zustand.
  • Die Sensoranordnung 24 umfaßt wenigstens einen Sensor; in diesem Ausführungsbeispiel ist ein optischer Sensor 32 zur ortsaufgelösten Erfassung farblicher Eigenschaften und von IR-Eigenschaften vorgesehen, der von dem Wertdokument remittierte optische Strahlung erfaßt. Weiter weist die Sensoranordnung 28 in diesem Ausführungsbeispiel einen an sich optionalen weiteren Sensor 33 zur Erfassung von Ultraschalleigenschaften eines an ihm vorbeitransportierten Wertdokuments auf.
  • Der Sensor 33 dient zur Prüfung eines Wertdokuments darauf, ob auf ihm ein Klebestreifen erkennbar ist. Der Sensor 33 gibt für jedes von ihm erfaßte Wertdokument ein Signal an die Steuereinrichtung 30 ab, das darstellt, ob ein Klebestreifen erkannt wurde oder nicht.
  • Der optische Sensor 32 erfaßt während des Vorbeitransports eines Wertdokuments ein digitales Gesamtbild des Wertdokuments in vier Spektralbereichen entsprechend den drei Farbkanälen Rot, Grün und Blau und im infraroten Spektralbereich (IR-Kanal), das durch entsprechende Sensorsignale dargestellt wird.
  • Das von dem optischen Sensor 32 erfaßte digitale Gesamtbild umfaßt Pixel, deren Eigenschaften durch Pixeldaten gegeben sind, die für die Überprüfung der Banknoten in Bezug auf deren optischen Zustand und die Echtheit relevant sind.
  • Zur Auswertung der Sensorsignale verfügt die Steuereinrichtung 30 über eine Auswerteeinrichtung 34, die im Beispiel in die Steuereinrichtung 30 integriert ist, in anderen Ausführungsbeispielen aber auch Teil der Sensoranordnung 28 selbst sein kann.
  • Die Steuereinrichtung 30 verfügt neben entsprechenden Schnittstellen 36 für den Sensor 32 zum Empfang des von diesem erfaßten digitalen Bildes und den Sensor 33 über einen mit den Schnittstellen 34 verbundenen Prozessor 38 und einen mit dem Prozessor 38 verbundenen Speicher 40, in dem wenigstens ein Computerprogramm mit Programmcode gespeichert ist, bei dessen Ausführung der Prozessor 38 in einer ersten Funktion als Teil der Auswerteeinrichtung 34 die Sensorsignale, insbesondere zur Prüfung der Echtheit und der Ermittlung eines optischen Zustands und auf dessen Basis eines Gesamtzustands eines geprüften Wertdokuments, auswertet und dabei unter anderem ein im Folgenden beschriebenes Verfahren unter Verwendung der Sensorsignale bzw. der Pixeldaten ausführt Zu der Auswerteeinrichtung 34 gehören auch die Schnittstellen 36. In einer zweiten Funktion steuert der Prozessor die Vorrichtung bzw. entsprechend der Auswertung die Transporteinrichtung 20 an. Die Auswerteeinrichtung 34 bildet daher einen Computer im Sinne der vorliegenden Erfindung.
  • Im Betrieb prüft die Auswerteeinrichtung 34 für jedes von der Sensoranordnung 28 erfaßte Wertdokument mittels des Prozessors 38 auf der Basis des digitalen Bildes des Wertdokuments wenigstens ein vorgegebenes Kriterium für die Echtheit des Wertdokuments. Weiter untersucht die Auswerteeinrichtung 34 auf der Basis des digitalen Bildes den optischen Zustand des Wertdokuments, und ermittelt einen Zustandswert, der den optischen Zustand des Wertdokuments darstellt. Die Auswerteeinrichtung 34 verwendet dann den Zustandswert und das Signal des Ultraschallsensors 33 dazu, nach einem vorgegebenen Kriterium einen einen Gesamtzustand des Wertdokuments darstellenden Gesamtzustandswert zu ermitteln.
  • In Abhängigkeit von der ermittelten Echtheit und dem Gesamtzustandswert steuert die Steuereinrichtung 30, insbesondere der Prozessor 38 darin die Transporteinrichtung 20, genauer die Weichen, so an, daß das geprüfte Wertdokument entsprechend seiner ermittelten Echtheit und seines Gesamtzustands zur Ablage in entsprechende Ausgabebereiche transportiert wird. Beispielsweise können als nicht echt erkannte Wertdokumente in den Bereich 24, als echt erkannte, einen für eine weitere Benutzung geeigneten Gesamtzustand aufweisenden ("umlauffähigen") Wertdokumente in den Bereich 24" und die als echt erkannten, aber nicht für eine weitere Benutzung geeigneten Gesamtzustand aufweisenden Wertdokumenten in den Bereich 24" ausgegeben werden.
  • Zur Bearbeitung von Wertdokumenten 12 werden in das Eingabefach 14 als Stapel oder einzeln eingelegte Wertdokumente 12 von dem Vereinzeler 16 vereinzelt und vereinzelt der Transporteinrichtung 18 zugeführt, die die vereinzelten Wertdokumente 12 der Sensoranordnung 24 zuführt. Diese erfaßt optische Eigenschaften der Wertdokumente 12, im Beispiel das Farbbild mit zusätzlichem IR-Kanal, und bildet ein digitales Bild, dessen Pixel die entsprechenden Eigenschaften des Wertdokuments wiedergeben. Weiter erfaßt sie die Ultraschalleigenschaften. Die Steuereinrichtung 30 erfaßt die Sensorsignale, ermittelt in Abhängigkeit von diesen einen Zustand und die Echtheit des jeweiligen Wertdokuments und steuert in Abhängigkeit von dem Ergebnis die Weichen so an, daß die untersuchten Wertdokumente entsprechend ihrer ermittelten Echtheit den Ausgabefächern zugeführt werden.
  • Der optische Sensor 32 ist zur Erfassung von Bildern für drei Farben und IR-Strahlung ausgebildet
  • Im Beispiel ist er als Zeilensensor ausgebildet, der während des Vorbeitransports eines Wertdokuments an dem Sensor 32 vorbei eine Folge von Zeilenbildern umfaßt, die in einer Richtung quer zur Richtung der Zeile ein Zeilenbild des Wertdokuments ergeben. Er umfaßt im vorliegenden Beispiel, in den Fig. 2a und 2b nur extrem vereinfacht schematisch dargestellt, eine Beleuchtungseinrichtung 42 zur Beleuchtung eines quer zur Transportrichtung T verlaufenden Streifens in einer Transportebene E (in Fig. 2b parallel zur Zeichenebene) für das Wertdokument 12 bzw. in einer Ebene des Wertdokuments 12 mit konvergentem, weißem Licht während des Vorbeitransports des Wertdokuments über dessen gesamte Ausdehnung quer zur Transportrichtung T. Im Beispiel verfügt die Beleuchtungseinrichtung 42 über zwei Quellen für optische Strahlung.
  • Weiter umfaßt der Sensor 32 eine in dem von der Beleuchtungseinrichtung 42 abgegebenen Strahlenbündel angeordnete Erfassungseinrichtung 44. Als Erfassungseinrichtung 44 dienen im Beispiel vier Zeilenkameras 46, 46', 46", 46"' mit nicht gezeigten, im Strahlengang vor diesen angeordneten Rot-, Grün- und Blau- Filtern zur Erfassung von roten, grünen bzw. blauen Anteilen der von dem Wertdokument remittierten optischen Strahlung der Beleuchtungseinrichtung 38. Jede der Zeilenkameras verfügt über jeweils eine Detektorzeile mit zeilenförmig angeordneten Photodetektionselementen 48, vor denen jeweils der Filter angeordnet ist, der dem von der jeweiligen Zeilenkamera zu detektierenden Farbanteil der remittierten optischen Strahlung entspricht. Der Sensor 32 kann noch weitere optische Elemente, insbesondere zur Abbildung bzw. Fokussierung umfassen, die hier nicht gezeigt sind. Die Detektorzeilen von Photodetektionselementen sind parallel zueinander angeordnet. Darüber hinaus umfaßt der Sensor 32 eine in den Figuren nicht gezeigte Signalverarbeitungseinrichtung, die aus den Signalen der Photodetektionselemente ein digitales Bild erzeugt
  • Zur Erfassung eines Farbbildes eines Wertdokuments 12 wird dieses in Transportrichtung T an dem Sensor 32 mit konstanter Geschwindigkeit vorbeitransportiert, wobei in konstanten Zeitabständen mit den Zeilenkameras 46, 46' und 46" Intensitätsdaten orts- und farbaufgelöst erfaßt werden. Die Intensitätsdaten stellen Pixeldaten dar, die die Eigenschaften von Pixeln eines Zeilenbildes beschreiben, das den von dem Sensor 32 erfaßten zeilenförmigen Bereich des Wertdokuments 12 wiedergibt Durch Aneinandersetzen der Zeilenbilder entsprechend der zeitlichen Reihenfolge der Erfassung, d.h. entsprechende Zuordnung der Pixeldaten, wird dann ein digitales Gesamtbild des Wertdokuments mit Pixeln erhalten, denen jeweils Pixeldaten zugeordnet sind, die optische Eigenschaften des Wertdokuments, nämlich Farbwerte für Rot, Grün und Blau wiedergeben bzw. darstellen.
  • Ein von dem Sensor 32 erfaßtes digitales Bild setzt sich daher aus in einer Rechteckmatrix angeordneten Pixeln 50 zusammen und wird durch die Pixeldaten beschrieben. In der Veranschaulichung des Bildes eines Wertdokuments 12 in Fig. 3 sind der Übersichtlichkeit halber nur einige der Pixel 50 gezeigt, die zudem stark vergrößert gezeigt sind. Im Ausführungsbeispiel ist die Auflösung des Sensors 32 wenigstens so groß, daß ein Pixel einer Fläche von höchstens 0,3mm x 0,3 mm auf dem Wertdokument entspricht. Jedem der Pixel sind als Pixeldaten neben einer Nummer bzw. Zahl i, die die Lage in dem Bild wiedergibt, Farbwerte ri, gi, bi für Rot, Grün und Blau zugeordnet. In diesem Ausführungsbeispiel wird ein Sensor 32 verwendet, der die genannten Pixeldaten als Vektor in einem dreidimensionalen, geräteunabhängigen Farbraum, hier dem CIE-Lab-Farbraum darstellt.
  • Zur Prüfung der Wertdokumente ist in dem Speicher 40 in einem als Teil der Auswerteeinrichtung 34 dienenden Abschnitt und damit in diesem Beispiel in der Steuereinrichtung 30 ein Programm mit Programmcode gespeichert, der bei Ausführung durch die Auswerteeinrichtung 34, d.h. hier den Prozessor 38, die Schritte eines Verfahrens zur Untersuchung des optischen Zustands von Wertdokumenten durchführt, die in Fig. 4 schematisch veranschaulicht sind.
  • Zunächst wird in Schritt S10 ein digitales Bild eines Wertdokuments mittels des optischen Sensors 32 von der Auswerteeinrichtung 34 bzw. dem Prozessor 34 erfaßt, das Pixel umfaßt
  • Die Auswerteeinrichtung 34 ermittelt dann in Schritt S12 aus dem digitalen Bild den Typ des Wertdokuments, im Fall von Banknoten also beispielsweise die Denomination bzw. Stückelung und Währung, und die Lage und Orientierung des Wertdokuments, als beispielsweise Vorder- oder Rückseite der Banknote und aufrechte Orientierung oder nicht, und speichert entsprechende Werte.
  • In Schritt S14 sucht die Auswerteeinrichtung 34 dann in den Pixeln des digitalen Bildes Mengen von Fehlerpixeln, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Abweichung wenigstens einer vorgegebenen Pixeleigenschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und die keiner anderen Menge zugeordnet sind.
  • Die Auswerteeinrichtung 34 ermittelt darauf in Schritt S14 eine Anzahl beim Suchen gefundener Mengen und wenigstens einen Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen und speichert entsprechende Werte.
  • In Schritt S18 bildet die Auswerteeinrichtung 34 in Abhängigkeit von der ermittelten Anzahl und dem wenigstens einen Wert für die Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ein Signal, das eine Bewertung für den optischen Zustand des Wertdokuments darstellt, und speichert einen entsprechenden Zustandswert für den optischen Zustand.
  • Die Auswerteeinrichtung 34 ermittelt dann gemäß einem vorgegebenen Kriterium für den Gesamtzustand in Abhängigkeit von dem Signal bzw. dem gespeicherten Zustandswert und dem Signal des Ultraschallsensors 33 einen Wert für einen Gesamtzustand des Wertdokuments, den sie zur Ansteuerung der Transporteinrichtung 20 zur Verfügung stellt.
  • Fig. 5 zeigt genauer die Teilschritte des Schritts 14 in diesem Ausführungsbeispiel.
  • Bei der Durchführung des Schritts 14 prüft die Auswerteeinrichtung 34 unter anderen, ob ein Pixel das vorgegebene Abweichungskriterium erfüllt Im vorliegenden Ausführungsbeispiel ermittelt sie hierzu aus dem in Schritt S12 bestimmten Typ des Wertdokuments die Lage des erfaßten digitalen Bildes relativ zu einem für den Typ vorgegebenen Referenzbild für die in Schritt S12 ermittelte Lage und Orientierung des Wertdokuments. Das Referenzbild verfügt über dieselbe Auflösung bzw. Pixelanzahl wie das digitale Bild und die Pixeldaten für die Pixel des Referenzbildes umfassen Koordinaten in dem Farbraum des digitalen Bildes. Auf der Basis der relativen Lage des digitalen Bildes und des Referenzbildes kann die Auswerteeinrichtung 34 Pixel des digitalen Bildes entsprechenden Pixeln des Referenzbildes zuordnen.
  • Jedem Pixel des Referenzbildes ist in dem verwendeten Farbraum eine Farbreferenzverteilung zugeordnet. Die Auswerteeinrichtung kann nun pixelweise, d.h. für einander zugeordnete Pixel der beiden Bilder als Abweichungskriterium prüfen, ob die Pixeldaten außerhalb der Farbreferenzverteilung liegen. Ist dies der Fall, gilt das Abweichungskriterium als erfüllt, sonst nicht. Die Farbreferenzverteilung kann insbesondere durch einen von einer Referenzfläche umschlossenen Bereich des Farbraums gegeben sein. Insbesondere kann zur Ermittlung der Abweichung bzw. zur Prüfung des Abweichungskriteriums ein Verfahren verwendet werden, wie es in der WO 2008/058742 A1 beschrieben ist. Wird ein Pixel erkannt, dessen Pixeldaten das Abweichungskriterium erfüllen, wird es gekennzeichnet, indem wenigstens ein entsprechender Indikator gespeichert wird.
  • Weiter prüft die Auswerteeinrichtung 34, ob der Abstand zwischen einem Pixel und einem Fehlerpixel einen vorgegebenen Abstand nicht überschreitet. Bei dieser Prüfung wird als Längeneinheit die Länge der Seiten der Zellen des durch die Pixel gebildeten Quadratgitters verwendet. Als Abstand wird der Abstand der Mittelpunkte bzw. geometrischen Schwerpunkte der Zellen bzw. Pixel des Quadratgitters verwendet, deren Abstand zu ermitteln ist. Als vorgegebener Abstand wird im vorliegenden Ausführungsbeispiel ein Abstand von 5 Einheiten verwendet.
  • Zunächst sucht die Auswerteeinrichtung 34 in Schritt S14.2 unter den Pixeln des digitalen Bildes ein Pixel, das das vorgegebene Abweichungskriterium erfüllt, aber noch nicht einer Menge von Fehlerpixeln zugeordnet ist
  • In Schritt S14.3 wird geprüft, ob ein solches Pixel gefunden werden konnte. Hat die Auswerteeinrichtung 34 keines gefunden, wird der Schritt S14 beendet.
  • Andernfalls bildet die Auswerteeinrichtung 34 In Schritt S14.4 eine neue Menge, der sie das gefundene Pixel als aktuelles, d.h. zuletzt der Menge zugeordnetes Fehlerpixel zuordnet. Zur Zuordnung von Pixeln wird dem Pixel eine Zahl zugeordnet, die die gefundenen Mengen identifiziert.
  • In Schritt S14.5 sucht die Auswerteeinrichtung 34 dann unter denjenigen Pixeln des digitalen Bildes, die noch nicht einer Menge, also auch nicht der zuletzt gebildeten Menge, zugeordnet sind, ein Pixel, das das Abweichungskriterium erfüllt und dessen Abstand zu dem aktuellen, d.h. dem zuletzt der Menge zugeordneten Fehlerpixel den vorgegebenen Abstand nicht überschreitet.
  • Im vorliegenden Ausführungsbeispiel wird dazu das folgende Vorgehen verwendet, das in den Fig. 6 und 7 veranschaulicht ist.
  • Um systematisch und schnell Pixel suchen zu können, die deren Abstand zu dem aktuellen Fehlerpixel den vorgegebenen Abstand nicht übersteigt, wird in diesem Ausführungsbeispiel ein Suchliste von Pixeln verwendet, die durch das aktuelle, d.h. das zuletzt der Menge zugeordnete Fehlerpixel und eine vorgegebenen Liste bzw. Reihenfolge von zu untersuchenden Pixeln bestimmt ist.
  • Die vorgegebene Liste wird im vorliegenden Beispiel dadurch erhalten, daß iterativ auf einer Strecke 56 von dem zuletzt der Menge zugeordneten Fehlerpixel 58 mit der Länge des vorgegebenen Abstands in einer gegebenen Suchrichtung ausgehend von dem dem zuletzt zugeordneten Fehlerpixel nächstliegenden Pixel auf der Strecke nach weiteren Pixeln auf der Strecke mit zunehmenden Abständen gesucht wird, und wenn keine Pixel gefunden werden, die Suchrichtung und die Strecke in einer vorgegebenen Suchrichtung soweit gedreht werden, bis ein Pixel auf der gedrehten Strecke liegt und die Suchrichtung als neue gegebene Suchrichtung gewählt wird. Das Vorgehen ist in Fig. 6 und Fig. 7 veranschaulicht. Im vorliegenden Beispiel gilt ein Pixel als auf der Strecke liegend, wenn ein vorgegebener Referenzpunkt des Pixels auf der Strecke liegt. Es wird dabei eine geordnete Liste von Relativkoordinaten erstellt, die in der Reihenfolge des Auffindens die Koordinaten des jeweils gefundenen Pixels relativ zu dem Fehlerpixel darstellt. Zur besseren Veranschaulichung der Reihenfolge wird im Beispiel den Relativkoordinaten jeweils eine natürliche Zahl zugeordnet, die die Stellung in der Liste bzw. Reihenfolge darstellt. Im Beispiel ist die der Mittelpunkt bzw. der geometrische Schwerpunkt des Pixels. Ausgehend von einem zuletzt der Menge zugeordneten Fehlerpixel in der Mitte der gezeigten Ausschnitts wird zunächst entlang einer von dem Fehlerpixel ausgehenden Strecke, deren Länge der vorgegebene Abstand, im Beispiel der Länge 5, ist und die in einer beliebigen vorgegebenen Richtung, im Beispiel in Richtung einer Zeile der Pixelanordnung des Bildes, d.h. der x-Achse, nach Pixeln gesucht, die auf der Strecke und liegen und deren Abstand zu dem zuletzt der Menge zugeordneten Fehlerpixel den vorgegebenen Abstand nicht überschreitet. Es werden also Pixel in zunehmenden Abständen vom dem zuletzt gefundenen Fehlerpixel gesucht. In Fig. 6 sind dies die Pixel mit den Nummern 1 bis 6. Die gefundenen Pixel bzw. deren Relativkoordinaten und die diesen zugeordneten Nummern werden der Liste hinzugefügt. Werden auf der Strecke in der aktuellen Lage bzw. Richtung keine weiteren Pixel gefunden, werden die folgenden Teilschritte iterativ durchgeführt, bzw. wiederholt, bis alle Pixel in einer Kreisscheibe mit dem Radius des vorgegebenen Abstands um den Referenzpunkt des zuletzt der Menge zugeordneten Fehlerpixels gefunden wurden, bzw. die Richtung der Strecke nach dem Weiterdrehen wieder in der vorgegebenen Richtung liegt. In einem ersten Teilschritt wird die Strecke in einer vorgegebenen Drehrichtung, im Beispiel gegen den Uhrzeigersinn, solange gedreht, bis zum erstenmal wenigstens ein weiteres Pixel auf der Strecke liegt, dessen Relativkoordinaten mit einer entsprechenden Nummer der Liste hinzugefügt werden. Liegen nach der Drehung wenigstens zwei Pixel auf der Strecke wird zunächst das Pixel der Liste hinzugefügt, das dem zuletzt der Menge zugeordneten Fehlerpixel am nächsten ist In einem zweiten Teilschritt werden dann in Richtung zunehmender Abstände von dem zuletzt der Menge zugeordneten Fehlerpixel weitere Pixel auf der Strecke gesucht Werden solche gefunden, werden sie bzw. ihre Relativkoordinaten und eine Nummer entsprechend der Reihenfolge des Findens der Liste hinzugefügt. Werden auf der Strecke in der aktuellen Lage bzw. Richtung keine weiteren Pixel gefunden, wird der erste Teilschritt erneut durchgeführt. Die so gefundene Liste ist in dem Speicher der Auswerteeinrichtung gespeichert, um bei dem Verfahren verwendet zu werden. In Fig. 6 ist die Reihenfolge der Pixel für einen vorgegebenen Abstand von 5 auf einem Quadratgitter durch in den Pixeln angegebene Zahlen dargestellt, Fig. 6 zeigt den entsprechenden Wert
  • Aus der gespeicherten Liste ergibt sich die Suchliste der zu durchsuchenden Pixel dadurch, daß zu den Relativkoordinaten der gespeicherten Liste jeweils die Koordinaten des zuletzt der Menge zugeordneten Fehlerpixels addiert werden. Die Pixel der Suchliste, d.h. die Pixel, deren Koordinaten in dieser Suchliste enthalten sind, weisen konstruktionsgemäß einen Abstand zu dem zuletzt der Menge zugeordneten Fehlerpixel auf, der den vorgegebenen Abstand nicht überschreitet.
  • In Schritt 14.5 werden daher unter Verwendung der gespeicherten Liste die Pixel in der Reihenfolge der Liste bzw. der Suchliste durchsucht. Die Suchliste braucht dabei nicht unbedingt vorher erstellt zu werden, es genügt, daß die Koordinaten des als nächstes zu untersuchenden Pixels erst ermittelt werden, wenn die Prüfung des aktuellen Pixels abgeschlossen ist.
  • Die Pixel der Suchliste werden also in der Reihenfolge der Suchliste daraufhin überprüft, ob diese das Abweichungskriterium erfüllen und ob das Pixel noch nicht einer Menge zugeordnet wurde.
  • Wird in Schritt S14.6 ein solches Pixel gefunden, wird es in Schritt S14.7 der Menge als Fehlerpixel zugeordnet und als zuletzt der Menge zugeordnetes, d.h. aktuelles Fehlerpixel gesetzt.
  • Andernfalls setzt die Auswerteeinrichtung das Verfahren mit Schritt S14.2 fort.
  • Auf diese Weise werden durch Ausführung des beschriebenen Verfahrens Mengen von Fehlerpixeln gefunden, deren Fehlerpixel zu jeweils wenigstens einem anderen Fehlerpixel der Menge einen Abstand aufweisen, der den vorgegebenen Abstand nicht überschreitet, und die das Abweichungskriterium erfüllen.
  • Nach Beendigung des Schritt S14 ermittelt die Auswerteeinrichtung in Schritt S16 die Anzahl der in Schritt S14 gefundenen Mengen und einen Wert für wenigstens eine vorgegebene Eigenschaft wenigstens einer der Mengen, im Beispiel einen Wert für zwei vorgegebenen Eigenschaften aller gefundenen Mengen.
  • Im Beispiel wird für jede der gefundenen Mengen die Anzahl der Fehlerpixel und damit ein Maß für die Fläche mit Farbabweichungen entsprechend dem Abweichungskriterium ermittelt. Weiter wird für jede der Mengen der Quotient aus der Länge des Randes des durch Fehlerpixel gebildeten Gebiets bzw. der durch die Fehlerpixel gebildeten Gebiete und der Anzahl der Fehlerpixel gebildet. Zur Ermittlung des Randes werden Randfehlerpixel gesucht, d.h. Fehlerpixel, die wenigstens eine nächstbenachbartes Pixel aufweisen, das kein Fehlerpixel ist. Für jedes Randfehlerpixel werden dann zwei nächstbenachbarte Randfehlerpixel ermittelt und es wird zwischen dem Randfehlerpixel und den zwei nächstbenachbarten Randfehlerpixeln jeweils eine Linie gezogen. Die Länge des Randes ergibt sich aus der Summe der Linien für eine Menge.
  • In Abhängigkeit von der Anzahl und den Werten bildet die Auswerteeinrichtung in Schritt S18 ein Signal und speichert einen Zustandswert, das bzw. der den Zustand des Wertdokuments charakterisiert. Der Zustandswert wird insbesondere als Funktion der Anzahl der Mengen, der Anzahl der Pixel der Mengen, und der ermittelten Quotienten berechnet. Beispielsweise wird ein Zustandswert für einen guten Zustand, der eine weitere Benutzung bzw. einen weiteren Umlauf zuläßt, ermittelt, wenn die größte Anzahl der Pixel der Mengen kleiner als ein vorgegebener erster Schwellwert ist oder die größte Anzahl der Pixel der Mengen größer als der erste und kleiner als ein vorgegebener zweiter Schwellwert ist und der Quotient für die Menge größer als ein dritter und kleiner als ein vierter Schwellwert ist
  • Dies ist in den Figuren 8a und 8b veranschaulicht. Diese zeigen das Aussehen von zwei Wertdokumenten gleichen Typs mit unterschiedlichen Verschmutzungen. Ein Fleck 52 auf einem Wertdokument in Fig. 8a besitzt gemessen in Anzahl der Pixel dieselbe Fläche wie der gesprenkelte Fleck 54 auf dem Wertdokument desselben Typs in Fig. 8b. Verwendete man zur Bestimmung des Zustands nur die größte Menge von Fehlerpixeln, die unmittelbar benachbart sind, und ein Schwellwertkriterium für die maximale Anzahl der Fehlerpixel der Menge wäre je nach Schwellwert das Wertdokument in Fig. 8a nicht umlauffähig, das in Fig. 8b aber doch, da in diesem nur kleine Flecken erkannt würden. Im vorliegenden Beispiel ist aber bei Berücksichtigung des Quotienten eine differenziertere Aussage möglich, wenn die Schwellwerte entsprechend gewählt sind.
  • Ein zweites Ausführungsbeispiel unterscheidet sich von dem Ausführungsbeispiel nur dadurch, daß der in Fig. 4 veranschaulichte Schritt S14 durch einen in Fig. 9 veranschaulichten Schritt S14' ersetzt ist.
  • Der Schritt S14' wiederum unterscheidet sich von dem Schritt S14 nur darin, daß zum einen die Ermittlung der Pixel, die dem Abweichungskriterium genügen, in einem Schritt S14.1' zu Beginn des Schritts S14' durchgeführt wird, und als Folge hiervon der Schritt S14.2 durch den Schritt S14.2' und der Schritt S14.5 durch den Schritt S14.5' ersetzt sind.
  • Die anderen Schritte sind unverändert, so daß die Erläuterungen zu diesen bei dem ersten Ausführungsbeispiel verwiesen werden kann. Die Auswerteeinrichtung des zweiten Ausführungsbeispiels ist entsprechend gegenüber der Auswerteeinrichtung des ersten Ausführungsbeispiels modifiziert, die Vorrichtung einschließlich der Auswerteeinrichtung ansonsten jedoch unverändert.
  • In Schritt S14.1' wird systematisch für jedes Pixel des digitalen Bildes geprüft, ob dieses das im ersten Ausführungsbeispiel erwähnte Abweichungskriterium erfüllt. Ist dies der Fall, wird den Pixeldaten für das Pixel ein Indikator hinzugefügt, der anzeigt, daß das Pixel das Abweichungskriterium erfüllt.
  • Als Folge hiervon unterscheidet sich der Schritt S14.2' von dem Schritt S14.2 nur darin, daß bei der Suche nach einem noch keiner Menge zugeordneten Pixel, das das Anweichungskriterium erfüllt, das Kriterium selbst nicht mehr geprüft zu werden braucht, sondern bei der Suche nach dem Pixel nur geprüft wird, ob dessen Pixeldaten den Indikator enthalten.
  • Analog unterscheidet sich der Schritt S14.5' von dem Schritt S14.5 darin, daß bei der Suche nach Pixeln, die noch keiner Menge zugeordnet sind und das Abweichungskriterium erfüllen und dessen Abstand zu dem aktuellen Fehlerpixel den vorgegebenen Abstand nicht überschreitet, die Erfüllung des Abweichungskriteriums geprüft wird, indem nur geprüft wird, ob die Pixeldaten den Indikator enthalten.
  • Ein drittes und viertes Ausführungsbeispiel unterscheiden sich von dem ersten und zweiten Ausführungsbeispiel nur dadurch, daß bei der Suche nach Mengen von Fehlerpixeln zunächst Gruppen von Fehlerpixeln gesucht werden, deren Fehlerpixel zu wenigstens einem anderen Fehlerpixel unmittelbar benachbart sind; im vorliegenden Beispiel einer Anordnung rechteckiger Pixel, die ein Quadratgitter bilden, bedeutet dies, daß jedes Fehlerpixel an wenigstens ein anderes Fehlerpixel der Menge angrenzt Die anderen Schritte sind unverändert, so daß die Erläuterungen zu diesen im ersten Ausführungsbeispiel auch hier gelten. Die Auswerteeinrichtung ist dann entsprechend der Auswerteinrichtung im ersten und zweiten Ausführungsbeispiel modifiziert, die Vorrichtung einschließlich der Auswerteeinrichtung jeweils ansonsten unverändert.
  • Konkret ist im vierten Ausführungsbeispiel der Schritt S14' durch den Schritt S14" ersetzt, der in den Fig. 10a und 10b veranschaulicht ist
  • Zunächst führt die Auswerteeinrichtung den Schritt S14.1' wie im zweiten Ausführungsbeispiel durch.
  • Die Auswerteeinrichtung führt dann die Schritte S14.2" bis S14.4" aus, die wie die Schritte S14.2', S14.3 und S14.4 ausgeführt werden, außer daß statt der Mengen Gruppen gebildet werden. Allerdings wird in Schritt S14.3" in dem Fall, daß kein weiteres Pixel gefunden werden kann, der Schritt S14 nicht beendet, sondern mit Schritt S14.8" fortgesetzt.
  • Der Schritt S14.5" unterscheidet sich von dem Schritt S14.5' nur dadurch, daß die Auswerteeinrichtung nur nach das Abweichungskriterium erfüllenden Pixeln sucht, die zum einen noch nicht einer Gruppe statt einer Menge zugeordnet sind und zum anderen zu dem aktuellen Fehlerpixel unmittelbar benachbart sind, d.h. mit diesem eine gemeinsame Seite aufweisen.
  • Die Schritte S14.6" und S14.7" unterscheiden sich von den Schritten S14.6 und S14.7 nur dadurch, daß die Auswerteeinrichtung eine Zuordnung zu einer Gruppe statt einer Menge durchführt oder zu Schritt S14.2" bzw. Schritt S14.5" springt.
  • Wird in Schritt S14.3" kein weiteres Pixel gefunden, bildet die Auswerteeinrichtung in den folgenden Teilschritten des Schritts S14" aus den gefundenen Gruppen Mengen von Fehlerpixeln.
  • Zunächst sucht sie in Schritt S14.8" nach einer Gruppe, deren Fehlerpixel noch nicht einer Menge von Fehlerpixeln zugeordnet sind, wie sie im zweiten Ausführungsbeispiel bestimmt ist, also Fehlerpixeln, die das Abweichungskriterium erfüllen, keiner anderen Menge zugeordnet sind und deren Abstand zu wenigstens einem anderen Fehlerpixel derselben Menge den vorgegebenen Abstand nicht überschreitet.
  • Findet die Auswerteinrichtung in Schritt S14.9" keine solche Gruppe (mehr), beendet sie der Schritt S14".
  • Andernfalls bildet sie in Schritt S14.10" aus den Fehlerpixeln der Gruppe eine neue Menge analog zu Schritt S14.4.
  • In der folgenden Schleife sucht die Auswerteeinrichtung zunächst in Schritt S14.11" unter den gefundenen Gruppen, deren Fehlerpixel noch nicht einer Menge zugeordnet sind, eine, die die ein Fehlerpixel aufweist, dessen Abstand von wenigstens einem Fehlerpixel der Menge den vorgegebenen Abstand nicht überschreitet
  • Stellt die Auswerteeinrichtung in Schritt S14.12" fest, daß keine Gruppe gefunden wurde, springt sie zu Schritt S14.8" zurück.
  • Andernfalls ordnet sie in Schritt S14.13" die Fehlerpixel der gefundenen Gruppen der Menge zu.
  • In Schritt S14.11" kann es genügen, beim Suchen der Gruppe nur zu prüfen, ob unter deren Randpixel, d.h. Fehlerpixel, die wenigstens ein Nachbarpixel aufweisen, das kein Fehlerpixel ist, eines einen Abstand zu einem Randpixel der aktuellen Menge aufweist, der den vorgegebenen Abstand nicht überschreitet.
  • Ein fünftes Ausführungsbeispiel unterscheidet sich von dem ersten Ausführungsbeispiel dadurch, daß ein anderes Abweichungskriterium verwendet wird, ansonsten sind alle Schritte und Einrichtungen unverändert, so daß die Beschreibungen zu diesen unverändert auch hier gelten.
  • Das Abweichungskriterium hängt in diesem Ausführungsbeispiel zusätzlich von dem Abstand des Pixels von dem zuletzt der Menge zugeordneten Fehlerpixel ab.
  • Im Beispiel kann dazu der durch die Referenzfläche umschlossene Bereich mit zunehmendem Abstand verkleinert, d.h. mit einem Skalierungsfaktor kleiner als 1 skaliert, werden, wobei dessen Lage im Farbraum aber unverändert bleibt.
  • Beispielsweise kann der Skalierungsfaktor beginnend mit einem Wert 1 bei einem Abstand 1 linear auf einen Wert 0,75 bei einem Abstand von 5 abfallen.
    Bei der Prüfung, ob ein Pixel in der Referenzverteilung liegt, wird dann der durch den mit dem Skalierungsfaktor, der dem Abstand des Pixels von dem zuletzt der Menge zugeordneten Fehlerpixel zugeordnet ist, skalierte Bereich verwendet.
  • Dieses Vorgehen hat den Vorteil, daß ungleichmäßige Flecken, beispielsweise Kaffeeflecken auf einem Wertdokument leichter als ein großer Fleck erkannt werden. Bei einem konventionellen Verfahren würden unter Umständen zwei kleine, statt eines größeren Fleckens erkannt.

Claims (15)

  1. Verfahren zur Untersuchung des optischen Zustands eines Wertdokuments (12) auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments, wobei das digitale Bild Pixel (50) umfaßt,
    in den Pixeln (50) des digitalen Bildes Mengen von Fehlerpixeln gesucht werden, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Abweichung wenigstens einer vorgegebenen Pixeleigenschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und
    eine Anzahl beim Suchen gefundener Mengen und/oder ein Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ermittelt wird.
  2. Verfahren nach Anspruch 1, bei dem zum Suchen einer Menge von Fehlerpixeln Fehlerpixel derart der Menge zugeordnet werden, daß für ein bereits der Menge zugeordnetes Fehlerpixel ein nächstes Fehlerpixel gesucht wird, das das Abweichungskriterium erfüllt und das der Menge noch nicht zugeordnet ist und dessen Abstand zu dem bereits zugeordneten Pixel den vorgegebenen Abstand nicht überschreitet, und bei Auffinden eines nächsten Fehlerpixels dieses der Menge zugeordnet wird.
  3. Verfahren nach Anspruch 2, bei dem beim Suchen einer Menge das Suchen des nächsten Fehlerpixels und dessen Zuordnen wiederholt ausgeführt werden, wobei jeweils als das bereits der Menge zugeordnete Fehlerpixel das zuletzt der Menge zugeordnete Fehlerpixel verwendet wird.
  4. Verfahren nach Anspruch 3, bei dem zum Suchen des nächsten Fehlerpixels jeweils ein Fehlerpixel in einer Suchliste von Pixeln gesucht wird, die wenigstens durch das zuletzt der Menge zugeordnete Fehlerpixel und den vorgegebenen Abstand oder durch das zuletzt der Menge zugeordnete Fehlerpixel und eine vorgegebene Liste bestimmt ist.
  5. Verfahren nach einem der Ansprüche 2 bis 4, bei dem zum Suchen des nächsten Fehlerpixels bis zum Finden eines Fehlerpixels Pixel in einer Reihenfolge geprüft werden, die dadurch erhältlich ist, daß iterativ auf einer Strecke von dem zuletzt zugeordneten Fehlerpixel mit der Länge des vorgegebenen Abstands in einer gegebenen Suchrichtung ausgehend von dem dem zuletzt zugeordneten Fehlerpixel nächstliegenden Pixel auf der Geraden nach weiteren Pixeln auf der Geraden mit zunehmenden Abständen gesucht wird, und wenn keine Pixel gefunden werden, die Suchrichtung und die Gerade in einer vorgegebenen Suchrichtung soweit gedreht werden, bis ein Pixel auf der gedrehten Geraden liegt und die Suchrichtung als neue gegebene Suchrichtung gewählt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem beim Suchen der Mengen zunächst die Pixel (50) ermittelt werden, die das Abweichungskriterium erfüllen, und danach nur in diesen Pixeln die Mengen von Fehlerpixel gesucht werden.
  7. Verfahren nach einem der Ansprüche 1 bis 5, bei dem beim Suchen der Mengen ausgehend von einem Fehlerpixel einer Menge Pixel (50), deren Abstand zu dem Fehlerpixel den vorgegebenen Abstand nicht überschreiten, daraufhin überprüft werden, ob sie das Abweichungskriterium erfüllen.
  8. Verfahren nach Anspruch 7, bei dem das Abweichungskriterium von dem Abstand zwischen dem Fehlerpixel und dem geprüften Pixel abhängt.
  9. Verfahren nach Anspruch 1, bei dem zum Suchen einer Menge von Fehlerpixeln zunächst Gruppen von Fehlerpixeln gesucht werden, die jeweils Fehlerpixel umfassen, die das Abweichungskriterium erfüllten und die unmittelbar benachbart sind, bei dem geprüft wird, ob der Abstand wenigstens eines Fehlerpixels einer der Gruppen von wenigstens einem Fehlerpixel einer anderen der Gruppen, deren Fehlerpixel noch nicht einer Menge zugeordnet sind, den vorgegebenen Abstand nicht überschreitet, und wenn dies der Fall ist, die Fehlerpixel der beiden Gruppen derselben Menge zugeordnet werden.
  10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Anzahl und/oder der Wert zur Ermittlung eines den optischen Zustand darstellenden Wertes verwendet wird.
  11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als Eigenschaft der Menge eine Funktion der Anzahl an Fehlerpixeln der Menge und der Länge einer Linie durch die Fehlerpixel der Menge, die deren Rand bilden, verwendet wird.
  12. Verfahren zur Untersuchung des optischen Zustands eines Wertdokuments (12), bei dem
    ein digitales Bild wenigstens eines vorgegebenen Bereichs des Wertdokuments erfaßt wird, wobei das digitale Bild Pixel (50) umfaßt, und
    das Verfahren nach einem der vorhergehenden Ansprüche mit dem digitalen Bild durchgeführt wird.
  13. Auswerteeinrichtung zur Untersuchung des optischen Zustands eines Wertdokuments (12) auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments, wobei das digitale Bild Pixel (50) umfaßt, wobei die Auswertvorrichtung (34) eine Schnittstelle (36) zum Empfang eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments (12) aufweist und dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche 1-11 auf der Basis des mittels der Schnittstelle (36) empfangenen digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments (12) durchzuführen.
  14. Vorrichtung zur Untersuchung des optischen Zustands eines Wertdokuments (12), mit
    einem optischen Sensor (32) zur Erfassung eines digitalen Bildes wenigstens eines Bereichs des Wertdokuments (12), und
    einer Auswerteeinrichtung (34) nach Anspruch 13, deren Schnittstelle (36) über eine Signalverbindung mit dem Sensor (32) verbunden ist, so daß ein von dem Sensor (32) erfaßtes digitales Bild von der Auswerteeinrichtung (34) empfangbar ist.
  15. Computerlesbarer Datenträger mit Programmcode, der von einem Computer ausführbar ist, so daß der Computer ein Verfahren nach einem der Ansprüche 1 bis 11 ausführt.
EP11801614.6A 2010-12-21 2011-12-20 Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten Active EP2656327B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010055427A DE102010055427A1 (de) 2010-12-21 2010-12-21 Verfahren und Vorrichtung zur Untersuchung des optischen Zustandes von Wertdokumenten
PCT/EP2011/006452 WO2012084210A1 (de) 2010-12-21 2011-12-20 Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten

Publications (2)

Publication Number Publication Date
EP2656327A1 EP2656327A1 (de) 2013-10-30
EP2656327B1 true EP2656327B1 (de) 2018-05-16

Family

ID=45406661

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11801614.6A Active EP2656327B1 (de) 2010-12-21 2011-12-20 Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten

Country Status (4)

Country Link
US (1) US9547949B2 (de)
EP (1) EP2656327B1 (de)
DE (1) DE102010055427A1 (de)
WO (1) WO2012084210A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012016828A1 (de) * 2012-08-24 2014-02-27 Giesecke & Devrient Gmbh Verfahren und Vorrichtung zur Prüfung von Wertdokumenten
DE102014002273A1 (de) * 2014-02-19 2015-08-20 Giesecke & Devrient Gmbh Verfahren zum Untersuchen eines Wertdokuments und Mittel zur Durchführung des Verfahrens
CN111915792B (zh) * 2020-05-19 2022-06-07 武汉卓目科技有限公司 一种图像斑马线图文的识别方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8162125B1 (en) * 1996-05-29 2012-04-24 Cummins-Allison Corp. Apparatus and system for imaging currency bills and financial documents and method for using the same
WO2000026861A1 (en) * 1998-10-29 2000-05-11 De La Rue International Limited Method and system for recognition of currency by denomination
US6343204B1 (en) * 1999-08-25 2002-01-29 Hewlett-Packard Company Detection and deterrence of counterfeiting of documents with tokens characteristic color and spacing
GB0106817D0 (en) * 2001-03-19 2001-05-09 Rue De Int Ltd Monitoring method
US20030081826A1 (en) * 2001-10-29 2003-05-01 Tokyo Seimitsu (Israel) Ltd. Tilted scan for Die-to-Die and Cell-to-Cell detection
DE10335660A1 (de) * 2003-08-04 2005-03-17 Siemens Ag Erkennen und Zählen von farbigen Objekten
US20050100204A1 (en) 2003-11-06 2005-05-12 Spectra Systems Corporation Method and apparatus for detecting fluorescent particles contained in a substrate
AT502810B1 (de) * 2005-11-17 2007-06-15 Arc Seibersdorf Res Gmbh Verfahren zur optischen prüfung von gegenständen
US20070140551A1 (en) * 2005-12-16 2007-06-21 Chao He Banknote validation
US8103087B2 (en) * 2006-01-20 2012-01-24 Hitachi High-Technologies Corporation Fault inspection method
FR2916678B1 (fr) * 2007-06-01 2021-07-16 Advanced Track & Trace Procede et dispositif de securisation de documents
DE102006053788A1 (de) * 2006-11-15 2008-05-21 Giesecke & Devrient Gmbh Verfahren zur Erkennung von Verschmutzungen im Bereich von Farbübergängen auf Wertdokumenten und Mittel zur Durchführung des Verfahrens
JP5174513B2 (ja) * 2008-04-03 2013-04-03 グローリー株式会社 紙葉類の汚れ検出装置及び汚れ検出方法
US7995196B1 (en) * 2008-04-23 2011-08-09 Tracer Detection Technology Corp. Authentication method and system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
EP2656327A1 (de) 2013-10-30
US20130272598A1 (en) 2013-10-17
US9547949B2 (en) 2017-01-17
WO2012084210A1 (de) 2012-06-28
DE102010055427A1 (de) 2012-06-21

Similar Documents

Publication Publication Date Title
EP2095341B1 (de) Verfahren zur erkennung von verschmutzungen und/oder farbabnutzungen im bereich von farbübergängen auf wertdokumenten und mittel zur durchführung des verfahrens
DE102010055974A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Klassenreferenzdatensatzes für die Klassifizierung von Wertdokumenten
DE102010047948A1 (de) Verfahren zum Prüfen eines optischen Sicherheitsmerkmals eines Wertdokuments
EP3108461B1 (de) Verfahren zum untersuchen eines wertdokuments und mittel zur durchführung des verfahrens
EP2795589A1 (de) Verfahren und vorrichtung zur prüfung eines sicherheitsmerkmals eines wertdokuments
EP2656327B1 (de) Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten
EP3111426B1 (de) Verfahren zum ermitteln eines sortierergebnisses für ein wertdokument und mittel zur durchführung des verfahrens
DE102005028669A1 (de) Verfahren und Vorrichtung zur Erkennung einer in einen Münzprüfer eingegebenen Münze unter Verwendung ihres Prägebildes
WO2013045074A1 (de) Verfahren zum prüfen der herstellungsqualität eines optischen sicherheitsmerkmals eines wertdokuments
WO2011082792A1 (de) Verfahren zur prüfung von wertdokumenten
WO2015090560A1 (de) Verfahren und vorrichtung zur bearbeitung von wertdokumenten
EP3050032B1 (de) Verfahren zum prüfen eines wertdokuments mit einem polymersubstrat und einem durchsichtsfenster und mittel zur durchführung des verfahrens
EP2795592A1 (de) Verfahren und vorrichtung zur bestimmung von klassifizierungsparametern für die klassifizierung von banknoten
EP3563357B1 (de) Verfahren und vorrichtung zum detektieren eines sicherheitsfadens in einem wertdokument
EP3539091B1 (de) Vorrichtung und verfahren zur klassifizierung von wertdokumenten, insbesondere banknoten, sowie wertdokumentbearbeitungssystem
EP3563356B1 (de) Verfahren und vorrichtung zum detektieren eines sicherheitsfadens in einem wertdokument
DE102008049877A1 (de) Verfahren zum Auswerten von Korrelationsspektroskopiemessdaten
WO2011082793A1 (de) Verfahren zur prüfung von wertdokumenten
DE102012025417A1 (de) Verfahren zur Erkennung von Individualkennungen, insbesondere Seriennummern, auf Wertdokumenten und Mittel zur Durchführung des Verfahrens
WO2014029476A1 (de) Verfahren und vorrichtung zur prüfung von wertdokumenten
EP4205091A1 (de) Vorrichtung zum erzeugen einer digitalen kennung von einem mindestens ein druckbild aufweisenden exemplar eines druckerzeugnisses, smartphone oder tablet mit dieser vorrichtung und verfahren zur verwendung dieser vorrichtung
DE102010056540A1 (de) Verfahren und Vorrichtung zur Bearbeitung von Wertdokumenten
EP1591961A1 (de) Feststellen der Nutzbarkeit von Fernerkundungsdaten

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130722

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160819

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: GIESECKE+DEVRIENT CURRENCY TECHNOLOGY GMBH

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20171205

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1000239

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180615

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502011014199

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180816

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180816

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180817

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502011014199

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20190219

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181220

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20181231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181220

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20111220

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180916

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20201222

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20201217

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20201231

Year of fee payment: 10

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502011014199

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MM

Effective date: 20220101

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20211220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211220

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220701

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230520

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20231214

Year of fee payment: 13