EP2656327A1 - Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten - Google Patents

Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten

Info

Publication number
EP2656327A1
EP2656327A1 EP11801614.6A EP11801614A EP2656327A1 EP 2656327 A1 EP2656327 A1 EP 2656327A1 EP 11801614 A EP11801614 A EP 11801614A EP 2656327 A1 EP2656327 A1 EP 2656327A1
Authority
EP
European Patent Office
Prior art keywords
pixels
error
pixel
digital image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP11801614.6A
Other languages
English (en)
French (fr)
Other versions
EP2656327B1 (de
Inventor
Norbert Holl
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giesecke and Devrient Currency Technology GmbH
Original Assignee
Giesecke and Devrient GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giesecke and Devrient GmbH filed Critical Giesecke and Devrient GmbH
Publication of EP2656327A1 publication Critical patent/EP2656327A1/de
Application granted granted Critical
Publication of EP2656327B1 publication Critical patent/EP2656327B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/003—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/005—Testing security markings invisible to the naked eye, e.g. verifying thickened lines or unobtrusive markings or alterations
    • G07D7/0054—Testing security markings invisible to the naked eye, e.g. verifying thickened lines or unobtrusive markings or alterations involving markings the properties of which are altered from original properties
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/2008—Testing patterns thereon using pre-processing, e.g. de-blurring, averaging, normalisation or rotation

Definitions

  • the present invention relates to a method for examining the optical state of value documents, an evaluation device for carrying out the method and a device for carrying out the method.
  • Value documents are understood leaf-shaped objects that represent, for example, a monetary value or an authorization and should therefore not be produced by unauthorized persons. They therefore have features which are not easy to manufacture, in particular to be copied, whose presence is an indication of the authenticity, i. the manufacture by an authorized agency.
  • Important examples of such value documents are chip cards, coupons, vouchers, checks and in particular banknotes.
  • Value documents often have an optical design specific to the particular type of value documents, i. a specific look, which may or may not include security features.
  • the optical design can be given for example by a printed image on the value document.
  • the printed image can be a printed image in the region of the optical radiation or the optical wavelength range, which is understood below to mean infrared radiation, ultraviolet radiation and radiation in the visible wavelength range.
  • the optical design in particular the print image, may deviate from the given design, for example because the value document has been contaminated by use or manipulation.
  • the nature and extent of the deviations in the optical design essentially determine the optical state of a value document. which, in turn, represents an essential aspect of the overall state of a value document. In particular, the state of the value document can determine whether a value document can still be used as such, that is, whether it is fit for circulation or not.
  • the deviations in particular in the printed image, for example, depending on the nature and extent, may impair or even preclude the recognition of the value or the authenticity of a value document.
  • the object is achieved by a method for examining the optical state of a value document on the basis of a digital image of at least one predetermined region of the value document, wherein the digital image comprises pixels in which pixels of the digital image are searched for sets of error pixels, respectively Given that the error pixels meet a predetermined deviation criterion for an impermissible deviation of at least one predetermined pixel property and the distance of each error pixel of the respective amount to at least one other error pixel of the same amount does not exceed a predetermined distance which is greater than the distance immediately adjacent Pixels of the digital image, and a number in searching found quantities and / or a value for at least one property of at least one of the amounts found during the search is determined. Then, a signal representing the number or the value may be output, and / or the number or the value may be stored in a memory device.
  • the object is further achieved by an evaluation device for examining the optical state of a value document on the basis of a digital image of at least one predetermined region of the value document, wherein the digital image comprises pixels, the evaluation device having an interface for receiving a digital image of at least one predetermined value Having area of the value document and is adapted to perform a method according to the invention on the basis of the digital image received by means of the Sdinittstelle at least one predetermined area of the value document.
  • the evaluation device is configured to search in the pixels of the digital image received by the interface quantities of error pixels, which are given by the fact that the error pixels meet a predetermined deviation criterion for an impermissible deviation of at least one predetermined Pixelei- genschaft and the distance each Error pixels of the respective amount to at least one other error pixel of the same amount does not exceed a predetermined distance, which is greater than the distance of immediately adjacent pixels of the digital image, and a number looking for found quantities and / or a value for at least one property of at least one to determine the quantities found during the search. Further, it may be configured to then issue a signal representing the number or value and / or to store the number or value.
  • the object is further achieved by a device for examining the optical state of a document of value, having an optical sensor for detecting a digital image of at least one region of the document of value, and an evaluation device according to the invention, the interface of which is connected via a signal connection to the sensor, so that a detected by the sensor digital image of the evaluation device is receivable.
  • Another object of the invention is a method for examining the optical state of a document of value, wherein by means of an optical sensor, a digital image of at least a predetermined portion of the document of value is detected, wherein the digital image comprises pixels, and the above-mentioned inventive method with the digital image is carried out.
  • the starting point of the solution mentioned are therefore digital images of at least one predetermined region of a value document.
  • the area can be predetermined as desired, for example it can comprise the entire value document or only areas which are predetermined as relevant for the assessment of the state. In the latter case, the range for each type of document of value, for banknotes in particular for each denomination or denomination can be specified.
  • the digital image is detected by an optical sensor which detects spatially resolved characteristics of optical radiation emanating from the document of value, optionally filtered by the sensor, producing signals representing the detected property associated with the locations.
  • the digital image comprises, in a known manner, pixels each corresponding to the resolution of the
  • the optical sensor used in the present invention correspond to an extended pixel on the document of value and to which pixel data are reproduced, the properties of the pixels, in particular properties of the optical radiation emanating from the respective pixel and thus, given illumination, optical properties of the region of the document of value.
  • the digital image of the sensor may, but need not, be preprocessed prior to use for the method, for example, corrections of the image's characteristics, such as colors, or filtering, in particular a low-pass filter, for example, by averaging over a pixel and its nearest neighboring pixels. This can be done by a corresponding device of the sensor or by the evaluation.
  • the resulting digital image is then used to perform the method.
  • the evaluation device can be used, which has the interface for receiving the digital image and is designed to carry out the method according to the invention with the digital image received by means of the interface.
  • the interface may include hardware and / or software components.
  • a computer may be used with at least one processor, which may be part of the evaluation device in particular.
  • a processor will be understood to mean a suitable controller, an FPG A, a signal processor or a general-purpose processor or a combination of at least two of these elements.
  • a memory which is connected to the at least one processor and possibly integrated therein may be provided in which instructions of a computer program are stored, in the execution of which the method according to the invention is carried out.
  • quantities of error pixels are searched for under the pixels of the digital image by means of the processor. Error pixels are those pixels of the digital image which fulfill the predetermined deviation criterion, which determines when a deviation of the at least one given pixel property from a predetermined value is to be regarded as inadmissible.
  • the deviation criterion can be given, for example, by checking whether the pixel data for one or more pixels of a given evaluation range deviates from a reference distribution for permissible pixel data predetermined for the pixel or pixels depending on the value document type, according to a predetermined criterion, for example, outside the reference distribution.
  • a predetermined criterion for example, outside the reference distribution.
  • WO 2008/058742 AI is described, the entire contents of which are hereby incorporated by reference into the description. It is also possible to compare the digital image with a reference image for the value document type and, after an alignment of the images, determine pixel by pixel the deviations of the pixel data of the digital image and the reference image and to check a predetermined criterion for a maximum permissible deviation. In the case of color images, for example, the deviation may be given by a distance or a square of a distance.
  • the amounts of error pixels are characterized in that the distance of each error pixel of the respective quantity to at least one other error pixel of the same quantity does not exceed a predetermined distance which is greater than the distance of immediately adjacent pixels of the digital one Image.
  • immediately adjacent pixels are meant pixels that touch each other at least at one point; in the case of pixels arranged on a square grid, therefore, for a given pixel, the next eight pixels for this next pixel are the immediately adjacent pixels.
  • the distance between two pixels is understood to mean the distance of the geometric center of gravity of the pixels. Due to this property of the sets, an error pixel can only belong to a single set or, in other words, be assigned only to this single set.
  • the error pixels of a set do not necessarily form a contiguous area in the image, but may be given by nearby adjacent areas.
  • the predetermined distance it is determined how far the areas may be apart from each other to belong to the same amount.
  • the distance expressed in units of the smallest distance of immediately adjacent pixels, is between 2 and 10, preferably 3 and 6.
  • the deviation criterion and the predetermined distance no quantities, only a quantity or even several quantities can be used Searches are found.
  • the number of sets found during the search is then determined and / or a value for at least one property of at least one of the quantities found during the search is determined.
  • a differentiated statement about the optical state of the value document is possible.
  • irregularly distributed spots for example sprayed drops, can be easily detected.
  • pixel errors occurring in sensors of very high spatial resolution have less of an effect on the state examination.
  • a signal representing it can be output, or a corresponding value can be stored, which can be done in the memory or in another memory device.
  • results i. the number and / or the value can either be used alone to characterize the overall state or used to determine an overall state in which further parameters are received.
  • error pixels may be assigned to the set such that a next error pixel which satisfies the deviation criterion and which is not yet assigned to the set and whose distance is searched for an error pixel already assigned to the set to the already assigned pixel does not exceed the predetermined distance, and when finding such a next error pixel this is assigned to the amount.
  • the evaluation device can be designed in such a way that error pixels are assigned to the quantity in such a way that an error pixel already assigned to the quantity is searched for a next error pixel which satisfies the deviation criterion and which is not yet assigned to the quantity and whose distance from the already assigned pixel does not exceed the predetermined distance, and when such a next error pixel is found, it is assigned to the quantity.
  • An advantage of this approach is that it allows a quick location of the quantities sought.
  • the search for the next error pixel and its assignment can be carried out repeatedly, with the error pixel last assigned to the set being used in each case as the error pixel already assigned to the set.
  • the evaluation device is then designed to repeat the search for the next error pixel and its assignment when searching for a set, with the error pixel last assigned to the set being used as the error pixel already assigned to the set. This procedure offers the advantage that the quantities can be determined easily and quickly.
  • the error pixels can be searched arbitrarily. However, it is preferred in the method that in order to search for the next error pixel, a respective error pixel in a search list of pixels is searched for, at least by the last error pixel associated with the set and the predetermined distance or by the last error pixel associated with the set and a predetermined list is determined.
  • the evaluation device may preferably be designed such that in each case one error pixel in a search list of pixels is searched for searching the next error pixel, at least by the error pixel last allocated to the set and the predetermined distance or by the error pixel last assigned to the set and a predetermined error pixel List is determined. This embodiment offers the advantage that only a list of pixels needs to be searched, but a distance calculation is not required.
  • the search list and / or the list given in dependence on the predetermined distance is determined so that this contains depending on the embodiment all pixels or only all the deviation criterion-fulfilling pixels within the predetermined distance
  • the search list only needs to be traversed until, until an error pixel is found.
  • the search list can be determined in particular by the fact that the predetermined list indicates only the position relative to a pixel, and the search list is determined by converting the predetermined list to the position of the last associated error pixel.
  • error pixels are searched for along a search beam starting from the error pixel last assigned to the set and rotated stepwise in a predetermined direction of rotation.
  • the evaluation device is then preferably configured such that, in order to search for the next error pixel, error pixels along a search beam starting from the last assigned error pixel and progressively rotated in a predetermined direction of rotation are searched for.
  • the search beam is an imaginary path in a plane in which pixels are arranged ; it begins in the error pixel assigned last to the set or starts from it, for example its geometric center of gravity, and can preferably have the length of the predetermined distance.
  • the search beam may have an arbitrarily predetermined initial direction, with an arrangement of the pixels in a square matrix, for example along one of the lines.
  • the search between the rotations can be searched either always in the order of increasing distance from the last assigned error pixel, or always in the order of decreasing distance from the last assigned error pixel, or alternately in the order of increasing distance and decreasing distance.
  • This method makes it possible to find error pixels in a particularly efficient way and assign them to a set, since even in unfavorable constellations only a few distances are to be determined.
  • this type of search covers all pixels whose distance from the last assigned error pixel does not exceed the predetermined distance If a search list is used to search, it may be selected to search the pixels in the order corresponding to the order described in the last paragraph.
  • the method according to the invention includes the examination of the deviation criterion and, on the other hand, the check as to whether the distance between two error pixels falls below the predetermined distance.
  • these examinations can be carried out arbitrarily.
  • the pixels that satisfy the deviation criterion may first be determined, and then these pixels may be assigned to the sets as error pixels.
  • the evaluation device can then be designed so that the pixels that satisfy the deviation criterion are first determined when searching for the quantities, and then these pixels can be assigned to the quantities as error pixels. This method is particularly advantageous if the examination of the deviation criterion can be carried out quickly in comparison to the examination of the distance between two pixels.
  • the evaluation device can preferably be further designed such that, when searching for the quantities starting from an error pixel of a set of pixels whose distance from the error pixel does not exceed the predetermined distance, they are then checked as to whether they satisfy the deviation criterion. This procedure It is advantageous, inter alia, if checking the deviation criterion is not very fast
  • Another advantage of the embodiment is that the following preferred development can be easily realized. This provides that in the method the deviation criterion depends on the distance between the error pixel and the pixel currently being tested. The evaluation device is then designed so that the deviation criterion depends on the distance between the error pixel and the currently tested pixel.
  • the method it is preferred that, to find a set of error pixels, first search for groups of error pixels each comprising error pixels that satisfied the deviation criterion and which are immediately adjacent to the method for checking whether the distance is at least of an error pixel of one of the groups of at least one error pixel of another of the groups whose error pixels are not yet assigned to a set, does not exceed the predetermined distance, and if so, the error pixels of the two groups are assigned to the same set.
  • the evaluation device can preferably be further configured to first search for groups of defect pixels, each comprising defect pixels that met the deviation criterion and which are immediately adjacent, in order to check whether the distance is at least of an error pixel of one of the groups of at least one error pixel of another of the groups whose error pixels are not yet assigned to a set, does not exceed the predetermined distance, and if so, the error pixels of the two groups are assigned to the same set.
  • This embodiment is particularly suitable for cases where large groups immediately adjacent error pixels are present.
  • it is also preferred that in the method when searching for the quantities first the pixels are determined which satisfy the deviation criterion, and then these pixels are first assigned to the groups as error pixels. This procedure can considerably accelerate the identification of the groups.
  • the determined number and / or the determined value for at least one property of at least one of the amounts found during the search can preferably be used to determine a value representing the optical state.
  • the evaluation device can then preferably be designed to determine a value representing the optical state using the determined number and / or the determined value for at least one property of at least one of the amounts found during the search.
  • the amount of their number of defect pixels can be used as properties of the set.
  • the evaluation device can be designed accordingly.
  • the method uses as a property of the set a function of the number of error pixels of the set and the length of a line through the error pixels of the set forming its edge.
  • the evaluation device can then be designed to be a function of the number as a property of the quantity
  • the inventive method can be carried out for each value document to be sorted, wherein depending on the determined optical state, preferably in dependence on an overall state determined using the optical state, the value document in one for the determined optical State or overall state provided recording is transported.
  • the invention is therefore an apparatus for processing, in particular sorting, value documents, with a device according to the invention for the examination of documents of value and a Trarisport raised for transporting isolated documents of value to the examination device over, which is designed, depending on signals of the examination device value documents as a function of the optical state, preferably a total state determined as a function of the optical state, of transporting a device provided for value documents predetermined optical state or overall state recording of the device.
  • the invention further provides a computer-readable data carrier with program code that can be executed by a computer, so that the computer carries out a method according to the invention.
  • FIG. 1 shows a schematic representation of a value-document processing device in the form of a banknote sorting device
  • FIG. 2a, b are schematic representations of an optical sensor of the device in Fig. 1 in the transport direction of a value document and in Bkckraum to a transport level, in which documents of value are transported past this,
  • FIG. 3 shows a schematic representation of a digital image of a value document and of a few pixels of the image
  • FIG. 4 shows a flow chart for a first method for examining a state of a value document by means of the device in FIG. 1, FIG.
  • FIG. 5 is a flow chart for a search of sets of error pixels in a step S14 of the method in FIG. 4, FIG.
  • Fig. 6 is a schematic representation of a portion of a digital image to
  • FIG. 7 is a schematic representation of the portion of the digital image in FIG.
  • FIG. 9 is a flowchart for searching sets of error pixels in a step S14 'of a second method for examining a state of a value document by means of the apparatus in FIG
  • 10a, b show a flow chart for a search of sets of defect pixels in a step S14 "of a fourth method for investigating a number of defect pixels. state of a value document by means of the device in FIG. 1.
  • a device 10 for processing value documents 12, in the example a banknote processing device, in FIG. 1 is used inter alia for checking the authenticity and the overall state of value documents 12 in the form of banknotes and for sorting depending on the result of the authenticity and overall condition check.
  • the apparatus 10 has an input area 14, in the example an input pocket, for input of value documents 12 to be processed, a separator 16, which can access value documents 12 in the input compartment 14 in order to separate them, and one leading to an output device 18 Transport device 20 for transporting documents of value separated from the singler 16 along a transport path 22 to the output device 18.
  • the output device 18 has at least two, in this example three, output areas 24, 24 'and 24 ", in the example stacking compartments for optional transport
  • the transport direction 20 includes points arranged successively along the transport path 22, in the example two points 26 and 26 ', so that value documents can optionally be fed to one of the output areas by actuation of the points after the verzeier 16 and v
  • a sensor arrangement 28, which serves to detect the characteristics of individually supplied value documents 12 and to form sensor signals representing the properties, is arranged on the switches.
  • a control device 30 is at least connected to the sensor arrangement 28 and the switches 26 and 26 'via signal connections and is used to evaluate sensor signals of the sensor arrangement 28, in particular for checking the authenticity and the state of value documents, and for controlling at least the switches 26 and 26'. depending on the Result of the evaluation of the sensor signals, ie in particular the results of the test for authenticity and condition.
  • the sensor arrangement 24 comprises at least one sensor;
  • an optical sensor 32 for the spatially resolved detection of color properties and ER properties is provided, which detects optical radiation remitted by the value document.
  • the sensor arrangement 28 has an optional further sensor 33 for detecting ultrasonic properties of a value document transported past it.
  • the sensor 33 is used to test a value document on whether an adhesive strip is recognizable on it.
  • the sensor 33 outputs a signal to the control device 30 for each value document detected by it, which represents whether an adhesive strip has been recognized or not.
  • the optical sensor 32 acquires an overall digital image of the value document in four spectral ranges corresponding to the three color channels red, green and blue and in the infrared spectral range (IR channel), which is represented by corresponding sensor signals.
  • the overall digital image captured by the optical sensor 32 includes pixels whose characteristics are given by pixel data relevant to checking the bills for their optical state and authenticity.
  • control device 30 For evaluating the sensor signals, the control device 30 has an evaluation device 34, which in the example is incorporated into the control device 30. is tegriert, in other embodiments, but also part of the sensor assembly 28 itself may be.
  • the control device 30 has, in addition to corresponding interfaces 36 for the sensor 32 for receiving the digital image detected by this and the sensor 33 via a processor connected to the interfaces 34 and a processor 38 connected to the memory 40, in which at least one computer program with program code In its execution, the processor 38, in a first function as part of the evaluation device 34, evaluates the sensor signals, in particular for checking the authenticity and the determination of an optical state and on the basis of a total state of a checked value document, and among other things The method described below is carried out using the sensor signals or the pixel data.
  • the evaluation device 34 also includes the interfaces 36. In a second function, the processor controls the device or, according to the evaluation, the transport device 20. The evaluation device 34 therefore forms a computer in the sense of the present invention.
  • the evaluation device 34 checks for each value document detected by the sensor arrangement 28 by means of the processor 38 on the basis of the digital image of the value document at least one predetermined criterion for the authenticity of the value document. Furthermore, the evaluation device 34 examines the optical state of the value document on the basis of the digital image, and determines a state value which represents the optical state of the value document. The evaluation device 34 then uses the state value and the signal of the ultrasonic sensor 33 to determine, according to a predetermined criterion, a total state value representing an overall state of the value document.
  • the control device 30, in particular the processor 38 controls the transport device 20, more precisely the points, so that the checked value document is transported to corresponding output areas for storage in accordance with its ascertained authenticity and overall state.
  • the control device 30 controls the transport device 20, more precisely the points, so that the checked value document is transported to corresponding output areas for storage in accordance with its ascertained authenticity and overall state.
  • a value document capable of being used for further use can be included in the area 24 "and recognized as genuine, but not for further use appropriate value documents in the area 24 "output.
  • For processing documents of value 12 are separated into the input tray 14 as a stack or individually inserted value documents 12 of the verzeier 16 and occasionally fed to the transport device 18, which supplies the isolated value documents 12 of the sensor assembly 24.
  • This captures optical properties of the value documents 12, in the example the color image with additional IR channel, and forms a digital image whose pixels represent the corresponding properties of the value document. Further, it detects the ultrasonic properties.
  • the control device 30 detects the sensor signals, determined in dependence on these a state and the authenticity of the respective value document and controls depending on the result, the switches so that the examined value documents are fed according to their detected authenticity of the output compartments.
  • the optical sensor 32 is designed to acquire images for three colors and ⁇ radiation
  • it is designed as a line sensor which, during the transport of a value document past the sensor 32, comprises a sequence of line images which produce a line image of the value document in a direction transverse to the direction of the line.
  • a lighting device 42 for illuminating a transversely to the transport direction T extending strip in a transport plane E (in Fig. 2b parallel to the plane) for the document of value 12 and in a plane of the value document 12 with convergent, white light during the passage of the value document over its entire extent transversely to the transport direction T.
  • the illumination device 42 has two sources of optical radiation.
  • the senor 32 comprises a detection device 44 arranged in the radiation beam emitted by the illumination device 42.
  • a detection device 44 arranged in the radiation beam emitted by the illumination device 42.
  • Each of the line scan cameras has a respective detector row with cell-shaped photodetection elements 48, in front of which the filter is arranged. which corresponds to the color fraction of the remitted optical radiation to be detected by the respective line scan camera.
  • the sensor 32 may include further optical elements, in particular for imaging or focusing, which are not shown here.
  • the detector lines of photodetection elements are arranged parallel to each other.
  • the sensor 32 comprises a signal processing device, not shown in the figures, which generates a digital image from the signals of the photo-detection elements In order to acquire a color image of a value document 12, it is conveyed past the sensor 32 at constant speed in the transport direction T.
  • Intensity data are recorded at constant time intervals with the line scan cameras 46, 46 'and 46 "in a spatially resolved and color-resolved manner Describing the properties of pixels of a line image representing the cell-shaped area of the value document 12 detected by the sensor 32
  • a digital overall image of the value document with pixels is then obtained each of which is associated with pixel data representing optical properties of the value document, namely, red, green and blue color values. Therefore, a digital image captured by the sensor 32 is composed of pixels 50 arranged in a rectangular matrix and becomes described by the pixel data.
  • the resolution of the sensor 32 is at least so great that a pixel corresponds to an area of at most 0.3 mm ⁇ 0.3 mm on the value document.
  • Each of the pixels is associated with pixel values ri, gi, bi for red, green and blue as pixel data next to a number i representing the position in the image.
  • a sensor 32 is used, which represents the said pixel data as a vector in a three-dimensional, device-independent color space, here the CIE-Lab color space.
  • a program is stored with program code which, when executed by the evaluation device 34, ie here the processor 38, performs the steps of a method for examining the optical state of value documents, which are illustrated schematically in FIG.
  • step S10 a digital image of a value document is detected by means of the optical sensor 32 from the evaluation device 34 or the processor 34, which comprises pixels.
  • the evaluation device 34 determines from the digital image the type of the value document in the case of banknotes, for example the denomination or denomination and currency, and the position and orientation of the value document, for example the front or back of the banknote and upright orientation or not, and store corresponding values.
  • step S14 the evaluator 34 then searches in the pixels of the digital image sets of error pixels respectively given by the error pixels satisfying a predetermined deviation criterion for undue deviation of at least one predetermined pixel property and the distance of each error pixel of the respective set to at least one other error pixels of the same amount does not exceed a predetermined distance that is greater than the distance of immediately adjacent pixels of the digital image, and that are not associated with any other set.
  • the evaluation device 34 determines thereon in step S14 a number of search found quantities and at least one value for at least one Property of at least one of the amounts found during the search and stores corresponding values.
  • step S18 the evaluation device 34, depending on the determined number and the at least one value for the property of at least one of the amounts found in the search, forms a signal representing an evaluation for the optical state of the value document and stores a corresponding state value for the optical document Status.
  • the evaluation device 34 determines, in accordance with a predetermined criterion for the overall state as a function of the signal or the stored state value and the signal of the ultrasonic sensor 33, a value for an overall state of the value document which it makes available for controlling the transport device 20.
  • Fig. 5 shows in greater detail the substeps of step 14 in this embodiment.
  • the evaluator 34 examines, among other things, whether a pixel satisfies the predetermined deviation criterion. For this purpose, in the present exemplary embodiment, it determines from the type of the value document determined in step S12 the position of the detected digital image relative to a reference image specified for the type for the position and orientation of the value document determined in step S12.
  • the reference image has the same resolution or pixel number as the digital image, and the pixel data for the pixels of the reference image include coordinates in the color space of the digital image.
  • the evaluation device 34 can assign 34 pixels of the digital image corresponding pixels of the reference image. Each pixel of the reference image is assigned a color reference distribution in the color space used.
  • the evaluation device can now check pixel by pixel, ie pixels of the two images assigned to one another, as a deviation criterion as to whether the pixel data lies outside the color reference distribution. If this is the case, the deviation criterion is considered fulfilled, otherwise not.
  • the color reference distribution can in particular be given by a region of the color space enclosed by a reference surface.
  • a method can be used to determine the deviation or to check the deviation criterion, as described in the
  • WO 2008/058742 AI is described, the entire contents of which are hereby incorporated by reference into the description. If a pixel is detected whose pixel data meets the deviation criterion, it is identified by storing at least one corresponding indicator.
  • the evaluation device 34 checks whether the distance between a pixel and an error pixel does not exceed a predetermined distance.
  • the length unit is the length of the sides of the cells of the square grid formed by the pixels.
  • the distance used is the distance of the centers or geometric centroids of the cells or pixels of the square grid whose distance is to be determined.
  • a predetermined distance a distance of 5 units is used in the present embodiment.
  • the evaluation device 34 searches in step S14.2 among the pixels of the digital image, a pixel that meets the predetermined deviation criterion, but is not yet associated with a set of error pixels In step S14.3, it is checked if such a pixel could be found. If the evaluation device 34 has not found one, the step S14 is ended.
  • the evaluation device 34 forms a new set in step S14.4, to which it assigns the found pixel as a current error pixel, ie, last assigned to the set. To associate pixels, the pixel is assigned a number that identifies the quantities found.
  • the evaluation device 34 searches among those pixels of the digital image that are not yet assigned to a set, that is also not the last set, a pixel that fulfills the deviation criterion and whose distance from the current, ie last error pixel assigned to the set does not exceed the predetermined distance.
  • a search list of pixels represented by the current i. the last of the set associated error pixels and a predetermined list or order of pixels to be examined is determined.
  • the given list is obtained in the present example by iteratively on a path 56 from the last of the set associated error pixel 58 with the length of the predetermined distance in a given Searching direction is searched starting from the nearest pixel to the last associated error pixel on the route to further pixels on the route with increasing distances, and if no pixels are found, the search direction and the distance are rotated in a given search direction until a pixel is on the rotated track and the search direction is chosen as a new given search direction.
  • the procedure is illustrated in FIGS. 6 and 7. In this example, a pixel is considered to be on. lying the track when a given reference point of the pixel is on the track.
  • An ordered list of relative coordinates is thereby created which, in the order of finding, represents the coordinates of the respectively found pixel relative to the error pixel.
  • the relative coordinates are respectively assigned a natural number which represents the position in the list or sequence. In the example, this is the center or geometric center of gravity of the pixel.
  • the following sub-steps are carried out iteratively, or repeated, until all pixels in a circular disk with the radius of the specified distance were found to the reference point of the last of the set associated error pixel, or the direction of the distance after further rotation is again in the predetermined direction.
  • the distance is rotated in a predetermined direction of rotation, in the example counterclockwise, until, for the first time, there is at least one further pixel on the route whose relative coordinates are added to the list with a corresponding number. If, after the rotation, at least two pixels are on the path, the pixel is first added to the list which is closest to the last error pixel assigned to the set.
  • a second sub-step further pixels become on the line in the direction of increasing distances from the last error pixel assigned to the set If found, they or their relative coordinates and a number are added to the list according to the order of finding them. If no further pixels are found on the route in the current position or direction, the first sub-step is carried out again.
  • the list thus found is stored in the memory of the evaluation device in order to be used in the method.
  • Fig. 6 the order of the pixels for a given distance of 5 on a square grid is represented by numbers indicated in the pixels, Fig. 6 shows the corresponding value
  • the search list of the pixels to be searched results from the stored list in that the coordinates of the last error pixel assigned to the set are added to the relative coordinates of the stored list.
  • the pixels of the search list ie the pixels whose coordinates are contained in this search list, are structurally spaced from the last error pixel allocated to the set that does not exceed the predetermined distance.
  • the pixels are searched in the order of the list and the search list, respectively.
  • the search list does not necessarily have to be created beforehand, it is sufficient that the coordinates of the next pixel to be examined are not determined until the examination of the current pixel has been completed.
  • the pixels of the search list are thus checked in the order of the search list to see whether they meet the deviation criterion and whether the pixel has not yet been assigned to a quantity.
  • step S14.6 If such a pixel is found in step S14.6, it is assigned to the set as error pixel in step S14.7 and assigned as the last one assigned to the set, i. current error pixel set. Otherwise, the evaluation device continues the method with step S14.2.
  • sets of error pixels are found whose error pixels have at least one other error pixel of the set at a distance which does not exceed the predetermined distance and which fulfill the deviation criterion.
  • the evaluation device determines in step S16 the number of sets found in step S14 and a value for at least one predetermined property of at least one of the sets, in the example a value for two predetermined properties of all found sets.
  • the number of error pixels and thus a measure of the area with color deviations is determined in accordance with the deviation criterion for each of the quantities found.
  • the quotient is formed from the length of the edge of the area formed by error pixels or the areas formed by the error pixels and the number of error pixels.
  • edge error pixels are searched, ie error pixels having at least one next adjacent pixel that is not an error pixel. For each edge defect pixel, two next adjacent edge defect pixels are then determined and one line is drawn in each case between the edge defect pixel and the two adjacent edge defect pixels.
  • the length of the edge is the sum of the lines for a set.
  • the evaluation device forms a signal in step S18 and stores a state value which characterizes the state of the value document.
  • the state value is calculated in particular as a function of the number of sets, the number of pixels of the sets, and the determined quotients. For example, a state value for a good state allowing further use or circulation is determined if the largest number of pixels of the sets is less than a predetermined first threshold or the largest number of pixels of the sets is greater than that is first and less than a predetermined second threshold and the quotient for the set is greater than a third and less than a fourth threshold
  • FIGS. 8a and 8b show the appearance of second value documents of the same type with different soiling.
  • a spot 52 on a value document in FIG. 8a has the same area as the speckled spot 54 as measured in number of pixels the value document of the same type in Fig. 8b. If one used to determine the state only the largest amount of error pixels that are immediately adjacent, and a threshold criterion for the maximum number of error pixels of the amount depending on the threshold value document in Fig. 8a would not be fit, but in Fig. 8b but, because in this only small spots would be recognized. In the present example, however, taking the quotient into account, a more differentiated statement is possible if the threshold values are selected accordingly.
  • a second embodiment differs from the embodiment only in that the step S14 illustrated in FIG. 4 is replaced by a step S14 1 illustrated in FIG. 9.
  • the step S14 1 differs from the step S14 only in that, firstly, the determination of the pixels satisfying the deviation criterion is performed in a step S14.1 1 at the beginning of the step S14 ', and as a result, the step S14 .2 are replaced by the step S14.2 1 and the step S14.5 by the step S14.5 1 .
  • the other steps are unchanged, so that the explanations to these can be referenced in the first embodiment.
  • the evaluation device of the second exemplary embodiment is modified accordingly with respect to the evaluation device of the first exemplary embodiment, but otherwise the device including the evaluation device remains unchanged.
  • step S14.1 1 it is checked systematically for each pixel of the digital image whether it meets the deviation criterion mentioned in the first embodiment. If so, the pixel data for the pixel will be indexed. Encoder that indicates that the pixel meets the deviation criterion.
  • step S14.2 'differs from step S14.2 only in that when searching for a pixel not yet allocated a set that satisfies the roll-over criterion, the criterion itself no longer needs to be checked, but at the Searching for the pixel is only checked if its pixel data contain the indicator.
  • step S14.5 'differs from step S14.5 in that when searching for pixels that are not yet assigned to a set and satisfy the deviation criterion and whose distance from the current error pixel does not exceed the predetermined distance, the fulfillment of the Deviation criterion is checked by only checking if the pixel data contains the indicator.
  • a third and fourth exemplary embodiment differ from the first and second exemplary embodiments only in that, when searching for sets of error pixels, firstly groups of error pixels are searched whose error pixels are immediately adjacent to at least one other error pixel; In the present example of an arrangement of rectangular pixels forming a square grid, this means that each error pixel adjacent to at least one other error pixel of the set.
  • the other steps are unchanged, so that the explanations apply to these in the first embodiment also here.
  • the evaluation device is then modified according to the evaluation device in the first and second embodiments, the device including the evaluation each otherwise unchanged. Concretely, in the fourth embodiment, step S14 1 is replaced by step S14 "illustrated in Figs. 10a and 10b
  • the evaluation unit performs step S14.1 1 as in the second embodiment.
  • the evaluation device then executes the steps S14.2 "to S14.4", which are executed like the steps S14.2 1 , S14.3 and S14.4, except that groups are formed instead of the sets.
  • the step S14.3 in the case that no further pixel can be found, the step S14 is not terminated, but proceeds to step S14.8".
  • the step S14.5 "differs from the step S14.5 'only in that the evaluation only searches for the deviation criterion fulfilling pixels, which are not yet assigned to a group instead of a set and on the other to the current error pixel immediately adjacent are, ie have a common page with this.
  • the steps S14.6 “and S14.7” differ from the steps S14.6 and S14.7 only in that the evaluation device performs an assignment to a group instead of a set or to step S14.2 "or
  • Step S14.5 "jumps.
  • step S14.3 If no further pixel is found in step S14.3 ", the evaluation device in the following sub-steps of step S14" forms quantities of error pixels from the groups found.
  • step S14.8 it searches for a group whose error pixels are not yet assigned to a set of error pixels, as described in the second paragraph.
  • ten exemplary embodiment is determined, ie error pixels that meet the deviation criterion are not assigned to any other quantity and their distance to at least one other error pixel of the same amount does not exceed the predetermined distance.
  • step S14 If the evaluation device does not find such a group in step S14.9 ", it ends step S14".
  • step S1 .10 it forms a new set from the error pixels of the group analogously to step S14.4.
  • the evaluation device first searches in step S14.ll "among the found groups whose error pixels are not yet assigned to a set, one which has the one error pixel whose distance from at least one error pixel of the set does not exceed the predetermined distance exceeds
  • step S14.12 determines in step S14.12 "that no group has been found, it returns to step S14.8.
  • step S14.ll it may be sufficient to only check, when searching the group, whether, among its edge pixels, ie error pixels that have at least one neighboring pixel that is not an error pixel, one has a distance to an edge pixel of the current set that contains the does not exceed the specified distance.
  • a fifth embodiment differs from the first embodiment in that a different deviation criterion is used, otherwise all steps and devices are unchanged, so that the descriptions of these apply unchanged here as well.
  • the deviation criterion in this embodiment additionally depends on the distance of the pixel from the last error pixel assigned to the set.
  • the area enclosed by the reference area can be reduced with increasing distance, i. scaled with a scaling factor smaller than 1, but its position in the color space remains unchanged. For example, starting at a value of 1, the scaling factor may linearly decrease to a value of 0.75 at a distance of 5 at a distance of 1.
  • This procedure has the advantage that uneven spots, for example coffee stains, on a value document are detected more easily than a large spot.
  • two small spots instead of one larger spot might be detected.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

Beschrieben ist ein Verfahren zur Untersuchung des optischen Zustands eines Wertdokuments auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments, wobei das Bild Pixel umfaßt, in den Pixeln des digitalen Bildes Mengen von Fehlerpixeln gesucht werden, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Abweichung wenigstens einer vorgegebenen Pixeleigenschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und eine Anzahl beim Suchen gefundener Mengen und/ oder ein Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ermittelt wird.

Description

Verfahren und Vorrichtung zur Untersuchung des optischen Zustands von
Wertdokumenten
Die vorliegende Erfindung betrifft ein Verfahren zur Untersuchung des optischen Zustands von Wertdokumenten, eine Auswerteeinrichtung zur Durchführung des Verfahrens und ein Vorrichtung zur Durchf hrung des Verfahrens.
Unter Wertdokumenten werden dabei blattförmige Gegenstände verstanden, die beispielsweise einen monetären Wert oder eine Berechtigung repräsentieren und daher nicht behebig durch Unbefugte herstellbar sein sollen. Sie weisen daher nicht einfach herzustellende, insbesondere zu kopierende Merkmale auf, deren Vorhandsein ein Indiz für die Echtheit, d.h. die Herstellung durch eine dazu befugten Stelle, ist. Wichtige Beispiele für solche Wertdokumente sind Chipkarten, Coupons, Gutscheine, Schecks und insbesondere Banknoten. Wertdokumente weisen oft eine für den jeweiligen Typ der Wertdokumente spezifische optische Gestaltung, d.h. ein spezifische Aussehen, auf, die zusätzlich Sicherheitsmerkmale umfassen kann, aber nicht muß. Die optische Gestaltung kann beispielsweise durch ein Druckbild auf dem Wertdokument gegeben sein. Das Druckbild kann dabei ein Druckbild im Bereich der opti- sehen Strahlung bzw. dem optischen Wellenlängenbereich sein, worunter im Folgenden infrarote Strahlung, ultraviolette Strahlung und Strahlung im sichtbaren Wellenlängenbereich verstanden wird.
Für ein gegebenes Wertdokument kann die optische Gestaltung, insbesonde- re das Druckbild, von der vorgegebenen Gestaltung abweichen, beispielsweise weil das Wertdokument durch Gebrauch oder Manipulationen verschmutzt wurde. Art und Umfang der Abweichungen in der optischen Gestaltung bestimmen wesentlich den optischen Zustand eines Wertdoku- ments, der wiederum einen wesentlichen Aspekt des Gesamtzustands eines Wertdokuments darstellt. Der Zustand des Wertdokuments kann insbesondere bestimmen, ob ein Wertdokument noch als solches verwendet werden kann, d.h. umlauffähig ist, oder nicht. In Bezug auf den optischen Zustand können die Abweichungen, insbesondere im Druckbild, beispielsweise je nach Art und Umfang die Erkennung des Wertes oder der Echtheit eines Wertdokuments beeinträchtigen oder gar ausschließen. Es ist daher wichtig, den Zustand eines Wertdokuments möglichst maschinell untersuchen und bewerten zu können. Angesichts der vielen Möglichkeiten für eine Abwei- chung der optischen Gestaltung von der vorgegebenen Gestaltung ist wünschenswert, Verfahren zur Untersuchung des optischen Zustande von Wertdokumenten zu kennen, die eine differenzierte Bewertung ermöglichen.
Der vorliegenden Erfindung Hegt daher die Aufgabe zugrunde, ein Verfah- ren zur Untersuchung des Zustande eines Wertdokuments bereitzustellen, daß gute Aussagekraft ermöglicht, sowie Mittel zur Durchführung des Verfahrens bereitzustellen.
Die Aufgabe wird gelöst durch ein Verfahren zur Untersuchung des opti- sehen Zustands eines Wertdokuments auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments, wobei das digitale Bild Pixel umfaßt, in den Pixeln des digitalen Bildes Mengen von Fehlerpixeln gesucht werden, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Ab- weichung wenigstens einer vorgegebenen Pixeleigenschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und eine Anzahl beim Suchen gefundener Mengen und/ oder ein Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ermittelt wird. Es kann dann ein Signal abgegeben werden, das die Anzahl oder den Wert darstellt, und/ oder es kann die Anzahl oder der Wert in einer Speichereinrichtung gespeichert werden.
Die Aufgabe wird weiter gelöst durch eine Auswerteeinrichtung zur Untersuchung des optischen Zustande eines Wertdokuments auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdoku- ments, wobei das digitale Bild Pixel umfaßt, wobei die Auswertvorrichtung eine Schnittstelle zum Empfang eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments aufweist und dazu ausgebildet ist, ein erfindungsgemäßes Verfahren auf der Basis des mittels der Sdinittstelle empfangenen digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments durchzufuhren. Insbesondere ist die Auswerteeinrichtung dazu ausgebildet, in den Pixeln des mittels der Schnittstelle empfangenen digitalen Bildes Mengen von Fehlerpixeln zu suchen, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Abweichung wenigstens einer vorgegebenen Pixelei- genschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und eine Anzahl beim Suchen gefundener Mengen und/ oder ein Wert für wenigstens eine Eigenschaft we- nigstens einer der beim Suchen gefundenen Mengen zu ermitteln. Weiter kann sie dazu ausgebildet sein, dann ein Signal abzugeben, das die Anzahl oder den Wert darstellt, und/ oder die Anzahl oder den Wert zu speichern. Die Aufgabe wird weiter gelöst durch eine Vorrichtung zur Untersuchung des optischen Zustands eines Wertdokuments, mit einem optischen Sensor zur Erfassung eines digitalen Bildes wenigstens eines Bereichs des Wertdokuments, und einer erfindungsgemäßen Auswerteeinrichtung, deren Schnittstelle über eine Signalverbindung mit dem Sensor verbunden ist, so daß ein von dem Sensor erfaßtes digitales Bild von der Auswerteeinrichtung empfangbar ist.
Weiterer Gegenstand der Erfindung ist ein Verfahren zur Untersuchung des optischen Zustands eines Wertdokuments, bei dem mittels eines optischen Sensors ein digitales Bild wenigstens eines vorgegebenen Bereichs des Wertdokuments erfaßt wird, wobei das digitale Bild Pixel umfaßt, und das oben genannte erfindungsgemäße Verfahren mit dem digitalen Bild durchgeführt wird.
Ausgangspunkt der genannten Lösung sind also digitale Bilder wenigstens eines vorgegebenen Bereichs eines Wertdokuments. Der Bereich kann grundsätzlich beliebig geeignet vorgegeben sein, beispielsweise kann er das gesamte Wertdokument umfassen oder nur für die Beurteilung des Zustands als relevant vorgegebene Bereiche. In letzterem Fall kann der Bereich für jeden Typ von Wertdokument, bei Banknoten insbesondere für jede Denomination bzw. Stückelung spezifisch vorgegeben sein.
Das digitale Bild wird mit einem optischen Sensor erfaßt, der ortsaufgelöst vorgegebene Eigenschaften von von dem Wertdokument ausgehender optischer Strahlung, die gegebenenfalls durch den Sensor gefiltert wird, erfaßt, wobei Signale erzeugt werden, die den Orten bzw. Bildpunkten zugeordnet die erfaßte Eigenschaft darstellen. Das digitale Bild umfaßt in bekannter Weise Pixel, die jeweils einem entsprechend der Auflösung des zur Erfas- surig verwendeten optischen Sensors ausgedehnten Bildpunkt auf dem Wertdokument entsprechen und denen Pixeldaten zugeordnet sind, die Eigenschaften der Pixel, insbesondere Eigenschaften der von den jeweiligen Bildpunkt ausgehenden optischen Strahlung und damit bei gegebener Be- leuchtung optische Eigenschaften des Bereichs des Wertdokuments wiedergeben. Das digitale Bild des Sensors kann, aber muß nicht, insbesondere vor der Verwendung für das Verfahren noch vorverarbeitet werden, beispielweise können Korrekturen der Eigenschaften des Bildes, beispielsweise von Farben, oder ein Filterung, insbesondere eine Tiefpaßfilter, beispielsweise durch Mittelung über ein Pixel und dessen am nächsten benachbarte Pixel, durchgeführt. Dies kann durch eine entsprechende Einrichtung des Sensors erfolgen oder durch die Auswerteeinrichtung. Das so entstandene digitale Bild wird dann zur Durchführung des Verfahrens verwendet. Zur Weiterverarbeitung des digitalen Bildes kann die Auswerteeinrichtung verwendet werden, die die Schnittstelle zum Empfangen des digitalen Bildes aufweist und zur Durchführung des erfindungsgemäßen Verfahrens mit dem mittels der Schnittstelle empfangenen digitalen Bildes ausgebildet ist. Die Schnittstelle kann Hard- und/ oder Softwarekomponenten umfassen. Zur Weiterverarbeitung des digitalen Bildes kann ein Computer mit wenigstens einem Prozessor verwendet werden, der insbesondere Teil der Auswertvorrichtung sein kann. Unter einem Prozessor wird dabei ein geeigneter Controller, ein FPG A, ein Signalprozessor oder ein Vielzweckprozessor oder eine Kombination aus wenigstens zweien dieser Elemente verstanden wer- den. Soweit nicht allei ein vorprogrammiertes FPG A verwendet wird, kann ein mit dem wenigstens einen Prozessor verbundener, gegebenenfalls in diesen integrierter Speicher vorgesehen sein, in dem Instruktionen eines Computerprogramms gespeichert sind, bei deren Ausführung das erfindungsgemäße Verfahren ausgeführt wird. In dem digitalen Bereich werden mittels des Prozessors unter den Pixeln des digitalen Bildes Mengen von Fehlerpixeln gesucht. Fehlerpixel sind solche Pixel des digitalen Bildes, die das vorgegebene Abweichungskriterium erful- len, das festlegt, wann eine Abweichung der wenigstens einen vorgegebenen Pixeleigenschaft von einem vorgegebenen Wert als unzulässig anzusehen ist.
Das Abweichungskriterium kann beispielsweise dadurch gegeben sein, daß geprüft wird, ob die Pixeldaten für ein Pixel oder mehrere Pixel eines vorge- gebenen Auswertebereichs von einer für das Pixel oder die Pixel in Abhängigkeit von dem Wertdokumenttyp vorgegebenen Referenzverteilung für zulässige Pixeldaten gemäß einem vorgegebenen Kriterium abweichen, beispielsweise außerhalb der Referenzverteilung liegen. Ein Beispiel für ein solches Vorgehen zur Ermittlung der Abweichung bzw. zur Prüfung des Ab- weichungskriteriums ein Verfahren verwendet werden, wie es in der
WO 2008/058742 AI beschrieben ist, deren gesamter Inhalt hiermit durch Bezugnahme in die Beschreibung aufgenommen wird. Es ist auch möglich, das digitale Bild mit einem Referenzbild für den Wertdokumenttyp zu vergleichen und nach einer Ausrichtung der Bilder aufeinander pixelweise die Abweichungen der Pixeldaten des digitalen Bildes und des Referenzbildes zu ermitteln und ein vorgegebenes Kriterium für eine maximal zulässige Abweichung zu prüfen. Im Fall von Farbbildern kann die Abweichung beispielsweise durch einen Abstand oder ein Quadrat eines Abstands gegeben sein.
Die Mengen von Fehlerpixeln zeichnen sich dadurch aus, daß der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Feh- Ierpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes. Unter uiimittelbar benachbarten Pixeln werden dabei Pixel verstanden, die sich wenigstens in einem Punkt berühren; im Fall von auf einem Quadratgitter angeordneten Pixeln sind zu einem gegebenen Pixel also die zu diesem nächsten acht Pixel die unmittelbar benachbarten Pixel. Unter dem Abstand zweier Pixel wird dabei der Abstand der geometrischen Schwerpunkte der Pixel verstanden. Aufgrund dieser Eigenschaft der Mengen kann ein Fehlerpixel nur zu einer einzigen Menge gehören bzw. anders formuliert nur dieser einzigen Menge zugeordnet sein. Weiter bilden die Fehlerpixel einer Menge nicht unbedingt ein zusammenhängendes Gebiet in dem Bild, sondern können durch nahe benachbarte Gebiete gegeben sein. Durch Wahl des vorgegebenen Abstands wird dabei festgelegt, wie weit dien Gebiete voneinander entfernt sein dürfen, um zu derselben Menge zu gehören. Vorzugsweise liegt der Abstand, ausgedrückt in Einheiten des kleinsten Abstands unmittelbar benachbarter Pixel, zwischen 2 und 10 vorzugsweise 3 und 6. Je nach optischen Zustand des Wertdokuments, dem Abweichungskriterium und dem vorgegebenen Abstand können keine Mengen, nur eine Menge oder auch mehrere Mengen bei dem Suchen gefunden werden.
Es wird dann dien Anzahl der beim Suchen gefundenen Mengen ermittelt und/ oder ein Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ermittelt. Auf diese Weise ist ein differenzierte Aussage über den optischen Zustand des Wertdokuments möglich. Insbesondere können beispielsweise unregelmäßig verteilte Flecken, beispielsweise aufgesprühte Tropfen, leicht erfaßt werden. Auch wirken sich unter Umständen bei Sensoren sehr hoher örtlicher Auflösung auftretende Pixelfehler weniger stark bei der Zustandsuntersuchung aus. In Abhängigkeit von dem Ergebnis der Ermittlung bzw. den Ergebnissen der Ermittlung kann ein Signal abgegeben werden, das diese darstellt, oder es kann ein entsprechender Wert gespeichert werden, was in dem Speicher oder ein einer anderen Speichereinrichtung erfolgen kann.
Die Ergebnisse, d.h. die Anzahl und/ oder der Wert können entweder allein zur Charakterisierung des Gesamtzustands verwendet werden oder zur Ermittlung eines Gesamtzustands verwendet werden, bei der noch weitere Parameter eingehen.
Das Suchen nach den Mengen von Fehlerpixeln kann auf unterschiedliche Art und Weise erfolgen. Gemäß einer bevorzugten Alternative können bei dem Verfahren zum Suchen einer Menge von Fehlerpixeln Fehlerpixel derart der Menge zugeordnet werden, daß für ein bereits der Menge zugeordnetes Fehlerpixel ein nächstes Fehlerpixel gesucht wird, das das Abweichungskriterium erfüllt und das der Menge noch nicht zugeordnet ist und dessen Abstand zu dem bereits zugeordneten Pixel den vorgegebenen Abstand nicht überschreitet, und bei Auffinden eines solchen nächsten Fehlerpixels dieses der Menge zugeordnet wird. Dazu kann die Auswerteeinrichtung so ausge- bildet sein, daß zum Suchen einer Menge von Fehlerpixeln Fehlerpixel derart der Menge zugeordnet werden, daß für ein bereits der Menge zugeordnetes Fehlerpixel ein nächstes Fehlerpixel gesucht wird, das das Abweichungskriterium erfüllt und das der Menge noch nicht zugeordnet ist und dessen Abstand zu dem bereits zugeordneten Pixel den vorgegebenen Abstand nicht überschreitet, und bei Auffinden eines solchen nächsten Fehlerpixels dieses der Menge zugeordnet wird. Ein Vorteil dieses Vorgehens liegt darin, daß es erlaubt ein schnelles Auffinden der gesuchten Mengen. Insbesondere kann bei dieser Ausführung des Verfahrens beim Suchen einer Menge das Suchen des nächsten Fehlerpixels und dessen Zuordnen wiederholt ausgeführt werden, wobei jeweils als das bereits der Menge zugeordnete Fehlerpixel das zuletzt der Menge zugeordnete Fehlerpixel verwendet wird. Die Auswerteeinrichtung ist dann dazu ausgebildet, beim Suchen einer Menge das Suchen des nächsten Fehlerpixels und dessen Zuordnen wiederholt auszuführen, wobei jeweils als das bereits der Menge zugeordnete Fehlerpixel das zuletzt der Menge zugeordnete Fehlerpixel verwendet wird. Dieses Vorgehen bietet den Vorteil, daß die Mengen einfach und schnell er- mittelt werden können.
Dabei können die Fehlerpixel grundsätzlich beliebig gesucht werden. Es ist bei dem Verfahren jedoch bevorzugt, daß zum Suchen des nächsten Fehlerpixels jeweils ein Fehlerpixel in einer Suchliste von Pixeln gesucht wird, die wenigstens durch das zuletzt der Menge zugeordnete Fehlerpixel und den vorgegebenen Abstand oder durch das zuletzt der Menge zugeordnete Fehlerpixel und eine vorgegebene Liste bestimmt ist. Die Auswerteemrichtung kann dazu vorzugsweise dazu ausgebildet sein, daß zum Suchen des nächsten Fehlerpixels jeweils ein Fehlerpixel in einer Suchliste von Pixeln gesucht wird, die wenigstens durch das zuletzt der Menge zugeordnete Fehlerpixel und den vorgegebenen Abstand oder durch das zuletzt der Menge zugeordnete Fehlerpixel und eine vorgegebene Liste bestimmt ist. Diese Ausführungsform bietet den Vorteil, daß nur eine Liste von Pixeln durchsucht zu werden braucht, eine Abstandsberechnung jedoch nicht erforderlich ist. Vor- zugsweise ist die Suchliste und/ oder die vorgegebenen Liste in Abhängigkeit von dem vorgegebenen Abstand so bestimmt, daß diese je nach Ausfuhrungsform alle Pixel oder nur alle das Abweichungskriterium erfüllende Pixel innerhalb des vorgegebenen Abstands enthält Die Suchliste braucht nur soweit durchlaufen zu werden, bis ein Fehlerpixel gefunden wird. Die Such- liste kann insbesondere dadurch bestimmt sein, daß die vorgegebene Liste nur die Lage relativ zu einem Pixel angibt, und die Suchliste durch Umrechnung der vorgegebenen Liste auf die Lage des zuletzt zugeordneten Fehlerpixels bestimmt wird.
Weiter ist es bei dem Verfahren bevorzugt, daß zum Suchen des nächsten Fehlerpixels Fehlerpixel entlang eines von dem zuletzt der Menge zugeordneten Fehlerpixel ausgehenden, schrittweise in einer vorgegebenen Drehrichtung gedrehten Suchstrahls gesucht werden. Die Auswerteeinrichtung ist dann vorzugsweise dazu ausgebildet, daß zum Suchen des nächsten Fehlerpixels Fehlerpixel entlang eines von dem zuletzt der Menge zugeordneten Fehlerpixel ausgehenden, schrittweise in einer vorgegebenen Drehrichtung gedrehten Suchstrahls gesucht werdenDer Suchstrahl ist dabei eine gedachte Strecke in einer Ebene, in der Pixel angeordnet sind; sie beginnt in dem zu- letzt der Menge zugeordneten Fehlerpixel bzw. geht von diesem aus, beispielsweise dessen geometrischem Schwerpunkt und kann vorzugsweise die Länge des vorgegebenen Abstands aufweisen. Zu Beginn kann der Suchstrahl eine beliebig vorgegebene Anfangsrichtung aufweisen, bei einer Anordnung der Pixel in einer quadratischen Matrix beispielsweise entlang einer der Zeilen. Bei der Suche zwischen den Drehungen kann entweder immer in der Reihenfolge zunehmenden Abstands von dem zuletzt zugeordneten Fehlerpixel, oder immer in der Reihenfolge abnehmenden Abstands von dem zuletzt zugeordneten Fehlerpixel oder abwechselnd in der Reihenfolge zunehmenden Abstands und abnehmenden Abstands gesucht werden. Dieses Verfahren erlaubt es auf besonders effiziente Weise Fehlerpixel zu finden und einer Menge zuzuordnen, da selbst in ungünstigen Konstellationen nur wenige Abstände zu ermitteln sind. Weiter deckt diese Art des Suchens alle Pixel ab, deren Abstand von dem zuletzt zugeordneten Fehlerpixel den vorgegebenen Abstand nicht übersteigt Wird zum Suchen eine Suchliste verwendet, kann diese so gewählt sein, daß die Pixel in der Reihenfolge durchsucht werden, die der in dem letzten Absatz geschilderten Reihenfolge entspricht.
Das erfindungsgemäße Verfahren beinhaltet zum einen die Prüfung des Abweichungskriteriums und zum anderen die Prüfung, ob der Abstand zweier Fehlerpixel den vorgegebenen Abstand unterschreitet. Diese Prüfungen können prinzipiell beliebig durchgeftihrt werden. So können bei dem Verfahren vorzugsweise beim Suchen der Mengen zunächst die Pixel ermittelt werden, die das Abweichungskriterium erfüllen, und danach können diese Pixel den Mengen als Fehlerpixel zugeordnet werden. Die Auswerteeinrichtung kann dann weiter so ausgebildet sein, daß beim Suchen der Mengen zunächst die Pixel ermittelt werden, die das Abweichungskriterium erfüllen, und danach können diese Pixel den Mengen als Fehlerpixel zugeordnet werden. Dieses Verfahren ist insbesondere dann vorteilhaft, wenn die Prüfung des Abweichungskriteriums im Vergleich zu der Prüfung auf den Abstand zweier Pixel schnell durchführbar ist. Bei einer anderen bevorzugten Ausfuhrungsform kann aber auch vorgesehen sein, daß bei dem Verfahren beim Suchen der Mengen ausgehend von einem Fehlerpixel einer Menge Pixel, deren Abstand zu dem Fehlerpixel den vorgegebenen Abstand nicht überschreiten, daraufhin überprüft werden, ob sie das Abweichungskriterium erfüllen. Die Auswerteeinrichtung kann dazu vorzugsweise weiter so ausgebildet sein, daß beim Suchen der Mengen ausgehend von einem Fehlerpixel einer Menge Pixel, deren Abstand zu dem Fehlerpixel den vorgegebenen Abstand nicht überschreiten, daraufhin überprüft werden, ob sie das Abweichungskriterium erfüllen. Diese Vorgehens- weise ist untern anderem vorteilhaft, wenn das Prüfen der Abweichungskriteriums nicht sehr schnell ist
Ein weiterer Vorteil der Ausführungsform liegt darin, daß folgende bevor- zugte Weiterbildung einfach realisiert werden kann. Diese sieht vor, daß bei dem Verfahren das Abweichungskriterium von dem Abstand zwischen dem Fehlerpixel und dem aktuell geprüften Pixel abhängt. Die Auswerteeinrichtung ist dann so ausgebildet, daß das Abweichungskriterium von dem Abstand zwischen dem Fehlerpixel und dem aktuell geprüften Pixel abhängt.
Bei einer anderen Ausnöhrungsform des Verfahrens ist es bevorzugt, daß zum Suchen einer Menge von Fehlerpixeln zunächst Gruppen von Fehlerpixeln gesucht werden, die jeweils Fehlerpixel umfassen, die das Abweichungskriterium erfüllten und die unmittelbar benachbart sind, daß bei dem Verfahren geprüft wird, ob der Abstand wenigstens eines Fehlerpixels einer der Gruppen von wenigstens einem Fehlerpixel einer anderen der Gruppen, deren Fehlerpixel noch nicht einer Menge zugeordnet sind, den vorgegebenen Abstand nicht überschreitet, und wenn dies der Fall ist, die Fehlerpixel der beiden Gruppen derselben Menge zugeordnet werden. Hierzu kann die Auswerteeinrichtung vorzugsweise weiter dazu ausgebildet sein, daß zum Suchen einer Menge von Fehlerpixeln zunächst Gruppen von Fehlerpixeln gesucht werden, die jeweils Fehlerpixel umfassen, die das Abweichungskriterium erfüllten und die unmittelbar benachbart sind, daß bei dem Verfahren geprüft wird, ob der Abstand wenigstens eines Fehlerpixels einer der Gruppen von wenigstens einem Fehlerpixel einer anderen der Gruppen, deren Fehlerpixel noch nicht einer Menge zugeordnet sind, den vorgegebenen Abstand nicht überschreitet, und wenn dies der Fall ist, die Fehlerpixel der beiden Gruppen derselben Menge zugeordnet werden. Diese Ausführungsform eignet sich insbesondere für Fälle, in denen große Gruppen unmittelbar benachbarter Fehlerpixel vorhanden sind. Insbesondere ist bei dieser Aus- fuhrungsform auch bevorzugt, daß bei dem Verfahren beim Suchen der Mengen zunächst die Pixel ermittelt werden, die das Abweichungskriterium erfüllen, und danach diese Pixel zunächst den Gruppen als Fehlerpixel zu- geordnet werden. Dieses Vorgehen kann die Ermittlung der Gruppen erheblich beschleunigen.
Bei dem erfindungsgemäßen Verfahren kann die ermittelte Anzahl und/ oder der ermittelte Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen vorzugsweise zur Ermittlung eines den optischen Zustand darstellenden Wertes verwendet werden. Die Auswerteeinrichtung kann dann vorzugsweise dazu ausgebildet sein, unter Verwendung der ermittelten Anzahl und/ oder des ermittelten Wertes für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen einen den optischen Zustand darstellenden Wert zu ermitteln.
Als Eigenschaften der Menge kann beispielsweise der Menge deren Anzahl an Fehlerpixeln verwendet werden. Hierzu kann die Auswerteeinrichtung entsprechend ausgebildet sein.
Es ist aber bevorzugt, daß alternativ oder zusätzlich bei dem Verfahren als Eigenschaft der Menge eine Funktion der Anzahl an Fehlerpixeln der Menge und der Länge einer Linie durch die Fehlerpixel der Menge, die deren Rand bilden, verwendet wird. Die Auswerteeinrichtung kann dann weiter dazu ausgebildet sein, als Eigenschaft der Menge eine Funktion der Anzahl an
Fehlerpixeln der Menge und der Länge einer Linie durch die Fehlerpixel der Menge, die deren Rand bilden, zu verwenden. Bei einem Verfahren zum Sortieren von Wertdokumenten, kann das erfindungsgemäße Verfahren für jedes zu sortierende Wertdokument ausgeführt werden, wobei in Abhängigkeit von dem ermittelten optischen Zustand, vorzugsweise in Abhängigkeit von einem unter Verwendung des optischen Zustands ermittelten Gesamtzustands, das Wertdokument in eine für den ermittelten optischen Zustand bzw. Gesamtzustand vorgesehene Aufnahme transportiert wird. Gegenstand der Erfindung ist daher aus eine Vorrichtung zum Bearbeiten, insbesondere Sortieren, von Wertdokumenten, mit einer erfindungsgemäßen Vorrichtung zur Untersuchung von Wertdokumenten und einer Trarisporteinrichtung zum Transportieren von vereinzelten Wertdokumenten an der Untersuchungsvorrichtung vorbei, die dazu ausgebildet ist, in Abhängigkeit von Signalen der Untersuchungsvorrichtung Wertdokumente in Abhängigkeit von dem optischen Zustand, vorzugsweise einem in Abhängigkeit von dem optischen Zustand ermittelten Gesamtzustand, einem für Wertdokumente vorgegebenen optischen Zustands bzw. Gesamtzustands vorgesehene Aufnahme der Vorrichtung zu transportieren.
Gegenstand der Erfindung ist weiter ein computerlesbarer Datenträger mit Programmcode, der von einem Computer ausführbar ist, so daß der Compu- ter ein erfindungsgemäßes Verfahren ausführt.
Die Erfindung wird im Folgenden noch weiter beispielhaft an Hand der Zeichnungen erläutert. Es zeigen: Fig. 1 eine schematische Darstellung einer Wertdokumentbearbeitungs- vorrichtung in Form einer Banknotensortiervorrichtung,
Fig. 2a,b schematische Darstellungen eines optischen Sensors der Vorrichtung in Fig. 1 in Transportrichtung eines Wertdokuments und in Bkckrichtung auf eine Transportebene, in der Wertdokumenten an diesem vorbeitransportiert werden,
Fig. 3 eine schematische Darstellung eines digitalen Bildes eines Wertdo- kuments und einiger Pixel des Bildes,
Fig. 4 ein Ablaufdiagramm für eine erstes Verfahren zur Untersuchung eines Zustande eines Wertdokuments mittels der Vorrichtung in Fig. 1,
Fig. 5 ein Ablaufdiagramm für eine Suche von Mengen von Fehlerpixeln in einem Schritt S14 des Verfahrens in Fig. 4,
Fig. 6 eine schematische Darstellung eines Teils eines digitalen Bildes zur
Veranschauhchung einer Reihenfolge beim Suchen nach Fehlerpixeln,
Fig. 7 eine schematische Darstellung des Teils des digitalen Bildes in Fig.
6 mit einem Suchpfad,
Fig. 8a,b Wertdokumente mit verschiedenen Verschmutzungen,
Fig. 9 ein Ablaufdiagramm für eine Suche von Mengen von Fehlerpixeln in einem Schritt S14' eines zweiten Verfahrens zur Untersuchung eines Zustands eines Wertdokuments mittels der Vorrichtung in
Fig. 1, und
Fig. 10a,b ein Ablauf diagramin für eine Suche von Mengen von Fehlerpixeln in einem Schritt S14" eines vierten Verfahrens zur Untersuchung ei- nes Zustands eines Wertdokuments mittels der Vorrichtung in Fig. 1.
Eine Vorrichtung 10 zur Bearbeitung von Wertdokumenten 12, im Beispiel eine Banknotenbearbeitungsvorrichtung, in Fig. 1 dient unter anderem zur Prüfung der Echtheit und des Gesamtzustands von Wertdokumenten 12 in Form von Banknoten und zur Sortierung in Abhängigkeit vom Ergebnis der Echtheits- und Gesamtzustandsprüfung. Die Vorrichtung 10 verfügt über einen Eingabebereich 14, im Beispiel ein Eingabefach, für die Eingabe von zu bearbeitenden Wertdokumenten 12, einen Vereinzeier 16, der auf Wertdokumente 12 in dem Eingabefach 14 zugreifen kann, um diese zu vereinzeln, und eine zu einer Ausgabeeinrichtung 18 führende Transporteinrichtung 20 zum Transport von dem Vereinzeier 16 vereinzelter Wertdokumente entlang eines Transportpfades 22 zu der Ausgabeeinrichtung 18. Die Ausgabeein- richtung 18 verfügt über wenigstens zwei, in diesem Beispiel drei, Ausgabebereiche 24, 24' und 24", im Beispiel Stapelfächer; zum wahlweisen Transport in die Ausgabebereiche umfaßt die Transporternrichtung 20 entlang des Transportpfades 22 nacheinander angeordnete Weichen, im Beispiel zwei Weichen 26 und 26', so daß durch Ansteuerung der Weichen Wertdokumen- te wahlweise einem der Ausgabebereiche zufuhrbar sind. Entlang des durch die Transporteinrichrung 18 gegebenen Transportpfades 22 ist nach dem Vereinzeier 16 und vor den Weichen eine Sensoranordnung 28 angeordnet, die zur Erfassung von Eigenschaften vereinzelt zugeführter Wertdokumente 12 und Bildung von die Eigenschaften wiedergebenden Sensorsignalen dient. Eine Steuereinrichtung 30 ist wenigstens mit der Sensoranordnung 28 und den Weichen 26 und 26' über Signalverbindungen verbunden und dient zur Auswertung von Sensorsignalen der Sensoranordnung 28, insbesondere zur Prüfung der Echtheit und des Zustands von Wertdokumenten, und zur Ansteuerung wenigstens der Weichen 26 und 26' in Abhängigkeit von dem Ergebnis der Auswertung der Sensorsignale, d. h. insbesondere den Ergebnissen der Prüfung auf Echtheit und Zustand.
Die Sensoranordnung 24 umfaßt wenigstens einen Sensor; in diesem Aus- führungsbeispiel ist ein optischer Sensor 32 zur ortsaufgelösten Erfassung farblicher Eigenschaften und von ER-Eigenschaften vorgesehen, der von dem Wertdokument remittierte optische Strahlung erfaßt. Weiter weist die Sensoranordnung 28 in diesem Ausführungsbeispiel einen an sich optionalen weiteren Sensor 33 zur Erfassung von Ultraschalleigenschaften eines an ihm vorbeitransportierten Wertdokuments auf.
Der Sensor 33 dient zur Prüfung eines Wertdokuments darauf, ob auf ihm ein Klebestreifen erkennbar ist. Der Sensor 33 gibt für jedes von ihm erfaßte Wertdokument ein Signal an die Steuereinrichtung 30 ab, das darstellt, ob ein Klebestreifen erkannt wurde oder nicht.
Der optische Sensor 32 erfaßt während des Vorbeitransports eines Wertdokuments ein digitales Gesamtbild des Wertdokuments in vier Spektralbereichen entsprechend den drei Farbkanälen Rot, Grün und Blau und im infraro- ten Spektralbereich (IR-Kanal), das durch entsprechende Sensorsignale dargestellt wird.
Das von dem optischen Sensor 32 erfaßte digitale Gesamtbild umfaßt Pixel, deren Eigenschaften durch Pixeldaten gegeben sind, die für die Überprüfung der Banknoten in Bezug auf deren optischen Zustand und die Echtheit relevant sind.
Zur Auswertung der Sensorsignale verfügt die Steuereinrichtung 30 über eine Auswerteeinrichtung 34, die im Beispiel in die Steuereinrichtung 30 in- tegriert ist, in anderen Ausführungsbeispielen aber auch Teil der Sensoranordnung 28 selbst sein kann.
Die Steuereinrichtung 30 verfügt neben entsprechenden Schnittstellen 36 für den Sensor 32 zum Empfang des von diesem erfaßten digitalen Bildes und den Sensor 33 über einen mit den Schnittstellen 34 verbundenen Prozessor 38 und einen mit dem Prozessor 38 verbundenen Speicher 40, in dem wenigstens ein Computerprogramm mit Programmcode gespeichert ist, bei dessen Ausführung der Prozessor 38 in einer ersten Funktion als Teil der Auswerte- einrichtung 34 die Sensorsignale, insbesondere zur Prüfung der Echtheit und der Ermittlung eines optischen Zustands und auf dessen Basis eines Gesamtzustands eines geprüften Wertdokuments, auswertet und dabei unter anderem ein im Folgenden beschriebenes Verfahren unter Verwendung der Sensorsignale bzw. der Pixeldaten ausfuhrt Zu der Auswerteeinrichtung 34 ge- hören auch die Schnittstellen 36. In einer zweiten Funktion steuert der Prozessor die Vorrichtung bzw. entsprechend der Auswertung die Transporteinrichtung 20 an. Die Auswerteeinrichtung 34 bildet daher einen Computer im Sinne der vorliegenden Erfindung. Im Betrieb prüft die Auswerteeinrichtung 34 für jedes von der Sensoranordnung 28 erfaßte Wertdokument mittels des Prozessors 38 auf der Basis des digitalen Bildes des Wertdokuments wenigstens ein vorgegebenes Kriterium für die Echtheit des Wertdokuments. Weiter untersucht die Auswerteeinrichtung 34 auf der Basis des digitalen Bildes den optischen Zustand des Wert- dokuments, und ermittelt einen Zustandswert, der den optischen Zustand des Wertdokuments darstellt. Die Auswerteeinrichtung 34 verwendet dann den Zustandswert und das Signal des Ultraschallsensors 33 dazu, nach einem vorgegebenen Kriterium einen einen Gesamtzustand des Wertdokuments darstellenden Gesamtzustandswert zu ermitteln. In Abhängigkeit von der ermittelten Echtheit und dem Gesamtzustandswert steuert die Steuereinrichtung 30, insbesondere der Prozessor 38 darin die Transporteinrichtung 20, genauer die Weichen, so an, daß das geprüfte Wertdokument entsprechend seiner ermittelten Echtheit und seines Gesamtzustands zur Ablage in entsprechende Ausgabebereiche transportiert wird. Beispielsweise können als nicht echt erkannte Wertdokumente in den Bereich 24, als echt erkannte, einen für eine weitere Benutzung geeigneten Gesamtzustand aufweisenden (''umlauffähigen") Wertdokumente in den Be- reich 24" und die als echt erkannten, aber nicht für eine weitere Benutzung geeigneten Gesamtzustand aufweisenden Wertdokumenten in den Bereich 24" ausgegeben werden.
Zur Bearbeitung von Wertdokumenten 12 werden in das Eingabefach 14 als Stapel oder einzeln eingelegte Wertdokumente 12 von dem Vereinzeier 16 vereinzelt und vereinzelt der Transporteinrichtung 18 zugeführt, die die vereinzelten Wertdokumente 12 der Sensoranordnung 24 zuführt. Diese erfaßt optische Eigenschaften der Wertdokumente 12, im Beispiel das Farbbild mit zusätzlichem IR-Kanal, und bildet ein digitales Bild, dessen Pixel die ent- sprechenden Eigenschaften des Wertdokuments wiedergeben. Weiter erfaßt sie die Ultraschalleigenschaften. Die Steuereinrichtung 30 erfaßt die Sensorsignale, ermittelt in Abhängigkeit von diesen einen Zustand und die Echtheit des jeweiligen Wertdokuments und steuert in Abhängigkeit von dem Ergebnis die Weichen so an, daß die untersuchten Wertdokumente entsprechend ihrer ermittelten Echtheit den Ausgabefächern zugeführt werden.
Der optische Sensor 32 ist zur Erfassung von Bildern für drei Farben und ΓΚ- Strahlung ausgebildet Im Beispiel ist er als Zeilensensor ausgebildet, der während des Vorbeitransports eines Wertdokuments an dem Sensor 32 vorbei eine Folge von Zeilenbildern umfaßt, die in einer Richtung quer zur Richtung der Zeile ein Zeilenbild des Wertdokuments ergeben. Er umfaßt im vorliegenden Beispiel, in den Fig. 2a und 2b nur extrem vereinfacht schematisch dargestellt, eine Beleuchtungseinrichtung 42 zur Beleuchtung eines quer zur Transportrichtung T verlaufenden Streifens in einer Transportebene E (in Fig. 2b parallel zur Zeichenebene) für das Wertdokument 12 bzw. in einer Ebene des Wertdokuments 12 mit konvergentem, weißem Licht während des Vorbei- transports des Wertdokuments über dessen gesamte Ausdehnung quer zur Transportrichtung T. Im Beispiel verfügt die Beleuchtungseinrichtung 42 über zwei Quellen für optische Strahlung.
Weiter umfaßt der Sensor 32 eine in dem von der Beleuchtungseinrichtung 42 abgegebenen Strahlenbündel angeordnete Erfassungseinrichtung 44. Als Erfassungseinrichtung 44 dienen im Beispiel vier Zeilenkameras 46, 46', 46", 46"' mit nicht gezeigten, im Strahlengang vor diesen angeordneten Rot-, Grün- und Blau- Filtern zur Erfassung von roten, grünen bzw. blauen Anteilen der von dem Wertdokument remittierten optischen Strahlung der Be- leuditungseiririchtung 38. Jede der Zeilenkameras verfügt über jeweils eine Detektorzeile mit zellenförmig angeordneten Photodetektionselementen 48, vor denen jeweils der Filter angeordnet ist, der dem von der jeweiligen Zeilenkamera zu detektierenden Farbanteil der remittierten optischen Strahlung entspricht. Der Sensor 32 kann noch weitere optische Elemente, insbesondere zur Abbildung bzw. Fokussierung umfassen, die hier nicht gezeigt sind. Die Detektorzeilen von Photodetektionselementen sind parallel zueinander angeordnet. Darüber hinaus umfaßt der Sensor 32 eine in den Figuren nicht gezeigte Signalverarbeitungseinrichtung, die aus den Signalen der Photode- tektionselemente ein digitales Bild erzeugt Zur Erfassung eines Farbbildes eines Wertdokuments 12 wird dieses in Transportrichtung T an dem Sensor 32 mit konstanter Geschwindigkeit vorbeitransportiert, wobei in konstanten Zeitabständen mit den Zeilenkameras 46, 46' und 46" Intensitätsdaten orts- und farbaufgelöst erfaßt werden. Die Intensitätsdaten stellen Pixeldaten dar, die die Eigenschaften von Pixeln eines Zeilenbildes beschreiben, das den von dem Sensor 32 erfaßten zellenförmigen Bereich des Wertdokuments 12 wiedergibt Durch Aneinanderset- zen der Zeilenbilder entsprechend der zeitlichen Reihenfolge der Erfassung, d.h. entsprechende Zuordnung der Pixeldaten, wird dann ein digitales Gesamtbild des Wertdokuments mit Pixeln erhalten, denen jeweils Pixeldaten zugeordnet sind, die optische Eigenschaften des Wertdokuments, nämlich Farbwerte für Rot, Grün und Blau wiedergeben bzw. darstellen. Ein von dem Sensor 32 erfaßtes digitales Bild setzt sich daher aus in einer Rechteckmatrix angeordneten Pixeln 50 zusammen und wird durch die Pixeldaten beschrieben. In der Veranschaulichung des Bildes eines Wertdokuments 12 in Fig. 3 sind der Übersichtlichkeit halber nur einige der Pixel 50 gezeigt, die zudem stark vergrößert gezeigt sind. Im Ausführungsbeispiel ist die Auflösung des Sensors 32 wenigstens so groß, daß ein Pixel einer Fläche von höchstens 0,3mm x 0,3 mm auf dem Wertdokument entspricht. Jedem der Pixel sind als Pixeldaten neben einer Nummer bzw. Zahl i, die die Lage in dem Bild wiedergibt, Farbwerte ri, gi, bi für Rot, Grün und Blau zugeordnet. In diesem Ausführungsbeispiel wird ein Sensor 32 verwendet, der die genannten Pixeldaten als Vektor in einem dreidimensionalen, geräteunabhängigen Farbraum, hier dem CIE-Lab-Farbraum darstellt.
Zur Prüfung der Wertdokumente ist in dem Speicher 40 in einem als Teil der Auswerteeinrichtung 34 dienenden Abschnitt und damit in diesem Beispiel in der Steuereinrichtung 30 ein Programm mit Programmcode gespeichert, der bei Ausf hrung durch die Auswerteeinrichtung 34, d.h. hier den Prozessor 38, die Schritte eines Verfahrens zur Untersuchung des optischen ZuStands von Wertdokumenten durchführt, die in Fig. 4 schematisch veran- schaulicht sind.
Zunächst wird in Schritt S10 ein digitales Bild eines Wertdokuments mittels des optischen Sensors 32 von der Auswerteeinrichtung 34 bzw. dem Prozessor 34 erfaßt, das Pixel umfaßt.
Die Auswerteeinrichtung 34 ermittelt dann in Schritt S12 aus dem digitalen Bild den Typ des Wertdokuments, im Fall von Banknoten also beispielsweise die Denomination bzw. Stückelung und Währung, und die Lage und Orientierung des Wertdokuments, als beispielsweise Vorder- oder Rückseite der Banknote und aufrechte Orientierung oder nicht, und speichert entsprechende Werte.
In Schritt S14 sucht die Auswerteeinrichtung 34 dann in den Pixeln des digitalen Bildes Mengen von Fehlerpixeln, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Abweichung wenigstens einer vorgegebenen Pixeleigenschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und die keiner anderen Menge zugeordnet sind.
Die Auswerteeinrichtung 34 ermittelt darauf in Schritt S14 eine Anzahl beim Suchen gefundener Mengen und wenigstens einen Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen und speichert entsprechende Werte.
In Schritt S18 bildet die Auswerteeinrichtung 34 in Abhängigkeit von der ermittelten Anzahl und dem wenigstens einen Wert für die Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ein Signal, das eine Bewertung für den optischen Zustand des Wertdokuments darstellt, und speichert einen entsprechenden Zustandswert für den optischen Zustand. Die Auswerteeinrichtung 34 ermittelt dann gemäß einem vorgegebenen Kriterium für den Gesamtzustand in Abhängigkeit von dem Signal bzw. dem gespeicherten Zustandswert und dem Signal des Ultraschallsensors 33 einen Wert für einen Gesamtzustand des Wertdokuments, den sie zur Ansteue- rung der Transporteinrichtung 20 zur Verfügung stellt.
Fig. 5 zeigt genauer die Teilschritte des Schritts 14 in diesem Ausführungsbeispiel.
Bei der Durchführung des Schritts 14 prüft die Auswerteeiruichtung 34 unter anderen, ob ein Pixel das vorgegebene Abweichungskriterium erfüllt. Im vorliegenden Ausführungsbeispiel ermittelt sie hierzu aus dem in Schritt S12 bestimmten Typ des Wertdokuments die Lage des erfaßten digitalen Bildes relativ zu einem für den Typ vorgegebenen Referenzbild für die in Schritt S12 ermittelte Lage und Orientierung des Wertdokuments. Das Referenzbild verfügt über dieselbe Auflösung bzw. Pixelanzahl wie das digitale Bild und die Pixeldaten für die Pixel des Referenzbildes umfassen Koordinaten in dem Farbraum des digitalen Bildes. Auf der Basis der relativen Lage des digitalen Bildes und des Referenzbildes kann die Auswerteeinrichtung 34 Pixel des digitalen Bildes entsprechenden Pixeln des Referenzbildes zuordnen. Jedem Pixel des Referenzbildes ist in dem verwendeten Farbraum eine Farbreferenzverteilung zugeordnet. Die Auswerteeinrichtung kann nun pixelweise, d.h. für einander zugeordnete Pixel der beiden Bilder als Abweichungskriterium prüfen, ob die Pixeldaten außerhalb der Farbreferenzvertei- lung liegen. Ist dies der Fall, gilt das Abweichungskriterium als erfüllt, sonst nicht. Die Farbreferenzverteilung kann insbesondere durch einen von einer Referenzfläche umschlossenen Bereich des Farbraums gegeben sein. Insbesondere kann zur Ermittlung der Abweichung bzw. zur Prüfung des Abweichungskriteriums ein Verfahren verwendet werden, wie es in der
WO 2008/058742 AI beschrieben ist, deren gesamter Inhalt hiermit durch Bezugnahme in die Beschreibung aufgenommen wird. Wird ein Pixel erkannt, dessen Pixeldaten das Abweichungskriterium erfüllen, wird es gekennzeichnet, indem wenigstens ein entsprechender Indikator gespeichert wird.
Weiter prüft die Auswerteeinrichtung 34, ob der Abstand zwischen eine Pixel und einem Fehlerpixel einen vorgegebenen Abstand nicht überschreitet. Bei dieser Prüfung wird als Längeneinheit die Länge der Seiten der Zellen des durch die Pixel gebildeten Quadratgitters verwendet. Als Abstand wird der Abstand der Mittelpunkte bzw. geometrischen Schwerpunkte der Zellen bzw. Pixel des Quadratgitters verwendet, deren Abstand zu ermitteln ist. Als vorgegebener Abstand wird im vorliegenden Ausführungsbeispiel ein Abstand von 5 Einheiten verwendet. Zunächst sucht die Auswerteeinrichtung 34 in Schritt S14.2 unter den Pixeln des digitalen Bildes ein Pixel, das das vorgegebene Abweichungskriterium erfüllt, aber noch nicht einer Menge von Fehlerpixeln zugeordnet ist In Schritt S14.3 wird geprüft, ob ein solches Pixel gefunden werden konnte. Hat die Auswerteeinrichtung 34 keines gefunden, wird der Schritt S14 beendet. Andernfalls bildet die Auswerteeinrichtung 34 In Schritt S14.4 eine neue Menge, der sie das gefundene Pixel als aktuelles, d.h. zuletzt der Menge zugeordnetes Fehlerpixel zuordnet. Zur Zuordnung von Pixeln wird dem Pixel eine Zahl zugeordnet, die die gefundenen Mengen identifiziert. In Schritt S14.5 sucht die Auswerteeinrichtung 34 dann unter denjenigen Pixeln des digitalen Bildes, die noch nicht einer Menge, also auch nicht der zuletzt gebildeten Menge, zugeordnet sind, ein Pixel, das das Abweichungskriterium erfüllt und dessen Abstand zu dem aktuellen, d.h. dem zuletzt der Menge zugeordneten Fehlerpixel den vorgegebenen Abstand nicht über- schreitet.
Im vorliegenden Ausfuhrungsbeispiel wird dazu das folgende Vorgehen verwendet, das in den Fig. 6 und 7 veranschaulicht ist. Um systematisch und schnell Pixel suchen zu können, die deren Abstand zu dem aktuellen Fehlerpixel den vorgegebenen Abstand nicht übersteigt, wird in diesem Ausführungsbeispiel ein Suchliste von Pixeln verwendet, die durch das aktuelle, d.h. das zuletzt der Menge zugeordnete Fehlerpixel und eine vorgegebenen Liste bzw. Reihenfolge von zu untersuchenden Pixeln bestimmt ist.
Die vorgegebene Liste wird im vorliegenden Beispiel dadurch erhalten, daß iterativ auf einer Strecke 56 von dem zuletzt der Menge zugeordneten Fehlerpixel 58 mit der Länge des vorgegebenen Abstands in einer gegebenen Suchrichtung ausgehend von dem dem zuletzt zugeordneten Fehlerpixel nächstliegenden Pixel auf der Strecke nach weiteren Pixeln auf der Strecke mit zunehmenden Abständen gesucht wird, und wenn keine Pixel gefunden werden, die Suchrichrung und die Strecke in einer vorgegebenen Suchrich- tung soweit gedreht werden, bis ein Pixel auf der gedrehten Strecke liegt und die Suchrichtung als neue gegebene Suchrichtung gewählt wird. Das Vorgehen ist in Fig. 6 und Fig. 7 veranschaulicht. Im vorliegenden Beispiel gilt ein Pixel als auf. der Strecke liegend, wenn ein vorgegebener Referenzpunkt des Pixels auf der Strecke liegt. Es wird dabei eine geordnete Liste von Relativkoordinaten erstellt, die in der Reihenfolge des Auffindens die Koordinaten des jeweils gefundenen Pixels relativ zu dem Fehlerpixel darstellt. Zur besseren Veranschaulichung der Reihenfolge wird im Beispiel den Relativkoordinaten jeweils eine natürliche Zahl zugeordnet, die die Stellung in der Liste bzw. Reihenfolge darstellt. Im Beispiel ist die der Mittelpunkt bzw. der geometrische Schwerpunkt des Pixels. Ausgehend von einem zuletzt der Menge zugeordneten Fehlerpixel in der Mitte der gezeigten Ausschnitts wird zunächst entlang einer von dem Fehlerpixel ausgehenden Strecke, deren Länge der vorgegebene Abstand, im Beispiel der Länge 5, ist und die in einer beliebigen vorgegebenen Richtung, im Beispiel in Richtung einer Zeile der Pixelanordnung des Bildes, d.h. der x-Achse, nach Pixeln gesucht, die auf der Strecke und liegen und deren Abstand zu dem zuletzt der Menge zugeordneten Fehlerpixel den vorgegebenen Abstand nicht überschreitet. Es werden also Pixel in zunehmenden Abständen vom dem zuletzt gefundenen Fehlerpixel gesucht. In Fig. 6 sind dies die Pixel mit den Nummern 1 bis 6. Die gefundenen Pixel bzw. deren Relativkoordinaten und die diesen zugeordneten Nummern werden der Liste hinzugefügt. Werden auf der Strecke in der aktuellen Lage bzw. Richtung keine weiteren Pixel gefunden, werden die folgenden Teilschritte werden iterativ durchgeführt, bzw. wiederholt, bis alle Pixel in einer Kreisscheibe mit dem Radius des vorgegebenen Abstands um den Referenzpunkt des zuletzt der Menge zugeordneten Fehlerpixels gefunden wurden, bzw. die Richtung der Strecke nach dem Weiterdrehen wieder in der vorgegebenen Richtung liegt. In einem ersten Teilschritt wird die Strecke in einer vorgegebenen Drehrichtung, im Beispiel gegen den Uhr- zeigersinn, solange gedreht, bis zum erstenmal wenigstens ein weiteres Pixel auf der Strecke liegt, dessen Relativkoordinaten mit einer entsprechenden Nummer der Liste hinzugefügt werden. Liegen nach der Drehung wenigstens zwei Pixel auf der Strecke wird zunächst das Pixel der Liste hinzugefügt, das dem zuletzt der Menge zugeordneten Fehlerpixel am nächsten ist In einem zweiten Teilschritt werden dann in Richtung zunehmender Abstände von dem zuletzt der Menge zugeordneten Fehlerpixel weitere Pixel auf der Strecke gesucht Werden solche gefunden, werden sie bzw. ihre Relativkoordinaten und eine Nummer entsprechend der Reihenfolge des Findens der Liste hinzugefügt. Werden auf der Strecke in der aktuellen Lage bzw. Richtung keine weiteren Pixel gefunden, wird der erste Teilschritt erneut durchgeführt Die so gefundene Liste ist in dem Speicher der Auswerteeinrichtung gespeichert, um bei dem Verfahren verwendet zu werden. In Fig. 6 ist die Reihenfolge der Pixel für einen vorgegebenen Abstand von 5 auf einem Quadratgitter durch in den Pixeln angegebene Zahlen dargestellt, Fig. 6 zeigt den entsprechenden Wert
Aus der gespeicherten Liste ergibt sich die Suchliste der zu durchsuchenden Pixel dadurch, daß zu den Relativkoordinaten der gespeicherten Liste jeweils die Koordinaten des zuletzt der Menge zugeordneten Fehlerpixels addiert werden. Die Pixel der Suchliste, d.h. die Pixel, deren Koordinaten in dieser Suchliste enthalten sind, weisen konstruktionsgemäß einen Abstand zu dem zuletzt der Menge zugeordneten Fehlerpixel auf, der den vorgegebenen Abstand nicht überschreitet. In Schritt 14.5 werden daher unter Verwendung der gespeicherten Liste die Pixel in der Reihenfolge der Liste bzw. der Suchliste durchsucht. Die Suchliste braucht dabei nicht unbedingt vorher erstellt zu werden, es genügt, daß die Koordinaten des als nächstes zu untersuchenden Pixels erst ermittelt werden, wenn die Prüfung des aktuellen Pixels abgeschlossen ist.
Die Pixel der Suchliste werden also in der Reihenfolge der Suchliste daraufhin überprüft, ob diese das Abweichungskriterium erfüllen und ob das Pixel noch nicht einer Menge zugeordnet wurde.
Wird in Schritt S14.6 ein solches Pixel gefunden, wird es in Schritt S14.7 der Menge als Fehlerpixel zugeordnet und als zuletzt der Menge zugeordnetes, d.h. aktuelles Fehlerpixel gesetzt. Andernfalls setzt die Auswerteeinrichtung das Verfahren mit Schritt S14.2 fort.
Auf diese Weise werden durch Ausführung des beschriebenen Verfahrens Mengen von Fehlerpixeln gefunden, deren Fehlerpixel zu jeweils wenigstens einem anderen Fehlerpixel der Menge einen Abstand aufweisen, der den vorgegebenen Abstand nicht überschreitet, und die das Abweichungskriterium erfüllen.
Nach Beendigung des Schritt S14 ermittelt die Auswerteeinrichtung in Schritt S16 die Anzahl der in Schritt S14 gefundenen Mengen und einen Wert für wenigstens eine vorgegebene Eigenschaft wenigstens einer der Mengen, im Beispiel einen Wert für zwei vorgegebenen Eigenschaften aller gefundenen Mengen. Im Beispiel wird für jede der gefundenen Mengen die Anzahl der Fehlerpixel und damit ein Maß für die Fläche mit Farbabweichungen entsprechend dem Abweichungskriterium ermittelt. Weiter wird für jede der Mengen der Quotient aus der Länge des Randes des durch Fehlerpixel gebildeten Gebiets bzw. der durch die Fehlerpixel gebildeten Gebiete und der Anzahl der Fehlerpixel gebildet. Zur F-irnitÜung des Randes werden Randfehlerpixel gesucht, d.h. Fehlerpixel, die wenigstens eine nächstbenachbartes Pixel aufweisen, das kein Fehlerpixel ist. Für jedes Randfehlerpixel werden dann zwei nächstbenachbarte Randfehlerpixel ermittelt und es wird zwischen dem Randfehlerpixel und den zwei nächstbenachbarten Randfehlerpixeln jeweils eine Linie gezogen. Die Länge des Randes ergibt sich aus der Summe der Linien für eine Menge.
In Abhängigkeit von der Anzahl und den Werten bildet die Auswerteein- richtung in Schritt S18 ein Signal und speichert einen Zustandswert, das bzw. der den Zustand des Wertdokuments charakterisiert. Der Zustandswert wird insbesondere als Funktion der Anzahl der Mengen, der Anzahl der Pixel der Mengen, und der ermittelten Quotienten berechnet. Beispielsweise wird ein Zustandswert für einen guten Zustand, der eine weitere Be- nutzung bzw. einen weiteren Umlauf zuläßt, ermittelt, wenn die größte Anzahl der Pixel der Mengen kleiner als ein vorgegebener erster Schwellwert ist oder die größte Anzahl der Pixel der Mengen größer als der erste und kleiner als ein vorgegebener zweiter Schwellwert ist und der Quotient für die Menge größer als ein dritter und kleiner als ein vierter Schwellwert ist
Dies ist in den Figuren 8a und 8b veranschaulicht. Diese zeigen das Aussehen von zweiten Wertdokumenten gleichen Typs mit unterschiedlichen Verschmutzungen. Ein Fleck 52 auf einem Wertdokument in Fig. 8a besitzt gemessen in Anzahl der Pixel dieselbe Fläche wie der gesprenkelte Fleck 54 auf dem Wertdokument desselben Typs in Fig. 8b. Verwendete man zur Bestimmung des Zustands nur die größte Menge von Fehlerpixeln, die unmittelbar benachbart sind, und ein Schwellwertkriterium für die maximale Anzahl der Fehlerpixel der Menge wäre je nach Schwellwert das Wertdoku- ment in Fig. 8a nicht umlauffähig, das in Fig. 8b aber doch, da in diesem nur kleine Flecken erkannt würden. Im vorliegenden Beispiel ist aber bei Berücksichtigung des Quotienten eine differenziertere Aussage möglich, wenn die Schwellwerte entsprechend gewählt sind. Ein zweites Ausführungsbeispiel unterscheidet sich von dem Ausführungsbeispiel nur dadurch, daß der in Fig. 4 veranschaulichte Schritt S14 durch einen in Fig. 9 veranschaulichten Schritt S141 ersetzt ist.
Der Schritt S141 wiederum unterscheidet sich von dem Schritt S14 nur darin, daß zum einen die Ermittlung der Pixel, die dem Abweichungskriterium genügen, in einem Schritt S14.11 zu Beginn des Schritts S14' durchgeführt wird, und als Folge hiervon der Schritt S14.2 durch den Schritt S14.21 und der Schritt S14.5 durch den Schritt S14.51 ersetzt sind. Die anderen Schritte sind unverändert, so daß die Erläuterungen zu diesen bei dem ersten Ausführungsbeispiel verwiesen werden kann. Die Auswerteeinrichtung des zweiten Ausführungsbeispiels ist entsprechend gegenüber der Auswerteeinrichtung des ersten Ausführungsbeispiels modifiziert, die Vorrichtung einschließlich der Auswerteeinrichtung ansonsten jedoch un- verändert.
In Schritt S14.11 wird systematisch für jedes Pixel des digitalen Bildes geprüft, ob dieses das im ersten Ausführungsbeispiel erwähnte Abweichungskriterium erfüllt. Ist dies der Fall, wird den Pixeldaten für das Pixel ein Indi- kator hinzugefügt, der anzeigt, daß das Pixel das Abweichungskriterium erfüllt.
Als Folge hiervon unterscheidet sich der Schritt S14.2' von dem Schritt S14.2 nur darin, daß bei der Suche nach einem noch keiner Menge zugeordneten Pixel, das das Anweichungskriterium erfüllt, das Kriterium selbst nicht mehr geprüft zu werden braucht, sondern bei der Suche nach dem Pixel nur geprüft wird, ob dessen Pixeldaten den Indikator enthalten. Analog unterscheidet sich der Schritt S14.5' von dem Schritt S14.5 darin, daß bei der Suche nach Pixeln, die noch keiner Menge zugeordnet sind und das Abweichungskriterium erfüllen und dessen Abstand zu dem aktuellen Fehlerpixel den vorgegebenen Abstand nicht überschreitet, die Erfüllung des Abweichungskriteriums geprüft wird, indem nur geprüft wird, ob die Pixel- daten den Indikator enthalten.
Ein drittes und viertes Ausfuhrungsbeispiel unterscheiden sich von dem ersten und zweiten Ausfuhrungsbeispiel nur dadurch, daß bei der Suche nach Mengen von Fehlerpixeln zunächst Gruppen von Fehlerpixeln gesucht wer- den, deren Fehlerpixel zu wenigstens einem anderen Fehlerpixel unmittelbar benachbart sind; im vorliegenden Beispiel einer Anordnung rechteckiger Pixel, die ein Quadratgitter bilden, bedeutet dies, daß jedes Fehlerpixel an wenigstens ein anderes Fehlerpixel der Menge angrenzt Die anderen Schritte sind unverändert, so daß die Erläuterungen zu diesen im ersten Ausfüh- rungsbeispiel auch hier gelten. Die Auswerteeinrichtung ist dann entsprechend der Auswerteinrichtung im ersten und zweiten Ausführungsbeispiel modifiziert, die Vorrichtung einschließlich der Auswerteeinrichtung jeweils ansonsten unverändert. Konkret ist im vierten Ausfuhningsbeispiel der Schritt S141 durch den Schritt S14" ersetzt, der in den Fig. 10a und 10b veranschaulicht ist
Zunächst führt die Auswerteeinrichtung den Schritt S14.11 wie im zweiten Ausführungsbeispiel durch.
Die Auswerteeinrichtung führt dann die Schritte S14.2" bis S14.4" aus, die wie die Schritte S14.21, S14.3 und S14.4 ausgeführt werden, außer daß statt der Mengen Gruppen gebildet werden. Allerdings wird in Schritt S14.3" in dem Fall, daß kein weiteres Pixel gefunden werden kann, der Schritt S14 nicht beendet, sondern mit Schritt S14.8" fortgesetzt.
Der Schritt S14.5" unterscheidet sich von dem Schritt S14.5' nur dadurch, daß die Auswerteeinrichtung nur nach das Abweichungskriterium erfüllenden Pixeln sucht, die zum einen noch nicht einer Gruppe statt einer Menge zugeordnet sind und zum anderen zu dem aktuellen Fehlerpixel unmittelbar benachbart sind, d.h. mit diesem eine gemeinsame Seite aufweisen.
Die Schritte S14.6" und S14.7" unterscheiden sich von den Schritten S14.6 und S14.7 nur dadurch, daß die Auswerteeinrichtung eine Zuordnung zu einer Gruppe statt einer Menge durchführt oder zu Schritt S14.2" bzw.
Schritt S14.5" springt.
Wird in Schritt S14.3" kein weiteres Pixel gefunden, bildet die Auswerteein- richtung in den folgenden Teilschritten des Schritts S14" aus den gefundenen Gruppen Mengen von Fehlerpixeln.
Zunächst sucht sie in Schritt S14.8" nach einer Gruppe, deren Fehlerpixel noch nicht einer Menge von Fehlerpixeln zugeordnet sind, wie sie im zwei- ten Ausführurigsbeispiel bestimmt ist, also Fehlerpixeln, die das Abweichungskriterium erfüllen, keiner anderen Menge zugeordnet sind und deren Abstand zu wenigstens einem anderen Fehlerpixel derselben Menge den vorgegebenen Abstand nicht überschreitet.
Findet die Auswerteinrichtung in Schritt S14.9" keine solche Gruppe (mehr), beendet sie der Schritt S14".
Andernfalls bildet sie in Schritt S1 .10" aus den Fehlerpixeln der Gruppe ei- ne neue Menge analog zu Schritt S14.4.
In der folgenden Schleife sucht die Auswerteeinrichtung zunächst in Schritt S14.ll" unter den gefundenen Gruppen, deren Fehlerpixel noch nicht einer Menge zugeordnet sind, eine, die die ein Fehlerpixel aufweist, dessen Ab- stand von wenigstens einem Fehlerpixel der Menge den vorgegebenen Abstand nicht überschreitet
Stellt die Auswerteeinrichtung in Schritt S14.12" fest, daß keine Gruppe gefunden wurde, springt sie zu Schritt S14.8" zurück.
Andernfalls ordnet sie in Schritt S14.13" die Fehlerpixel der gefundenen Gruppen der Menge zu.
In Schritt S14.ll" kann es genügen, beim Suchen der Gruppe nur zu prüfen, ob unter deren Randpixel, d.h. Fehlerpixel, die wenigstens ein Nachbarpixel aufweisen, das kein Fehlerpixel ist, eines einen Abstand zu einem Randpixel der aktuellen Menge aufweist, der den vorgegebenen Abstand nicht überschreitet. Ein fünftes Ausführungsbeispiel unterscheidet sich von dem ersten Ausfüh- rungsbeispiel dadurch, daß ein anderes Abweichungskriterium verwendet wird, ansonsten sind alle Schritte und Einrichtungen unverändert, so daß die Beschreibungen zu diesen unverändert auch hier gelten.
Das Abweichungskriterium hängt in diesem Ausführungsbeispiel zusätzlich von dem Abstand des Pixels von dem zuletzt der Menge zugeordneten Fehlerpixel ab. Im Beispiel kann dazu der durch die Referenzfläche umschlossene Bereich mit zunehmendem Abstand verkleinert, d.h. mit einem Skalierungsfaktor kleiner als 1 skaliert, werden, wobei dessen Lage im Farbraum aber unverändert bleibt. Beispielsweise kann der Skalierungsfaktor beginnend mit einem Wert 1 bei einem Abstand 1 linear auf einen Wert 0,75 bei einem Abstand von 5 abfallen.
Bei der Prüfung, ob ein Pixel in der Referenzverteilung liegt, wird dann der durch den mit dem Skalierungsf aktor, der dem Abstand des Pixels von dem zuletzt der Menge zugeordneten Fehlerpixel zugeordnet ist, skalierte Bereich verwendet.
Dieses Vorgehen hat den Vorteil, daß ungleichmäßige Flecken, beispielsweise Kaffeeflecken auf einem Wertdokument leichter als ein großer Fleck er- kannt werden. Bei eine konventionellen Verfahren würden unter Umständen zwei kleine, statt eines größeren Fleckens erkannt.

Claims

P a t e n t a n s p r ü c h e
1. Verfahren zur Untersuchung des optischen Zustande eines Wertdokuments auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments, wobei das digitale Bild Pixel umfaßt, in den Pixeln des digitalen Bildes Mengen von Fehlerpixeln gesucht werden, die jeweils dadurch gegeben sind, daß die Fehlerpixel ein vorgegebenes Abweichungskriterium für eine unzulässige Abweichung wenigstens einer vorgegebenen Pixeleigenschaft erfüllen und der Abstand jedes Fehlerpixels der jeweiligen Menge zu wenigstens einem anderen Fehlerpixel derselben Menge einen vorgegebenen Abstand nicht überschreitet, der größer ist als der Abstand unmittelbar benachbarter Pixel des digitalen Bildes, und
eine Anzahl beim Suchen gefundener Mengen und/ oder ein Wert für wenigstens eine Eigenschaft wenigstens einer der beim Suchen gefundenen Mengen ermittelt wird.
2. Verfahren nach Anspruch 1, bei dem zum Suchen einer Menge von Fehlerpixeln Fehlerpixel derart der Menge zugeordnet werden, daß für ein bereits der Menge zugeordnetes Fehlerpixel ein nächstes Fehlerpixel gesucht wird, das das Abweichungskriterium erfüllt und das der Menge noch nicht zugeordnet ist und dessen Abstand zu dem bereits zugeordneten Pixel den vorgegebenen Abstand nicht überschreitet, und bei Auffinden eines nächsten Fehlerpixels dieses der Menge zugeordnet wird.
3. Verfahren nach Anspruch 2, bei dem beim Suchen einer Menge das Suchen des nächsten Fehlerpixels und dessen Zuordnen wiederholt ausgeführt werden, wobei jeweils als das bereits der Menge zugeordnete Fehlerpixel das zuletzt der Menge zugeordnete Fehlerpixel verwendet wird.
4. Verfahren nach Anspruch 3, bei dem zum Suchen des nächsten Fehlerpixels jeweils ein Fehlerpixel in einer Suchliste von Pixeln gesucht wird, die wenigstens durch das zuletzt der Menge zugeordnete Fehlerpixel und den vorgegebenen Abstand oder durch das zuletzt der Menge zugeord- nete Fehlerpixel und eine vorgegebene Liste bestimmt ist.
5. Verfahren nach einem der Ansprüche 2 bis 4, bei dem zum Suchen des nächsten Fehlerpixels bis zum Finden eines Fehlerpixels Pixel in einer Reihenfolge geprüft werden, die dadurch erhältlich ist, daß iterativ auf einer Strecke von dem zuletzt zugeordneten Fehlerpixel mit der Länge des vorgegebenen Abstands in einer gegebenen Suchrichtung ausgehend von dem dem zuletzt zugeordneten Fehlerpixel nächstliegenden Pixel auf der Geraden nach weiteren Pixeln auf der Geraden mit zunehmenden Abständen gesucht wird, und wenn keine Pixel gefunden werden, die Suchrichtung und die Gerade in einer vorgegebenen Suchrichtung soweit gedreht werden, bis ein Pixel auf der gedrehten Geraden liegt und die Suchrichtung als neue gegebene Suchrichtung gewählt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem beim
Suchen der Mengen zunächst die Pixel ermittelt werden, die das Abweichungskriterium erfüllen, und danach nur in diesen Pixeln die Mengen von Fehlerpixel gesucht werden.
7. Verfahren nach einem der Ansprüche 1 bis 5, bei dem beim Suchen der Mengen ausgehend von einem Fehlerpixel einer Menge Pixel, deren Abstand zu dem Fehlerpixel den vorgegebenen Abstand nicht überschreiten, daraufhin überprüft werden, ob sie das Abweichungskriterium erfüllen.
8. Verfahren nach Anspruch 7, bei dem das Abweichungskriterium von dem Abstand zwischen dem Fehlerpixel und dem geprüften Pixel abhängt
9. Verfahren nach Anspruch 1, bei dem zum Suchen einer Menge von Fehlerpixeln zunächst Gruppen von Fehlerpixeln gesucht werden, die jeweils Fehlerpixel umfassen, die das Abweichungskriterium erfüllten und die unmittelbar benachbart sind, bei dem geprüft wird, ob der Abstand wenigstens eines Fehlerpixels einer der Gruppen von wenigstens einem Feh- lerpixel einer anderen der Gruppen, deren Fehlerpixel noch nicht einer Menge zugeordnet sind, den vorgegebenen Abstand nicht überschreitet, und wenn dies der Fall ist, die Fehlerpixel der beiden Gruppen derselben Menge zugeordnet werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Anzahl und/ oder der Wert zur Ermittlung eines den optischen Zustand darstellenden Wertes verwendet wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, bei dem als Ei- genschaft der Menge eine Funktion der Anzahl an Fehlerpixeln der Menge und der Länge einer Linie durch die Fehlerpixel der Menge, die deren Rand bilden, verwendet wird.
12. Verfahren zur Untersuchung des optischen Zustande eines Wertdoku- ments, bei dem
ein digitales Bild wenigstens eines vorgegebenen Bereichs des Wertdokuments erfaßt wird, wobei das digitale Bild Pixel umfaßt, und
das Verfahren nach einem der vorhergehenden Ansprüche mit dem digitalen Bild durchgeführt wird.
13. Auswerteeiririchturtg zur Untersuchung des optischen Zustande eines Wertdokuments auf der Basis eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments, wobei das digitale Bild Pixel umfaßt, wobei die Auswertvorrichtung eine Schnittstelle zum Empfang eines digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments aufweist und dazu ausgebildet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auf der Basis des mittels der Schnittstelle empfangenen digitalen Bildes wenigstens eines vorgegebenen Bereichs des Wertdokuments durchzuführen.
14. Vorrichtung zur Untersuchung des optischen Zustands eines Wertdokuments, mit
einem optischen Sensor zur Erfassung eines digitalen Bildes wenigstens eines Bereichs des Wertdokuments, und
einer Auswerteeinrichtung nach Anspruch 13, deren Schnittstelle über eine Signalverbindung mit dem Sensor verbunden ist, so daß ein von dem Sensor erfaßtes digitales Bild von der Auswerteeinrichtung empfangbar ist.
15. Computerlesbarer Datenträger mit Programmcode, der von einem Computer ausführbar ist, so daß der Computer ein Verfahren nach einem der Ansprüche 1 bis 11 ausführt
EP11801614.6A 2010-12-21 2011-12-20 Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten Active EP2656327B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010055427A DE102010055427A1 (de) 2010-12-21 2010-12-21 Verfahren und Vorrichtung zur Untersuchung des optischen Zustandes von Wertdokumenten
PCT/EP2011/006452 WO2012084210A1 (de) 2010-12-21 2011-12-20 Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten

Publications (2)

Publication Number Publication Date
EP2656327A1 true EP2656327A1 (de) 2013-10-30
EP2656327B1 EP2656327B1 (de) 2018-05-16

Family

ID=45406661

Family Applications (1)

Application Number Title Priority Date Filing Date
EP11801614.6A Active EP2656327B1 (de) 2010-12-21 2011-12-20 Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten

Country Status (4)

Country Link
US (1) US9547949B2 (de)
EP (1) EP2656327B1 (de)
DE (1) DE102010055427A1 (de)
WO (1) WO2012084210A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012016828A1 (de) * 2012-08-24 2014-02-27 Giesecke & Devrient Gmbh Verfahren und Vorrichtung zur Prüfung von Wertdokumenten
DE102014002273A1 (de) * 2014-02-19 2015-08-20 Giesecke & Devrient Gmbh Verfahren zum Untersuchen eines Wertdokuments und Mittel zur Durchführung des Verfahrens
CN111915792B (zh) * 2020-05-19 2022-06-07 武汉卓目科技有限公司 一种图像斑马线图文的识别方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8162125B1 (en) * 1996-05-29 2012-04-24 Cummins-Allison Corp. Apparatus and system for imaging currency bills and financial documents and method for using the same
WO2000026861A1 (en) * 1998-10-29 2000-05-11 De La Rue International Limited Method and system for recognition of currency by denomination
US6343204B1 (en) 1999-08-25 2002-01-29 Hewlett-Packard Company Detection and deterrence of counterfeiting of documents with tokens characteristic color and spacing
GB0106817D0 (en) * 2001-03-19 2001-05-09 Rue De Int Ltd Monitoring method
US20030081826A1 (en) * 2001-10-29 2003-05-01 Tokyo Seimitsu (Israel) Ltd. Tilted scan for Die-to-Die and Cell-to-Cell detection
DE10335660A1 (de) * 2003-08-04 2005-03-17 Siemens Ag Erkennen und Zählen von farbigen Objekten
US20050100204A1 (en) 2003-11-06 2005-05-12 Spectra Systems Corporation Method and apparatus for detecting fluorescent particles contained in a substrate
AT502810B1 (de) * 2005-11-17 2007-06-15 Arc Seibersdorf Res Gmbh Verfahren zur optischen prüfung von gegenständen
US20070140551A1 (en) * 2005-12-16 2007-06-21 Chao He Banknote validation
US8103087B2 (en) * 2006-01-20 2012-01-24 Hitachi High-Technologies Corporation Fault inspection method
FR2916678B1 (fr) * 2007-06-01 2021-07-16 Advanced Track & Trace Procede et dispositif de securisation de documents
DE102006053788A1 (de) * 2006-11-15 2008-05-21 Giesecke & Devrient Gmbh Verfahren zur Erkennung von Verschmutzungen im Bereich von Farbübergängen auf Wertdokumenten und Mittel zur Durchführung des Verfahrens
JP5174513B2 (ja) * 2008-04-03 2013-04-03 グローリー株式会社 紙葉類の汚れ検出装置及び汚れ検出方法
US7995196B1 (en) * 2008-04-23 2011-08-09 Tracer Detection Technology Corp. Authentication method and system

Also Published As

Publication number Publication date
US20130272598A1 (en) 2013-10-17
WO2012084210A1 (de) 2012-06-28
EP2656327B1 (de) 2018-05-16
DE102010055427A1 (de) 2012-06-21
US9547949B2 (en) 2017-01-17

Similar Documents

Publication Publication Date Title
EP2095341B1 (de) Verfahren zur erkennung von verschmutzungen und/oder farbabnutzungen im bereich von farbübergängen auf wertdokumenten und mittel zur durchführung des verfahrens
EP2625673B1 (de) Verfahren zum prüfen eines optischen sicherheitsmerkmals eines wertdokuments
DE102010055974A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Klassenreferenzdatensatzes für die Klassifizierung von Wertdokumenten
EP2761604B1 (de) Verfahren zum prüfen der herstellungsqualität eines optischen sicherheitsmerkmals eines wertdokuments
WO2013091855A1 (de) Verfahren und vorrichtung zur prüfung eines sicherheitsmerkmals eines wertdokuments
EP3108461B1 (de) Verfahren zum untersuchen eines wertdokuments und mittel zur durchführung des verfahrens
EP2656327B1 (de) Verfahren und vorrichtung zur untersuchung des optischen zustands von wertdokumenten
EP3111426B1 (de) Verfahren zum ermitteln eines sortierergebnisses für ein wertdokument und mittel zur durchführung des verfahrens
WO2011082792A1 (de) Verfahren zur prüfung von wertdokumenten
EP3050032B1 (de) Verfahren zum prüfen eines wertdokuments mit einem polymersubstrat und einem durchsichtsfenster und mittel zur durchführung des verfahrens
EP3084732A1 (de) Verfahren und vorrichtung zur bearbeitung von wertdokumenten
EP2795592A1 (de) Verfahren und vorrichtung zur bestimmung von klassifizierungsparametern für die klassifizierung von banknoten
DE102008049877A1 (de) Verfahren zum Auswerten von Korrelationsspektroskopiemessdaten
WO2011082793A1 (de) Verfahren zur prüfung von wertdokumenten
EP2656329B1 (de) Verfahren zur erzeugung eines digitalen bildes wenigstens eines abschnitts eines wertdokuments
WO2014029476A1 (de) Verfahren und vorrichtung zur prüfung von wertdokumenten
DE102012025417A1 (de) Verfahren zur Erkennung von Individualkennungen, insbesondere Seriennummern, auf Wertdokumenten und Mittel zur Durchführung des Verfahrens
DE102021002672A1 (de) Verfahren und Vorrichtung zum Prüfen von Wertdokumenten und Verfahren und Vorrichtung zum Erzeugen von Prüfparameter für das Prüfverfahren
EP1591961A1 (de) Feststellen der Nutzbarkeit von Fernerkundungsdaten
DE102010056540A1 (de) Verfahren und Vorrichtung zur Bearbeitung von Wertdokumenten
DE102008028250A1 (de) Kamerasystem für die Bearbeitung von Wertdokumenten

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20130722

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160819

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: GIESECKE+DEVRIENT CURRENCY TECHNOLOGY GMBH

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20171205

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1000239

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180615

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502011014199

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180816

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180816

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180817

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502011014199

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20190219

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181220

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20181231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181220

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20181231

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180516

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20111220

Ref country code: MK

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180516

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180916

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20201222

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20201217

Year of fee payment: 10

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20201231

Year of fee payment: 10

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 502011014199

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: MM

Effective date: 20220101

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20211220

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220101

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20211220

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220701

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230520

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: AT

Payment date: 20231214

Year of fee payment: 13