EP3158543B1 - Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes - Google Patents

Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes Download PDF

Info

Publication number
EP3158543B1
EP3158543B1 EP15728835.8A EP15728835A EP3158543B1 EP 3158543 B1 EP3158543 B1 EP 3158543B1 EP 15728835 A EP15728835 A EP 15728835A EP 3158543 B1 EP3158543 B1 EP 3158543B1
Authority
EP
European Patent Office
Prior art keywords
image
document
segment
document image
spatial position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
EP15728835.8A
Other languages
English (en)
French (fr)
Other versions
EP3158543A1 (de
Inventor
Andreas Hartl
Dieter Schmalstieg
Olaf Dressel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bundesdruckerei GmbH
Original Assignee
Bundesdruckerei GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bundesdruckerei GmbH filed Critical Bundesdruckerei GmbH
Publication of EP3158543A1 publication Critical patent/EP3158543A1/de
Application granted granted Critical
Publication of EP3158543B1 publication Critical patent/EP3158543B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/20—Testing patterns thereon
    • G07D7/2008—Testing patterns thereon using pre-processing, e.g. de-blurring, averaging, normalisation or rotation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07D—HANDLING OF COINS OR VALUABLE PAPERS, e.g. TESTING, SORTING BY DENOMINATIONS, COUNTING, DISPENSING, CHANGING OR DEPOSITING
    • G07D7/00—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency
    • G07D7/003—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements
    • G07D7/0032—Testing specially adapted to determine the identity or genuineness of valuable papers or for segregating those which are unacceptable, e.g. banknotes that are alien to a currency using security elements using holograms

Definitions

  • the present invention relates to the field of the detection of viewing angle-dependent features, in particular of holograms, on documents.
  • the disclosure document US 2009/154813 A1 shows a method and a device for validating a hologram which is comprised by a document.
  • US 2012/163666 A1 shows a method to verify the authenticity of a driver's license.
  • WO 92/01975 A1 shows a method for identifying a hologram.
  • WO 2010/116279 A1 is directed to an apparatus and method for automatic verification of polarization dependent images.
  • holograms are used for a large number of applications in order to enable the authenticity or authenticity of documents to be checked.
  • viewing angle-dependent features are applied to identification documents or bank notes in order to make copying of the documents more difficult.
  • Features that are dependent on the viewing angle can have representations that are dependent on the viewing angle.
  • a verification of a viewing angle-dependent feature for checking the authenticity or authenticity of a document can be carried out manually by a person.
  • the detection of the viewing angle-dependent feature of the document takes place visually by the person.
  • the viewing angle-dependent feature can then be verified visually by the person, for example by a visual comparison of the representations of the viewing angle-dependent feature with previously known reference representations. Detection and verification of a viewing angle-dependent feature by a person is usually very time-consuming.
  • the invention is based on the knowledge that the above object can be achieved by capturing images of the document in different spatial positions relative to the document and by determining an image difference between the captured images.
  • the viewing angle-dependent feature has different viewing angle-dependent representations in the images of the document.
  • image difference between the captured images image areas with strong optical changes can be efficiently assigned to the viewing angle-dependent feature.
  • the invention relates to a method for detecting a viewing angle-dependent feature of a document using an image camera, the viewing angle-dependent feature having viewing angle-dependent representations, with the image camera capturing a first image of the document in a first spatial position of the document relative to the image camera
  • the image camera captures a second image of the document in a second spatial position of the document relative to the image camera in order to obtain a second document image, and captures an image difference between the first document image and the second document image, to detect the viewing angle dependent feature of the document.
  • the viewing angle dependent feature can have viewing angle dependent representations and / or illumination angle dependent representations.
  • the document can be one of the following documents: an identity document such as an identity card, a passport, an access control badge, a
  • the document can furthermore comprise an electronically readable circuit, for example an RFID chip.
  • the document can have one or more layers and be paper and / or plastic-based.
  • the document can be constructed from plastic-based foils, which are joined together to form a card body by means of gluing and / or lamination, the foils preferably having similar material properties.
  • the first spatial position of the document relative to the image camera can include an arrangement and / or inclination of the document relative to the image camera.
  • the first spatial position can comprise a pose with six degrees of freedom, three degrees of freedom being associated with the arrangement, and three degrees of freedom being associated with the inclination, for example including a translation and a rotation.
  • the second spatial position of the document relative to the image camera can include an arrangement and / or inclination of the document, for example comprising a translation and a rotation, relative to the image camera.
  • the second spatial position can comprise a pose with six degrees of freedom, three degrees of freedom being associated with the arrangement, and three degrees of freedom being associated with the inclination, for example including a translation and a rotation.
  • the first document image can be a color image or a grayscale image.
  • the first document image can include a plurality of pixels.
  • the second document image can be a color image or a grayscale image.
  • the second document image can include a plurality of pixels.
  • the first document image and the second document image can form an image stack.
  • the image difference between the first document image and the second document image can be detected on the basis of the plurality of pixels of the first document image and the plurality of pixels of the second document image.
  • the method comprises capturing a plurality of images of the document by the image camera in different spatial positions of the document relative to the image camera, the capturing of the first image of the document selecting the first image from the plurality of images in the first Comprises spatial position, and wherein the capturing of the second image of the document comprises selecting the second image from the plurality of images in the second spatial position.
  • the acquisition of the plurality of images of the document can include determining a respective spatial position on the basis of a respective image.
  • the respective spatial positions can be compared with the first spatial position in order to select the first image from the plurality of images.
  • the respective spatial positions can be compared with the second spatial position in order to select the second image from the plurality of images.
  • the first spatial position and the second spatial position can be predetermined.
  • capturing the first image of the document further includes a perspective rectification of the first document image on the basis of the first spatial position
  • capturing the second image of the document further comprises a perspective rectification of the second document image on the basis of the second spatial position.
  • a rectangular first document image By rectifying the perspective of the first document image, a rectangular first document image can be provided. By rectifying the perspective of the second document image, a rectangular second document image can be provided.
  • the perspective rectification of the first document image can include scaling of the first document image.
  • the perspective rectification of the second document image can include scaling of the second document image.
  • the method further comprises determining the first spatial position of the document relative to the image camera on the basis of the first document image and / or determining the second spatial position of the document relative to the image camera based on the second document image.
  • the determination of the first spatial position and the determination of the second spatial position can include determining a respective homography.
  • the respective spatial position is determined by means of an edge detection. This has the advantage that the respective spatial position can be efficiently determined relative to rectangular documents.
  • the edge detection can include the detection of lines, rectangles, parallelograms or trapezoids in the first document image and / or in the second document image. Edge detection can be performed using a Hough transform.
  • the respective document image is low-pass filtered for noise reduction. This has the advantage that the image difference can be detected efficiently.
  • the low-pass filtering can be carried out using a windowed mean value filter or a windowed Gaussian filter.
  • the low-pass filtering can further include determining a respective integral image of the respective document image, wherein the low-pass filtering can be carried out using the respective integral image.
  • the first document image is compared with the second document image in order to determine an alignment of the first document image in relation to the second document image, the first document image and the second document image being aligned in relation to one another on the basis of the determined alignment.
  • Comparing the first document image with the second document image can include extracting and comparing image features of the first document image and the second document image.
  • the image features can be, for example, BRISK image features or SURF image features.
  • determining the image difference between the first document image and the second document image comprises determining a difference image on the basis of the first document image and the second document image, the difference image indicating an image difference between the first document image and the second document image.
  • the difference image can be a grayscale image.
  • the difference image may include a plurality of pixels.
  • the difference image can also be assigned to an image stack.
  • a mean value is determined from a first pixel value of a pixel of the first document image and a second pixel value of a pixel of the second document image, a first deviation of the first pixel value from the mean value being determined, a second deviation of the second pixel value from the mean value being determined and wherein the image difference is detected on the basis of the first deviation and the second deviation.
  • the first pixel value and / or the second pixel value can be grayscale values.
  • the mean value can be an arithmetic mean or a median.
  • the deviation can be a quadratic deviation or an absolute deviation.
  • a first document image mask is determined on the basis of the first document image, a second document image mask being determined on the basis of the second document image, and the image difference being detected on the basis of the first document image mask and the second document image mask.
  • the first document image mask can have pixels with binary-valued pixel values in order to display valid and invalid pixels of the first document image.
  • the second document image mask can have pixels with binary-valued pixel values in order to display valid and invalid pixels of the second document image.
  • the respective document image mask displays pixels of the respective document image which can be used to detect the image difference. This has the advantage that only valid pixels of the respective document image are used to detect the image difference.
  • a pixel of a respective document image can be invalid, for example, if the pixel is assigned to an area of the document which was incompletely captured.
  • the image difference is segmented into a plurality of image segments, the viewing angle-dependent feature of the document being detected on the basis of at least one image segment of the plurality of image segments.
  • image segments can be used to detect the viewing angle-dependent feature.
  • the image difference can be indicated by a difference image, the difference image being segmented into the plurality of image segments.
  • the segmentation can be carried out by means of a pixel-oriented image segmentation method, an edge-oriented image segmentation method, an area-oriented image segmentation method, a model-oriented image segmentation method, or a texture-oriented image segmentation method.
  • the image segmentation method can include, for example, a maximally stable extremal regions (MSER) method or a mean shift method.
  • the image segments can be contiguous image segments.
  • an image segment dimension is determined for an image segment of the plurality of image segments, the determined image segment dimension being compared with a predetermined image segment dimension in order to qualify the image segment for the detection of the viewing angle-dependent feature.
  • the image segment dimension can be an area of the image segment, an aspect ratio of the image segment, a compactness of the image segment, a pixel value of a pixel of the image segment, or a homogeneity dimension of the image segment.
  • an image segment of the plurality of image segments is assigned a first document image segment of the first document image and a second document image segment of the second document image, the first document image segment being compared with the second document image segment in order to qualify the image segment for the detection of the viewing angle-dependent feature.
  • the comparison of the first document image segment with the second document image segment is carried out by means of a normalized cross-correlation.
  • the image segment is qualified for the detection of the viewing angle-dependent feature if the first document image segment and the second document image segment are different.
  • the viewing angle-dependent feature comprises a hologram or a printing ink with viewing angle-dependent reflection properties or absorption properties. This has the advantage that the viewing angle-dependent feature can be easily implemented with viewing angle-dependent representations.
  • the invention relates to a mobile device according to claim 10 for detecting a viewing angle-dependent feature of a document, the viewing-angle-dependent feature having viewing-angle-dependent representations, with an image camera which is designed to take a first image of the document in a first spatial position of the document relative to the To capture image camera in order to obtain a first document image, and to capture a second image of the document in a second spatial position of the document relative to the image camera in order to obtain a second document image, and a processor, which is designed, an image difference between the first Capture document image and the second document image in order to detect the viewing angle-dependent feature of the document.
  • This has the advantage that an efficient concept for detecting a viewing angle-dependent feature of a document can be implemented.
  • the mobile device can be a mobile phone or a smartphone.
  • the imaging camera can be a digital imaging camera.
  • the processor can execute a computer program.
  • the mobile device can also have an illumination device for illuminating the document.
  • the lighting device can be an LED lighting device.
  • the method can be carried out by means of the mobile device. Further features of the mobile device result directly from the functionality of the method.
  • the invention relates to a computer program according to claim 11 with a
  • Program code for carrying out the method when the computer program is executed on a computer This has the advantage that the method can be carried out in an automated and repeatable manner.
  • the computer program can be in machine-readable form.
  • the program code can comprise a sequence of instructions for a processor.
  • the computer program can be executed by the processor of the mobile device.
  • the invention can be implemented in hardware and / or software.
  • Fig. 1 shows a diagram of a method 100 for detecting a viewing angle-dependent feature of a document according to an embodiment.
  • the method 100 is performed using an image camera.
  • the viewing angle dependent feature has viewing angle dependent representations.
  • the method 100 comprises capturing 101 a first image of the document by the image camera in a first spatial position of the document relative to the image camera in order to obtain a first document image, capturing 103 a second image of the document by the image camera in a second spatial position of the document relative to the image camera in order to obtain a second document image, and detecting 105 an image difference between the first document image and the second document image in order to detect the feature of the document which is dependent on the viewing angle.
  • the viewing angle dependent feature can have viewing angle dependent representations and / or illumination angle dependent representations.
  • the document can be one of the following documents: an identity document, such as an identity card, a passport, an access control card, an authorization card, a company ID, a tax code, a ticket, a birth certificate, a driver's license, a vehicle ID card, or a means of payment, for example a Bank card or credit card.
  • the document can furthermore comprise an electronically readable circuit, for example an RFID chip.
  • the document can have one or more layers and be paper and / or plastic-based.
  • the document can be constructed from plastic-based films, which become a Card bodies are joined together by means of gluing and / or lamination, the foils preferably having similar material properties.
  • the first spatial position of the document relative to the image camera can include an arrangement and / or inclination of the document, for example comprising a translation and a rotation, relative to the image camera.
  • the first spatial position can comprise a pose with six degrees of freedom, three degrees of freedom being associated with the arrangement, and three degrees of freedom being associated with the inclination.
  • the second spatial position of the document relative to the image camera can include an arrangement and / or inclination of the document relative to the image camera.
  • the second spatial position can comprise a pose with six degrees of freedom, three degrees of freedom being associated with the arrangement, and three degrees of freedom being associated with the inclination.
  • the first document image can be a color image or a grayscale image.
  • the first document image can include a plurality of pixels.
  • the second document image can be a color image or a grayscale image.
  • the second document image can include a plurality of pixels.
  • the first document image and the second document image can form an image stack.
  • the image difference between the first document image and the second document image can be detected on the basis of the plurality of pixels of the first document image and the plurality of pixels of the second document image.
  • Fig. 2 shows a diagram of a mobile device 200 for detecting a viewing angle-dependent feature of a document according to an embodiment.
  • the viewing angle dependent feature has viewing angle dependent representations.
  • the mobile device 200 comprises an image camera 201 which is designed to capture a first image of the document in a first spatial position of the document relative to the image camera in order to obtain a first document image, and a second image of the document in a second spatial position of the document relative to the image camera to obtain a second document image, and a processor 203 which is configured to detect an image difference between the first document image and the capture second document image in order to detect the viewing angle-dependent feature of the document.
  • the mobile device 200 can be a cell phone or a smartphone.
  • the image camera 201 can be a digital image camera.
  • the processor 203 can execute a computer program.
  • the image camera 201 can be connected to the processor 203.
  • the mobile device 200 can furthermore have an illumination device for illuminating the document.
  • the lighting device can be an LED lighting device.
  • the method 100 can be carried out by means of the mobile device 200. Further features of the mobile device 200 result directly from the functionality of the method 100.
  • Fig. 3 shows a diagram of a method 100 for detecting a viewing angle-dependent feature of a document according to an embodiment.
  • the method 100 comprises a sequence of steps 301 and a sequence of steps 303.
  • the sequence of steps 301 is carried out for each captured image.
  • the sequence of steps 303 is carried out once per document.
  • the step sequence 301 comprises a step 305 of image selection, a step 307 of registration of an image, and a step 309 of spatial filtering of the image.
  • a plurality of captured images and a plurality of specific spatial positions are processed by the sequence of steps 301 in order to provide an image stack.
  • the step sequence 303 comprises a step 311 of generating a difference image and a step 313 of segmenting and filtering.
  • the image stack is processed by the sequence of steps 303 to provide the location of the features.
  • the diagram consequently shows step sequences 301, 303 which can be carried out for a detection of a viewing angle-dependent feature, for example a hologram, per image and per document, as well as an evaluation of the image stack.
  • a viewing angle-dependent feature for example a hologram
  • a mobile device for example a standard smartphone.
  • an image stack with images of the document can be built up and evaluated in order to automatically determine the position and size of the viewing angle-dependent features of the document determine.
  • An automatic detection of both the existence and the position of viewing angle-dependent features on a document can be carried out using a mobile augmented reality (AR) arrangement.
  • AR augmented reality
  • Documents are usually made of paper or cardboard and are rectangular in shape. For reasons of robustness and efficiency, flat areas of documents are mainly considered. Capturing such documents with a mobile device can be a challenging task due to varying personal data on the document, due to changes in the viewing angle, due to the lighting, due to unexpected user behavior, and / or due to limitations of the image camera. Consequently, several captured images should be evaluated with regard to robustness, which can be achieved using a mobile augmented reality (AR) arrangement.
  • AR augmented reality
  • a suitable document template can be generated, which can be used for image-to-image tracking or for a dedicated registration step. This can be based on an algorithm for the detection of perspective distorted rectangles, and executed in real time on a mobile device, and thus serve as a basic building block.
  • the user can be requested to arrange an image camera of the mobile device in front of a document or object and to trigger the detection.
  • an edge image can be calculated, for example using a Canny edge detector with an automatic threshold value selection.
  • Image areas with text-like structures can be filtered in order to remove noise, followed by the detection of lines, for example using a Hough transform.
  • the detected lines can be grouped according to their rough direction.
  • An initial hypothesis for a rectangular area can be formed by considering pairs of line bundles which, for example, can comprise a total of four lines.
  • a final ordered list of rectangle hypotheses can be generated by calculating a support function on an extended edge image.
  • the top candidate of the list can be selected and a homography can be calculated to produce a corrected representation.
  • the dimensions of the rectified image can be determined by averaging the pixel width and / or height of the selected hypothesis.
  • the rectified image can be used to generate a planar tracking template which can be represented as an image pyramid at runtime and which can be tracked using natural image features.
  • a Harris corner detector and normalized cross correlation (NCC) can be used to match image areas across subsequent images and to establish homography between the current image and the rectified image or tracking template.
  • a movement model can be used to estimate and predict the movement of the image camera, and thus to save computing resources.
  • the algorithm can be executed in real time on mobile devices, for example standard smartphones, and can provide a complete spatial position or pose with six degrees of freedom (6DOF) for each captured image.
  • 6DOF degrees of freedom
  • the arrangement has the advantage that it allows interaction with previously unknown documents with any personal data.
  • knowledge of a current viewing angle can be advantageous, as it can allow working with rectified images and controlling image acquisition.
  • the algorithm comprises three main parts to generate an image stack: step 305 of image selection, step 307 of rectification and / or registration, and step 309 of spatial filtering.
  • the image selection in step 305 can be carried out as follows.
  • the image stack should include a plurality of images with spatial positions which use the variability of the viewing angle-dependent feature in the best possible way. For inexperienced users, this task can be challenging. Therefore, the task of image selection, in favor of repeatability and a reduced cognitive load, should not be carried out by the user.
  • the specific poses can be used to automatically select images based on a 2D orientation map.
  • the visibility and the similarity to the template can be taken into account in order to select suitable images.
  • the equalization or registration in step 307 can be carried out as follows. For each image that passes the selection step, an estimated homography from the tracking spatial location can be used to generate a rectified image. A complete set of images can thus form a stack of images of the same size. Basically, the document tracking algorithm can be robust and can successfully track the document over a wide range of angles. However, parts of the document can move out of the current camera image and the images can have perspective distortions. The rectified images can therefore be incomplete and / or not ideally aligned.
  • the alignment can be adapted using image feature extraction, windowed matching and / or homography estimation. However, this can reduce the frame rate, which may not be desirable. Since images are continuously captured and provided by the image camera, unsuitable rectified or registered images can be discarded using an NCC rating, which can be more computationally efficient. Because of the real-time tracking, this can be an efficient way to automatically select images.
  • the spatial filtering in step 309 can be performed as follows. Each new layer that is placed on the stack of rectified images can be spatially filtered in order to better deal with noise and remaining inaccuracies in the registration.
  • a windowed mean value filter which can be based on an integral image calculation, can be used for this task. Incomplete image information, for example undefined and / or black areas during rectification, can be taken into account by capturing valid image areas that are used during filtering using a second mask.
  • the spatial filtering in step 309 can be performed using a predetermined window size, for example 3x3 pixels.
  • the algorithm for processing the image stack comprises two main parts: the step 311 of generating a difference image by statistical-based evaluation and the step 313 of segmenting and searching for a mode to generate a final detection result.
  • an optional verification step can be carried out which can use NCC calculations on the estimated position of the viewing angle-dependent feature between rectified or registered images of the image stack in order to discard false-positive detections.
  • the generation of the difference image in step 311 can be carried out as follows.
  • the image stack can be interpreted as a time sequence for each position (x, y).
  • the degree of change can be assessed by calculating a suitable deviation measure with respect to a model m at the position (x, y) over the entire image stack, whereby document image masks, which can be determined in the previous step, can be taken into account.
  • an intermediate display for signs of viewing angle dependency can be provided, which can also be referred to as a difference image.
  • the viewing angle-dependent feature is a hologram and the difference image is a hologram map.
  • L (x, y) can denote the number of image stack layers which contain valid pixel values for the position (x, y) corresponding to the document image masks, where v I (x, y) can denote a pixel value in layer I.
  • v I (x, y) can denote a pixel value in layer I.
  • the segmentation and filtering in step 313 can be performed as follows. Dominant spatial peaks within the image difference or the difference image and adjacent image areas with large changes of comparable value or amount should be localized. Hence, this constitutes a Image segmentation task, whereby the choice of the image segmentation method can influence both the quality and the running time.
  • the use of a global threshold value may not be sufficient in certain cases. Then locally calculated threshold values can be used, which can additionally be adapted using global information. In order to save running time, integral images can be used for the filtering.
  • the calculated areas can then be filtered to reduce the number of false positives. Criteria relating to a minimum area, an aspect ratio, and a compactness can be used together with a minimum pixel value and / or a homogeneity for the area obtained.
  • the process of detecting a viewing angle-dependent feature can include detecting the document and moving a mobile device with an image camera or moving the document and capturing images of the document and associated spatial positions. This data can then be processed and analyzed by the algorithm.
  • a lighting device of the mobile device can be switched on or off. The lighting device can be advantageous in order to capture all relevant representations of the viewing angle-dependent feature.
  • the image stack can be generated and updated for each image.
  • the generation and evaluation of the difference image with an optional validation step can then be carried out.
  • the viewing angle-dependent feature of the document After the viewing angle-dependent feature of the document has been successfully detected, the viewing angle-dependent feature can be highlighted in an image using a surrounding frame or box in the corresponding position.
  • Real-time tracking of the document can be used to obtain registered images from a variety of angles. In this case, only the difference image can be segmented in order to obtain possible image areas which can then be validated. This enables a process to be implemented which can be easily integrated into existing applications for verification of documents.
  • Fig. 4 shows a diagram of a detection scenario for detecting a viewing angle-dependent feature 402 of a document 401 according to an embodiment.
  • the diagram shows the acquisition of a plurality of images of the document 401 from different spatial positions.
  • a first document image 403 is captured in a first spatial position, a second document image 405 in a second spatial position, a third document image 407 in a third spatial position, and an Nth document image 409 in an Nth spatial position.
  • Fig. 5 shows a diagram of a plurality of captured images of the document according to an embodiment.
  • a first document image 403 from a first spatial position, a second document image 405 from a second spatial position, a third document image 407 from a third spatial position, and an Nth document image 409 from an Nth spatial position are shown one above the other in the form of an image stack.
  • the first document image 403, the second document image 405, the third document image 407, and the N-th document image 409 are displayed together with respective document image masks.
  • the document can be tracked, with a plurality of images of the document being able to be captured from different spatial positions. On the basis of an estimated spatial position or homography, each document image can be rectified and placed on the image stack. The captured document images can be rectified and can have a predetermined resolution.
  • FIG. 6 shows a surface diagram 600 of a difference image according to an embodiment.
  • the surface diagram 600 shows pixel values of the difference image as a function of a position (x, y) for a document.
  • FIG. 10 shows a diagram 701 of a difference image and a contour diagram 703 of a segmented difference image according to an embodiment.
  • the diagram 701 shows pixel values of the difference image as a function of a position (x, y) for a document.
  • the diagram 701 corresponds to a scaled intensity image.
  • Fig. 8 shows contour diagrams 801, 803, 805, 807 with image segments for a plurality of captured images of a document according to one embodiment.
  • the plurality of captured images include a first document image 403, a second document image 405, a third document image 407, and an N-th document image 409.
  • the contour diagrams 801 are assigned to the first document image 403.
  • the contour diagrams 803 are assigned to the second document image 405.
  • the contour diagrams 805 are assigned to the third document image 407.
  • the contour diagrams 807 are assigned to the Nth document image 409.
  • MSER Maximally Stable Extremal Regions
  • mean-shift a method for reducing the influence of reflections on the document.
  • a highlight detector can also be used and inpainting can also be carried out.
  • the majority of the captured images or the image stacks can be analyzed in more detail.
  • the contour diagrams 801, 803, 805, 807 show a segmentation of an image stack, for example with one slice.
  • the document images 403, 405, 407, 409 are shown in the top row.
  • the middle row shows image segments, which for example can be determined using an MSER method.
  • the bottom row shows image segments that are determined, for example, by means of the MSER method, with modified images of the document, for example using highlight detection and / or inpainting, being the basis.
  • An approach for the automatic detection of a viewing angle-dependent feature of a document can thus be implemented using a mobile device.
  • Previously unknown documents can be detected and tracked.
  • the position of one or more viewing angle-dependent features, if any, can be determined automatically.
  • the detection of viewing angle-dependent features can represent a first step towards automated testing and verification of viewing-angle-dependent features.
  • the viewing angle-dependent features can be embedded features.
  • Fig. 9 shows a diagram 900 of a plurality of spatial positions for capturing a plurality of images of the document according to an embodiment.
  • the diagram 900 comprises a 2D orientation map for capturing the images of the document and / or for monitoring the capturing of the images of the document from different angles.
  • Predetermined spatial positions for capturing images of the document are highlighted by dots.
  • the predetermined spatial positions can correspond to an azimuth and an elevation of the document relative to an image camera.
  • the predetermined spatial positions can be defined in a quantized and / or discretized manner.
  • Features that are dependent on the viewing angle can change their representations depending on the viewing direction and lighting direction of existing light sources in the environment.
  • Features that are dependent on the viewing angle can be delimited from the environment in the document and / or have a limited extent in the document.
  • a local change in the appearance with regard to the viewing angle can be used to detect features that are dependent on the viewing angle.
  • the document should be recorded from different angles. Therefore a mobile augmented reality (AR) arrangement can be used for image acquisition.
  • AR augmented reality
  • the area of the document should first be detected.
  • a document image or a rectified document image can then be transferred to a tracking algorithm. This means that information on the spatial position can be made available in each individual document image. Neglecting a rotation around a line of sight, the acquisition of the images can be controlled with an orientation map, which can indicate an angle to the x-axis and to the y-axis. This can be filled depending on the current spatial position or pose and ensure that the document is viewed from different angles.
  • the extraction of the document can then be carried out by rectification using the specific spatial position of the tracker. An image stack with rectified and / or registered images can thus be formed.
  • a check can also be carried out using a normalized cross-correlation.
  • a model can be formed from the image stack (m 0 , m 1 ).
  • the deviations can be fused using each layer of the image stack by means of a deviation measure (e 0 , e 1 ) to form a difference image, for example in the form of a hologram card.
  • This difference image characterizes the document with regard to the position and extent of viewing angle-dependent features. Segmentation can then be carried out in order to obtain a set of image segments.
  • the filtered and validated image segments can represent the result of the detection.
  • the verification and / or validation of the image segments can reduce the number of false-positive detected viewing angle-dependent features.
  • a respective image segment can be extracted from each slice of the image stack.
  • Each image segment or patch is then compared with the other image segments or patches using a normalized cross correlation (NCC) and classified as a match or deviation using a threshold value th ncc. If the relative proportion is above a threshold value th validation , it can be assumed that the current image segment exhibits sufficient visual changes when the viewing angle changes.
  • NCC normalized cross correlation
  • each slice of the image stack can be segmented individually, for example using the Maximally Stable Extremal Regions (MSER) method. Sequences of image segments, which can be approximately spatially constant, can be extracted from the image segments obtained. Each sequence can then be viewed, segmented, filtered and validated as an individual difference image, for example in the form of a hologram card.
  • MSER Maximally Stable Extremal Regions
  • a segmentation of the difference image using local adaptive thresholding with automatic selection of a suitable window size can be used to improve the scaling invariance.
  • the determined image segment can be used in the filtering instead of a respective delimiting rectangle.
  • the peaks in the difference image determined in the previous step can be characterized by a comparison with the immediate surroundings in the difference image. This means that the verification or validation step using a normalized cross-correlation (NCC) can be omitted, depending on the application.
  • NCC normalized cross-correlation
  • holograms can be detected on unknown documents without reference information being available by means of a mobile device. It is thus achieved that a detection of a viewing angle-dependent feature can also be carried out without knowledge of the document type or the document layout.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Description

  • Die vorliegende Erfindung betrifft das Gebiet der Detektion blickwinkelabhängiger Merkmale, insbesondere von Hologrammen, auf Dokumenten.
  • Die Offenlegungsschrift US 2009/154813 A1 zeigt ein Verfahren und eine Vorrichtung zum Validieren eines Hologramms, welches von einem Dokument umfasst ist.
  • Die Offenlegungsschrift US 2012/163666 A1 zeigt ein Verfahren, um die Authentizität eines Führerscheins zu verifizieren.
  • Die Druckschrift "BROWN L G: "A SURVEY OF IMAGE REGISTRATION TECHNIQUES", ACM COMPUTING SURVEYS, ACM, NEW YORK, NY, US, US, Bd. 24, Nr. 4, 1. Dezember 1992 (1992-12-01), Seiten 325-376, XP000561460, ISSN: 0360-0300, DOI: 10.1145/146370.146374" gibt eine Übersicht von verschiedenen Bildregistrierungstechniken an.
  • Die Offenlegungsschrift WO 92/01975 A1 zeigt ein Verfahren zur Identifizierung eines Hologramms.
  • Die Offenlegungsschrift US 2005/129282 A1 zeigt ein Verfahren zur Verifikation eines Hologramms.
  • Die Offenlegungsschrift WO 2010/116279 A1 ist auf eine Vorrichtung und ein Verfahren für eine automatische Verifikation von polarisationsabhängigen Bildern gerichtet.
  • Blickwinkelabhängige Merkmale, beispielsweise Hologramme, werden für eine Vielzahl von Anwendungen eingesetzt, um eine Prüfung einer Echtheit oder Authentizität von Dokumenten zu ermöglichen. Beispielsweise werden blickwinkelabhängige Merkmale auf Identifikationsdokumenten oder Banknoten aufgebracht, um ein Kopieren der Dokumente zu erschweren. Blickwinkelabhängige Merkmale können dabei blickwinkelabhängige Darstellungen aufweisen.
  • Eine Verifikation eines blickwinkelabhängigen Merkmals zur Prüfung der Echtheit oder Authentizität eines Dokumentes kann manuell durch eine Person durchgeführt werden.
  • Die Detektion des blickwinkelabhängigen Merkmals des Dokumentes erfolgt dabei visuell durch die Person. Anschließend kann das blickwinkelabhängige Merkmal visuell durch die Person verifiziert werden, beispielsweise durch einen visuellen Vergleich der Darstellungen des blickwinkelabhängigen Merkmals mit vorbekannten Referenzdarstellungen. Eine Detektion und Verifikation eines blickwinkelabhängigen Merkmals durch eine Person ist üblicherweise sehr zeitintensiv.
  • Zur Verifikation eines blickwinkelabhängigen Merkmals eines Dokumentes ist daher ein Einsatz elektronischer Assistenzsysteme von besonderem Interesse. Hierfür ist es wünschenswert, eine Detektion des blickwinkelabhängigen Merkmals des Dokumentes in automatisierter Weise durchzuführen.
  • In A. Hartl, J. Grubert, D. Schmalstieg, und G. Reitmayr, "Mobile interactive hologram verification", in ISMAR, Seiten 75 - 82, 2013, ist ein Ansatz zur mobilen Verifikation von Hologrammen beschrieben.
  • In A. Hartl, und G. Reitmayr, "Rectangular target extraction for mobile augmented reality applications", in Proceedings of the International Conference on Pattern Recognition, Seiten 81 - 84, 2012, ist ein Ansatz zur Extraktion rechteckförmiger Objekte beschrieben.
  • Es ist daher die Aufgabe der vorliegenden Erfindung, ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes zu schaffen.
  • Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungsformen sind Gegenstand der abhängigen Patentansprüche, der Beschreibung sowie der Zeichnungen.
  • Die Erfindung basiert auf der Erkenntnis, dass die obige Aufgabe durch ein Erfassen von Bildern des Dokumentes in unterschiedlichen Raumlagen relativ zu dem Dokument und durch ein Bestimmen eines Bildunterschiedes zwischen den erfassten Bildern gelöst werden kann. Durch das Erfassen der Bilder des Dokumentes in unterschiedlichen Raumlagen wird erreicht, dass das blickwinkelabhängige Merkmal in den Bildern des Dokumentes unterschiedliche blickwinkelabhängige Darstellungen aufweist. Durch das Bestimmen des Bildunterschieds zwischen den erfassten Bildern, können Bildbereiche mit starken optischen Veränderungen effizient dem blickwinkelabhängigen Merkmal zugeordnet werden.
  • Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung einer Bildkamera, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einem Erfassen eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, einem Erfassen eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und einem Erfassen eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes realisiert werden kann.
  • Das blickwinkelabhängige Merkmal kann blickwinkelabhängige Darstellungen und/oder beleuchtungswinkelabhängige Darstellungen aufweisen.
  • Das Dokument kann eines der folgenden Dokumente sein: ein Identitätsdokument, wie beispielsweise ein Personalausweis, ein Reisepass, ein Zugangskontrollausweis, ein
  • Berechtigungsausweis, ein Unternehmensausweis, ein Steuerzeichen, ein Ticket, eine Geburtsurkunde, ein Führerschein, ein Kraftfahrzeugausweis, oder ein Zahlungsmittel, beispielsweise eine Bankkarte oder eine Kreditkarte. Das Dokument kann ferner einen elektronisch auslesbaren Schaltkreis, beispielsweise einen RFID-Chip umfassen. Das Dokument kann ein- oder mehrlagig sowie papier- und/oder kunststoffbasiert sein. Das Dokument kann aus kunststoffbasierten Folien aufgebaut sein, welche zu einem Kartenkörper mittels Verkleben und/oder Laminieren zusammengefügt werden, wobei die Folien bevorzugt ähnliche stoffliche Eigenschaften aufweisen.
  • Die erste Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes relativ zu der Bildkamera umfassen. Die erste Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung, beispielsweise umfassend eine Translation und eine Rotation, zugeordnet sein können.
  • Die zweite Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes, beispielsweise umfassend eine Translation und eine Rotation, relativ zu der Bildkamera umfassen. Die zweite Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung, beispielsweise umfassend eine Translation und eine Rotation, zugeordnet sein können.
  • Das erste Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das erste Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das zweite Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das zweite Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das erste Dokumentenbild und das zweite Dokumentenbild können einen Bildstapel bilden.
  • Der Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild kann auf Basis der Mehrzahl von Pixeln des ersten Dokumentenbildes und der Mehrzahl von Pixeln des zweiten Dokumentenbildes erfasst werden.
  • Gemäß einer Ausführungsform umfasst das Verfahren ein Erfassen einer Mehrzahl von Bildern des Dokumentes durch die Bildkamera in unterschiedlichen Raumlagen des Dokumentes relativ zu der Bildkamera, wobei das Erfassen des ersten Bildes des Dokumentes ein Auswählen des ersten Bildes aus der Mehrzahl von Bildern in der ersten Raumlage umfasst, und wobei das Erfassen des zweiten Bildes des Dokumentes ein Auswählen des zweiten Bildes aus der Mehrzahl von Bildern in der zweiten Raumlage umfasst. Dadurch wird der Vorteil erreicht, dass das erste Dokumentenbild und das zweite Dokumentenbild in unterschiedlichen Raumlagen erfasst werden können.
  • Das Erfassen der Mehrzahl von Bildern des Dokumentes kann ein Bestimmen einer jeweiligen Raumlage auf Basis eines jeweiligen Bildes umfassen. Die jeweiligen Raumlagen können mit der ersten Raumlage verglichen werden, um das erste Bild aus der Mehrzahl von Bildern auszuwählen. Die jeweiligen Raumlagen können mit der zweiten Raumlage verglichen werden, um das zweite Bild aus der Mehrzahl von Bildern auszuwählen. Die erste Raumlage und die zweite Raumlage können vorbestimmt sein.
  • Gemäß der Erfindung umfasst das Erfassen des ersten Bildes des Dokumentes ferner ein perspektivisches Entzerren des ersten Dokumentenbildes auf Basis der ersten Raumlage, und umfasst das Erfassen des zweiten Bildes des Dokumentes ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes auf Basis der zweiten Raumlage. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
  • Durch das perspektivische Entzerren des ersten Dokumentenbildes kann ein rechteckförmiges erstes Dokumentenbild bereitgestellt werden. Durch das perspektivische Entzerren des zweiten Dokumentenbildes kann ein rechteckförmiges zweites Dokumentenbild bereitgestellt werden.
  • Das perspektivische Entzerren des ersten Dokumentenbildes kann ein Skalieren des ersten Dokumentenbildes umfassen. Das perspektivische Entzerren des zweiten Dokumentenbildes kann ein Skalieren des zweiten Dokumentenbildes umfassen.
  • Gemäß der Erfindung umfasst das Verfahren ferner ein Bestimmen der ersten Raumlage des Dokumentes relativ zu der Bildkamera auf Basis des ersten Dokumentenbildes und/oder ein Bestimmen der zweiten Raumlage des Dokumentes relativ zu der Bildkamera auf Basis des zweiten Dokumentenbildes. Dadurch wird der Vorteil erreicht, dass die erste Raumlage und/oder die zweite Raumlage zum Auswählen des ersten Bildes und/oder des zweiten Bildes aus der Mehrzahl von Bildern verwendet werden kann. Die erste Raumlage und/oder die zweite Raumlage können ferner zum perspektivischen Entzerren des ersten Dokumentenbildes und/oder des zweiten Dokumentenbildes verwendet werden.
  • Das Bestimmen der ersten Raumlage und das Bestimmen der zweiten Raumlage kann ein Bestimmen einer jeweiligen Homographie umfassen.
  • Gemäß einer Ausführungsform wird die jeweilige Raumlage mittels einer Kantendetektion bestimmt. Dadurch wird der Vorteil erreicht, dass die jeweilige Raumlage relativ zu rechteckförmigen Dokumenten effizient bestimmt werden kann.
  • Die Kantendetektion kann eine Detektion von Linien, Rechtecken, Parallelogrammen oder Trapezen im ersten Dokumentenbild und/oder im zweiten Dokumentenbild umfassen. Die Kantendetektion kann unter Verwendung einer Hough-Transformation durchgeführt werden.
  • Gemäß einer Ausführungsform wird das jeweilige Dokumentenbild zur Rauschreduktion tiefpassgefiltert. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
  • Die Tiefpassfilterung kann mittels eines gefensterten Mittelwertfilters oder eines gefensterten Gaußfilters durchgeführt werden. Die Tiefpassfilterung kann ferner ein Bestimmen eines jeweiligen Integralbildes des jeweiligen Dokumentenbildes umfassen, wobei die Tiefpassfilterung unter Verwendung des jeweiligen Integralbildes durchgeführt werden kann.
  • Gemäß einer Ausführungsform wird das erste Dokumentenbild mit dem zweiten Dokumentenbild verglichen, um eine Ausrichtung des ersten Dokumentenbildes in Bezug zu dem zweiten Dokumentenbild zu bestimmen, wobei das erste Dokumentenbild und das zweite Dokumentenbild auf Basis der bestimmten Ausrichtung in Bezug aufeinander ausgerichtet werden. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient bestimmt werden kann.
  • Das Vergleichen des ersten Dokumentenbildes mit dem zweiten Dokumentenbild kann ein Extrahieren und Vergleichen von Bildmerkmalen des ersten Dokumentenbildes und des zweiten Dokumentenbildes umfassen. Die Bildmerkmale können beispielsweise BRISK-Bildmerkmale oder SURF-Bildmerkmale sein.
  • Gemäß einer Ausführungsform umfasst das Bestimmen des Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild ein Bestimmen eines Unterschiedsbildes auf Basis des ersten Dokumentenbildes und des zweiten Dokumentenbildes, wobei das Unterschiedsbild einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild anzeigt. Dadurch wird der Vorteil erreicht, dass der Bildunterschied anhand des Unterschiedsbildes effizient angezeigt werden kann.
  • Das Unterschiedsbild kann ein Graustufenbild sein. Das Unterschiedsbild kann eine Mehrzahl von Pixeln umfassen. Das Unterschiedsbild kann ferner einem Bildstapel zugeordnet sein.
  • Gemäß einer Ausführungsform wird ein Mittelwert aus einem ersten Pixelwert eines Pixels des ersten Dokumentenbildes und einem zweiten Pixelwert eines Pixels des zweiten Dokumentenbildes bestimmt, wobei eine erste Abweichung des ersten Pixelwertes von dem Mittelwert bestimmt wird, wobei eine zweite Abweichung des zweiten Pixelwertes von dem Mittelwert bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Abweichung und der zweiten Abweichung erfasst wird. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient erfasst werden kann.
  • Der erste Pixelwert und/oder der zweite Pixelwert können Graustufenwerte sein. Der Mittelwert kann ein arithmetischer Mittelwert oder ein Median sein. Die Abweichung kann eine quadratische Abweichung oder eine absolute Abweichung sein.
  • Gemäß einer Ausführungsform wird eine erste Dokumentenbildmaske auf Basis des ersten Dokumentenbildes bestimmt, wobei eine zweite Dokumentenbildmaske auf Basis des zweiten Dokumentenbildes bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Dokumentenbildmaske und der zweiten Dokumentenbildmaske erfasst wird. Dadurch wird der Vorteil erreicht, dass der Bildunterschied effizient bestimmt werden kann.
  • Die erste Dokumentenbildmaske kann Pixel mit binärwertigen Pixelwerten aufweisen, um gültige und ungültige Pixel des ersten Dokumentenbildes anzuzeigen. Die zweite Dokumentenbildmaske kann Pixel mit binärwertigen Pixelwerten aufweisen, um gültige und ungültige Pixel des zweiten Dokumentenbildes anzuzeigen.
  • Gemäß einer Ausführungsform zeigt die jeweilige Dokumentenbildmaske Pixel des jeweiligen Dokumentenbildes an, welche zur Erfassung des Bildunterschieds verwendbar sind. Dadurch wird der Vorteil erreicht, dass nur gültige Pixel des jeweiligen Dokumentenbildes zur Erfassung des Bildunterschieds verwendet werden.
  • Ein Pixel eines jeweiligen Dokumentenbildes kann beispielsweise ungültig sein, wenn der Pixel einem Bereich des Dokumentes zugeordnet ist, welcher unvollständig erfasst wurde.
  • Gemäß der Erfindung wird der Bildunterschied in eine Mehrzahl von Bildsegmenten segmentiert, wobei das blickwinkelabhängige Merkmal des Dokumentes auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten detektiert wird. Dadurch wird der Vorteil erreicht, dass Bildsegmente zur Detektion des blickwinkelabhängigen Merkmals verwendet werden können. Der Bildunterschied kann durch ein Unterschiedsbild angezeigt werden, wobei das Unterschiedsbild in die Mehrzahl von Bildsegmenten segmentiert wird.
  • Die Segmentierung kann mittels eines pixelorientierten Bildsegmentierungsverfahrens, eines kantenorientierten Bildsegmentierungsverfahrens, eines bereichsorientierten Bildsegmentierungsverfahrens, eines modellorientierten Bildsegmentierungsverfahrens, oder eines texturorientierten Bildsegmentierungsverfahrens durchgeführt werden. Das Bildsegmentierungsverfahren kann beispielsweise ein Maximally-Stable-Extremal-Regions (MSER) Verfahren oder ein Mean-Shift Verfahren umfassen. Die Bildsegmente können zusammenhängende Bildsegmente sein.
  • Gemäß der Erfindung wird für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß bestimmt, wobei das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren. Dadurch wird der Vorteil erreicht, dass ein Bildsegment, welches das vorbestimmte Bildsegmentmaß aufweist, für die Detektion des blickwinkelabhängigen Merkmals verwendet werden kann.
  • Das Bildsegmentmaß kann eine Fläche des Bildsegmentes, ein Seitenlängenverhältnis des Bildsegmentes, eine Kompaktheit des Bildsegmentes, ein Pixelwert eines Pixels des Bildsegmentes, oder ein Homogenitätsmaß des Bildsegmentes sein.
  • Gemäß der Erfindung ist einem Bildsegment der Mehrzahl von Bildsegmenten ein erstes Dokumentenbildsegment des ersten Dokumentenbildes und ein zweites Dokumentenbildsegment des zweiten Dokumentenbildes zugeordnet, wobei das erste Dokumentenbildsegment mit dem zweiten Dokumentenbildsegment verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren. Dadurch wird der Vorteil erreicht, dass ein geeignetes Bildsegment für die Detektion des blickwinkelabhängigen Merkmals verwendet werden kann.
  • Der Vergleich des ersten Dokumentenbildsegmentes mit dem zweiten Dokumentenbildsegment wird mittels einer normalisierten Kreuzkorrelation durchgeführt.
  • Das Bildsegment wird für die Detektion des blickwinkelabhängigen Merkmals qualifiziert, wenn das erste Dokumentenbildsegment und das zweite Dokumentenbildsegment unterschiedlich sind.
  • Gemäß einer Ausführungsform umfasst das blickwinkelabhängige Merkmal ein Hologramm oder eine Drucktinte mit blickwinkelabhängigen Reflexionseigenschaften oder Absorptionseigenschaften. Dadurch wird der Vorteil erreicht, dass das blickwinkelabhängige Merkmal mit blickwinkelabhängigen Darstellungen einfach realisiert werden kann.
  • Gemäß einem zweiten Aspekt betrifft die Erfindung ein Mobilgerät nach Anspruch 10 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes, wobei das blickwinkelabhängige Merkmal blickwinkelabhängige Darstellungen aufweist, mit einer Bildkamera, welche ausgebildet ist, ein erstes Bild des Dokumentes in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein erstes Dokumentenbild zu erhalten, und ein zweites Bild des Dokumentes in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein zweites Dokumentenbild zu erhalten, und einem Prozessor, welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild zu erfassen, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren. Dadurch wird der Vorteil erreicht, dass ein effizientes Konzept zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes realisiert werden kann.
  • Das Mobilgerät kann ein Mobiltelefon oder ein Smartphone sein. Die Bildkamera kann eine digitale Bildkamera sein. Der Prozessor kann ein Computerprogramm ausführen.
  • Das Mobilgerät kann ferner eine Beleuchtungseinrichtung zum Beleuchten des Dokumentes aufweisen. Die Beleuchtungseinrichtung kann eine LED-Beleuchtungseinrichtung sein.
  • Das Verfahren kann mittels des Mobilgerätes ausgeführt werden. Weitere Merkmale des Mobilgerätes resultieren unmittelbar aus der Funktionalität des Verfahrens.
  • Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm nach Anspruch 11 mit einem
  • Programmcode zum Ausführen des Verfahrens, wenn das Computerprogramm auf einem Computer ausgeführt wird. Dadurch wird der Vorteil erreicht, dass das Verfahren automatisiert und wiederholbar ausgeführt werden kann.
  • Das Computerprogramm kann in maschinen-lesbarer Form vorliegen. Der Programmcode kann eine Folge von Befehlen für einen Prozessor umfassen. Das Computerprogramm kann durch den Prozessor des Mobilgerätes ausgeführt werden.
  • Die Erfindung kann in Hardware und/oder Software realisiert werden.
  • Weitere Ausführungsbeispiele werden Bezug nehmend auf die beiliegenden Figuren näher erläutert. Es zeigen:
    • Fig. 1 ein Diagramm eines Verfahrens zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
    • Fig. 2 ein Diagramm eines Mobilgerätes zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
    • Fig. 3 ein Diagramm eines Verfahrens zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
    • Fig. 4 ein Diagramm eines Detektionsszenarios zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform;
    • Fig. 5 ein Diagramm einer Mehrzahl von erfassten Bildern des Dokumentes gemäß einer Ausführungsform;
    • Fig. 6 ein Oberflächendiagramm eines Unterschiedsbildes gemäß einer Ausführungsform;
    • Fig. 7 ein Diagramm eines Unterschiedsbildes und ein Konturdiagramm eines segmentierten Unterschiedsbildes gemäß einer Ausführungsform;
    • Fig. 8 Konturdiagramme mit Bildsegmenten für eine Mehrzahl von erfassten Bildern eines Dokumentes gemäß einer Ausführungsform; und
    • Fig. 9 ein Diagramm einer Mehrzahl von Raumlagen zum Erfassen einer Mehrzahl von Bildern des Dokumentes gemäß einer Ausführungsform.
  • Fig. 1 zeigt ein Diagramm eines Verfahrens 100 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das Verfahren 100 wird unter Verwendung einer Bildkamera durchgeführt. Das blickwinkelabhängige Merkmal weist blickwinkelabhängige Darstellungen auf.
  • Das Verfahren 100 umfasst ein Erfassen 101 eines ersten Bildes des Dokumentes durch die Bildkamera in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera, um ein erstes Dokumentenbild zu erhalten, ein Erfassen 103 eines zweiten Bildes des Dokumentes durch die Bildkamera in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera, um ein zweites Dokumentenbild zu erhalten, und ein Erfassen 105 eines Bildunterschieds zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.
  • Das blickwinkelabhängige Merkmal kann blickwinkelabhängige Darstellungen und/oder beleuchtungswinkelabhängige Darstellungen aufweisen.
  • Das Dokument kann eines der folgenden Dokumente sein: ein Identitätsdokument, wie beispielsweise ein Personalausweis, ein Reisepass, ein Zugangskontrollausweis, ein Berechtigungsausweis, ein Unternehmensausweis, ein Steuerzeichen, ein Ticket, eine Geburtsurkunde, ein Führerschein, ein Kraftfahrzeugausweis, oder ein Zahlungsmittel, beispielsweise eine Bankkarte oder eine Kreditkarte. Das Dokument kann ferner einen elektronisch auslesbaren Schaltkreis, beispielsweise einen RFID-Chip umfassen. Das Dokument kann ein- oder mehrlagig sowie papier- und/oder kunststoffbasiert sein. Das Dokument kann aus kunststoffbasierten Folien aufgebaut sein, welche zu einem Kartenkörper mittels Verkleben und/oder Laminieren zusammengefügt werden, wobei die Folien bevorzugt ähnliche stoffliche Eigenschaften aufweisen.
  • Die erste Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes, beispielsweise umfassend eine Translation und eine Rotation, relativ zu der Bildkamera umfassen. Die erste Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung zugeordnet sein können.
  • Die zweite Raumlage des Dokumentes relativ zu der Bildkamera kann eine Anordnung und/oder Neigung des Dokumentes relativ zu der Bildkamera umfassen. Die zweite Raumlage kann eine Pose mit sechs Freiheitsgraden umfassen, wobei drei Freiheitsgrade der Anordnung zugeordnet sein können, und wobei drei Freiheitsgrade der Neigung zugeordnet sein können.
  • Das erste Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das erste Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das zweite Dokumentenbild kann ein Farbbild oder ein Graustufenbild sein. Das zweite Dokumentenbild kann eine Mehrzahl von Pixeln umfassen. Das erste Dokumentenbild und das zweite Dokumentenbild können einen Bildstapel bilden.
  • Der Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild kann auf Basis der Mehrzahl von Pixeln des ersten Dokumentenbildes und der Mehrzahl von Pixeln des zweiten Dokumentenbildes erfasst werden.
  • Fig. 2 zeigt ein Diagramm eines Mobilgerätes 200 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das blickwinkelabhängige Merkmal weist blickwinkelabhängige Darstellungen auf.
  • Das Mobilgerät 200 umfasst eine Bildkamera 201, welche ausgebildet ist, ein erstes Bild des Dokumentes in einer ersten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein erstes Dokumentenbild zu erhalten, und ein zweites Bild des Dokumentes in einer zweiten Raumlage des Dokumentes relativ zu der Bildkamera zu erfassen, um ein zweites Dokumentenbild zu erhalten, und einen Prozessor 203, welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild und dem zweiten Dokumentenbild zu erfassen, um das blickwinkelabhängige Merkmal des Dokumentes zu detektieren.
  • Das Mobilgerät 200 kann ein Mobiltelefon oder ein Smartphone sein. Die Bildkamera 201 kann eine digitale Bildkamera sein. Der Prozessor 203 kann ein Computerprogramm ausführen. Die Bildkamera 201 kann mit dem Prozessor 203 verbunden sein.
  • Das Mobilgerät 200 kann ferner eine Beleuchtungseinrichtung zum Beleuchten des Dokumentes aufweisen. Die Beleuchtungseinrichtung kann eine LED-Beleuchtungseinrichtung sein.
  • Das Verfahren 100 kann mittels des Mobilgerätes 200 ausgeführt werden. Weitere Merkmale des Mobilgerätes 200 resultieren unmittelbar aus der Funktionalität des Verfahrens 100.
  • Fig. 3 zeigt ein Diagramm eines Verfahrens 100 zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes gemäß einer Ausführungsform. Das Verfahren 100 umfasst eine Schrittfolge 301 und eine Schrittfolge 303. Die Schrittfolge 301 wird für jedes erfasste Bild durchgeführt. Die Schrittfolge 303 wird einmal pro Dokument durchgeführt.
  • Die Schrittfolge 301 umfasst einen Schritt 305 einer Bildauswahl, einen Schritt 307 einer Registrierung eines Bildes, und einen Schritt 309 eines räumlichen Filterns des Bildes. Eine Mehrzahl erfasster Bilder und eine Mehrzahl bestimmter Raumlagen werden durch die Schrittfolge 301 verarbeitet, um einen Bildstapel bereitzustellen.
  • Die Schrittfolge 303 umfasst einen Schritt 311 einer Unterschiedsbilderzeugung und einen Schritt 313 einer Segmentierung und Filterung. Der Bildstapel wird durch die Schrittfolge 303 verarbeitet, um die Lage der Merkmale bereitzustellen.
  • Das Diagramm zeigt folglich Schrittfolgen 301, 303, welche für eine Detektion eines blickwinkelabhängigen Merkmals, beispielsweise eines Hologramms, pro Bild und pro Dokument durchgeführt werden können, sowie eine Auswertung des Bildstapels.
  • Gemäß einer Ausführungsform wird eine automatische Detektion von blickwinkelabhängigen Merkmalen eines Dokumentes in Echtzeit unter Verwendung von Bildern durchgeführt, welche mittels eines Mobilgerätes, beispielsweise eines Standard-Smartphones, erfasst werden. Unter Verwendung eines robusten Algorithmus zum Erfassen des Dokumentes in den Bildern, beispielsweise durch eine Verfolgung (engl. tracking) des Dokumentes, kann ein Bildstapel mit Bildern des Dokumentes aufgebaut und ausgewertet werden, um automatisch die Lage und die Größe von blickwinkelabhängigen Merkmalen des Dokumentes zu bestimmen. Eine automatische Detektion sowohl der Existenz als auch der Lage von blickwinkelabhängigen Merkmalen auf einem Dokument kann unter Verwendung einer mobilen Augmented Reality (AR) Anordnung durchgeführt werden.
  • Dadurch wird eine Vielzahl von Anwendungsfeldern eröffnet, beispielsweise eine Detektion von Dokumentenlayouts für einen nachfolgenden Klassifizierungsschritt oder eine automatische Modellbildung mit Verifikation. Aufgrund der Effizienz des Ansatzes, kann diese Aufgabe in Echtzeit auf einem Mobilgerät, beispielsweise einem Standard-Smartphone, durchgeführt werden. Durch die Verwendung von Mobilgeräten und durch die Robustheit des Ansatzes können Hilfsmittel bereitgestellt werden, welche jedermann eine Verifikation der Echtheit oder Authentizität von Dokumenten, auch ohne fortgeschrittenes Training, ermöglichen.
  • Im Folgenden wird ein Ansatz zur Erfassung und Verfolgung des Dokumentes erläutert.
  • Dokumente bestehen üblicherweise aus Papier oder Pappe und weisen eine rechteckförmige Form auf. Aus Gründen der Robustheit und Effizienz, werden schwerpunktmäßig ebene Bereiche von Dokumenten betrachtet. Eine Erfassung derartiger Dokumente mit einem Mobilgerät kann eine herausfordernde Aufgabe sein aufgrund von variierenden persönlichen Daten auf dem Dokument, aufgrund von Veränderungen des Blickwinkels, aufgrund der Beleuchtung, aufgrund eines unerwarteten Nutzerverhaltens, und/oder aufgrund von Begrenzungen der Bildkamera. Folglich sollten mehrere erfasste Bilder im Hinblick auf die Robustheit ausgewertet werden, was unter Verwendung einer mobilen Augmented Reality (AR) Anordnung erreicht werden kann.
  • Zunächst kann eine geeignete Dokumentenvorlage (engl. document template) erzeugt werden, welche für eine Bild-zu-Bild Verfolgung oder für einen dedizierten Registrierungsschritt verwendet werden kann. Diese kann auf einem Algorithmus zur Detektion von perspektivisch verzerrten Rechtecken basieren, und in Echtzeit auf einem Mobilgerät ausgeführt werden, und somit als grundlegender Aufbaublock dienen.
  • Der Nutzer kann aufgefordert werden, eine Bildkamera des Mobilgerätes vor einem Dokument oder Objekt anzuordnen und die Detektion auszulösen. Innerhalb eines vorbestimmten Interessenbereiches (engl. region of interest, ROI) in einem erfassten Bild, kann ein Kantenbild, beispielsweise unter Verwendung eines Canny-Kantendetektors mit einer automatischen Schwellwertauswahl, berechnet werden. Bildbereiche mit textartigen Strukturen können gefiltert werden, um Rauschen zu entfernen, gefolgt von einer Detektion von Linien, beispielsweise unter Verwendung einer Hough-Transformation. Die detektierten Linien können gemäß ihrer groben Richtung gruppiert werden. Eine Anfangshypothese für einen rechteckförmigen Bereich kann gebildet werden durch eine Betrachtung von Paaren von Linienbündeln, welche beispielsweise insgesamt vier Linien umfassen können.
  • Durch Überschneidung der Linien und Gewährleistung, dass die Schnittpunkte in dem Interessenbereich liegen, kann die Anzahl der Hypothesen deutlich reduziert werden. Eine endgültige geordnete Liste von Rechteck-Hypothesen kann durch eine Berechnung einer Stützfunktion auf einem erweiterten Kantenbild erzeugt werden. Der oberste Kandidat der Liste kann ausgewählt werden und eine Homographie kann berechnet werden, um eine entzerrte Darstellung zu erzeugen. Die Dimensionen des entzerrten Bildes können durch eine Mittelwertbildung der Pixelbreite und/oder -höhe der gewählten Hypothese bestimmt werden.
  • Das entzerrte Bild kann zum Erzeugen einer ebenen Verfolgungsvorlage verwendet werden, welche als eine Bildpyramide zur Laufzeit dargestellt werden kann, und welche unter Verwendung natürlicher Bildmerkmale verfolgt werden kann. Ein Harris-Eckendetektor und eine normalisierte Kreuzkorrelation (engl. normalized cross correlation, NCC) können verwendet werden, um Bildbereiche über nachfolgende Bilder hinweg abzugleichen und um eine Homographie zwischen der gegenwärtigen Bild und dem entzerrten Bild oder der Verfolgungsvorlage herzustellen. Ein Bewegungsmodell kann verwendet werden, um die Bildkamerabewegung zu schätzen und zu prädizieren, und um somit Rechenressourcen einzusparen. Folglich kann der Algorithmus in Echtzeit auf Mobilgeräten, beispielsweise Standard-Smartphones, ausgeführt werden und kann eine vollständige Raumlage oder Pose mit sechs Freiheitsgraden (engl. six degrees of freedom, 6DOF) für jedes erfasste Bild bereitstellen.
  • Die Anordnung hat den Vorteil, dass sie eine Interaktion mit zuvor unbekannten Dokumenten mit beliebigen persönlichen Daten erlaubt. Im Zusammenhang mit den nachfolgenden Algorithmen zum maschinellen Sehen (engl. computer vision, CV), kann eine Kenntnis eines gegenwärtigen Blickwinkels vorteilhaft sein, da sie erlauben kann, mit entzerrten Bildern zu arbeiten und die Bilderfassung zu steuern.
  • Im Folgenden wird ein Ansatz zur Erzeugung eines Bildstapels erläutert. Um über die Existenz von blickwinkelabhängigen Merkmalen auf dem Dokument zu urteilen, muss das Dokument von mehreren Blickwinkeln erfasst werden. Eine minimale Anzahl von n = 2 Bildern, welche aus geeigneten Blickwinkeln erfasst werden, kann verwendet werden, um auf die Existenz derartiger Merkmale zu schließen. Aus Gründen der Robustheit, sollten jedoch generell mehr Blickwinkel verwendet werden. Basierend auf den Ergebnissen der Dokumentverfolgung, umfasst der Algorithmus drei Hauptteil, um einen Bildstapel zu erzeugen: den Schritt 305 der Bildauswahl, den Schritt 307 der Entzerrung und/oder der Registrierung, und den Schritt 309 des räumlichen Filterns.
  • Die Bildauswahl in Schritt 305 kann folgendermaßen durchgeführt werden. Idealerweise sollte der Bildstapel eine Mehrzahl von Bildern mit Raumlagen umfassen, welche die Veränderlichkeit des blickwinkelabhängigen Merkmales auf die bestmögliche Weise nutzen. Für unerfahrene Nutzer kann diese Aufgabe herausfordernd sein. Daher sollte die Aufgabe der Bildauswahl, zugunsten der Wiederholbarkeit und einer reduzierten kognitiven Belastung, nicht durch den Nutzer durchgeführt werden. Die bestimmten Posen können verwendet werden, um Bilder automatisch auf Basis einer 2D-Orientierungskarte auszuwählen. Zudem kann die Sichtbarkeit und die Ähnlichkeit zur Vorlage berücksichtigt werden, um geeignete Bilder auszuwählen.
  • Die Entzerrung oder Registrierung in Schritt 307 kann folgendermaßen durchgeführt werden. Für jedes Bild, welches den Auswahlschritt passiert, kann eine geschätzte Homographie aus der Verfolgungsraumlage verwendet werden, um ein entzerrtes Bild zu erzeugen. Ein vollständiger Satz von Bildern kann somit einen Stapel aus gleichgroßen Bildern bilden. Grundsätzlich kann der Dokumentenverfolgungsalgorithmus robust sein und kann das Dokument erfolgreich über einen weiten Bereich von Blickwinkeln verfolgen. Teile des Dokumentes können sich jedoch aus dem gegenwärtigen Kamerabild herausbewegen und die Bilder können perspektivische Verzerrungen aufweisen. Die entzerrten Bilder können daher unvollständig sein und/oder nicht ideal ausgerichtet sein.
  • In einem zusätzlichen Schritt können eine Anpassung der Ausrichtung unter Verwendung einer Bildmerkmalsextraktion, ein gefenstertes Abgleichen und/oder eine Homographie-Schätzung durchgeführt werden. Dies kann jedoch die Bildrate reduzieren, was möglicherweise nicht wünschenswert ist. Da Bilder kontinuierlich durch die Bildkamera erfasst und bereitgestellt werden, können ungeeignete entzerrte oder registrierte Bilder unter Verwendung einer NCC-Bewertung verworfen werden, was rechnerisch effizienter sein kann. Aufgrund der Echtzeitverfolgung, kann dies einen effizienten Weg zum automatischen Auswählen von Bildern darstellen.
  • Das räumliche Filtern in Schritt 309 kann folgendermaßen durchgeführt werden. Jede neue Schicht, welche auf den Stapel entzerrter Bilder abgelegt wird, kann räumlich gefiltert werden, um besser mit Rauschen und verbliebenen Ungenauigkeiten bei der Registrierung umzugehen. Für diese Aufgabe kann ein gefensterter Mittelwertfilter eingesetzt werden, welcher auf einer Integralbildberechnung basieren kann. Unvollständige Bildinformationen, beispielsweise undefinierte und/oder schwarze Flächen beim Entzerren, können durch ein Erfassen gültiger Bildbereiche, welche beim Filtern verwendet werden, unter Verwendung einer zweiten Maske berücksichtigt werden. Das räumliche Filtern in Schritt 309 kann unter Verwendung einer vorbestimmten Fenstergröße, beispielsweise von 3x3 Pixeln, durchgeführt werden.
  • Im Folgenden wird ein Ansatz zur Detektion des blickwinkelabhängigen Merkmals erläutert. Im Gegensatz zu weiteren Effekten, wie beispielsweise Glanzlichtern, verbleiben visuelle Veränderungen, welche durch blickwinkelabhängige Merkmale verursacht werden, räumlichen konstant. Der Ansatz basiert auf dem Konzept, Veränderungen der Darstellungen über der Zeit zu verfolgen, wobei der entzerrte Bildstapel als Ausgangspunkt verwendet werden kann.
  • Der Algorithmus zum Verarbeiten des Bildstapels umfasst zwei Hauptteile: den Schritt 311 eines Erzeugen eines Unterschiedsbildes durch statistisch-basiertes Bewerten und den Schritt 313 eines Segmentierens und Suchens eines Modus (engl. mode) zum Erzeugen eines endgültigen Detektionsergebnisses. Zudem kann ein optionaler Verifikationsschritt durchgeführt werden, welcher NCC-Berechnungen an der geschätzten Lage des blickwinkelabhängigen Merkmals zwischen entzerrten oder registrierten Bildern des Bildstapels einsetzen kann, um falsch-positive Detektionen zu verwerfen.
  • Die Erzeugung des Unterschiedsbildes in Schritt 311 kann folgendermaßen durchgeführt werden. Der Bildstapel kann für jede Lage (x, y) als eine zeitliche Folge aufgefasst werden. Der Grad der Veränderung kann durch eine Berechnung eines geeigneten Abweichungsmaßes bezüglichen eines Modells m bei der Lage (x, y) über den gesamten Bildstapel bewertet werden, wobei Dokumentenbildmasken, welche in dem vorherigen Schritt bestimmt werden können, beachtet werden können. Somit kann eine Zwischendarstellung für Anzeichen von Blickwinkelabhängigkeit bereitgestellt werden, welche auch als Unterschiedsbild bezeichnet werden kann. Gemäß einer Ausführungsform ist das blickwinkelabhängige Merkmal ein Hologramm und das Unterschiedsbild eine Hologrammkarte (engl. Hologram Map).
  • Zum Erfassen eines Bildunterschiedes, welcher durch ein Unterschiedsbild angezeigt werden kann, kann ein Mittelwert m0 oder ein Median m1 in Verbindung mit einer mittleren quadratischen Abweichung im Bildraum gemäß e 0 x y = 1 L x y − 1 ∑ l = 1 L x y v l x y − m 2
    Figure imgb0001
     oder einer mittleren absoluten Abweichung gemäß e 1 x y = 1 L x y ∑ l = 1 L x y v l x y − m ,
    Figure imgb0002
     mit m ∈ {m0, m1} in verschiedenen Kombinationen eingesetzt werden. Dabei kann L(x, y) die Anzahl von Bildstapelschichten bezeichnen, welche gültige Pixelwerte für die Lage (x, y) entsprechend der Dokumentenbildmasken umfassen, wobei vI(x, y) einen Pixelwert in Schicht I bezeichnen kann. Im Falle des Paares mo, eo kann die Modellerzeugung und Abweichungsberechnung direkt erfolgen, und nur geringe Rechenressourcen beanspruchen.
  • Die Segmentierung und Filterung in Schritt 313 kann folgendermaßen durchgeführt werden. Dominante räumliche Spitzen innerhalb des Bildunterschiedes oder des Unterschiedsbildes und benachbarte Bildbereiche mit großen Veränderungen vergleichbaren Wertes oder Betrages sollen lokalisiert werden. Folglich stellt dies eine Bildsegmentierungsaufgabe dar, wobei die Wahl des Bildsegmentierungsverfahrens sowohl die Qualität als auch die Laufzeit beeinflussen kann.
  • Da der Inhalt des Unterschiedsbildes von der Art des Dokumentes abhängen kann, kann eine Verwendung eines globalen Schwellwertes in bestimmten Fällen nicht ausreichend sein. Dann können lokal berechnete Schwellwerte verwendet werden, welche zusätzlich unter Verwendung von globaler Information angepasst werden können. Um Laufzeit zu sparen, können Integralbilder für die Filterung verwendet werden.
  • Die berechneten Bereiche können dann gefiltert werden, um die Anzahl von falschpositiven Detektionen zu reduzieren. Es können Kriterien bezüglich einer minimalen Fläche, eines Seitenlängenverhältnisses, und einer Kompaktheit zusammen mit einem minimalen Pixelwert und/oder einer Homogenität für den erhaltenen Bereich verwendet werden.
  • Der Ablauf des Detektierens eines blickwinkelabhängigen Merkmals kann ein Detektieren des Dokumentes und ein Bewegen eines Mobilgerätes mit einer Bildkamera oder ein Bewegen des Dokumentes, und ein Erfassen von Bildern des Dokumentes und zugehöriger Raumlagen umfassen. Diese Daten können dann durch den Algorithmus verarbeitet und analysiert werden. Dabei kann eine Beleuchtungseinrichtung des Mobilgerätes eingeschaltet oder ausgeschaltet sein. Die Beleuchtungseinrichtung kann vorteilhaft sein, um alle relevanten Darstellungen des blickwinkelabhängigen Merkmals zu erfassen.
  • Das Erzeugen und Aktualisieren des Bildstapels kann jeweils pro Bild durchgeführt werden. Die Erzeugung und Auswertung des Unterschiedsbildes mit einem optionalen Validierungsschritt kann anschließend durchgeführt werden. Nach erfolgreicher Detektion des blickwinkelabhängigen Merkmals des Dokumentes, kann das blickwinkelabhängige Merkmal in einem Bild unter Verwendung eines umgebenden Rahmens oder einer umgebenden Box bei der entsprechenden Lage hervorgehoben werden.
  • Eine Echtzeitverfolgung des Dokumentes kann verwendet werden, um registrierte Bilder aus einer Mehrzahl von Blickwinkeln zu erhalten. Dabei kann lediglich das Unterschiedsbild segmentiert werden, um mögliche Bildbereiche zu erhalten, welche anschließend validiert werden können. Dadurch kann ein Verfahren realisiert werden, welches einfach in bestehende Anwendungen zur Verifikation von Dokumenten integriert werden kann.
  • Fig. 4 zeigt ein Diagramm eines Detektionsszenarios zum Detektieren eines blickwinkelabhängigen Merkmals 402 eines Dokumentes 401 gemäß einer Ausführungsform.
  • Das Diagramm zeigt die Erfassung einer Mehrzahl von Bildern des Dokumentes 401 aus unterschiedlichen Raumlagen. Dabei wird ein erstes Dokumentenbild 403 in einer ersten Raumlage, ein zweites Dokumentenbild 405 in einer zweiten Raumlage, ein drittes Dokumentenbild 407 in einer dritten Raumlage, und ein N-tes Dokumentenbild 409 in einer N-ten Raumlage erfasst.
  • Fig. 5 zeigt ein Diagramm einer Mehrzahl von erfassten Bildern des Dokumentes gemäß einer Ausführungsform.
  • Ein erstes Dokumentenbild 403 aus einer ersten Raumlage, ein zweites Dokumentenbild 405 aus einer zweiten Raumlage, ein drittes Dokumentenbild 407 aus einer dritten Raumlage, und ein N-tes Dokumentenbild 409 aus einer N-ten Raumlage sind übereinander in Form eines Bildstapels dargestellt. Das erste Dokumentenbild 403, das zweite Dokumentenbild 405, das dritte Dokumentenbild 407, und das N-te Dokumentenbild 409 sind zusammen mit jeweiligen Dokumentenbildmasken dargestellt.
  • Das Dokument kann verfolgt werden, wobei eine Mehrzahl von Bildern des Dokumentes aus unterschiedlichen Raumlagen erfasst werden kann. Auf Grundlage einer geschätzten Raumlage oder Homographie kann jedes Dokumentenbild entzerrt und auf den Bildstapel gelegt werden. Die erfassten Dokumentenbilder können entzerrt werden und können eine vorbestimmte Auflösung aufweisen.
  • Fig. 6 zeigt ein Oberflächendiagramm 600 eines Unterschiedsbildes gemäß einer Ausführungsform. Das Oberflächendiagramm 600 zeigt dabei Pixelwerte des Unterschiedsbildes in Abhängigkeit von einer Lage (x, y) für ein Dokument.
  • Für eine Lage von x = 130 bis x = 140 sowie von y = 10 bis y = 20 weist das Oberflächendiagramm 600 hohe Pixelwerte auf. Unter Verwendung eines Bildsegmentierungsverfahrens kann ein Bildsegment in dem Unterschiedsbild bestimmt werden, welches diesem Bereich zugeordnet ist.
  • Fig. 7 zeigt ein Diagramm 701 eines Unterschiedsbildes und ein Konturdiagramm 703 eines segmentierten Unterschiedsbildes gemäß einer Ausführungsform.
  • Das Diagramm 701 zeigt Pixelwerte des Unterschiedsbildes in Abhängigkeit von einer Lage (x, y) für ein Dokument. Das Diagramm 701 entspricht dabei einem skalierten Intensitätsbild.
  • Das Konturdiagramm 703 zeigt ein Segmentierungsergebnis auf Basis des Unterschiedsbildes unter Verwendung eines adaptiven Schwellwertvergleichs. Ein Bildsegment für eine Lage von x = 130 bis x = 140 sowie von y = 10 bis y = 20 ist hell hervorgehoben. Das blickwinkelabhängige Merkmal des Dokumentes kann auf Basis des Bildsegmentes detektiert werden.
  • Fig. 8 zeigt Konturdiagramme 801, 803, 805, 807 mit Bildsegmenten für eine Mehrzahl von erfassten Bildern eines Dokumentes gemäß einer Ausführungsform. Die Mehrzahl von erfassten Bildern umfasst ein erstes Dokumentenbild 403, ein zweites Dokumentenbild 405, ein drittes Dokumentenbild 407, und ein N-tes Dokumentenbild 409.
  • Dem ersten Dokumentenbild 403 sind die Konturdiagramme 801 zugeordnet. Dem zweiten Dokumentenbild 405 sind die Konturdiagramme 803 zugeordnet. Dem dritten Dokumentenbild 407 sind die Konturdiagramme 805 zugeordnet. Dem N-ten Dokumentenbild 409 sind die Konturdiagramme 807 zugeordnet.
  • Es können verschiedene Segmentierungsverfahren, wie beispielsweise ein Maximally Stable Extremal Regions (MSER) Verfahren oder ein Mean-Shift Verfahren, eingesetzt werden. Um den Einfluss von Reflektionen auf dem Dokument zu reduzieren, kann ferner ein Glanzlichtdetektor eingesetzt werden und kann ferner ein Inpainting durchgeführt werden. Darüber hinaus kann die Mehrzahl der erfassten Bilder oder der Bildstapel weitergehender analysiert werden.
  • Die Konturdiagramme 801, 803, 805, 807 zeigen eine Segmentierung eines Bildstapels beispielsweise mit einer Schicht. Die Dokumentenbilder 403, 405, 407, 409 sind in der oberen Reihe dargestellt. Die mittlere Reihe zeigt Bildsegmente, welche beispielsweise mittels eines MSER Verfahrens bestimmt werden. Die untere Reihe zeigt Bildsegmente, welche beispielsweise mittels des MSER Verfahrens bestimmt werden, wobei modifizierte Bilder des Dokumentes, beispielsweise unter Verwendung einer Glanzlichtdetektion und/oder eines Inpainting, zugrunde gelegt werden.
  • Somit kann ein Ansatz zur automatischen Detektion eines blickwinkelabhängigen Merkmals eines Dokumentes unter Verwendung eines Mobilgerätes realisiert werden. Es können zuvor unbekannte Dokumente detektiert und verfolgt werden. Zudem kann automatisch die Lage eines oder mehrerer blickwinkelabhängiger Merkmale, sofern vorhanden, bestimmt werden. Die Detektion blickwinkelabhängiger Merkmale kann einen ersten Schritt zum automatisierten Testen und Verifizieren blickwinkelabhängiger Merkmale darstellen. Die blickwinkelabhängigen Merkmale können eingebettete Merkmale sein.
  • Fig. 9 zeigt ein Diagramm 900 einer Mehrzahl von Raumlagen zum Erfassen einer Mehrzahl von Bildern des Dokumentes gemäß einer Ausführungsform.
  • Das Diagramm 900 umfasst eine 2D-Orientierungskarte (engl. orientation map) zum Erfassen der Bilder des Dokumentes und/oder zum Überwachen der Erfassung der Bilder des Dokuments aus verschiedenen Blickwinkeln.
  • Vorbestimmte Raumlagen zum Erfassen von Bildern des Dokumentes sind dabei durch Punkte hervorgehoben. Die vorbestimmten Raumlagen können einem Azimut und einer Elevation des Dokumentes relativ zu einer Bildkamera entsprechen.
  • Die vorbestimmten Raumlagen können quantisiert und/oder diskretisiert definiert sein.
  • Im Folgenden wird das Gesamtkonzept zusammengefasst.
  • Blickwinkelabhängige Merkmale, wie beispielsweise Hologramme, können ihre Darstellungen je nach Blickrichtung und Beleuchtungsrichtung vorhandener Lichtquellen in der Umgebung verändern. Blickwinkelabhängige Merkmale können dabei von der Umgebung im Dokument abgegrenzt sein und/oder eine begrenzte Ausdehnung im Dokument aufweisen. Zur Detektion von blickwinkelabhängigen Merkmalen kann eine lokale Veränderung des Aussehens bezüglich des Blickwinkels herangezogen werden. Dabei sollte das Dokument aus verschiedenen Blickwinkeln aufgenommen werden. Daher kann eine Mobile Augmented Reality (AR) Anordnung zur Bilderfassung verwendet werden.
  • Da keine Referenzinformationen, beispielsweise der Dokumententyp, vorliegen, sollte zunächst der Bereich des Dokumentes detektiert werden. Danach kann ein Dokumentenbild oder ein entzerrtes Dokumentenbild einem Verfolgungsalgorithmus (engl. tracking) übergeben werden. Somit können in jedem einzelnen Dokumentenbild Informationen zur Raumlage zur Verfügung stehen. Unter Vernachlässigung einer Rotation um einen Sehstrahl, kann die Erfassung der Bilder mit einer Orientierungskarte gesteuert werden, welche einen Winkel zur x-Achse und zur y-Achse angeben kann. Diese kann je nach aktueller Raumlage oder Pose befüllt werden und gewährleisten, dass das Dokument aus verschiedenen Blickwinkeln betrachtet wird. Die Extraktion des Dokumentes kann dann durch eine Entzerrung mittels der bestimmten Raumlage des Verfolgers durchgeführt werden. Somit kann ein Bildstapel mit entzerrten und/oder registrierten Bildern gebildet werden.
  • Zur Erkennung und Abtrennung von ungeeigneten entzerrten und/oder registrierten Bildern kann zusätzlich eine Prüfung mittels einer normalisierten Kreuzkorrelation durchgeführt werden. Nach Abschluss des Erfassungsvorganges kann aus dem Bildstapel ein Modell gebildet werden (m0, m1). Die Abweichungen können unter Verwendung jeder Schicht des Bildstapels mittels eines Abweichungsmaßes (e0, e1) zu einem Unterschiedsbild, beispielsweise in Form einer Hologrammkarte, fusioniert werden. Dieses Unterschiedsbild charakterisiert das Dokument bezüglich der Lage und Ausdehnung blickwinkelabhängiger Merkmale. Anschließend kann segmentiert werden, um eine Menge von Bildsegmenten zu erhalten. Die gefilterten und validierten Bildsegmente können das Ergebnis der Detektion darstellen.
  • Die Verifikation und/oder Validierung der Bildsegmente kann die Anzahl von falsch-positiv detektierten blickwinkelabhängigen Merkmalen verringern. Dabei kann ein jeweiliges Bildsegment aus jeder Schicht des Bildstapels extrahiert werden. Jedes Bildsegment oder Patch wird dann mittels einer normalisierten Kreuzkorrelation (engl. normalized cross correlation, NCC) mit den übrigen Bildsegmenten oder Patches verglichen und unter Verwendung eines Schwellwertes thncc als Übereinstimmung oder Abweichung klassifiziert werden. Wenn der relative Anteil über einem Schwellwert thvalidation liegt, kann angenommen werden, dass das aktuelle Bildsegment genügend visuelle Veränderungen bei einer Veränderung des Blickwinkels aufweist.
  • Der erläuterte Ansatz kann folgendermaßen erweitert werden. Eine detailliertere Analyse des registrierten Bildstapels kann durchgeführt werden. Zunächst können Glanzlichter, welche beispielsweise durch eine Beleuchtungseinrichtung oder eine LED-Leuchte verursacht werden, detektiert und entfernt werden. Zudem kann jede Schicht des Bildstapels einzeln segmentiert werden, beispielsweise unter Verwendung des Maximally Stable Extremal Regions (MSER) Verfahrens. Aus den erhaltenen Bildsegmenten können Folgen von Bildsegmenten extrahiert werden, welche näherungsweise örtlich konstant sein können. Jede Folge kann danach als ein einzelnes Unterschiedsbild, beispielsweise in Form einer Hologrammkarte, betrachtet, segmentiert, gefiltert und validiert werden.
  • Eine Weiterentwicklung des Ansatzes wird im Folgenden beschrieben. Es kann eine Segmentierung des Unterschiedsbildes unter Verwendung einer lokalen adaptiven Schwellwertbildung mit automatischer Selektion einer geeigneten Fenstergröße zur Verbesserung der Skalierungsinvarianz eingesetzt werden. Zur Filterung von Bildsegmenten kann das ermittelte Bildsegment in der Filterung verwendet werden anstatt eines jeweiligen begrenzenden Rechtecks. Eine Charakterisierung der im vorherigen Schritt ermittelten Spitzen im Unterschiedsbild kann durch einen Vergleich mit der unmittelbaren Umgebung in dem Unterschiedsbild realisiert werden. Dadurch kann der Verifizierungs- oder Validierungsschritt unter Verwendung einer normalisierten Kreuzkorrelation (NCC) je nach Anwendung entfallen.
  • Es kann eine Detektion von blickwinkelabhängigen Merkmalen, beispielsweise von Hologrammen, auf unbekannten Dokumenten ohne vorhandene Referenzinformation mittels eines Mobilgerätes durchgeführt werden. Somit wird erreicht, dass eine Detektion eines blickwinkelabhängigen Merkmals auch ohne Kenntnis des Dokumententyps oder des Dokumentenlayouts durchgeführt werden kann.
    • BEZUGSZEICHENLISTE
    • 100
    Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals
    101
    Erfassen eines ersten Bildes des Dokumentes
    103
    Erfassen eines zweiten Bildes des Dokumentes
    105
    Erfassen eines Bildunterschieds
    200
    Mobilgerät zum Detektieren eines blickwinkelabhängigen Merkmals
    201
    Bildkamera
    203
    Prozessor
    301-303
    Schrittfolgen
    305-313
    Schritte
    401
    Dokument
    402
    Blickwinkelabhängiges Merkmal
    403
    Erstes Dokumentenbild
    405
    Zweites Dokumentenbild
    407
    Drittes Dokumentenbild
    409
    N-tes Dokumentenbild
    600
    Oberflächendiagramm
    701
    Diagramm
    703
    Konturdiagramm
    801-807
    Konturdiagramme
    900
    Diagramm

Claims (11)

  1. Verfahren (100) zum Detektieren eines blickwinkelabhängigen Merkmals (402) eines Dokumentes (401) unter Verwendung einer Bildkamera (201), wobei das blickwinkelabhängige Merkmal (402) blickwinkelabhängige Darstellungen aufweist, mit:
    Erfassen (101) eines ersten Bildes des Dokumentes (401) durch die Bildkamera (201) in einer ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201), um ein erstes Dokumentenbild (403) zu erhalten;
    Erfassen (103) eines zweiten Bildes des Dokumentes (401) durch die Bildkamera (201) in einer zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201), um ein zweites Dokumentenbild (405) zu erhalten; und
    Erfassen (105) eines Bildunterschieds zwischen dem ersten Dokumentenbild (403) und dem zweiten Dokumentenbild (405), um das blickwinkelabhängige Merkmal (402) des Dokumentes (401) zu detektieren,
    wobei der Bildunterschied in eine Mehrzahl von Bildsegmenten segmentiert wird, und wobei das blickwinkelabhängige Merkmal (402) des Dokumentes (401) auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten detektiert wird,
    wobei für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß bestimmt wird, und wobei das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals (402) zu qualifizieren;
    wobei einem Bildsegment der Mehrzahl von Bildsegmenten ein erstes Dokumentenbildsegment des ersten Dokumentenbildes und ein zweites Dokumentenbildsegment des zweiten Dokumentenbildes zugeordnet ist, wobei das erste Dokumentenbildsegment mit dem zweiten Dokumentenbildsegment verglichen wird, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren;
    wobei der Vergleich des ersten Dokumentenbildsegments mit dem zweiten Dokumentenbildsegment mittels einer normalisierten Kreuzkorrelation durchgeführt wird, und das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals qualifiziert wird, wenn das erste Dokumentenbildsegment und das zweite Dokumentenbildsegment unterschiedlich sind;
    wobei das Erfassen (101) des ersten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des ersten Dokumentenbildes (403) auf Basis der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes (405) auf Basis der zweiten Raumlage umfasst;
    wobei das Verfahren ferner ein Bestimmen der ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des ersten Dokumentenbildes (403) und/oder ein Bestimmen der zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des zweiten Dokumentenbildes (405) umfasst.
  2. Verfahren (100) nach Anspruch 1, wobei das Verfahren (100) ein Erfassen einer Mehrzahl von Bildern des Dokumentes (401) durch die Bildkamera (201) in unterschiedlichen Raumlagen des Dokumentes (401) relativ zu der Bildkamera (201) umfasst, wobei das Erfassen (101) des ersten Bildes des Dokumentes (401) ein Auswählen des ersten Bildes aus der Mehrzahl von Bildern in der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401) ein Auswählen des zweiten Bildes aus der Mehrzahl von Bildern in der zweiten Raumlage umfasst, wobei das Erfassen der Mehrzahl von Bildern des Dokumentes (401) ein Bestimmen einer jeweiligen Raumlage auf Basis eines jeweiligen Bildes umfasst, wobei die jeweiligen Raumlagen mit der ersten Raumlage verglichen werden, um das erste Bild aus der Mehrzahl von Bildern auszuwählen, wobei die jeweiligen Raumlagen mit der zweiten Raumlage verglichen werden, um das zweite Bild aus der Mehrzahl von Bildern auszuwählen.
  3. Verfahren (100) nach Anspruch 1 oder 2, wobei die jeweilige Raumlage mittels einer Kantendetektion bestimmt wird.
  4. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das jeweilige Dokumentenbild (403, 405) zur Rauschreduktion tiefpassgefiltert wird.
  5. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das erste Dokumentenbild (403) mit dem zweiten Dokumentenbild (405) verglichen wird, um eine Ausrichtung des ersten Dokumentenbildes (403) in Bezug zu dem zweiten Dokumentenbild (405) zu bestimmen, und wobei das erste Dokumentenbild (403) und das zweite Dokumentenbild (405) auf Basis der bestimmten Ausrichtung in Bezug aufeinander ausgerichtet werden.
  6. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei ein Mittelwert aus einem ersten Pixelwert eines Pixels des ersten Dokumentenbildes (403) und einem zweiten Pixelwert eines Pixels des zweiten Dokumentenbildes (405) bestimmt wird, wobei eine erste Abweichung des ersten Pixelwertes von dem Mittelwert bestimmt wird, wobei eine zweite Abweichung des zweiten Pixelwertes von dem Mittelwert bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Abweichung und der zweiten Abweichung erfasst wird.
  7. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei eine erste Dokumentenbildmaske auf Basis des ersten Dokumentenbildes (403) bestimmt wird, wobei eine zweite Dokumentenbildmaske auf Basis des zweiten Dokumentenbildes (405) bestimmt wird, und wobei der Bildunterschied auf Basis der ersten Dokumentenbildmaske und der zweiten Dokumentenbildmaske erfasst wird.
  8. Verfahren (100) nach Anspruch 7, wobei die jeweilige Dokumentenbildmaske Pixel des jeweiligen Dokumentenbildes (403, 405) anzeigt, welche zur Erfassung (105) des Bildunterschieds verwendbar sind.
  9. Verfahren (100) nach einem der vorstehenden Ansprüche, wobei das blickwinkelabhängige Merkmal (402) ein Hologramm oder eine Drucktinte mit blickwinkelabhängigen Reflexionseigenschaften oder Absorptionseigenschaften umfasst.
  10. Mobilgerät (200) zum Detektieren eines blickwinkelabhängigen Merkmals (402) eines Dokumentes (401), wobei das blickwinkelabhängige Merkmal (402) blickwinkelabhängige Darstellungen aufweist, mit:
    einer Bildkamera (201), welche ausgebildet ist, ein erstes Bild des Dokumentes (401) in einer ersten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) zu erfassen, um ein erstes Dokumentenbild (403) zu erhalten, und ein zweites Bild des Dokumentes (401) in einer zweiten Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) zu erfassen, um ein zweites Dokumentenbild (405) zu erhalten; und einem Prozessor (203), welcher ausgebildet ist, einen Bildunterschied zwischen dem ersten Dokumentenbild (403) und dem zweiten Dokumentenbild (405) zu erfassen, um das blickwinkelabhängige Merkmal (402) des Dokumentes (401) zu detektieren,
    wobei der Prozessor ausgebildet ist, den Bildunterschied in eine Mehrzahl von Bildsegmenten zu segmentieren, und das blickwinkelabhängige Merkmal (402) des Dokumentes (401) auf Basis zumindest eines Bildsegmentes der Mehrzahl von Bildsegmenten zu detektieren,
    wobei der Prozessor ausgebildet ist, für ein Bildsegment der Mehrzahl von Bildsegmenten ein Bildsegmentmaß zu bestimmen, und das bestimmte Bildsegmentmaß mit einem vorbestimmten Bildsegmentmaß zu vergleichen, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals (402) zu qualifizieren;
    wobei der Prozessor ausgebildet ist, einem Bildsegment der Mehrzahl von Bildsegmenten ein erstes Dokumentenbildsegment des ersten Dokumentenbildes und ein zweites Dokumentenbildsegment des zweiten Dokumentenbildes zuzuordnen, und das erste Dokumentenbildsegment mit dem zweiten Dokumentenbildsegment zu vergleichen, um das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren;
    wobei der Prozessor ausgebildet ist, den Vergleich des ersten Dokumentenbildsegments mit dem zweiten Dokumentenbildsegment mittels einer normalisierten Kreuzkorrelation durchzuführen, und das Bildsegment für die Detektion des blickwinkelabhängigen Merkmals zu qualifizieren, wenn das erste Dokumentenbildsegment und das zweite Dokumentenbildsegment unterschiedlich sind;
    wobei das Erfassen (101) des ersten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des ersten Dokumentenbildes (403) auf Basis der ersten Raumlage umfasst, und wobei das Erfassen (103) des zweiten Bildes des Dokumentes (401) ferner ein perspektivisches Entzerren des zweiten Dokumentenbildes (405) auf Basis der zweiten Raumlage umfasst;
    wobei das Mobilgerät (200) ausgebildet ist, die erste Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des ersten Dokumentenbildes (403) zu bestimmen und/oder die zweite Raumlage des Dokumentes (401) relativ zu der Bildkamera (201) auf Basis des zweiten Dokumentenbildes zu bestimmen.
  11. Computerprogramm mit einem Programmcode, dessen Befehle bewirken, dass das Mobilgerät nach Anspruch 10 das Verfahren nach einem der Ansprüche 1 bis 9 ausführt.
EP15728835.8A 2014-06-17 2015-06-10 Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes Active EP3158543B1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102014108492.6A DE102014108492A1 (de) 2014-06-17 2014-06-17 Verfahren zum Detektieren eines blickwinkelabhängigen Merkmals eines Dokumentes
PCT/EP2015/062943 WO2015193152A1 (de) 2014-06-17 2015-06-10 Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes

Publications (2)

Publication Number Publication Date
EP3158543A1 EP3158543A1 (de) 2017-04-26
EP3158543B1 true EP3158543B1 (de) 2021-10-13

Family

ID=53396483

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15728835.8A Active EP3158543B1 (de) 2014-06-17 2015-06-10 Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes

Country Status (3)

Country Link
EP (1) EP3158543B1 (de)
DE (1) DE102014108492A1 (de)
WO (1) WO2015193152A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201602198D0 (en) * 2016-02-08 2016-03-23 Idscan Biometrics Ltd Method computer program and system for hologram extraction
RU2644513C1 (ru) 2017-02-27 2018-02-12 Общество с ограниченной ответственностью "СМАРТ ЭНДЖИНС СЕРВИС" Способ детектирования голографических элементов в видеопотоке
AU2020228711A1 (en) 2019-02-28 2021-10-21 Sicpa Holding Sa Method for authenticating a magnetically induced mark with a portable device
AR123354A1 (es) 2020-09-02 2022-11-23 Sicpa Holding Sa Marca de seguridad, método y dispositivo para leer la marca de seguridad, documento de seguridad marcado con la marca de seguridad y método y sistema para verificar dicho documento de seguridad

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9001616A (nl) * 1990-07-16 1992-02-17 Stichting Daht Foundation Werkwijze voor het identificeren van een hologram en inrichting voor het uitvoeren van deze werkwijze.
US6473165B1 (en) * 2000-01-21 2002-10-29 Flex Products, Inc. Automated verification systems and methods for use with optical interference devices
US7672475B2 (en) * 2003-12-11 2010-03-02 Fraudhalt Limited Method and apparatus for verifying a hologram and a credit card
DE202005018964U1 (de) * 2005-12-02 2006-03-16 Basler Ag Vorrichtung zum Prüfen der Echtheit von Dokumenten
US20070211920A1 (en) * 2006-01-23 2007-09-13 Rhoads Geoffrey B Methods and Cards Employing Optical Phenomena
US7925096B2 (en) * 2007-12-12 2011-04-12 Xerox Corporation Method and apparatus for validating holograms
US20100253782A1 (en) * 2009-04-07 2010-10-07 Latent Image Technology Ltd. Device and method for automated verification of polarization-variant images
US8953037B2 (en) * 2011-10-14 2015-02-10 Microsoft Corporation Obtaining spatially varying bidirectional reflectance distribution function
DE102013101587A1 (de) * 2013-02-18 2014-08-21 Bundesdruckerei Gmbh Verfahren zum überprüfen der echtheit eines identifikationsdokumentes

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None *

Also Published As

Publication number Publication date
DE102014108492A1 (de) 2015-12-17
EP3158543A1 (de) 2017-04-26
WO2015193152A1 (de) 2015-12-23

Similar Documents

Publication Publication Date Title
DE102011106050B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads
Bu et al. Crack detection using a texture analysis-based technique for visual bridge inspection
DE102008000758B4 (de) Vorrichtung zum Erkennen eines Objekts in einer Abbildung
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
CN106874889A (zh) 基于卷积神经网络的多特征融合sar目标鉴别方法
DE112020005932T5 (de) Systeme und verfahren zur segmentierung von transparenten objekten mittels polarisationsmerkmalen
EP3158543B1 (de) Verfahren zum detektieren eines blickwinkelabhängigen merkmals eines dokumentes
DE102015205309A1 (de) Stabile Erfassung von Windschutzscheiben über die Lokalisierung von Markierungspunkten
WO1996007976A1 (de) Verfahren zur rekonstruktion von in rasterform vorliegenden linienstrukturen
DE102014117102A1 (de) Spurwechselwarnsystem und Verfahren zum Steuern des Spurwechselwarnsystems
DE102017220752A1 (de) Bildverarbeitungsvorrichtung, Bildbverarbeitungsverfahren und Bildverarbeitungsprogramm
Haselhoff et al. On visual crosswalk detection for driver assistance systems
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE102015122116A1 (de) System und Verfahren zur Ermittlung von Clutter in einem aufgenommenen Bild
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器
WO2015044051A1 (de) Positionierverfahren für die positionierung eines mobilgerätes relativ zu einem sicherheitsmerkmal eines dokumentes
Gao et al. From quaternion to octonion: Feature-based image saliency detection
Hoang et al. Scalable histogram of oriented gradients for multi-size car detection
CN111275687B (zh) 一种基于连通区域标记的细粒度图像拼接检测方法
Khaliluzzaman et al. Zebra-crossing detection based on geometric feature and vertical vanishing point
EP3259703B1 (de) Mobilgerät zum erfassen eines textbereiches auf einem identifikationsdokument
EP2394250B1 (de) Verfahren und vorrichtung zum verifizieren von dokumenten unter verwendung einer wavelet-transformation
EP2551788A1 (de) Verfahren zur biometrischen gesichtserkennung
Gaur et al. Comparison of edge detection techniques for segmenting car license plates
EP2831806A1 (de) Verfahren zum detektieren einer perspektivisch verzerrten mehreckstruktur in einem bild eines identifikationsdokumentes

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170109

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20181009

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R079

Ref document number: 502015015293

Country of ref document: DE

Free format text: PREVIOUS MAIN CLASS: G07D0007120000

Ipc: G07D0007000000

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

RIC1 Information provided on ipc code assigned before grant

Ipc: G07D 7/20 20160101ALI20210617BHEP

Ipc: G07D 7/00 20160101AFI20210617BHEP

INTG Intention to grant announced

Effective date: 20210713

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015015293

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 1438744

Country of ref document: AT

Kind code of ref document: T

Effective date: 20211115

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220113

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220213

Ref country code: SE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220214

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220113

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20220114

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015015293

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20220714

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20220630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220610

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220610

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220630

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230526

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20230621

Year of fee payment: 9

Ref country code: DE

Payment date: 20230620

Year of fee payment: 9

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 1438744

Country of ref document: AT

Kind code of ref document: T

Effective date: 20220610

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20220610

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20230622

Year of fee payment: 9

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150610

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20211013