EP4241252A1 - Extraktion von extraktionsinformation aus einer abtastinformation einer oberfläche zur verwendung mit einer datenbank - Google Patents

Extraktion von extraktionsinformation aus einer abtastinformation einer oberfläche zur verwendung mit einer datenbank

Info

Publication number
EP4241252A1
EP4241252A1 EP21807046.4A EP21807046A EP4241252A1 EP 4241252 A1 EP4241252 A1 EP 4241252A1 EP 21807046 A EP21807046 A EP 21807046A EP 4241252 A1 EP4241252 A1 EP 4241252A1
Authority
EP
European Patent Office
Prior art keywords
information
partial
database
extraction information
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21807046.4A
Other languages
English (en)
French (fr)
Inventor
Jan BEHLING
Mathias ROTGERI
Jan Sören EMMERICH
Dirk Höning
Patrick Klokowski
Christian Hammermeister
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of EP4241252A1 publication Critical patent/EP4241252A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to devices and methods for determining the position of a detection unit based on a comparison of extraction information with a database. More particularly, the present invention relates to image-based localization on mottled floors. In addition, the invention relates to methods for storing extraction information in a database.
  • Localization in free space is an important basic building block for the operation of mobile robots.
  • the robots For the efficient and safe operation of mobile robots, for example in sorting systems, the robots should be able to reliably determine their own position.
  • a possible challenge is a changing environment, for example when the positions of shelves or other obstacles change.
  • Such framework conditions place high demands on the corresponding robots and associated localization processes.
  • Radio-based localization methods Here the signal of one or more reference transmitters is used in different ways to establish a relative localization to the reference transmitter(s). If the absolute position of the transmitter is known, these methods can also be used for absolute positioning. Radio-based solutions work both indoors and outdoors and differ, among other things, in the use of the modulation method, bandwidth, frequency, number of antennas used (keyword: Ml MO), etc.
  • One of the best-known representatives of radio-based localization methods is probably GPS, which, however, is preferred, or For example, it can only be used outdoors.
  • Localization methods based on distance measurements This refers to all methods that rely on different sensors that can be used to measure distances. These include laser distance sensors, ultrasonic sensors, time-of-flight sensors, stereo or depth cameras.
  • the sensors are usually used in such a way that there is not only distance information for a single measuring point, but for a large number of (usually contiguous) points. Depending on the type of sensor, more than one measurement can or must be made for this (example: laser scanner with rotating mirror), or more than one sensor can be used (example: ultrasonic sensor array).
  • the measuring points can be understood as a kind of height profile, which is compared with a kind of map from which the information can be reconstructed at which positions in space this height profile can be recorded.
  • SLAM Simultaneous Localization and Mapping
  • Camera or marker-based localization methods Similar to the other two variants, the position can be determined relative to known patterns in the area, but based on RGB camera images and not on the basis of a height profile or depth image. On the one hand, there are methods that try to extract features from the images of the (unchanged) environment and build a map from them (example: ORB-SLAM), on the other hand there are a large number of methods that are artificially integrated into the Markers inserted around work. Similar to the radio-based localization methods, the system itself is the position of the Markers in space are known and one's localization is relative to the observed markers.
  • Markers for example in the form of QR codes, can be applied to the floor, for example.
  • the object of the present invention is therefore to create a device which enables an improved compromise to be made between a speed of the localization, a computational outlay and a reliability of the localization. This object is solved by the subject matter of the independent patent claims.
  • Embodiments according to the present invention are based on the core idea of extracting extraction information for such inherent features of the environment in which, for example, navigation is to be carried out and comparing it with a database in which extraction information for a large number of inherent features of the environment is stored in order to be Carry out a localization comparison.
  • a device comprises a processing unit that is designed to obtain scanning information provided by a detection unit from a scanning of a surface, the scanning information having information about an inherent feature of the surface. Furthermore, the processing unit is designed to extract extraction information for the inherent feature from the scanning information and to carry out a comparison with a database based on the extraction information, extraction information for a large number of inherent features of the surface being stored in the database. In addition, the processing unit is designed to determine the position of the detection unit based on the comparison.
  • the detection unit can be, for example, an optical detection unit, for example a camera.
  • the inherent characteristics of the surface can be e.g. B. are in particular features that describe a stochastically distributed property of the surface, which for example were not deliberately or organized or introduced into the surface in a predetermined manner.
  • An inherent feature can include, for example, an optically recognizable, distinguishable feature that varies across the surface, preferably distinguishable via locally limited changeable individual features of the surface, such as the material that has the surface or serves as a carrier for it. For example, this is a color speckle or another difference in contrast or a height profile of a surface. The formation of such properties can occur randomly during manufacture development process arise, in contrast to the use of markers, such as.
  • Measurement marks or QR codes which are not regarded as inherent features with regard to the present invention, since they are applied in a targeted manner.
  • a concept according to the invention enables, for example, a simple use of prevailing properties of the environment without having to introduce coded information.
  • determining the position by means of a comparison with a database, it is possible to determine an absolute position, e.g. with regard to the position in space, without additional comparison with a reference position or known own starting information, such as with integrating methods, the speeds or measure accelerations.
  • concepts according to the invention can also be expanded to include such further localization methods or sub-methods.
  • a system comprises one or more of the devices explained above and also below, the surface having the inherent feature, wherein the device is arranged movably with respect to the surface and is designed to change a position of the detection unit with respect to the Determine surface and database.
  • the device can in particular have the detection unit, so that the device, for example designed as a mobile robot, can determine its own position by determining the position of the detection unit.
  • the overall system according to the invention can be used, for example, as part of a sorting system, the surface being, for example, the floor surface on which mobile robots move. Due to the rapid and robust localization according to the disclosure, a higher efficiency of such an overall system is possible than, for example, with previous solutions.
  • a method for determining a position of a sensing unit includes obtaining scanning information from the sensing unit, wherein the scanning information is a scanning of a surface, and wherein the scanning information comprises information about an inherent feature of the surface. Furthermore, the method comprises extracting extraction information for the inherent feature from the scanning information, performing a comparison based on the extraction information with a database, extraction information for a large number of inherent features of the upper surface are deposited and a determination of the position of the detection unit, based on the comparison.
  • Such a method enables a quick and robust localization of the detection unit and, for example, in particular a localization without a priori information about one's own position.
  • a method for storing extraction information in a database for use with a device comprises obtaining scanning information, wherein the scanning information is a scanning of a surface and wherein the scanning information comprises information about an inherent feature of the surface. Furthermore, the method includes extracting an item of extraction information for the inherent feature from the scanning information and storing the item of extraction information for the inherent feature of the surface in the database.
  • an optional use of threshold values for the information content, an optional determination of descriptors and the evaluation of the extraction information can, for example, in the case of the use of mobile robots by one or more robots, their Positions, for example, are known precisely by additional systems, the environment, for example the surface of the ground, can be mapped.
  • a computer program includes a program code for performing a method according to the invention when the program runs on a computer.
  • the device comprises the detection unit, which is designed to provide the scanning information.
  • the integration of the detection unit into the device which is designed as a mobile robot, for example, enables the device to be localized.
  • a defined arrangement of the detection unit on the device for manipulation for example improvement of the scanning information can be used, e.g. B. for optical equalization of the scanning information with a known position of the device with respect to the surface.
  • the processing unit is designed to determine the position of the detection unit in space with respect to the inherent feature of the surface based on the comparison with the database.
  • a higher-level trajectory planning for example with collision avoidance and calculation of possible speeds, can be made possible.
  • the processing unit is designed to extract the extraction information for the inherent feature from the scanning information, taking into account optical properties of the detection unit.
  • optical properties of the detection unit for example the camera
  • Optical properties can be, for example, focal lengths, opening angles or other parameters, e.g. B. include the lens used.
  • the position and alignment of the detection unit with respect to the device can also be taken into account if the device has the detection unit.
  • the processing unit is designed to select a selected part of extraction information of the database based on rough information about the position of the acquisition unit in space at the time of acquisition of the scanning information and to use the selected part for the comparison.
  • the rough information can be, for example, the last determined position of the detection unit or the device.
  • Such known information which for example forms a priori information for the current processing step, can be used to select an area of the database which is suitable for comparison, in other words, which contains extraction information from inherent features relating to the last position of the detection unit can be reached by the registration unit in this processing step. This allows him Calculation effort can be reduced and/or the accuracy of the position information can be improved.
  • the processing unit is designed to determine from the scanning information a descriptor as part of the extraction information, which is based on the inherent feature of the surface and to perform a comparison with the database based on the descriptor, wherein in the database Descriptors for the multitude of inherent features of the surface are stored.
  • the descriptors can be a mathematical description of an inherent feature or part of an inherent feature, for example a partial feature.
  • descriptors can be calculated which describe the shape of the paint speckles. Hu moments can be used for this, for example.
  • Descriptors enable the inherent feature to be classified and thus enable better comparison with the database, since the descriptor, for example, contains a more precise description of the inherent feature and thus z. B. enables a more reliable assignment to stored characteristics.
  • a position of the inherent feature in relation to the detection unit can be determined, for example by a rotationally variant descriptor, and thus the position of the detection unit itself.
  • the processing unit is configured to determine a rotationally invariant descriptor as part of the extraction information, which is based on the inherent feature of the surface.
  • Rotationally invariant descriptors can be determined with little computing effort, for example as a by-product of image segmentation, for example in the course of the extraction of extraction information. This in turn can enable a classification or description of the inherent feature, which can improve the position determination through a more precise comparison with the database.
  • the processing unit is designed to determine descriptors which have Hu moments and/or ORB features.
  • the inherent feature of the surface is a stochastically distributed feature having stochastic properties.
  • the stochastically distributed feature can be, for example, a pattern of a floor on which mobile robots move, with different sizes, shapes, colors or structures. Furthermore, it can also be the height profile of the surface of the ground. Due to the possibility of carrying out the localization using such features, a concept according to the invention can be used in a large number of environments or applications without special preparation such as setting up radio bars or attaching coded information, for example in the form of QR codes.
  • the information is a description of a random geometry of the stochastically distributed feature.
  • the position of the detection unit can also be determined in addition to the position, for example by describing the shape of the geometry and the association or comparison with the database. Furthermore, a database comparison of the random geometry enables, for example, a particularly robust classification of the inherent feature and thus a robust position determination.
  • the stochastically distributed feature has a continuous surface with random area and random external shape
  • the processing unit is designed to extract the extraction information comprising information about the continuous surface with random surface and random external shape.
  • Coherent areas with a random surface area and a random external shape can be found in a large number of industrially used floor surfaces, for example in the form of color speckles or other patterns, so that a method according to the invention by extracting extraction information in a large number of existing systems, e.g. without structural changes.
  • the processing unit has a stochastic filter and the processing unit is designed to use the stochastic filter to filter the determined position of the detection unit in order to determine a filtered position of the detection unit.
  • the determination of the position of the detection unit can be further improved, for example, in particular using a known starting position or position of the detection unit in a previous processing step, for example the rough information.
  • further information for example from acceleration or position sensors, can also be used via filters such as Kalman filters, for example for improved or redundant position determination.
  • the inherent feature of the surface has a plurality of partial features and the processing unit is designed to extract a set of partial extraction information for each partial feature of the plurality of partial features, and to determine a value from each set of partial extraction information, wherein the value is associated with an information content of the partial feature associated with the set of partial extraction information. Furthermore, the processing unit is designed to compare each value with a threshold value and to select those sets of partial extraction information for whose associated partial feature the specific value at least reaches the threshold value and to carry out the comparison with the database based on the selected sets of partial extraction information.
  • Partial features can be, for example, individual elevations or patterns of the surface, for example the ground surface.
  • a multitude of partial extraction information can be extracted, which allows a description of the partial feature with regard to a comparison with the database.
  • the partial feature may be a single paint mottle and the sets of part extraction information may be information about a paint mottle's position, color, shape and other properties.
  • the inherent feature described above can in particular include the multiplicity number of sub-features. Specifically, for example, the color mottle of the soil surface as a whole can form the inherent feature, with each individual color mottle forming a partial feature.
  • the inherent feature can also be formed by only a partial aspect of the scanning information, such as a single color speckle. Due to the differentiated evaluation of the scanning information of the environment or the surface, a large amount of information is available for comparison with the database, which can lead to a more precise determination of the position of the detection unit, for example.
  • the threshold value comparison makes it possible to reduce the computing effort, since, for example, only partial extraction information from partial features that has a high information content is used for the comparison with the database, so that the risk of ambiguities can be reduced. Furthermore, the calculation can be concentrated on candidates for which good, distinguishable results are expected, which enables a low computational effort.
  • the processing unit is designed to determine a descriptor as part of the set of partial extraction information for each partial feature of the plurality of partial features and to carry out a comparison with the database based on the determined descriptors, the database descriptors for the plurality are stored by partial characteristics.
  • a descriptor can also be determined for each partial feature, which in turn can be used to classify or describe the partial feature in order to improve the position determination by comparing it with the database.
  • the processing unit is designed to select the sets of partial extraction information based on the probability of occurrence of the associated partial features.
  • the processing unit is designed to determine a probability of occurrence of the associated partial feature as a value for the information content from each set of partial extraction information.
  • the processing unit is designed to determine a point cloud from the selected sets of partial extraction information and to carry out the comparison with the database on the basis of a point cloud matching method or algorithm.
  • An associated point cloud can be determined from the sets of partial extraction information and the positions of the partial features, which can be part of the partial extraction information, and can be used for comparison with the database.
  • point cloud matching algorithms can be used, which, depending on the available computing power and architecture, i.e. the calculation of the position of a mobile robot by the robot itself or a central processing unit, offers a good compromise between calculation speed , computational effort and accuracy can be taken.
  • the processing unit is designed to carry out the comparison with the database on the basis of at least one of the methods iterative-closest-point, kernel correlation and RANSAC (random sample consensus). .
  • the processing unit is designed to receive the scanning information as an image from a camera as a detection unit, the image being a scan of a ground surface and the image having information about an image background and an image foreground, the Image foreground has information about a variety of color speckles of the ground.
  • the processing unit is designed to extract the information about the image foreground from the image and to extract a set of partial extraction information from the extracted information of the image foreground for each color speckle of the plurality of color speckles, the set of partial extraction information including information about a position and at least one of a shape, a color, and an area parameter of the associated color speckle.
  • the processing unit is designed, for example, to determine a value from each set of partial extraction information, the value being associated with the probability of occurrence of the color speckle associated with the set of partial extraction information, and to compare each value with a threshold value and those sets of partial extraction information , for whose associated color speckles the specific value at least reaches the threshold value.
  • the processing unit of the exemplary embodiment is designed to determine a cloud of points from the selected sets of partial extraction information, which has information about the positions of the associated color speckles and to carry out a comparison with the database based on the point cloud and the selected sets of partial extraction information. wherein a predetermined point cloud of positions of color speckles of the ground surface and corresponding sets of partial extraction information are stored in the database.
  • the processing unit is designed to determine the position of the camera based on the comparison.
  • the information about the position of the color speckle can be information about the position in a reference system of the detection unit.
  • the use of an RGB camera enables, for example, a simple extraction of partial extraction information which has information about the color of an associated color speckle.
  • descriptors can be calculated, for example, for further classification of the color speckles, for example with regard to their shape, and the comparison with the database with regard to a large number of descriptors, which are in the data bank are deposited are carried out. The concept enables a robust and accurate localization of the camera position on a ground surface.
  • the device is an automatically and/or autonomously driving vehicle
  • the processing unit is designed to localize the automatically driving vehicle
  • the vehicle can be localized by determining the position of the detection unit, in particular by integrating the detection unit, which can be mounted in a defined location and position on the vehicle.
  • the design of the vehicle according to the invention enables robust and rapid localization for safe and efficient use of the automatically driving vehicle.
  • the device is a robotic vehicle, such as for a sorting system.
  • a sorting system in accordance with exemplary embodiments can have a large number of robotic vehicles which should preferably be able to determine their own position for efficient and safe operation.
  • a localization according to the invention can, for example, reduce safety distances in order to speed up the sorting process.
  • a method for storing extraction information in a database includes determining a value associated with an information content of the inherent feature and comparing the value with a threshold value, and storing the extraction information for the inherent feature of the surface in the database if the determined value of the inherent feature at least reaches the threshold value.
  • FIG. 1 shows a schematic side view of a device according to an embodiment of the present invention
  • FIG. 2a shows an example of sample information from a sample of the surface and for the extraction of information according to an embodiment of the present invention
  • Figure 4 is a photograph of a piece of rubber flooring with speckles useful in embodiments described herein;
  • FIG. 5 shows an exemplary representation of a segmentation of color speckles, in the form of the colored “blobs” in an image of the rubber floor from FIG. 4, according to an exemplary embodiment
  • FIG. 6 shows an exemplary representation of a segmentation after discarding blobs with low information content according to an embodiment
  • FIG. 7 shows a schematic comparison of an observed point cloud to be referenced, which can be obtained, for example, according to the explanations from FIG. 6, and a reference set of surrounding points; 8 shows a schematic representation of samples of a normally distributed error of a localization carried out according to an embodiment;
  • FIG. 9 shows a schematic representation of a trajectory in one plane that has been traversed twice by a robot
  • FIG. 10 shows a schematic representation of a result of a localization in accordance with embodiments without filtering.
  • FIG. 11 shows a schematic representation of the result of the localization after filtering according to an embodiment.
  • Exemplary embodiments described below are described in connection with a large number of details. However, example embodiments can also be implemented without these detailed features. Furthermore, for the sake of comprehensibility, exemplary embodiments are described using block diagrams as a substitute for a detailed illustration. Furthermore, details and/or features of individual exemplary embodiments can be combined with one another without further ado, as long as it is not explicitly described to the contrary.
  • FIG. 1 shows a schematic side view of a device according to an embodiment of the present invention.
  • the processing unit 110 can include a microcontroller but also a processor (central processing unit CPU) and/or a graphics processor unit (graphical processor unit GPU).
  • the device 100 optionally has a detection unit 120 .
  • the detection unit includes, for example, a camera such as an area camera or a line scan camera, but can also be set up for other, preferably optical, scanning of the surface, for example by means of RADAR (Radio Detecting and Ranging) or LiDAR (Light Detecting and Ranging).
  • RADAR Radio Detecting and Ranging
  • LiDAR Light Detecting and Ranging
  • the processing unit 110 is designed to obtain scanning information provided by the acquisition unit 120 from a scan 120a of a surface 130, the scanning information having information about an inherent feature of the surface. In the event that the detection unit 120 is not part of the device, this information can still be obtained from such a device by the processing unit 110, for example by optical or radio-based data transmission, by a wired medium and/or a storage medium, which e.g Subsequent localization enabled.
  • Processing device 110 is designed to extract extraction information for the inherent feature from the scanning information and to carry out a comparison with a database based on the extraction information, extraction information for a large number of inherent features of the surface being stored in the database.
  • the processing unit 110 has an optional stochastic filter 140 .
  • An inherent feature can be understood, for example, as a feature recognizable by means of the scanning technique used, e.g. an optically recognizable, distinguishable feature that varies across the surface, preferably distinguishable via locally limited variable individual features of the surface, for example as a property of the material that covers the surface has or at least serves as a carrier for this.
  • an optically recognizable feature can be part of the carrier if it is still painted and the paint physically forms the surface, but leaves the feature recognizable.
  • a carrier for example a lacquered one
  • the feature is a color speckle or some other difference in contrast and/or a honing profile.
  • the processing unit 100 is designed to determine the position of the detection unit based on the comparison.
  • the device can be, for example, as indicated in FIG. 1, a vehicle such as a mobile robot. your. Training as a drone, automobile, or other, for example, moving object that is intended to enable localization is also possible.
  • exemplary embodiments make it possible to carry out a localization of the detection unit based on the characteristics inherent in the surface, such as the ground, for example by an evaluation of the optical flow enabling absolute localization.
  • the processing unit 110 can also be configured to determine the location of the detection unit in space with respect to the inherent feature of the surface 130 . For example, based on a known, defined position of the sensing unit 120 with respect to the ground surface and a detection of a location of the inherent feature with respect to the sensing unit, e.g. B. via a database comparison with rotation variant descriptors and/or point cloud matching.
  • properties of the detection unit such as for example optical properties of the detection unit 120, such as the camera, can also be taken into account in order to, for example, B. to prepare the scanning information for the evaluation or information extraction.
  • the processing unit can, for example, be designed to match a detected inherent feature, possibly as a result of preprocessing, which will be discussed later, with the database, with the feature and an associated position being in the database, for example, so that based on the matching the assigned position can be obtained as a result of the matching and the localization is thus based on the inherent feature.
  • a rotation of the detection unit can also be obtained from the comparison, for example by corresponding reference information on the stored feature also being stored in the database.
  • the processing unit 110 can also take into account rough information about the position of the detection unit, for example the last position determined, in order to use only a selected part of the database for the comparison.
  • further information can be used, such as knowledge that the vehicle is located in a specific section or sector of the overall system, so that, for example, only those database entries for A comparison can be used for which a match is possible or likely in view of the prior information.
  • the processing unit 110 may determine a descriptor as part of the extraction information based on the inherent feature of the surface to perform a database match based on the descriptor.
  • a descriptor ie a descriptive identifier
  • Rotation-invariant descriptors can have the advantage that they are also safe, e.g. with high reliability and/or accuracy, with rotation, e.g. a rotation of the feature associated with the descriptor compared to a descriptor of the same stored in the database but recorded rotated Characteristic, can be recognized or assigned, e.g. when compared with the database.
  • a point cloud matching algorithm can be used according to the invention for determining the rotation or for finely determining the position of the detection unit.
  • the processing unit 110 can also be designed to extract information about a rotation of the inherent feature based on edge-direction histograms (HOG - "histogram of oriented gradients") and thus in conclusion, e.g. about a known position and Position of the detection unit with respect to the scanning information, also to determine information about a rotation or position of the detection unit.
  • the optional stochastic filter 140 can be used to filter the determined position of the detection unit in order to determine a filtered position of the detection unit in order to improve the position determination, for example.
  • FIG. 2a shows an exemplary schematic representation to illustrate a possible processing of scanning information, which originates, for example, from scanning the surface and can be used for the extraction of information according to an embodiment of the present invention.
  • FIG. 2a shows scanning information 210 of a floor surface with exemplary color speckles, ie color differences in the surface, as is known, for example, from recycled rubber floors that can be used, for example, as underlays for washing machines.
  • the inherent feature 220 forms, for example, the entirety of the color speckles on the surface and an associated extraction information forms the entirety of information extracted therefrom, for example comprising global or relative arrangement, a shape, a color, an area and/or a position of all color speckles or one Part thereof about which the scanning information 210 has information.
  • the inherent feature 220 has a multiplicity of partial features 220-1, 220-2, 220-3 (and others), for example in the form of the individual color speckles.
  • the complement such as a monochromatic background
  • the complement can have at least partially comparable information, for example with regard to the shape, the global or relative arrangement of the speckles and/or an area of the speckles, which are viewed as a section of the background by means of separation be able.
  • a set of partial extraction information 230, 240, 250 can be extracted for each color speckle. The extraction for three partial features 220-1, 220-2, 220-3 is shown as an example.
  • the set of partial extraction information 230 is extracted, for partial feature 220-2, the set of partial extraction information 240 is extracted, for partial feature 220-3, the set of partial extraction information 250 is extracted.
  • the partial extraction information can in turn have at least information 230-1, 240-1, 250-1 about a set comprising shape, color, an area parameter, and the position of the associated partial feature, the contents of the enumeration, the order and the number of different Categories is to be understood only as an example and does not necessarily limit the exemplary embodiments.
  • This information can be stored in different formats 230-2, 240-2, 250-2.
  • this information can have descriptors that describe the information about the shape.
  • the information about the color can be described, for example, via an RGB value or discrete textual information, such as "blue”.
  • An area parameter for describing the area can be, for example, a single scalar, e.g. B. form zi.
  • the position in turn, can be specified as a tuple of coordinates, e.g. B. (Pos xi, Pos yi) can be determined.
  • a value can be determined from the extraction information, which value is associated with an information content for the set of partial extraction information associated with the partial feature. According to fig. 2a, this can be an area parameter, for example. For example, it can be assumed that large color speckles occur more rarely come as small speckles of color or vice versa, or that one color or shape is more common than another.
  • a threshold value comparison 230-3, 240-3, 250-3 can reduce the computing effort required for the subsequent comparison of the database, by increasing the information content of the individually selected partial extraction information. For example, partial feature 220-2 is not taken into account since its associated area parameter Z2 does not meet the associated threshold value 240-3. This can also be expressed in such a way that very probable, ie information-poor partial characteristics can be factored out or filtered by means of the threshold value decision.
  • FIG. 2b shows an example of a comparison with the database according to an embodiment of the present invention.
  • FIG. 2b shows a representation of the partial features of the sample information 210 from FIG. 2a with partial features whose associated partial extraction information meets the threshold value, in block 220b.
  • the database 270 includes extraction information or partial extraction information for a large number of inherent features of the surface or inherent partial features of the surface. Associated partial extraction information (not shown) is assigned to each of the partial features shown in the database 270 .
  • the partial features 220b can be assigned to information in the database 270 in order to determine a position of the detection unit.
  • the determination of the position of the detection unit by means of the comparison with the database can include a number of steps. For example, in a first step, a set of possible positions of the partial features can be set by comparing the associated partial extraction information of the partial features with the partial extraction information of the database. In this way, for example, possible positions of the partial features (eg blobs) in the reference field, ie for example the entire mapped surface, for example the ground surface, can be determined.
  • a point cloud matching algorithm can then be used in order to counteract ambiguities when determining the position or, in other words, to determine the true or at least a probable position of the partial features from the set of possible positions. Additional information can also be taken into account here, such as the positions of the partial features in relation to one another. For example, the five shapes of FIG. 2b can occur in a different, similar arrangement in the spatial database, since, for example, similar partial features were mapped at other locations. Under certain circumstances, it may not be sufficient to know which partial extraction information is present in the recording. It can therefore be advantageous or, for example, necessary to take into account the arrangement of the elements, that is, for example, color speckles or blobs, in relation to one another. This information can be processed by the point cloud matching algorithm, e.g. to enable clear assignment.
  • the further step can be omitted.
  • descriptors can be determined which are so unique that, for example, a pure look-up in the database is sufficient for determining the position of the partial features and thus the position of the registration unit.
  • 3 shows further scanning information according to an embodiment of the present invention.
  • 3 shows a height profile of scanning information of a surface, for example a ground surface, partial features 310 of the ground surface being, for example, individual elevations and/or depressions of the ground and partial extraction information having height or width information 320 of the elevations.
  • a surface and/or a shape can also be used here as well as a height as an alternative or in addition to a color.
  • a threshold value for the selection of partial extraction information forms, for example, a minimum height 330, the example also being invertible in the depth direction.
  • Embodiments according to the present invention are therefore not limited to image information and/or floors.
  • environmental features can also be used, which are located, for example, on a ceiling or wall in the area. For example, for the training of drones according to the invention, a large number of extraction information items can be extracted from inherent features of the surfaces of the environment in three-dimensional space.
  • FIG. 4 shows a photograph or photograph of a piece of a mentioned rubber floor with color speckles, which, for example, can show the inherent feature 220 at least in part.
  • One aspect of this embodiment is a detection unit in the form of a camera, which is aimed at the surface in the form of the floor or the floor surface and tries to localize or is designed together with the processing unit to detect special features from the recorded piece of floor or the scanning information , which information has the special and/or inherent features, to be extracted and compared with a database of features whose position is known.
  • the camera extracts extraction information from information about an inherent feature, for example the special features, in order to compare it with the database, extraction information for a large number of inherent features of the surface being stored in the database.
  • a standard process for the production of rubber flooring such as that shown in Fig. 4 uses recycling material (e.g. EPDM granulate, EPDM - ethylene propylene diene (monomer)), which is added to the matrix in the form of small colored "flakes". .
  • the matrix mixed with the plastic granules is then either extruded and/or rolled.
  • the result of this process is, for example, rubber mats (either cut to size or rolled up) that have a speckled pattern.
  • speckles are therefore inherent in the floor and at the same time form a source of information due to their randomness for localization. It should be noted that a method according to the invention does not apply to one class of rubber floors is restricted to a special manufacturing process; it can, for example. A variety of soils, which z. B. are similar to those described herein or other randomness of inherent features can be used.
  • exemplary embodiments provide for the image processing process described below to be carried out at least in part in advance on the entire floor surface, or the entire floor that is to be made available for localization, in order to create a reference database, e.g. B. for storage in the database, since this is not necessarily a SLAM procedure.
  • the overall processing pipeline can consist of or include the following building blocks, which can be executed in sequence:
  • a first step after capturing the image can include segmentation, the aim of which is to separate contiguous color segments from the image.
  • These contiguous colored areas can be referred to as "(color) blobs" or spots of color, see for example the explanations of the inherent features 220-1, 220-2 and 220-3 in FIGS. 2a and 2b.
  • the image can be segmented, for example in the first step for extracting the extraction information or partial extraction information, for example in order to extract extraction information about the color of the individual color blobs.
  • the segmentation forms an example for the extraction of the extraction information or the extraction of partial extraction information, for example for a partial feature of an individual color blob.
  • a system in accordance with embodiments described herein comprises a device described herein and the surface having the inherent feature; wherein the device is arranged to be movable with respect to the surface and is designed to determine a position of the detection unit with respect to the surface.
  • the system also has the database.
  • FIG. 5 shows a segmentation of color speckles in the form of the colored “blobs” in the image.
  • the floor consists of four different colors—red, green, blue, black—whereby the dominant color (black) represents the background here.
  • the result of the segmentation is three binary images, which separate coherent areas ("blobs") of the same color from the rest.
  • the floor shown has 30% EPDM particles, 10% each for red, green and blue. According to information-theoretical principles, the colors contain the most information, since the largest part of the floor (70%) is black. It should be pointed out here that such a composition of the soil or of the color components is only intended to serve as an example for clarification and exemplary embodiments according to the present invention are not limited to such examples.
  • a symbol carries the most information the lower its probability of occurrence. Since blobs with a very large area, for example in the bottom surface shown in FIGS. 4 and 5, occur more rarely than blobs with a small area, in view of the production, all blobs with an area that is too small are discarded, for example. This fact does not have to apply to all soils that can be used according to the invention. It is quite possible that this ratio is exactly reversed with a different rubber floor. It is important to understand that the screening or discarding of blobs, or in other words the selection of partial features or their associated sets of partial extraction information, does not necessarily have to be based on the observed pixel area, but e.g. B.
  • FIG. 6 shows the representation of the segmentation after discarding the blobs with low information content, so that, for example, only features 220-3 to 220-11 remain for evaluating the segment, while others, such as features 220-1 and/or 220-2 be ignored or filtered out. It should be noted that a combination of features, such as 220-9, 220-10 and 220-11, could also be considered a combinatorial feature.
  • FIG. 6 shows features or partial features from whose associated extraction information or sets of partial extraction information a value was determined and compared with a threshold value, the determined values of the associated, selected blobs having at least met the threshold value.
  • a rotation-invariant feature descriptor can be formed for one, several or all blobs, for example as part of the extraction information or the partial extraction information.
  • the so-called Hu moments can be used for this purpose, which, to put it simply, can represent a mathematical description of the shape of the blob.
  • other mathematical descriptors can also be used if necessary, but the Hu moments can be algorithmically very favorable, since they can be calculated as a by-product in the course of the extraction of the color information, or in other words, they can be calculated more or less free of charge from the segmentation.
  • a point cloud can now be determined from the selected sets of partial extraction information.
  • the positions of all blobs of all segmentation levels can be viewed as a point cloud.
  • the position of each blob can be converted from pixel coordinates to world coordinates - i.e. the distances between the points in the point cloud formed from the blobs correspond to the actual or absolute physical distances of the blobs on the ground.
  • Further improvements in the extraction information from the scanning information can also be achieved by taking into account further optical properties of the detection unit in the form of the camera.
  • 7 shows a point cloud observed and to be referenced in a left-hand image section and a reference set of surrounding points in a right-hand image section (right). 7 on the right can represent a simplified representation of a section of the database.
  • a matching grouping 46 of color blobs is shown as an example.
  • the fitting can be implemented using a point cloud matching algorithm, e.g. "Iterative Closest Point” - ICP for short.
  • a point cloud matching algorithm e.g. "Iterative Closest Point” - ICP for short.
  • the method is not limited to the use of the iterative closest point algorithm; there are other algorithms like e.g. B. kernel correlation or RANSAC, which can also be used to fit point clouds.
  • the previously calculated descriptors e.g. feature descriptors
  • further (partial) extraction information can also be used to characterize the (partial) feature and accordingly the comparison or, to put it another way, the fitting can also have further boundary conditions.
  • the fitting of the observed point cloud to the reference data ensures that not only the position of the acquisition unit, e.g. also of the robot in space, can be determined in one step, but also its rotation or position in space at the same time.
  • FIG. 8 A further exemplary embodiment according to the present invention is described below with reference to FIGS. 8, 9, 10 and 11.
  • FIG. The embodiment allows a Improvement of position determination by means of stochastic filters and can be used, for example, in particular with a ground camera as a detection unit.
  • the filter can work purely from the data via a statistical model (e.g. with the "Recursive Least Squares” filter) or use additional information from other sensors. e.g. in simple words: "How did I drive”), since this data can be easily obtained, for example, by measuring the wheel speed. Although these measurements can also be incorrect, but since the error of the wheel speed sensor in the rule is uncorrelated to the error of the localization algorithm, both values can be fused in order to obtain a better estimate of the current position.
  • the two most frequently used filters for this task are the Kalman filter and the particle filter. Fig. 8 is intended to do this Roughly explain the principle again.
  • Fig. 8 shows a schematic representation of random samples 48 of a normally distributed error in localization related to errors along two orthogonal directions X and Y.
  • FIG. 9 shows a trajectory 52 of a robot that has been traversed twice in one plane.
  • the individual points represent the real, real position of the vehicle ("ground-truth") in the XY plane, measured with a motion-capturing system.
  • the graph reflects the driven trajectory (in the form of a transverse hourglass, which was traversed twice) again without a time component.
  • FIG. 11 shows the result of the localization after filtering as a filtered trajectory 64 based on filtered individual localizations.
  • the data is not as clean as the ground truth, i. i.e. there are still deviations, but there are no longer any real outliers or gaps.
  • exemplary embodiments according to the present invention have the advantage that the method according to the invention can be carried out without great expense even at very high speeds, e.g. B. a robot which has the detection unit, can still function exactly (a current prototype creates e.g. 5 m/s). This can, for example, form the or one of the most important advantages. This is also due, among other things, to the fact that the calculation times of the algorithms used are very short, which represents a further advantage of the devices according to the invention.
  • the image segmentation and calculation of the feature descriptors in embodiments of the present invention can be calculated in a highly parallelized manner, e.g Prototype achieves 50 localizations per second on an Nvidia® Jetson board). In other words, point-cloud matching algorithms can be computationally inexpensive.
  • a ground-based localization according to the invention generally has the advantage (e.g. before or with regard to localizations based on the environment) that it works robustly, even in changing environments, such as an automated warehouse.
  • a great advantage, or for example the greatest advantage compared to existing solutions, can be that the method according to the invention (as already mentioned above) still works reliably even at high speeds.
  • markers for example QR codes
  • examples of such systems do not provide "gapless" localization since no recognition is possible between the markers, e.g. QR codes.
  • a method according to the invention enables, for example, a gapless localization with features already automatically applied in the production process of the surface, for example the bottom.
  • embodiments according to the present invention are based on the concept of segmenting color sprinklers, e.g. blobs in the ground, using descriptors, e.g. feature descriptors for the color speckles, using a point cloud matching algorithm and previously extracted extraction information or partial extraction information, e.g. before extracted features to be taken into account when matching or fitting.
  • Further exemplary embodiments can be based on a segmentation of red, green and blue sprinklers, a segmentation of sprinklers in rubber floors, a use of Hu moments as feature descriptors, a use of the ICP as a point cloud matching algorithm and a consideration of the Hu moments in the ICP matching.
  • ORB features with kernel correlation can be used instead of Hu moments with ICP
  • embodiments according to the present invention are technically applicable to basically any form of mobile robot used in industry.
  • the rubber floors described above are, for example, in many applications, as already mentioned, an absolute standard and can be used e.g. B. perfect as a floor in an industrial hall.
  • the procedure according to the invention described is suitable, e.g. B. especially for fast-moving mobile robots, which can be used, for example, in vehicle-based sorting systems or are relevant for transport over longer distances.
  • Embodiments according to the present disclosure can be converted into a SLAM method or in other words used for a SLAM method.
  • the great advantage of SLAM is that it can deal with a changing environment. As an example, let's take a room that contains a table with chairs. The position of the chairs may change over time. SLAM methods re-map the new position of the chairs and keep it as a reference until it is changed again.
  • one advantage of the method according to the invention compared to the SLAM method is that inherent features of the floor surface, e.g. the speckle pattern created during the production of the rubber floor, are used as a reference, so that according to the invention there is no need for a permanent remapping process, since the changes on the floor be rather small and can be carried out in a process separate from the localization, possibly even by another device / vehicle (e.g. to react to signs of wear and tear, which can occur after several years).
  • Embodiments according to the present invention include a device for determining the position of a detection unit, which forms an internal localization system.
  • a method for determining a position of a detection unit has the following steps: obtaining scan information from the sensing unit, the scan information being a scan of a surface, the scan information including information about an inherent feature of the surface; and
  • the scan information being a scan of a surface, the scan information including information about an inherent feature of the surface;
  • Such a process optionally further includes:
  • aspects have been described in the context of a device, it is understood that these aspects also represent a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also constitute a description of a corresponding block or detail or feature of a corresponding device.
  • Some or all of the method steps may be performed by hardware apparatus (or using a hardware Apparatus), such as a microprocessor, a programmable computer, or an electronic circuit. In some embodiments, some or more of the essential process steps can be performed by such an apparatus.
  • embodiments of the invention may be implemented in hardware or in software. Implementation can be performed using a digital storage medium such as a floppy disk, DVD, Blu-ray Disc, CD, ROM, PROM, EPROM, EEPROM or FLASH memory, hard disk or other magnetic or optical memory are carried out on which electronically readable control signals are stored, which can interact with a programmable computer system in such a way or interact that the respective method is carried out. Therefore, the digital storage medium can be computer-readable.
  • a digital storage medium such as a floppy disk, DVD, Blu-ray Disc, CD, ROM, PROM, EPROM, EEPROM or FLASH memory, hard disk or other magnetic or optical memory are carried out on which electronically readable control signals are stored, which can interact with a programmable computer system in such a way or interact that the respective method is carried out. Therefore, the digital storage medium can be computer-readable.
  • embodiments according to the invention comprise a data carrier having electronically readable control signals capable of interacting with a programmable computer system in such a way that one of the methods described herein is carried out.
  • embodiments of the present invention can be implemented as a computer program product with a program code, wherein the program code is effective to perform one of the methods when the computer program product runs on a computer.
  • the program code can also be stored on a machine-readable carrier, for example.
  • exemplary embodiments include the computer program for performing one of the methods described herein, the computer program being stored on a machine-readable carrier.
  • an exemplary embodiment of the method according to the invention is therefore a computer program that has a program code for performing one of the methods described herein when the computer program runs on a computer.
  • a further exemplary embodiment of the method according to the invention is therefore a data carrier (or a digital storage medium or a computer-readable medium) on which the computer program for carrying out one of the methods described herein is recorded.
  • the data carrier, digital storage medium, or computer-readable medium is typically tangible and/or non-transitory.
  • a further exemplary embodiment of the method according to the invention is thus a data stream or a sequence of signals which represents the computer program for carrying out one of the methods described herein.
  • the data stream or sequence of signals may be configured to be transferred over a data communications link, such as the Internet.
  • Another embodiment includes a processing device, such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • a processing device such as a computer or programmable logic device, configured or adapted to perform any of the methods described herein.
  • Another embodiment includes a computer on which the computer program for performing one of the methods described herein is installed.
  • a further exemplary embodiment according to the invention comprises a device or a system which is designed to transmit a computer program for carrying out at least one of the methods described herein to a recipient.
  • the transmission can take place electronically or optically, for example.
  • the recipient may be a computer, mobile device, storage device, or similar device.
  • the device or the system can, for example, comprise a file server for transmission of the computer program to the recipient.
  • a programmable logic device e.g., a field programmable gate array, an FPGA
  • a field programmable gate array may cooperate with a microprocessor to perform any of the methods described herein.
  • the methods are performed on the part of any hardware device. This can be hardware that can be used universally, such as a computer processor (CPU), or hardware that is specific to the method, such as an ASIC.
  • the devices described herein may be implemented, for example, using hardware apparatus, or using a computer, or using a combination of hardware apparatus and a computer.
  • the devices described herein, or any components of the devices described herein may be implemented at least partially in hardware and/or in software (computer program).
  • the methods described herein may be implemented, for example, using hardware apparatus, or using a computer, or using a combination of hardware apparatus and a computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Reduction Rolling/Reduction Stand/Operation Of Reduction Machine (AREA)

Abstract

Vorrichtung mit einer Verarbeitungseinheit die ausgebildet ist, um eine, von einer Erfassungseinheit bereitgestellte, Abtastinformation von einer Abtastung einer Oberfläche zu erhalten, wobei die Abtastinformation eine Information über ein inhärentes Merkmal der Oberfläche aufweist. Ferner ist die Verarbeitungseinheit ausgebildet, um eine Extraktionsinformation für das inhärente Merkmal aus der Abtastinformation zu extrahieren und basierend auf der Extraktionsinformation einen Abgleich mit einer Datenbank auszuführen, wobei in der Datenbank Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche hinterlegt sind. Darüber hinaus die ist die Verarbeitungseinheit ausgebildet, um basierend auf dem Abgleich die Position der Erfassungseinheit zu bestimmen.

Description

Extraktion von Extraktionsinformation aus einer Abtastinformation einer Oberfläche zur Verwendung mit einer Datenbank
Beschreibung
Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf Vorrichtungen und Verfahren zur Positionsbestimmung einer Erfassungseinheit, basierend auf einem Abgleich von Extraktionsinformationen mit einer Datenbank. Die vorliegende Erfindung bezieht sich insbesondere auf eine bildbasierte Lokalisierung auf Böden mit Sprenkelung. Darüber hinaus bezieht sich die Erfindung auf Verfahren zur Hinterlegung von Extraktionsinformation in einer Datenbank.
Die Lokalisierung im freien Raum stellt einen wichtigen Grundbaustein für den Betrieb von mobilen Robotern dar. Für den effizienten und sicheren Betrieb von mobilen Robotern, beispielsweise in Sortieranlagen, sollten die Roboter in der Lage sein, die eigene Position zuverlässig festzustellen. Eine mögliche Herausforderung besteht dabei in einer sich verändernden Umgebung, wenn sich beispielsweise Positionen von Regalen oder anderen Hindernissen verändern. Darüber hinaus besteht ein Interesse daran, Roboter mit immer größeren Geschwindigkeiten zu betreiben, beispielsweise um Sortiervorgänge schneller abzuschließen. Solche Rahmenbedingungen stellen hohe Anforderungen an entsprechende Roboter und zugehörige Lokalisationsverfahren.
Stand der Technik
Bisherige Ansätze zur Lokalisierung von Robotern sind sehr unterschiedlich. Es gibt sogar einige Fälle, in denen das Problem der Lokalisierung durch intelligente Spurführung ("Line-Following") umgangen wird. Es kann unterschieden werden zwischen externer und interner Lokalisierung. Bei einer externen Lokalisierung kann ein System, welches sich außerhalb vom Roboter befindet, genutzt werden, wohingegen sich bei einer internen Lokalisierung die Sensorik auf dem Roboter selbst befinden kann.
Eine Möglichkeit zu Klassifikation von bestehenden internen Lokalisierungsverfahren kann anhand der genutzten Sensorik und ihrer Auswertung erfolgen. Bekannte Verfahren umfassen: Funkbasierte Lokalisierungsverfahren: Hier wird auf unterschiedliche Arten und Weisen das Signal eines oder mehrerer Referenz-Sender genutzt, um eine relative Lokalisierung zu dem/den Referenz-Sender(n) herzustellen. Sofern die absolute Position der Sender bekannt ist, können diese Verfahren auch zur absolut- Positionierung verwendet werden. Funkbasierte Lösungen funktionieren Indoor wie Outdoor und unterscheiden sich unter anderem in der Verwendung des Modulationsverfahrens, Bandbreite, Frequenz, Anzahl der verwendeten Antennen (Stichwort: Ml MO), etc. Einer der bekanntesten Vertreter von funkbasierten Lokalisierungsverfahren ist vermutlich GPS, welches allerdings bevorzugt, oder beispielsweise nur Outdoor eingesetzt werden kann.
Lokalisierungsverfahren basierend auf Abstandsmessungen: Hiermit sind alle Verfahren gemeint, welche auf unterschiedliche Sensorik setzen, mit der sich Abstände messen lassen. Hierzu zählen u.a. Laser-Distanz-Sensoren, Ultraschall-Sensoren, Time-Of-Flight- Sensoren, Stereo- oder Tiefenkameras. Die Sensoren werden üblicherweise so eingesetzt, dass nicht bloß Abstandsinformationen zu einem einzelnen Messpunkt existieren, sondern für eine Vielzahl von (meist zusammenhängenden) Punkten. Hierfür kann oder beispielsweise muss je nach Art des Sensors mehr als eine Messung getätigt werden (Beispiel: Laser-Scanner mit Rotierendem Spiegel), oder mehr als ein Sensor zum Einsatz kommen (Beispiel: Ultraschall-Sensor-Array). Die Messpunkte können als eine Art Höhenprofil verstanden werden, welches mit einer Art Karte verglichen wird, aus welcher sich die Information rekonstruieren lässt, an welchen Positionen im Raum dieses Höhenprofil aufgenommen werden kann. Dabei kommen bspw. oftmals sog. SLAM ("Simultaneous Localization and Mapping" - dt: „Simultane Positionsbestimmung und Kartenerstellung“) Algorithmen zum Einsatz, welche den Prozess des Aufnehmens einer Karte ("Mapping" - dt.: „Kartierung“) und der Lokalisierung zusammenführen, wodurch sie ermöglichen, dass ein Agent sich in einer für ihn unbekannten Umgebung zurechtfinden kann.
Kamera- bzw. markerbasierte Lokalisierungsverfahren: Ähnlich wie bei den anderen beiden Varianten können hier die Position relativ zu bekannten Mustern in der Umgebung bestimmt werden, jedoch auf Basis von RGB-Kamera-Bildern und nicht auf Basis eines Höhenprofils oder Tiefenbildes. Dabei gibt es zum einen Verfahren, welche allein aus den Bildern der (unveränderten) Umgebung versuchen, Merkmale zu extrahieren und aus diesen eine Karte zu bauen (Beispiel: ORB-SLAM), zum anderen existiert eine Vielzahl von Verfahren, welche durch künstlich in die Umgebung eingefügte Marker arbeiten. Ähnlich wie bei den funkbasierten Lokalisierungsverfahren ist dem System selbst die Position der Marker im Raum bekannt und die eigene Lokalisierung geschieht relativ zu den beobachteten Markern. Dies kann bspw. über Triangulation (Verrechnen der Positionen mehrerer Marker im Bild zueinander), über zusätzliche Tiefeninformation (bspw. über Stereo-Vision oder dem zusätzlichen Einsatz von TOF-Kameras (Time-of-Flight-Kameras, dt.: Flugzeit- Kamera)), oder über die Veränderung der Marker- Position im Bild über die Zeit geschehen. Marker, bspw. in Form von QR-Codes können dabei bspw. auf dem Boden aufgebracht sein.
Bei weiteren Verfahren kommen Bodenkameras zum Einsatz, unter Verwendung einer Kombination von optischem Fluss und Feature-basierter Erkennung.
Ferner können auch Kombinationen aus den oben beschriebenen Verfahren gebildet werden. Insbesondere sei darauf hingewiesen, dass Verfahren, Teile von Verfahren oder einzelne Merkmale aus dem Stand der Technik auch in Kombination mit den im Folgenden erläuterten, erfindungsgemäßen Konzept verwendet werden können.
Die Erfinder haben erkannt, dass bisherige Lösungen zur Lokalisierung von mobilen Robotern einige Nachteile aufweisen. So können Konzepte welche eine Spurführung nutzen, um das Problem der Lokalisierung zu umgehen nur schwer auf eine sich ändernde Umgebung reagieren. Funkbasierte Verfahren sind auf eine ausreichende Signalstärke angewiesen, sodass beispielsweise bei großen Industrieanlagen abschirmende Eigenschaften, beispielsweise von großen Metallflächen von Regalen oder Maschinen berücksichtigt werden müssen. Ferner kann eine solche Lokalisierung eine große Abhängigkeit von dem Referenzsender aufweisen, bei dessen Ausfall das gesamte System zum Erliegen kommen kann. Systeme basierend auf Abstandsmessung mit Mapping-Algorithmen können einen hohen Bedarf an Rechenleistung aufweisen, um die Karte aufzunehmen oder diese zu aktualisieren. Marker-basierte Verfahren sind wiederum auf im Vorhinein aufgebrachte Marker angewiesen, welche sich insbesondere im laufenden Betrieb abnutzen können, was zu Fehlern führen kann.
Daher besteht ein Bedarf nach einem verbesserten Lokalisierungskonzept.
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin eine Vorrichtung zu schaffen, welche es ermöglicht einen verbesserten Kompromiss zwischen einer Geschwindigkeit der Lokalisierung, einem Rechenaufwand und einer Zuverlässigkeit der Lokalisierung zu ermöglichen. Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst.
Zusammenfassung der Erfindung
Die Erfinder haben erkannt, dass inhärente Merkmale einer Oberfläche, insbesondere von Böden auf denen die Fahrzeuge bewegt werden, eine hinreichend große Merkmalsfülle in zufälliger Verteilung aufweisen können, was für eine Lokalisierung genutzt werden kann. Ausführungsbeispiele gemäß der vorliegenden Erfindung beruhen auf dem Kerngedanken Extraktionsinformationen für solche inhärente Merkmale der Umgebung, in der beispielsweise navigiert werden soll, zu extrahieren und mit einer Datenbank abzugleichen, in welcher wiederum Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Umgebung hinterlegt sind, um durch den Abgleich eine Lokalisierung durchzuführen.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung umfasst eine Vorrichtung eine Verarbeitungseinheit die ausgebildet ist, um eine, von einer Erfassungseinheit bereitgestellte, Abtastinformation von einer Abtastung einer Oberfläche zu erhalten, wobei die Abtastinformation eine Information über ein inhärentes Merkmal der Oberfläche aufweist. Ferner ist die Verarbeitungseinheit ausgebildet, um eine Extraktionsinformation für das inhärente Merkmal aus der Abtastinformation zu extrahieren und basierend auf der Extraktionsinformation einen Abgleich mit einer Datenbank auszuführen, wobei in der Datenbank Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche hinterlegt sind. Darüber hinaus die ist die Verarbeitungseinheit ausgebildet, um basierend auf dem Abgleich die Position der Erfassungseinheit zu bestimmen.
Bei der Erfassungseinheit kann es sich beispielsweise um eine optische Erfassungseinheit handeln, zum Beispiel eine Kamera. Bei den inhärenten Merkmalen der Oberfläche kann es sich z. B. insbesondere um Merkmale handeln, welche eine stochastisch verteilte Eigenschaft der Oberfläche beschreiben, die also beispielsweise nicht bewusst oder organisiert oder vorherbestimmt in die Oberfläche eingebracht wurden. Ein inhärentes Merkmal kann dabei beispielsweise ein optisch erkennbares, unterscheidbares und über die Oberfläche hinweg variierendes, bevorzugt über lokal begrenzte veränderliche Einzelmerkmale der Oberfläche unterscheidbares Merkmal, etwa dem Material, das die Oberfläche aufweist oder als Träger dafür dient, umfassen. Bspw. handelt es sich dabei um eine Farbsprenkelung oder einen sonstigen Kontrastunterschied oder ein Höhenprofil einer Oberfläche. Die Ausbildung solcher Eigenschaften kann zufallsbedingt beim Herstel- lungsprozess entstehen, im Gegensatz zur Verwendung von Markern, wie bspw. Messmarken oder QR-Codes, welche im Hinblick auf die vorliegende Erfindung nicht als inhärente Merkmale angesehen werden, da sie gezielt aufgebracht werden. Dadurch ermöglicht ein erfindungsgemäßes Konzept eine beispielsweise einfache Verwendung von vorherrschenden Eigenschaften der Umgebung, ohne kodierte Information einbringen zu müssen. Darüber hinaus ist durch die Bestimmung der Position mittels eines Abgleichs mit einer Datenbank die Bestimmung einer absoluten Position, bspw. bezüglich der Lage im Raum, möglich ohne zusätzlichen Abgleich mit einer Referenzposition oder bekannter eigener Starti nformation, wie beispielsweise bei integrierenden Verfahren, die Geschwindigkeiten oder Beschleunigungen messen. Dabei sei aber darauf hingewiesen, dass erfindungsgemäße Konzepte auch um derartige weitere Lokalisierungsverfahren oder Teilverfahren erweiterbar sind.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung umfasst ein System eine oder mehrere der zuvor und auch im Folgenden erläuterten Vorrichtung, die Oberfläche, welche das inhärente Merkmal aufweist, wobei die Vorrichtung bezüglich der Oberfläche beweglich angeordnet ist und ausgebildet ist, um eine Position der Erfassungseinheit bezüglich der Oberfläche zu bestimmen und die Datenbank.
Dabei kann die Vorrichtung insbesondere die Erfassungseinheit aufweisen, sodass die Vorrichtung, beispielsweise ausgebildet als mobiler Roboter, durch die Bestimmung der Position der Erfassungseinheit die eigene Position bestimmen kann. Das erfindungsgemäße Gesamtsystem kann beispielsweise als Teil einer Sortieranlage Anwendung finden, wobei die Oberfläche beispielsweise die Bodenoberfläche ist auf der sich mobile Roboter fortbewegen. Durch die offenbarungsgemäße schnelle und robuste Lokalisierung ist eine höhere Effizienz eines solchen Gesamtsystems, als beispielsweise bei bisherigen Lösungen, möglich.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung umfasst ein Verfahren zur Bestimmung einer Position einer Erfassungseinheit ein Erhalten einer Abtastinformation von der Erfassungseinheit, wobei die Abtastinformation eine Abtastung einer Oberfläche ist und wobei die Abtastinformation eine Information über ein inhärentes Merkmal der Oberfläche aufweist. Ferner umfasst das Verfahren ein Extrahieren einer Extraktionsinformation für das inhärente Merkmal aus der Abtastinformation, ein Ausführen eines Abgleichs, basierend auf der Extraktionsinformation, mit einer Datenbank, wobei in der Datenbank Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Ober- fläche hinterlegt sind und ein Bestimmen der Position der Erfassungseinheit, basierend auf dem Abgleich. Ein solches Verfahren ermöglicht eine schnelle und robuste Lokalisierung der Erfassungseinheit und bspw. insbesondere eine Lokalisierung ohne a priori Information über die eigenen Position.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung umfasst ein Verfahren zur Hinterlegung von Extraktionsinformation in einer Datenbank zur Verwendung mit einer erfindungsgemäßen Vorrichtung ein Erhalten einer Abtastinformation, wobei die Abtastinformation eine Abtastung einer Oberfläche ist und wobei die Abtastinformation eine Information über ein inhärentes Merkmal der Oberfläche aufweist. Ferner umfasst das Verfahren ein Extrahieren einer Extraktionsinformation für das inhärente Merkmal aus der Abtastinformation und ein Hinterlegen der Extraktionsinformation für das inhärente Merkmal der Oberfläche in der Datenbank.
Durch eine Hinterlegung der Extraktionsinformation in der Datenbank kann eine erfindungsgemäße Lokalisierung der Erfassungseinheit ermöglicht werden. Aufgrund der analogen Verarbeitung der Information, bspw. im Hinblick auf die Extraktion, eine optionale Verwendung von Schwellwerten für den Informationsgehalt, eine optionale Bestimmung von Deskriptoren sowie der Auswertung der Extraktionsinformation kann beispielsweise im Falle des Einsatzes von mobilen Robotern durch einen oder mehrere Roboter, deren Positionen bspw. durch zusätzliche Systeme genau bekannt sind, eine Kartierung der Umgebung, also beispielsweise der Oberfläche des Bodens, durchgeführt werden.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung umfasst ein Computerprogramm einen Programmcode zur Durchführung eines erfindungsgemäßen Verfahrens, wenn das Programm auf einem Computer abläuft.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung umfasst die Vorrichtung die Erfassungseinheit, die ausgelegt ist, um die Abtastinformation bereitzustellen.
Die Integration der Erfassungseinheit in die Vorrichtung, welche beispielsweise als mobiler Roboter ausgebildet ist, ermöglicht eine Lokalisierung der Vorrichtung. Ferner kann eine definierte Anordnung der Erfassungseinheit auf der Vorrichtung zur Manipulation, beispielsweise Verbesserung der Abtastinformation verwendet werden, z. B. zur optischen Entzerrung der Abtastinformation bei bekannter Lage der Vorrichtung bezüglich der Oberfläche. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet, um basierend auf dem Abgleich mit der Datenbank die Lage der Erfassungseinheit im Raum bezüglich des inhärenten Merkmals der Oberfläche zu bestimmen.
Durch die Bestimmung der Lage, also beispielsweise der Ausrichtung, der Erfassungseinheit und damit zum Beispiel auch der Vorrichtung, kann eine übergeordnete Trajektorien- planung, beispielsweise mit Kollisionsvermeidung und Berechnung von möglichen Geschwindigkeiten ermöglicht werden.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet, um die Extraktionsinformation für das inhärente Merkmal unter Berücksichtigung von optischen Eigenschaften der Erfassungseinheit aus der Abtastinformation zu extrahieren.
Die Berücksichtigung von optischen Eigenschaften der Erfassungseinheit, beispielsweise der Kamera kann zu einer Verbesserung der Qualität der Extraktionsinformation beitragen. Optische Eigenschaften können beispielsweise Brennweiten, Öffnungswinkel oder weitere Parameter, z. B. der verwendeten Linse umfassen. Ferner kann auch die Position und Ausrichtung der Erfassungseinheit bezüglich der Vorrichtung, für den Fall, dass die Vorrichtung die Erfassungseinheit aufweist, mitberücksichtigt werden.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet, um basierend auf einer Grobinformation über die Position der Erfassungseinheit im Raum, zum Zeitpunkt der Erfassung der Abtastinformation, einen ausgewählten Teil von Extraktionsinformationen der Datenbank auszuwählen und den ausgewählten Teil für den Abgleich zu verwenden.
Bei der Grobinformation kann es sich beispielsweise um die zuletzt bestimmte Position der Erfassungseinheit bzw. der Vorrichtung handeln. Durch eine solche bekannt Information, welche beispielsweise eine a priori Information für den aktuellen Verarbeitungsschritt bildet, kann ein Bereich der Datenbank ausgewählt werden, welcher für ein Abgleich infrage kommt, in anderen Worten, welcher Extraktionsinformationen von inhärenten Merkmalen beinhaltet, die bezüglich letzten Position der Erfassungseinheit von der Erfassungseinheit in diesem Verarbeitungsschritt erreicht werden können. Dadurch kann der Rechenaufwand verringert werden und/oder eine Genauigkeit der Positionsinformation verbessert werden.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet ist, um aus der Abtastinformation einen Deskriptor als Teil der Extraktionsinformation zu bestimmen, der auf dem inhärenten Merkmal der Oberfläche basiert und um basierend auf dem Deskriptor einen Abgleich mit der Datenbank auszuführen, wobei in der Datenbank Deskriptoren für die Vielzahl von inhärenten Merkmalen der Oberfläche hinterlegt sind.
Bei den Deskriptoren kann es sich um eine mathematische Beschreibung eines inhärenten Merkmals oder eines Teils eines inhärenten Merkmals bspw. eines Teilmerkmals handeln. Für den Fall von Farbsprenkeln auf einer Bodenoberfläche können beispielsweise Deskriptoren berechnet werden, welche die Form der Farbsprenkel beschreiben. Dafür können beispielsweise Hu-Momente verwendet werden. Deskriptoren ermöglichen eine Klassifikation des inhärenten Merkmals, und ermöglichen somit einen besseren Abgleich mit der Datenbank, da der Deskriptor beispielsweise eine genauere Beschreibung des inhärenten Merkmals und damit z. B. eine sicherere Zuordnung zu hinterlegten Merkmalen ermöglicht. Ferner kann bspw. durch einen rotationsvarianten Deskriptor eine Lage des inhärenten Merkmals in Bezug auf die Erfassungseinheit bestimmt werden und damit die Lage der Erfassungseinheit selbst.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet, um einen rotationsinvarianten Deskriptor als Teil der Extraktionsinformation zu bestimmen, der auf dem inhärenten Merkmal der Oberfläche basiert.
Rotationsinvariante Deskriptoren können mit geringem Rechenaufwand, beispielsweise als Nebenprodukt einer Bildsegmentierung, bspw. im Zuge der Extraktion von Extraktionsinformation, bestimmt werden. Damit kann wiederum eine Klassifikation oder Beschreibung des inhärenten Merkmals ermöglicht werden, welche die Positionsbestimmung durch einen genaueren Abgleich mit der Datenbank verbessern kann.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet ist, um Deskriptoren zu bestimmen, welche Hu-Momente und/oder ORB- Features aufweisen. Hu-Momente und/oder ORB-Features (ORB = Oriented Fast and Rotated BRIEF, Fachbegriff) bilden Beispiele für Deskriptoren, die mit geringem Rechenaufwand bestimmt werden können, sodass sie für den Einsatz in mobilen Roboter geeignet sind.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist das inhärente Merkmal der Oberfläche ein stochastisch verteiltes Merkmal mit stochastischen Eigenschaften.
Bei dem stochastisch verteilten Merkmal kann es sich beispielsweise um ein Muster eines Bodens, auf dem sich mobile Roboter fortbewegen, mit verschiedenen Größen, Formen, Farben oder Strukturen handeln. Ferner kann es sich auch um das Höhenprofil der Oberfläche des Bodens handeln. Durch die Möglichkeit die Lokalisierung anhand solcher Merkmale durchzuführen, kann ein erfindungsgemäßes Konzept in einer Vielzahl von Umgebungen bzw. Applikationen eingesetzt werden, ohne besondere Vorbereitung wie beispielsweise das Aufbauen von Funkbarken oder das Anbringen von kodierter Information, zum Beispiel in Form von QR-Codes.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Information eine Beschreibung einer zufälligen Geometrie des stochastisch verteilten Merkmals angibt.
Durch die Erfassung einer zufälligen Geometrie des stochastisch verteilten Merkmals durch die Erfassungseinheit, kann beispielsweise durch die Beschreibung der Form der Geometrie und der Zuordnung bzw. dem Abgleich mit der Datenbank zusätzlich zu Position auch die Lage der Erfassungseinheit bestimmt werden. Ferner ermöglicht ein Datenbankabgleich der zufälligen Geometrie beispielsweise eine besonders robuste Klassifikation des inhärenten Merkmals und damit eine robuste Positionsbestimmung.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung weist das stochastisch verteilte Merkmal eine zusammenhängende Fläche mit zufälligem Flächeninhalt und zufälliger äußerer Form auf und die Verarbeitungseinheit ist ausgebildet, um die Extraktionsinformation aufweisend eine Information über die zusammenhängende Fläche mit zufälligem Flächeninhalt und zufälliger äußerer Form zu extrahieren.
Zusammenhängende Flächen mit zufälligen Flächeninhalt zufälliger äußerer Form finden sich in einer Vielzahl von industriell genutzten Bodenoberflächen, beispielsweise in Form von Farbsprenkelungen oder anderen Mustern, sodass ein erfindungsgemäßes Verfahren durch die Extraktion von Extraktionsinformation in einer Vielzahl bestehender Anlagen, bspw. ohne bauliche Veränderungen, eingesetzt werden kann.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung weist die Verarbeitungseinheit ein stochastisches Filter auf und die Verarbeitungseinheit ist ausgebildet, um mittels des stochastischen Filters eine Filterung der bestimmten Position der Erfassungseinheit durchzuführen, um eine gefilterte Position der Erfassungseinheit zu bestimmen.
Durch den Einsatz von stochastischen Filtern kann beispielsweise insbesondere unter Verwendung einer bekannten Startposition oder Position der Erfassungseinheit in einem vorherigen Verarbeitungsschrittes, beispielsweise der Grobinformation, die Bestimmung der Position der Erfassungseinheit weiter verbessert werden. Ferner können über Filter wie Beispiel Kalman-Filter auch weitere Informationen, beispielsweise aus Beschleuni- gungs-, oder Lagesensoren, beispielsweise für eine verbesserte oder redundante Positionsbestimmung, verwendet werden.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung weist das inhärente Merkmal der Oberfläche eine Vielzahl von Teilmerkmalen auf und die Verarbeitungseinheit ist ausgebildet, um für jedes Teilmerkmal der Vielzahl von Teilmerkmalen einen Satz von Teilextraktionsinformationen zu extrahieren, und um aus jedem Satz von Teilextraktionsinformationen einen Wert zu bestimmen, wobei der Wert mit einem Informationsgehalt des zu dem Satz von Teilextraktionsinformationen zugehörigen Teilmerkmals assoziiert ist. Ferner ist die Verarbeitungseinheit ausgebildet, um jeden Wert mit einem Schwellwert zu vergleichen und diejenigen Sätze von Teilextraktionsinformationen, für deren zugehöriges Teilmerkmal der bestimmte Wert den Schwellwert zumindest erreicht, auszuwählen und den Abgleich mit der Datenbank basierend auf den ausgewählten Sätzen von Teilextraktionsinformationen auszuführen.
Bei Teilmerkmalen kann es sich beispielsweise um einzelne Höhenzüge oder Muster der Oberfläche, beispielsweise Bodenoberfläche handeln. Für jedes Teilmerkmal kann wiederum eine Vielzahl von Teilextraktionsinformationen extrahiert werden, welche eine Beschreibung des Teilmerkmals im Hinblick auf einen Abgleich mit der Datenbank ermöglichen. Im Fall der Farbsprenkelung eines Bodens kann es sich bei dem Teilmerkmal um einen einzelnen Farbsprenkel handeln und bei den Sätzen von Teilextraktionsinformationen um Informationen über Position, Farbe, Form und weitere Eigenschaften eines Farbsprenkels. Dabei kann das zuvor beschriebene inhärente Merkmal insbesondere die Viel- zahl von Teilmerkmalen umfassen. Konkret kann beispielsweise die Farbsprenkelung der Bodenoberfläche als Ganzes das inhärente Merkmal bilden wobei jeder einzelne Farbsprenkel ein Teilmerkmal bildet. Dabei sei aber darauf hingewiesen, dass das inhärente Merkmal aber auch nur durch einen Teilaspekt der Abtastinformation gebildet sein kann, wie beispielsweise einen einzelnen Farbsprenkel. Durch die differenzierte Auswertung der Abtastinformation der Umgebung bzw. der Oberfläche steht eine Vielzahl von Informationen zum Abgleich mit der Datenbank zur Verfügung, was beispielsweise zu einer genaueren Bestimmung der Position der Erfassungseinheit führen kann. Der Schwellwertvergleich ermöglicht die Verringerung des Rechenaufwands, da beispielsweise nur solche Teilextraktionsinformationen von Teilmerkmalen für den Abgleich mit der Datenbank herangezogen werden, welche einen hohen Informationsgehalt aufweisen, sodass die Gefahr von Uneindeutigkeiten verringert werden kann. Ferner kann die Berechnung auf Kandidaten konzentriert werden, für die gute, unterscheidbare Ergebnisse erwartet werden, was einen geringen Rechenaufwand ermöglicht.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet, um für jedes Teilmerkmal der Vielzahl von Teilmerkmalen einen Deskriptor als Teil des Satzes von Teilextraktionsinformationen zu bestimmen und basierend auf den bestimmten Deskriptoren einen Abgleich mit der Datenbank auszuführen, wobei in der Datenbank Deskriptoren für die Vielzahl von Teilmerkmalen hinterlegt sind.
Analog zur Bestimmung von Deskriptoren für das inhärente Merkmal, kann auch für jedes Teilmerkmal ein Deskriptor bestimmt werden, welcher wiederum zur Klassifikation bzw. Beschreibung des Teilmerkmals herangezogen werden kann, um die Positionsbestimmung durch den Abgleich mit der Datenbank zu verbessern.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet, um die Sätze von Teilextraktionsinformationen, basierend auf der Auftrittswahrscheinlichkeit der zugehörigen Teilmerkmale auszuwählen.
Durch die Auswahl von Sätzen von Teilextraktionsinformationen, deren zugehöriges Teilmerkmal eine geringe Auftrittswahrscheinlichkeit aufweist, kann der Rechenaufwand gering ausfallen, da nur eine geringe Zahl von Teilextraktionsinformationen mit der Datenbank abgeglichen wird. Zusätzlich können entsprechende Teilmerkmale durch die geringere Auftrittswahrscheinlichkeit eindeutiger einer Position der Erfassungseinheit zugeordnet werden, was die Positionsbestimmung genau und/oder robust machen kann. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet, um aus jedem Satz von Teilextraktionsinformationen eine Auftrittswahrscheinlichkeit des zughörigen Teilmerkmals als Wert für den Informationsgehalt zu bestimmen.
Durch die Verwendung der Auftrittswahrscheinlichkeit zur Bestimmung des Informationsgehalts ist erfindungsgemäß eine bspw. einfache und gut interpretierbare Möglichkeit geschaffen, die Auswahl der Sätze von Teilextraktionsinformationen durchzuführen.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet, um aus den ausgewählten Sätzen von Teilextraktionsinformationen eine Punktewolke zu bestimmen und den Abgleich mit der Datenbank auf Basis eines Point- Cloud-Matching-Verfahrens oder Algorithmus auszuführen.
Durch die Sätze von Teilextraktionsinformationen und den Positionen der Teilmerkmale, welche Teil der Teilextraktionsinformationen sein können, kann eine zugehörige Punktewolke bestimmt werden und zum Abgleich mit der Datenbank verwendet werden. Dabei kann auf eine Vielzahl von möglichen Umsetzungen von Point-Cloud-Matching- Algorithmen zurückgegriffen werden, wodurch je nach verfügbarer Rechenleistung und Architektur, also beispielsweise der Berechnung der Position eines mobilen Roboters durch den Roboter selbst oder eine zentrale Recheneinheit, ein guter Kompromiss zwischen Berechnungsgeschwindigkeit, Rechenaufwand und Genauigkeit getroffen werden kann.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Verarbeitungseinheit ausgebildet ist, um den Abgleich mit der Datenbank auf Basis zumindest eines der Verfahren Iterative-Closest-Point, Kernel-Correlation und RANSAC (engl.: random sample consensus, Übereinstimmung mit einer zufälligen Stichprobe) auszuführen.
Entsprechende Verfahren können mit geringem Rechenaufwand in mobilen Verarbeitungseinheiten eingesetzt werden. Ferner ermöglichen sie einen ausreichend genauen Abgleich mit der Datenbank, welche die Navigation von autonomen Robotern ermöglichen kann. Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die die Verarbeitungseinheit ausgebildet, um die Abtastinformation als ein Bild von einer Kamera als Erfassungseinheit zu erhalten, wobei das Bild eine Abtastung einer Bodenoberfläche ist und wobei das Bild eine Information über einen Bildhintergrund und einen Bildvordergrund aufweist, wobei der Bildvordergrund eine Information über eine Vielzahl von Farbsprenkel des Bodens aufweist. Ferner ist die Verarbeitungseinheit ausgebildet, um die Information über den Bildvordergrund aus dem Bild zu extrahieren und für jeden Farbsprenkel der Vielzahl von Farbsprenkeln einen Satz von Teilextraktionsinformationen aus der extrahierten Information des Bildvordergrunds zu extrahieren, wobei der Satz von Teilextraktionsinformationen Informationen über eine Position und zumindest eines aus einer Form, einer Farbe und eines Flächenparameters des zugehörigen Farbsprenkels aufweist.
Außerdem ist die Verarbeitungseinheit bspw. ausgebildet, um aus jedem Satz von Teilextraktionsinformationen einen Wert zu bestimmen, wobei der Wert mit der Auftrittswahrscheinlichkeit des zu dem Satz von Teilextraktionsinformationen zugehörigen Farbsprenkels assoziiert ist, und um jeden Wert mit einem Schwellwert zu vergleichen und diejenigen Sätze von Teilextraktionsinformationen, für deren zugehörigen Farbsprenkel der bestimmte Wert den Schwellwert zumindest erreicht, auszuwählen. Darüber hinaus ist die Verarbeitungseinheit des Ausführungsbeispiels ausgebildet, um eine Punktewolke aus den ausgewählten Sätzen von Teilextraktionsinformationen zu bestimmen, welche eine Information über die Positionen der zugehörigen Farbsprenkel aufweist und um basierend auf der Punktewolke und den ausgewählten Sätzen von Teilextraktionsinformationen einen Abgleich mit der Datenbank auszuführen, wobei in der Datenbank eine vorbestimmte Punktewolke aus Positionen von Farbsprenkeln der Bodenoberfläche und korrespondierende Sätze von Teilextraktionsinformationen hinterlegt sind. Zusätzlich ist die Verarbeitungseinheit ausgebildet, um basierend auf dem Abgleich die Position der Kamera zu bestimmen.
Dabei kann die Informationen über die Position des Farbsprenkels eine Informationen über die Position in einem Referenzsystem der Erfassungseinheit sein. Ferner ermöglicht die Verwendung einer RGB-Kamera eine bspw. einfache Extraktion von Teilextraktionsinformationen welche eine Information über die Farbe eines zugehörigen Farbsprenkels aufweist. Zusätzlich können Deskriptoren beispielsweise zur weiteren Klassifikation der Farbsprenkel, beispielsweise im Hinblick auf ihre Form, berechnet werden und der Abgleich mit der Datenbank bezüglich einer Vielzahl von Deskriptoren, welche in der Daten- bank hinterlegt sind durchgeführt werden. Das Konzept ermöglicht eine robuste und genaue Lokalisierung der Kameraposition auf einer Bodenoberfläche.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Vorrichtung ein automatisch und/oder autonom fahrendes Fahrzeug und die Verarbeitungseinheit ist ausgebildet, um das automatisch fahrende Fahrzeug zu lokalisieren.
Bei der Ausbildung der Vorrichtung als automatisch fahrendes Fahrzeug, kann insbesondere durch die Integration der Erfassungseinheit, welche in einer definierten Lage und Position auf dem Fahrzeug angebracht sein kann, durch die Bestimmung der Position der Erfassungseinheit eine Lokalisierung des Fahrzeugs erfolgen. Zu sicheren und effizienten Nutzung des automatisch fahrenden Fahrzeugs ermöglicht dabei die erfindungsgemäße Ausbildung des Fahrzeugs eine robuste und schnelle Lokalisierung.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist die Vorrichtung ein Roboterfahrzeug, etwa für ein Sortiersystem.
Ein Sortiersystem in Übereinstimmung mit Ausführungsbeispielen kann eine Vielzahl von Roboterfahrzeugen aufweisen, welche für einen effizienten und sicheren Betrieb vorzugsweise die eigene Position bestimmen können sollten. Durch eine erfindungsgemäße Lokalisierung können beispielsweise Sicherheitsabstände verringert werden, um den Sortierprozess zu beschleunigen.
Gemäß einem Ausführungsbeispiel der vorliegenden Erfindung umfasst ein Verfahren zur Hinterlegung von Extraktionsinformation in einer Datenbank ein Bestimmen eines Wertes, welcher mit einem Informationsgehalt des inhärenten Merkmals assoziiert ist und ein Vergleichen des Wertes mit einem Schwellwert, sowie ein Hinterlegen der Extraktionsinformation für das inhärente Merkmal der Oberfläche in der Datenbank, sofern der bestimmte Wert des inhärenten Merkmals den Schwellwert zumindest erreicht.
Durch die Selektion von Extraktionsinformationen im Hinblick auf den Informationsgehalt des zugehörigen inhärenten Merkmals kann sowohl der Umfang der Datenbank, als auch der Rechenaufwand für den Abgleich mit der Datenbank bei beispielsweise gleichzeitig erhöhter Qualität der Positionsbestimmung aufgrund der Vermeidung von Uneinigkeit, verbessert werden. Figurenkurzbeschreibung
Beispiele gemäß der vorliegenden Offenbarung werden nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Hinsichtlich der dargestellten schematischen Figuren wird darauf hingewiesen, dass die dargestellten Funktionsblöcke sowohl als Elemente oder Merkmale der offenbarungsgemäßen Vorrichtung als auch als entsprechende Verfahrensschritte des offenbarungsgemäßen Verfahrens zu verstehen sind, und auch entsprechende Verfahrensschritte des offenbarungsgemäßen Verfahrens davon abgeleitet werden können. Es zeigen:
Fig. 1 eine schematische Seitenansicht einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2a ein Beispiel für eine Abtastinformation von einer Abtastung der Oberfläche und für die Extraktion von Information gemäß einem Ausführungsbeispiel der vorliegenden Erfindung
Fig. 2b ein Beispiel für einen Abgleich mit der Datenbank gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 3 eine weitere Abtastinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 4 eine Aufnahme eines Stücks Gummiboden mit Sprenkelung, welches sich für hierin beschriebene Ausführungsbeispiele eignet;
Fig. 5 eine beispielhafte Darstellung einer Segmentierung von Farbsprenkeln, in Form der farbigen „Blobs“ in einem Bild des Gummibodens aus Fig. 4, gemäß einem Ausführungsbeispiel;
Fig. 6 eine beispielhafte Darstellung einer Segmentierung nach einem Verwerfen von Blobs mit geringem Informationsgehalt gemäß einem Ausführungsbeispiel;
Fig. 7 eine schematische Gegenüberstellung einer beobachteten und zu referenzieren- de Punktwolke, die bspw. gemäß den Erläuterungen aus Fig. 6 erhalten werden kann und einer Referenzmenge umliegender Punkte; Fig. 8 eine schematische Darstellung von Stichproben eines normalverteilten Fehlers einer gemäß einem Ausführungsbeispiel durchgeführten Lokalisierung;
Fig. 9 eine schematische Darstellung einer zweimalig durch einen Roboters durchfahrenen Trajektorie in einer Ebene;
Fig. 10 eine schematische Darstellung eines Ergebnisses einer Lokalisierung in Übereinstimmung mit Ausführungsbeispielen ohne Filterung; und
Fig. 11 eine schematische Darstellung des Ergebnisses der Lokalisierung nach einer Filterung gemäß einem Ausführungsbeispiel.
Detaillierte der den Fi
Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen oder ähnlichen Bezugszeichen versehen sind, so dass die in unterschiedlichen Ausführungsbeispielen dargestellte Beschreibung dieser Elemente untereinander austauschbar ist bzw. aufeinander angewendet werden kann.
Nachfolgend beschriebene Ausführungsbeispiele werden im Zusammenhang mit einer Vielzahl von Details beschrieben. Ausführungsbeispiele können jedoch auch ohne diese detaillierten Merkmale implementiert werden. Des Weiteren werden Ausführungsbeispiele der Verständlichkeit wegen unter Verwendung von Blockschaltbildern als Ersatz einer Detaildarstellung beschrieben. Ferner können Details und/oder Merkmale einzelner Ausführungsbeispiele ohne Weiteres mit einander kombiniert werden, solange es nicht explizit gegenteilig beschrieben ist.
Fig. 1 zeigt eine schematische Seitenansicht einer Vorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Fig. 1 zeigt eine Vorrichtung 100 mit einer Verarbeitungseinheit 110. Die Verarbeitungseinheit 110 kann einen Mikrokontroller aber auch einen Prozessor (central processing unit CPU) und/oder eine graphische Prozessoreinheit (graphical processor unit GPU) umfassen. Die Vorrichtung 100 weißt optional eine Erfassungseinheit 120 auf. Die Erfassungseinheit umfasst bspw. eine Kamera wie eine Flächenkamera oder eine Zeilenkamera, kann aber auch zur anderweitigen, bevorzug optischen Abtastung der Oberfläche eingerichtet sein, etwa vermittels RADAR (Radio Detecting and Ranging) oder LiDAR (Light Detecting and Ranging). Die Verarbeitungseinheit 110 ist ausgebildet, um eine, von der Erfassungseinheit 120 bereitgestellte, Abtastinformation von einer Abtastung 120a einer Oberfläche 130 zu erhalten, wobei die Abtastinformation eine Information über ein inhärentes Merkmal der Oberfläche aufweist. Für den Fall, dass die Erfassungseinheit 120 nicht Teil der Vorrichtung ist, kann diese Information dennoch von einer solchen Einrichtung durch die Verarbeitungseinheit 110 erhalten werden, etwa durch optische oder funkbasierte Datenübertragung, durch ein drahtgebundenes Medium und/oder ein Speichermedium, was bspw. eine Lokalisierung im Nachhinein ermöglicht.
Die Verarbeitungseinrichtung 110 ist ausgebildet, um eine Extraktionsinformation für das inhärente Merkmal aus der Abtastinformation zu extrahieren und basierend auf der Extraktionsinformation einen Abgleich mit einer Datenbank auszuführen, wobei in der Datenbank Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche hinterlegt sind. Zusätzlich weist die Verarbeitungseinheit 110 ein optionales stochastisches Filter 140 auf.
Als inhärentes Merkmal kann dabei beispielsweise ein vermittels der verwendeten Abtasttechnik erkennbares Merkmal verstanden werden, bspw. ein optisch erkennbares, unterscheidbares und über die Oberfläche hinweg variierendes, bevorzugt über lokal begrenzte veränderliche Einzelmerkmale der Oberfläche unterscheidbares Merkmal, etwa als Eigenschaft des Materials, das die Oberfläche aufweist oder zumindest hierfür als Träger dafür dient. So kann ein optische erkennbares Merkmal bspw. Teil des Trägers sein, wenn dieser noch lackiert ist und der Lack physikalisch die Oberfläche bildet, aber das Merkmal erkennbar lässt. Eine solche Unterscheidung ist für Ausführungsbeispiele nicht essenziel, so dass ein derartiger bspw. lackierter Träger immer noch als Oberfläche verstanden wird. Bspw. handelt es sich bei dem Merkmal um eine Farbsprenkelung oder einen sonstigen Kontrastunterschied und/oder ein Höhnprofil.
Darüber hinaus ist die Verarbeitungseinheit 100 ausgebildet, um basierend auf dem Abgleich die Position der Erfassungseinheit zu bestimmen. Bei der Vorrichtung kann es sich beispielsweise wie in Fig. 1 angedeutet um ein Fahrzeug wie einen mobilen Roboter han- dein. Eine Ausbildung als Drohne, Automobil, oder anderes bspw. bewegliches Objekts, welches eine Lokalisierung ermöglichen soll, ist dabei ebenfalls möglich.
Anders als bekannte Verfahren ermöglichen es Ausführungsbeispiele, eine Lokalisierung der Erfassungseinheit basierend auf den der Oberfläche, etwa dem Boden, inhärenten Merkmale auszuführen, etwa indem eine Auswertung des optischen Flusses eine absolute Lokalisierung ermöglicht wird.
Die Verarbeitungseinheit 110 kann ferner ausgebildet sein, um die Lage der Erfassungseinheit im Raum bezüglich des inhärenten Merkmals der Oberfläche 130 zu bestimmen. Beispielsweise auf Grundlage einer bekannten, definierten Position der Erfassungseinheit 120 in Bezug auf die Bodenoberfläche und eine Erkennung einer Lage des inhärenten Merkmals bezüglich der Erfassungseinheit, z. B. über einen Datenbankabgleich mit rotati- onsvarianten Deskriptoren und/oder Point-Cloud-Matching. Zur weiteren Verbesserung können dabei insbesondere auch Eigenschaften der Erfassungseinheit, wie bspw. optische Eigenschaften der Erfassungseinheit 120, etwa der Kamera, berücksichtigt werden, um z. B. die Abtastinformation für die Auswertung bzw. Informationsextraktion aufzubereiten.
Die Verarbeitungseinheit kann bspw. ausgebildet sein, um ein erkanntes inhärentes Merkmal, ggf. als Ergebnis einer Vorverarbeitung, worauf noch eingegangen wird, mit der Datenbank abzugleichen, wobei in der Datenbank bspw. das Merkmal und eine zugeordnete Position, so dass basierend auf dem Abgleich die zugeordnete Position als Ergebnis des Abgleichs erhalten werden kann und die Lokalisierung so auf dem inhärenten Merkmal basiert. Vergleich mit bspw. QR-Codes kann dies eine erhebliche Reduzierung des Aufwands bedeuteten, da eben solche Codes nicht erst auf der Oberfläche aufgebracht werden müssen. Neben der Position kann auch eine Rotation der Erfassungseinheit aus dem Vergleich erhalten werden, etwa indem eine Entsprechende Referenzinformation zu dem gespeicherten Merkmal ebenfalls in der Datenbank hinterlegt ist.
Zur Verringerung von Rechenzeit kann die Verarbeitungseinheit 110 darüber hinaus eine Grobinformation über die Position der Erfassungseinheit berücksichtigen, bspw. die zuletzt bestimmte Position, um nur einen ausgewählten Teil der Datenbank für den Abgleich heranzuziehen. Alternativ oder zusätzlich können weitere Informationen genutzt werden, etwa eine Kenntnis, dass das Fahrzeug in einem bestimmten Abschnitt oder Sektor des Gesamtsystems lokalisiert ist, so dass bspw. lediglich diejenigen Datenbankeinträge für einen Vergleich herangezogen werden, für die eine Übereinstimmung möglich oder in Anbetracht der Vorabinformation wahrscheinlich ist.
Bspw. kann die Verarbeitungseinheit 110 einen Deskriptor als Teil der Extraktionsinformation zu bestimmen, der auf dem inhärenten Merkmal der Oberfläche basiert, um basierend auf dem Deskriptor einen Abgleich mit der Datenbank auszuführen. Ein solcher Deskriptor, also eine beschreibende Kennung, kann rotationsvariant sein, ist aber bevorzugt rotationsinvariant. Rotationsinvariante Deskriptoren können den Vorteil aufweisen, dass diese auch noch sicher, also bspw. mit hoher Zuverlässigkeit und/oder Genauigkeit, unter Verdrehung, also bspw. einer Verdrehung des zum Deskriptor zugehörigen Merkmals gegenüber einem in der Datenbank gespeicherten Deskriptor des selben, aber verdreht aufgenommenem Merkmals, erkannt oder zugeordnet werden können, z.B. bei dem Abgleich mit der Datenbank. Das bedeutet, selbst wenn eine Lokalisierung unter einem anderen Rotationswinkel zu einem Merkmal oder Teilmerkmal erfolgt, kann das Merkmal noch sicher anhand des Deskriptors erkannt werden. Bei Verwendung von rotationsinvarianten Deskriptoren kann erfindungsgemäß zur Bestimmung der Rotation oder zur Fein- Bestimmung der Lage der Erfassungseinheit ein Point-Cloud-Matching-Algorithmus verwendet werden. Ferner kann die Verarbeitungseinheit 110 aber auch ausgebildet sein, um basierend auf Kanten-Richtungs-Histogrammen (engl. HOG - “histogram of oriented gradients“) eine Extraktionsinformation über eine Rotation des inhärenten Merkmals und damit im Rückschluss, bspw. über eine bekannte Position und Lage der Erfassungseinheit bezüglich der Abtastinformation, auch eine Information über eine Rotation oder Lage der Erfassungseinheit zu bestimmen.
Das optionale stochastische Filter 140 kann zur Filterung der bestimmten Position der Erfassungseinheit verwendet werden, um eine gefilterte Position der Erfassungseinheit zu bestimmen, um bspw. die Positionsbestimmung zu verbessern.
Fig. 2a zeigt eine beispielhafte schematische Darstellung zur Illustration einer möglichen Verarbeitung einer Abtastinformation, die bspw. von einer Abtastung der Oberfläche herrührt und für die Extraktion von Information gemäß eines Ausführungsbeispiels der vorliegenden Erfindung herangezogen werden kann. Figur 2a zeigt eine Abtastinformation 210 einer Bodenoberfläche mit beispielhaften Farbsprenkeln, also farblichen Unterschieden in der Oberfläche, wie es bspw. von recycelten Gummiböden, die etwa als Unterlagen für Waschmaschinen verwendet werden können, bekannt ist. Dabei bildet das inhärente Merkmal 220 bspw. die Gesamtheit der Farbsprenkel auf der Oberfläche und eine zugehörige Extraktionsinformation die Gesamtheit an hieraus extrahierter Information, beispielsweise umfassend globale oder relative Anordnung, eine Form, eine Farbe, eine Fläche und/oder eine Position aller Farbsprenkel oder eines Teils hiervon über die die Abtastinformation 210 eine Information aufweist.
Im gezeigten Fall weist das inhärente Merkmal 220 eine Vielzahl von Teilmerkmalen 220- 1, 220-2, 220-3 (und weitere) auf, etwa in Form der einzelnen Farbsprenkel. Dabei ist anzumerken, dass das Komplement, ein etwa einfarbiger Hintergrund, zumindest in Teilen vergleichbare Informationen aufweisen kann, etwa bezüglich der Form, der globalen oder relativen Anordnung der Sprenkel und/oder eine Fläche der Sprenkel, die mittels Separation als Ausschnitt des Hintergrunds betrachtet werden können. Für jeden Farbsprenkel kann jeweils ein Satz von Teilextraktionsinformationen 230, 240, 250 extrahiert werden. Als Beispiel ist die Extraktion für drei Teilmerkmale 220-1, 220-2, 220-3 gezeigt.
Für das Teilmerkmal 220-1 wird der Satz von Teilextraktionsinformationen 230 extrahiert, für das Teilmerkmal 220-2 wird der Satz von Teilextraktionsinformationen 240 extrahiert, Für das Teilmerkmal 220-3 wird der Satz von Teilextraktionsinformationen 250 extrahiert.
Die Teilextraktionsinformationen können jeweils wiederum zumindest Informationen 230- 1, 240-1, 250-1 über einen Satz umfassend Form, Farbe, einen Flächenparameter, und die Position des zugehörigen Teilmerkmals aufweisen, wobei die Inhalte der Aufzählung, die Reihenfolge und die Anzahl der unterschiedlichen Kategorien lediglich beispielhaft zu verstehen ist und die Ausführungsbeispiele nicht notwendigerweise einschränkt. Diese Information kann in verschiedenen Formaten 230-2, 240-2, 250-2 gespeichert sein. So können diese Informationen beispielsweise Deskriptoren aufweisen, welche die Information über die Form beschreiben. Die Information über die Farbe kann beispielsweise über ein RGB Wert oder eine diskrete textuelle Information, wie beispielsweise „blau“ beschrieben werden. Ein Flächenparameter zur Beschreibung des Flächeninhalts kann beispielsweise ein einzelner Skalar, z. B. zi bilden. Die Position wiederum kann als ein Tupel von Koordinaten, z. B. (Pos xi, Pos yi) bestimmt werden.
Aus der Extraktionsinformation kann ein Wert bestimmt werden, der mit einem Informationsgehalt zu dem Satz von Teilextraktionsinformationen zugehörigen Teilmerkmals assoziiert ist. Entsprechend fig. 2a kann es sich dabei beispielsweise um einen Flächenparameter handeln. Bspw. kann angenommen werden, das große Farbsprenkel seltener vor- kommen als kleine Farbsprenkel oder umgekehrt oder dass eine Farbe oder Form häufiger vertreten ist als eine andere. Durch ein Schwellwertvergleich 230-3, 240-3, 250-3 kann der notwendige Rechenaufwand zum folgenden abgleichen der Datenbank reduziert werden, durch eine Erhöhung des Informationsgehaltes der einzelnen ausgewählten Teilextraktionsinformationen. So wird beispielsweise Teilmerkmal 220-2 nicht berücksichtigt, da sein zugehöriger Flächenparameter Z2 nicht den zugehörigen Schwellwert 240-3 erfüllt. Dies kann auch so ausgedrückt werden, dass sehr wahrscheinliche, d. h., informationsarme Teilmerkmale vermittels des Schwellwertentscheids ausgeklammert oder gefiltert werden können.
Fig. 2b zeigt ein Beispiel für einen Abgleich mit der Datenbank gemäß eines Ausführungsbeispiels der vorliegenden Erfindung. Fig. 2b zeigt eine Repräsentation der Teilmerkmale der Abtastinformation 210 aus Fig. 2a mit Teilmerkmalen deren zugehörige Teilextraktionsinformation den Schwellwert erfüllt, in Block 220b. Die Datenbank 270 umfasst Extraktionsinformationen bzw. Teilextraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche bzw. von inhärenten Teilmerkmalen der Oberfläche. Jedem der gezeigten Teilmerkmale ist in der Datenbank 270 eine zugehörige (nicht dargestellte) Teilextraktionsinformation zugewiesen. Durch einen Abgleich, beispielsweise bezüglich der Anordnung und der jeweiligen Information der Teilextraktionsinformationen, können die Teilmerkmale 220b einer Information in der Datenbank 270 zugeordnet werden, um eine Position Erfassungseinheit zu bestimmen.
Bei Ausführungsbeispielen kann die Bestimmung der Position der Erfassungseinheit mittels des Abgleichs mit der Datenbank mehrere Schritte umfassen. Beispielsweise kann in einem ersten Schritt ein Satz von möglichen Positionen der Teilmerkmale durch den Abgleich der zugehörigen Teilextraktionsinformationen der Teilmerkale mit den Teilextraktionsinformationen der Datenbank erfolgen. Dadurch können bspw. mögliche Positionen der Teilmerkmale (bspw. Blobs) im Referenzfeld, also bspw. der gesamten kartografierten Oberfläche, bspw. Bodenoberfläche, bestimmt werden.
In einem weiteren Schritt kann anschließend ein Point-Cloud-Matching Algorithmus verwendet werden, um Uneindeutigkeiten bei der Bestimmung der Position entgegenzuwirken oder anders ausgedrückt aus dem Satz von möglichen Positionen die wahre oder zumindest eine wahrscheinliche Position der Teilmerkmale zu bestimmen. Hierbei können auch zusätzliche Informationen berücksichtigt werden, etwa Positionen der Teilmerkmale zueinander. Beispielsweise können die fünf Formen der Figur 2b in anderer, ähnlicher Anordnung in der räumlichen Datenbank vorkommen, da bspw. ähnliche Teilmerkmale an anderen Orten kartographiert wurden. Hierbei kann es unter Umständen nicht ausreichend sein zu wissen, welche Teilextraktionsinformationen in der Aufnahme vorhanden sind. Daher kann es vorteilhaft oder bspw. notwendig sein die Anordnung der Elemente, also bspw. Farbsprenkel bzw. Blobs, zueinander zu berücksichtigen. Diese Information kann vom Point-Cloud-Matching-Algorithmus verarbeitet werden, bspw. um eine eindeutige Zuordnung zu ermöglichen.
Bei weiteren Ausführungsbeispielen gemäß der vorliegenden Erfindungen kann der weitere Schritt wegfallen. Bei Ausführungsbeispielen können Deskriptoren bestimmt werden, welche so eindeutig sind, dass bspw. der reine Look-Up in die Datenbank ausreichend ist für die Bestimmung der Position der Teilmerkmale und damit der Position der Erfassungseinheit.
Fig. 3 zeigt eine weitere Abtastinformation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Fig. 3 zeigt eine Höhenprofil einer Abtastinformation einer Oberfläche, beispielsweise einer Bodenoberfläche, wobei Teilmerkmale 310 der Bodenoberfläche bspw. einzelne Erhebungen und/oder Vertiefungen des Bodens sind und wobei Teilextraktionsinformationen Höhen- bzw. Breiteninformationen 320 der Erhebungen aufweisen. Verstanden als Inselstruktur kann auch hier eine Fläche und/oder eine Form darüber hinaus aber auch eine Höhe alternativ oder zusätzlich zu einer Farbe herangezogen werden.
Ein Schwellwert zur Auswahl von Teilextraktionsinformationen bildet dabei bspw. eine Mindesthöhe 330, wobei das Beispiel auch in Tiefenrichtung invertierbar ist. Ausführungsbeispiele gemäß der vorliegenden Erfindung sind demnach nicht auf Bildinformationen und/oder Böden beschränkt. Ferner sind auch Umgebungsmerkmale verwendbar, die sich bspw. an einer Decke oder Wand der Umgebung befinden. Bspw. für die Ausbildung erfindungsgemäßer Drohnen ist im dreidimensionalen Raum einen Vielzahl von Extraktionsinformationen von inhärenten Merkmalen der Oberflächen der Umgebung extrahierbar.
Im Folgenden soll ein weiteres Ausführungsbeispiel gemäß der vorliegenden Offenbarung anhand der Figuren 4, 5 und 6 genauer beschrieben werden. In Fig. 4 ist hierzu eine Aufnahme oder Ablichtung eines Stücks eines erwähnten Gummibodens mit Farbsprenkeln dargestellt, die bspw. das inhärente Merkmal 220 zumindest in Teilen darstellen kann.
Einen Aspekt dieses Ausführungsbeispiels bildet eine Erfassungseinheit in Form einer Kamera, welche auf die Oberfläche in Form des Bodens bzw. der Bodenoberfläche gerichtet ist und zur Lokalisierung versucht oder zusammen mit der Verarbeitungseinheit ausgebildet ist, um spezielle Merkmale aus dem aufgenommenen Stück Boden bzw. der Abtastinformation, welche eine Information die speziellen und/oder inhärenten Merkmale aufweist, zu extrahieren und mit einer Datenbank von Merkmalen, deren Position bekannt ist, zu vergleichen. Anders ausgedrückt werden durch die Kamera aus einer Information über ein inhärentes Merkmal, also beispielsweise den speziellen Merkmalen, Extraktionsinformationen extrahiert, um diese mit der Datenbank abzugleichen, wobei in der Datenbank Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche hinterlegt sind.
Dabei handelt es sich nicht wie bei den Marker-basierten Systemen um speziell angebrachte Merkmale - wie z. B. einen QR-Code - auf dem Boden, und auch nicht um ein SLAM ("Simultaneous Localization and Mapping" - dt: „Simultane Positionsbestimmung und Kartenerstellung“) Verfahren, welches aus dem Kamerabild selbstständig Merkmale extrahiert und diese kartographiert - wie z. B. beim ORB-SLAM (ORB = Oriented Fast and Rotated BRIEF, Fachbegriff).
Zum besseren Verständnis des erfindungsgemäßen Konzepts soll im Folgenden, z. B. losgelöst von der Algorithmik, näher auf ein Beispiel einer Bodenoberfläche eingegangen werden. Ein Standardverfahren für die Herstellung von Gummiböden wie den aus Fig. 4 verwendet Recyclingmaterial (bspw. EPDM-Granulat, EPDM - Ethylen-Propylen-Dien- (Monomer)), welches in Form von kleinen eingefärbten „Flocken“ mit in die Grundmasse gegeben wird. Die mit den Plastikgranulat vermengte Grundmasse wird dann entweder extrudiert und/oder gewalzt. Das Ergebnis dieses Prozesses sind bspw. Gummimatten (entweder zugeschnitten oder aufgerollt), welche ein gesprenkeltes Muster aufweisen. Das genaue Aussehen des Musters ist dabei abhängig von der Art und Menge des beigefügten Granulats, allerdings ist die entstehende "Sprenkelung" bspw. immer komplett zufällig, siehe Fig. 4. Die Sprenkel sind somit dem Boden inhärent und bilden gleichzeitig ob der Zufälligkeit eine Informationsquelle für die Lokalisierung. Dabei sei darauf hingewiesen, dass ein erfindungsgemäßes Verfahren nicht auf einen Klasse von Gummiböden nach einem speziellen Herstellungsverfahren beschränkt ist; es können bspw. eine Vielzahl von Böden, welche z. B. ähnlich zu den hierin beschriebenen sind oder eine andere Zufälligkeit inhärenter Merkmale verwendet werden.
Eine Idee des Verfahrens gemäß diesem Ausführungsbeispiel besteht darin, dieses zufällige, beim Herstellungsprozess automatisch entstehende Sprenkel-Muster für eine Lokalisierung nutzbar zu machen. Dazu sehen Ausführungsbeispiele vor, nachfolgend beschriebenen Prozess der Bildverarbeitung zumindest in Teilen im Vorfeld auf der gesamten Bodenoberfläche, bzw. dem gesamten Boden, der für die Lokalisierung nutzbar gemacht werden soll, auszuführen, um eine Referenz-Datenbasis, z. B. zur Hinterlegung in der Datenbank, zu erhalten, da es sich hier nicht notwendigerweise um ein SLAM- Verfahren handelt. Die gesamte Verarbeitungspipeline kann aus den folgenden Bausteinen bestehen oder diese umfassen, welche nacheinander ausgeführt werden können:
Ein erster Schritt nach der Aufnahme des Bildes, der nicht notwendigerweise als erstes auszuführen ist, kann eine Segmentierung beinhalten, welche als Ziel hat, zusammenhängende Farbsegmente aus dem Bild herauszulösen. Diese zusammenhängenden farbigen Flächen können als "(Farb-)Blobs" oder Farbkleckse bezeichnet werden, siehe hierzu bspw. die Erläuterungen der inhärenten Merkmale 220-1 , 220-2 und 220-3 in Fig. 2a und Fig. 2b. Anders ausgedrückt kann bspw. im ersten Schritt zur Extraktion der Extraktionsinformation oder Teilextraktionsinformation das Bild segmentiert werden, bspw. um eine Extraktionsinformation über die Farbe der einzelnen Farbblobs zu extrahieren. In anderen Worten bildet die Segmentierung ein Beispiel für die Extraktion der Extraktionsinformation bzw. der Extraktion von Teilextraktionsinformation bspw. für ein Teilmerkmal eines einzelnen Farbblobs.
Ein System in Übereinstimmungen mit hierin beschriebenen Ausführungsbeispielen weist eine hierin beschriebene Vorrichtung und der Oberfläche, welche das inhärente Merkmal aufweist, auf; wobei die Vorrichtung bezüglich der Oberfläche beweglich angeordnet ist und ausgebildet ist, um eine Position der Erfassungseinheit bezüglich der Oberfläche zu bestimmen. Ferner weist das System die Datenbank auf.
Das Ergebnis einer solchen Segmentierung ist in Fig.5 zu sehen. Fig. 5 zeigt insofern eine Segmentierung von Farbsprenkeln, in Form der farbigen „Blobs“ im Bild. Je nach Art des verwendeten Bodens, können hier unterschiedlich viele verschiedene Segmentierungsstufen zum Einsatz kommen. Im Beispiel von Fig. 4 und Fig. 5 besteht der Boden aus vier verschiedenen Farben - Rot, Grün, Blau, Schwarz - wobei die dominante, also beispielsweis überwiegende, Farbe (Schwarz) hier den Hintergrund darstellt. Das Ergebnis der Segmentierung sind in diesem Beispiel drei Binärbilder, welche gleichfarbige zusammenhängende Flächen ("Blobs") vom Rest trennen. Obwohl es möglich ist, eine Auswertung bspw. auch nur in einem Teilmengenraum hiervon, etwa unter Verwendung lediglich einer Farbe oder zweier Farben, auszuführen, bietet es Vorteile sämtliche Informationsquellen zu nutzen.
Um das Ganze für die weitere Verarbeitung nutzbarer bzw. rechen-unaufwändiger zu machen, wird ein bspw. Teil der im Bild vorhandenen Information verworfen. Der gezeigte Boden besitzt beispielhaft 30% EPDM-Partikel, jeweils 10% für Rot, Grün und Blau. Nach informationstheoretischen Grundlagen steckt also in den Farben die meiste Information, da der größte Anteil des Bodens (70%) Schwarz ist. Dabei sei darauf hingewiesen, dass eine solche Zusammensetzung des Bodens bzw. der Farbanteile hier lediglich als Beispiel zu Verdeutlichung dienen soll und Ausführungsbeispiele gemäß der vorliegenden Erfindung nicht auf derartige Beispiele beschränkt sind.
Nach den Grundlagen der Informationstheorie trägt ein Symbol am meisten Information, je geringer seine Auftrittswahrscheinlichkeit ist. Da in Anbetracht der Herstellung Blobs mit sehr großer Fläche, bspw. in der gezeigten Bodenoberfläche von Figuren 4 und 5 seltener vorkommen als Blobs mit kleiner Fläche, werden bspw. alle Blobs mit zu kleiner Fläche verworfen. Dieser Fakt muss dabei nicht für alle erfindungsgemäß verwendbaren Böden gelten. Es wäre gut möglich, dass sich dieses Verhältnis bei einem anderen Gummiboden genau umkehrt. Wichtig ist zu verstehen, dass das Aussieben oder Verwerfen von Blobs, bzw. anders formuliert das Auswählen von Teilmerkmalen bzw. deren zughörige Säte von Teilextraktionsinformationen, nicht zwangsweise auf Basis der beobachteten Pixelfläche geschehen muss, sondern z. B. optimalerweise nach Merkmalen oder Extraktionsinformationen bzw. Teilextraktionsinformationen zugehörig zu den Merkmalen geschieht, welche bspw. eindeutig sind und den Informationsgehalt der einzelnen Elemente verbessern und/oder maximieren. Eine Identifikation, welche Merkmale oder Schwellwerte sich eignen kann durch Betrachtung und/oder Auswertung der Oberfläche, etwa von Herstellungsprozessen oder durch Auswertung bereits existierender Böden festgestellt werden. Das Ergebnis der zuvor beschriebenen Verarbeitung ist für alle drei Segmentierungen (R- G-B) in Fig. 6 zu sehen.
Fig. 6 zeigt die Darstellung der Segmentierung nach Verwerfen der Blobs mit geringem Informationsgehalt, so dass bspw. lediglich Merkmale 220-3 bis 220-11 zur Auswertung des Segments verbleiben, während andere, etwa die Merkmale 220-1 und/oder 220-2 unberücksichtigt oder ausgefiltert werden. Dabei sei angemerkt, dass auch ein Verbund von Merkmalen, etwa 220-9, 220-10 und 220-11 als kombinatorisches Merkmal betrachtet werden könnte. Anders ausgedrückt zeigt Fig. 6 Merkmale bzw. Teilmerkmale aus deren zugehörige Extraktionsinformation oder Sätzen von Teilextraktionsinformationen ein Wert bestimmt und mit einem Schwellwert verglichen wurde, wobei die bestimmten Werte der zugehörigen, ausgewählten Blobs den Schwellwert zumindest erfüllt haben.
Als nächstes kann für einen, mehrere oder alle Blobs ein rotationsinvarianter Feature- Deskriptor, bspw. als Teil der Extraktionsinformation bzw. der Teilextraktionsinformation gebildet werden. Hierfür kann bspw. auf die sog. Hu-Momente zurückgegriffen, welche vereinfacht gesagt eine mathematische Beschreibung der Form des Blobs darstellen können. An dieser Stelle können ggf. auch andere mathematische Deskriptoren verwendet werden, die Hu-Momente können allerdings algorithmisch sehr günstig sein, da sie im Zuge der Extraktion der Farbinformation als Nebenprodukt, oder anders ausgedrückt, quasi gratis aus der Segmentierung errechnet werden können.
Zu jedem Blob kann jetzt seine Position und seine Hu-Momente gespeichert werden. Der nächste Schritt kann wiederum auf einer anderen Abstraktionsebene durchgeführt werden Aus den ausgewählten Sätzen von Teilextraktionsinformationen kann nun eine Punktwolke bestimmt werden. So können die Positionen aller Blobs aller Segmentierungsstufen als eine Punktwolke aufgefasst werden. Über die Kameramatrix und dem z.B: bekannten Abstand zum Boden lässt sich die Position jedes Blobs von Pixelkoordinaten in Weltkoordinaten umrechnen - d.h. die Abstände der Punkte in der aus den Blobs gebildeten Punktwolke entsprechen den bspw. tatsächlichen oder absoluten physischen Abständen der Blobs auf dem Boden. Durch die Berücksichtigung weiterer optischer Eigenschaften der Erfassungseinheit in Form der Kamera, können auch weitere Verbesserungen der Extraktionsinformation aus der Abtastinformation erzielt werden.
Das Ziel ist es jetzt, die beobachtete Punktwolke des aufgenommenen Bildes an die Punktwolke, welche sich aus allen im Boden vorhandenen und in der Datenbank hinter- legten, oder anders ausgedrückt vorher kartographierten, Blobs ergibt, zu fitten. Siehe hierfür Fig. 7.
Fig. 7 zeigt in einem linken Bildabschnitt eine beobachtete und zu referenzierende Punktwolke und eine Referenzmenge umliegender Punkte in einem rechten Bildabschnitt (rechts). Fig. 7 rechts kann dabei eine vereinfachte Darstellung eines Ausschnitts der Datenbank darstellen. Beispielhaft dargestellt ist eine übereinstimmende Gruppierung 46 von Farbblobs.
Das Fitten kann über einen Point-Cloud-Matching Algorithmus, bspw. "Iterative-Closest- Point" - kurz ICP umgesetzt werden. Das Verfahren ist dabei nicht auf die Verwendung des Iterative-Closest-Point Algorithmus beschränken; es gibt andere Algorithmen wie z. B. Kernel-Correlation oder RANSAC, welche ebenfalls zum fitting von Punktwolken verwendet werden können.
An dieser Stelle können jetzt wieder die vorher berechneten Deskriptoren, bspw. Feature- Deskriptoren zum Einsatz kommen, da ausgenutzt werden kann, dass ein Punkt aus der beobachteten Punktewolke auf einen Punkt in der Referenzwolke gefittet werden kann, wenn dieser sich a. Auf derselben Segmentierungsstufe befindet (sprich dieselbe Farbe hat) b. Einen geringen Abstand nach einer auf Basis der Feature-Deskriptoren arbeitenden Metrik besitzt (in Bezug auf die Hu-Momente einfach ausgedrückt: Eine ähnliche Form hat)
Dabei sei darauf hingewiesen, dass bspw. insbesondere bei weiteren Ausführungsbeispielen auch weitere (Teil-) Extraktionsinformationen zur Charakterisierung des (Teil-) Merkmals verwendet werden können und dementsprechend der Abgleich oder anders ausgedrückt das Fitting auch weitere Randbedingungen aufweisen kann.
Das Fitting der beobachteten Punktwolke an die Referenzdaten sorgt dafür, dass in einem Schritt nicht bloß die Position der Erfassungseinheit, also bspw. auch des Roboters im Raum bestimmt werden kann, sondern auch noch gleichzeitig seine Rotation oder Lage im Raum.
Im Folgenden wird anhand der Fig. 8, 9, 10 und 11 ein weiteres Ausführungsbeispiel gemäß der vorliegenden Erfindung beschrieben. Das Ausführungsbeispiel ermöglicht eine Verbesserung der Positionsbestimmung mittels stochastischer Filter und kann bspw. insbesondere mit einer Bodenkamera als Erfassungseinheit verwendet werden.
Die erfindungsgemäße Idee dieses Ausführungsbeispiels, welches eine Weiterentwicklung zuvor beschriebener erfindungsgemäßer Konzepte bilden kann, soll dabei zunächst allgemeint erläutert werden.
Bei Lokalisierungsalgorithmen aller Art kann es zu Fehl-Lokalisierungen kommen. Es ist wünschenswert, im Zusammenhang mit vorliegenden Ausführungsbeispielen solche Fehler für den realen Einsatz zu minimieren, da z. B. im konkreten Anwendungsfall Roboter, der Roboter ansonsten sehr unruhig fahren würde, weil er kurz denkt, oder anders ausgedrückt die Lokalisierung kurzzeitig rückmeldet, dass der Roboter an eine andere Position gesprungen ist. Die Minimierung kann über eine statistische Filterung erfolgen, bei welcher der Fehler als eine Zufallsvariable mit bekannter Wahrscheinlichkeitsdichtefunktion modelliert wird.
Das Filter kann rein aus den Daten über ein statistisches Modell arbeiten (z. B. beim “Recursive Least-Squares"-Filter) oder zusätzliche Informationen anderer Sensoren verwenden. In der Robotik hat es sich etabliert die Ergebnisse des Lokalisierungsalgorithmus mit Hilfe der Odometrie (bspw. in einfachen Worten: “Wie bin ich gefahren”) zu filtern, da diese Daten bspw. über eine Messung der Raddrehzahl leicht zu erhalten sind. Zwar können auch diese Messungen wieder fehlerhaft sein, aber da der Fehler des Sensors der Raddrehzahl in der Regel unkorreliert zu dem Fehler des Lokalisierungsalgorithmus ist, lassen sich beide Werte sinnvoll fusionieren um eine bessere Schätzung der aktuellen Position zu erhalten. Die beiden am häufigsten verwendeten Filter für diese Aufgabe sind das Kalman-Filter und das Partikel-Filter. Fig. 8 soll das Prinzip noch einmal grob verdeutlichen.
Fig. 8 zeigt eine schematische Darstellung von Stichproben 48 eines normalverteilten Fehlers der Lokalisierung bezogen auf Fehler (engl.: error) entlang zweier orthogonaler Richtungen X und Y.
Grundlegend kann eine Vielzahl von Filtern verwendet werden, in einigen Fällen kann die Art des verwendeten Filters bspw. sogar nicht wichtig sein. Für ein besseres Verständnis, warum eine Filterung des Ergebnisses Vorteile aufweisen kann, oder sogar wichtig ist wird im folgenden auf Figuren 9, 10 und 11 eingegangen. Fig. 9 zeigt eine zweimalig durchfahrene Trajektorie 52 eines Roboters in einer Ebene. Die Einzelpunkte stellen die echte, reale Position des Fahrzeuges (“ground-truth”, dt.: Grundwahrheit) in der X-Y-Ebene, gemessen mit einem Motion-Capturing System (dt.: Bewegungs-Erfassung System) dar. Der Graph spiegelt die gefahrene Trajektorie (in Form eine Quer liegenden Sanduhr, welche zweimal durchfahren wurde) ohne zeitliche Komponente wieder.
Fig. 10 zeigt das Ergebnis einer Lokalisierung ohne Filterung. Dargestellt sind die Ergebnisse des Lokalisierungsalgorithmus. Man erkennt zwar noch deutlich die gefahrene Trajektorie als lokalisierte Trajektorie 54, allerdings sind auch Fehleschätzungen 56 gut erkennbar, die zu Lücken 58 in und/oder Ausreißer 62 auf der Trajektorie 54 führen können.
Fig. 11 zeigt das Ergebnis der Lokalisierung nach einer Filterung als eine gefilterte Trajektorie 64 basierend auf gefilterten Einzellokalisierungen. Die Daten sind zwar nicht so sauber, wie die ground-truth, d. h., es bestehen noch Abweichungen, allerdings sind auch keine wirklichen Ausreißer oder Lücken mehr vorhanden.
Es wird deutlich, dass die Verwendung zusätzlicher stochastischer Filter eine Verbesserung der Lokalisierung ermöglicht, bspw. insbesondere im Hinblick auf autonome Navigationsaufgaben. Für die Filterung kann zu Verbesserung der Positionsinformation auch auf die Odometrie eins erfindungsgemäßen Roboters zurückgegriffen werden. Damit können auch besonders sicherheitskritische, z. B. redundante Systeme geschaffen werden, bspw. um die Wahrscheinlichkeit von Fehllokalisationen und Unfällen zu verringern.
Ganz allgemein weisen Ausführungsbeispiele gemäß der vorliegenden Erfindung den Vorteil auf, dass erfindungsgemäße Verfahren ohne großen Kostenaufwand auch bei sehr hohen Geschwindigkeiten, z. B. eines Roboters welcher die Erfassungseinheit aufweist, noch genau funktionieren kann (Ein aktueller Prototyp schafft bspw. 5 m/s). Dies kann bspw. den oder einen der wichtigsten Vorteile bilden. Dies liegt u.a. auch daran, dass die Berechnungszeiten der verwendeten Algorithmen sehr gering ausfallen, was einen weiteren Vorteil erfindungsgemäßer Vorrichtungen darstellt. Die Bildsegmentierung und Berechnung der Feature-Deskriptoren bei Ausführungsbeispielen der vorliegenden Erfindung lässt sich hochparallelisiert, bspw. auf einer Grafikkarte berechnen, und die Algorithmen zum Point-Cloud-Matching können ebenfalls mit geringem Rechenaufwand ausgeführt werden (Beispiel für eine Größenordnung des Rechenaufwands: Ein beispielhafter Prototyp erreicht auf einem Nvidia® Jetson Board 50 Lokalisierungen pro Sekunde). Anders ausgedrückt können Algorithmen zum Point-Cloud- Matching wenig rechenintensiv sein.
Eine erfindungsgemäße bodenbasierte Lokalisierung hat allgemein den Vorteil (bspw. vor oder im Hinblick auf Lokalisierungen basierend auf der Umgebung), dass sie robust funktioniert, auch bei sich ändernden Umgebungen, wie bspw. einem automatisierten Warenlager.
Ein großer Vorteil, oder bspw. der größte Vorteil gegenüber bestehenden Lösungen kann sein, dass das erfindungsgemäße Verfahren (wie oben bereits erwähnt) auch bei hohen Geschwindigkeiten noch zuverlässig funktioniert.
Ein weiterer Vorteil von erfindungsgemäßen Konzepten bspw. im Vergleich zu Marker basierten Ansätzen besteht darin, dass nicht Marker, bspw. QR-Codes zuerst einmal auf dem Boden angebracht werden, und bei zu starker Abnutzung erneuert werden müssen. Außerdem liefern Beispiele derartiger System keine "lückenlose" Lokalisierung, da zwischen den Markern, bspw. QR-Codes, keine Erkennung möglich ist. Dagegen ermöglicht ein erfindungsgemäßes Verfahren eine bspw. lückenlosen Lokalisierung mit bereits im Herstellungsverfahren der Oberfläche, bspw. des Bodens automatisch angebrachten Features.
Allgemein beruhen Ausführungsbeispiele gemäß der vorliegenden Erfindung auf dem Konzept Farbsprenkler, bspw. Blobs im Boden zu segmentieren, Deskriptoren, bspw. Feature Deskriptoren für die Farbsprenkel zu verwenden, einen Point-Cloud-Matching Algorithmus zu verwenden und vorher extrahierte Extraktionsinformation oder Teilextraktionsinformation bspw. vorher extrahierte Features beim Matching oder Fitting zu berücksichtigen.
Weitere Ausführungsbespiele können auf einer Segmentierung von roten, grünen und blauen Sprenklern, einer Segmentierung von Sprenklern in Gummiböden, einer Verwendung von Hu-Momenten als Feature-Deskriptoren, einer Verwendung des ICP als Point- Cloud-Matching-Algorithmus und einer Berücksichtigung der Hu-Momente im ICP- Matching beruhen. Ferner können bspw. ORB-Features mit Kernel-Correlation anstelle von Hu-Momenten mit ICP eingesetzt werden
Ganz allgemein sind Ausführungsbeispiele gemäß der vorliegenden Erfindung technisch für grundlegend jede Form von mobilen Robotern verwendbar, welche für die Industrie eingesetzt werden. Die zuvor beschriebenen Gummiböden sind bspw. in vielen Applikationen, wie bereits erwähnt absoluter Standard und lassen sich z. B. perfekt als Boden in einer Industriehalle verwenden. Besonders aber wegen der Fähigkeit zur Lokalisierung bei sehr hohen Geschwindigkeiten bspw. gegenüber dem Stand der Technik eignet sich die beschriebene, erfindungsgemäße Vorgehensweise z. B. besonders für schnell fahrende mobile Roboter, die bspw. in fahrzeugbasierten Sortiersystemen zum Einsatz kommen können oder bei Transporten über längere Distanzen relevant sind.
Ausführungsbeispiele gemäß der vorliegenden Offenbarung können in ein SLAM Verfahren umgewandelt werden oder anders ausgedrückt für eine SLAM Verfahren verwendet werden. Der bspw. große Vorteil bei SLAM besteht darin, dass mit einer sich verändernden Umgebung umgegangen werden kann. Nehmen wir als Beispiel einen Raum, welcher einen Tisch mit Stühlen enthält. Die Position der Stühle kann sich über die Zeit hinweg verändern. SLAM-Verfahren re-mappen die neue Position der Stühle und behalten sie solange als Referenz, bis sie wieder geändert wird.
Ein Vorteil von erfindungsgemäßen Verfahren gegenüber SLAM Verfahren besteht allerdings darin, dass als Referenz inhärente Merkmale der Bodenoberfläche, also bspw. das bei der Herstellung des Gummibodens entstehende Sprenkelmuster verwendet wird, sodass erfindungsgemäß keine Notwendigkeit des permanenten remapping Prozesses besteht, da die Veränderungen auf dem Boden eher gering ausfallen und in einem Prozess separat von der Lokalisierung, ggf. sogar durch ein anderes Gerät / Fahrzeug ausgeführt werden kann (Bspw. um auf Abnutzungserscheinungen zu reagieren, welche nach mehreren Jahren auftreten können).
Ausführungsbeispiele gemäß der vorliegenden Erfindung umfassen eine Vorrichtung zur Positionsbestimmung einer Erfassungseinheit, welches ein internes Lokalisierungssystem bildet.
Ein Verfahren zur Bestimmung einer Position einer Erfassungseinheit gemäß einem Ausführungsbeispiel weist folgende Schritte auf: Erhalten einer Abtastinformation von der Erfassungseinheit, wobei die Abtastinformation eine Abtastung einer Oberfläche ist und wobei die Abtastinformation eine Information über ein inhärentes Merkmal der Oberfläche aufweist; und
Extrahieren einer Extraktionsinformation für das inhärente Merkmal aus der Abtastinformation; und
Ausführen eines Abgleichs, basierend auf der Extraktionsinformation, mit einer Datenbank, wobei in der Datenbank Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche hinterlegt sind; und
Bestimmen der Position der Erfassungseinheit, basierend auf dem Abgleich.
Ein Verfahren zur Hinterlegung von Extraktionsinformation in einer Datenbank zur Verwendung mit einer Vorrichtung gemäß hierin beschriebenen Ausführungsbeispielen umfasst folgende Schritte:
Erhalten einer Abtastinformation, wobei die Abtastinformation eine Abtastung einer Oberfläche ist und wobei die Abtastinformation eine Information über ein inhärentes Merkmal der Oberfläche aufweist; und
Extrahieren einer Extraktionsinformation für das inhärente Merkmal aus der Abtastinformation; und
Hinterlegen der Extraktionsinformation für das inhärente Merkmal der Oberfläche in der Datenbank.
Ein solches Verfahren umfasst optional ferner:
Bestimmen eines Wertes, welcher mit einem Informationsgehalt des inhärenten Merkmals assoziiert ist; und
Vergleichen des Wertes mit einem Schwellwert; und Hinterlegen der Extraktionsinformation für das inhärente Merkmal der Oberfläche in der Datenbank, sofern der bestimmte Wert des inhärenten Merkmals den Schwellwert zumindest erreicht.
Alle hierin aufgeführten Aufzählungen der Materialien, Umwelteinflüsse, elektrischen Eigenschaften und optischen Eigenschaften sind hierbei als beispielhaft und nicht als abschließend anzusehen.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Medium sind typischerweise gegenständlich und/oder nichtvergänglich bzw. nichtvorübergehend.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen. Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.
Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden.
Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschriebenen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Computerprogramm) implementiert sein.
Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden.
Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebenen Verfahren können zumindest teilweise durch Hardware und/oder durch Software ausgeführt werden. Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den
Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims

37
Patentansprüche Vorrichtung (100) mit einer Verarbeitungseinheit die ausgebildet ist, um eine, von einer Erfassungseinheit (120) bereitgestellte, Abtastinformation (210) von einer Abtastung (120a) einer Oberfläche (130) zu erhalten, wobei die Abtastinformation (210) eine Information über ein inhärentes Merkmal (220) der Oberfläche (130) aufweist; und eine Extraktionsinformation für das inhärente Merkmal (220) aus der Abtastinformation (210) zu extrahieren; und basierend auf der Extraktionsinformation einen Abgleich mit einer Datenbank (270) auszuführen, wobei in der Datenbank (270) Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche (130) hinterlegt sind; und basierend auf dem Abgleich die Position der Erfassungseinheit (120) zu bestimmen. Vorrichtung (100) gemäß Anspruch 1 , wobei die Vorrichtung (100) die Erfassungseinheit (120) aufweist, die ausgelegt ist, um die Abtastinformation (210) bereitzustellen. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei die Verarbeitungseinheit (110) ausgebildet ist, um basierend auf dem Abgleich mit der Datenbank (270) die Lage der Erfassungseinheit (120) im Raum bezüglich des inhärenten Merkmals (220) der Oberfläche (130) zu bestimmen. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei die Verarbeitungseinheit (110) ausgebildet ist, um die Extraktionsinformation für das inhärente Merkmal (220) unter Berücksichtigung von optischen Eigenschaften der Erfassungseinheit (120) aus der Abtastinformation (210) zu extrahieren. 38
5. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei die Verarbeitungseinheit (110) ausgebildet ist, um basierend auf einer Grobinformation über die Position der Erfassungseinheit (120) im Raum, zum Zeitpunkt der Erfassung der Abtastinformation (210), einen ausgewählten Teil von Extraktionsinformationen der Datenbank (270) auszuwählen und den ausgewählten Teil für den Abgleich zu verwenden.
6. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei die Verarbeitungseinheit (110) ausgebildet ist, um aus der Abtastinformation (210) einen Deskriptor als Teil der Extraktionsinformation zu bestimmen, der auf dem inhärenten Merkmal (220) der Oberfläche (130) basiert; und basierend auf dem Deskriptor einen Abgleich mit der Datenbank (270) auszuführen, wobei in der Datenbank (270) Deskriptoren für die Vielzahl von inhärenten Merkmalen der Oberfläche (130) hinterlegt sind.
7. Vorrichtung (100) gemäß Anspruch 6, wobei die Verarbeitungseinheit (110) ausgebildet ist, um einen rotationsinvarianten Deskriptor als Teil der Extraktionsinformation zu bestimmen, der auf dem inhärenten Merkmal (220) der Oberfläche (130) basiert.
8. Vorrichtung (100) gemäß einem der Ansprüche 6 oder 7, wobei die Verarbeitungseinheit (110) ausgebildet ist, um Deskriptoren zu bestimmen, welche Hu-Momente und/oder ORB-Features aufweisen.
9. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei das inhärente Merkmal (220) der Oberfläche (130) ein stochastisch verteiltes Merkmal mit stochastischen Eigenschaften ist.
10. Vorrichtung (100) gemäß Anspruch 9, wobei die Information eine Beschreibung einer zufälligen Geometrie des stochastisch verteilten Merkmals angibt.
11. Vorrichtung (100) gemäß einem der Ansprüche 9 oder 10, wobei das stochastisch verteilte Merkmal eine zusammenhängende Fläche mit zufälligem Flächeninhalt und zufälliger äußerer Form aufweist; und wobei die Verarbeitungseinheit (110) ausgebildet ist, die Extraktionsinformation aufweisend eine Information über die zusammenhängende Fläche mit zufälligem Flächeninhalt und zufälliger äußerer Form zu extrahieren.
12. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei die Verarbeitungseinheit (110) ein stochastisches Filter (140) aufweist und wobei die Verarbeitungseinheit (110) ausgebildet ist, um mittels des stochastischen Filters (140) eine Filterung der bestimmten Position der Erfassungseinheit (120) durchzuführen, um eine gefilterte Position der Erfassungseinheit (120) zu bestimmen.
13. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei das inhärente Merkmal (220) der Oberfläche (130) eine Vielzahl von Teilmerkmalen (220-1, 220- 2, 220-3, 310) aufweist und wobei die Verarbeitungseinheit (110) ausgebildet ist, um für jedes Teilmerkmal (220-1 , 220-2, 220-3, 310) der Vielzahl von Teilmerkmalen einen Satz von Teilextraktionsinformationen (230, 240, 250, 320) zu extrahieren; und aus jedem Satz von Teilextraktionsinformationen (230, 240, 250, 320) einen Wert zu bestimmen, wobei der Wert mit einem Informationsgehalt des zu dem Satz von Teilextraktionsinformationen (230, 240, 250, 320) zugehörigen Teilmerkmals assoziiert ist; und jeden Wert mit einem Schwellwert (230-3, 240-3, 250-3, 330) zu vergleichen; und diejenigen Sätze von Teilextraktionsinformationen, für deren zugehöriges Teilmerkmal (220-1 , 220-2, 220-3, 310) der bestimmte Wert den Schwellwert (230-3, 240-3, 250-3, 330) zumindest erreicht, auszuwählen; und den Abgleich mit der Datenbank (270) basierend auf den ausgewählten Sätzen von Teilextraktionsinformationen auszuführen. Vorrichtung gemäß Anspruch 13, wobei die Positionen der Vielzahl von inhärenten Merkmalen, für welche Extraktionsinformationen in der Datenbank hinterlegt sind, bekannt sind. Vorrichtung (100) gemäß einem der Ansprüche 13 oder 14, wobei die Verarbeitungseinheit (110) ausgebildet ist, um für jedes Teilmerkmal (220-1 , 220-2, 220-3, 310) der Vielzahl von Teilmerkmalen einen Deskriptor als Teil des Satzes von Teilextraktionsinformationen zu bestimmen; und basierend auf den bestimmten Deskriptoren einen Abgleich mit der Datenbank (270) auszuführen, wobei in der Datenbank (270) Deskriptoren für die Vielzahl von Teilmerkmalen (220-1, 220-2, 220-3, 310) hinterlegt sind. Vorrichtung (100) gemäß einem der Ansprüche 13 bis 15, wobei die Verarbeitungseinheit (110) ausgebildet ist, um die Sätze von Teilextraktionsinformationen, basierend auf der Auftrittswahrscheinlichkeit der zugehörigen Teilmerkmale (220- 1, 220-2, 220-3, 310) auszuwählen. Vorrichtung (100) gemäß einem der Ansprüche 13 bis 16, wobei die Verarbeitungseinheit (110) ausgebildet ist, um aus jedem Satz von Teilextraktionsinformationen (230, 240, 250, 320) eine Auftrittswahrscheinlichkeit des zughörigen Teilmerkmals (220-1 , 220-2, 220-3, 310) als Wert für den Informationsgehalt zu bestimmen. Vorrichtung (100) gemäß einem der Ansprüche 13 bis 17, wobei die Verarbeitungseinheit (110) ausgebildet ist, um aus den ausgewählten Sätzen von Teilextraktionsinformationen eine Punktwolke zu bestimmen und den Abgleich mit der Datenbank (270) auf Basis eines Point-Cloud-Matching-Algorithmus auszuführen. Vorrichtung (100) gemäß Anspruch 18, wobei die Verarbeitungseinheit (110) ausgebildet ist, um den Abgleich mit der Datenbank (270) auf Basis zumindest eines der Verfahren Iterative-Closest-Point, Kernel-Correlation und RANSAC auszufüh- ren: Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei die Verarbeitungseinheit (110) ausgebildet ist, um die Abtastinformation (210) als ein Bild von einer Kamera als Erfassungseinheit (120) zu erhalten, wobei das Bild eine Abtastung (120a) einer Bodenoberfläche ist und wobei das Bild eine Information über einen Bildhintergrund und einen Bildvordergrund aufweist, wobei der Bildvordergrund eine Information über eine Vielzahl von Farbsprenkel des Bodens aufweist; und die Information über den Bildvordergrund aus dem Bild zu extrahieren; und für jeden Farbsprenkel der Vielzahl von Farbsprenkeln einen Satz von Teilextraktionsinformationen (230, 240, 250, 320) aus der extrahierten Information des Bildvordergrunds zu extrahieren, wobei der Satz von Teilextraktionsinformationen (230, 240, 250, 320) Informationen über eine Position und zumindest eines aus einer Form, einer Farbe und eines Flächenparameters des zugehörigen Farbsprenkels aufweist; und aus jedem Satz von Teilextraktionsinformationen (230, 240, 250, 320) einen Wert zu bestimmen, wobei der Wert mit der Auftrittswahrscheinlichkeit des zu dem Satz von Teilextraktionsinformationen (230, 240, 250, 320) zugehörigen Farbsprenkels assoziiert ist; und jeden Wert mit einem Schwellwert (230-3, 240-3, 250-3, 330) zu vergleichen; und diejenigen Sätze von Teilextraktionsinformationen, für deren zugehörigen Farbsprenkel der bestimmte Wert den Schwellwert (230-3, 240-3, 250-3, 330) zumindest erreicht, auszuwählen; und eine Punktewolke aus den ausgewählten Sätzen von Teilextraktionsinformationen zu bestimmen, welche eine Information über die Positionen der zugehörigen Farbsprenkel aufweist; und 42 basierend auf der Punktewolke und den ausgewählten Sätzen von Teilextraktionsinformationen einen Abgleich mit der Datenbank (270) auszuführen, wobei in der Datenbank (270) eine vorbestimmte Punktewolke aus Positionen von Farbsprenkeln der Bodenoberfläche und korrespondierende Sätze von Teilextraktionsinformationen hinterlegt sind; und basierend auf dem Abgleich die Position der Kamera zu bestimmen. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei die Vorrichtung (100) ein automatisch fahrendes Fahrzeug ist und wobei die Verarbeitungseinheit (110) ausgebildet ist, um das automatisch fahrende Fahrzeug zu lokalisieren. Vorrichtung (100) gemäß einem der vorigen Ansprüche, wobei die Vorrichtung (100) ein Roboterfahrzeug, etwa für ein Sortiersystem ist. System mit einer Vorrichtung (100) nach einem der vorigen Ansprüche; und der Oberfläche (130), welche das inhärente Merkmal (220) aufweist, wobei die Vorrichtung (100) bezüglich der Oberfläche (130) beweglich angeordnet ist und ausgebildet ist, um eine Position der Erfassungseinheit bezüglich der Oberfläche (130) zu bestimmen; und der Datenbank (270). Verfahren zur Bestimmung einer Position einer Erfassungseinheit (120) mit den folgenden Merkmalen:
Erhalten einer Abtastinformation (210) von der Erfassungseinheit (120), wobei die Abtastinformation (210) eine Abtastung (120a) einer Oberfläche (130) ist und wobei die Abtastinformation (210) eine Information über ein inhärentes Merkmal (220) der Oberfläche (130) aufweist; und
Extrahieren einer Extraktionsinformation für das inhärente Merkmal (220) aus der
Abtastinformation (210); und 43
Ausführen eines Abgleichs, basierend auf der Extraktionsinformation, mit einer Datenbank (270), wobei in der Datenbank (270) Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche (130) hinterlegt sind; und
Bestimmen der Position der Erfassungseinheit (120), basierend auf dem Abgleich. Verfahren zur Hinterlegung von Extraktionsinformation in einer Datenbank (270) zur Verwendung mit einer Vorrichtung (100) gemäß einer der Ansprüche 1 bis 22 mit den folgenden Merkmalen:
Erhalten einer Abtastinformation (210), wobei die Abtastinformation (210) eine Abtastung (120a) einer Oberfläche (130) ist und wobei die Abtastinformation (210) eine Information über ein inhärentes Merkmal (220) der Oberfläche (130) aufweist; und
Extrahieren einer Extraktionsinformation für das inhärente Merkmal (220) aus der Abtast-information; und
Hinterlegen der Extraktionsinformation für das inhärente Merkmal (220) der Oberfläche (130) in der Datenbank (270). Verfahren gemäß Anspruch 25, wobei das Verfahren ferner aufweist:
Bestimmen eines Wertes, welcher mit einem Informationsgehalt des inhärenten Merkmals (220) assoziiert ist; und
Vergleichen des Wertes mit einem Schwellwert (230-3, 240-3, 250-3, 330); und
Hinterlegen der Extraktionsinformation für das inhärente Merkmal (220) der Oberfläche (130) in der Datenbank (270), sofern der bestimmte Wert des inhärenten Merkmals den Schwellwert (230-3, 240-3, 250-3, 330) zumindest erreicht. Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 24 bis 26, wenn das Programm auf einem Computer abläuft. 44 Vorrichtung (100) mit einer Verarbeitungseinheit die ausgebildet ist, um eine, von einer Erfassungseinheit (120) bereitgestellte, Abtastinformation (210) von einer Abtastung (120a) einer Oberfläche (130) zu erhalten, wobei die Abtastinformation (210) eine Information über ein inhärentes Merkmal (220) der Oberfläche (130) aufweist; und eine Extraktionsinformation für das inhärente Merkmal (220) aus der Abtastinformation (210) zu extrahieren; und basierend auf der Extraktionsinformation einen Abgleich mit einer Datenbank (270) auszuführen, wobei in der Datenbank (270) Extraktionsinformationen für eine Vielzahl von inhärenten Merkmalen der Oberfläche (130) hinterlegt sind; und basierend auf dem Abgleich die Position der Erfassungseinheit (120) zu bestimmen; und wobei die Verarbeitungseinheit (110) ausgebildet ist, um die Abtastinformation (210) als ein Bild von einer Kamera als Erfassungseinheit (120) zu erhalten, wobei das Bild eine Abtastung (120a) einer Bodenoberfläche ist und wobei das Bild eine Information über einen Bildhintergrund und einen Bildvordergrund aufweist, wobei der Bildvordergrund eine Information über eine Vielzahl von Farbsprenkel des Bodens aufweist; und die Information über den Bildvordergrund aus dem Bild zu extrahieren; und für jeden Farbsprenkel der Vielzahl von Farbsprenkeln einen Satz von Teilextraktionsinformationen (230, 240, 250, 320) aus der extrahierten Information des Bildvordergrunds zu extrahieren, wobei der Satz von Teilextraktionsinformationen (230, 240, 250, 320) Informationen über eine Positi- 45 on und zumindest eines aus einer Form, einer Farbe und eines Flächenparameters des zugehörigen Farbsprenkels aufweist; und aus jedem Satz von Teilextraktionsinformationen (230, 240, 250, 320) einen Wert zu bestimmen, wobei der Wert mit der Auftrittswahrscheinlichkeit des zu dem Satz von Teilextraktionsinformationen (230, 240, 250, 320) zugehörigen Farbsprenkels assoziiert ist; und jeden Wert mit einem Schwellwert (230-3, 240-3, 250-3, 330) zu vergleichen; und diejenigen Sätze von Teilextraktionsinformationen, für deren zugehörigen Farbsprenkel der bestimmte Wert den Schwellwert (230-3, 240-3, 250-3, 330) zumindest erreicht, auszuwählen; und eine Punktewolke aus den ausgewählten Sätzen von Teilextraktionsinformationen zu bestimmen, welche eine Information über die Positionen der zugehörigen Farbsprenkel aufweist; und basierend auf der Punktewolke und den ausgewählten Sätzen von Teilextraktionsinformationen einen Abgleich mit der Datenbank (270) auszuführen, wobei in der Datenbank (270) eine vorbestimmte Punktewolke aus Positionen von Farbsprenkeln der Bodenoberfläche und korrespondierende Sätze von Teilextraktionsinformationen hinterlegt sind; und basierend auf dem Abgleich die Position der Kamera zu bestimmen.
EP21807046.4A 2020-11-08 2021-11-05 Extraktion von extraktionsinformation aus einer abtastinformation einer oberfläche zur verwendung mit einer datenbank Pending EP4241252A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020214002.2A DE102020214002B3 (de) 2020-11-08 2020-11-08 Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank
PCT/EP2021/080787 WO2022096653A1 (de) 2020-11-08 2021-11-05 Extraktion von extraktionsinformation aus einer abtastinformation einer oberfläche zur verwendung mit einer datenbank

Publications (1)

Publication Number Publication Date
EP4241252A1 true EP4241252A1 (de) 2023-09-13

Family

ID=78621864

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21807046.4A Pending EP4241252A1 (de) 2020-11-08 2021-11-05 Extraktion von extraktionsinformation aus einer abtastinformation einer oberfläche zur verwendung mit einer datenbank

Country Status (9)

Country Link
US (1) US12293595B2 (de)
EP (1) EP4241252A1 (de)
JP (1) JP7616803B2 (de)
KR (1) KR20230098668A (de)
CN (1) CN116569224A (de)
AU (1) AU2021375591B2 (de)
CA (1) CA3197601A1 (de)
DE (1) DE102020214002B3 (de)
WO (1) WO2022096653A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020214003A1 (de) 2020-11-08 2022-05-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Fahrzeuge und Verfahren zum Betreiben derselben unter Verwendung von dezentraler Kommunikation
DE102020214002B3 (de) 2020-11-08 2022-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank
DE102024113100A1 (de) * 2024-05-10 2025-11-13 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bestimmung einer Vielzahl von Strukturpunkten
GB2642047A (en) * 2024-06-20 2025-12-31 Holdingmaatschappij Octopus B V Machine-readable surface and method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69712906T2 (de) * 1996-11-05 2003-04-24 Carnegie Mellon University, Pittsburgh Von der umgebung unabhängiges positionsbestimmungssystem

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004059900A2 (en) * 2002-12-17 2004-07-15 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
JP5147015B2 (ja) * 2008-10-24 2013-02-20 清水建設株式会社 移動体位置検出システム
DE102011115354B4 (de) 2011-10-07 2017-01-05 Telejet Kommunikations Gmbh Navigation anhand von zufälligen Mustern
US8725413B2 (en) 2012-06-29 2014-05-13 Southwest Research Institute Location and motion estimation using ground imaging sensor
US8949024B2 (en) * 2012-10-25 2015-02-03 Massachusetts Institute Of Technology Vehicle localization using surface penetrating radar
US9037396B2 (en) 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
JP6667065B2 (ja) * 2015-03-04 2020-03-18 パナソニックＩｐマネジメント株式会社 位置推定装置および位置推定方法
US20160259034A1 (en) 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
EP3078935A1 (de) 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Verfahren und vorrichtung zur echtzeit-abbildung und -lokalisierung
NL2015420B1 (en) 2015-09-09 2017-03-27 Unconstrained Robotics Holding B V Method and device for determining a movement speed of a vehicle.
DE102017220291A1 (de) * 2017-11-14 2019-05-16 Robert Bosch Gmbh Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems
DE102017220634B4 (de) 2017-11-17 2021-09-16 Evocortex Gmbh Anordnung und Verfahren
US11145083B2 (en) * 2019-05-21 2021-10-12 Microsoft Technology Licensing, Llc Image-based localization
KR102460825B1 (ko) * 2020-08-31 2022-10-31 네이버랩스 주식회사 위치 추정 방법 및 시스템
DE102020214002B3 (de) 2020-11-08 2022-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69712906T2 (de) * 1996-11-05 2003-04-24 Carnegie Mellon University, Pittsburgh Von der umgebung unabhängiges positionsbestimmungssystem

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHEN XU ET AL: "StreetMap - Mapping and Localization on Ground Planes using a Downward Facing Camera", 2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), IEEE, 1 October 2018 (2018-10-01), pages 1672 - 1679, XP033491429, [retrieved on 20181227], DOI: 10.1109/IROS.2018.8594157 *
JAN FABIAN SCHMID ET AL: "Features for Ground Texture Based Localization -- A Survey", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 27 February 2020 (2020-02-27), XP081611803 *
See also references of WO2022096653A1 *
SHEN YAXIN ET AL: "Domain-invariant interpretable fundus image quality assessment", MEDICAL IMAGE ANALYSIS, vol. 61, 1 April 2020 (2020-04-01), GB, pages 101654, XP093315927, ISSN: 1361-8415, DOI: 10.1016/j.media.2020.101654 *
ZHANG LINGUANG ET AL: "Learning to Detect Features in Texture Images", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, IEEE, 18 June 2018 (2018-06-18), pages 6325 - 6333, XP033473549, [retrieved on 20181214], DOI: 10.1109/CVPR.2018.00662 *

Also Published As

Publication number Publication date
DE102020214002B3 (de) 2022-04-28
CN116569224A (zh) 2023-08-08
AU2021375591A1 (en) 2023-06-15
US12293595B2 (en) 2025-05-06
US20230274564A1 (en) 2023-08-31
WO2022096653A1 (de) 2022-05-12
AU2021375591B2 (en) 2024-03-14
JP2023551786A (ja) 2023-12-13
AU2021375591A9 (en) 2024-04-18
JP7616803B2 (ja) 2025-01-17
KR20230098668A (ko) 2023-07-04
CA3197601A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
DE102020214002B3 (de) Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
EP3482622B1 (de) Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems
Du et al. Vision-based approach towards lane line detection and vehicle localization
DE102019123483B4 (de) Verfahren sowie Kraftfahrzeug-Steuereinheit zum Erfassen einer Umgebung eines Kraftfahrzeugs durch Fusionieren von Sensordaten auf Punktwolkenebene
DE102015209467A1 (de) Verfahren zur Schätzung von Fahrstreifen
DE102009009047A1 (de) Verfahren zur Objektdetektion
WO2021170321A1 (de) Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug
DE102011111440A1 (de) Verfahren zur Umgebungsrepräsentation
WO2007107315A1 (de) Multisensorieller hypothesen-basierter objektdetektor und objektverfolger
DE102021119871B4 (de) Verfahren und Prozessorschaltung zum Betreiben einer automatisierten Fahrfunktion mit Objektklassifikator in einem Kraftfahrzeug, sowie Kraftfahrzeug
DE102012000459A1 (de) Verfahren zur Objektdetektion
DE102020112825A1 (de) Verfahren zum Erfassen von relevanten statischen Objekten innerhalb einer Fahrspur sowie Recheneinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs
DE102018123393A1 (de) Erkennung von Parkflächen
DE102018222800A1 (de) Ortung und/oder Klassifikation von Objekten aus Radardaten mit verbesserter Verlässlichkeit bei unterschiedlichen Entfernungen
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102022206041A1 (de) Verfahren zum Bestimmen von Objekten in einer Umgebung für SLAM
DE112023001327T5 (de) Verfahren und system zum identifizieren von reihen von objekten in bildern
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
EP2467826A1 (de) Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts
EP3543901B1 (de) Vorrichtung und verfahren zur robusten ermittlung der position, ausrichtung, identität und ausgewählter zustandsinformationen von objekten
EP3663800B1 (de) Verfahren zur objekterfassung mit einer 3d-kamera
DE102019210518A1 (de) Verfahren zum Erkennen eines Objektes in Sensordaten, Fahrerassistenzsystem sowie Computerprogramm
EP2696310B1 (de) Verfahren zum Identifizieren eines Straßenrands
WO2022258444A1 (de) Verfahren und vorrichtung zum ermitteln einer reichweite eines sensors

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230505

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20251010