EP3710781A1 - Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems - Google Patents

Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems

Info

Publication number
EP3710781A1
EP3710781A1 EP18773967.7A EP18773967A EP3710781A1 EP 3710781 A1 EP3710781 A1 EP 3710781A1 EP 18773967 A EP18773967 A EP 18773967A EP 3710781 A1 EP3710781 A1 EP 3710781A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
rail system
virtual rail
signatures
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP18773967.7A
Other languages
English (en)
French (fr)
Inventor
Stephan Simon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP3710781A1 publication Critical patent/EP3710781A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/04—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by terrestrial means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation

Definitions

  • the present invention relates to a method for automatically guiding a vehicle along a virtual rail system. Furthermore, the present invention relates to a method for automatically guiding a vehicle along a virtual rail system. Furthermore, the present invention relates to a method for automatically guiding a vehicle along a virtual rail system. Furthermore, the present invention relates to a method for automatically guiding a vehicle along a virtual rail system. Furthermore, the present invention relates to a method for automatically guiding a vehicle along a virtual rail system. Furthermore, the
  • the invention relates to a computer program that performs each step of the method when it runs on a computing device, and a machine-readable
  • Storage medium storing and entering the computer program
  • the invention relates to a vehicle which is arranged to be guided automatically along the virtual rail system.
  • Characteristics of a database compared and assigned the position When assigning characteristics and positions, a distance metric is often taken into account.
  • a method used in this context is
  • SLAM Simultaneous Localization and Mapping
  • Structures used for localization including among others Viewing angles and at other distances, and associated with these descriptors.
  • posts, trees or parts thereof, building parts, walls, corners, etc. are called.
  • These structures are usually in the far field of the vehicle. Often these structures are not time stable or can not under certain lighting conditions
  • Structures are present in the environment, for example, because the environment is poor in structure and the far field, for example due to a low
  • the automatically moving vehicles should often move in predeterminable ways. For example, automatically driving
  • a method for automatically guiding a vehicle along a virtual rail system is proposed.
  • vehicle includes here in addition to motor vehicles and commercial vehicles, transport equipment, self-propelled mobile robots, trucks, to aircraft moving near the ground, such. Drones or landed planes.
  • the features are obtained from a sensor signal, wherein the sensor signal, for example, a
  • the sensor signal may be formed from signals of a one-dimensional image capture unit when the vehicle is moving in the second direction.
  • the feature is an intermediate stage extracted from the signal, which can be used to characterize the position on the ground. For this purpose, a local section of the signal assigned to the position is considered. For example, a Convolution or filtering of the slice with one or more wavelets resulting in an N-dimensional vector for the feature.
  • the features are formed at each position in the same manner.
  • the subsurface may be any type of artificial or natural subsoil having distinct characteristics that remain at least partially unchanged over a period of time.
  • the method can be applied to a random pattern ground. Typical random patterns provide sufficient variation in their surface texture, brightness or
  • Suitable soil types include:
  • Industrial robots and transport robots are relevant, especially the latter type of surface, namely lawns, meadows or green areas for robotic lawnmowers of great importance. It should be noted that the plants growing on the ground, such. B. grass, in he recording the
  • Characteristics of the subsoil are also recorded. If the characteristics are recorded over all layers of the subsurface together with the plants, the recorded characteristics of the subsurface change through the growth of the plants within a relevant period of time, for example between two
  • Mowing cycles of the robotic lawnmower considerably. It may be provided to detect the characteristics of the ground only for predetermined sections of the ground, in particular only for certain layers of the ground. In connection with lawns, meadows and
  • Green areas may advantageously be the turf, hence the top one
  • Soil layer on which the plants grow, can be used to record the characteristics.
  • soil structures, small stones and / or dead plants can serve as characteristics.
  • the characteristics of the ground are converted into at least one working signature.
  • Signatures are codes of the features or the
  • the signatures can be electronically stored and processed.
  • the conversion of the features into signals typically results in a loss of information due to the coding.
  • the part of the information that is unnecessary for the characterization of the position is discarded.
  • the signature may be formed as a concatenation of binary coded numbers representing the vector for the feature in quantized form.
  • the conversion of the features into the signatures may be weighted, wherein the weighting may be performed by a user or, for example, by a neural network in the sense of a training.
  • a plurality of work signatures can be formed from one feature or a signature can be formed from a plurality of features or multiple signatures can be formed from a plurality of features.
  • the virtual rail system is an area between at least one
  • the vehicle can move in both directions on the given virtual rails.
  • the virtual rails depict the transport routes for the transport robot.
  • the virtual rails trace the tracks along which the robotic lawnmower mows.
  • these tracks run serpentine and take into account the working width of the mower.
  • the virtual rail system is stored as a record of the positions of the ground on which the vehicle is to move. These positions on the virtual rail system are assigned reference signatures.
  • the reference signatures thus form a map of the virtual rail system.
  • a reference signature can be associated with exactly one position on the virtual rail system, which can be determined unambiguously from the one reference signature.
  • a reference signature may have multiple
  • the position can then not be determined from just one reference signature, but a multiplicity of reference signatures are necessary, which are assigned to the same position or adjacent positions.
  • the assignment of the reference signatures and the positions is stored in a correspondence table which is designed as a lookup table.
  • the positions on the rail system are assigned addresses within the correspondence table.
  • the signature is considered a number indicating an address of the correspondence table, and therefore serves to determine the address in the correspondence table. On a storage of the signature itself can therefore be dispensed with. If the following is spoken in connection with the correspondence table of storing or deleting reference signatures, this simplifying formulation can be understood as meaning that a reference position belonging to the signature is stored or deleted.
  • the signature does not need to be unique, so multiple locations on the virtual track system may have the same signature and therefore reference the same address in the correspondence table. Therefore, it is advantageously provided that a plurality of positions per reference signature can be stored in the correspondence table. It should be noted here that the area covered by the virtual rail system, hence its length and width, has an influence on the probability of such a multiple occurrence of the signature in the correspondence table.
  • the correspondence table is, as explained above, advantageously designed so that multiple positions per table field can be stored. In this case, a storage capacity can be permanently assigned per table field or the total available storage can be flexibly divided among the table fields, eg. B. by means of dynamic lists.
  • the virtual rail system may preferably be divided into several sections. Preferably, then each section of the virtual rail system
  • Rail system can be assigned its own correspondence table, in which case the different correspondence tables are advantageously compatible with each other by having identical address ranges and require the same type of signature formation.
  • An electronic control unit of the vehicle can advantageously be referred to the part of the correspondence table associated with the current section of the virtual rail system on which the vehicle is moving, and to parts of the vehicle
  • the reference signatures can be obtained in the same way as explained for the working signatures.
  • the reference signatures form a map of the virtual rail system.
  • one or more of the following methods can be chosen:
  • the vehicle can, before it is automatically guided, complete a "training run".
  • the vehicle is controlled or guided by a user or by another vehicle that has already been trained.
  • the vehicle moves along the paths that later become the virtual
  • reference signatures for the virtual rail system can then preferably be stored in the above-mentioned correspondence table by the assigned positions in the
  • Correspondence table are stored. This allows the vehicle to be automatically guided in any new environment following the training.
  • the vehicle is a robotic lawnmower
  • the training run along the boundaries of the area to be mowed is performed.
  • the learning run leads along the edge of the lawn. It can be areas where you do not want to mow -.
  • B. Flower beds or paths - are omitted in the Anndfahrt or as later shown again specially marked. By this Anndfahrt can be dispensed with a perimeter wire, which conventionally serves to guide the robotic lawnmower.
  • the correspondence table and thus also the
  • Reference signatures are transmitted from at least one transmitter.
  • the vehicle can be automatically guided immediately in a new environment.
  • the transmission is wireless or wired and may be done directly between the transmitter and the vehicle's electronic control unit or passed through a server, i. in other words, from one
  • the correspondence table can be transmitted completely or only partially, with the parts of the correspondence table correlating with the achievable positions on the rail system.
  • the transmitter may for example be integrated in another vehicle. This is useful when the vehicle follows the other vehicle, for example in a convoy of motor vehicles or trucks on the road or as a transport column for several mobile transport devices.
  • the transmitter can be permanently stationed. In this case, in particular a plurality of radio beacons may be provided, each transmitting the part of the correspondence table corresponding to the portion of the virtual
  • Rail system is assigned, on which the vehicle can move within the transmitter radius of the transmitter.
  • the floor can also be equipped with a designed sensor, z. B. a ground scanner, regardless of the vehicle to be detected in advance.
  • the sensor system is advantageously set up to efficiently detect larger sections of the virtual rail system. Then, from the captured
  • Reference signatures are determined and stored in a central server. Finally, the reference signatures are preferably in the form of
  • safety distances can be maintained hereby.
  • collisions with people, objects, the infrastructure and / or each other can be avoided.
  • this planning can ensure compliance with traffic regulations.
  • Reference signatures of the virtual rail system This is particularly relevant for the case where the reference signature is assigned exactly one position. If the at least one working signature and the at least one reference signature of the virtual rail system agree, the position of the vehicle on the virtual rail system is closed. If a single work signature is compared with a single reference signature, the search is not for the best possible match, as is often done in the context of similarity or distance measures, but for a perfect match of the two signatures, ie identity. This results in the advantage that it is feasible to check for conformity with considerably less computational effort than to check for similarity or dissimilarity with the aid of similarity or distance dimensions.
  • Work signature is also considered as a number indicating the address of the
  • the signature preferably has a length between 8 bits and 32 bits, whereby a compromise between a too short signature, in which only between a few positions can be distinguished, and a too long signature, which leads to a large correspondence table, the large
  • too short signatures may be summarized by considering groups of fixed geometrical arrangement, such as, e.g. B. two signatures of equal length, at two staggered positions.
  • groups of fixed geometrical arrangement such as, e.g. B. two signatures of equal length, at two staggered positions.
  • the signatures do not have to be chosen so long that all positions on the virtual rail system or the current section of the virtual rail system are uniquely assigned, since, as already mentioned, the multiple occurrence of signatures is allowed.
  • Reference signatures are counted and the number of matches of the respective position of the vehicle on the virtual rail system
  • Reference signature is a vote for the position or positions assigned to the reference signature.
  • the highest number of matches between the work signatures and the reference signatures becomes at least one
  • Histogram of matches determined. Each match is assigned to a corresponding histogram bin, with the histogram bins in turn assigned to positions on the track system. Then the histogram bin is searched for, which is the most
  • Histogram bins are determined, which total the most
  • a histogram can be created for each correspondence table or for each part of the correspondence table as described above and finally the histogram bin can be determined, which has the most matches across all histograms .
  • multiple histograms of differing spatial resolution may be used for a correspondence table or for a portion of the correspondence table, respectively, and when a histogram histogram is found for a low resolution histogram, the next step is a histogram for the corresponding surface / length with a higher one Resolution is used.
  • the histograms can be one-dimensional and / or two-dimensional. For example, in a two-step approach, a first histogram is one-dimensional and has a resolution of lm per histogram bin, and a second histogram is two-dimensional and has one
  • the following steps can be carried out: If a position tracking is carried out, In the case of the known starting position, the respectively next position is determined - also called "tracking" the reference signatures for the comparison in the determination of the next position can be restricted to those reference signatures which are within the search field, which is determined by a search area Position or around a search area around the next position. By restricting the reference signatures to those that are within the search field, the
  • Computing and / or storage capacity can be reduced because not the complete virtual rail system must be considered.
  • the reference signatures can be updated, at least in part, with the aid of the work signatures.
  • This update preferably takes place already when a majority of the other reference signatures point to a position. Particularly preferably, the update takes place permanently during operation.
  • the reference signatures are not replaced during the update, but deposited multiple times. As a result, different short-term conditions, such. As a dry state and a wet state of the ground, be taken into account.
  • additional information on each reference signature may be provided which is suitable for detecting obsolete reference signatures.
  • a counter per position stored in the correspondence table can be provided as additional information, which is increased if the work signature matches the reference signature at the determined position and the determined position coincides with the stored position with sufficient accuracy.
  • those positions assigned to the reference signatures whose counter is below a threshold can be deleted.
  • the counters can be reset.
  • multiple reference signatures pointing to the same position can be reduced or summarized.
  • the counters can be in the Correspondence table are stored. Everybody in the
  • Correspondence table stored position to be assigned a counter.
  • control signals for the vehicle are provided with which the movement of the vehicle is controlled.
  • the drive and / or the steering of the vehicle can be controlled with the control signals. This makes it possible to move the vehicle so that it is guided on the virtual rail system.
  • Rail system provided, which control a steering of the vehicle, and control signals for a longitudinal direction of the virtual rail system
  • control signals for the vehicle are provided with which at least one implement of the vehicle is controlled.
  • the implement of the vehicle can be controlled in predetermined positions in the desired manner and perform or suspend the intended work.
  • a working device is to serve a mower of a robotic lawnmower.
  • the control signals z. B. the speed or the power of the mower can be controlled.
  • Optional additional features can be stored in the correspondence table. These additional features include:
  • Information about storing the reference signatures or the positions assigned to them such as: Date / time, dry or wet condition, (day) light or darkness, other environmental conditions.
  • Direction sensors are controlled so that the illumination or the illumination color illuminates the illuminated area from a predetermined direction, regardless of which orientation the vehicle currently has with respect to its surroundings. Due to the orientation, the ground is always picked up in the same way. Due to the defined lighting direction is also the image content of the of the
  • Illuminated device image largely independent of the orientation of the vehicle, since the image can be aligned by means of the direction sensor.
  • the computer program is set up to perform each step of the method, in particular when it is performed on a computing device or controller. It allows the implementation of the method in a conventional electronic control unit without having to make any structural changes. For this it is on the machine-readable
  • the electronic control unit is obtained, which is adapted to automatically guide the vehicle along the virtual rail system.
  • an FPGA Field Programmable Gate Array
  • an ASIC Application Specific Integrated Circuit
  • a vehicle which has a detection device for detecting features of the ground and which is set up with the method explained above along the virtual path
  • the vehicle may have the electronic control unit described above.
  • the vehicle can be an industrial robot that moves primarily within industrial plants and carries out activities autonomously there.
  • the vehicle may also be a transport robot that autonomously transports goods in predeterminable ways that correspond to the virtual rail system.
  • the vehicle may be a robotic lawnmower that autonomously mows lawns, meadows or green spaces.
  • the invention is not limited to the examples mentioned.
  • the detection device has an optical
  • Image capture device in particular a camera or a camera system, which takes a picture of the ground.
  • the features can then be captured directly from the captured image.
  • the optical image sensing device can be used for any type of ground in which the features are optically distinguishable. Examples of this are listed above.
  • the detection area is directed vertically downwards on the ground.
  • the vehicle has a lighting device that is associated with the image capture device and illuminates the area of the background that is detected by the image capture device.
  • the lighting device with multiple light sources
  • the substrate is then illuminated with different colors from different directions, so that the features can be better recognized.
  • the substrate is then illuminated with different colors from different directions, so that the features can be better recognized.
  • Lighting device operated pulsed to avoid motion blur in the image.
  • the pulse duration of the illumination device and the acquisition time of the image acquisition device can be synchronized.
  • the optical image acquisition device offers the advantage that the focus allows certain layers of the background to be selected for viewing.
  • the optical image acquisition device offers the advantage that the focus allows certain layers of the background to be selected for viewing.
  • Image capture device uses a camera or a camera system with low depth of focus range, wherein the sharply imaged layer is located approximately at the level at which the features are to be detected. Disturbing objects outside the depth-of-field are blurred and are therefore not included as features. Such disturbing objects are
  • the detection device comprises at least one tactile sensor, which at each position the height and the nature, in particular the compliance, of the solid ground, of deposits on the
  • the tactile sensor can be designed, for example, in the form of a measuring finger. A pen is moved up and down several times per second and hits with little force on the solid ground. Depending on the height and the nature of the hub change and possibly other sizes, such. B. damping,
  • the tactile sensor may be formed, for example in the form of a measuring wheel with spring. The measuring wheel rolls with little force over the solid ground. Depending on the height and condition of the ground, the measuring wheel is pressed against the spring.
  • a plurality of tactile sensors may be arranged in a row perpendicular to the direction of movement of the vehicle across the width of the track.
  • the tactile sensor is suitable for uneven surfaces, in which the height and / or the condition depends on the position in the order of magnitude of the relevant for the formation of the signatures area (stencil or
  • Sub template change. Turf, meadows and green areas as well as fields and fields are examples of this. Since the tactile sensor detects solid ground, the height of the turf is measured and plants growing on it are not perceived.
  • the detection device has at least one
  • Air pulse sensor or an air retention sensor also called ground effect sensor on. From an opening, air (or other gas) is directed towards the Underground, preferably vertically down, ejected. This can be both impulsive and continuous. The air escapes then depending on the height and the condition of the underground, of deposits on the underground and the like. Depending on this arises a counterforce, which is measured by the air pulse sensor or air retention sensor by means of a drag sensor and from the height and nature of the substrate, the deposits on the ground and the like of the subsurface are determined.
  • a plurality of air pulse sensors or air accumulation sensors may be arranged in a row perpendicular to the direction of movement across the width of the track.
  • the air pulse sensor or air retention sensor is suitable for uneven surfaces in which the height and / or the condition change depending on the position in the order of magnitude of the area relevant for the formation of the signatures (template or sub template). Turf, meadows and green areas as well as fields and fields are examples of this. In lawns, meadows and green areas, the opening from which air is expelled in the direction of the ground is preferably arranged at a height such that the air flows directly onto the ground
  • the detection device may alternatively or additionally comprise further sensors.
  • the sensors described below also measure the height of the subsoil and create a depth image of the subsoil.
  • sound sensors in particular ultrasonic sensors
  • electromagnetic sensors may be provided, such.
  • an ultra-broadband sensor or a radar sensor As an ultra-broadband sensor or a radar sensor. The latter can have a penetration depth in the centimeter range in the underground.
  • an imaging method z. B. based on a sensor array or a sensor array can be used.
  • the sensors mentioned are particularly suitable for uneven ground, especially for lawns, meadows and green areas. The sound or electromagnetic waves penetrate the plants and a depth image of the sod can be recorded.
  • the vehicle may include a direction sensor by which the reference signals and the working signals may be aligned. This leads to advantages in the self-localization with respect to the Consistency of the work signatures and the reference signatures. Furthermore, in the context of intersecting virtual rails, that which is suitable for traveling in the desired direction can be selected.
  • the direction sensor can be used to control the lighting device such that the lighting or the illumination color illuminates the illuminated surface from a predetermined direction, regardless of which orientation the vehicle currently has with respect to its surroundings.
  • the virtual rail system in addition to at least one virtual rail have different virtual components, such. As branches, switches, crossings, tees, parking positions, evasive positions, etc. This makes the vehicle on the virtual rail system similar to a real rail system, such. B. for trains, out.
  • the virtual rail system is in itself not visible or distinguishable from the environment, at least for humans. It can be provided that visible markings are applied to the real locations of the virtual rail system. The visible markings make it clear to people that there is a virtual rail system in this area and accordingly self-driving vehicles can be expected. In the case of self-driving motor vehicles, this may signal that the driver can switch to automated driving. There are many ways to realize such visible marks. Examples include the application of color dots, a sprinkling of color chips, stripes with a different pattern or other color, especially in carpets, among many more
  • Figure 1 shows a cross-sectional view of a vehicle according to a
  • Figure 2 shows an oblique view of a vehicle according to another embodiment of the invention.
  • FIG. 3 shows a view from below of the vehicle according to FIG. 1 on a virtual rail.
  • Figure 4 shows a bottom view of a vehicle according to another embodiment of the invention, which is designed as a robotic lawnmower.
  • FIG. 5 shows a schematic representation of a tactile sensor in the form of a measuring finger.
  • FIG. 6 shows a schematic representation of a tactile sensor in the form of a measuring wheel.
  • FIG. 7 shows a schematic representation of an arrangement of a plurality of tactile sensors from FIG. 5.
  • FIG. 8 shows a schematic representation of an air storage sensor.
  • FIG. 9 shows a schematic representation of an arrangement of several air storage sensors from FIG. 8.
  • Figure 10 shows a schematic cross-sectional view of an optical
  • FIG. 11 shows a schematic representation of recorded sensor signal measurement points, feature formation and work signatures according to an embodiment of the invention.
  • FIG. 12 shows a schematic representation of the virtual rail system, a plurality of detection areas and a common feature formation according to an embodiment of the invention.
  • FIG. 13 shows a correspondence table according to an embodiment of the invention.
  • Figure 14 shows a schematic representation of working signatures
  • FIGS. 1 to 3 show different views of vehicles 1 according to two embodiments of the invention.
  • the vehicle 1 can be used, for example, as an industrial robot or as a transport robot.
  • the vehicle 1 moves on a ground 2 along a virtual rail system 3 (not shown in FIG. 1).
  • the virtual rail system 3 provides z.
  • the vehicles 1 each have an image capture device 4, z. As a camera, and a lighting device 5, which are connected to an electronic control unit 20.
  • the image capture device 4 may include one or more of the following sensors: a monocular image sensor;
  • a one-dimensional line sensor which is arranged transversely to the direction of movement of the vehicle 1 or a detection transversely to the
  • the second dimension is obtained by the movement of the vehicle 1;
  • a conventional image sensor that provides a two-dimensional sensor signal, either in grayscale or color image; This is ideally operated with short exposure time and small f-number (ie a large aperture), so that at the same time a low
  • Luminous efficacy can be achieved
  • a distance measuring sensor e.g. based on ultrasound, radar or time of flight measurement or a stereo camera or a
  • an orientation measuring sensor e.g. Based on a
  • the image capture device 4 has a detection area 6 for features (not shown in detail) of the substrate 2.
  • Image capture device 4 and the sensor exist different
  • the image capture device 4 is arranged centrally on the non-steered axle.
  • the image capture device 4 is arranged near the center of the vehicle 1.
  • FIG. 1 shows an embodiment of the invention in which the
  • Image capture device 4 is arranged below the vehicle 1.
  • the image capture device 4 is offset in the direction of the interior of the vehicle 1, on the one hand to achieve a larger detection area 6 and on the other hand to protect the image capture device 4 from dirt, abrasion and so on. Furthermore, a different position of the sun and / or rain have no direct influence on the image acquisition or the
  • the illumination device 5 is arranged in an annular manner around the image capture device 4 and illuminates at least the capture region 6.
  • the vehicle 1 comprises a direction sensor 9, which is also connected to the electronic control device 20, with which the orientation of the vehicle 1 with respect to the ground 2 can be determined.
  • the illumination direction of the lighting device 5 is shown in FIG.
  • FIG. 2 shows a further embodiment of the invention, in which the image capture device 4 is arranged on the front side of the vehicle 1 in the direction of travel.
  • the image capture device 4 can additionally be used for collision avoidance, wherein the detection range 7 for collision avoidance is designed to be larger than the detection region 6 for the features of the background 2.
  • the illumination device 5 is also arranged on the front of the vehicle 1 and illuminates at least the
  • FIG. 3 shows a view from below of the vehicle from FIG. 1, in which the image capture device 4 is arranged centrally below the vehicle 1, the vehicle 1 moving on the virtual rail system 3.
  • the lighting device 5 comprises a plurality of lighting modules 8, the light from different directions with different colors (here four different colors). This makes it possible to distinguish features even in slightly textured but structured surfaces.
  • the illumination device 5 is rotatable, either mechanically rotatable or electronically rotatable by using multicolor light modules 8. By using the direction sensor 9 to control the rotation of the lighting device 5 ensures that the illumination direction for each color is independent of the current orientation of the Vehicle with respect to its environment or with respect to the orientation of the virtual rail system 3 at the position of the vehicle. 1
  • the lighting device 5 can be operated pulsed in order to avoid motion blur in the image.
  • Image capture device 4 synchronized. It is also shown in FIG. 3 that the virtual rail system 3 has a switch 11 in addition to at least one virtual rail 10. Likewise are not shown here in detail
  • the virtual rail system 3 can be made visible to humans by marking the ground 2 by means of different colors and / or shapes.
  • FIG. 4 shows a bottom view of a vehicle 1 according to another embodiment of the invention, in which the vehicle 1 is designed as a robotic lawnmower.
  • the vehicle 1 has a working device in the form of a mower 21, which is arranged on the underside of the vehicle 1.
  • FIG. 4 additionally provides a sensor device 22, which differs from the image capture device 4 described in FIGS. 1 to 3. As shown in FIG. 10 and described in connection therewith, an optical image capturing device 4 as shown in FIGS. 1 to 3 can also be used for the robotic lawnmower.
  • FIG. 5 shows a first embodiment of a tactile sensor 23, which is designed in the form of a measuring finger.
  • a pin 24 is disposed in a housing 25 and stands out from this.
  • a drive device not shown, is provided which moves the pin 24 up and down several times per second. In this case, one end of the pin 24 hits with little force on the solid surface 2.
  • FIG. 6 shows a second embodiment of a tactile sensor 26 in the form of a measuring wheel.
  • the measuring wheel 27 rolls over the solid ground 2 with little force.
  • a spring 29 is pressed via a suspension rod 28.
  • the deflection of the suspension rod 28 on the spring 29 is closed to the height of the substrate 2, for example by means of a spring travel sensor.
  • FIG. 7 shows an arrangement of several tactile sensors 23 according to the first embodiment of FIG. 5 for use with turf as ground 2.
  • Grass plants 30 grow on the turf 31, which represents the transition to the solid soil, with the roots of the grass plants 30 in the ground Sump 31 are located.
  • the growth of these grass plants 30 changes the characteristics in a short time, especially between two mowing cycles. Therefore, the grass plants 30 (generally all plants) should not be perceived in the detection of the characteristics.
  • the tactile sensors 23 are arranged in a row perpendicular to the direction of movement of the vehicle 1 in such a way that the pin 24 reaches the solid soil or the turf 31. There are therefore only features of the soil, deposits such. As stones, and quasi-permanent parts of grass plants (generally all plants), such. B. roots detected.
  • the movement of the vehicle 1 expands the measurement of the one-dimensional sensor device 22 into a two-dimensional measurement.
  • the arrangement may also be transferred to tactile sensors 26 according to the second embodiment.
  • a plurality of measuring wheels 27 are then arranged in a row perpendicular to the direction of movement of the vehicle 1 and roll in the direction of movement over the turf 31.
  • FIG. 8 shows an embodiment of an air retention sensor 32, which can also be used in the sensor device 22.
  • air is ejected vertically downward in the direction of the ground 2 (see Figure 9). This can be both impulsive and continuous. The air then escapes depending on the height and nature of the subsurface 2, deposits such. As stones, on the ground 2 and the like. Depending on this creates a counterforce, which is measured by means of a drag sensor 34 and from which the characteristics of the substrate 2 are determined.
  • FIG. 9 shows an arrangement of several air storage sensors 32 according to FIG. 9
  • Embodiment of Figure 8 for use in lawn as a base 2.
  • the air storage sensors 32 are arranged in a row perpendicular to the direction of movement of the vehicle 1.
  • the opening 33 is ejected from the air in the direction of the substrate 2, disposed at a height which is within the plane of the plants 30, so that the air strikes the turf 31 directly.
  • the sensor device 22 in further detail
  • Embodiments have further sensors.
  • sound sensors in particular ultrasonic sensors
  • electromagnetic sensors may be provided, such.
  • an ultra-broadband sensor or a radar sensor As an ultra-broadband sensor or a radar sensor. These can also be arranged in a row perpendicular to the direction of movement of the vehicle 1 or in the form of an array. The sound or electromagnetic waves penetrate the grass plants 30 and a depth image of the sod 31 can be recorded.
  • Image capture device 4 according to the first embodiment of the vehicle 1 of Figure 1 and 3 when used as lawn mower robots, meadows or green spaces. Since the growth of these grass plants 30 changes the characteristics in a short time, especially between two mowing cycles, the grass plants 30 (generally all plants) should not be perceived in the detection of the characteristics.
  • the detection region 6 of which lies vertically downwards on the substrate 2 (cf., FIG. 1), and also in the case of the optical image-capturing device 4 arranged on the front side of the vehicle 1 (see FIG 2) can be a camera with a low depth of field be used. The optical image capturing device 4 then focuses on a narrow area 33 around the turf 31. As a result, the grass plants 30 are partially not perceived.
  • the lighting device 5 already described can be used.
  • FIG. 11 shows how features are obtained from a two-dimensional sensor signal of the image capture device 4 and signatures are formed.
  • Signal measuring points 12 represent those of the
  • Image capture device 4 detected measurements, ie z. As gray values, distance values or height values, or measurement vectors, ie z. B.
  • the signal measurement points 12 form a strip shown in FIG. 11, which represents a section of the virtual rail system 3.
  • the vehicle 1, not shown here should move in the direction of arrow 13 from bottom to top. Although the steps explained below are performed at each position of the vehicle 1, they are shown separately from each other. To be able to follow the sequence of steps, the figure 11 will be read from bottom to top.
  • the signal measuring points 12 are usually not recorded at the same time, but chronologically with the movement of the vehicle 1.
  • the horizontal distance and the vertical distance between the signal measuring points 12 are shown in this embodiment as approximately equal, but they can in other Embodiments also be different.
  • the width of a track 14 detected by the image capturing device 4 may be limited by the width of the vehicle 1 or the width of the image capturing device 4 or the extent of the feature capturing area 6.
  • the track 14 in this embodiment comprises 25 signal measurement points 12.
  • the number of signal measurement points 12 is significantly higher.
  • a signal measuring point 12 corresponds to a pixel.
  • a template 15 is shown within which features are obtained from the signal measurement points 12.
  • the template 15 extends over a two-dimensional surface comprising a plurality of signal measurement points 12.
  • This template 15 does not have to cover the entire width of the track 14. In this embodiment, it covers almost half of the track 14, could also cover more or less in other embodiments.
  • the template 15 here has an octagonal shape, but other shapes are possible, such. Circle, ellipse, oval, square, rectangle, polygon, or line.
  • sub-templates 16 shown here as 37 circles. Again, other shapes and / or other numbers are possible. These sub-templates 16 are not arranged overlapping here in the template 15 and fill them largely. In other embodiments, the sub-templates 16
  • a sub-template measured value or vector is formed from the values and / or the vectors of the signal measurement points 12 which are at least partially covered by the respective sub-template 16 or are located in their surroundings.
  • a weighted average over the values and / or the vectors is formed from the four closest signal measurement points 12, the weights being e.g. be selected as a function of the distance between the signal measuring points 12 and the center of the lower template 16 and the sum of the weights is 1.
  • This step can also be understood as an interpolation step.
  • An invalid value / vector is also provided for the sub-template 16, which is used in the case of a defective image capture unit 4, in particular in the case of defective pixels or a non-plausible sensor signal or where a measured value / vector is missing because the template 15 is out of the track 14 protrudes.
  • the weight is set to zero so that the invalid value is not taken into account.
  • a preprocessing of the sub-template measured values / vectors is carried out in this exemplary embodiment, eg normalization or "balancing" of the data geometrically (for example, with a homography image), so that it then a front-parallel projective image of the background 2 equivalent.
  • an optionally existing misalignment of the vehicle with respect to the ground 2 is compensated.
  • the distance of the image capture unit 4 to the background 2 is variable and a non-telecentric optic is used, it may be advantageous to scale the image of signal measurement points 12 or template 15 to compensate for the difference in distance and thus ensure that the signatures formed do not depend on the distance.
  • each type of level sensors can be used to determine the distance.
  • a feature is formed from the preprocessed sub-template measurement values / vectors that is to be characteristic of the position.
  • This feature may be, for example, a vector of numbers, where each number represents a sub-feature, e.g. B. result of convolution or filtering of a signal excerpt with a wavelet. In doing so, in particular
  • a convolution of the image section of gray values with a wavelet that performs a smoothed second derivative in a predetermined direction (depending on the direction sensor 9 or independently thereof with fixed reference to the vehicle coordinate system).
  • the formation of the features is (apart from the preprocessing) spatially invariant, d. H. it can be done in the same way at any position.
  • this may be a 16-bit wide signature E, L, J, G or D, where the 16 Binary values can be calculated individually, eg by 16 different weighted links of the 37 sub-template values / vectors, each followed by a threshold decision. There are 2 16 ways to express different positions on the signatures.
  • the determination of the weighted links and the associated threshold values is undertaken, for example, by a user or by a neural network on the basis of training data and can also be adapted automatically during operation in order to adapt to different substrates 2.
  • Each signature E, L, J, G or D is assigned to a position, e.g. the center of the template 15a-e, from which the signature was formed. Since 5 templates 15a-e are evaluated here in parallel, the result is 5 signatures E, L, J, G and D, which are assigned to 5 adjacent positions.
  • the position can be described with coordinates, a coordinate x across the virtual rail system 3, which has positive and negative signs and in which the value zero corresponds to the center of the virtual rail system 3, and a coordinate s, which runs along the virtual rail system 3 and starting at the starting point at zero. It should be noted here that the virtual rail system 3 may be curved.
  • Coordinates x and s can be different and can be formed metrically or as a function of the image capture device 4 (eg pixels), or in further embodiments as a function of the sensor device 22.
  • This formation of the signatures E, L, J, G and D is always carried out again after the vehicle 1 has moved a bit further. This results in a strip 17 of due to the random background generally different signatures, which are designated here only with S.
  • the area 18 includes signatures that are considered together to determine a location. In the figure 6 will be discussed in more detail on these different signatures.
  • Overlap region of the two detection areas 6a and 6b is located.
  • the signal measurement points 12 from both measurements are used to form the features.
  • the signatures formed from this then have a redundancy that can be meaningful if the features change depending on the position of the vehicle 1 (even if it is actually assumed that this is not the case).
  • FIG. 13 shows a correspondence table.
  • Reference signatures A - O which were created as described in connection with FIG. 11 during a learning run of the vehicle 1, are assigned corresponding positions. This assignment between the reference signature A - O and the position is entered in the correspondence table.
  • the same position in the formation of the signature A - O leads to the same location (x, s).
  • Each position (x, s) thus formed corresponds to a position on the virtual rail system.
  • the signature is used only for the one-time determination of the address in the correspondence table.
  • the position is saved at this address.
  • the signature itself is therefore not saved.
  • the signatures can occur multiple times, with the probability that a signature occurs several times with the distance stored (in the correspondence table) and with the width of the strip 17 increasing.
  • the correspondence table stores several items per table field. In this case, an amount of memory can be assigned permanently per table field or, in other embodiments, the available memory can be flexibly distributed among the table fields - e.g. B. by means of dynamic lists.
  • Information about storing the reference signatures A - O such as: Date / time, dry or wet condition, (day) light or darkness, other environmental conditions.
  • FIG. 14 illustrates the procedure for the localization according to an exemplary embodiment of the method according to the invention on the basis of a schematic illustration.
  • the reference signatures A - O have already been determined by the learning run and shown in FIG. 14
  • the reference symbols A-0 represent here a total of 15 different signatures. In the example, 100 reference signatures have been detected; in practice, significantly more reference signatures are generally detected. Since the number of different reference signatures A-0 exceeds the power of the number of possible signatures, a certain reference signature A-0 generally occurs multiple times.
  • Work signatures A * -0 * considered, in particular all 15 work signatures A * -0 * .
  • FIG. 14 For the sake of clarity, not all connecting lines in FIG. 14 are to be drawn for these further working signatures A * -0 * , but only the correct connecting lines.
  • These correspondences thus emphasized are distinguished from all other possibilities in that they mutually confirm each other. If errors are detected in this assignment, it is provided to update the reference signatures A-0 by means of the work signatures A * -0 * .
  • the position of the vehicle 1 on the virtual rail system 3 is determined.
  • the vehicle 1 is thus currently two units to the left of the center of the virtual
  • Rail system 3 offset at the line coordinate 75.
  • the group 19 * of 9 working signatures A * -0 * marked with a square stands out here.
  • all 9 work signatures A * -0 * point to a group 19 of reference signatures A-0 with adjacent positions. There are no similar matches for any of the other positions.
  • Matches can be determined using multi-level histograms. In the following, this will be briefly described:
  • a first histogram is one-dimensional and has a resolution of 1 m per histogram bin, ie a coarse resolution.
  • a resolution of 1 m per histogram bin ie a coarse resolution.
  • all distance positions S F of the vehicle are entered, resulting in the formation of possible correspondences.
  • Each one will Match in the corresponding histogram bin
  • the group of adjacent histogram bins that have the most matches can also be determined.
  • the position along the coordinate S A is already known to about 1 m exactly.
  • the position is determined precisely.
  • a two-dimensional second histogram having a resolution of 1 cm ⁇ 1 cm is used. In the second vote, only the correspondences participate, which in the first histogram
  • the second histogram again retrieves the histogram bin or a set of histogram bins with the most matches.
  • the group of histogram bins may additionally be averaged or weighted.
  • the position corresponding to this histogram bin (s) corresponds to the position of the vehicle 1.
  • Position tracking Searches for the next positions based on the position already found. Accordingly, the reference signatures A-0 are restricted to a search field resulting from a search range around the detected position or a search range around the next position.
  • Control in the transverse direction will be the already known indication of the lateral Position XF used.
  • the steering is done so that this lateral position X F is reduced. This is a task known to the skilled person from the
  • Embodiment moves the vehicle 1 in the direction of increasing values for the route position SF.
  • the knowledge of the direction of travel is at the
  • Position tracking used to predict the next position and specify a search field.
  • the vehicle can also drive in the opposite direction. If the vehicle turns for this, it means in

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems, wobei Merkmale eines Untergrunds, über den sich das Fahrzeug bewegt oder bewegen wird, erfasst werden und in zumindest eine Arbeitssignatur (A*-O*) umgewandelt werden, wobei geprüft wird, ob die zumindest eine Arbeitssignatur (A*-O*) mit zumindest einer Referenzsignatur (A-O) des virtuellen Schienensystems übereinstimmt, wobei der zumindest einen Referenzsignatur (A-O) eine Position auf dem virtuellen Schienensystem zugeordnet ist, und, wenn die zumindest eine Arbeitssignatur (A*-O*) und die zumindest eine Referenzsignatur (A-O) übereinstimmen, auf die Position des Fahrzeugs auf dem virtuellen Schienensystem geschlossen wird.

Description

Beschreibung
Titel
Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen
Schienensystems
Die vorliegende Erfindung betrifft ein Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems. Ferner betrifft die
Erfindung ein Computerprogramm, das jeden Schritt des Verfahrens ausführt, wenn es auf einem Rechengerät abläuft, sowie ein maschinenlesbares
Speichermedium, welches das Computerprogramm speichert und ein
elektronisches Steuergerät, welches eingerichtet ist, um das erfindungsgemäße Verfahren auszuführen. Schließlich betrifft die Erfindung ein Fahrzeug, welches eingerichtet ist, entlang des virtuellen Schienensystems automatisch geführt zu werden.
Stand der Technik
Heutzutage werden automatisch fahrende Fahrzeuge bzw. Roboter in vielen Situationen eingesetzt, die auf eine Selbstlokalisation angewiesen sind. Bei Fahrzeugen, die eine Bilderfassungsvorrichtung, wie z. B. eine Kamera, aufweisen, werden typischerweise Merkmale im Bild detektiert, den Merkmalen Deskriptoren zugeordnet und dann die aktuellen Merkmale im Bild mit
Merkmalen einer Datenbank verglichen und die Position zugeordnet. Bei der Zuordnung von Merkmal und Position wird oftmals noch eine Distanzmetrik beachtet. Ein in diesem Zusammenhang verwendetes Verfahren ist
„Simultaneous Localization and Mapping“ (SLAM). In diesem Verfahren ist vorgesehen, dass das Fahrzeug in der Lage ist, an jeder Position eine Karte aufzubauen, sich innerhalb dieser Karte selbst zu lokalisieren und seine Position exakt zu verfolgen.
Üblicherweise werden hervorstechende Merkmale (salient features) von
Strukturen zur Lokalisation verwendet, die auch unter anderen Betrachtungswinkeln und unter anderen Abständen wiederauffindbar sind, und diesen Deskriptoren zugeordnet. Als Beispiele sind Pfosten, Bäume bzw. Teile davon, Gebäudeteile, Wände, Ecken usw. genannt. Diese Strukturen befinden sich meist im Fernfeld des Fahrzeugs. Diese Strukturen sind oftmals nicht zeitbeständig oder können unter bestimmten Lichtverhältnissen nicht
wahrgenommen werden. Dann sind die Merkmale nicht wiederauffindbar. Es kann auch Vorkommen, dass keine wiederauffindbaren hervorstechenden Merkmale vom Fahrzeug erfasst werden können, weil keine geeigneten
Strukturen im Umfeld vorhanden sind, beispielsweise weil das Umfeld strukturarm und das Fernfeld, beispielsweise aufgrund einer niedrigen
Kamerahöhe, schlecht einsehbar ist.
Die automatisch fahrenden Fahrzeuge sollen sich oftmals auf vorgebbaren Wegen bewegen. Beispielsweise sollen sich automatisch fahrende
Kraftfahrzeuge auf Straßen (und zu Parkplätzen) bewegen, automatisch fahrende Transportfahrzeuge, beispielsweise in Industriehallen, sollen sich auf geplanten Wegen zwischen Abholstelle und Abladestellen bewegen.
Offenbarung der Erfindung
Es wird ein Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems vorgeschlagen. Der Begriff Fahrzeug umfasst hier neben Kraftfahrzeugen auch Nutzfahrzeuge, Transportgeräte, selbstfahrende mobile Roboter, Flurförderzeuge, bis hin zu Luftfahrzeugen, die sich nahe dem Boden bewegen, wie z. B. Drohnen oder gelandete Flugzeuge.
Es werden Merkmale eines Untergrunds, über den sich das Fahrzeug bewegt und/oder in Zukunft bewegen wird, erfasst. Die Merkmale werden aus einem Sensorsignal gewonnen, wobei das Sensorsignal beispielsweise ein
zweidimensionales Graustufensignal oder ein zweidimensionales Farbbildsignal einer Bilderfassungseinheit, z. B. einer Kamera, des Fahrzeugs ist. Auch kann das Sensorsignal aus Signalen einer eindimensionalen Bilderfassungseinheit gebildet werden, wenn sich das Fahrzeug in die zweite Richtung bewegt. Das Merkmal ist eine aus dem Signal extrahierte Zwischenstufe, mit der die Position auf dem Untergrund charakterisiert werden kann. Hierzu wird ein der Position zugeordneter lokaler Ausschnitt des Signals betrachtet. Beispielsweise kann eine Faltung oder eine Filterung des Ausschnitts mit einem oder mehreren Wavelets erfolgen, aus dem ein N-dimensionaler Vektor für das Merkmal hervorgeht.
Vorzugsweise werden die Merkmale an jeder Position auf die gleiche Weise gebildet.
Der Untergrund kann jede Art von künstlichem oder natürlichem Untergrund sein, der unterscheidbare Merkmale aufweist, die über einen Zeitraum zumindest teilweise unverändert bleiben. Insbesondere kann das Verfahren bei einem Boden mit zufälligem Muster angewendet werden. Typische zufällige Muster bieten ausreichend Variation in ihrer Oberflächenstruktur, Helligkeit oder
Farbigkeit, um an unterschiedlichen Positionen unterscheidbare Merkmale erfassen zu können. Hierfür eignen sich unter anderem folgende Bodentypen:
Asphalt;
Natur- oder Kunststeinboden oder Fliesen mit zufälliger Oberfläche;
Beton- oder Estrichboden;
mit Farbe versiegelter Hartboden, wobei in die noch nasse Farbe so genannte Farbchips mit anderen Farben eingestreut werden;
Filzboden;
Korkboden;
Teppich;
Linoleumboden;
industriell gefertigte Kunststoffböden mit zufälliger Oberfläche;
Feld- oder Ackerboden; oder
Rasen, Wiesen oder Grünflächen.
Während die erstgenannten neun Arten von Untergrund vor allem für
Industrieroboter und Transportroboter relevant sind, ist insbesondere die letztgenannte Art von Untergrund, nämlich Rasen, Wiesen bzw. Grünflächen für Mähroboter von großer Bedeutung. Hierbei gilt zu beachten, dass die auf dem Untergrund wachsenden Pflanzen, wie z. B. Gras, bei er Erfassung der
Merkmale des Untergrunds ebenfalls erfasst werden. Werden die Merkmale über alle Schichten des Untergrunds mitsamt den Pflanzen erfasst, verändern sich die erfassten Merkmale des Untergrunds durch das Wachstum der Pflanzen innerhalb eines relevanten Zeitabschnitt, beispielsweise zwischen zwei
Mähzyklen des Mähroboters, erheblich. Es kann vorgesehen sein, die Merkmale des Untergrunds nur für vorgegebene Abschnitte des Untergrunds, insbesondere nur für bestimmte Schichten des Untergrunds zu erfassen. In Zusammenhang mit Rasen, Wiesen und
Grünflächen kann vorteilhafterweise die Grasnarbe, daher die oberste
Bodenschicht, auf der die Pflanzen wachsen, zur Erfassung der Merkmale verwendet werden. Im Speziellen können hierbei Bodenstrukturen, kleine Steine und/oder abgestorbene Pflanzen als Merkmale dienen.
Die Merkmale des Untergrunds werden in zumindest eine Arbeitssignatur umgewandelt. Signaturen sind Kodierungen der Merkmale bzw. des
dazugehörigen Sensorsignals, die charakteristisch für die Position auf dem Untergrund sind. Die Signaturen können elektronisch gespeichert und weiterverarbeitet werden. Bei der Umwandlung der Merkmale in Signale kommt es typischerweise zu einem Informationsverlust durch die Kodierung. Hierbei wird vor allem der Teil der Information verworfen, der für die Charakterisierung der Position entbehrlich ist. Beispielswiese kann die Signatur als Konkatenation von binär codierten Zahlen gebildet werden, die den Vektor für das Merkmal in quantisierter Form darstellt. Vorzugsweise kann die Umwandlung der Merkmale in die Signaturen gewichtet sein, wobei die Gewichtung von einem Anwender oder beispielsweise von einem neuronalen Netzwerk im Sinne eines Trainings vorgenommen werden kann. Alternativ kann aus einem Merkmal mehrere Arbeitssignaturen gebildet werden oder eine Signatur aus mehreren Merkmalen gebildet werden oder mehrere Signaturen aus mehreren Merkmalen gebildet werden.
Das virtuelle Schienensystem ist ein Bereich zwischen zumindest einem
Startpunkt und zumindest einem Endpunkt, in dem sich das Fahrzeug auf vorgegeben Wegen (virtuelle Schienen) bewegt. Dabei kann sich das Fahrzeug in beide Richtungen auf den vorgegebenen virtuellen Schienen bewegen. Für einen beispielhaften Fall, dass das Fahrzeug ein Transportroboter ist, bilden die virtuellen Schienen die Transportwege für den Transportroboter ab. Für einen weiteren beispielhaften Fall, dass das Fahrzeug ein Mähroboters ist, bilden die virtuellen Schienen die Bahnen ab, entlang denen der Mähroboter mäht.
Vorzugsweise verlaufen diese Bahnen serpentinenförmig und berücksichtigen die Arbeitsbreite des Mähwerks. Das virtuelle Schienensystem ist als Datensatz der Positionen des Untergrunds, auf dem sich das Fahrzeug bewegen soll, abgespeichert. Diesen Positionen auf dem virtuellen Schienensystem sind Referenzsignaturen zugeordnet. Die Referenzsignaturen bilden demnach eine Karte des virtuellen Schienensystems. Dabei kann einer Referenzsignatur genau eine Position auf dem virtuellen Schienensystem zugeordnet sein, die eindeutig aus der einen Referenzsignatur ermittelt werden kann. Ebenso können einer Referenzsignatur mehrere
Positionen auf dem virtuellen Schienensystem zugeordnet sein. Die Position lässt sich dann nicht aus nur einer Referenzsignatur ermitteln, sondern es ist eine Vielzahl von Referenzsignaturen nötig, die der gleichen Position oder benachbarten Positionen zugeordnet sind. Vorzugsweise ist die Zuordnung der Referenzsignaturen und der Positionen in einer Korrespondenztabelle abgelegt, die als Lookup-Tabelle ausgelegt ist. Den Positionen auf dem Schienensystem sind Adressen innerhalb der Korrespondenztabelle zugeteilt. Die Signatur wird als Zahl betrachtet, die eine Adresse der Korrespondenztabelle angibt, und dient daher zur Feststellung der Adresse in der Korrespondenztabelle. Auf ein Abspeichern der Signatur selbst kann daher verzichtet werden. Wenn nachfolgend in Zusammenhang mit der Korrespondenztabelle von Abspeichern bzw. Löschen von Referenzsignaturen gesprochen wird, so kann diese vereinfachende Formulierung so zu verstehen sein, dass eine der Signatur zugehörige Referenzposition gespeichert bzw. gelöscht wird.
Die Signatur muss nicht eindeutig sein, so dass mehrere Positionen auf dem virtuellen Schienensystem dieselbe Signatur aufweisen können und daher auf dieselbe Adresse in der Korrespondenztabelle verweisen können. Daher ist vorteilhafterweise vorgesehen, dass mehrere Positionen pro Referenzsignatur in der Korrespondenztabelle gespeichert werden können. Hierbei gilt es zu beachten, dass die vom virtuellen Schienensystem abgedeckte Fläche, daher dessen Länge und dessen Breite, Einfluss auf die Wahrscheinlichkeit eines solchen Mehrfachauftretens der Signatur in der Korrespondenztabelle hat. Die Korrespondenztabelle ist, wie oben begründet, vorteilhafterweise so angelegt, dass mehrere Positionen pro Tabellenfeld abgelegt werden können. Dabei kann pro Tabellenfeld eine Speicherkapazität fest zugeordnet sein oder es kann der insgesamt verfügbare Speicher flexibel unter den Tabellenfeldern aufgeteilt werden, z. B. mittels dynamischer Listen. Als Resultat können mehr Positionen in einer kleineren Korrespondenztabelle, also mit kleinerem Wertebereich der Adressen bzw. Signaturen, abgelegt werden. Die maximale Anzahl bzw. die mittlere Anzahl von Positionen, die pro Tabellenfeld abgelegt werden können, hängt von der Umwandlung der Merkmale und von der Länge des virtuellen Schienensystems ab, daher auch vom vorgesehenen Einsatzgebiet des
Fahrzeugs.
Das virtuelle Schienensystem kann bevorzugt in mehrere Abschnitte unterteilt werden. Vorzugsweise kann dann jedem Abschnitt des virtuellen
Schienensystems ein Teil der Korrespondenztabelle zugeordnet sein. Dies kann auch so aufgefasst werden, dass jedem Abschnitt des virtuellen
Schienensystems eine eigene Korrespondenztabelle zugeordnet sein kann, wobei dann die verschiedenen Korrespondenztabellen vorteilhafterweise miteinander kompatibel sind, indem sie identische Adressbereiche aufweisen und dieselbe Art der Signaturbildung voraussetzen. Ein elektronisches Steuergerät des Fahrzeugs kann vorteilhafterweise auf den Teil der Korrespondenztabelle, die dem aktuellen Abschnitt des virtuellen Schienensystems zugeordnet ist, auf dem sich das Fahrzeug befindet bzw. bewegt, sowie auf Teile der
Korrespondenztabelle, die benachbarten Abschnitten des virtuellen
Schienensystems zugeordnet sind, zugreifen. Die nicht benötigten Teile der Korrespondenztabelle können dann ausgelagert werden und z. B. in einem Flash-Speicher oder in einer„Datencloud“ gespeichert werden. Als Resultat kann das elektronische Steuergerät mit einem kleineren Arbeitsspeicher auskommen, der nur die eben erwähnten Teile der Korrespondenztabelle Vorhalten muss.
Die Referenzsignaturen können in gleicher Weise, wie für die Arbeitssignaturen erläutert, erhalten werden. Mit anderen Worten bilden die Referenzsignaturen eine Karte des virtuellen Schienensystems. Um die Referenzsignaturen zu erhalten, können eine oder mehrere der folgenden Methoden gewählt werden:
Das Fahrzeug kann, bevor es automatisch geführt wird, eine„Anlernfahrt“ absolvieren. Bei der Anlernfahrt wird das Fahrzeug durch einen Anwender oder durch ein anderes Fahrzeug, das bereits angelernt ist, gesteuert oder geführt.
Das Fahrzeug bewegt sich entlang der Wege, die später das virtuelle
Schienensystem bilden sollen. Während der Anlernfahrt - oder zu einem späteren Zeitpunkt vor dem automatischen Führen - werden aus den Merkmalen, in vorstehend beschriebener Weise, Referenzsignaturen für das virtuelle Schienensystem gebildet. Die somit erhaltenen Referenzsignaturen können dann vorzugsweise in der obengenannten Korrespondenztabelle abgelegt werden, indem die zugeordneten Positionen in der
Korrespondenztabelle gespeichert werden. Dadurch kann das Fahrzeug in jeder neuen Umgebung im Anschluss an die Anlernfahrt automatisch geführt werden. Für den beispielhaften Fall, dass das Fahrzeug ein Mähroboter ist, kann es vorgesehen sein, dass die Anlernfahrt entlang der Grenzen des zu mähenden Bereichs durchgeführt wird. Mit anderen Worten führt die Anlernfahrt entlang der Kante der Rasenfläche. Dabei können Bereiche, in denen nicht gemäht werden soll - z. B. Blumenbeete oder Wege - bei der Anlernfahrt ausgelassen werden oder wie später nochmals dargestellt besonders gekennzeichnet werden. Durch diese Anlernfahrt kann auf einen Begrenzungsdraht, der herkömmlicherweise zur Führung des Mähroboters dient, verzichtet werden.
Gemäß einem Aspekt kann die Korrespondenztabelle und somit auch die
Referenzsignaturen von zumindest einem Sender übertragen werden. Somit kann das Fahrzeug sofort in einer neuen Umgebung automatisch geführt werden. Die Übertragung erfolgt kabellos oder kabelgebunden und kann direkt zwischen dem Sender und dem elektronische Steuergerät des Fahrzeugs erfolgen oder über einen Server geleitet werden, d.h. mit anderen Worten aus einer
„Datencloud“ abgerufen werden, wobei das elektronische Steuergerät
vorzugsweise mit einer Empfangsvorrichtung verbunden ist. Dabei kann die Korrespondenztabelle vollständig oder nur in Teilen übertragen werden, wobei die Teile der Korrespondenztabelle mit den erreichbaren Positionen auf dem Schienensystem korrelieren. Der Sender kann beispielsweise in einem weiteren Fahrzeug integriert sein. Dies bietet sich an, wenn das Fahrzeug dem anderen Fahrzeug folgt, beispielsweise in einer Kolonne von Kraftfahrzeugen oder Lastkraftwagen auf der Straße oder als Transportkolonne für mehrere mobile Transportgeräte. Alternativ kann der Sender fest stationiert sein. In diesem Fall können insbesondere mehrere Funkbaken vorgesehen sein, die jeweils den Teil der Korrespondenztabelle übertragen, der dem Abschnitt des virtuellen
Schienensystems zugeordnet ist, auf dem sich das Fahrzeug innerhalb des Senderadius des Senders bewegen kann. Optional kann der Boden auch mit einer dafür ausgelegten Sensorik, z. B. einem Boden-Scanner, unabhängig vom Fahrzeug im Vorhinein erfasst werden. Die Sensorik ist vorteilhafterweise eingerichtet, größere Abschnitte des virtuellen Schienensystems effizient zu erfassen. Dann können aus den erfassten
Sensorsignalen, wie bereits beschrieben, über die Merkmale die
Referenzsignaturen ermittelt und in einem zentralen Server gespeichert werden. Schließlich werden die Referenzsignaturen vorzugsweise in Form der
Korrespondenztabelle, wie vorstehend erläutert, über eine Funkverbindung an das Fahrzeug übermittelt. In diesem Fall kann die Planung des virtuellen
Schienensystems an einem PC-Arbeitsplatz erfolgen und dabei gewünschte Schienenwege, Kurvenradien und/oder Klothoiden festgelegt werden.
Insbesondere können hiermit Sicherheitsabstände eingehalten werden. Bei Transportgeräten in Industriehallen können dadurch Kollisionen mit Personen, Objekten, der Infrastruktur und/oder untereinander vermieden werden. Im Straßenverkehr kann durch diese Planung die Einhaltung von Verkehrsregeln sichergestellt werden.
Zur Selbstlokalisation wird geprüft, ob zumindest eine der Arbeitssignaturen, die im aktuellen Betrieb erhalten werden, mit zumindest einer der
Referenzsignaturen des virtuellen Schienensystems übereinstimmt. Dies ist insbesondere für den Fall relevant, bei dem der Referenzsignatur genau eine Position zugeordnet ist. Stimmen die zumindest eine Arbeitssignatur und die zumindest eine Referenzsignatur des virtuellen Schienensystems überein, wird auf die Position des Fahrzeugs auf dem virtuellen Schienensystem geschlossen. Wird eine einzige Arbeitssignatur mit einer einzigen Referenzsignatur verglichen, wird nicht nach einer möglichst guten Übereinstimmung gesucht, wie es im Zusammenhang mit Ähnlichkeits- bzw. Distanzmaßen oftmals durchgeführt wird, sondern nach einer perfekten Übereinstimmung der beiden Signaturen, also Identität. Hieraus ergibt sich der Vorteil, dass das Prüfen auf Übereinstimmung mit erheblich geringerem Rechenaufwand durchführbar ist als das Prüfen auf Ähnlichkeit bzw. Unähnlichkeit mit Hilfe von Ähnlichkeits- bzw. Distanzmaßen.
Bei Verwendung der bereits erläuterten Korrespondenztabelle, wird die
Arbeitssignatur ebenfalls als Zahl betrachtet, welche die Adresse der
Korrespondenztabelle angibt. Da sowohl die Arbeitssignatur als auch die
Referenzsignatur des virtuellen Schienensystems die gleiche Adresse angeben und somit auf das gleiche Tabellenfeld zeigen, werden beide als sich
entsprechende, identische Signaturen angesehen. Aus dem Tabellenfeld auf das die beiden Signaturen zeigen, wird auf die Position des Fahrzeugs auf dem virtuellen Schienensystem geschlossen.
Die Signatur weist vorzugsweise eine Länge zwischen 8 Bit und 32 Bit auf, wodurch ein Kompromiss zwischen einer zu kurzen Signatur, bei der nur zwischen wenigen Positionen unterschieden werden kann, und einer zu langen Signatur, die zu einer großen Korrespondenztabelle führt, die eine große
Speicherkapazität voraussetzt, und nebenbei die Wahrscheinlichkeit eines Fehlers bei der Übereinstimmung erhöht, gefunden wird. Gemäß einem Aspekt können zu kurze Signaturen zusammengefasst werden, indem man Gruppen mit fester geometrischer Anordnung betrachtet, wie z. B. zwei Signaturen gleicher Länge, an zwei zueinander versetzten Positionen. Darüber hinaus gilt zu beachten, dass die Signaturen nicht so lang gewählt werden müssen, dass alle Positionen auf dem virtuellen Schienensystem oder dem aktuellen Abschnitt des virtuellen Schienensystems eindeutig zugeordnet sind, da wie bereits erwähnt, das Mehrfachauftreten von Signaturen erlaubt ist.
Gemäß einem Aspekt wird geprüft, ob eine Vielzahl von Arbeitssignaturen mit einer Vielzahl von Referenzsignaturen übereinstimmen. Dies ist insbesondere für den Fall relevant, bei dem der Referenzsignatur mehrere Positionen zugeordnet sind. Die Übereinstimmungen zwischen den Arbeitssignaturen und den
Referenzsignaturen werden gezählt und die Zahl der Übereinstimmungen der jeweiligen Position des Fahrzeugs auf dem virtuellen Schienensystem
zugeordnet. Schließlich wird auf die Position des Fahrzeugs auf dem virtuellen Schienensystem geschlossen, deren Zahl der Übereinstimmungen am höchsten ist. Optional kann hierbei eine Gewichtung der Übereinstimmungen erfolgen. Dabei wird die Eigenschaft ausgenutzt, dass anhand der Übereinstimmungen zwischen Arbeitssignaturen und Referenzsignaturen Häufungen für die über die Korrespondenztabelle ermittelte Position auftreten, die einen Rückschluss auf die tatsächliche Position auf dem Schienensystem ermöglichen. Mit anderen Worten stellt jede Übereinstimmung zwischen einer Arbeitssignatur und einer
Referenzsignatur ein Votum für die der Referenzsignatur zugeordneten Position bzw. Positionen dar. Dadurch müssen nicht alle Merkmale, die in die
Arbeitssignaturen umgewandelt werden, mit den Merkmalen, die in die Referenzsignaturen umgewandelt wurden, übereinstimmen. Als Resultat können einerseits Messunsicherheiten und Ungenauigkeiten ausgeglichen werden. Andererseits können Veränderungen in den Merkmalen selbst, die
beispielsweise von Schmutz, Beschädigung, Abrieb und/oder anderen Einflüssen herrühren, ausgeblendet werden.
Gemäß einem Aspekt wird die höchste Zahl der Übereinstimmungen zwischen den Arbeitssignaturen und den Referenzsignaturen aus zumindest einem
Histogramm der Übereinstimmungen ermittelt. Jede Übereinstimmung wird einem entsprechenden Histogramm-Bin zugeordnet, wobei den Histogramm-Bins wiederum Positionen auf dem Schienensystem zugeordnet sind. Im Anschluss wird dasjenige Histogramm-Bin gesucht, welches die meisten
Übereinstimmungen aufweist und daraus auf die gesuchte Position
zurückgeschlossen. Alternativ kann auch eine Gruppe benachbarter
Histogramm-Bins ermittelt werden, welche gesamt die meisten
Übereinstimmungen aufweisen. Werden mehrere Korrespondenztabellen verwendet oder ist die Korrespondenztabelle in mehrere Teile aufgeteilt, kann für jede Korrespondenztabelle bzw. für jeden Teil der Korrespondenztabelle ein Histogramm wie vorstehend beschrieben erstellt werden und schließlich das Histogramm-Bin ermittelt werden, das über alle Histogramme hinweg, die meisten Übereinstimmungen aufweist. Optional können mehrere Histogramme mit unterschiedlicher örtlicher Auflösung für eine Korrespondenztabelle bzw. für einen Teil der Korrespondenztabelle verwendet werden, wobei, wenn ein Histogramm-Bin für ein Histogramm mit niedriger Auflösung gefunden wurde, im nächsten Schritt ein Histogramm für die zugehörige Fläche/Länge mit höherer Auflösung verwendet wird. Die Histogramme können eindimensional und/oder zweidimensional sein. Beispielsweise ist bei einem Zwei-Schritt-Ansatz ein erstes Histogramm eindimensional und weist eine Auflösung von lm pro Histogramm- Bin auf und ein zweites Histogramm ist zweidimensional und weist eine
Auflösung von 1 cm x 1 cm pro Histogramm-Bin auf. Dies bietet die Vorteile, dass einerseits die verwendeten Histogramme wenig Speicherkapazität beanspruchen und andererseits der maximale Wert einfacher gefunden werden kann.
Wurde die Position des Fahrzeugs auf dem Schienensystem ermittelt, können folgende Schritte ausgeführt werden: Wird eine Positionsverfolgung ausgeführt, bei der bei bekannter Anfangsposition die jeweils nächste Position ermittelt wird - auch„Tracking“ genannt können die Referenzsignaturen für den Verglich bei der Ermittlung der nächsten Position auf diejenigen Referenzsignaturen eingeschränkt werden, die sich innerhalb des Suchfelds befinden, welches sich aus einem Suchbereich um die ermittelte Position oder um einen Suchbereich um die nächste Position ergibt. Durch die Einschränkung der Referenzsignaturen auf diejenigen, die sich innerhalb des Suchfelds befinden, kann der
Rechenaufwand und/oder die Speicherkapazität reduziert werden, da nicht das komplette virtuelle Schienensystem berücksichtigt werden muss.
Des Weiteren können für den Fall, dass die Position des Fahrzeugs auf dem Schienensystem ermittelt wurde, die Referenzsignaturen zumindest teilweise mit Hilfe der Arbeitssignaturen aktualisiert werden. Dadurch können
Referenzsignaturen von Merkmalen, die beispielsweise durch Alterung,
Abnutzung, Verschmutzung, Reifenabrieb, Flickstellen etc. verändert wurden, angepasst werden. Diese Aktualisierung erfolgt bevorzugt bereits dann, wenn noch eine Mehrzahl der anderen Referenzsignaturen auf eine Position weisen. Besonders bevorzugt erfolgt die Aktualisierung permanent während des Betriebs. Vorteilhafterweise werden die Referenzsignaturen bei der Aktualisierung nicht ersetzt, sondern mehrfach hinterlegt. Dadurch können unterschiedliche kurzfristige Zustände, wie z. B. ein trockener Zustand und ein nasser Zustand des Untergrunds, berücksichtigt werden. Um jedoch Referenzsignaturen, die tatsächlich durch obengenannte Effekte veraltet sind, zu löschen und damit den Speicher zu leeren, kann eine Zusatzinformation zu jeder Referenzsignatur vorgesehen sein, die geeignet ist, um veraltete Referenzsignaturen zu detektieren. Beispielsweise kann als Zusatzinformation ein Zähler pro in der Korrespondenztabelle gespeicherter Position vorgesehen sein, der erhöht wird, wenn an der ermittelten Position die Arbeitssignatur mit der Referenzsignatur übereinstimmt und die ermittelte Position mit der gespeicherten Position hinreichend genau übereinstimmt. Schließlich können in einem Aufräumvorgang diejenigen den Referenzsignaturen zugeordneten Positionen gelöscht werden, deren Zähler unterhalb einer Schwelle liegt. Bei den übrigen zugeordneten Positionen können die Zähler zurückgesetzt werden. Auf diese oder ähnliche Weise können auch mehrere Referenzsignaturen, die auf die gleiche Position weisen, reduziert oder zusammengefasst werden. Die Zähler können in der Korrespondenztabelle gespeichert werden. Dabei kann jeder in der
Korrespondenztabelle gespeicherten Position ein Zähler zugeordnet sein.
Gemäß einem Aspekt ist vorgesehen, dass, abhängig von der Position des Fahrzeugs auf dem virtuellen Schienensystem, Steuersignale für das Fahrzeug bereitgestellt werden, mit denen die Bewegung des Fahrzeugs gesteuert wird.
Mit den Steuersignalen können unter anderem der Antrieb und/oder die Lenkung des Fahrzeugs gesteuert werden. Dadurch ist es möglich, das Fahrzeug so zu bewegen, dass es auf dem virtuellen Schienensystem geführt wird.
Vorzugsweise sind Steuersignale für eine Querrichtung zum virtuellen
Schienensystem vorgesehen, welche eine Lenkung des Fahrzeugs steuern, und Steuersignale für eine Längsrichtung zum virtuellen Schienensystem
vorgesehen, welche den Antrieb des Fahrzeugs steuern.
Gemäß einem Aspekt ist vorgesehen, dass, abhängig von der Position des Fahrzeugs auf dem virtuellen Schienensystem, Steuersignale für das Fahrzeug bereitgestellt werden, mit denen zumindest ein Arbeitsgerät des Fahrzeugs gesteuert wird. Dadurch kann das Arbeitsgerät des Fahrzeugs an vorgegebenen Positionen in gewünschter Weise angesteuert werden und die vorgesehene Arbeit ausführen oder aussetzen. Als Beispiel für solch ein Arbeitsgerät soll ein Mähwerk eines Mähroboters dienen. Es können Bereiche vorgesehen sein, die nicht gemäht werden sollen, wie z. B. Blumenbeete oder Wege. Befindet sich der Mähroboter an einer Position außerhalb dieser Bereiche, so wird ein Steuersignal bereitgestellt, aufgrund dessen das Mähwerk in Betrieb ist. Fährt der Mähroboter an eine Position, die einem solchen Bereich zugeordnet ist - vorzugsweise über die Korrespondenztabelle - so wird ein Steuersignal bereitgestellt, durch das das Mähwerk abgeschaltet wird. Überdies kann mittels der Steuersignale z. B. die Drehzahl oder die Leistung des Mähwerks gesteuert werden.
Optional können Zusatzmerkmale in der Korrespondenztabelle abgespeichert werden. Zu diesen Zusatzmerkmalen gehören unter anderem:
Informationen über einen Kurvenradius, durch den zum einen eine Geschwindigkeit in der Kurve angepasst wird und zum anderen die Lenkung vorgesteuert wird;
empfohlene Geschwindigkeit und/oder Geschwindigkeitsbegrenzung; Informationen zum Umschalten zwischen Korrespondenztabellen oder Teilen der Korrespondenztabellen;
Wahl der Richtung bei einer Abzweigung;
Steuerung von Funktionen;
Steuerung von Arbeitsgeräten;
Informationen über das Ablegen der Referenzsignaturen bzw. der ihnen zugeordneten Positionen, wie z. B. Datum/Uhrzeit, trockener oder nasser Zustand, (Tages-)Licht oder Dunkelheit, weitere Umweltbedingungen.
Gemäß einem weiteren Aspekt kann eine Beleuchtungsvorrichtung des
Fahrzeugs, die dazu dient, den Untergrund unabhängig von der Umwelt
(Tageszeit, Wetter) in gleicher Weise zu beleuchten, mittels eines
Richtungssensors so angesteuert werden, dass die Beleuchtung oder die Beleuchtungsfarbe die beleuchtete Fläche aus einer vorbestimmten Richtung anstrahlt, und zwar unabhängig davon, welche Orientierung das Fahrzeug gerade bezüglich seiner Umgebung aufweist. Durch die Ausrichtung, wird der Untergrund immer auf dieselbe Weise aufgenommen. Durch die definierte Beleuchtungsrichtung ist auch der Bildinhalt des von der
Beleuchtungsvorrichtung aufgenommenen Bilds weitgehend unabhängig von der Orientierung des Fahrzeugs, da das Bild mittels dem Richtungssensor ausgerichtet werden kann.
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere, wenn es auf einem Rechengerät oder Steuergerät durchgeführt wird. Es ermöglicht die Implementierung des Verfahrens in einem herkömmlichen elektronischen Steuergerät, ohne hieran bauliche Veränderungen vornehmen zu müssen. Hierzu ist es auf dem maschinenlesbaren
Speichermedium gespeichert.
Durch Aufspielen des Computerprogramms auf ein herkömmliches
elektronisches Steuergerät, wird das elektronische Steuergerät erhalten, welches eingerichtet ist, das Fahrzeug entlang des virtuellen Schienensystems automatisch zu führen. Alternativ kann ein FPGA (Field Programmable Gate Array) oder eine ASIC (anwendungsspezifische integrierte Schaltung) eingerichtet sein, um das Verfahren zur automatischen Führung des Fahrzeugs entlang des virtuellen Schienensystems auszuführen. Des Weiteren wird ein Fahrzeug vorgeschlagen, das eine Erfassungsvorrichtung zum Erkennen von Merkmalen des Untergrunds aufweist und das eingerichtet ist, mit dem vorstehend erläuterten Verfahren entlang des virtuellen
Schienensystems automatisch geführt zu werden. Hierfür kann das Fahrzeug das vorstehend beschriebene elektronische Steuergerät aufweisen.
Im Folgenden werden drei Beispiele für das Fahrzeug und deren
Anwendungsbereich genannt. Das Fahrzeug kann ein Industrieroboter sein, der sich vorwiegend innerhalb von Industrieanlagen bewegt und dort autonom Tätigkeiten ausführt. Das Fahrzeug kann außerdem ein Transportroboter sein, der autonom Waren auf vorgebbaren Wegen, die dem virtuellen Schienensystem entsprechen, transportiert. Darüber hinaus kann das Fahrzeug ein Mähroboter sein, der autonom Rasen, Wiesen oder Grünanlagen mäht. Die Erfindung ist jedoch nicht auf die genannten Beispiele beschränkt.
Gemäß einem Aspekt weist die Erfassungsvorrichtung eine optische
Bilderfassungsvorrichtung, insbesondere eine Kamera oder ein Kamerasystem, auf, die ein Bild vom Untergrund aufnimmt. Die Merkmale können dann direkt aus dem aufgenommenen Bild erfasst werden. Demnach kann die optische Bilderfassungsvorrichtung für jegliche Art von Untergrund verwendet werden, bei dem die Merkmale optisch zu unterscheiden sind. Beispiele hierfür sind weiter oben aufgeführt. Vorteilhafterweise ist der Erfassungsbereich senkrecht nach unten auf den Untergrund gerichtet.
Vorzugsweise weist das Fahrzeug in diesem Fall eine Beleuchtungsvorrichtung auf, die der Bilderfassungsvorrichtung zugeordnet ist und den Bereich des Untergrunds, der von der Bilderfassungsvorrichtung erfasst wird, beleuchtet. Dabei kann die Beleuchtungsvorrichtung mehrere Lichtquellen mit
unterschiedlichen Farben aufweisen. Bevorzugt wird der Untergrund dann mit unterschiedlichen Farben aus unterschiedlichen Richtungen beleuchtet, sodass die Merkmale besser erkannt werden können. Vorzugsweise kann die
Beleuchtungsvorrichtung gepulst betrieben werden, um Bewegungsunschärfe im Bild zu vermeiden. Dabei können die Pulsdauer der Beleuchtungsvorrichtung und die Aufnahmedauer der Bilderfassungsvorrichtung synchronisiert werden. Des Weiteren bietet die optische Bilderfassungsvorrichtung den Vorteil, dass durch den Fokus bestimmte Schichten des Untergrunds zur Betrachtung ausgewählt werden können. Vorteilhafterweise wird für die optische
Bilderfassungsvorrichtung eine Kamera oder ein Kamerasystem mit geringem Tiefenschärfebereich verwendet, wobei die scharf abgebildete Schicht etwa in der Höhe liegt, auf der die Merkmale erfasst werden sollen. Störende Objekte außerhalb des Tiefenschärfebereichs werden unscharf abgebildet und werden daher nicht als Merkmale einbezogen. Solche störenden Objekte sind
beispielsweise Pflanzen.
Gemäß einem Aspekt weist die Erfassungsvorrichtung zumindest einen taktilen Sensor auf, der an jeder Position die Höhe und die Beschaffenheit, insbesondere die Nachgiebigkeit, des festen Untergrunds, von Ablagerungen auf dem
Untergrund und ähnlichem misst, indem der Sensor mit einer von diesen
Parametern abhängigen Kraft eingedrückt wird. Der taktile Sensor kann beispielsweise in Form eines Messfingers ausgebildet sein. Ein Stift wird mehrmals pro Sekunde auf und ab bewegt und trifft dabei mit geringer Kraft auf den festen Untergrund. Abhängig von der Höhe und der Beschaffenheit ändern sich der Hub und gegebenenfalls weitere Größen, wie z. B. Dämpfung,
Verzögerung oder entstehende Oberwellen. Alternativ kann der taktile Sensor beispielsweise in Form eines Messrads mit Feder ausgebildet sein. Das Messrad rollt mit geringer Kraft über den festen Untergrund. Abhängig von der Höhe und der Beschaffenheit des Untergrunds wird das Messrad gegen die Feder gedrückt. Optional können mehrere taktile Sensoren in einer Reihe senkrecht zur Bewegungsrichtung des Fahrzeugs über die Breite der Spur angeordnet sein.
Der taktile Sensor eignet sich für unebene Untergründe, bei denen sich die Höhe und/oder die Beschaffenheit abhängig von der Position in der Größenordnung des für die Bildung der Signaturen relevanten Bereichs (Schablone bzw.
Unterschablone) ändern. Als Beispiele hierfür sind vor allem Rasen, Wiesen und Grünflächen aber auch Felder und Äcker zu nennen. Da der taktile Sensor feste Untergründe erfasst, wird die Höhe der Grasnarbe gemessen und darauf wachsende Pflanzen werden nicht wahrgenommen.
Gemäß einem Aspekt weist die Erfassungsvorrichtung zumindest einen
Luftimpulssensor oder einen Luftstausensor, auch Bodeneffekt-Sensor genannt, auf. Aus einer Öffnung wird Luft (oder anderes Gas) in Richtung des Untergrunds, vorzugsweise senkrecht nach unten, ausgestoßen. Dies kann sowohl impulsartig als auch stetig erfolgen. Die Luft entweicht dann abhängig von der Höhe und der Beschaffenheit des Untergrunds, von Ablagerungen auf dem Untergrund und ähnlichem. Davon abhängig entsteht eine Gegenkraft, die vom Luftimpulssensor bzw. Luftstausensor mittels eines Gegenkraft-Sensors gemessen wird und aus der die Höhe und die Beschaffenheit des Untergrunds, der Ablagerungen auf dem Untergrund und ähnlichem des Untergrunds ermittelt werden. Optional können mehrere Luftimpulssensoren oder Luftstausensoren in einer Reihe senkrecht zur Bewegungsrichtung über die Breite der Spur angeordnet sein. Der Luftimpulssensor bzw. Luftstausensor eignet sich für unebene Untergründe, bei denen sich die Höhe und/oder die Beschaffenheit abhängig von der Position in der Größenordnung des für die Bildung der Signaturen relevanten Bereichs (Schablone bzw. Unterschablone) ändern. Als Beispiele hierfür sind vor allem Rasen, Wiesen und Grünflächen aber auch Felder und Äcker zu nennen. Bei Rasen, Wiesen und Grünflächen ist die Öffnung, aus der Luft in Richtung des Untergrunds ausgestoßen wird, vorzugsweise in so einer Höhe angeordnet, dass die Luft direkt auf die
Grasnarbe trifft und nicht auf die Pflanzen.
Die Erfassungsvorrichtung kann alternativ oder zusätzlich weitere Sensoren aufweisen. Die nachfolgend beschriebenen Sensoren messen ebenfalls jeweils die Höhe des Untergrunds und erzeugen ein Tiefenbild des Untergrunds. Es können zum Beispiel Schall-Sensoren, insbesondere Ultraschall-Sensoren vorgesehen sein. Als weiteres Beispiel können elektromagnetische Sensoren vorgesehen sein, wie z. B. ein Ultra-Breitband-Sensor oder ein Radar-Sensor. Letzterer kann eine Eindringtiefe im Zentimeterbereich in den Untergrund aufweisen. Insbesondere kann ein bildgebendes Verfahren z. B. auf Basis von eines Sensor- Arrays oder einer Sensor- Reihe verwendet werden. Die genannten Sensoren sind insbesondere für unebenen Untergrund, vor allem für Rasen, Wiesen und Grünflächen geeignet. Der Schall bzw. die elektromagnetischen Wellen durchdringen die Pflanzen und ein Tiefenbild der Grasnarbe kann aufgenommen werden.
Gemäß einem Aspekt kann das Fahrzeug einen Richtungssensor aufweisen, mittels dem die Referenzsignale und die Arbeitssignale ausgerichtet werden können. Dies führt zu Vorteilen bei der Selbstlokalisation in Bezug auf die Übereinstimmung der Arbeitssignaturen und der Referenzsignaturen. Des Weiteren kann im Zusammenhang mit sich kreuzenden virtuellen Schienen diejenige, die zur Weiterfahrt in die gewünschte Richtung geeignet ist, ausgewählt werden.
Gemäß einem weiteren Aspekt kann der Richtungssensor dazu genutzt werden, die Beleuchtungsvorrichtung so anzusteuern, dass die Beleuchtung oder die Beleuchtungsfarbe die beleuchtete Fläche aus einer vorbestimmten Richtung anstrahlt, und zwar unabhängig davon, welche Orientierung das Fahrzeug gerade bezüglich seiner Umgebung aufweist.
Das virtuelle Schienensystem kann neben zumindest einer virtuellen Schiene unterschiedliche virtuelle Komponenten aufweisen, wie z. B. Abzweigungen, Weichen, Kreuzungen, T-Stücke, Abstellpositionen, Ausweichpositionen usw. Dadurch wird das Fahrzeug auf dem virtuellen Schienensystem ähnlich wie bei einem realen Schienensystem, z. B. für Züge, geführt.
Das virtuelle Schienensystem ist an sich zumindest für Menschen nicht sichtbar bzw. von der Umgebung unterscheidbar. Es kann vorgesehen sein, dass sichtbare Markierungen an den realen Orten des virtuellen Schienensystems angebracht werden. Durch die sichtbaren Markierungen wird Menschen verdeutlicht, dass in diesem Bereich ein virtuelles Schienensystem vorhanden ist und dementsprechend mit selbstfahrenden Fahrzeugen zu rechnen ist. Im Falle von selbstfahrenden Kraftfahrzeugen kann dies signalisieren, dass der Fahrer auf automatisiertes Fahren umstellen kann. Es gibt viele Möglichkeiten, solche sichtbaren Markierungen zu realisieren. Als Beispiele sollen das Anbringen von Farbpunkten, ein Einstreuen von Farbchips, Streifen mit anderem Muster oder anderer Farbe, insbesondere bei Teppichböden, neben vielen weiteren
Möglichkeiten genannt werden.
Gleichzeitig kann durch das Anbringen solcher sichtbaren Markierungen auch die Bildung von geeigneten Signaturen unterstützt werden, beispielsweise wenn auf einen an sich texturlosen oder texturarmen Boden dort Farbstreifen mit eingestreuten Farbchips aufgebracht werden, wo das virtuelle Schienensystem eingesetzt werden soll. Kurze Beschreibung der Zeichnungen
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
Figur 1 zeigt eine Querschnittsansicht eines Fahrzeugs gemäß einem
Ausführungsbeispiel der Erfindung.
Figur 2 zeigt eine Schrägansicht eines Fahrzeugs gemäß einem weiteren Ausführungsbeispiel der Erfindung.
Figur 3 zeigt eine Ansicht von unten auf das Fahrzeug gemäß Figur 1 auf einer virtuellen Schiene.
Figur 4 zeigt eine Ansicht von unten auf ein Fahrzeug gemäß einem weiteren Ausführungsbeispiel der Erfindung, das als Mähroboter ausgebildet ist.
Figur 5 zeigt eine schematische Darstellung eines taktilen Sensors in Form eines Messfingers.
Figur 6 zeigt eine schematische Darstellung eines taktilen Sensors in Form eines Messrads.
Figur 7 zeigt eine schematische Darstellung einer Anordnung von mehreren taktilen Sensoren aus Figur 5.
Figur 8 zeigt eine schematische Darstellung eines Luftstausensors.
Figur 9 zeigt eine schematische Darstellung einer Anordnung von mehreren Luftstausensoren aus Figur 8.
Figur 10 zeigt eine schematische Querschnittsansicht auf eine optische
Bilderfassungsvorrichtung. Figur 11 zeigt eine schematische Darstellung von aufgenommenen Sensorsignal- Messpunkten, eine Merkmalsbildung und Arbeitssignaturen gemäß einer Ausführungsform der Erfindung. Figur 12 zeigt eine schematische Darstellung des virtuellen Schienensystems, mehrere Erfassungsbereiche und eine gemeinsame Merkmalsbildung gemäß einer Ausführungsform der Erfindung.
Figur 13 zeigt eine Korrespondenztabelle gemäß einer Ausführungsform der Erfindung.
Figur 14 zeigt eine schematische Darstellung von Arbeitssignaturen und
Referenzsignaturen und Übereinstimmungen der beiden gemäß einer
Ausführungsform der Erfindung.
Ausführungsbeispiele der Erfindung
In den Figuren 1 bis 3 sind unterschiedliche Ansichten von Fahrzeugen 1 gemäß zweier Ausführungsformen der Erfindung dargestellt. Das Fahrzeug 1 kann beispielsweise als Industrieroboter oder als Transportroboter eingesetzt werden. Das Fahrzeug 1 bewegt sich auf einem Untergrund 2 entlang einem virtuellen Schienensystem 3 (in Figur 1 nicht gezeigt). Das virtuelle Schienensystem 3 stellt z. B. Fahr- oder Transportwege dar, entlang denen sich das Fahrzeug 1 bewegt. Die Fahrzeuge 1 weisen jeweils eine Bilderfassungsvorrichtung 4, z. B. eine Kamera, und eine Beleuchtungsvorrichtung 5 auf, die mit einem elektronischen Steuergerät 20 verbunden sind. Die Bilderfassungsvorrichtung 4 kann einen oder mehrere der folgenden Sensoren umfassen: ein monokularer Bildsensor;
ein eindimensionaler Zeilensensor, der quer zur Bewegungsrichtung des Fahrzeugs 1 angeordnet ist bzw. eine Erfassung quer zur
Bewegungsrichtung vornimmt; die zweite Dimension wird durch die Bewegung des Fahrzeugs 1 erhalten;
ein konventioneller Bildsensor, der ein zweidimensionales Sensorsignal liefert, entweder in Graustufen oder als Farbbild; dieser wird idealerweise mit kurzer Belichtungszeit und kleiner Blendenzahl (das heißt eine große Blendenöffnung) betrieben, damit gleichzeitig eine geringe
Bewegungsunschärfe während der Fahrt und eine ausreichende
Lichtausbeute erreicht werden;
ein Entfernung messender Sensor, z.B. basierend auf Ultraschall, Radar oder Lichtlaufzeitmessung oder eine Stereokamera oder eine
strukturierte Beleuchtung mit Kamera
ein Orientierung messender Sensor, z. B. basierend auf einer
monokularen Kamera und einer mehrfarbigen Beleuchtung, durch welche die Oberflächenorientierung festgestellt werden kann und z.B. als Bild von Normalenvektoren bereitgestellt werden kann.
Die Bilderfassungsvorrichtung 4 weist einen Erfassungsbereich 6 für Merkmale (nicht näher dargestellt) des Untergrunds 2 auf. Für die Anordnung der
Bilderfassungsvorrichtung 4 bzw. des Sensors existieren verschiedene
Möglichkeiten. Bei einem drei- oder vier-rädrigen Fahrzeug 1 mit Achsschenkellenkung ist die Bilderfassungsvorrichtung 4 an der nicht gelenkten Achse mittig angeordnet. Bei Allradlenkung, Panzerlenkung oder Knicklenkung ist die Bilderfassungsvorrichtung 4 nahe der Mitte des Fahrzeugs 1 angeordnet. Dadurch wird bei einem Lenkmanöver ein möglichst geringer Versatz des Erfassungsbereichs 6 bezüglich der virtuellen Schiene erreicht.
In Figur 1 ist eine Ausführungsform der Erfindung gezeigt, in der die
Bilderfassungsvorrichtung 4 unterhalb des Fahrzeugs 1 angeordnet ist. Dabei ist die Bilderfassungsvorrichtung 4 in Richtung des Inneren des Fahrzeugs 1 versetzt, um einerseits einen größeren Erfassungsbereich 6 zu erreichen und andererseits die Bilderfassungsvorrichtung 4 vor Schmutz, Abrieb usw. zu schützen. Des Weiteren haben ein unterschiedlicher Sonnenstand und/oder Regen keinen direkten Einfluss auf die Bilderfassung bzw. die
Bilderfassungsvorrichtung 4. Die Beleuchtungsvorrichtung 5 ist ringförmig um die Bilderfassungsvorrichtung 4 herum angeordnet und beleuchtet zumindest den Erfassungsbereich 6. Zudem umfasst das Fahrzeug 1 einen Richtungssensor 9, der ebenfalls mit dem elektronischen Steuergerät 20 verbunden ist, mit der die Orientierung des Fahrzeugs 1 bezüglich des Untergrunds 2 ermittelt werden kann. Die Beleuchtungsrichtung der Beleuchtungsvorrichtung 5 wird in
Abhängigkeit der vom Richtungssensor 9 ermittelten Orientierung des Fahrzeugs 1 gesteuert.
In Figur 2 ist eine weitere Ausführungsform der Erfindung gezeigt, bei der die Bilderfassungsvorrichtung 4 an der Vorderseite des Fahrzeugs 1 in Fahrtrichtung angeordnet ist. Die Bilderfassungsvorrichtung 4 kann hierbei zusätzlich für eine Kollisionsvermeidung eingesetzt werden, wobei der Erfassungsbereich 7 für die Kollisionsvermeidung größer ausgelegt ist, als der Erfassungsbereich 6 für die Merkmale des Untergrunds 2. Die Beleuchtungsvorrichtung 5 ist ebenfalls an der Vorderseite des Fahrzeugs 1 angeordnet und beleuchtet zumindest den
Erfassungsbereich 6 für die Merkmale.
Figur 3 zeigt eine Ansicht von unten auf das Fahrzeug aus Figur 1 , bei der die Bilderfassungsvorrichtung 4 mittig unterhalb des Fahrzeugs 1 angeordnet ist, wobei sich das Fahrzeug 1 auf dem virtuellen Schienensystem 3 bewegt. Die Beleuchtungsvorrichtung 5 umfasst mehrere Leuchtmodule 8, die aus unterschiedlichen Richtungen Licht mit verschiedener Farbe (hier vier unterschiedliche Farben) aussenden. Damit lassen sich auch in schwach texturierten, aber strukturierten Oberflächen Merkmale unterscheiden. Die Beleuchtungsvorrichtung 5 ist drehbar ausgeführt, entweder mechanisch drehbar oder elektronisch drehbar durch Nutzung von mehrfarbigen Leuchtmodulen 8. Durch die Nutzung des Richtungssensors 9 zur Steuerung der Drehung der Beleuchtungsvorrichtung 5 wird sichergestellt, dass die Beleuchtungsrichtung für die jeweilige Farbe unabhängig ist von der aktuellen Orientierung des Fahrzeugs bezüglich seiner Umgebung oder bezüglich der Orientierung des virtuellen Schienensystems 3 an der Position des Fahrzeugs 1.
Des Weiteren kann die Beleuchtungsvorrichtung 5 gepulst betrieben werden, um Bewegungsunschärfe im Bild zu vermeiden. Dabei sind die Pulsdauer der Beleuchtungsvorrichtung 5 und die Aufnahmedauer der
Bilderfassungsvorrichtung 4 synchronisiert. Ebenfalls in Figur 3 ist dargestellt, dass das virtuelle Schienensystem 3 neben zumindest einer virtuellen Schiene 10 eine Weiche 1 1 aufweist. Ebenso sind hier nicht näher gezeigte
Abzweigungen, Kreuzungen, T-Stücke, Abstellpositionen, Ausweichpositionen usw. möglich. Das virtuelle Schienensystem 3 kann für den Menschen sichtbar gemacht werden, indem der Untergrund 2 mittels unterschiedlicher Farben und/oder Formen gekennzeichnet wird.
Figur 4 zeigt eine Ansicht von unten auf ein Fahrzeug 1 gemäß einer weiteren Ausführungsform der Erfindung, bei der das Fahrzeug 1 als Mähroboter ausgebildet ist. Das Fahrzeug 1 weist ein Arbeitsgerät in Form eines Mähwerks 21 auf, welches an der Unterseite des Fahrzeugs 1 angeordnet ist. Das
Fahrzeug 1 bewegt sich auf dem virtuellen Schienensystem 3, wobei das virtuelle Schienensystem 3 Bahnen darstellt, entlang denen der Mähroboter mäht. In Figur 4 ist zudem eine Sensorvorrichtung 22 vorgesehen, die sich von der in den Figuren 1 bis 3 beschriebenen Bilderfassungsvorrichtung 4 unterscheidet. Wie in Figur 10 gezeigt und in Zusammenhang damit beschrieben, kann auch eine optische Bilderfassungsvorrichtung 4 wie in den Figuren 1 bis 3 dargestellt, für den Mähroboter verwendet werden. Die in der Sensorvorrichtung 22
verwendeten Sensoren werden nachfolgend beschrieben.
Figur 5 zeigt eine erste Ausführung eines taktilen Sensors 23, der in Form eines Messfingers ausgebildet ist. Ein Stift 24 ist in einem Gehäuse 25 angeordnet und steht aus diesem hervor. Innerhalb des Gehäuses 25 ist eine nicht gezeigte Antriebsvorrichtung vorgesehen, die den Stift 24 mehrmals pro Sekunde auf und ab bewegt. Dabei trifft ein Ende des Stifts 24 mit geringer Kraft auf den festen Untergrund 2. Abhängig von der Höhe und Nachgiebigkeit des Untergrunds 2 ändern sich der Hub und gegebenenfalls weitere Größen, wie z. B. Dämpfung, Verzögerung oder entstehende Oberwellen.
Figur 6 zeigt eine zweite Ausführung eines taktilen Sensors 26 in Form eines Messrads. Das Messrad 27 rollt mit geringer Kraft über den festen Untergrund 2. Abhängig von der Höhe und Nachgiebigkeit des Untergrunds ändert sich die Lage des Messrads 27 und über eine Aufhängungsstange 28 wird eine Feder 29 gedrückt. Durch den Ausschlag der Aufhängungsstange 28 an der Feder 29 wird auf die Höhe des Untergrunds 2 geschlossen, beispielsweise mittels eines Federwegsensors.
Figur 7 zeigt eine Anordnung mehrerer taktiler Sensoren 23 gemäß der ersten Ausführungsform aus Figur 5 für die Verwendung bei Rasen als Untergrund 2. Graspflanzen 30 wachsen auf der Grasnarbe 31, die den Übergang zum festen Erdboden repräsentiert, wobei sich die Wurzeln der Graspflanzen 30 in der Grasnarbe 31 befinden. Das Wachstum dieser Graspflanzen 30 verändert die Merkmale in kurzer Zeit, insbesondere zwischen zwei Mähzyklen. Daher sollen die Graspflanzen 30 (generell alle Pflanzen) bei der Erfassung der Merkmale nicht wahrgenommen werden. Die taktilen Sensoren 23 sind in einer Reihe senkrecht zur Bewegungsrichtung des Fahrzeugs 1 angeordnet und zwar derart, dass der Stift 24 den festen Erdboden bzw. die Grasnarbe 31 erreicht. Es werden folglich nur Merkmale des Erdbodens, Ablagerungen, wie z. B. Steine, und quasipermanente Teile der Graspflanzen (generell aller Pflanzen), wie z. B. Wurzeln, erfasst. Durch die Bewegung des Fahrzeugs 1 wird die Messung der eindimensionalen Sensorvorrichtung 22 in eine zweidimensionale Messung erweitert. Die Anordnung kann auch auf taktile Sensoren 26 gemäß der zweiten Ausführung übertragen werden. Mehrere Messräder 27 sind dann in einer Reihe senkrecht zur Bewegungsrichtung des Fahrzeugs 1 angeordnet und rollen in die Bewegungsrichtung über die Grasnarbe 31.
Figur 8 zeigt eine Ausführung eines Luftstausensors 32, der ebenfalls in der Sensorvorrichtung 22 verwendet werden kann. Aus einer Öffnung 33 an der Unterseite des Luftstausensors 32 wird Luft senkrecht nach unten in Richtung des Untergrunds 2 (vgl. Figur 9) ausgestoßen. Dies kann sowohl impulsartig als auch stetig erfolgen. Die Luft entweicht dann abhängig von der Höhe und der Beschaffenheit des Untergrunds 2, von Ablagerungen, wie z. B. Steine, auf dem Untergrund 2 und ähnlichem. Davon abhängig entsteht eine Gegenkraft, die mittels eines Gegenkraft-Sensors 34 gemessen wird und aus der die Merkmale des Untergrunds 2 ermittelt werden.
Figur 9 zeigt eine Anordnung mehrerer Luftstausensoren 32 gemäß der
Ausführungsform aus Figur 8 für die Verwendung bei Rasen als Untergrund 2.
Die Luftstausensoren 32 sind in einer Reihe senkrecht zur Bewegungsrichtung des Fahrzeugs 1 angeordnet. Dabei ist die Öffnung 33, aus der Luft in Richtung des Untergrunds 2 ausgestoßen wird, in einer Höhe angeordnet, die innerhalb der Ebene der Pflanzen 30 liegt, sodass die Luft direkt auf die Grasnarbe 31 trifft.
Wie bereits beschrieben kann die Sensorvorrichtung 22 in weiteren
Ausführungsformen weitere Sensoren aufweisen. Es können zum Beispiel Schall-Sensoren, insbesondere Ultraschall-Sensoren vorgesehen sein. Als weiteres Beispiel können elektromagnetische Sensoren vorgesehen sein, wie z. B. ein Ultra-Breitband-Sensor oder ein Radar-Sensor. Diese können ebenfalls in einer Reihe senkrecht zur Bewegungsrichtung des Fahrzeugs 1 oder in Form eines Arrays angeordnet sein. Der Schall bzw. die elektromagnetischen Wellen durchdringen die Graspflanzen 30 und ein Tiefenbild der Grasnarbe 31 kann aufgenommen werden.
Figur 10 zeigt eine besondere Weiterbildung der optischen
Bilderfassungsvorrichtung 4 gemäß der ersten Ausführungsform des Fahrzeugs 1 aus Figur 1 und 3 bei der Anwendung als Mähroboter für Rasen, Wiesen oder Grünflächen. Da das Wachstum dieser Graspflanzen 30 die Merkmale in kurzer Zeit, insbesondere zwischen zwei Mähzyklen, verändert, sollen die Graspflanzen 30 (generell alle Pflanzen) bei der Erfassung der Merkmale nicht wahrgenommen werden. Bei der an der Unterseite des Fahrzeugs 1 angeordneten optischen Bilderfassungsvorrichtung 4, deren Erfassungsbereich 6 senkrecht nach unten auf dem Untergrund 2 liegt (vgl. Figur 1), und bedingt auch bei der an der Vorderseite des Fahrzeugs 1 anordneten optischen Bilderfassungsvorrichtung 4 (vgl. Figur 2), kann eine Kamera mit einem geringen Tiefenschärfebereich verwendet werden. Die optische Bilderfassungsvorrichtung 4 fokussiert dann auf einen engen Bereich 33 um die Grasnarbe 31 herum. Dadurch werden die Graspflanzen 30 zum Teil nicht wahrgenommen. Auch hier kann die bereits beschriebene Beleuchtungsvorrichtung 5 verwendet werden.
In Figur 11 ist dargestellt, wie aus einem zweidimensionalen Sensorsignal der Bilderfassungsvorrichtung 4 Merkmale gewonnen werden und Signaturen gebildet werden. Signal-Messpunkte 12 repräsentieren die von der
Bilderfassungsvorrichtung 4 erfassten Messwerte, das heißt z. B. Grauwerte, Abstandswerte oder Höhenwerte, oder Messvektoren, das heißt z. B.
Farbvektoren oder Normalenvektoren, oder eine Kombination zwischen
Messwerten und/ Messvektoren. Die Signal-Messpunkte 12 bilden einen in Figur 1 1 gezeigten Streifen, der einen Ausschnitt des virtuellen Schienensystems 3 darstellt. Das hier nicht dargestellte Fahrzeug 1 soll sich in Richtung des Pfeils 13 von unten nach oben bewegen. Auch wenn die nachfolgend erläuterten Schritte an jeder Position des Fahrzeugs 1 durchgeführt werden, sind diese getrennt voneinander einzeln dargestellt. Um der Abfolge der Schritte folgen zu können, soll die Figur 11 von unten nach oben gelesen werden. Die Signal- Messpunkte 12 werden in der Regel nicht zeitgleich aufgenommen, sondern zeitlich fortlaufend mit der Bewegung des Fahrzeugs 1. Der horizontale Abstand und der vertikale Abstand der Signal-Messpunkte 12 untereinander sind in diesem Ausführungsbeispiel als ungefähr gleich dargestellt, sie können aber in anderen Ausführungsbeispielen auch unterschiedlich sein. Die Breite einer von der Bilderfassungsvorrichtung 4 erfassten Spur 14 kann von der Breite des Fahrzeugs 1 oder von der Breite der Bilderfassungsvorrichtung 4 oder der Ausdehnung des Erfassungsbereichs 6 für die Merkmale limitiert sein. In der Figur 11 umfasst die Spur 14 in diesem Ausführungsbeispiel 25 Signal- Messpunkte 12. In der Praxis ist die Zahl der Signal-Messpunkte 12 deutlich höher. Bevorzugt entspricht ein Signal-Messpunkt 12 einem Bildpunkt (Pixel).
In weitere Ausführungsbeispielen kann in analoger Weise aus einem
zweidimensionalen Sensorsignal der Sensorvorrichtung 22 Merkmale gewonnen werden und Signaturen gebildet werden. Bevorzugt entspricht dann ein Signal- Messpunkt 12 einem Sensor-Messwert. In diesem Ausführungsbeispiel ist eine Schablone 15 gezeigt, innerhalb der aus den Signal-Messpunkten 12 Merkmale gewonnen werden. Die Schablone 15 erstreckt sich über eine zweidimensionale Fläche, die eine Vielzahl von Signal- Messpunkten 12 umfasst. Diese Schablone 15 muss nicht die gesamte Breite der Spur 14 abdecken. In diesem Ausführungsbeispiel deckt sie knapp die Hälfte der Spur 14 ab, könnte in anderen Ausführungsbeispielen auch mehr oder weniger abdecken. Die Schablone 15 hat hier eine achteckige Form, aber auch andere Formen sind möglich, wie z. B. Kreis, Ellipse, Oval, Quadrat, Rechteck, Polygon oder Linie. Innerhalb der Schablone 15 ist eine Anzahl von Unterschablonen 16 vorgesehen, die hier als 37 Kreise dargestellt sind. Auch hier sind andere Formen und/oder andere Anzahlen möglich. Diese Unterschablonen 16 sind hier nichtüberlappend in der Schablone 15 angeordnet und füllen diese weitgehend aus. In anderen Ausführungsbeispielen sind die Unterschablonen 16
überlappend angeordnet. Für jede Unterschablone 16 wird aus den Werten und/oder den Vektoren der Signal-Messpunkte 12, die zumindest teilweise von der jeweiligen Unterschablone 16 abgedeckt werden oder sich in deren Umfeld befinden, ein Unterschablonen-Messwert oder -vektor gebildet. Beispielsweise wird eine gewichtete Mittelung über die Werte und/oder die Vektoren von den vier nächsten Signal-Messpunkten 12 gebildet, wobei die Gewichte z.B. in Abhängigkeit vom Abstand zwischen Signal-Messpunkte 12 und dem Zentrum der Unterschablone 16 gewählt werden und die Summe der Gewichte 1 ist.
Dieser Schritt kann auch als Interpolationsschritt aufgefasst werden.
Es ist auch ein ungültiger Wert/Vektor für die Unterschablone 16 vorgesehen, der bei defekter Bilderfassungseinheit 4, insbesondere bei defekten Pixeln oder nicht-plausiblem Sensorsignal eingesetzt wird oder dort, wo ein Messwert/-vektor fehlt, weil die Schablone 15 aus der Spur 14 hinausragt. Für diesen ungültigen Wert/Vektor wird das Gewicht zu Null gewählt, damit der ungültige Wert nicht berücksichtigt wird.
Sobald für die Schablone 15 die Unterschablonen-Messwerte bzw.-vektoren zur Verfügung stehen, wird in diesem Ausführungsbeispiel eine Vorverarbeitung der Unterschablonen-Messwerte/-vektoren durchgeführt, z.B. eine Normierung oder ein„Ausbalancieren" der Daten. Diese Vorverarbeitung dient dazu, das Bild geometrisch zu entzerren (z. B. mit einer Homographie-Abbildung), so dass es anschließend einer frontparallelen projektiven Abbildung des Untergrunds 2 entspricht. Dadurch wird eine gegebenenfalls vorhandene Schiefstellung des Fahrzeugs bezüglich des Untergrunds 2 ausgeglichen. Falls der Abstand der Bilderfassungseinheit 4 zum Untergrund 2 veränderlich ist und eine nicht telezentrische Optik verwendet wird, kann es von Vorteil sein, das Bild von Signal-Messpunkten 12 oder die Schablone 15 entsprechend zu skalieren, um den Abstandsunterschied auszugleichen und somit sicherzustellen, dass die gebildeten Signaturen nicht vom Abstand abhängen. Dabei kann zur Ermittlung des Abstands jede Art der Höhenstandssensorik verwendet werden.
Anschließend wird aus den vorverarbeiteten Unterschablonen-Messwerten/- Vektoren ein Merkmal gebildet, das charakteristisch für die Position sein soll. Dieses Merkmal kann beispielsweise ein Vektor von Zahlen sein, wobei jede Zahl ein Untermerkmal darstellt, das z. B. Ergebnis einer Faltung oder Filterung eines Signalausschnitts mit einem Wavelet ist. Dabei werden insbesondere
unterschiedliche Wavelets verwendet und der Ausschnitt z. B. in seiner Größe variiert. Nachfolgend sind zwei Beispiele aus einer Vielzahl von Möglichkeiten für die dem Fachmann prinzipiell bekannte Bildung von solchen Untermerkmalen dargestellt:
Eine Faltung des Bildausschnitts von Grauwerten mit einem Wavelet, das eine geglättete zweite Ableitung in eine vorbestimmte Richtung (abhängig vom Richtungssensor 9 oder unabhängig davon mit festem Bezug zum Fahrzeugkoordinatensystem) durchführt.
Eine Faltung eines ersten Farbkanals mit einem ersten Wavelet, das eine geglättete erste Ableitung in eine erste vorbestimmte Richtung durchführt und eine Faltung eines zweiten Farbkanals mit einem zweiten Wavelet, das eine geglättete erste Ableitung in eine zweite vorbestimmte Richtung durchführt und schließlich eine Differenzbildung der Ergebnisse der beiden Faltungen.
Die Bildung der Merkmale ist (abgesehen von der Vorverarbeitung) ortsinvariant, d. h. sie kann an jeder Position auf gleiche Weise durchgeführt werden.
Es sind 5 überlappende Schablonen 15a-e gezeigt, aus deren zugehörigen Merkmalen schließlich Signaturen E, L, J, G oder D gebildet werden. Zum
Beispiel kann dies eine 16 Bit breite Signatur E, L, J, G oder D sein, wobei die 16 Binärwerte einzeln berechnet werden können, z.B. durch 16 unterschiedliche, gewichtete Verknüpfungen der 37 Unterschablonen-Werte/-Vektoren, jeweils gefolgt von einer Schwellwertentscheidung. Dadurch sind 216 Möglichkeiten gegeben, unterschiedliche Positionen über die Signaturen auszudrücken. Die Festlegung der gewichteten Verknüpfungen und der zugehörigen Schwellwerte wird z.B. von einem Anwender oder von einem neuronalen Netzwerk anhand von Trainingsdaten vorgenommen und kann auch während des Betriebs automatisch angepasst werden, um sich an unterschiedliche Untergründe 2 zu adaptieren. Es können auch aus einem Merkmal mehrere Signaturen E, L, J, G oder D gebildet werden oder eine Signatur E, L, J, G oder D aus mehreren Merkmalen gebildet werden oder mehrere Signaturen E, L, J, G oder D aus mehreren Merkmalen gebildet werden.
Jede Signatur E, L, J, G oder D ist einer Position zugeordnet, z.B. dem Zentrum der Schablone 15a-e, aus der die Signatur gebildet wurde. Da hier parallel 5 Schablonen 15a-e ausgewertet werden, entstehen als Ergebnis 5 Signaturen E, L, J, G und D, die 5 benachbarten Positionen zugeordnet sind. Die Position kann mit Koordinaten beschrieben werden, einer Koordinate x quer zum virtuellen Schienensystem 3, die positive und negative Vorzeichen hat und bei der der Wert Null der Mitte des virtuellen Schienensystems 3 entspricht, sowie einer Koordinate s, die längs des virtuellen Schienensystems 3 verläuft und am Anfangspunkt bei null beginnt. Hier gilt es zu beachten, dass das virtuelle Schienensystem 3 gekrümmt sein kann. Die Skalierungen der beiden
Koordinaten x und s können dabei unterschiedlich sein und metrisch oder in Abhängigkeit der Bilderfassungsvorrichtung 4 (z. B. Pixel), bzw. in weiteren Ausführungsbeispielen in Abhängigkeit der Sensorvorrichtung 22, gebildet werden. Dieses Bilden der Signaturen E, L, J, G und D wird immer wieder neu durchgeführt, nachdem sich das Fahrzeug 1 ein Stück weiterbewegt hat. Es entsteht somit ein Streifen 17 von aufgrund des zufälligen Untergrunds im Allgemeinen unterschiedlichen Signaturen, die hier nur mit S bezeichnet sind.
Der Bereich 18 schließt Signaturen ein, die gemeinsam betrachtet werden, um eine Position zu ermitteln. In der Figur 6 wird auf diese unterschiedlichen Signaturen detaillierter eingegangen.
In Figur 12 ist dargestellt, dass, wenn die Merkmale bei hintereinander ablaufenden Messungen, die hier durch zwei Erfassungsbereiche 6a und 6b gekennzeichnet sind, wobei 6a einer ersten Messung und 6b einer zweiten Messung zugeordnet ist, erfasst werden, sich die Schablone 15 im
Überlappungsbereich der beiden Erfassungsbereiche 6a und 6b befindet.
Dementsprechend werden die Signal-Messpunkte 12 aus beiden Messungen zur Bildung der Merkmale herangezogen. Die daraus gebildeten Signaturen weisen dann eine Redundanz auf, die sinnvoll sein kann, wenn sich die Merkmale je nach Position des Fahrzeugs 1 verändern (auch wenn eigentlich davon ausgegangen wird, dass dies nicht der Fall ist).
In Figur 13 ist eine Korrespondenztabelle gezeigt. Referenzsignaturen A - O, die wie in Zusammenhang mit Figur 1 1 beschrieben während einer Anlernfahrt des Fahrzeugs 1 erstellt wurden, sind entsprechende Positionen zugewiesen. Diese Zuordnung zwischen der Referenzsignatur A - O und der Position wird in die Korrespondenztabelle eingetragen. Bei der Zuordnung der Koordinaten werte (x, s) zur Referenzsignatur A - O führt die gleiche Position bei der Bildung der Signatur A - O auch zur gleichen Ortsangabe (x, s). Hierzu kann es notwendig sein, die Koordinate im 2-dimensionalen Sensorsignal - z.B. die Bildkoordinate des Mittelpunkts der Schablone 15 - zu berücksichtigen. Jede so gebildete Position (x, s) entspricht einer Position auf dem virtuellen Schienensystem.
Hierbei dient die Signatur lediglich zur einmaligen Bestimmung der Adresse in der Korrespondenztabelle. An dieser Adresse wird die Position gespeichert. Die Signatur selbst wird also nicht abgespeichert. Die Signaturen können mehrfach auftreten, wobei die Wahrscheinlichkeit, dass eine Signatur mehrfach auftritt, mit der (in der Korrespondenztabelle) gespeicherten Strecke und mit der Breite des Streifens 17 steigt. In der Korrespondenztabelle werden mehrere Positionen pro Tabellenfeld abgelegt. Dabei kann pro Tabellenfeld eine Menge an Speicher fest zugeordnet sein oder in anderen Ausführungsbeispielen der verfügbare Speicher flexibel unter den Tabellenfeldern verteilt werden - z. B. mittels dynamischer Listen.
In der Korrespondenztabelle können hier nicht gezeigte Zusatzmerkmale abgespeichert werden. Zu diesen Zusatzmerkmalen gehören unter anderem:
Informationen über einen Kurvenradius, durch den zum einen eine
Geschwindigkeit in der Kurve angepasst wird und zum anderen die
Lenkung vorgesteuert wird; empfohlene Geschwindigkeit und/oder Geschwindigkeitsbegrenzung; Informationen zum Umschalten zwischen Korrespondenztabellen oder Teilen der Korrespondenztabellen;
Wahl der Richtung bei einer Abzweigung;
Steuerung von Funktionen;
Informationen über das Ablegen der Referenzsignaturen A - O, wie z. B. Datum/Uhrzeit, trockener oder nasser Zustand, (Tages-)Licht oder Dunkelheit, weitere Umweltbedingungen.
Die Figur 14 veranschaulicht das Vorgehen bei der Lokalisation gemäß eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens anhand einer schematischen Darstellung. Die Referenzsignaturen A - O sind bereits durch die Anlernfahrt ermittelt worden und in der in Figur 13 gezeigten
Korrespondenztabelle mit den zugehörigen Positionen abgelegt worden. Die Referenzsignaturen sind in Figur 14 auf der rechten Seite an ihren jeweiligen Positionen dargestellt, wobei diese sich auf das Referenzkoordinatensystem ( x,s ) beziehen.
Die Bezugszeichen A-0 stellen hier insgesamt 15 unterschiedliche Signaturen dar. In dem Beispiel wurden 100 Referenzsignaturen erfasst, in der Praxis werden im Allgemeinen deutlich mehr Referenzsignaturen erfasst. Da die Anzahl der unterschiedlichen Referenzsignaturen A-0 die Mächtigkeit der Menge möglicher Signaturen überschreitet, tritt eine bestimmte Referenzsignatur A-0 im Allgemeinen mehrfach auf.
Auf der linken Seite sind Arbeitssignaturen A*-0* dargestellt, die aktuell aus von der Bilderfassungsvorrichtung 4 des Fahrzeugs 1 aufgenommenen Merkmalen umgewandelt wurden. Anhand dieser 15 als neueste aufgenommenen
Arbeitssignaturen A*-0* und ihrer relativen Positionen in Bezug auf den Ursprung des Arbeitskoordinatensystems XA,SA, das sich mit dem Fahrzeug 1 mitbewegt, wird nun durch Übereinstimmung mit den Referenzsignatur A-0 mittels der Korrespondenztabelle die Position des Fahrzeugs 1 ermittelt. Betrachtet man beispielsweise die Arbeitssignatur E*, so kann man feststellen, dass die entsprechende Referenzsignatur E 7-mal vorkommt. Dementsprechend sind 7 unterschiedliche Positionen in der Korrespondenztabelle aus Figur 13 abgelegt. Für die Arbeitssignatur E* gibt es also 7 Möglichkeiten, um diese einer Referenzsignatur E und demnach einer Position zuzuordnen. Diese 7
Möglichkeiten sind in Figur 14 mit 7 Verbindungslinien gekennzeichnet. Die Zuordnung ist also mehrdeutig, denn von den 7 Möglichkeiten kann höchstens eine richtig sein. Um die Mehrdeutigkeit aufzulösen werden weitere
Arbeitssignaturen A*-0* betrachtet, insbesondere alle 15 Arbeitssignaturen A*-0*. Der Übersicht halber sind für diese weiteren Arbeitssignaturen A*-0* nicht alle Verbindungslinien in Fig. 14 einzeichnen, sondern lediglich die korrekten Verbindungslinien. Diese so hervorgehobenen Korrespondenzen zeichnen sich gegenüber allen anderen Möglichkeiten dadurch aus, dass sie sich gegenseitig bestätigen. Werden bei dieser Zuordnung Fehler festgestellt, ist vorgesehen, die Referenzsignaturen A-0 mittels der Arbeitssignaturen A*-0* zu aktualisieren.
Bildet man für eine beliebige dieser bestätigten Korrespondenzen die Differenz der Koordinaten gemäß Formel 1 , so findet man hier übereinstimmend für die Position des Fahrzeugs (XF,SF)
(Formel 1 )
Damit ist die Position des Fahrzeugs 1 auf dem virtuellen Schienensystem 3 ermittelt. In diesem Ausführungsbeispiel befindet sich das Fahrzeug 1 also aktuell um zwei Einheiten nach links von der Mitte des virtuellen
Schienensystems 3 versetzt bei der Streckenkoordinate 75.
Unter den vielen möglichen Zuordnungen sticht hier die in Figur 14 mit einem Quadrat gekennzeichnete Gruppe 19* von 9 Arbeitssignaturen A*-0* heraus. In dieser Gruppe 19* zeigen alle 9 Arbeitssignaturen A*-0* auf eine Gruppe 19 von Referenzsignaturen A-0 mit benachbarten Positionen. Für keine der anderen Positionen finden sich ähnlich viele Übereinstimmungen. Die Zahl der
Übereinstimmungen kann mit mehrstufigen Histogrammen ermittelt werden. Im Folgenden soll dies kurz dargestellt werden:
Ein erstes Histogramm ist eindimensional und besitzt eine Auflösung von 1 m pro Histogramm-Bin, also eine grobe Auflösung. In das Histogramm werden alle Streckenpositionen SF des Fahrzeugs eingetragen, die sich bei der Bildung möglicher Korrespondenzen ergeben. Dabei wird jede Übereinstimmung in das entsprechende Histogramm-Bin der
entsprechenden Position eingetragen
Im Anschluss wird das Histogramm-Bin mit den meisten
Übereinstimmungen ermittelt. Alternativ kann auch die Gruppe benachbarter Histogramm-Bins ermittelt werden, welche die meisten Übereinstimmungen aufweisen. Damit ist die Position entlang der Koordinate SA schon auf etwa 1 m genau bekannt.
Diese beiden Schritte können mehrfach wiederholt werden, insbesondere wenn das virtuelle Schienensystem 3 in Abschnitte unterteilt ist und für jeden Abschnitt eine separate Korrespondenztabelle vorgesehen ist.
Dann wird pro Korrespondenztabelle ein Histogramm erstellt und schließlich dasjenige Histogramm-Bin ermittelt, das insgesamt die meisten Übereinstimmungen aufweist; das zugehörige Histogramm lässt auf die zugehörige Korrespondenztabelle und somit auf den zugehörigen Abschnitt des virtuellen Schienensystems 3 rückschließen.
Im nächsten Schritt wird die Position präzise ermittelt. Dazu wird ein zweidimensionales zweites Histogramm, das eine Auflösung von 1 cm x 1 cm aufweist, verwendet. Bei der zweiten Abstimmung nehmen nur die Korrespondenzen teil, welche im ersten Histogramm
Übereinstimmungen mit dem ermittelten Histogramm-Bin der Position aufweisen oder in der örtlichen Nachbarschaft liegen.
Im zweiten Histogramm wird erneut das Histogramm-Bin bzw. eine Gruppe von Histogramm-Bins mit den meisten Übereinstimmungen ermittelt. Bei der Gruppe von Histogramm-Bins kann zusätzlich eine Mittelung oder eine Gewichtung vorgesehen sein. Die zu diesem/n Histogramm-Bin(s) korrespondierende Position entspricht der Position des Fahrzeugs 1.
Ist die Position des Fahrzeugs 1 ermittelt, werden im Zuge einer
Positionsverfolgung (Tracking) gesuchte nächste Positionen auf Basis der bereits gefundenen Position ermittelt. Demgemäß werden die Referenzsignaturen A-0 auf ein Suchfeld, welches sich aus einem Suchbereich um die ermittelte Position oder um einen Suchbereich um die nächste Position ergibt, eingeschränkt.
Des Weiteren ist eine Steuerung des Fahrzeugs 1 vorgesehen. Für die
Steuerung in Querrichtung wird die bereits bekannte Angabe von der seitlichen Position XF verwendet. Die Lenkung erfolgt so, dass diese seitliche Position XF verringert wird. Dies ist eine dem Fachmann bekannte Aufgabe aus der
Regelungstechnik. Ist diese Größe beispielsweise positiv, bedeutet das, dass sich das Fahrzeug 1 in Fahrtrichtung rechts von der Mitte des virtuellen
Schienensystems 3 befindet. Dann sollte ein Lenkengriff nach links erfolgen, der mindestens so groß gewählt ist, dass diese seitliche Position XF verringert wird, aber auch nicht zu groß, damit kein übermäßiges Überschwingen entsteht.
Bei der Steuerung in Längsrichtung geht es zunächst um die Fahrtrichtung. Diese ist bereits implizit in der Korrespondenztabelle festgelegt: In diesem
Ausführungsbeispiel fährt das Fahrzeug 1 in Richtung steigender Werte für die Streckenposition SF. Die Kenntnis über die Fahrtrichtung wird bei der
Positionsverfolgung genutzt, um die nächste Position vorherzusagen und ein Suchfeld vorzugeben. Ebenso kann das Fahrzeug auch in die entgegengesetzte Richtung fahren. Falls das Fahrzeug hierfür wendet, bedeutet dies im
Allgemeinen, dass der Sensor dann um 180° gedreht ist. Dies wird durch entsprechende Drehung des zweidimensionalen Sensorsignals oder durch geeignete Berücksichtigung der Drehung bei der Bildung der Arbeitssignaturen A*-0* kompensiert. Bei der Spurführung und Steuerung des Fahrzeugs werden die bereits erläuterten Zusatzmerkmale berücksichtigt, die in der
Korrespondenztabelle abgelegt sind.

Claims

Ansprüche
1. Verfahren zur automatischen Führung eines Fahrzeugs (1) entlang eines virtuellen Schienensystems (3),
wobei Merkmale eines Untergrunds (2), über den sich das Fahrzeug (1) bewegt und/oder bewegen wird, erfasst werden
und in zumindest eine Arbeitssignatur (A*-0*) umgewandelt werden, wobei geprüft wird, ob die zumindest eine Arbeitssignatur (A*-0*) mit zumindest einer Referenzsignatur (A-O, S) des virtuellen
Schienensystems (3) übereinstimmt, wobei der zumindest einen Referenzsignatur (A-O, S) eine Position auf dem virtuellen
Schienensystem (3) zugeordnet ist,
und, wenn die zumindest eine Arbeitssignatur (A*-0*) und die zumindest eine Referenzsignatur (A-O, S) übereinstimmen, auf die Position des Fahrzeugs (1) auf dem virtuellen Schienensystem (3) geschlossen wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine
Vielzahl von Arbeitssignaturen (A*-0*) mit einer Vielzahl von
Referenzsignaturen (A-O, S) auf Übereinstimmung geprüft wird und auf die Position des Fahrzeugs (1) auf dem virtuellen Schienensystem (3) geschlossen wird, deren Zahl der Übereinstimmungen zwischen den Arbeitssignaturen (A*-0*) und den Referenzsignaturen (A-O, S) am höchsten ist.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die höchste Zahl der Übereinstimmungen zwischen den Arbeitssignaturen (A*-0*) und den Referenzsignaturen (A-O, S) aus zumindest einem Histogramm der Übereinstimmungen ermittelt wird.
4. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, dass die Zuordnung der Referenzsignaturen (A-O, S) zu den Positionen auf dem virtuellen Schienensystem (3) in einer Korrespondenztabelle abgelegt sind.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die
Korrespondenztabelle durch Übermittlung von zumindest einem Sender erhalten wird.
6. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, dass, wenn die Position des Fahrzeugs (1) auf dem virtuellen Schienensystem (3) ermittelt wurde, bei einer
Positionsverfolgung die Referenzsignaturen (A-O, S) für den Vergleich bei der Ermittlung einer nächsten Position auf diejenigen
Referenzsignaturen (A-O, S) eingeschränkt werden, die sich innerhalb eines Suchfelds befinden, welches sich aus einem Suchbereich um die ermittelte Position oder um einen Suchbereich um die nächste Position ergibt.
7. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, dass, wenn die Position des Fahrzeugs (1) auf dem virtuellen Schienensystem (3) ermittelt wurde, die Referenzsignaturen (A-O, S) zumindest teilweise mit Hilfe der Arbeitssignaturen (A*-0*) aktualisiert werden.
8. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, dass, abhängig von der Position des Fahrzeugs (1) auf dem virtuellen Schienensystem (3), Steuersignale für das Fahrzeug (1) bereitgestellt werden, mit denen die Bewegung des Fahrzeugs (1) gesteuert wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass
Steuersignale für eine Querrichtung zum virtuellen Schienensystem (3) vorgesehen sind, welche eine Lenkung des Fahrzeugs (1) steuern, und dass Steuersignale für eine Längsrichtung zum virtuellen
Schienensystem (3) vorgesehen sind, welche den Antrieb des
Fahrzeugs (1) steuern.
10. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, dass, abhängig von der Position des Fahrzeugs (1) auf dem virtuellen Schienensystem (3), Steuersignale für das Fahrzeug (1) bereitgestellt werden, mit denen zumindest ein Arbeitsgerät (21) des Fahrzeugs (1) gesteuert wird.
11. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, dass die Merkmale des Untergrunds nur für vorgegebene Abschnitte und/oder Schichten (31) des Untergrunds erfasst werden.
12. Verfahren nach einem der vorherigen Ansprüche, dadurch
gekennzeichnet, dass eine Beleuchtungsvorrichtung (5) mittels eines Richtungssensors (9) so angesteuert wird, dass die Beleuchtung oder die Beleuchtungsfarbe die beleuchtete Fläche aus einer vorbestimmten Richtung unabhängig von der Orientierung des Fahrzeugs (1) anstrahlt.
13. Computerprogramm, welches eingerichtet ist, jeden Schritt des
Verfahrens nach einem der Ansprüche 1 bis 12 durchzuführen.
14. Maschinenlesbares Speichermedium, auf welchem ein
Computerprogramm nach Anspruch 13 gespeichert ist.
15. Elektronisches Steuergerät (20), welches eingerichtet ist, um mittels eines Verfahrens nach einem der Ansprüche 1 bis 12 ein Fahrzeug entlang eines virtuellen Schienensystems automatisch zu führen.
16. Fahrzeug (1), das eine Erfassungsvorrichtung zum Erkennen von
Merkmalen eines Untergrunds (2) aufweist und eingerichtet ist, mit einem Verfahren gemäß einem der Ansprüche 1 bis 12 entlang eines virtuellen Schienensystems (3) automatisch geführt zu werden.
17. Fahrzeug (1) nach Anspruch 16, dadurch gekennzeichnet, dass die Erfassungsvorrichtung zumindest eine optische
Bilderfassungsvorrichtung (4) aufweist.
18. Fahrzeug (1) nach Anspruch 17 gekennzeichnet durch eine
Beleuchtungsvorrichtung (5), welche den Untergrund (2), der von der Bilderfassungsvorrichtung (4) erfasst wird, beleuchtet.
19. Fahrzeug (1) nach Anspruch 16, dadurch gekennzeichnet, dass die Erfassungsvorrichtung zumindest einen taktilen Sensor (23, 26) aufweist.
20. Fahrzeug (1) nach Anspruch 16, dadurch gekennzeichnet, dass die Erfassungsvorrichtung zumindest einen Luftimpulssensor oder einen Luftstausensor (32) aufweist.
21. Fahrzeug (1) nach Anspruch 16, dadurch gekennzeichnet, dass die Erfassungsvorrichtung zumindest einen elektromagnetischer Sensor aufweist.
22. Fahrzeug (1) nach Anspruch 16, dadurch gekennzeichnet, dass die Erfassungsvorrichtung zumindest einen Schallsensor aufweist.
23. Fahrzeug (1) nach einem der Ansprüche 16 bis 22, dadurch
gekennzeichnet, dass das Fahrzeug (1) einen Richtungssensor (9) aufweist.
EP18773967.7A 2017-11-14 2018-09-14 Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems Pending EP3710781A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017220291.2A DE102017220291A1 (de) 2017-11-14 2017-11-14 Verfahren zur automatischen Führung eines Fahrzeugs entlang eines virtuellen Schienensystems
PCT/EP2018/074865 WO2019096463A1 (de) 2017-11-14 2018-09-14 Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems

Publications (1)

Publication Number Publication Date
EP3710781A1 true EP3710781A1 (de) 2020-09-23

Family

ID=63683154

Family Applications (2)

Application Number Title Priority Date Filing Date
EP18773967.7A Pending EP3710781A1 (de) 2017-11-14 2018-09-14 Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems
EP18204780.3A Active EP3482622B1 (de) 2017-11-14 2018-11-07 Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems

Family Applications After (1)

Application Number Title Priority Date Filing Date
EP18204780.3A Active EP3482622B1 (de) 2017-11-14 2018-11-07 Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems

Country Status (4)

Country Link
EP (2) EP3710781A1 (de)
CN (2) CN111602028B (de)
DE (1) DE102017220291A1 (de)
WO (1) WO2019096463A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580049A (zh) * 2019-10-30 2019-12-17 华强方特（深圳）科技有限公司 一种无轨游览车的循迹控制方法
DE102020213151A1 (de) 2020-10-19 2022-04-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kartieren einer Einsatzumgebung für zumindest eine mobile Einheit sowie zur Lokalisation zumindest einer mobilen Einheit in einer Einsatzumgebung und Lokalisationssystem für eine Einsatzumgebung
DE102020214002B3 (de) * 2020-11-08 2022-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Vorrichtung und Verfahren zur Bestimmung einer Position einer Erfassungseinheit und Verfahren zur Hinterlegung von Extraktionsinformationen in einer Datenbank
DE102022203276A1 (de) 2022-04-01 2023-10-05 Robert Bosch Gesellschaft mit beschränkter Haftung Automated Valet Parking mit schienengestütztem Sensorsystem

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999866A (en) * 1996-11-05 1999-12-07 Carnegie Mellon University Infrastructure independent position determining system
DE102008034606A1 (de) * 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
US20130054129A1 (en) * 2011-08-26 2013-02-28 INRO Technologies Limited Method and apparatus for using unique landmarks to locate industrial vehicles at start-up
DE102011085325A1 (de) * 2011-10-27 2013-05-02 Robert Bosch Gmbh Verfahren zum Führen eines Fahrzeugs und Fahrerassistenzsystem
DE102012004791A1 (de) * 2012-03-07 2013-09-12 Audi Ag Verfahren zum Warnen des Fahrers eines Kraftfahrzeugs vor einer sich anbahnenden Gefahrensituation infolge eines unbeabsichtigten Driftens auf eine Gegenverkehrsfahrspur
DE102012207269A1 (de) * 2012-05-02 2013-11-07 Kuka Laboratories Gmbh Fahrerloses Transportfahrzeug und Verfahren zum Betreiben eines fahrerlosen Transportfahrzeugs
DE102013202075A1 (de) * 2013-02-08 2014-08-14 Robert Bosch Gmbh Bewegungsstrategieerarbeitungs- und/oder Navigationsvorrichtung
DE102013003117A1 (de) * 2013-02-25 2013-08-29 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs
DE102013207899A1 (de) * 2013-04-30 2014-10-30 Kuka Laboratories Gmbh Fahrerloses Transportfahrzeug, System mit einem Rechner und einem fahrerlosen Transportfahrzeug, Verfahren zum Planen einer virtuellen Spur und Verfahren zum Betreiben eines fahrerlosen Transportfahrzeugs
US20150149085A1 (en) * 2013-11-27 2015-05-28 Invensense, Inc. Method and system for automatically generating location signatures for positioning using inertial sensors
KR102137857B1 (ko) * 2013-12-19 2020-07-24 에이비 엘렉트로룩스 로봇 청소 장치 및 랜드마크 인식 방법
DE102015004923A1 (de) * 2015-04-17 2015-12-03 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs
CN116659526A (zh) * 2016-03-15 2023-08-29 康多尔收购第二分公司 用于提供车辆认知的系统和方法
CN106874821A (zh) * 2017-01-21 2017-06-20 陕西外号信息技术有限公司 一种基于光标签的车载辅助数据传输方法

Also Published As

Publication number Publication date
CN109782752A (zh) 2019-05-21
DE102017220291A1 (de) 2019-05-16
WO2019096463A1 (de) 2019-05-23
EP3482622A1 (de) 2019-05-15
EP3482622B1 (de) 2024-06-26
CN111602028B (zh) 2024-07-16
CN111602028A (zh) 2020-08-28
CN109782752B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
EP3710781A1 (de) Verfahren zur automatischen führung eines fahrzeugs entlang eines virtuellen schienensystems
EP3234715B1 (de) Verfahren zur kartierung einer bearbeitungsfläche für autonome roboterfahrzeuge
EP2752726B1 (de) Bodenbehandlungsmaschine und Verfahren zum Behandeln von Bodenflächen
DE69615789T2 (de) System zur Ermittlung von Grenzlinien für einen automatisierten Roboter
WO2013087052A1 (de) Verfahren und vorrichtung zum berührungslosen bestimmen von pflanzenparametern und zum verarbeiten dieser informationen
DE102016101552A1 (de) Verfahren zum Erstellen einer Umgebungskarte für ein selbsttätig verfahrbares Bearbeitungsgerät
EP3416019B1 (de) System mit mindestens zwei sich selbsttätig fortbewegenden bodenbearbeitungsgeräten
WO2012089679A1 (de) Verfahren zur bearbeitung einer fläche mittels eines roboter-fahrzeugs
DE102019206036A1 (de) Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs
DE102021115630A1 (de) Verfahren zum Betreiben einer mobilen Vorrichtung
DE102012112036A1 (de) Selbstfahrendes Bodenbearbeitungsgerät und Verfahren zur Navigation bei einem selbstfahrenden Bodenbearbeitungsgerät
DE102015222390A1 (de) Autonomes Arbeitsgerät
DE102011078292A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Befahrbarkeitskarte eines Umgebungsbereiches eines Fahrzeuges
DE102018009114A1 (de) Verfahren zur Bestimmung der Position eines auf einer Verfahrfläche bewegbaren Mobilteils und Anlage mit Mobilteil zur Durchführung des Verfahrens
DE102013202075A1 (de) Bewegungsstrategieerarbeitungs- und/oder Navigationsvorrichtung
DE102020206190A1 (de) System und verfahren für die konfiguration einer arbeitsstätten warnzone.
EP3559773A1 (de) Verfahren zur navigation und selbstlokalisierung eines sich autonom fortbewegenden bearbeitungsgerätes
DE102019218192A1 (de) Verfahren zum Bearbeiten von Pflanzen auf einem Feld
DE102017109130A1 (de) Einrichtung und Verfahren zur Reinigung eines Offenstalls
CH715625A1 (de) Verfahren zur Navigation eines Fahrzeugs und Fahrzeug.
DE102018113015A1 (de) Autonome, mobile Arbeitmaschine
DE102014208434A1 (de) Autonomes Fahrzeug und Navigationsverfahren für ein autonomes Fahrzeug zur Kollisionsvermeidung
WO2013026439A1 (de) Vorrichtung zur bestimmung des wachstums einer pflanze oder pflanzenbestandes
EP3553618A1 (de) Arbeitsvorrichtung
DE102017210830A1 (de) Erzeugen und Verwenden einer Randbebauungskarte

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20200615

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20220602