EP2990532A1 - Selbstfahrende baumaschine und verfahren zur visualisierung des bearbeitungsumfeldes einer sich im gelände bewegenden baumaschine - Google Patents

Selbstfahrende baumaschine und verfahren zur visualisierung des bearbeitungsumfeldes einer sich im gelände bewegenden baumaschine Download PDF

Info

Publication number
EP2990532A1
EP2990532A1 EP15180819.3A EP15180819A EP2990532A1 EP 2990532 A1 EP2990532 A1 EP 2990532A1 EP 15180819 A EP15180819 A EP 15180819A EP 2990532 A1 EP2990532 A1 EP 2990532A1
Authority
EP
European Patent Office
Prior art keywords
construction machine
project
orientation
data
terrain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP15180819.3A
Other languages
English (en)
French (fr)
Other versions
EP2990532B1 (de
Inventor
Matthias Fritz
Cyrus Barimani
Günter HÄHN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wirtgen GmbH
Original Assignee
Wirtgen GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wirtgen GmbH filed Critical Wirtgen GmbH
Publication of EP2990532A1 publication Critical patent/EP2990532A1/de
Application granted granted Critical
Publication of EP2990532B1 publication Critical patent/EP2990532B1/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
    • E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
    • E01C19/00—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving
    • E01C19/48—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving for laying-down the materials and consolidating them, or finishing the surface, e.g. slip forms therefor, forming kerbs or gutters in a continuous operation in situ
    • E01C19/4886—Machines, tools or auxiliary devices for preparing or distributing paving materials, for working the placed materials, or for forming, consolidating, or finishing the paving for laying-down the materials and consolidating them, or finishing the surface, e.g. slip forms therefor, forming kerbs or gutters in a continuous operation in situ for forming in a continuous operation kerbs, gutters, berms, safety kerbs, median barriers or like structures in situ, e.g. by slip-forming, by extrusion

Definitions

  • the invention relates to a self-propelled construction machine, in particular a road milling machine or a slipform paver, which has a chassis, the front and rear wheels or drives in the working direction, carried by the chassis machine frame, a drive device for driving the front and / or rear wheels or drives and a steering device for directing the front and / or rear wheels or drives, so that the construction machine can perform translational and / or rotational movements in the field.
  • the invention relates to a method for visualizing the processing environment of a terrain machine moving in the field, in particular a road milling machine or a slipform paver.
  • the slipform pavers have a device for forming flowable material, in particular concrete, which is also referred to as concrete hollow. With the concrete trough structures of different education, such as baffles or gutters can be produced.
  • the working device has a milling drum equipped with milling tools, with the material from the road surface can be milled in a given working width.
  • the EP 2 336 424 A2 describes a self-propelled construction machine having data describing a target curve descriptive data in an independent of the position and orientation of the construction machine reference system and a control unit which is designed such that a reference point on the construction machine starting from a predetermined starting point at which the construction machine has a predetermined position and orientation in the field, moves on the target curve.
  • a method for controlling a construction machine in which the data describing a setpoint curve in an independent of the position and orientation of the construction machine reference system by means of a measuring device (rover) determined in the field and read into a working memory of the construction machine.
  • the known method allows the control of the construction machine without major surveying effort with high accuracy.
  • the problem arises that objects already present in the terrain, for example water drains, hydrants or manhole covers, must be taken into account.
  • the building should not be located on a water drain, or the area of the terrain, such as a fire hydrant or manhole cover, should not be altered.
  • the milling drum of a road milling machine for example, when driving over a hydrant, taking into account a safety distance within a predetermined distance, which is dependent on the dimensions of the hydrant, must be raised from a predetermined position with respect to the surface to be machined.
  • the operator can not see the exact position of the hydrant at the level of the milling drum in practice, however, because the milling drum is located below the control station. Therefore, the position of a hydrant in the field is in practice marked with lateral lines that are recognizable to the operator or to another person.
  • the marking of existing objects in the field proves to be disadvantageous in practice.
  • the marking of the objects requires an additional step.
  • the lines are not or difficult to reach in the dark detect. Incidentally, the marking of the objects in the rain is not readily possible. Because of the inaccuracies, it is therefore necessary to choose a relatively large safety margin, which requires major reworking.
  • slipform paver In a slipform paver, the same problem arises when a building is to be erected, which should not be on but adjacent to existing objects. For example, if the structure is to extend along a curb, water courses adjacent to the curb can not be detected by the operator if the water drains are immediately in front of or adjacent to the machine.
  • a slipform paver adds to the difficulty that no short-term corrections to the trajectory are possible if it is determined shortly before the water intake that the planned trajectory is on this.
  • an automatic control of the construction machine also taking into account objects existing in the terrain, it is fundamentally possible to determine the shape and position of the objects in the terrain. If the shape and position of the objects are known, an intervention in the machine control can also be carried out automatically, for example, when driving over the object, the milling drum of a road milling machine can be raised automatically.
  • this requires an exact determination of the shape and position of the object, for example the hydrant with respect to the coordinate system in which the construction machine is to move. Otherwise the hydrant or the construction machine may be damaged.
  • the invention has for its object to provide a self-propelled construction machine, in particular a road milling machine or a slipform paver, which simplifies the consideration of off-site objects in the control of the construction machine for the construction of a building or the change of the terrain in practice.
  • Another object of the invention is to provide a method with which the consideration of existing in the field objects can be simplified.
  • the construction machine according to the invention is a self-propelled construction machine, which has a working device for the construction of structures on the site, for example a device for forming concrete, or a device for changing the terrain, for example a milling drum.
  • a working device for the construction of structures on the site for example a device for forming concrete, or a device for changing the terrain, for example a milling drum.
  • the construction machine can be, for example, a road milling machine or a slipform paver. It can also be a paver with the same problem of considering objects already in the terrain.
  • the construction machine has an image recording or recording unit for recording an image of the terrain, which is in a dependent on the position and orientation of the construction machine in the field coordinate system, and a display unit for displaying the image of the area.
  • the image section should be selected so that all areas relevant to the control of the construction machine are detected, wherein the image section may also include areas that are not visible to the operator from the control station.
  • the image recording unit may include one or more camera systems. If the image recording unit has a plurality of camera systems, the image section can be composed of a plurality of images, each recorded with a camera system. Each camera system can also be assigned a separate image section.
  • the camera system may include one camera or two cameras (stereo camera system). If a three-dimensional scene is imaged onto the two-dimensional image plane of the camera when shooting with a camera, a clear correlation between the coordinates of an object, the coordinates of the image of the object on the image plane and the focal length of the camera results. However, the depth information is lost due to the two-dimensional image.
  • the camera system has only one camera, since in practice, the curvature of the terrain surface in the captured by the camera image detail can be neglected. Moreover, only two-dimensional scenes are relevant to the invention, i. H. the outlines of objects in a plane (terrain surface). However, the invention is not limited thereto.
  • the at least one camera system of the image recording unit can also be a stereo camera system comprising two cameras, which are arranged parallel to the axis at a predetermined horizontal distance, according to the known methods the disparity to gain the depth information.
  • the invention requires a device for providing project data which describes the shape and position of at least one project in a coordinate system independent of the position and orientation of the construction machine.
  • a project is understood to mean all work to be carried out with the construction machine, which forms the basis for the control of the construction machine, whereby the project is determined by which works (form) are carried out at a specific location (location).
  • the project may involve the construction of a building or the alteration of the site.
  • the project data may be the data describing the shape and location of a building to be erected in the field.
  • the project data can be, for example, the shape and position of a baffle to be constructed descriptive data or in the known road milling machines to be processed in the area or not to be processed surface descriptive data.
  • the project data represent parameters for the control of the construction machine, which include, for example, the feed rate and inclination of the concrete trough of a slipform paver or the milling depth of a milling machine.
  • parameters for the control of the construction machine include, for example, the feed rate and inclination of the concrete trough of a slipform paver or the milling depth of a milling machine.
  • the construction machine has a data processing unit which is configured such that the image section of the terrain displayed on the display unit the part of the project lying in the image section is superimposed so that at least a part of the project is displayed in the image section.
  • the display unit thus shows not only the real image detail, but also a virtual image of the project, so that the perception of the machine operator is extended. Consequently, the operator can recognize on the display unit whether the project underlying the control matches reality.
  • the machine operator can intervene in the machine control in advance. Alternatively, an automatic intervention in the machine control can be made.
  • This error may, for example, be that the terrain object (s) that reflect reality have not been or have not been detected correctly for the control of the construction machine.
  • the machine operator can recognize when the surface to be machined, for example the surface to be milled with a road milling machine, lies on a hydrant or the structure to be erected with a slipform paver, for example a guide wall, should run over a water inlet.
  • a preferred embodiment of the invention provides that the construction machine has a device for determining position / orientation data describing the position and orientation of the construction machine in a coordinate system independent of the construction machine.
  • the project data are determined in a coordinate system independent of the position and orientation of the construction machine, which does not change with the movement of the construction machine in the field.
  • the device for determining the position / orientation data describing the position and orientation of the construction machine preferably comprises a global navigation satellite system (GNSS) comprising a first and a second GNSS receiver for decoding GNSS signals of the global navigation satellite system (GNSS) and Correction signals of a reference station for determining the position and orientation of the construction machine may have, wherein the first and second GNSS receiver on the construction machine in different positions are arranged. With the first and second GNSS receiver, the measurement accuracy can be increased.
  • GNSS global navigation satellite system
  • the position and orientation of the construction machine can also be determined with a satellite-independent system, for example with a tachymeter.
  • a further preferred embodiment provides that the project data describing the shape and position of the at least one project in the coordinate system independent of the position and orientation of the construction machine in dependence on the known position and orientation of the construction machine in the non-construction machine coordinate system in be transformed depending on the position and orientation of the construction machine coordinate system.
  • the project data available in the fixed coordinate system can then be superimposed on the image section in real time, so that the project is always visible in correct alignment with the real image, which can constantly change with the movement of the construction machine.
  • the project data comprise at least one outline of the project descriptive data, wherein the data processing unit is configured such that in the image section of the terrain, the at least one outline of the project is displayed.
  • the outline and the shape of the project in the image section are sufficiently marked. If the project is, for example, a building, the building can also be highlighted by a colored underlay or a hatching or can be represented by it alone.
  • the data processing unit is configured to determine object data describing the shape and location of at least one real object in the image area of the terrain, the project data then being compared to the object data.
  • object data is understood to be all data describing the shape and position of the objects present in the terrain and recorded with the image recording unit, which objects are represented as real objects in the image detail.
  • the object data can describe, for example, the position and shape of a structure, for example a hydrant or a water inlet in the area, which should not be covered or damaged during the construction of a building or the change of the terrain.
  • the comparison of the project data with the object data allows beyond the extension of the perception of the machine operator, a computer-aided monitoring of the control of the construction machine, where it can be determined that the determined project data does not match the object data (reality).
  • the known mathematical algorithms can be used, for example, to be able to determine whether the building is actually next to the water inlet.
  • a particularly simple evaluation of the data provides for determining the distance between at least one reference point related to the outline of the project and at least one reference point related to the outline of the object.
  • the reference point can lie even on the outline, for example on a circle or circular arc, or next to the outline, for example, lie on the center of a circle.
  • the determined distance is preferably compared with a predetermined limit value. If the distance between reference points lying on the contour lines is smaller than a predetermined limit, it can be concluded that a minimum distance is not maintained. This minimum distance can be visualized on the display unit. Another possibility is to base the areas enclosed by the contours on the evaluation. It is also possible to determine whether the outline of the project defined around the object, taking into account a predetermined minimum distance, intersects with the outline of the object. In the case that the project line intersects the object line, it can be concluded that the project line does not enclose the object line, ie the project and the object do not match, but at least partially overlap.
  • the construction machine preferably has an alarm unit which gives an optical and / or audible and / or tactile alarm when the data processing unit has determined that the project and the object do not match, for example the project line and object line intersect and / or or the determined distance between the outlines of project and object is less than a predetermined limit. It is also possible to generate a control signal for intervention in the machine control.
  • the construction machine has an interface for reading in the project data and a memory unit for storing the read-in project data. This makes it possible to determine the project data required for controlling the construction machine in advance.
  • the project data are preferably determined in the field with a preferably satellite-based measuring device (rover).
  • FIGS. 1A and 1B show in side view and plan view as an example of a self-propelled construction machine a slipform paver.
  • slipform paver is in the EP 1 103 659 B1 described in detail. Since slipform pavers as such belong to the prior art, only the essential components of the construction machine of the invention will be described here.
  • the slipform paver 1 has a machine frame 2, which is supported by a chassis 3.
  • the chassis 3 has two front and two rear crawler tracks 4A, 4B, which are attached to front and rear lifting columns 5A, 5B.
  • the working direction (Direction of travel) of the slipform paver is marked with an arrow A. But it can also be provided only a front or rear drive.
  • the track drives 4A, 4B and lifting columns 5A, 5B constitute the drive means of the slipform paver for performing translational and / or rotational movements of the construction machine on the field.
  • the track drives 4A, 4B and lifting columns 5A, 5B constitute the drive means of the slipform paver for performing translational and / or rotational movements of the construction machine on the field.
  • the machine frame 2 By raising and lowering the lifting columns 5A, 5B, the machine frame 2 can be moved with respect to the ground in the height and inclination.
  • the chain drives 4A, 4B the slipform paver can be moved back and forth.
  • the construction machine has three translatory and three rotational degrees of freedom.
  • the slipform paver 1 has an only hinted illustrated device 6 for forming concrete, which is referred to below as a concrete trough.
  • the concrete trough 6 represents the working device of the slipform paver for the construction of a building structure with a predetermined shape on the site.
  • FIGS. 2A and 2B show as a further example of a self-propelled construction machine, a road milling machine in the side view, wherein the same reference numerals are used for the corresponding parts.
  • the road milling machine 1 has a machine frame 2, which is supported by a chassis 3.
  • the chassis 3 again has front and rear crawler tracks 4A, 4B mounted on front and rear lifting columns 5A, 5B. But it can also be provided only a front or rear drive.
  • the road milling machine has a working device for changing the terrain. This is a milling device 6 with a equipped with milling tools milling drum, which is not recognizable in the figures.
  • the milled material is transported away with a conveyor F.
  • Fig. 3 The road surface to be worked with a road milling machine is in Fig. 3 shown.
  • the project is to milled the pavement of the road.
  • objects O on the road such as manhole cover in the middle of the road surface and water inlets at the Side of the road surface.
  • Fig. 3 shows two manhole covers 9, 10 and a water inlet 11, which are run over by the road milling machine when milling the road surface.
  • the representation in Fig. 3 but does not correspond to the field of vision of the machine operator.
  • the objects O on the road can not be seen by the operator on the platform of the construction machine, since they are located directly in front of the construction machine or below the machine.
  • the machine operator can not recognize the manhole cover, in particular, when the milling drum is only a short distance in front of the manhole cover, ie exactly at the time when the machine operator has to lift the milling drum. However, this area can not be monitored with a camera because of the flying milling material in the milling drum housing.
  • the position and shape of the circular manhole covers 9, 10 are clearly described by three lying on the circumference reference points O 11 , O 12 , O 13 and O 21 , O 22 , O 23 .
  • the position and shape of the rectangular water inlets are described by four reference points O 31 , O 32 , O 33 , O 34 located at the corners of the water inlet.
  • the project is described by previously created project data, which are read in via a suitable interface 12A in a working memory 12 of the construction machine ( Fig. 8 ).
  • the project data contains the coordinates of reference points characteristic of the project, which are detected in a coordinate system (X, Y, Z) independent of the position and orientation of the construction machine.
  • the reference points lie on the contours 13, 14, 15, which enclose the contours 16, 17, 18 of the objects O at a predetermined minimum distance ⁇ .
  • the objects O are circular Manhole covers 9, 10 and rectangular water inlets 11 are, the outlines describing the project are also circles and rectangles.
  • the circular outlines 13, 14 of the project are uniquely identified by the coordinates of three reference points P 11 , P 12 , P 13 and P 21 , P 22 , P 23 and the rectangular outlines 15 of the project by the coordinates of four reference points P 31 , P 32 , P 33 , P 34 in the independent of the movement of the construction machine coordinate system (X, Y, Z) described.
  • the project data comprises the coordinates of the reference points of the project in the fixed coordinate system independent of the movement of the construction machine (X, Y, Z). They mark the area to be cut, which lies outside the outlines 13, 14, 15 of the project. The area not to be processed is the area within the outlines 13, 14, 15 of the project, in which the objects O lie. This clearly determines the project.
  • the project data can be determined as follows.
  • the fixed coordinate system (X, Y, Z) is preferably the coordinate system of a global navigation satellite system (GNSS), so that the reference points of the objects can be easily detected with a measuring device (rover).
  • GNSS global navigation satellite system
  • the project data can be stored in an external storage unit, for example a USB stick, and read into the internal storage unit 12 of the construction machine via the interface 12A. With this data, the construction machine can then be controlled. When the road milling machine reaches a surface that is not to be machined, the milling drum is automatically raised with respect to the ground. As soon as the road milling machine has traveled over the area not to be worked, the milling drum is lowered again. This avoids that the manhole cover 9, 10 or water inlet 11 or the construction machine is damaged. The raising and lowering of the milling drum can also be done with a manual intervention in the machine control, with the machine operator, the time at which the intervention is to be signaled.
  • an external storage unit for example a USB stick
  • the road milling machine has an image recording unit 19, which has a camera system 19A arranged on the machine frame 2, with which an image section 20A of the terrain to be processed, ie the road surface with the manhole covers and water inlets, is taken.
  • the camera system 19A detects an area not visible to the operator by the operator.
  • the image section 20A is displayed on a display unit 20, for example an LC display.
  • Fig. 4 shows the display of the display unit 20. While the road milling machine moves in the field, constantly changing the image shown in the image section 20A, so that the operator can recognize that he moves with the road milling machine on a manhole cover 9, 10 or water inlet 11.
  • the road milling machine has a data processing unit 21, with which the project data available is processed.
  • the data processing unit 21 is configured such that the image section 20A of the terrain displayed on the display unit 20 is superimposed on the project lying in the image section.
  • the operator can thus immediately recognize on the display unit 20 if the project data should not correspond to reality, ie the outlines 16, 17, 18 of the project do not concentrically surround the outlines 13, 14, 15 of the objects O in the predetermined minimum distance ⁇ should. If the manhole cover and water inlets within the displayed outlines On the other hand, the control of the road milling machine can take place without any further intervention in the machine control.
  • the image section 20A is assigned a coordinate system (x, y, z) which depends on the movement of the construction machine in the terrain and which is in Fig. 3 is shown.
  • the position (origin) and orientation of this coordinate system corresponds to the location and viewing angle of the camera 19A on the construction machine.
  • the position and shape of the objects O are also described by corresponding coordinates.
  • the coordinate system (x, y, z) dependent on the movement of the construction machine in the field can be a three-dimensional or two-dimensional coordinate system.
  • Fig. 3 the general case of a coordinate system with an x-axis, y-axis and z-axis is shown.
  • a two-dimensional coordinate system With a negligible curvature of the terrain surface and the consideration of only two-dimensional objects but a two-dimensional coordinate system is sufficient. However, this presupposes that the x / y plane of the coordinate system is parallel to the terrain surface assumed to be assumed, which is assumed below.
  • the camera system may be a stereo camera system or a camera system with only one camera. With negligible curvature of the terrain surface and / or the consideration of only two-dimensional objects but a camera system with only one camera is sufficient. If the camera system is a stereo camera system, three-dimensional images can also be displayed on the display unit 20 using the known methods.
  • the construction machine For determining the position and orientation of the construction machine and thus also the position and orientation (viewing angle) of the camera system 19A in the coordinate system (X, Y, Z) independent of the position and orientation of the construction machine, the construction machine has a device 22 which Provides position / orientation data of the construction machine ( Fig. 8 ).
  • This device may comprise a first GNSS receiver 22A and second GNSS receiver 22B arranged on the construction machine at different positions S1, S2.
  • Fig. 1B shows the position S1 and S2 of the two GNSS receivers 22A and 22B on the slipform paver.
  • the first and second GNSS receivers 22A, 22B decode the GNSS signals of the global navigation satellite system (GNSS) and correction signals of a reference station for determining the position and orientation of the construction machine.
  • GNSS global navigation satellite system
  • Such systems which enable a highly accurate determination of the position / orientation data, belong to the state of the art.
  • an electronic compass K may be provided to detect the orientation of the construction machine.
  • Fig. 2B shows the position S1 of the first GNSS receiver 22A and the position S2 of the compass K on the road milling machine.
  • the compass can also be dispensed with if the orientation of the construction machine is calculated.
  • the orientation can be calculated by determining the position of a reference point of the construction machine at successive times and determining the direction of the movement from the change in position.
  • the accuracy can be additionally increased by including the steering angle in the calculation.
  • the data processing unit 21 receives the current position / orientation data, which is continuously provided by the device 22 for determining the position and orientation of the construction machine, and transforms the shape and position of the project in the coordinate system independent of the position and orientation of the construction machine (FIG. X, Y, Z) depending on the position and orientation of the construction machine in the non-construction machine coordinate system in the dependent on the position and orientation of the construction machine machine coordinate system (x, y, z). This data transformation takes place in real time. After the coordinates of the reference points characterizing the outlines of the project in the machine coordinate system are known, the outlines 16, 17, 18 of the project are displayed in the image section 20A ( Fig. 4 ). The operations of the data processing unit required to generate the contours belong to the state of the art.
  • the data processing unit 21 can comprise an image processing unit which can automatically recognize whether the real objects O match the virtual objects, ie the real outline 13, 14, 15 of an object O (hydrant or water inlet) shown in the image section, actually within the associated virtual one Outline 16, 17, 18 of the project lies.
  • the data processing unit 21 is configured such that the shape and position of the real object O (hydrant or water inlet) recorded by the camera system 19A is determined in the image section 20A.
  • the data processing unit 21 can make use of the known methods for image recognition.
  • the shape and position of the real object in the image section are described by object data.
  • the circular outline of the manhole cover 9 is described by the three contoured reference points P 11 , P 12 , P 13 ( Fig. 3 ).
  • the object data is compared in the data processing unit 21 with the project data to determine whether the real objects match the virtual objects.
  • the data processing unit checks whether the outline 13 of the real object, for example the manhole cover 9, lies within the outline 16 of the project. For this purpose, the data processing unit 21 checks whether the two contour lines 13, 16 intersect. If the contours 13, 16 do not intersect, it is concluded that the object data corresponds to reality. Otherwise, an erroneous determination of the object data is concluded.
  • Fig. 5A shows the case that the object data match the project data, ie the outlines 13, 16 have no intersection while Fig. 5B the case shows that the object data do not match the project data, ie the outlines 13, 16 intersect at two points P s .
  • the data processing unit 21 can still determine whether a minimum distance ⁇ is maintained. For this purpose, the data processing unit determines two reference points P A1 and P A2 , which are assigned to the outline 13 of the object or the outline 16 of the project. For example, as reference points P A1, P A2, points can be determined which are particularly close to one another on the circular contour lines 13, 16 ( Fig. 5A ). The data processing unit 21 determines the distance a between the lying on the contour lines reference points P A1, P A2 and compares the distance a with a predetermined limit. If the distance between the points is smaller than the predetermined limit value, it is concluded that the outline 13 of the object lies within the project, since the outlines 13, 16 do not intersect.
  • the reference points can also be the midpoints or line or area centers of the circular outlines. In an exact alignment taking into account the predetermined minimum distance ⁇ the outlines 13, 16 have a common center or line or centroid, ie the distance between the centers should be as small as possible.
  • the above embodiment is only to be understood as an embodiment for comparing the project data and object data with each other.
  • the data can also be evaluated with all other known algorithms to infer whether the real objects match the virtual objects.
  • the construction machine has an alarm unit 23 which gives an optical and / or audible and / or tactile alarm when the data processing unit 21 has determined that the two contour lines 13, 16 do not match and / or the distance a is smaller than a predetermined one Limit is ( Fig. 8 ).
  • the operator can be pointed to an erroneous determination of the object data also by color shading of certain surfaces, hatching or by markings.
  • the distance a can also be displayed.
  • FIGS. 6 and 7 described a further embodiment of the invention, which differs from the previous embodiment in that the project does not change the terrain with a road milling machine ( Fig. 2 ), but the erection of a structure with a slipform paver ( Fig. 1 ).
  • the slipform paver like the road milling machine, has an image recording unit 12 and a data processing unit 21 and a device 12 for providing the project data (FIG. Fig. 8 ).
  • the corresponding parts are provided with the same reference numerals.
  • the slipform paver project is a traffic island bounded laterally by a curb 25 of concrete.
  • the curb 25 has, for example, a straight section 25A, followed by a semicircular section 25B.
  • the curb25 should be adjacent to a rectangular water inlet 26, which requires precise control of the slipform paver.
  • the project data again contains the coordinates of characteristic reference points for the project, which are detected in a coordinate system (X, Y, Z) independent of the position and orientation of the construction machine.
  • the project data describe the shape and position of the curb25.
  • the shape and position of the straight portion 25A can be described, for example, by two reference points P 1 , P 2 and P 3 , P 4 respectively, which are at the beginning and end of the inner and outer contour 27, 28 of the curb 25.
  • the semicircular portion 20B may be described, for example, by three reference points P 2 , P 5 , P 6 and P 4 , P 7 , P 8 lying on the inner and outer contour lines 27, 28, respectively.
  • the previously determined project data relating to the GNSS system independent of the position and orientation are read into the working memory 12 of the slipform paver via the interface 12A.
  • the slipform paver control unit is configured such that the slipform paver travels on a path corresponding to the course of the curb25 to be erected.
  • FIGS. 6 and 7 show the image section 20A taken by the camera system 19A of the image recording unit 19 and displayed on the display unit 20, in which the terrain lying in working direction A in front of the slipform paver and a part of the slipform paver with the concrete recess 6 can be seen.
  • the terrain position and orientation determining means 22 of the slipform paver continuously calculates the current position / orientation data, and the data processing unit 21 obtains the project data which is in the GNSS system (X, Y, P) independent of the position and orientation of the slipform paver.
  • Z) are transformed into the machine coordinate system (x, y, z) which depends on the position and orientation of the slipform paver and which corresponds to the viewing angle of the camera system.
  • FIGS. 6 and 7 show a possibility of displaying the curb 25 in the image section 20A by the contour lines 27, 28, which show the machine operator the course of the curb, which is made with the slipform paver, if the stored project data of the control are based.
  • contour lines 27, 28 show the machine operator the course of the curb, which is made with the slipform paver, if the stored project data of the control are based.
  • color backgrounds, hatchings, auxiliary lines or markings can also be generated by the data processing unit 21 and displayed on the display unit 20.
  • the machine operator can check the correct course of the curb 25 in the image section 20A. He can see in advance whether the curb 25, for example, runs next to the water inlet 26.
  • Fig. 6 shows the case of a correct course of the curb 25 close to, ie at a predetermined minimum distance from the water inlet 26, while Fig. 7 the case shows that the curb 25 extends over the water inlet 26.
  • the Alarm unit 23 an alarm signal, so that the operator can make an intervention in the machine control.
  • the data processing unit 21 with an image recognition determines the coordinates of reference points O 1 , O 2 , O 3 , O 4 of the rectangular water inlet 26 in the machine coordinate system (x, y, z) corresponding to the camera image. Since the standardized shape and size of the water inlet 26 is known, for example, the coordinates of the corner points of the water inlet can be determined with an image recognition without much computational effort. These coordinates then provide the object data that is compared to the project data to determine if the design is consistent with reality. For this purpose, it can be checked with the data processing unit 21, for example, whether the contours of the curb and water inlet intersect, and / or with the data processing unit, for example, the distance between the contours can be calculated, as described with reference to the other embodiment.

Abstract

Die Anmeldung betrifft eine selbstfahrende Baumaschine, insbesondere eine Straßenfräsmaschine oder einen Gleitschalungsfertiger, die für ein geplantes Projekt im Gelände translatorische und/oder rotatorische Bewegungen ausführen kann. Darüber hinaus betrifft die Anmeldung ein Verfahren zur Visualisierung des Bearbeitungsumfeldes einer sich im Gelände bewegenden Baumaschine, insbesondere eine Straßenfräsmaschine oder einen Gleitschalungsfertiger. Die Baumaschine verfügt über eine Bildaufzeichnungseinheit 19 zum Aufzeichnen eines Bildausschnitts 20A des Geländes, der in einem von der Position und Orientierung der Baumaschine im Gelände abhängigen Koordinatensystem (X, Y, Z) liegt, und eine Anzeigeeinheit 20 zur Anzeige des Bildausschnitts 20A des Geländes. Darüber hinaus weist die Baumaschine eine Datenverarbeitungseinheit 21 auf, die derart konfiguriert ist, dass dem auf der Anzeigeeinheit 20 angezeigten Bildausschnitt 20A des Geländes eine Darstellung eines Teils des in dem Bildausschnitt liegenden Projekts überlagert wird, so dass das Projekt in dem Bildausschnitt visualisiert wird. Die Anzeigeeinheit 20 zeigt somit nicht nur den realen Bildausschnitt, sondern auch ein virtuelles Bild des Projektes, so dass die Wahrnehmung des Maschinenführers erweitert wird. Folglich kann der Maschinenführer auf der Anzeigeeinheit 20 erkennen, ob das der Steuerung zugrunde liegende Projekt mit der Realität zusammenpasst.

Description

  • Die Erfindung betrifft eine selbstfahrende Baumaschine, insbesondere eine Straßenfräsmaschine oder einen Gleitschalungsfertiger, die über ein Fahrwerk, das in Arbeitsrichtung vordere und hintere Räder oder Laufwerke aufweist, ein von dem Fahrwerk getragenen Maschinenrahmen, eine Antriebseinrichtung zum Antreiben der vorderen und/oder hinteren Räder oder Laufwerke und eine Lenkeinrichtung zum Lenken der vorderen und/oder hinteren Räder oder Laufwerke verfügt, so dass die Baumaschine im Gelände translatorische und/oder rotatorische Bewegungen ausführen kann. Darüber hinaus betrifft die Erfindung ein Verfahren zur Visualisierung des Bearbeitungsumfeldes einer sich im Gelände bewegenden Baumaschine, insbesondere eine Straßenfräsmaschine oder einen Gleitschalungsfertiger.
  • Es sind verschiedene Arten von selbstfahrenden Baumaschinen bekannt. Zu diesen Maschinen zählen insbesondere die bekannten Gleitschalungsfertiger oder Straßenfräsmaschinen. Diese Baumaschinen zeichnen sich dadurch aus, dass sie über eine Arbeitseinrichtung zum Errichten von Baukörpern auf dem Gelände oder zum Verändern des Geländes verfügen.
  • Die Gleitschalungsfertiger verfügen über eine Einrichtung zum Formen von fließfähigem Material, insbesondere Beton, die auch als Betonmulde bezeichnet wird. Mit der Betonmulde können Baukörper unterschiedlicher Ausbildung, beispielsweise Leitwände oder Wasserrinnen hergestellt werden. Bei den Straßenfräsen weist die Arbeitseinrichtung eine mit Fräswerkzeugen bestückte Fräswalze auf, mit der von der Straßenoberfläche Material in einer vorgegebenen Arbeitsbreite abgefräst werden kann.
  • Die EP 2 336 424 A2 beschreibt eine selbstfahrende Baumaschine, die über eine Einheit zur Ermittlung von eine Sollkurve beschreibenden Daten in einem von der Position und Orientierung der Baumaschine unabhängigen Bezugssystem und eine Steuereinheit verfügt, die derart ausgebildet ist, dass sich ein Referenzpunkt auf der Baumaschine ausgehend von einem vorgegebenen Startpunkt, an der die Baumaschine eine vorgegebene Position und Orientierung im Gelände hat, auf der Sollkurve bewegt.
  • Aus der EP 2 719 829 A1 ist ein Verfahren zur Steuerung einer Baumaschine bekannt, bei dem die eine Sollkurve beschreibenden Daten in einem von der Position und Orientierung der Baumaschine unabhängigen Bezugssystem mittels eines Messgerätes (Rover) im Gelände ermittelt und in einen Arbeitsspeicher der Baumaschine eingelesen werden. Das bekannte Verfahren ermöglicht die Steuerung der Baumaschine ohne größeren vermessungstechnischen Aufwand mit hoher Genauigkeit.
  • Bei der Planung eines Bauvorhabens, das mit den bekannten Gleitschalungsfertigern oder Straßenfräsen durchgeführt werden soll, stellt sich das Problem, dass bereits im Gelände vorhandene Objekte, beispielsweise Wasserabläufe, Hydranten oder Schachtdeckel Berücksichtigung finden müssen. Der Baukörper sollte beispielsweise nicht auf einem Wasserablauf liegen oder der Bereich des Geländes, in dem beispielsweise ein Hydrant oder Schachtdeckel liegt, sollte nicht verändert werden.
  • Zur Berücksichtigung von im Gelände vorhandenen Objekten ist ein Eingriff in die Maschinensteuerung notwendig, der manuell vorgenommen werden kann.
  • Die Fräswalze einer Straßenfräsmaschine muss beispielsweise beim Überfahren eines Hydranten unter Berücksichtigung eines Sicherheitsabstandes innerhalb einer vorgegebenen Wegstrecke, die von den Abmessungen des Hydranten abhängig ist, aus einer vorgegebenen Position in Bezug auf die zu bearbeitende Oberfläche angehoben werden. Der Maschinenführer kann die genaue Position des Hydranten auf der Höhe der Fräswalze in der Praxis aber nicht erkennen, da sich die Fräswalze unterhalb des Fahrstandes befindet. Daher wird die Position eines Hydranten in dem Gelände in der Praxis mit seitlichen Linien markiert, die für den Maschinenführer oder eine andere Person erkennbar sind. Die Markierung vorhandener Objekte im Gelände erweist sich aber in der Praxis als nachteilig. Zunächst erfordert die Markierung der Objekte einen zusätzlichen Arbeitsschritt. Darüber hinaus ist es schwierig, die Linien exakt im rechten Winkel zur Fahrtrichtung zu ziehen. Ferner sind die Linien bei Dunkelheit nicht oder nur schwer zu erkennen. Im Übrigen ist die Markierung der Objekte bei Regen nicht ohne weiteres möglich. Wegen der Ungenauigkeiten ist es daher erforderlich, einen relativ großen Sicherheitsabstand zu wählen, der größere Nacharbeiten erforderlich macht.
  • Bei einem Gleitschalungsfertiger stellt sich das gleiche Problem, wenn ein Baukörper errichtet werden soll, der nicht auf, sondern neben im Gelände vorhandenen Objekten liegen soll. Wenn sich der Baukörper beispielsweise entlang eines Bordsteins erstrecken soll, können neben dem Bordstein liegende Wasserabläufe vom Maschinenführer nicht erkannt werden, wenn sich die Wasserabläufe unmittelbar vor oder neben der Maschine befinden. Bei einem Gleitschalungsfertiger kommt erschwerend hinzu, dass keine kurzfristigen Korrekturen an der Bahnkurve möglich sind, wenn erst kurz vor dem Wassereinlauf festgestellt wird, dass die geplante Bahnkurve über diesen verläuft.
  • Für eine automatische Steuerung der Baumaschine auch unter Berücksichtigung im Gelände vorhandener Objekte ist es grundsätzlich möglich, die Form und Lage der Objekte im Gelände zu ermitteln. Wenn Form und Lage der Objekte bekannt sind, kann ein Eingriff in die Maschinensteuerung auch automatische vorgenommen werden, beispielsweise kann beim Überfahren des Objektes die Fräswalze einer Straßenfräsmaschine automatisch angehoben werden. Dies setzt aber eine exakte Bestimmung der Form und Lage des Objektes, beispielsweise des Hydranten in Bezug auf das Koordinatensystem voraus, in dem sich die Baumaschine bewegen soll. Andernfalls kann der Hydrant oder die Baumaschine beschädigt werden.
  • Der Erfindung liegt die Aufgabe zugrunde, eine selbstfahrende Baumaschine, insbesondere eine Straßenfräsmaschine oder einen Gleitschalungsfertiger, zu schaffen, der die Berücksichtigung von im Gelände vorhandener Objekte bei der Steuerung der Baumaschine für die Errichtung eines Baukörpers oder der Veränderung des Geländes in der Praxis vereinfacht. Eine weitere Aufgabe der Erfindung liegt darin, ein Verfahren anzugeben, mit dem sich die Berücksichtigung von im Gelände vorhandener Objekte vereinfachen lässt.
  • Die Lösung dieser Aufgaben erfolgt erfindungsgemäß mit den Merkmalen der unabhängigen Patentansprüche. Die Gegenstände der abhängigen Ansprüche betreffen bevorzugte Ausführungsformen der Erfindung.
  • Die erfindungsgemäße Baumaschine ist eine selbstfahrende Baumaschine, die über eine Arbeitseinrichtung zur Errichtung von Baukörpern auf dem Gelände, beispielsweise eine Einrichtung zum Formen von Beton, oder eine Einrichtung zum Verändern des Geländes, beispielsweise eine Fräswalze, verfügt. Für die Erfindung ist nicht von Bedeutung, wie die Arbeitseinrichtung im Einzelnen ausgebildet ist. Die Baumaschine kann beispielsweise eine Straßenfräsmaschine oder ein Gleitschalungsfertiger sein. Sie kann auch ein Straßenfertiger sein, bei dem sich das gleiche Problem der Berücksichtigung von bereits im Gelände vorhandenen Objekten stellt.
  • Die Baumaschine verfügt über eine Bildaufzeichnungs- oder Bildaufnahmeeinheit zum Aufzeichnen eines Bildausschnitts des Geländes, der in einem von der Position und Orientierung der Baumaschine im Gelände abhängigen Koordinatensystem liegt, und eine Anzeigeeinheit zur Anzeige des Bildausschnitts des Geländes. Der Bildausschnitt sollte so gewählt werden, dass sämtliche für die Steuerung der Baumaschine relevanten Bereiche erfasst werden, wobei der Bildausschnitt auch Bereiche umfassen kann, die für den Maschinenführer vom Fahrstand aus nicht einsehbar sind. Die Bildaufzeichnungseinheit kann eine oder mehrere Kamera-Systeme umfassen. Wenn die Bildaufzeichnungseinheit mehrere Kamera-Systeme aufweist, kann der Bildausschnitt aus mehreren Bildern zusammengesetzt werden, die jeweils mit einem Kamera-System aufgenommen werden. Jedem Kamera-System kann aber auch ein eigener Bildausschnitt zugeordnet werden.
  • Das Kamera-System kann eine Kamera oder zwei Kameras (Stereokamera-System) umfassen. Wenn bei der Aufnahme mit einer Kamera eine dreidimensionale Szene auf die zweidimensionale Bildebene der Kamera abgebildet wird, ergibt sich ein eindeutiger Zusammenhang zwischen den Koordinaten eines Objektes, den Koordinaten der Abbildung des Objektes auf der Bildebene und der Brennweite der Kamera. Allerdings geht durch die zweidimensionale Abbildung die Tiefeninformation verloren.
  • Für die Erfindung ist ausreichend, wenn das Kamera-System nur eine Kamera aufweist, da in der Praxis die Krümmung der Geländeoberfläche in dem von der Kamera aufgenommenen Bildausschnitt vernachlässigt werden kann. Außerdem sind für die Erfindung nur zweidimensionale Szenen relevant, d. h. die Umrisslinien der Objekte in einer Ebene (Geländeoberfläche). Darauf ist die Erfindung aber nicht beschränkt.
  • Zur Erfassung dreidimensionaler Szenen und/oder der Berücksichtigung einer Krümmung der Geländeoberfläche kann das mindestens einer Kamera-System der Bildaufzeichnungseinheit auch ein Stereokamera-System sein, das zwei Kameras umfasst, die achsparallel in einem vorgegebenen horizontalen Abstand angeordnet sind, um nach den bekannten Verfahren aus der Disparität die Tiefeninformation gewinnen zu können.
  • Die Erfindung setzt eine Einrichtung zur Bereitstellung von Projekt-Daten voraus, die Form und Lage mindestens eines Projektes in einem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem beschreiben. Unter einem Projekt werden sämtliche mit der Baumaschine auszuführende Arbeiten verstanden, die eine Grundlage für die Steuerung der Baumaschine bilden, wobei das Projekt dadurch bestimmt wird, welche Arbeiten (Form) an einem bestimmten Ort (Lage) durchgeführt werden. Das Projekt kann in der Errichtung eines Baukörpers oder der Veränderung des Geländes liegen. So können die Projekt-Daten diejenigen Daten sein, die Form und Lage eines im Gelände zu errichtenden Baukörpers beschreiben. Bei den bekannten Gleitschalungsfertigern können die Projekt-Daten beispielsweise die Form und Lage einer zu errichtenden Leitwand beschreibende Daten oder bei den bekannten Straßenfräsmaschinen die eine im Gelände zu bearbeitenden oder auch nicht zu bearbeitende Fläche beschreibende Daten sein. Die Projekt-Daten stellen Parameter für die Steuerung der Baumaschine dar, die beispielsweise auch die Vorschubgeschwindigkeit und Neigung der Betonmulde eines Gleitschalungsfertigers oder die Frästiefe einer Fräsmaschine umfassen. Für die Erfindung ist nur entscheidend, dass Projekt-Daten eines oder mehrerer beliebiger Projekte zur Verfügung stehen.
  • Darüber hinaus weist die Baumaschine eine Datenverarbeitungseinheit auf, die derart konfiguriert ist, dass dem auf der Anzeigeeinheit angezeigten Bildausschnitt des Geländes der in dem Bildausschnitt liegende Teil des Projekts überlagert wird, so dass zumindest ein Teil des Projekts in dem Bildausschnitt angezeigt wird. Die Anzeigeeinheit zeigt somit nicht nur den realen Bildausschnitt, sondern auch ein virtuelles Bild des Projektes, so dass die Wahrnehmung des Maschinenführers erweitert wird. Folglich kann der Maschinenführer auf der Anzeigeeinheit erkennen, ob das der Steuerung zugrunde liegende Projekt mit der Realität zusammenpasst.
  • Wenn bei der Generierung der Projekt-Daten ein Fehler aufgetreten sein sollte, kann der Maschinenführer schon im Voraus einen Eingriff in die Maschinensteuerung vornehmen. Alternativ kann auch ein automatischer Eingriff in die Maschinensteuerung vorgenommen werden. Dieser Fehler kann beispielsweise darin liegen, dass das oder die im Gelände vorhandenen Objekte, die die Realität wiederspiegeln, für die Steuerung der Baumaschine nicht oder nicht korrekt erfasst worden sind. Beispielsweise kann der Maschinenführer erkennen, wenn die zu bearbeitende Fläche, beispielsweise die mit einer Straßenfräsmaschine abzufräsende Fläche auf einem Hydranten liegen oder der mit einem Gleitschalungsfertiger zu errichtende Baukörper, beispielsweise eine Leitwand, über einen Wassereinlauf verlaufen sollte.
  • Eine bevorzugte Ausführungsform der Erfindung sieht vor, dass die Baumaschine eine Einrichtung zur Ermittlung von die Position und Orientierung der Baumaschine beschreibende Positions-/Orientierungs-Daten in einem von der Baumaschine unabhängigen Koordinatensystem aufweist. Die Projekt-Daten werden in einem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem ermittelt, das sich mit der Bewegung der Baumaschine im Gelände nicht verändert.
  • Die Einrichtung zur Ermittlung von den die Position und Orientierung der Baumaschine beschreibenden Positions-/Orientierungs-Daten umfasst vorzugsweise ein globales Navigationssattelitensystem (GNSS), das einen ersten und einen zweiten GNSS-Empfänger zur Dekodierung von GNSS-Signalen des globalen Navigationssatellitensystems (GNSS) und Korrektursignalen einer Referenzstation für die Bestimmung der Position und Orientierung der Baumaschine aufweisen kann, wobei der erste und zweite GNSS-Empfänger an der Baumaschine in unterschiedlichen Positionen angeordnet sind. Mit dem ersten und zweiten GNSS-Empfänger kann die Messgenauigkeit erhöht werden. Anstelle eines globalen Navigationssatellitensystems (GNSS) kann die Position und Orientierung der Baumaschine auch mit einem satellitenunabhängigen System, beispielsweise mit einem Tachymeter, ermittelt werden.
  • Eine weitere bevorzugte Ausführungsform sieht vor, dass die die Form und Lage des mindestens einen Projektes beschreibenden Projekt-Daten in dem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem in Abhängigkeit von der bekannten Position und Orientierung der Baumaschine in dem von der Baumaschine unabhängigen Koordinatensystem in das von der Position und Orientierung der Baumaschine abhängige Koordinatensystem transformiert werden. Die in dem feststehenden Koordinatensystem bereitstehenden Projekt-Daten können dann dem Bildausschnitt in Echtzeit überlagert werden, so dass das Projekt immer in korrekter Ausrichtung zu dem realen Bild, das sich mit der Bewegung der Baumaschine laufend ändern kann, sichtbar ist.
  • Aus den Projekt-Daten können mit der Bildverarbeitungseinheit unterschiedliche Bilddaten gewonnen werden, mit denen sich das Projekt auf der Anzeigeeinheit für den Maschinenführer visualisieren lässt. Für die Visualisierung ist eine vereinfachte Darstellung des Projektes im Allgemeinen ausreichend. Vorzugsweise umfassen die Projekt-Daten mindestens eine Umrisslinie des Projektes beschreibende Daten, wobei die Datenverarbeitungseinheit derart konfiguriert ist, dass in dem Bildausschnitt des Geländes die mindestens eine Umrisslinie des Projektes angezeigt wird. Mit der Umrisslinie sind die Lage und die Form des Projektes in dem Bildausschnitt ausreichend gekennzeichnet. Wenn das Projekt beispielsweise ein Baukörper ist, kann der Baukörper auch durch eine farbliche Unterlegung oder eine Schraffur noch hervorgehoben oder allein dadurch dargestellt werden.
  • Bei einer weiteren besonders bevorzugten Ausführungsform ist die Datenverarbeitungseinheit derart konfiguriert, dass Objekt-Daten ermittelt werden, die die Form und Lage von mindestens einem realen Objekt in dem Bildausschnitt des Geländes beschreiben, wobei die Projekt-Daten dann mit den Objekt-Daten verglichen werden. In diesem Zusammenhang werden unter Objekt-Daten sämtliche Daten verstanden, mit denen die Form und Lage der in dem Gelände vorhandenen und mit der Bildaufzeichnungseinheit aufgezeichneten Objekte beschrieben werden, die als reale Objekte in dem Bildausschnitt dargestellt werden. Die Objekt-Daten können beispielsweise Lage und Form eines Baukörpers, beispielsweise eines Hydranten oder eines Wassereinlaufs im Gelände beschreiben, der bei der Errichtung eines Baukörper oder der Veränderung des Geländes nicht abgedeckt oder beschädigt werden soll. Der Vergleich der Projekt-Daten mit den Objekt-Daten ermöglicht über die Erweiterung der Wahrnehmung des Maschinenführers hinaus eine computerunterstützte Überwachung der Steuerung der Baumaschine, wobei festgestellt werden kann, dass die ermittelten Projekt-Daten nicht mit den Objekt-Daten (Realität) übereinstimmen. Bei dem Vergleich können die bekannten mathematischen Algorithmen verwendet werden, um beispielsweise feststellen zu können, ob der Baukörper tatsächlich neben dem Wassereinlauf liegt.
  • Eine besonders einfache Auswertung der Daten sieht vor, den Abstand zwischen mindestens einem auf die Umrisslinie des Projektes bezogenen Referenzpunkt und mindestens einem auf die Umrisslinie des Objektes bezogenen Referenzpunkt zu ermitteln. Der Referenzpunkt kann dabei selbst auf der Umrisslinie, beispielsweise auf einem Kreis oder Kreisbogen, oder neben der Umrisslinie liegen, beispielsweise auf dem Mittelpunkt eines Kreises liegen. Der ermittelte Abstand wird vorzugsweise mit einem vorgegebenen Grenzwert verglichen wird. Wenn der Abstand zwischen auf den Umrisslinien liegenden Referenzpunkten kleiner als ein vorgegebener Grenzwert ist, kann darauf geschlossen werden, dass ein Mindestabstand nicht eingehalten ist. Dieser Mindestabstand kann auf der Anzeigeeinheit visualisiert werden. Eine weitere Möglichkeit sind die von den Umrisslinien eingeschlossenen Flächen der Auswertung zugrunde zulegen. Es ist auch möglich, zu bestimmen, ob sich die unter Berücksichtigung eines vorgegebenen Mindestabstandes um das Objekt festgelegte Umrisslinie des Projektes mit der Umrisslinie des Objektes schneidet. Für den Fall, dass die Projekt-Linie die Objekt-Linie schneidet, kann darauf geschlossen werden, dass die Projekt-Linie nicht die Objekt-Linie umschließt, d. h. Projekt und Objekt nicht zusammenpassen, sondern sich zumindest teilweise überlappen.
  • Die Baumaschine weist vorzugsweise eine Alarm-Einheit auf, die einen optischen und/oder akustischen und/oder taktilen Alarm gibt, wenn die Datenverarbeitungseinheit festgestellt hat, dass Projekt und Objekt nicht zusammenpassen, beispielsweise sich die Projekt-Linie und Objekt-Linie schneiden und/oder der ermittelte Abstand zwischen den Umrisslinien von Projekt und Objekt kleiner als ein vorgegebener Grenzwert ist. Es kann auch ein Steuersignal für einen Eingriff in die Maschinensteuerung erzeugt werden.
  • Für die Erfindung ist unerheblich, wie Projekt-Daten bereitgestellt werden. Bei einer bevorzugten Ausführungsform weist die Baumaschine eine Schnittstelle zum Einlesen der Projekt-Daten und eine Speichereinheit zum Speichern der eingelesenen Projekt-Daten auf. Damit ist es möglich, die für die Steuerung der Baumaschine erforderlichen Projekt-Daten schon vorher zu ermitteln. Die Projekt-Daten werden vorzugsweise im Gelände mit einem vorzugsweise satellitengestützten Messgerät (Rover) ermittelt.
  • Im Folgenden werden verschiedene Ausführungsbeispiele der Erfindung unter Bezugnahme auf die Zeichnungen näher erläutert.
  • Es zeigen:
    • Fig. 1A
    ein Ausführungsbeispiel eines Gleitschalungsfertigers in der Seitenansicht,
    Fig. 1B
    den Gleitschalungsfertiger von Fig. 1A in der Draufsicht,
    Fig. 2A
    ein Ausführungsbeispiel einer Straßenfräsmaschine in der Seitenansicht,
    Fig. 2B
    die Straßenfräsmaschine von Fig. 2A in der Draufsicht,
    Fig. 3
    die mit einer Straßenfräsmaschine zu bearbeitende Straßenoberfläche zusammen mit dem von der Bewegung der Baumaschine unabhängigen Koordinatensystem und dem von der Bewegung der Baumaschine abhängigen Koordinatensystem,
    Fig. 4
    den auf der Anzeigeeinheit der Straßenfräsmaschine angezeigten Bildausschnitt des Geländes,
    Fig. 5A
    ein Beispiel für die Überlagerung der Umrisslinien eines Projektes und eines Objektes in dem Bildausschnitt, wobei sich die Umrisslinien von Projekt und Objekt nicht schneiden,
    Fig. 5B
    ein Beispiel für die Überlagerung der Umrisslinien eines Projektes und eines Objektes in dem Bildausschnitt, wobei sich die Umrisslinien von Projekt und Objekt schneiden,
    Fig. 6
    den auf der Anzeigeeinheit eines Gleitschalungsfertigers angezeigten Bildausschnitt des Geländes, wobei Projekt und Objekt genau zusammenpassen,
    Fig. 7
    den auf der Anzeigeeinheit eines Gleitschalungsfertigers angezeigten Bildausschnitt des Geländes, wobei Projekt und Objekt nicht zusammenpassen und
    Fig. 8
    ein Blockschaltbild mit den wesentlichen Komponenten für die Visualisierung des Bearbeitungsumfeldes der erfindungsgemäßen Baumaschine.
  • Die Figuren 1A und 1B zeigen in der Seitenansicht und Draufsicht als Beispiel für eine selbstfahrende Baumaschine einen Gleitschalungsfertiger. Ein derartiger Gleitschalungsfertiger ist in der EP 1 103 659 B1 im Einzelnen beschrieben. Da Gleitschalungsfertiger als solche zum Stand der Technik gehören, werden hier nur die für die Erfindung wesentlichen Komponenten der Baumaschine beschrieben.
  • Der Gleitschalungsfertiger 1 weist einen Maschinenrahmen 2 auf, der von einem Fahrwerk 3 getragen wird. Das Fahrwerk 3 weist zwei vordere und zwei hintere Kettenlaufwerke 4A, 4B auf, die an vorderen und hinteren Hubsäulen 5A, 5B befestigt sind. Die Arbeitsrichtung (Fahrtrichtung) des Gleitschalungsfertigers ist mit einem Pfeil A gekennzeichnet. Es kann aber auch nur ein vorderes oder hinteres Laufwerk vorgesehen sein.
  • Die Kettenlaufwerke 4A, 4B und Hubsäulen 5A, 5B bilden die Antriebseinrichtung des Gleitschalungsfertigers zum Ausführen von translatorischen und/oder rotatorischen Bewegungen der Baumaschine auf dem Gelände. Durch Anheben und Absenken der Hubsäulen 5A, 5B kann der Maschinenrahmen 2 gegenüber dem Boden in der Höhe und Neigung bewegt werden. Mit den Kettenlaufwerken 4A, 4B kann der Gleitschalungsfertiger vor- und zurückbewegt werden. Damit hat die Baumaschine drei translatorische und drei rotatorische Freiheitsgrade.
  • Der Gleitschalungsfertiger 1 verfügt über eine nur andeutungsweise dargestellte Vorrichtung 6 zum Formen von Beton, die nachfolgend als Betonmulde bezeichnet wird. Die Betonmulde 6 stellt die Arbeitseinrichtung des Gleitschalungsfertigers zur Errichtung eines Baukörpers mit einer vorgegebenen Form auf dem Gelände dar.
  • Die Figuren 2A und 2B zeigen als weiteres Beispiel für eine selbstfahrende Baumaschine eine Straßenfräsmaschine in der Seitenansicht, wobei für die einander entsprechenden Teile die gleichen Bezugszeichen verwendet werden. Auch die Straßenfräsmaschine 1 weist einen Maschinenrahmen 2 auf, der von einem Fahrwerk 3 getragen wird. Das Fahrwerk 3 weist wieder vordere und hintere Kettenlaufwerke 4A, 4B auf, die an vorderen und hinteren Hubsäulen 5A, 5B befestigt sind. Es kann aber auch nur ein vorderes oder hinteres Laufwerk vorgesehen sein. Die Straßenfräsmaschine verfügt über eine Arbeitseinrichtung zum Verändern des Geländes. Hierbei handelt es sich um eine Fräseinrichtung 6 mit einer mit Fräswerkzeugen bestückten Fräswalze, die in den Figuren aber nicht erkennbar ist. Das Fräsgut wird mit einer Fördereinrichtung F abtransportiert.
  • Die mit einer Straßenfräsmaschine zu bearbeitende Straßenoberfläche ist in Fig. 3 dargestellt. Auf dem Gelände verläuft eine von Bordsteinen 7 seitlich begrenzte Straße 8. Bei diesem Ausführungsbeispiel liegt das Projekt darin, den Belag der Straße abzufräsen. Dabei ist zu berücksichtigen, dass sich auf der Straße bestimmte Objekte O befinden, beispielsweise Schachtdeckel in der Mitte des Straßenbelags und Wassereinläufe an der Seite des Straßenbelags. Fig. 3 zeigt zwei Schachtdeckel 9, 10 und einen Wassereinlauf 11, die von der Straßenfräsmaschine beim Abfräsen des Straßenbelags überfahren werden. Die Darstellung in Fig. 3 entspricht aber nicht dem Sichtfeld des Maschinenführers. Die Objekte O auf der Straße kann der Maschinenführer auf dem Fahrstand der Baumaschine nicht sehen, da sie sich unmittelbar vor der Baumaschine oder unterhalb der Maschine befinden. Der Maschinenführer kann den Schachtdeckel insbesondere dann nicht erkennen, wenn sich die Fräswalze nur noch ein kurzes Stück vor dem Schachtdeckel befindet, d. h. genau zu dem Zeitpunkt, an dem der Maschinenführer die Fräswalze anheben muss. Dieser Bereich kann aber auch wegen des umherfliegenden Fräsgutes im Fräswalzengehäuse mit einer Kamera nicht überwacht werden.
  • Da der Maschinenführer die Schachtdeckel nicht erkennen kann, werden in der Praxis auf der Höhe der Schachtdeckel seitliche Markierungen angebracht, die in Fig. 3 mit M1 und M2 bezeichnet sind. Diese Markierungen sollen dem Maschinenführer oder einer anderen Person ermöglichen, die Position der Schachtdeckel zu erkennen, so dass die Fräswalze rechtzeitig angehoben werden kann. Derartige Markierungen sind aber bei der erfindungsgemäßen Baumaschine nicht erforderlich.
  • Die Lage und Form der kreisförmigen Schachtdeckel 9, 10 werden eindeutig durch drei auf dem Kreisumfang liegende Referenzpunkte O11, O12, O13 und O21, O22, O23 beschrieben. Lage und Form der rechteckförmigen Wassereinläufe werden durch vier Referenzpunkte O31, O32, O33, O34 beschrieben, die an den Ecken des Wassereinlaufs liegen.
  • Das Projekt wird durch zuvor erstellte Projekt-Daten beschrieben, die über eine geeignete Schnittstelle 12A in einen Arbeitsspeicher 12 der Baumaschine eingelesen werden (Fig. 8). Die Projekt-Daten enthalten die Koordinaten von für das Projekt charakteristischen Referenzpunkten, die in einem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) erfasst werden. Bei diesem Ausführungsbeispiel liegen die Referenzpunkte auf den Umrisslinien 13, 14, 15, die in einem vorgegebenen Mindestabstand Δ die Umrisslinien 16, 17, 18 der Objekte O umschließen. Da bei diesem Ausführungsbeispiel die Objekte O kreisförmige Schachtdeckel 9, 10 und rechteckförmige Wassereinläufe 11 sind, sind die das Projekt beschreibende Umrisslinien ebenfalls Kreise und Rechtecke. Die kreisförmigen Umrisslinien 13, 14 des Projektes werden eindeutig durch die Koordinaten von drei Referenzpunkten P11, P12, P13 und P21, P22, P23 und die rechteckförmigen Umrisslinien 15 des Projektes durch die Koordinaten von vier Referenzpunkten P31, P32, P33, P34 in dem von der Bewegung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) beschrieben.
  • Die Projekt-Daten umfassen die Koordinaten der Referenzpunkte des Projektes in dem feststehenden, von der Bewegung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z). Sie kennzeichnen die abzufräsende Fläche, die außerhalb der Umrisslinien 13, 14, 15 des Projektes liegt. Die nicht zu bearbeitende Fläche ist die innerhalb der Umrisslinien 13, 14, 15 des Projektes liegende Fläche, in der die Objekte O liegen. Damit ist das Projekt eindeutig bestimmt.
  • Die Projekt-Daten können wie folgt ermittelt werden. Das feststehende Koordinatensystem (X, Y, Z) ist vorzugsweise das Koordinatensystem eines globalen Satellitennavigationssystems (GNSS), so dass die Referenzpunkte der Objekte mit einem Messgerät (Rover) auf einfache Weise erfasst werden können. Aus den Referenzpunkten O11, O12, O13 und O21, O22, O23 und O31, O32, O33, O34 der Objekte werden unter Berücksichtigung eines Mindestabstandes Δ zwischen der Umrisslinie 13, 14, 15 des Projektes und der Umrisslinie 16, 17, 18 des Objektes die Referenzpunkte P11, P12, P13 und P21, P22, P23 und P31, P32, P33, P34 des Projektes ermittelt. Die Projekt-Daten können in einer externen Speichereinheit, beispielsweise einem USB-Stick, gespeichert und über die Schnittstelle 12A in die interne Speichereinheit 12 der Baumaschine eingelesen werden. Mit diesen Daten kann die Baumaschine dann gesteuert werden. Wenn die Straßenfräsmaschine eine nicht zu bearbeitende Fläche erreicht, wird die Fräswalze in Bezug auf den Boden automatisch angehoben. Sobald die Straßenfräse die nicht zu bearbeitende Fläche überfahren hat, wird die Fräswalze wieder abgesenkt. Dadurch wird vermieden, dass der Schachtdeckel 9, 10 oder Wassereinlauf 11 bzw. die Baumaschine beschädigt wird. Das Anheben und Absenken der Fräswalze kann aber auch mit einem manuellen Eingriff in die Maschinensteuerung erfolgen, wobei dem Maschinenführer der Zeitpunkt, an dem der Eingriff vorzunehmen ist, signalisiert wird.
  • In der Praxis kann es vorkommen, dass die Referenzpunkte des Projektes in dem von der Straßenfräsmaschine unabhängigen GNSS-Koordinatensystem unter Berücksichtigung des Objektes O nicht korrekt erfasst werden. Dann besteht die Gefahr, dass der Schachtdeckel 9, 10 oder Wassereinlauf 11 nicht innerhalb der zuvor festgelegten Umrisslinie 16, 17, 18 liegt, was zur Folge hätte, dass der Schachtdeckel oder Wassereinlauf bzw. die Maschine beschädigt wird.
  • Die Straßenfräsmaschine verfügt über eine Bildaufzeichnungseinheit 19, die ein am Maschinenrahmen 2 angeordnetes Kamera-System 19A aufweist, mit dem ein Bildausschnitt 20A des zu bearbeitenden Geländes, d. h. des Straßenbelags mit den Schachtdeckeln und Wassereinläufen, aufgenommen wird. Das Kamera-System 19A erfasst einen vom Maschinenführer auf dem Fahrstand nicht einsehbaren Bereich. Der Bildausschnitt 20A wird auf einer Anzeigeeinheit 20, beispielsweise ein LC-Display, angezeigt. Fig. 4 zeigt das Display der Anzeigeeinheit 20. Während sich die Straßenfräse im Gelände bewegt, verändert sich laufend das in dem Bildausschnitt 20A gezeigte Bild, so dass der Maschinenführer erkennen kann, dass er sich mit der Straßenfräse auf einen Schachtdeckel 9, 10 oder Wassereinlauf 11 zubewegt.
  • Darüber hinaus verfügt die Straßenfräsmaschine über eine Datenverarbeitungseinheit 21, mit der die bereitstehenden Projekt-Daten verarbeitet werden. Die Datenverarbeitungseinheit 21 ist derart konfiguriert, dass dem auf der Anzeigeeinheit 20 angezeigten Bildausschnitt 20A des Geländes das in dem Bildausschnitt liegende Projekt überlagert wird. Bei diesem Ausführungsbeispiel werden die Umrisslinien 16, 17, 18 des Projektes, mit denen die zu bearbeitende Fläche bzw. die nicht zu bearbeitende Fläche gekennzeichnet werden, in dem Bildausschnitt 20 A so angezeigt, wie sie den zuvor ermittelten Projekt-Daten entsprechen. Der Maschinenführer kann somit auf der Anzeigeeinheit 20 sofort erkennen, wenn die Projekt-Daten nicht der Realität entsprechen sollten, d. h. die Umrisslinien 16, 17, 18 des Projektes nicht die Umrisslinien 13, 14, 15 der Objekte O in dem vorgegebenen Mindestabstand Δ konzentrisch umschließen sollten. Wenn die Schachtdeckel und Wassereinläufe innerhalb der angezeigten Umrisslinien liegen, kann die Steuerung der Straßenfräse hingegen ohne weiteren Eingriff in die Maschinensteuerung erfolgen.
  • Dem Bildausschnitt 20A ist ein von der Bewegung der Baumaschine im Gelände abhängiges Koordinatensystem (x, y, z) zugeordnet, das in Fig. 3 gezeigt ist. Die Position (Ursprung) und Ausrichtung dieses Koordinatensystems entspricht dem Standort und Blickwinkel der Kamera 19A auf der Baumaschine. In diesem Koordinatensystem werden Lage und Form der Objekte O ebenfalls durch entsprechende Koordinaten beschrieben.
  • Das von der Bewegung der Baumaschine im Gelände abhängige Koordinatensystem (x, y, z) kann ein dreidimensionales oder zweidimensionales Koordinatensystem sein. In Fig. 3 ist der allgemeine Fall eines Koordinatensystem mit einer x-Achse, y-Achse und einer z-Achse gezeigt. Bei einer zu vernachlässigenden Krümmung der Geländeoberfläche und der Betrachtung nur zweidimensionaler Objekte ist aber ein zweidimensionales Koordinatensystem ausreichend. Dies setzt aber voraus, dass die x/y-Ebene des Koordinatensystems parallel zu der als eben angenommen Geländeoberfläche liegt, was nachfolgend angenommen wird.
  • Das Kamera-System kann ein Stereokamera-System oder ein Kamera-System mit nur einer Kamera sein. Bei zu vernachlässigender Krümmung der Geländeoberfläche und/oder der Berücksichtigung nur zweidimensionaler Objekte ist aber ein Kamera-System mit nur einer Kamera ausreichend. Wenn das Kamera-System ein Stereokamera-System ist, können auf der Anzeigeeinheit 20 mit den bekannten Verfahren auch dreidimensionale Bilder angezeigt werden.
  • Zur Ermittlung der Position und Orientierung der Baumaschine und damit auch der Position und Orientierung (Blickwinkel) des Kamera-Systems 19A in dem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) verfügt die Baumaschine über eine Einrichtung 22, die Positions-/Orientierungs-Daten der Baumaschine bereitstellt (Fig. 8). Diese Einrichtung kann einen ersten GNSS-Empfänger 22A und zweiten GNSS-Empfänger 22B aufweisen, die an der Baumaschine in unterschiedlichen Positionen S1, S2 angeordnet sind. Fig. 1B zeigt die Position S1 und S2 der beiden GNSS-Empfänger 22A und 22B an dem Gleitschalungsfertiger. Der erste und zweite GNSS-Empfänger 22A, 22B dekodieren für die Bestimmung der Position und Orientierung der Baumaschine die GNSS-Signale des globalen Navigationssatellitensystems (GNSS) und Korrektursignale einer Referenzstation. Derartige Systeme, die eine hoch präzise Bestimmung der Positions-/Orientierungs-Daten ermöglichen, gehören zum Stand der Technik. Anstelle des zweiten GNNS-Empfängers kann aber auch ein elektronischer Kompass K vorgesehen sein, um die Orientierung der Baumaschine zu erfassen. Fig. 2B zeigt die Position S1 des ersten GNSS-Empfängers 22A und die Position S2 des Kompasses K an der Straßenfräsmaschine. Auf den Kompass kann aber auch verzichtet werden, wenn die Orientierung der Baumaschine berechnet wird. Die Berechnung der Orientierung kann dadurch erfolgen, dass die Lage eines Referenzpunktes der Baumaschine zu aufeinanderfolgenden Zeitpunkten bestimmt und aus der Lageänderung die Richtung der Bewegung bestimmt wird. Die Genauigkeit kann durch die Einbeziehung der Lenkwinkel in die Berechnung zusätzlich erhöht werden.
  • Die Datenverarbeitungseinheit 21 empfängt die aktuellen Positions-/Orientierungs-Daten, die von der Einrichtung 22 zur Ermittlung der Position und Orientierung der Baumaschine laufend bereitstellt werden, und transformiert die Form und Lage des Projektes in dem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) beschreibenden Projekt-Daten in Abhängigkeit von der Position und Orientierung der Baumaschine in dem von der Baumaschine unabhängigen Koordinatensystem in das von der Position und Orientierung der Baumaschine abhängige Maschinenkoordinatensystem (x, y, z). Diese Datentransformation erfolgt in Echtzeit. Nachdem die Koordinaten der die Umrisslinien des Projektes kennzeichnenden Referenzpunkte in dem Maschinenkoordinatensystem bekannt sind, werden die Umrisslinien 16, 17, 18 des Projektes in dem Bildausschnitt 20A angezeigt (Fig. 4). Die zur Generierung der Umrisslinien erforderlichen Operationen der Datenverarbeitungseinheit gehören zum Stand der Technik.
  • Wenn für den dargestellten Bildausschnitt 20A keine Projekt-Daten vorliegen, erfolgt auf der Anzeigeeinheit 20 keine Visualisierung. Ansonsten werden die relevanten Informationen dem Maschinenführer neben der Abbildung der realen Objekte (Hydrant 9, 10 oder Wassereinlauf 11) mittels der Umrisslinien 16, 17, 18 als virtuelle Objekte angezeigt, die mit den im Kamerabild erfassten realen Objekten O zusammenpassen sollen. Folglich kann der Maschinenführer die Steuerung der Baumaschine ständig überwachen.
  • Die Datenverarbeitungseinheit 21 kann eine Bildverarbeitungseinheit umfassen, die automatisch erkennen kann, ob die realen Objekte O mit den virtuellen Objekten zusammenpassen, d. h. die in dem Bildausschnitt gezeigte reale Umrisslinie 13, 14, 15 eines Objektes O (Hydrant oder Wassereinlauf) tatsächlich innerhalb der zugehörigen virtuellen Umrisslinie 16, 17, 18 des Projektes liegt. Die Datenverarbeitungseinheit 21 ist derart konfiguriert, dass die Form und Lage des mit dem Kamera-System 19A aufgenommenen realen Objektes O (Hydrant oder Wassereinlauf) in dem Bildausschnitt 20A ermittelt wird. Hierzu kann die Datenverarbeitungseinheit 21 von den bekannten Verfahren zur Bilderkennung Gebrauch machen. Form und Lage des realen Objektes in dem Bildausschnitt werden durch Objekt-Daten beschrieben. Beispielsweise wird die kreisförmige Umrisslinie des Schachtdeckels 9 durch die drei auf der Umrisslinie liegenden Referenzpunkte P11, P12, P13 beschrieben (Fig. 3).
  • Die Objekt-Daten werden in der Datenverarbeitungseinheit 21 mit den Projekt-Daten verglichen, um festzustellen, ob die realen Objekte mit den virtuellen Objekten zusammenpassen. Bei diesem Ausführungsbeispiel prüft die Datenverarbeitungseinheit, ob die Umrisslinie 13 des realen Objektes, beispielsweise des Schachtdeckels 9, innerhalb der Umrisslinie 16 des Projektes liegt. Hierzu prüft die Datenverarbeitungseinheit 21, ob sich die beiden Umrisslinien 13, 16 schneiden. Wenn sich die Umrisslinien 13, 16 nicht schneiden, wird darauf geschlossen, dass die Objekt-Daten der Realität entsprechen. Andernfalls wird auf eine fehlerhafte Ermittlung der Objekt-Daten geschlossen.
  • Fig. 5A zeigt den Fall, dass die Objekt-Daten mit den Projekt-Daten zusammenpassen, d. h. die Umrisslinien 13, 16 haben keinen Schnittpunkt, während Fig. 5B den Fall zeigt, dass die Objekt-Daten nicht mit den Projekt-Daten zusammenpassen, d. h. die Umrisslinien 13, 16 schneiden sich in zwei Punkten Ps.
  • Darüber hinaus kann die Datenverarbeitungseinheit 21 bei einer bevorzugten Ausführungsform noch feststellen, ob ein Mindestabstand Δ eingehalten wird. Hierzu bestimmt die Datenverarbeitungseinheit zwei Referenzpunkte PA1 und PA2, die der Umrisslinie 13 des Objektes bzw. der Umrisslinie 16 des Projektes zugeordnet werden. Beispielsweise können als Referenzpunkte PA1, PA2 Punkte bestimmt werden, die auf den kreisförmigen Umrisslinien 13, 16 besonders nahe aneinander liegen (Fig. 5A). Die Datenverarbeitungseinheit 21 bestimmt den Abstand a zwischen den auf den Umrisslinien liegenden Referenzpunkten PA1, PA2 und vergleicht den Abstand a mit einem vorgegebenen Grenzwert. Wenn der Abstand zwischen den Punkten kleiner als der vorgegebene Grenzwert ist, wird darauf geschlossen, dass die Umrisslinie 13 des Objektes zwar innerhalb des Projektes liegt, da sich die Umrisslinien 13, 16 nicht schneiden. Es wird aber darauf geschlossen, dass ein Mindestabstand Δ nicht eingehalten ist, so dass dennoch die Gefahr der Beschädigung des Schachtdeckels oder der Baumaschine besteht. Die Referenzpunkte können aber auch die Mittelpunkte oder Linien- oder Flächenschwerpunkte der kreisförmigen Umrisslinien sein. Bei einer exakten Ausrichtung unter Berücksichtigung des vorgegebenen Mindestabstandes Δ haben die Umrisslinien 13, 16 einen gemeinsamen Mittelpunkt oder Linien- oder Flächenschwerpunkt, d.h. der Abstand zwischen den Mittelpunkten sollte möglichst klein sein.
  • Die obige Ausführungsform ist nur als ein Ausführungsbeispiel zu verstehen, um die Projekt-Daten und Objekt-Daten miteinander zu vergleichen. Die Daten können aber auch mit allen anderen bekannten Algorithmen ausgewertet werden, um darauf zu schließen, ob die realen Objekte mit den virtuellen Objekten zusammenpassen.
  • Die Baumaschine weist eine Alarm-Einheit 23 auf, die einen optischen und/oder akustischen und/oder taktilen Alarm gibt, wenn die Datenverarbeitungseinheit 21 festgestellt hat, dass die beiden Umrisslinien 13, 16 nicht zusammenpassen und/oder der Abstand a kleiner als ein vorgegebener Grenzwert ist (Fig. 8). Der Maschinenführer kann auf eine fehlerhafte Ermittlung der Objekt-Daten auch durch farbliche Unterlegungen bestimmter Flächen, Schraffuren oder durch Markierungen hingewiesen werden. Auf der Anzeigeeinheit 20 kann der Abstand a auch angezeigt werden.
  • Nachfolgend wird unter Bezugnahme auf die Figuren 6 und 7 ein weiteres Ausführungsbeispiel der Erfindung beschrieben, das sich von dem vorherigen Ausführungsbeispiel dadurch unterscheidet, dass das Projekt nicht die Veränderung des Geländes mit einer Straßenfräsmaschine (Fig. 2), sondern die Errichtung eines Baukörpers mit einem Gleitschalungsfertiger (Fig. 1) ist. Der Gleitschalungsfertiger verfügt wie die Straßenfräsmaschine über eine Bildaufzeichnungseinheit 12 und eine Datenverarbeitungseinheit 21 sowie eine Einrichtung 12 zur Bereitstellung der Projekt-Daten (Fig. 8). Die einander entsprechenden Teile sind mit den gleichen Bezugszeichen versehen.
  • Bei dem vorliegenden Ausführungsbeispiel ist das Projekt des Gleitschalungsfertiger eine Verkehrsinsel, die von einem Bordstein 25 aus Beton seitlich begrenzt wird. Der Bordstein25 weist beispielsweise einen geraden Abschnitt 25A auf, an den sich ein halbkreisförmiger Abschnitt 25B anschließt. Der Bordstein25 soll neben einem rechteckförmigen Wassereinlauf 26 liegen, was eine genaue Steuerung des Gleitschalungsfertigers voraussetzt.
  • Die Projekt-Daten enthalten wieder die Koordinaten von für das Projekt charakteristischer Referenzpunkten, die in einem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) erfasst werden. Die Projekt-Daten beschreiben die Form und Lage des Bordsteins25. Form und Lage des geraden Abschnitts 25A können beispielsweise durch jeweils zwei Referenzpunkte P1, P2 und P3, P4 beschrieben werden, die am Anfang und Ende der inneren bzw. äußeren Umrisslinie 27, 28 des Bordsteins 25 liegen. Der halbkreisförmige Abschnitt 20B kann beispielsweise durch drei Referenzpunkte P2, P5, P6 und P4, P7, P8 beschrieben werden, die auf der inneren bzw. äußeren Umrisslinie 27, 28 liegen.
  • Die zuvor ermittelten Projekt-Daten, die sich auf das von der Position und Orientierung unabhängige GNSS-System beziehen, werden über die Schnittstelle 12A in den Arbeitsspeicher 12 des Gleitschalungsfertigers eingelesen. Die Steuereinheit des Gleitschalungsfertigers ist derart konfiguriert, dass sich der Gleitschalungsfertiger auf einer Bahn bewegt, die dem Verlauf des zu errichtenden Bordsteins25 entspricht.
  • Die Figuren 6 und 7 zeigen den von dem Kamera-System 19A der Bildaufzeichnungseinheit 19 aufgenommenen und auf der Anzeigeeinheit 20 angezeigten Bildausschnitt 20A , in dem das in Arbeitsrichtung A vor dem Gleitschalungsfertiger liegende Gelände und ein Teil des Gleitschalungsfertigers mit der Betonmulde 6 zu erkennen ist.
  • Die Einrichtung 22 zur Ermittlung der Position und Orientierung des Gleitschalungsfertigers im Gelände berechnet laufend die aktuellen Positions-/Orientierungsdaten, wobei die Datenverarbeitungseinheit 21 die Projekt-Daten, die in dem von der Position und Orientierung des Gleitschalungsfertigers unabhängigen GNSS-System (X, Y, Z) vorliegen, in das von der Position und Orientierung des Gleitschalungsfertigers abhängige Maschinenkoordinatensystem (x, y, z) transformiert, das dem Blickwinkel des Kamera-Systems entspricht. Nach der Ermittlung der Koordinaten der Referenzpunkte in dem Maschinenkoordinatensystem werden die inneren und äußeren Umrisslinien 27, 28 des geraden und halbkreisförmigen Abschnitts 25A, 25B dem Kamerabild überlagert.
  • Die Figuren 6 und 7 zeigen eine Möglichkeit der Darstellung des Bordsteins 25 in dem Bildausschnitt 20A durch die Umrisslinien 27, 28, die dem Maschinenführer den Verlauf des Bordsteins zeigen, der mit dem Gleitschalungsfertiger gefertigt wird, wenn die gespeicherten Projekt-Daten der Steuerung zugrunde liegen. Zur Visualisierung des Bordsteins 25 in dem Kamerabild können neben den inneren und äußeren Umrisslinien 27, 28 auch farbliche Unterlegungen, Schraffuren, Hilfslinien oder Markierungen von der Datenverarbeitungseinheit 21 generiert und auf der Anzeigeeinheit 20 angezeigt werden. Der Maschinenführer kann in dem Bildausschnitt 20A den korrekten Verlauf des Bordsteins 25 überprüfen. Er kann schon im Voraus erkennen, ob der Bordstein 25 beispielsweise neben dem Wassereinlauf 26 verläuft.
  • Fig. 6 zeigt den Fall eines korrekten Verlaufs des Bordsteins 25 dicht neben, d. h. in einem vorgegebenen Mindestabstand zu dem Wassereinlauf 26, während Fig. 7 den Fall zeigt, dass der Bordstein 25 über den Wassereinlauf 26 verläuft. In diesem Fall erzeugt die Alarmeinheit 23 ein Alarmsignal, so dass der Maschinenführer einen Eingriff in die Maschinensteuerung vornehmen kann.
  • Bei einer bevorzugten Ausführungsform bestimmt die Datenverarbeitungseinheit 21 mit einer Bilderkennung die Koordinaten von Referenzpunkten O1, O2, O3, O4 des rechteckförmigen Wassereinlaufs 26 in dem Maschinenkoordinatensystem (x, y, z), das dem Kamerabild entspricht. Da die standardisierte Form und Größe des Wassereinlaufs 26 bekannt ist, können beispielsweise die Koordinaten der Eckpunkte des Wassereinlaufs mit einer Bilderkennung ohne größeren Rechenaufwand bestimmt werden. Diese Koordinaten liefern dann die Objekt-Daten, die mit den Projekt-Daten verglichen werden, um feststellen zu können, ob die Planung mit der Realität übereinstimmt. Hierfür kann mit der Datenverarbeitungseinheit 21 beispielsweise geprüft werden, ob sich die Umrisslinien von Bordstein und Wassereinlauf schneiden, und/oder mit der Datenverarbeitungseinheit kann beispielsweise der Abstand zwischen den Umrisslinien berechnet werden, wie unter Bezugnahme auf das andere Ausführungsbeispiel beschrieben ist.

Claims (18)

  1. Selbstfahrende Baumaschine mit
    einem Fahrwerk (3), das in Arbeitsrichtung vordere und hintere Räder oder Laufwerke (4A, 4B) aufweist,
    einem Maschinenrahmen (2), der von dem Fahrwerk getragen wird,
    einer Antriebseinrichtung zum Antreiben der vorderen und/oder hinteren Räder oder Laufwerke (4A, 4B),
    einer Arbeitseinrichtung (6) zur Errichtung von Baukörpern auf dem Gelände oder zum Verändern des Geländes,
    einer Bildaufzeichnungseinheit (19) zum Aufzeichnen eines Bildausschnitts (20A) des Geländes, der in einem von der Position und Orientierung der Baumaschine im Gelände abhängigen Koordinatensystem (x,y,z) liegt, und
    einer Anzeigeeinheit (20) zur Anzeige des Bildausschnitts (20A) des Geländes,
    dadurch gekennzeichnet, dass
    die Baumaschine weiterhin aufweist:
    eine Einrichtung (12) zur Bereitstellung von die Form und Lage mindestens eines Projektes in einem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) beschreibende Projekt-Daten, und
    eine Datenverarbeitungseinheit (21), die derart konfiguriert ist, dass dem auf der Anzeigeeinheit (20) angezeigten Bildausschnitt (20A) des Geländes eine Darstellung des in dem Bildausschnitt liegenden Teils des mindestens einen Projekts überlagert wird, so dass zumindest ein Teil des mindestens einen Projekts in dem Bildausschnitt visualisiert wird.
  2. Selbstfahrende Baumaschine nach Anspruch 1, dadurch gekennzeichnet, dass die Baumaschine eine Einrichtung (22) zur Ermittlung von die Position und Orientierung der Baumaschine beschreibende Positions-/Orientierungs-Daten in dem von der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) aufweist.
  3. Selbstfahrende Baumaschine nach Anspruch 2, dadurch gekennzeichnet, dass die Einrichtung (22) zur Ermittlung von den die Position und Orientierung der Baumaschine beschreibenden Positions-/Olientierungs-Daten ein globales Navigationssatellitensystem (GNSS) umfasst.
  4. Selbstfahrende Baumaschine nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Einrichtung (22) zur Ermittlung von den die Position und Orientierung der Baumaschine beschreibenden Positions-/Olientierungs-Daten einen ersten und einen zweiten GNSS-Empfänger (22A, 22B) zur Dekodierung von GNSS-Signalen des globalen Navigationssatellitensystems (GNSS) und Korrektursignalen einer Referenzstation für die Bestimmung der Position und Orientierung der Baumaschine aufweisen, wobei der erste und zweite GNSS-Empfänger (22A, 22B) an der Baumaschine in unterschiedlichen Positionen (S1, S2) angeordnet sind.
  5. Selbstfahrende Baumaschine nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (21) derart konfiguriert ist, dass die die Form und Lage des mindestens einen Projektes beschreibenden Projekt-Daten in dem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) in Abhängigkeit von der Position und Orientierung der Baumaschine in dem von der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) in ein von der Position und Orientierung der Baumaschine abhängiges Koordinatensystem (x, y, z) transformiert werden.
  6. Selbstfahrende Baumaschine nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die die Form und Lage des mindestens einen Projektes beschreibenden Projekt-Daten mindestens eine Umrisslinie (16, 17, 18; 27, 28) des Projektes beschreibende Daten umfassen, wobei die Datenverarbeitungseinheit (21) derart konfiguriert ist, dass in dem Bildausschnitt des Geländes die mindestens eine Umrisslinie (16, 17, 18; 27, 28) des Projektes angezeigt wird.
  7. Selbstfahrende Baumaschine nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (21) derart konfiguriert ist, dass die Form und Lage von mindestens einem realen Objekt (O) in dem Bildausschnitt des Geländes beschreibende Objekt-Daten ermittelt werden, wobei die Objekt-Daten mit den Projekt-Daten verglichen werden.
  8. Selbstfahrende Baumaschine nach Anspruch 7, dadurch gekennzeichnet, dass der Abstand (a) zwischen mindestens einem auf die Umrisslinie (16, 17, 18) des Projektes bezogenen Referenzpunkt (PA2) und mindestens einem auf die Umrisslinie (13, 14, 15) des Objektes bezogenen Referenzpunkt (PA1) ermittelt wird.
  9. Selbstfahrende Baumaschine nach Anspruch 8, dadurch gekennzeichnet, dass die Baumaschine eine Alarm-Einheit (23) aufweist, die einen optischen und/oder akustischen und/oder taktilen Alarm gibt oder ein Steuersignal für einen Eingriff in die Maschinensteuerung erzeugt, wenn die Datenverarbeitungseinheit (21) festgestellt hat, dass der Abstand (a) kleiner als ein vorgegebener Grenzwert ist.
  10. Selbstfahrende Baumaschine nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Einrichtung (12) zur Bereitstellung von den die Form und Lage mindestens eines Projektes in dem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) beschreibenden Projekt-Daten eine Schnittstelle (12A) zum Einlesen der Projekt-Daten und eine Speichereinheit zum Speichern der Projekt-Daten aufweist.
  11. Verfahren zur Visualisierung des Bearbeitungsumfeldes einer sich in dem Gelände bewegenden Baumaschine, die auf dem Gelände einen Baukörper errichtet oder das Gelände verändert, wobei ein Bildausschnitt (20A) des Geländes, der in einem von der Position und Orientierung der Baumaschine im Gelände abhängigen Koordinatensystem (x, y, z) liegt, mit einer Bildaufzeichnungseinheit (19) aufgezeichnet und auf einer Anzeigeeinheit (20) angezeigt wird,
    dadurch gekennzeichnet,
    dass die Form und Lage mindestens eines Projektes in einem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) beschreibende Projekt-Daten bereitgestellt werden, und
    dass dem auf der Anzeigeeinheit (20) angezeigten Bildausschnitt (20A) des Geländes eine Darstellung des in dem Bildausschnitt liegenden Teils des mindestens einen Projekts überlagert wird, so dass zumindest ein Teil des mindestens einen Projekts in dem Bildausschnitt visualisiert wird.
  12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die Position und Orientierung der Baumaschine beschreibende Positions-/Orientierungs-Daten in dem von der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) ermittelt werden.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die die Position und Orientierung der Baumaschine beschreibenden Positions-/Orientierungs-Daten mit einem globalen Navigationssattelitensystem (GNSS) ermittelt werden.
  14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die die Form und Lage des mindestens einen Projektes beschreibenden Projekt-Daten in dem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) in Abhängigkeit von der Position und Orientierung der Baumaschine in dem von der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) in ein von der Position und Orientierung der Baumaschine abhängiges Koordinatensystem (x, y, z) transformiert werden.
  15. Verfahren nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass die die Form und Lage des mindestens einen Projektes beschreibenden Projekt-Daten mindestens eine Umrisslinie (16, 17, 18; 27, 28) des Projektes beschreibende Daten umfassen, wobei in dem Bildausschnitt (20A) des Geländes die mindestens eine Umrisslinie (16, 17, 18; 27, 28) des Projektes angezeigt wird.
  16. Verfahren nach einem der Ansprüche 11 bis 15, dadurch gekennzeichnet, dass die Form und Lage von mindestens einem realen Objekt (O) in dem Bildausschnitt (20A) des Geländes beschreibende Objekt-Daten ermittelt werden, wobei die Objekt-Daten mit den Projekt-Daten verglichen werden.
  17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass der Abstand (a) zwischen mindestens einem auf die Umrisslinie (16, 17, 18) des Projektes bezogenen Referenzpunkt (PA2) und mindestens einem auf die Umrisslinie (13, 14, 15) des Objektes bezogenen Referenzpunkt (PA1) ermittelt wird.
  18. Verfahren nach einem der Ansprüche 11 bis 17, dadurch gekennzeichnet, dass die die Form und Lage des mindestens eines Projektes in dem von der Position und Orientierung der Baumaschine unabhängigen Koordinatensystem (X, Y, Z) beschreibenden Projekt-Daten im Gelände mit einem Messgerät ermittelt werden.
EP15180819.3A 2014-08-28 2015-08-12 Selbstfahrende baumaschine und verfahren zur visualisierung des bearbeitungsumfeldes einer sich im gelände bewegenden baumaschine Active EP2990532B1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102014012836.9A DE102014012836B4 (de) 2014-08-28 2014-08-28 Selbstfahrende Baumaschine und Verfahren zur Visualisierung des Bearbeitungsumfeldes einer sich im Gelände bewegenden Baumaschine

Publications (2)

Publication Number Publication Date
EP2990532A1 true EP2990532A1 (de) 2016-03-02
EP2990532B1 EP2990532B1 (de) 2017-02-15

Family

ID=53871917

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15180819.3A Active EP2990532B1 (de) 2014-08-28 2015-08-12 Selbstfahrende baumaschine und verfahren zur visualisierung des bearbeitungsumfeldes einer sich im gelände bewegenden baumaschine

Country Status (4)

Country Link
US (1) US9719217B2 (de)
EP (1) EP2990532B1 (de)
CN (2) CN205024576U (de)
DE (1) DE102014012836B4 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3276079A1 (de) * 2016-07-26 2018-01-31 Caterpillar Paving Products Inc. Steuerungssystem für einen strassenfertiger
CN114737456A (zh) * 2022-05-06 2022-07-12 江苏徐工工程机械研究院有限公司 铣刨转子和铣刨机

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014012836B4 (de) * 2014-08-28 2018-09-13 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Visualisierung des Bearbeitungsumfeldes einer sich im Gelände bewegenden Baumaschine
DE102018119962A1 (de) * 2018-08-16 2020-02-20 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zum Steuern einer selbstfahrenden Baumaschine
US11913188B2 (en) * 2021-02-11 2024-02-27 R.H. Borden And Company, Llc Automated tool access to a manhole through automated manhole cover removal using self-driving vehicle
CN113126560A (zh) * 2021-03-18 2021-07-16 浙江美通筑路机械股份有限公司 一种带机器视觉的井盖铣刨控制系统及控制方法
CN114263085A (zh) * 2022-01-13 2022-04-01 武汉英途工程智能设备有限公司 一种摊铺机智能摊铺控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1103659B1 (de) 1999-11-26 2008-04-23 Wirtgen GmbH Gleitschalungsfertiger
EP2336424A2 (de) 2009-12-18 2011-06-22 Wirtgen GmbH Selbstfahrende Baumaschine und Verfahren zur Steuerung einer selbstfahrenden Baumaschine
EP2719829A1 (de) 2012-10-12 2014-04-16 Wirtgen GmbH Verfahren zur Steuerung einer angetriebenen Baumaschine und System umfassend eine angetriebene Baumaschine

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992003701A1 (en) 1990-08-17 1992-03-05 Spatial Positioning Systems, Inc. Spatial positioning system
FR2683336B1 (fr) 1991-11-06 1996-10-31 Laserdot Dispositif de guidage asservi sur faisceau laser pour une machine de travaux publics.
EP0567660B2 (de) * 1992-04-21 2000-09-06 IBP Pietzsch GmbH Einrichtung zum Führen von Fahrzeugen
ZA948824B (en) 1993-12-08 1995-07-11 Caterpillar Inc Method and apparatus for operating geography altering machinery relative to a work site
US5519620A (en) 1994-02-18 1996-05-21 Trimble Navigation Limited Centimeter accurate global positioning system receiver for on-the-fly real-time kinematic measurement and control
US5838277A (en) 1994-05-20 1998-11-17 Trimble Navigation Limited GPS-based controller module
US5549412A (en) 1995-05-24 1996-08-27 Blaw-Knox Construction Equipment Corporation Position referencing, measuring and paving method and apparatus for a profiler and paver
US5612864A (en) 1995-06-20 1997-03-18 Caterpillar Inc. Apparatus and method for determining the position of a work implement
KR100256620B1 (ko) 1995-10-30 2000-05-15 모리 하루오 네비게이션장치
US6287048B1 (en) 1996-08-20 2001-09-11 Edmund D. Hollon Uniform compaction of asphalt concrete
US6113309A (en) 1996-08-20 2000-09-05 Hollon; Edmund D. Uniform compaction of asphalt concrete
DE19647150C2 (de) 1996-11-14 2001-02-01 Moba Mobile Automation Gmbh Vorrichtung und Verfahren zum Steuern der Einbauhöhe eines Straßenfertigers
US6047227A (en) 1996-11-19 2000-04-04 Caterpillar Inc. Method and apparatus for operating geography altering machinery relative to a work site
US5929807A (en) 1997-03-07 1999-07-27 Trimble Navigation Limited Method and apparatus for precision location of GPS survey tilt pole
DE19756676C1 (de) 1997-12-19 1999-06-02 Wirtgen Gmbh Verfahren und Vorrichtung zum Abfräsen von Verkehrsflächen
GB2333862B (en) 1998-02-02 2002-01-09 Caterpillar Paving Prod Method and apparatus for controllably avoiding an obstruction to a cold planer
US6140957A (en) 1998-03-12 2000-10-31 Trimble Navigation Limited Method and apparatus for navigation guidance
US6088644A (en) 1998-08-12 2000-07-11 Caterpillar Inc. Method and apparatus for determining a path to be traversed by a mobile machine
US7399139B2 (en) 1998-10-27 2008-07-15 Somero Enterprises, Inc. Apparatus and method for three-dimensional contouring
US8478492B2 (en) * 1998-11-27 2013-07-02 Caterpillar Trimble Control Technologies, Inc. Method and system for performing non-contact based determination of the position of an implement
US6074693A (en) 1999-02-22 2000-06-13 Trimble Navigation Limited Global positioning system controlled paint sprayer
US6425186B1 (en) 1999-03-12 2002-07-30 Michael L. Oliver Apparatus and method of surveying
US6191732B1 (en) 1999-05-25 2001-02-20 Carlson Software Real-time surveying/earth moving system
DE29918747U1 (de) 1999-10-25 2000-02-24 Moba Mobile Automation Gmbh Vorrichtung zum Steuern eines Straßenfertigers
CN1134571C (zh) * 1999-12-02 2004-01-14 何永辉 铺路机路面平直度测量控制系统
ATE279584T1 (de) 2000-01-19 2004-10-15 Voegele Ag J Verfahren zum steuern einer baumaschine bzw. eines strassenfertigers und strassenfertiger
US7183942B2 (en) * 2000-01-26 2007-02-27 Origin Technologies Limited Speed trap detection and warning system
DE60140440D1 (de) 2000-05-05 2009-12-24 Robert A Hasara Lasergesteuerte baumaschine
DE10060903C2 (de) 2000-12-07 2002-10-31 Moba Mobile Automation Gmbh Laser-Höhenregeleinrichtung für eine Baumaschine
US6655465B2 (en) 2001-03-16 2003-12-02 David S. Carlson Blade control apparatuses and methods for an earth-moving machine
AUPR396501A0 (en) 2001-03-26 2001-04-26 Edgeroi Pty Ltd Ground marking apparatus
US6769836B2 (en) 2002-04-11 2004-08-03 Enviro-Pave, Inc. Hot-in-place asphalt recycling machine and process
JP4436250B2 (ja) 2002-09-23 2010-03-24 トプコン・ジーピーエス・エルエルシー グローバル測位受信機のネットワークを用いる位置推定
US8271194B2 (en) 2004-03-19 2012-09-18 Hemisphere Gps Llc Method and system using GNSS phase measurements for relative positioning
US6907336B2 (en) 2003-03-31 2005-06-14 Deere & Company Method and system for efficiently traversing an area with a work vehicle
DE10317160A1 (de) 2003-04-14 2004-11-18 Wacker Construction Equipment Ag System und Verfahren zur automatisierten Bodenverdichtung
US7443167B2 (en) 2003-08-28 2008-10-28 Science Applications International Corporation Interleaved magnetometry and pulsed electromagnetic detection of underground objects
US7002513B2 (en) 2004-03-26 2006-02-21 Topcon Gps, Llc Estimation and resolution of carrier wave ambiguities in a position navigation system
US7256710B2 (en) * 2004-06-30 2007-08-14 The Boeing Company Methods and systems for graphically displaying sources for and natures of aircraft flight control instructions
DE102004040136B4 (de) 2004-08-19 2008-05-08 Abg Allgemeine Baumaschinen-Gesellschaft Mbh Gerät zum Abfräsen von Verkehrsflächen
US7437221B2 (en) * 2004-12-16 2008-10-14 Raytheon Company Interactive device for legacy cockpit environments
EP1672122A1 (de) 2004-12-17 2006-06-21 Leica Geosystems AG Verfahren und Vorrichtung vom Kontrollieren einer Strassenbearbeitungsmaschine
US7363154B2 (en) 2005-10-12 2008-04-22 Trimble Navigation Limited Method and system for determining the path of a mobile machine
US7856302B2 (en) 2005-12-23 2010-12-21 Caterpillar Inc Work machine with transition region control system
US20070179702A1 (en) * 2006-01-27 2007-08-02 Garmin Ltd., A Cayman Islands Corporation Combined receiver and power adapter
FR2898196B1 (fr) * 2006-03-01 2008-04-25 Eurocopter France Procede et dispositif de positionnement hybride
DE102006020293B4 (de) 2006-04-27 2013-07-11 Wirtgen Gmbh Straßenbaumaschine, Nivelliereinrichtung sowie Verfahren zum Regeln der Frästiefe oder Fräsneigung bei einer Straßenbaumaschine
DE102006024123B4 (de) 2006-05-22 2010-02-25 Wirtgen Gmbh Selbstfahrende Baumaschine, sowie Verfahren zum Bearbeiten von Bodenoberflächen
US7617061B2 (en) 2006-11-03 2009-11-10 Topcon Positioning Systems, Inc. Method and apparatus for accurately determining height coordinates in a satellite/laser positioning system
DE102006062129B4 (de) 2006-12-22 2010-08-05 Wirtgen Gmbh Straßenbaumaschine sowie Verfahren zur Messung der Frästiefe
WO2008124657A1 (en) 2007-04-05 2008-10-16 Power Curbers, Inc. Methods and systems utilizing 3d control to define a path of operation for a construction machine
US7717521B2 (en) 2007-07-09 2010-05-18 Hall David R Metal detector for an asphalt milling machine
US20110200092A1 (en) * 2007-11-12 2011-08-18 Yoshio Todoroki Digitial broadcast receiver
WO2009126587A1 (en) 2008-04-08 2009-10-15 Hemisphere Gps Llc Gnss-based mobile communication system and method
US7946787B2 (en) 2008-06-27 2011-05-24 Caterpillar Inc. Paving system and method
US8401744B2 (en) 2008-07-22 2013-03-19 Trimble Navigation Limited System and method for configuring a guidance controller
US20120001638A1 (en) 2010-06-30 2012-01-05 Hall David R Assembly and Method for Identifying a Ferrous Material
US8174437B2 (en) 2009-07-29 2012-05-08 Hemisphere Gps Llc System and method for augmenting DGNSS with internally-generated differential correction
CN101718072B (zh) * 2009-12-04 2011-06-08 中国人民解放军国防科学技术大学 基于摄像测量的摊铺机自动找平系统及方法
PL2366830T3 (pl) 2010-03-18 2016-11-30 System i sposób dla nanoszenia nawierzchni drogowej
DE102010014695A1 (de) 2010-04-12 2011-10-13 Dynapac Gmbh Verfahren zum Abfräsen von Oberflächenbelägen, vorzugsweise Straßenbelägen
US8314608B2 (en) 2010-06-30 2012-11-20 Hall David R Method of determining distance to a ferrous material
KR101169985B1 (ko) * 2010-08-16 2012-08-01 (주)우리로드솔루션 도로표시 제거장치
DE102010048185B4 (de) 2010-10-13 2021-10-28 Wirtgen Gmbh Selbstfahrende Baumaschine
US8498788B2 (en) 2010-10-26 2013-07-30 Deere & Company Method and system for determining a planned path of a vehicle
CN201865031U (zh) * 2010-11-25 2011-06-15 湖南高翔重工科技有限公司 多用途筑路车
US8794867B2 (en) 2011-05-26 2014-08-05 Trimble Navigation Limited Asphalt milling machine control and method
US20130035875A1 (en) * 2011-08-02 2013-02-07 Hall David R System for Acquiring Data from a Component
DE102013006464B4 (de) 2012-04-16 2020-03-19 Bomag Gmbh Baumaschine mit einer Manövriereinrichtung, Verfahren zur Erleichterung des Manövrierens einer Baumaschine und Manövriereinrichtung für eine Baumaschine
US9096977B2 (en) 2013-05-23 2015-08-04 Wirtgen Gmbh Milling machine with location indicator system
CN103345225A (zh) * 2013-07-01 2013-10-09 广东惠利普路桥信息工程有限公司 摊铺过程中的远程布氏密实度图像分析与测量系统
SE537279C2 (sv) * 2013-07-12 2015-03-24 BAE Systems Hägglunds AB System och förfarande för behandling av taktisk informationhos stridsfordon
DE102014012836B4 (de) * 2014-08-28 2018-09-13 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Visualisierung des Bearbeitungsumfeldes einer sich im Gelände bewegenden Baumaschine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1103659B1 (de) 1999-11-26 2008-04-23 Wirtgen GmbH Gleitschalungsfertiger
EP2336424A2 (de) 2009-12-18 2011-06-22 Wirtgen GmbH Selbstfahrende Baumaschine und Verfahren zur Steuerung einer selbstfahrenden Baumaschine
EP2719829A1 (de) 2012-10-12 2014-04-16 Wirtgen GmbH Verfahren zur Steuerung einer angetriebenen Baumaschine und System umfassend eine angetriebene Baumaschine

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3276079A1 (de) * 2016-07-26 2018-01-31 Caterpillar Paving Products Inc. Steuerungssystem für einen strassenfertiger
US10458076B2 (en) 2016-07-26 2019-10-29 Caterpillar Paving Products Inc. Control system for a road paver
CN114737456A (zh) * 2022-05-06 2022-07-12 江苏徐工工程机械研究院有限公司 铣刨转子和铣刨机
CN114737456B (zh) * 2022-05-06 2023-08-01 江苏徐工工程机械研究院有限公司 铣刨转子和铣刨机

Also Published As

Publication number Publication date
US9719217B2 (en) 2017-08-01
CN105386397A (zh) 2016-03-09
CN105386397B (zh) 2017-09-12
CN205024576U (zh) 2016-02-10
DE102014012836B4 (de) 2018-09-13
EP2990532B1 (de) 2017-02-15
DE102014012836A1 (de) 2016-03-03
US20160060825A1 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
EP2990532B1 (de) Selbstfahrende baumaschine und verfahren zur visualisierung des bearbeitungsumfeldes einer sich im gelände bewegenden baumaschine
EP2990533B1 (de) Selbstfahrende baumaschine und verfahren zum steuern einer selbstfahrenden baumaschine
EP2990534B1 (de) Selbstfahrende baumaschine und verfahren zur steuerung einer selbstfahrenden baumaschine
EP3502821B1 (de) Selbstfahrende baumaschine und verfahren zum steuern einer selbstfahrenden baumaschine
DE102019127644A1 (de) Verfahren zum definieren eines arbeitsbereichs für autonomes baufahrzeug
DE102017221134A1 (de) Verfahren und Vorrichtung zum Betreiben eines mobilen Systems
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102009059106A1 (de) Selbstfahrende Baumaschine und Verfahren zur Steuerung einer selbstfahrenden Baumaschine
DE102018207706A1 (de) Umgebungsabtastung unter Verwendung einer Arbeitsmaschine mit einer Kamera
EP2568310A2 (de) Verfahren, System sowie Vorrichtung zur Lokalisation eines Fahrzeugs relativ zu einem vordefinierten Bezugssystem
EP2963631B1 (de) Verfahren zum ermitteln eines parkplatzes aus einer anzahl von messpunkten
DE102007060056A1 (de) Ansteuersystem und Ansteuerverfahren für ein Roboterfahrzeug sowie Roboterfahrzeug
EP3475921B1 (de) Verfahren und fahrzeugsteuersystem zum erzeugen von abbildungen eines umfeldmodells und entsprechendes fahrzeug
DE102020206190A1 (de) System und verfahren für die konfiguration einer arbeitsstätten warnzone.
EP2660501B1 (de) Verfahren zur Visualisierung der Position eines Fahrzeugs zur Befahrung eines Kanals
DE102019129831A1 (de) Automatisches kupplungssystem mit auswahl des betreffenden anhängers aus mehreren identifizierten anhängern
DE102018113015A1 (de) Autonome, mobile Arbeitmaschine
EP3410158A1 (de) Verfahren, vorrichtungen und computerlesbares speichermedium mit instruktionen zur ortsbestimmung eines durch ein kraftfahrzeug erfassten datums
DE102017117049A1 (de) Verfahren zur Erstellung eines 3D-Modells von einem Objekt
DE102019131259A1 (de) Kupplungsassistenzsystem mit schnittstelle zum darstellen eines bildes eines vereinfachten weges
DE102020006851A1 (de) Vorrichtung zur stückweisen Höhenmessung
WO2020160796A1 (de) Verfahren und vorrichtung zur multi-sensor-datenfusion für automatisierte und autonome fahrzeuge
EP2837909A2 (de) Verfahren und Anordnung zur Kartierung eines landwirtschaftlichen Feldes
DE102019205484A1 (de) Verfahren und Vorrichtung zum Erstellen eines Höhenprofils für einen von einem Fahrzeug zu befahrenden Bereich
DE102017210830A1 (de) Erzeugen und Verwenden einer Randbebauungskarte

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20160426

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20160902

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REG Reference to a national code

Ref country code: AT

Ref legal event code: REF

Ref document number: 867972

Country of ref document: AT

Kind code of ref document: T

Effective date: 20170315

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 502015000587

Country of ref document: DE

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: NL

Ref legal event code: MP

Effective date: 20170215

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170516

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170515

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: NL

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170215

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170515

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170615

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

REG Reference to a national code

Ref country code: DE

Ref legal event code: R097

Ref document number: 502015000587

Country of ref document: DE

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20171116

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

REG Reference to a national code

Ref country code: BE

Ref legal event code: MM

Effective date: 20170831

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170812

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170812

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 4

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180831

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180831

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20150812

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170215

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20170615

REG Reference to a national code

Ref country code: AT

Ref legal event code: MM01

Ref document number: 867972

Country of ref document: AT

Kind code of ref document: T

Effective date: 20200812

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20200812

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230525

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: IT

Payment date: 20230831

Year of fee payment: 9

Ref country code: GB

Payment date: 20230824

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20230823

Year of fee payment: 9

Ref country code: FR

Payment date: 20230821

Year of fee payment: 9

Ref country code: DE

Payment date: 20230822

Year of fee payment: 9