EP2695383A2 - System und verfahren zur visuellen darstellung von informationen auf realen objekten - Google Patents

System und verfahren zur visuellen darstellung von informationen auf realen objekten

Info

Publication number
EP2695383A2
EP2695383A2 EP12722290.9A EP12722290A EP2695383A2 EP 2695383 A2 EP2695383 A2 EP 2695383A2 EP 12722290 A EP12722290 A EP 12722290A EP 2695383 A2 EP2695383 A2 EP 2695383A2
Authority
EP
European Patent Office
Prior art keywords
projection unit
markers
tracking device
information
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP12722290.9A
Other languages
English (en)
French (fr)
Inventor
Peter Keitler
Björn SCHWERDTFEGER
Nicolas Heuser
Beatriz JÍMENEZ-FRIEDEN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Extend3D GmbH
Original Assignee
Extend3D GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Extend3D GmbH filed Critical Extend3D GmbH
Publication of EP2695383A2 publication Critical patent/EP2695383A2/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the invention relates to a system for the visual representation of information on real objects.
  • the invention further relates to a method for the visual representation of information on real objects.
  • Augmented Reality systems are known, with which the visual perception of reality is generally expanded.
  • pictures or videos can be supplemented by inserting computer-generated additional information.
  • real objects can be transmitted to a viewer visible information.
  • This technique is used among other things in the design, installation or maintenance.
  • laser projectors or video projectors can provide optical support, for example when aligning large stencils for painting or in quality assurance.
  • so far for a precise projection of the projector had to be statically mounted in one place.
  • the workpieces had to be exactly measured depending on the position and position (pose) of the projector. Any change in the pose of the projector or workpiece required a time-consuming re-measurement. Therefore, projection systems can only be usefully used in static setups.
  • the object of the invention is to expand the possible uses of a system for the visual representation of information on real objects.
  • the system according to the invention for the visual representation of information on real objects comprises a projection unit for the graphic or pictorial transmission of information to an object and is characterized by a dynamic tracking device with a 3D sensor system for determining and tracking the position and / or position of the object and / or the projection unit in the room, and a control unit for the projection unit, which adjusts the transmission of the information to the current, determined by the tracking device position and / or position of the object and / or the projection unit.
  • the efficiency of manual operations in manufacturing, assembly and maintenance can be increased while increasing the quality of work.
  • the precise transfer of information, for example, the digital planning status (CAD model) directly to a workpiece eliminates the time-consuming and error-prone transfer of building plans using templates and other measuring instruments.
  • a visual target-actual comparison is intuitive at any time and for a user feasible.
  • work instructions, z As step-by-step instructions are provided directly on the work object or in the field of view of the user, ie exactly where they are actually needed.
  • the inventive combination of a projector with a dynamic 3D tracking device allows a continuous, automatic calibration (dynamic referencing) of the projector and / or the object on which information is to be displayed, relative to the working environment.
  • both the projection unit and the object can be moved freely, since with each movement of the projection unit or the object, the graphic or visual transmission of the information is automatically tracked. Thanks to this mobility, the system according to the invention, in contrast to the known static systems, automatically adapts to different, changing environmental conditions. This opens up a much wider range of possible applications.
  • the system according to the invention in large and / or confusing environments, such as those prevailing in aircraft or shipbuilding, always position so that the parts to be machined a Workpiece in the projection area. Due to the flexible placement, disruptions of parallel activities can be avoided as much as possible. Also in scenarios where an object is moved during the work process, such as on the assembly line, assembly instructions or quality assurance information can be projected directly onto the object. The projection moves along with the movement of the object.
  • Typical application scenarios for the invention are worker assistance systems for displaying assembly and maintenance instructions as well as information for quality assurance.
  • mounting positions or holes can be accurately marked or marked welding points or holders to be checked.
  • the system is also suitable for supporting on-site service personnel by non-resident experts who remotely control the projection via an integrated camera. So that the projected information is not transmitted to the object with a delay, which can lead to errors or inaccuracies in the work, the dynamic tracking device is designed to continuously record the position and / or position of the object and / or the projection unit in real time.
  • the projection unit is the heart of the visualization system.
  • a flexibility that is not available in conventional systems is achieved in that the projection unit is a mobile device in which a projector, preferably a laser projector or video projector (beamer), and at the same time the 3D sensor system of the tracking device are housed.
  • a projector preferably a laser projector or video projector (beamer)
  • the 3D sensor system of the tracking device are housed.
  • Important here is a rigid connection between the projector and the receiving unit of the 3D sensor (camera or the like.), So that a constant, calibratable offset remains.
  • the laser projector is very rich in contrast and guarantees the best possible visibility of contours and geometries, even on dark or reflective surfaces and also in bright environments (daylight).
  • the long life of the light source and the Low power consumption and robustness under adverse conditions are further advantages of the laser projector.
  • the 3D sensor system of the tracking device has at least one camera, which is preferably permanently connected to a projector of the projection unit. Cameras are very well suited for tracking applications. In conjunction with certain markers that can be detected by a camera, the pose of the camera can be deduced by means of mathematical methods.
  • the pose of the projector can be easily determined.
  • special markers are useful, which are arranged at reference points of an environment in which the system is used, and can be detected by the 3D sensor of the tracking device.
  • the markers and the tracking device are matched to one another such that the tracking device uses the markers to measure the reference points in a coordinate system of the environment or the object and to determine and track the position and / or position of the object and / or the projection unit.
  • the markers in this case thus fulfill a double function, which reduces the effort for the preparations before the use of the visualization system and thus increases the efficiency of the system.
  • the markers may in particular be based on flat markers and preferably have characteristic rectangles, circles and / or corners, which can advantageously be used to determine the pose of the camera relative to the markers.
  • the markers have unique identification features detectable by the tracking device, in particular in the form of angular or round bit patterns.
  • the markers have retroreflector markers, which are preferably arranged in the center of the respective marker.
  • the retroreflector marks can be well targeted by a laser projector, and an optimization algorithm can center by measuring the reflected light so that 2D correspondences in the image coordinate system of the projection unit can be made to reference positions known in 3D for a calculation of the transformation between the projection unit and the object.
  • the retroreflector marks are formed as ball elements with an opening through which a retroreflector film preferably attached to the center of the ball is visible.
  • a retroreflector film preferably attached to the center of the ball is visible.
  • Such a ball element can be arbitrarily rotated about its center point in order to achieve better visibility without thereby changing the coordinates of the ball center with the retroreflective sheeting.
  • the markers are designed so that they can be attached in the environment in which the system is used at reference points with a known or reliable position in a coordinate system of the environment or of the object.
  • the markers can be plugged into so-called RPS holes, which in many applications already exist at fixed reference points and are particularly well known and documented in the object coordinate system.
  • RPS holes are used, for example, by robots for gripping a component.
  • they can be provided in holes in a (standardized) perforated plate with a fixed and known hole pattern, as is popular in metrology, and / or on a surface of the object .
  • a marker can be fixed at several points in order to fix the orientation of the marker in space. This is advantageous for some special applications.
  • the entire markers can also be designed so that they can be attached via adapters or intermediate pieces to reference points with a known or reliable position (and possibly position) in a coordinate system of the surroundings or of the object, in particular by plugging into RPS sensors present at the reference points. holes.
  • the flat marker tracking provide the pose of the flat marker, so that the known pose of the standard bore in the reference point on the known geometry of the adapter or intermediate piece in the pose of the flat marker is convertible and vice versa.
  • an attachment of the adapters or spacers may be provided in holes of a (standard) perforated plate having a fixed and known hole pattern and / or on a surface of the object.
  • the adapters and the markers are coordinated so that the markers are clearly plugged into the adapters. Due to the fixed correlation then a calibration of the adapters and markers to each other is not necessary. Thus, the markers can be made in a generic form, whereas the adapters can be better adapted to different scenarios. However, the goal here too is to make do with as few adapters as possible. Therefore, the adapters are preferably manufactured in such a way that you have standardized plug / clamp / magnet holders so that they can be used on as many workpieces as possible.
  • a preferred embodiment of the markers provides that the markers each have a standard bore and a magnet arranged below the standard bore. Spherical retroreflector tags with a metallic base are then easily plugged into the standard bore and held by the magnet, allowing alignment of the retroreflector tags by rotation.
  • the visualization system according to the invention can also be realized entirely without markers.
  • the projection unit and the tracking device are designed so that Determining the position and / or location of the object Strip light scanning technology is used. The effort for the preparation of the object with markers is omitted here.
  • the invention also provides a method for visually presenting information on real objects with a projection unit.
  • the method according to the invention comprises the following steps:
  • a laser projector of the projection unit can be used to locate markers which are arranged at reference points of an environment in which the method is used, the markers being detected by a 3D sensor system of a tracking device.
  • markers are preferably used for measuring the reference points in a coordinate system of the environment or the object and for determining a change in the position and / or position of the object and / or the projection unit.
  • the camera can be housed in the mobile projection unit and thus always moved together with the projector located therein. For a reliable calibration of the offset between the projector and camera, a rigid connection between the two devices is provided.
  • a strip light scanning process is instead carried out, in which preferably the projection unit projects an image which is detected with one or more cameras and then triangulated or reconstructed. Further preferably, points are scanned on the object according to a predetermined system, and an iterative best-fit strategy is used to calculate the position and / or position of the object.
  • FIG. 1 shows a sectional view of a fuselage of an aircraft with a system according to the invention
  • FIG. 3 is an enlarged detail of Figure 2 in the case of a correct mounting bracket;
  • FIG. 4 shows a detail enlargement from FIG. 2 in the case of a faulty holder mounting;
  • FIG. 5 is a plan view of a flat marker
  • FIG. 6 is a perspective view of a flat marker
  • FIG. 7 is a perspective view of a three-dimensional marker
  • - Figure 8 is a plan view of a combination marker even without inserted Retroreflektormarke
  • FIG. 9 is a side view of a combination marker even without inserted Retroreflektormarke
  • FIG. 10 shows a side view of a combination marker mounted in a working environment, even without a retroreflector mark inserted
  • FIG. 11 is a sectional view of a reference mark
  • FIG. 12 shows a side view of a combination marker with retroreflector mark and viewing angle ranges for laser projector and camera;
  • - Figure 13 is a side view of a combination marker with inclined Retroreflektormarke;
  • FIG. 14 shows a side view of a combination marker without retroreflector mark mounted in a working environment with the aid of an intermediate piece
  • FIG. 15 is a side view of a combination marker without Retroreflektormarke with a plug adapter
  • FIG. 16 shows a schematic representation of the attachment of markers in RPS bores or holes of a perforated plate
  • FIG. 17 shows an angle provided with markers in the sense of a virtual teaching.
  • an application scenario for a system and a method for the visual representation of information on real objects is explained below, namely the control of the holder assembly in the construction of an aircraft.
  • Figures 1 and 2 show the hull 10 of a wide-body aircraft. It is about 12 meters long and 8 meters high. Such fuselage segments are initially built individually and assembled later to a hull. The mounting of brackets 12 for the later installation of on-board electronics, air conditioning, etc. takes per hull 10 a lot of time. A significant part of this is the quality assurance, d. H. the verification of the correct installation of a variety of brackets 12. It is done so far by massive staff deployment based on large-scale blueprints, which are generated from a CAD model and then printed. The monotonous work and frequent changes of perspective between blueprint and object lead to clerical errors, not only in production, but also in quality assurance, which have a negative impact on the productivity of subsequent work steps.
  • the verification of the correct mounting of the holders 12 in the hull 10 can be accomplished, as shown in FIG. 1, by means of the visualization system comprising a mobile projection unit 14 for graphically or figuratively transmitting information to an object (workpiece), preferably with a laser projector or Projector.
  • the system further comprises a dynamic tracking device with a 3D sensor system for determining and tracking the position and / or position of the object and / or the projection unit 14 in space.
  • the system also comprises a control device for the projection unit 14, which adjusts the transmission of the information to the current position and / or position of the object and / or the projection unit 14 determined by the tracking device.
  • the laser projector or beamer, the 3D sensor system of the tracking device and the control device are all accommodated in the mobile projection unit 14.
  • the control device here means those components which ensure an adaptation of the projection, in particular with regard to direction, sharpness and / or size.
  • a control and supply device (not shown) is connected to the projection unit 14 via a long and robust cable tube (current, data).
  • the essential for the mounting of the brackets 12 information from the blueprints, in particular the arrangement and the contours of components are available to the system.
  • it is envisaged to export assemblies from a CAD model and prepare them largely automated for projection.
  • a polygon (contour) is generated, which can be reproduced by the laser projector or beamer.
  • the desired information can be projected with the projection unit 14 according to the specification from the CAD model on the already built object. On the basis of the projection, any discrepancies with the construction plans become immediately visible.
  • FIG. 3 shows a correct mounting of a holder 12, in FIG. 4 a misassembly.
  • further instructions, step-by-step instructions, arrows, etc. can also be projected. Carelessness errors are thus largely excluded, and the control of the assembly can be carried out much faster. Basically, thanks to the support of the visualization system, it is possible to combine manufacturing and quality assurance in order to further increase productivity.
  • a basic prerequisite for the correct functioning of the visualization system is that the position and / or position (depending on the application) of the projection unit 14 in the working environment can be determined at any time by means of the 3D sensor system.
  • the measurement required for the position and / or position determination dynamic d. H. not only once but continuously or at least after each automatically detected or manually reported position and / or position change, by means of the tracking device via standardized reference points (dynamic referencing). These reference points can be mounted in a simple manner at different spatial positions temporarily, z. B. by means of adhesive tape and / or hot melt adhesive.
  • the reference points can be measured precisely with a commercially available laser tracker, wherein the coordinate system of the working environment, here the aircraft coordinate system, is used as the basis.
  • special markers 16 tuned to the 3D sensor system of the tracking device are hung on the reference points. The special requirements for the Marker 16 will be discussed later.
  • the 3D sensor system can measure the reference points via the markers 16 and then measure the projection unit 14 into the coordinate system of the working environment. The visualization system is then ready for operation.
  • the markers 16 are glued and calibrated and are then available for the entire duration of a construction phase (several weeks), ie. H. until the current position is obscured by the construction progress; the markers 16 would then have to be re-assembled if necessary.
  • additional work steps within a construction section can be switched to using the visualization system with the projection unit 14 without additional effort (measuring the reference points).
  • Tracking in contrast to conventional measurement technology, refers to real-time measurement systems. Usually position and position (pose, six degrees of freedom) are determined. A significant advantage is that due to the real-time nature of the measurement, the results are immediately available. The complex, subsequent evaluation of measurement data is eliminated. In addition, tracking is a prerequisite for augmented reality systems (AR systems) for the interactive display of virtual content (CAD data, etc.) in the field of vision of the user, which also includes the visualization system described above.
  • AR systems augmented reality systems
  • the markers 16, which are used both for the measurement of the reference points and for the dynamic referencing of the Projection unit 14 can be used.
  • flat markers are suitable, which can be manufactured in any size.
  • An example of such a flat marker having a bit pattern 20 is shown in FIG.
  • About the outer and inner rectangle 22 and 24 (corner points) can be determined by mathematical methods, the pose of the camera relative to the marker 16. It is basically a simple, inexpensive camera; multiple and / or higher quality cameras increase accuracy.
  • FIG. 6 shows a flat marker with three legs 18, so that an unambiguous orientation of the marker 16 is ensured when a corresponding receptacle is provided.
  • FIG. 7 shows a three-dimensional marker 16 in the form of a cuboid, more precisely a cube whose sides are covered with bit patterns 20.
  • the guiding principle in metrology is that the volume of the points used for calibration should roughly correspond to the measurement volume.
  • it is necessary to recognize and reference multiple "outside" reference points on the mobile system but because the visualization system is mobile and thus limited in size, the guiding principle can not be adequately addressed.
  • an erroneous recognition of the orientation of the Projection unit in that the projection on the workpiece is subject to a position inaccuracy, which grows linearly with the working distance.
  • the visualization system now uses an inside-out-like measurement method and combines this with a real-time tracking method to achieve more flexibility and interactivity in the sense of an AR application.
  • a cloud of reference points that is much better "comprehensive” can be used, ideally in the projection unit 14 several cameras are arranged as part of the 3D sensor system, eg as a stereo system or depending on the situation also with up / down
  • Even with only one camera, however, the problem of linearly increasing the projection error with increasing working distance is no longer present, even though in the worst case the position and / or position detection of the mobile projection unit 14 is subject to an error. That the markers are located on the screen, these and the intermediate holder can always be accurately targeted with the laser projector, even if there is a small positional or positional error of the unit.
  • retroreflector markers For measuring the projection unit into the underlying object coordinate system, so-called retroreflector markers are suitable which largely reflect impinging radiation, irrespective of the orientation of the reflector, in the direction of the radiation source.
  • the retroreflector brands can z. B. be ball elements with an opening through which a mounted on the ball center retroreflector sheeting is visible.
  • Retroreflektormarken are usually plugged into standard holes in the object (workpiece), possibly by means of special adapter.
  • the mobile projection unit 14 can then calibrate semi-automatically via the laser beam and a special sensor into the environment.
  • the retroreflector marks are manually targeted roughly with a projected by the laser projector on the workpiece crosshairs.
  • the bearing of the laser projector measures azimuth and elevation angles, ie 2D points on its imaginary image plane (comparable to a classical tachymeter).
  • An optimization algorithm automatically centers the crosshair by measuring the reflected light and thus provides a 2D correspondence in the image coordinate system of the projection unit 14, matching the reference position known in 3D. With at least four 2D-3D correspondences, the transformation between projection unit 14 and workpiece can be calculated. With each construction or conversion of the projection unit 14, this calibration procedure is to be carried out again. The procedure is very accurate. If the transformation between the workpiece and the projection unit 14 is still approximately valid (eg, after a shock or a slight impact), a new, high-precision aiming of the retroreflector marks can be carried out fully automatically.
  • This procedure is basically analogous to a manual calibration, but eliminates the aiming with the crosshair.
  • optimized 2D coordinates can be measured for all available retroreflector marks in about 1 to 3 seconds (depending on the number of markers) and the transformation can be adapted accordingly. Thus it can be validated at any time whether the current transformation still meets the accuracy requirements.
  • combination markers are suitable.
  • a combination marker is based on a conventional flat marker with bit pattern, as shown by way of example in Figures 5 to 7, and is extended by a retroreflector mark. The retroreflector mark is placed directly in the center of the flat marker so that both methods can uniquely determine the same midpoint of the combination marker.
  • FIG. 8 and 9 show such a combination marker 26, even without Retroreflektormarke.
  • a standard bore 28 and a arranged under the standard bore 28 magnet 30 are provided in the center of the marker 26, a standard bore 28 and a arranged under the standard bore 28 magnet 30 are provided in the center of the marker 26, a standard bore 28 and a arranged under the standard bore 28 magnet 30 are provided in the center of the marker 26, a standard bore 28 and a arranged under the standard bore 28 magnet 30 are provided.
  • FIG. 10 shows a temporary attachment of such a combination marker 26 in a working environment by means of certified adhesive tape 32 and hot-melt adhesive 34.
  • FIG. 11 shows a retro-reflector mark 36 designed as a ball element, which can be inserted or clipped into the standard bore 28.
  • the Retroreflector brand 36 is composed of a metal hemisphere 38 and a screwed ball segment 40 with a bore 42 together. The bore 42 exposes the center of the sphere to which a retroreflector sheeting 44 is attached.
  • the viewing angle range ⁇ for the laser projector (approximately 50 °), which relates to the sphere center, and the corresponding viewing angle range ⁇ for the camera 50 (approximately 120 °) of the visualization system are shown.
  • the retroreflector mark 36 can be inclined.
  • An assembly with a suitable intermediate piece 46 or via an adapter 48, in particular a plug-in adapter can contribute to the better visibility of a combination marker 26, as shown in Figure 14 and Figure 15.
  • combination markers 26 For the dynamic referencing of the projection unit 14, at least four combination markers 26 must always be visible.
  • a sufficient number of combination markers 26 with retroreflective markers 36 are reversibly attached at certain positions in the working environment (here in the hull bin 10) so that the visibility of at least four positions is ensured, if possible, for all planned perspectives of the projection unit 14.
  • the combination marker 26 may also be such that the retroreflector mark 36 is laminated under the printed bit pattern 20 and is visible through a punch in the center of the bit pattern 20.
  • the disadvantage is a poorer viewing angle, the advantage of a cheaper production.
  • the described concept allows the referencing of the laser projector in the projection unit 14 with the camera or cameras 50 which are located in the projection unit 14, ie in the same housing.
  • the laser projector can always be tracked through the camera (s), and a manual aiming the retroreflector marks after a repositioning is unnecessary.
  • the visualization that is to say the transmission of the information intended for presentation to the object, can be adapted by the camera tracking directly to the new position and / or position of the projection unit 14. This solves the following problems:
  • the projection unit 14 no longer has to be mounted statically, since the calibration takes place in real time. A flexible assembly / disassembly / dismantling of the projection unit 14 is made possible. When moving the projection unit 14, the projection is automatically converted accordingly. In addition, no manual calibration during assembly / remodeling or moving the projection unit 14 is more necessary.
  • an effective characteristic of a self-registering laser projector can be constructed with relatively simple means. It is sufficient to connect a single, low-quality, but very inexpensive camera firmly with the laser projector of the projection unit 14. The quality of the information obtained by means of image processing from these camera images alone is not sufficient to accomplish an accurate registration of the self-registering laser projector with the environment. However, the information is sufficiently accurate to be able to detect with the laser beam contained in the combi markers 26 Retroreflektormarken 36 with low search cost.
  • the process can be summarized as follows: In a first step, the camera captures the optical (black-and-white) properties (in particular the black border around the bit pattern 20) of a combination marker 26 in order to determine the approximate direction of the laser beam.
  • the angle of the laser beam is changed by an automatic search method so that it comes to rest exactly on the retroreflector mark 36 of the combination marker 26.
  • the projection unit 14 is placed on a tripod 52 so that at least four combination marker 26 in the field of view of the camera (s ) and the projection unit 14. Due to the unique, defined by the bit pattern 20 ID of the combination marker 26, the Visualization system at any time match the detected in real time pose of each marker 16 with the previously determined in a setup phase 3D positions (measurement of the reference points). As a result, the pose of the projection unit 14 relative to the workpiece can be determined with sufficient accuracy to be able to successfully carry out an automatic optimization by locating the retroreflector marks 36.
  • the projection is started and the first holder 12 of a list to be checked is displayed.
  • the projection characterizes the desired contour of the holder 12, so that an assembly error can be recognized immediately and without any doubt (compare FIGS. 3 and 4).
  • the brackets 12 are all processed sequentially in this way. If a holder 12 is not located in the projection area of the projection unit 14, an arrow or other information is displayed instead, and the projection unit 14 is repositioned accordingly. The check can then be continued as described.
  • the described system assumes that the position and / or position of the retroreflector marks 36 in the object coordinate system is known. This can be achieved by inserting the retroreflector marks 36 or the combination markers 26 at standard points or holes, possibly via special mechanical plug-in adapters 48, as shown in FIG.
  • flat-marker tracking works in real-time, it is less accurate than the transformation calculated by finding the retroreflector marks 36, depending on the quality of the camera (s) and calibration method used. Since, however, the pose of the object to the projection unit 14 is always known with sufficient accuracy by flat marker tracking, the automatic optimization (see above) can be triggered at any time and thus a highly accurate pose can be calculated in a few seconds. This is particularly relevant for quantitative metrology applications (eg accurate holes in a workpiece).
  • An alternative, also particularly advantageous embodiment of the system operates without Retroreflektormarken.
  • the required projection accuracy is ensured here by the use of high-quality cameras, optics and calibration procedures.
  • two cameras stereo
  • a camera mono
  • Over all available in the field of vision Marker 16 can be calculated by bundle block adjustment a precise pose.
  • the registration accuracy of the projection system is determined at any time within the scope of this adjustment. This assumes that more than the mathematically necessary number of markers 16 are present.
  • This registration accuracy together with the already known from the calibration of the offset between the camera (s) and projection unit accuracy of this offset and the known intrinsic accuracy of the projection unit 14 as an essential factor in the dynamically updated overall accuracy of the visualization system, which the user brought to the notice at any time can be.
  • This characteristic must be used in conjunction with beamers, since detection of retroreflector marks using laser projectors is eliminated here. It also offers the advantage of being able to react much faster to dynamic movements or disturbing influences.
  • the system automatically checks whether the distribution of the (combination) marker in the field of view is sufficient for a reliable adjustment and determination of a meaningful error residual and prevents degenerate constellations (eg collinear markers, accumulation of markers in a part of the image).
  • degenerate constellations eg collinear markers, accumulation of markers in a part of the image.
  • An example of such an application is the welding of long but narrow steel beams, for example double T beams with dimensions of 10 x 0.3 x 0.3 m, on which braces are to be welded according to static calculations.
  • special attention must be paid to the accuracy in the longitudinal direction of the wearer. In such special cases, it may be sufficient to use only a few (combination) markers 16 or 26, in the example of the double-T carrier about two, placed at the ends thereof.
  • RPS holes Referenz Vietnamese fixation on an RPS bore
  • RPS holes Referenz Vietnamese system- holes
  • RPS holes are manufactured with high precision and, among other things serve as a receptacle for robot-controlled gripper. Due to the accuracy of these RPS holes 54 are suitable as reference points for the attachment of markers 16 or combination markers 26.
  • RPS holes 54 for fixation can be in the (combination) markers 16 and 26 respectively special holding means are incorporated so that they can be reproducibly clipped in all possible positions (one clip point) or poses (at least two clip points), ie not only in positions / poses in which they are held by gravity.
  • Magnets which can also be incorporated into an intermediate piece 46 or an adapter 48, special clamping feet similar to a "banana plug” or screws can serve as holding means.
  • fixation on a perforated plate see Figure 17: Components are often processed on standardized perforated plates with a solid and known hole pattern, z. B. in prototype construction in the automotive industry. The component is firmly anchored during the working process on this perforated plate 56 and registered with this spatially.
  • the perforated plate 56 is an excellent way to mount generically shaped (combination) markers 16 and 26, respectively, quickly, intuitively and reproducibly.
  • the virtual gauge can be illustrated by the example of an angle 58, as used in wood, stone and metalworking as well as in the construction trade, in order to simply transfer the right angles typically required in its application to a workpiece.
  • An exemplary expression of the virtual teaching is a triplet configuration of (combination) markers 16 and 26, respectively, on such an angle 58.
  • the virtual teaching is particularly suitable for applications in which digital information must be projected onto a flat surface, eg. As in the installation of anchors on a hall floor in plant construction. There are as many forms conceivable as there are workpieces.
  • the advantage of the virtual teaching lies in the fact that it is intuitively usable and, in particular, reproducible, can be applied to workpieces which do not have RPS holes (see a) and / or whose surface is shaped very complexly, eg. B. is curved.
  • the virtual teaching is already included in the CAD model of the workpiece (analogous to the RPS holes, which are also already present in the CAD model).
  • For the production of the virtual teachings can be resorted to rapid prototyping (3D printer). These provide sufficient accuracy and allow low-cost production.
  • a special characteristic can be described as a complex virtual 3D teaching: In some situations, no generic virtual teaching can be used, because the work object does not offer repetitive connecting points (such as right angles).
  • the gauges are clearly adapted to the SD surface of the work object.
  • the teachings then form exactly the 3D counterpart (negative) of the work object.
  • Such teachings may be attached by any of the types of fixation described under a), e.g. B. using magnets.
  • d) It is also a combination of virtual teaching and RPS holes 54 possible in which the virtual teaching on a certain, frequent recurring constellation of RPS holes 54 is optimized. Compared to the generic RPS (combination) markers 16 and 26 (see a), a simplified handling can be achieved while at the same time eliminating potential sources of error.
  • adapters 48 can be used to fix the markers 16 or combi markers 26.
  • different generic (combination) markers 16 and 26 can be attached on the adapters 48 different generic (combination) markers 16 and 26 can be attached.
  • the adapters 48 and (combination) markers 16 and 26 are designed so that they are clearly plugged into each other.
  • Combination markers 16 and 26 and adapters 48 always refer to the same coordinate system. Therefore (combination) marker 16 or 26 and adapter 48 no longer be measured to each other, because the system recognizes from the combination of (combination) marker 16 or 26 and adapter 48 immediately the new coordinate system of the (combination) Markers 16 and 26 respectively.
  • a probing ball is mounted on a mounted (combination) marker 26, which can be detected by a tactile measuring system.
  • a probing ball can be placed in the center of a combination marker 26 to determine the center of gravity of the flat marker part and the retroreflector mark 36.
  • the retroreflector brand 36 is removable because it is held only by the magnet 30.
  • the probing ball of the tactile measuring system or the retroreflector mark 36 of the tracking device can be clipped.
  • certain brands may also be attached to the mounted (combination) markers 16 and 26, which are used in current photogrammetric measuring systems in the industry.
  • Such z. B. standard round marks can in particular in the corners of the square (combination) markers 16 and 26, more precisely on the outer white edge 22 are attached.
  • This or similar methods are based on bundle block adjustment, whereby the registration of the (combination) markers 16 and 26 with each other is achieved with photos.
  • the presented visualization system based on strip light scanning technology can be implemented completely without markers or (combination) markers.
  • Strip light scanning systems also known as "Structured-Light 3D Scanners"
  • the former work with fringe projection, the latter with projection of laser lines, combined with the measurement of the time of flight of light (Time-of-Flight) .
  • the result is, despite different physical measurement principles, a dense point cloud, which is the surface of the scanned object
  • These point clouds (in some cases several million points) can now be converted into an efficiently manageable polygon mesh by surface reconstruction (triangular meshing)
  • Another algorithmic transformation step allows the return to a CAD model, in particular with so-called n NURBS surfaces (Non-Uniform Rational B-Spline).
  • This technique is currently used mainly for use in reverse engineering and quality assurance (adjustment of a scanned surface with a planned surface as part of a target
  • such a strip light scanning process can be performed on a workpiece for the purpose of tracking (determination of translation / rotation).
  • the laser projector or beamer projects an image which is optically captured by the camera (s) and then triangulated or reconstructed in 3D.
  • markers can be dispensed with instead of points on the workpiece in a meaningful system Scanned and used to calculate the pose through an iterative best-fit strategy.
  • no dense point cloud is needed; It can be much thinner, which significantly reduces the computing time.
  • the advantage of using strip light scanning technology for tracking is that it does not require any preparation of the workpiece, such as when attaching markers.
  • the exemplarily described visualization system can also be used in other applications, eg. B. in the implementation and verification of drilling.
  • the target position of the drill and its diameter are projected as information.
  • the visualization system can also be used for quality assurance on the assembly line, especially in the automotive industry. Instead of the flexible repositioning of the projection unit in a large immovable object, the object itself moves here. On the basis of statistical methods, areas to be inspected are randomly marked (eg spot welds). The projected information moves along with the movement of the object on the assembly line.
  • Another application is maintenance in workshops.
  • the mobile projection unit possibly attached to a swivel arm, is specifically used to project assembly instructions onto an object in tricky situations.
  • the system can also be used to visualize maintenance instructions from a non-locally available expert for local service personnel (Remote Maintenance).

Abstract

Ein System zur visuellen Darstellung von Informationen auf realen Objekten umfasst eine Projektionseinheit (14) zur grafischen oder bildlichen Übertragung einer Information auf ein Objekt und ist gekennzeichnet durch eine dynamische Trackingeinrichtung mit einer 3D-Sensorik zur Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) im Raum, und eine Steuereinrichtung für die Projektionseinheit (14), die die Übertragung der Information an die aktuelle, von der Trackingeinrichtung bestimmte Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) anpasst. Ein Verfahren zur visuellen Darstellung von Informationen auf realen Objekten mit einer Projektionseinheit (14), umfasst die Schritte: Bestimmen der aktuellen Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) im Raum; grafisches oder bildliches Übertragen einer Information auf das Objekt auf der Grundlage der bestimmten Position und/oder Lage; Erkennen und Bestimmen einer Änderung der Position und/oder Lage der Objekts und/oder der Projektionseinheit (14); und Anpassen der Übertragung der Information an die geänderte Position und/oder Lage des Objekts und/oder der Projektionseinheit (14).

Description

System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten
Die Erfindung betrifft ein System zur visuellen Darstellung von Informationen auf realen Objekten. Die Erfindung betrifft ferner ein Verfahren zur visuellen Darstellung von Informationen auf realen Objekten.
Es sind verschiedene Augmented-Reality-Systeme (kurz: AR-Systeme) bekannt, mit denen allgemein die visuelle Realitätswahrnehmung erweitert wird. Beispielsweise können Bilder oder Videos durch Einblendung computergenerierter Zusatzinformationen ergänzt werden. Aber auch auf reale Objekte können für einen Betrachter sichtbare Informationen übertragen werden. Diese Technik wird unter anderem in der Konstruktion, Montage oder Wartung eingesetzt. So können Laserprojektoren oder Videoprojektoren (Beamer) eine optische Unterstützung bieten, etwa beim Ausrichten von großen Schablonen für Lackierungen oder in der Qualitätssicherung. Jedoch musste bisher für eine präzise Projektion der Projektor statisch an einer Stelle montiert sein. Die Werkstücke mussten jeweils abhängig von der Position und Lage (Pose) des Projektors genau eingemessen werden. Jede Veränderung der Pose des Projektors oder des Werkstücks erforderte ein zeitaufwendiges erneutes Einmessen. Daher können Projektionssysteme bis jetzt nur in statischen Aufbauten sinnvoll eingesetzt werden.
Aufgabe der Erfindung ist es, die Einsatzmöglichkeiten eines Systems zur visuellen Darstellung von Informationen auf realen Objekten zu erweitern.
Gelöst wird diese Aufgabe durch ein System mit den Merkmalen des Anspruchs 1 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 16. Vorteilhafte und zweckmäßige Ausgestaltungen des erfindungsgemäßen Systems und des erfindungsgemäßen Verfahrens sind in den zugehörigen Unteransprüchen angegeben. Das erfindungsgemäße System zur visuellen Darstellung von Informationen auf realen Objekten umfasst eine Projektionseinheit zur grafischen oder bildlichen Übertragung einer Information auf ein Objekt und ist gekennzeichnet durch eine dynamische Trackingeinrichtung mit einer 3D-Sensorik zur Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit im Raum, und eine Steuereinrichtung für die Projektionseinheit, die die Übertragung der Information an die aktuelle, von der Trackingeinrichtung bestimmte Position und/oder Lage des Objekts und/oder der Projektionseinheit anpasst. Mit der Erfindung lässt sich die Effizienz manueller Arbeitsschritte in Fertigung, Montage und Wartung steigern und gleichzeitig die Arbeitsqualität erhöhen. Durch die präzise Übertragung von Informationen, beispielsweise des digitalen Planungsstands (CAD-Modell) direkt auf ein Werkstück, entfällt die aufwändige und fehleranfällige Übertragung von Bauplänen mittels Schablonen und anderen Messinstrumenten. Ein visueller Soll-Ist Vergleich ist jederzeit und für einen Anwender intuitiv durchführbar. Zudem können Arbeitsanweisungen, z. B. Schritt-für-Schritt-Anleitungen, direkt am Arbeitsobjekt bzw. im Sichtfeld des Anwenders zur Verfügung gestellt werden, also genau dort, wo sie tatsächlich benötigt werden. Die erfindungsgemäße Kombination eines Projektors mit einer dynamischen 3D-Trackingeinrichtung ermöglicht ein fortwährendes, automatisches Einmessen (dynamische Referenzierung) des Projektors und/oder des Objekts, auf dem eine Information dargestellt werden soll, relativ zur Arbeitsumgebung. Somit können sowohl die Projektionseinheit als auch das Objekt frei bewegt werden, da bei jeder Bewegung der Projektionseinheit oder des Objekts die grafische bzw. bildliche Übertragung der Information automatisch nachgeführt wird. Dank dieser Mobilität passt sich das erfindungsgemäße System im Gegensatz zu den bekannten statischen Systemen selbsttätig an verschiedene, sich verändernde Umgebungsbedingungen an. Damit eröffnet sich ein viel breiteres Spektrum an Einsatzmöglichkeiten.
So lässt sich das erfindungsgemäße System in großen und/oder unübersichtlichen Umgebungen, wie sie etwa im Flugzeug- oder Schiffsbau vorherrschen, stets so positionieren, dass sich die zu bearbeitenden Teile eines Werkstücks im Projektionsbereich befinden. Durch die flexible Platzierung lassen sich zudem Störungen von parallel laufenden Aktivitäten weitestgehend vermeiden. Auch in Szenarien, in denen ein Objekt während des Arbeitsprozesses bewegt wird, etwa am Fließband, können Montageanweisungen oder Informationen zur Qualitätssicherung direkt auf das Objekt projiziert werden. Die Projektion wandert dabei mit der Bewegung des Objektes mit.
Typische Einsatzszenarien für die Erfindung sind Werker-Assistenzsysteme zur Anzeige von Montage- und Wartungsanweisungen sowie von Informationen zur Qualitätssicherung. Beispielsweise können Montagepositionen oder Bohrungen exakt markiert oder zu überprüfende Schweißpunkte oder Halter gekennzeichnet werden. Das System eignet sich auch für die Unterstützung von Servicepersonal vor Ort durch nicht ansässige Experten, welche über eine integrierte Kamera die Projektion fernsteuern können. Damit die projizierte Information nicht verzögert auf das Objekt übertragen wird, was zu Fehlern oder Ungenauigkeiten bei den Arbeiten führen kann, ist die dynamische Trackingeinrichtung zur fortwährenden Erfassung der Position und/oder Lage des Objekts und/oder der Projektionseinheit in Echtzeit ausgelegt.
Die Projektionseinheit ist das Herzstück des Visualisierungssystems. Eine bei herkömmlichen Systemen nicht verfügbare Flexibilität wird dadurch erreicht, dass die Projektionseinheit ein mobil aufstellbares Gerät ist, in dem ein Projektor, vorzugsweise ein Laserprojektor oder Videoprojektor (Beamer), und zugleich die 3D-Sensorik der Trackingeinrichtung untergebracht sind. Wichtig ist hierbei eine starre Verbindung zwischen dem Projektor und der Empfangseinheit der 3D- Sensorik (Kamera oder dergl.), damit ein konstanter, kalibrierbarer Offset bestehen bleibt. Somit ist es möglich, die Position und/oder Lage der Projektionseinheit jederzeit genau zu bestimmen, auch wenn die Projektionseinheit zwischendurch repositioniert wird.
Der Laserprojektor ist im Vergleich zu anderen Projektionstechniken sehr kontrastreich und garantiert die bestmögliche Sichtbarkeit von Konturen und Geometrien, selbst auf dunklen oder spiegelnden Oberflächen und auch in hellen Umgebungen (Tageslicht). Die lange Lebensdauer der Lichtquelle und der geringe Stromverbrauch sowie die Robustheit unter widrigen Bedingungen sind weitere Vorzüge des Laserprojektors.
Eine weitere bevorzugte Variante ist der Einsatz eines Beamers. Zwar ist sowohl dessen maximale Auflösung als auch dessen Kontrast deutlich geringer als bei einem Laserprojektor, jedoch bietet er den Vorteil einer vollfarbigen und flächigen Darstellung, wohingegen mit dem Laserprojektor nur einige wenige Konturen gleichzeitig, in lediglich einer bzw. wenigen Farben dargestellt werden können. Zusammengenommen kann der Videoprojektor wesentlich mehr Information gleichzeitig zur Anzeige bringen. Die 3D-Sensorik der Trackingeinrichtung weist gemäß einer bevorzugten Ausführungsform wenigstens eine Kamera auf, die vorzugsweise fest mit einem Projektor der Projektionseinheit verbunden ist. Kameras sind für Trackinganwendungen sehr gut geeignet. In Verbindung mit bestimmten Markern, die von einer Kamera erfasst werden können, kann mittels mathematischer Verfahren auf die Pose der Kamera rückgeschlossen werden. Wenn nun die Kamera als Teil der 3D-Sensorik der Trackingeinrichtung in der Projektionseinheit untergebracht ist (d. h. wenn eine starre Verbindung zwischen Kamera und Projektor besteht), kann leicht die Pose des Projektors bestimmt werden. Für das Einmessen und/oder die Nachverfolgung der Projektionseinheit und/oder des Objekts sind spezielle Marker sinnvoll, die an Referenzpunkten einer Umgebung angeordnet sind, in der das System eingesetzt wird, und von der 3D-Sensorik der Trackingeinrichtung erfassbar sind.
Gemäß einem besonders vorteilhaften Aspekt der Erfindung sind die Marker und die Trackingeinrichtung so aufeinander abgestimmt, dass die Trackingeinrichtung mittels der Marker zum einen eine Einmessung der Referenzpunkte in einem Koordinatensystem der Umgebung oder des Objekts und zum anderen die Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit vornehmen kann. Die Marker erfüllen in diesem Fall also eine Doppelfunktion, was den Aufwand für die Vorbereitungen vor der Benutzung des Visualisierungssystems reduziert und damit die Effizienz des Systems erhöht. Die Marker können insbesondere auf Flachmarkem basieren und weisen vorzugsweise charakteristische Rechtecke, Kreise und/oder Ecken auf, die vorteilhaft für die Ermittlung der Pose der Kamera relativ zu den Markern herangezogen werden können. Für das Einmessen und das Tracken der ist es von Vorteil, wenn die Marker eindeutige, von der Trackingeinrichtung erfassbare Identifizierungsmerkmale aufweisen, insbesondere in Form von eckigen oder runden Bitmustern.
In einer besonders bevorzugten Ausführungsform der Erfindung weisen die Marker Retroreflektormarken auf, die vorzugsweise in der Mitte des jeweiligen Markers angeordnet sind. Die Retroreflektormarken lassen sich mit einem Laserprojektor gut anpeilen, und mit einem Optimierungsalgorithmus kann durch Messung des reflektierten Lichts eine Zentrierung erfolgen, sodass 2D- Korrespondenzen im Bildkoordinatensystem der Projektionseinheit, passend zu in 3D bekannten Referenzpositionen hergestellt werden können für eine Berechnung der Transformation zwischen der Projektionseinheit und dem Objekt.
Gemäß einer vorteilhaften Gestaltung sind die Retroreflektormarken als Kugelelemente mit einer Öffnung ausgebildet, durch die eine vorzugsweise am Kugelmittelpunkt angebrachte Retroreflektorfolie sichtbar ist. Ein solches Kugelelement kann um seinen Mittelpunkt beliebig gedreht werden, um eine bessere Sichtbarkeit zu erreichen, ohne dass sich dadurch die Koordinaten des Kugelmittelpunkts mit der Retroreflektorfolie ändern.
Vorzugsweise sind die Marker so gestaltet, dass sie in der Umgebung, in der das System eingesetzt wird, an Referenzpunkten mit bekannter bzw. verlässlicher Position in einem Koordinatensystem der Umgebung oder des Objekts anbringbar sind. Insbesondere können die Marker in sogenannte RPS- Löcher eingesteckt werden, die in vielen Anwendungsfällen an festgelegten Referenzpunkten bereits vorhanden und im Objektkoordinatensystem besonders genau bekannt und dokumentiert sind. RPS-Löcher werden beispielsweise von Robotern zum Greifen eines Bauteils genutzt Ebenso kann eine Anbringung in Löchern einer (genormten) Lochplatte mit festem und bekanntem Loch-Raster, wie sie in der Messtechnik gerne verwendet wird, und/oder auf einer Oberfläche des Objekts vorgesehen sein. Gemäß einem besonderen Aspekt kann ein Marker an mehreren Punkten fixiert sein, um auch die Orientierung des Markers im Raum festzulegen. Dies ist für einige Spezialanwendungen vorteilhaft.
Wahlweise können auch die gesamten Marker so gestaltet sein, dass sie über Adapter oder Zwischenstücke an Referenzpunkten mit bekannter oder verlässlicher Position (und ggf. Lage) in einem Koordinatensystem der Umgebung oder des Objekts anbringbar sind, insbesondere durch Einstecken in an den Referenzpunkten vorhandene RPS-Löcher. So kann im Falle eines Flachmarkers, der um eine Retroreflektormarke ergänzt sein kann, das Flachmarkertracking die Pose des Flachmarkers liefern, sodass die bekannte Pose der Normbohrung im Referenzunkt über die bekannte Geometrie des Adapters bzw. Zwischenstücks in die Pose des Flachmarkers überführbar ist und umgekehrt. Außerdem kann eine Anbringung der Adapter oder Zwischenstücke in Löchern einer (genormten) Lochplatte mit festem und bekanntem Loch-Raster und/oder auf einer Oberfläche des Objekts vorgesehen sein. Die Adapter und die Marker sind so aufeinander abgestimmt, dass die Marker eindeutig in die Adapter steckbar sind. Aufgrund der festen Korrelation ist dann ein Einmessen der Adapter und Marker zueinander nicht notwendig. Somit können die Marker in einer generischen Form hergestellt werden, wohingegen die Adapter besser an unterschiedliche Szenarien angepasst werden können. Ziel ist jedoch auch hier, mit möglichst wenigen Adaptern auszukommen. Deshalb werden die Adapter bevorzugt so gefertigt, dass Sie über standardisierte Steck-/Klemm- /Magnethalterungen verfügen, damit sie an möglichst vielen Werkstücken einsetzbar sind. Eine bevorzugte Ausbildung der Marker sieht vor, dass die Marker jeweils eine Normbohrung und einen unter der Normbohrung angeordneten Magneten aufweisen. Kugelförmige Retroreflektormarken mit einer metallischen Basis lassen sich dann leicht in die Normbohrung einstecken und werden vom Magneten gehalten, wobei ein Ausrichten der Retroreflektormarken durch Drehen möglich ist.
Das erfindungsgemäße Visualisierungssystem kann auch gänzlich ohne Marker realisiert werden. In dieser alternativen Ausführungsform sind die Projektionseinheit und die Trackingeinrichtung so ausgelegt, dass zur Bestimmung der Position und/oder Lage des Objekts Streifenlichtscanning- Technologie eingesetzt wird. Der Aufwand für die Präparierung des Objekts mit Markern entfällt hier.
Die Erfindung schafft auch ein Verfahren zur visuellen Darstellung von Informationen auf realen Objekten mit einer Projektionseinheit. Das erfindungsgemäße Verfahren umfasst folgende Schritte:
- Bestimmen der aktuellen Position und/oder Lage des Objekts und/oder der Projektionseinheit im Raum;
- grafisches oder bildliches Übertragen einer Information auf das Objekt auf der Grundlage der bestimmten Position und/oder Lage;
- Erkennen und Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit; und
- Anpassen der Übertragung der Information an die geänderte Position und/oder Lage des Objekts und/oder der Projektionseinheit. Die Vorteile dieses Verfahrens entsprechen denen des erfindungsgemäßen Systems zur visuellen Darstellung von Informationen auf realen Objekten.
Für ein sofortiges, akkurates Nachführen der projizierten Information bei einer Positions- oder Lageänderung des Objekts und/oder der Projektionseinheit ist vorgesehen, dass die aktuelle Position und/oder Lage des Objekts und/oder der Projektionseinheit fortwährend in Echtzeit erfasst wird.
In vorteilhafter Weise kann ein Laserprojektor der Projektionseinheit zum Anpeilen von Markern genutzt werden, die an Referenzpunkten einer Umgebung angeordnet sind, in der das Verfahren eingesetzt wird, wobei die Marker von einer 3D-Sensorik einer Trackingeinrichtung erfasst werden. Gemäß einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens werden - vorzugsweise dieselben - Marker für ein Einmessen der Referenzpunkte in einem Koordinatensystem der Umgebung oder des Objekts und für das Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit verwendet. Beim erfindungsgemäßen Verfahren ist es möglich, für das Erkennen und Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit ein Inside-Out-artiges Trackingverfahren mit wenigstens einer beweglichen Kamera und fest installierten Markern zu verwenden. Die Kamera kann in der mobilen Projektionseinheit untergebracht sein und wird so immer zusammen mit dem darin befindlichen Projektor bewegt. Für eine zuverlässige Kalibrierung des Offsets zwischen Projektor und Kamera ist eine starre Verbindung zwischen den beiden Geräten vorgesehen.
In einer alternativen Ausführungsform des erfindungsgemäßen Verfahrens kann auf Marker gänzlich verzichtet werden. Zum Bestimmen der Position und/oder Lage des Objekts wird stattdessen ein Streifenlichtscanning-Prozess durchgeführt, bei dem vorzugsweise die Projektionseinheit ein Bild projiziert, das mit einer oder mehreren Kameras erfasst und anschließend trianguliert bzw. rekonstruiert wird. Weiter vorzugsweise werden nach einer vorgegebenen Systematik Punkte auf dem Objekt gescannt, und zur Berechnung der Position und/oder Lage des Objekts wird eine iterative Best-Fit-Strategie benutzt.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung und aus den beigefügten Zeichnungen, auf die Bezug genommen wird. In den Zeichnungen zeigen: - Figur 1 eine Schnittansicht einer Rumpftonne eines Flugzeugs mit einem erfindungsgemäßen System;
- Figur 2 eine Detailvergrößerung aus Figur 1 ;
- Figur 3 eine Detailvergrößerung aus Figur 2 im Falle einer korrekten Halterungsmontage; - Figur 4 eine Detailvergrößerung aus Figur 2 im Falle einer fehlerhaften Halterungsmontage;
- Figur 5 eine Draufsicht auf einen Flachmarker;
- Figur 6 eine perspektivische Ansicht eines Flachmarkers;
- Figur 7 eine perspektivische Ansicht eines dreidimensionalen Markers; - Figur 8 eine Draufsicht auf einen Kombi-Marker noch ohne eingesetzte Retroreflektormarke;
- Figur 9 eine Seitenansicht eines Kombi-Markers noch ohne eingesetzte Retroreflektormarke; - Figur 10 eine Seitenansicht eines in einer Arbeitsumgebung montierten Kombi-Markers noch ohne eingesetzte Retroreflektormarke;
- Figur 11 eine Schnittansicht einer Referenzmarke;
- Figur 12 eine Seitenansicht eines Kombi-Markers mit Retroreflektormarke und Sichtwinkelbereichen für Laserprojektor und Kamera; - Figur 13 eine Seitenansicht eines Kombi-Markers mit geneigter Retroreflektormarke;
- Figur 14 eine Seitenansicht eines in einer Arbeitsumgebung mithilfe eines Zwischenstücks montierten Kombi-Markers ohne Retroreflektormarke;
- Figur 15 eine Seitenansicht eines Kombi-Markers ohne Retroreflektormarke mit einem Steckadapter;
- Figur 16 eine schematische Darstellung der Befestigung von Markern in RPS-Bohrungen bzw. Löchern einer Lochplatte; und
- Figur 17 einen im Sinne einer virtuellen Lehre mit Markern versehenen Winkel. Exemplarisch wird im Folgenden ein Einsatzszenario für ein System und ein Verfahren zur visuellen Darstellung von Informationen auf realen Objekten (Visualisierungssystem) erläutert, nämlich die Kontrolle der Haltermontage beim Bau eines Flugzeugs.
Der Bau großer Objekte (Flugzeuge, Schiffe, Fabrikationsanlagen, Maschinen, etc.) wird nach wie vor Großteils in Handarbeit bestritten. Zum einen rechtfertigen die geringen Stückzahlen keinen Einsatz von Robotern, zum anderen sind die großen Dimensionen maschinell nur schlecht handhabbar. Die Fertigung gleicht einer Manufaktur. Große Objekte, wie Rumpftonnen im Flugzeugbau, stehen statisch an einem Ort und werden über einen Zeitraum von Wochen systematisch in Handarbeit aufgerüstet. Der Qualitätssicherung kommt deshalb eine zentrale Bedeutung zu, um ein konstantes Qualitätsniveau gewährleisten zu können.
Die Figuren 1 und 2 zeigen die Rumpftonne 10 eines Großraumflugzeuges. Sie ist ca. 12 m lang und 8 m hoch. Solche Rumpfsegmente werden zunächst einzeln aufgebaut und erst später zu einem Rumpf zusammengesetzt. Die Montage von Halterungen 12 für die spätere Installation von Bordelektronik, Klimaanlage, usw. nimmt pro Rumpftonne 10 sehr viel Zeit in Anspruch. Einen erheblichen Anteil daran hat die Qualitätssicherung, d. h. die Überprüfung der korrekten Montage einer Vielzahl von Halterungen 12. Sie wird bisher durch massiven Personaleinsatz auf Basis großformatiger Baupläne bewerkstelligt, welche aus einem CAD-Modell generiert und dann ausgedruckt werden. Die monotone Arbeit sowie häufige Blickwechsel zwischen Bauplan und Objekt führen zu Flüchtigkeitsfehlern, nicht nur in der Fertigung, sondern auch in der Qualitätssicherung, welche sich auf die Produktivität nachfolgender Arbeitsschritte negativ auswirken.
Die Überprüfung der korrekten Montage der Halterungen 12 in der Rumpftonne 10 kann gemäß der Darstellung in Figur 1 mithilfe des Visualisierungssystems bewerkstelligt werden, das eine mobile Projektionseinheit 14 zur grafischen oder bildlichen Übertragung einer Information auf ein Objekt (Werkstück) aufweist, vorzugsweise mit einem Laserprojektor oder Beamer. Das System umfasst ferner eine dynamische Trackingeinrichtung mit einer 3D- Sensorik zur Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit 14 im Raum. Schließlich umfasst das System noch eine Steuereinrichtung für die Projektionseinheit 14, die die Übertragung der Information an die aktuelle, von der Trackingeinrichtung bestimmte Position und/oder Lage des Objekts und/oder der Projektionseinheit 14 anpasst. Der Laserprojektor bzw. Beamer, die 3D-Sensorik der Trackingeinrichtung und die Steuereinrichtung sind alle in der mobilen Projektionseinheit 14 untergebracht. Unter der Steuereinrichtung sind hier diejenigen Komponenten zu verstehen, die für eine Anpassung der Projektion sorgen, insbesondere hinsichtlich Richtung, Schärfe und/oder Größe. Eine (nicht gezeigte Bedien- und Versorgungseinrichtung ist über einen langen und robusten Kabelschlauch (Strom, Daten) mit der Projektionseinheit 14 verbunden. Die für die Montage der Halterungen 12 wesentlichen Informationen aus den Bauplänen, insbesondere die Anordnung und die Umrisse von Bauteilen, stehen dem System zur Verfügung. Insbesondere ist vorgesehen, Baugruppen aus einem CAD-Modell zu exportieren und weitgehend automatisiert für eine Projektion aufzubereiten. Es wird ein Polygonzug (Kontur) generiert, welcher durch den Laserprojektor bzw. Beamer reproduziert werden kann. So kann die gewünschte Information mit der Projektionseinheit 14 gemäß der Vorgabe aus dem CAD-Modell auf das bereits verbaute Objekt projiziert werden. Auf der Grundlage der Projektion werden etwaige Diskrepanzen mit den Bauplänen unmittelbar sichtbar. In Figur 3 ist eine korrekte Montage einer Halterung 12 dargestellt, in Figur 4 eine Fehlmontage. Zusätzlich oder alternativ zu den reinen CAD-Daten können auch weitere Hinweise, Schritt-für-Schritt-Anleitungen, Pfeile, etc. projiziert werden. Flüchtigkeitsfehler werden damit weitgehend ausgeschlossen, und die Kontrolle der Montage kann wesentlich schneller durchgeführt werden. Grundsätzlich ist es dank der Unterstützung durch das Visualisierungssystem möglich, die Fertigung und die Qualitätssicherung kombiniert durchzuführen, um die Produktivität weiter zu steigern.
Grundvoraussetzung für die korrekte Funktion des Visualisierungssystems ist, dass Position und/oder Lage (je nach Anwendung) der Projektionseinheit 14 in der Arbeitsumgebung zu jedem Zeitpunkt mittels der 3D-Sensorik bestimmt werden können. Hierzu ist vorgesehen, dass das für die Positions- und/oder Lagebestimmung erforderliche Einmessen dynamisch, d. h. nicht nur einmalig, sondern fortwährend oder zumindest nach jeder automatisch erkannten oder manuell mitgeteilten Positions- und/oder Lageänderung, mittels der Trackingeinrichtung über standardisierte Referenzpunkte erfolgt (dynamische Referenzierung). Diese Referenzpunkte können auf einfache Weise an verschiedenen Raumpositionen temporär montiert werden, z. B. mittels Klebeband und/oder Heißkleber.
Gemäß einer ersten Variante können die Referenzpunkte mit einem kommerziell erhältlichen Lasertracker präzise vermessen werden, wobei das Koordinatensystem der Arbeitsumgebung, hier das Flugzeugkoordinatensystem, zugrundegelegt wird. Gemäß einer zweiten, bevorzugten Variante werden spezielle, auf die 3D- Sensorik der Trackingeinrichtung abgestimmte Marker 16 an den Referenzpunkten eingehängt. Auf die besonderen Anforderungen an die Marker 16 wird später noch genau eingegangen. Jedenfalls kann die 3D-Sensorik über die Marker 16 die Referenzpunkte einmessen und anschließend die Projektionseinheit 14 ins Koordinatensystem der Arbeitsumgebung einmessen. Das Visualisierungssystem ist dann betriebsbereit.
Bei der oben beschriebenen Anwendung im Flugzeugbau werden die Marker 16 verklebt und eingemessen und stehen dann für die ganze Dauer eines Bauabschnittes (mehrere Wochen) zur Verfügung, d. h. solange, bis durch den Baufortschritt die aktuellen Positionen verdeckt werden; die Marker 16 müssten dann ggf. neu montiert werden. Dadurch können ohne zusätzlichen Aufwand (Einmessen der Referenzpunkte) weitere Arbeitsschritte innerhalb eines Bauabschnittes auf die Benutzung des Visualisierungssystems mit der Projektionseinheit 14 umgestellt werden.
Zur dynamischen Einmessung (Referenzierung) der Projektionseinheit 14 und dessen nahtlose Integration in bestehende Arbeitsprozesse werden die Basistechnologien "klassische Messtechnik" und "Tracking" kombiniert. Die klassische Messtechnik ist Industriestandard. Sie ist zwar sehr genau, aber auch teuer und unflexibel, da immer zwei getrennte Arbeitsschritte erforderlich sind, nämlich die eigentliche Messung und die Aufbereitung/Visualisierung/Analyse der Messdaten.
Tracking bezeichnet im Gegensatz zur klassischen Messtechnik Echtzeit- Messsysteme. Üblicherweise werden Position und Lage (Pose, sechs Freiheitsgrade) bestimmt. Ein wesentlicher Vorteil besteht darin, dass aufgrund des Echtzeit-Charakters der Messung die Ergebnisse unmittelbar zur Verfügung stehen. Die aufwändige, nachträgliche Auswertung von Messdaten entfällt. Darüber hinaus ist Tracking eine Grundvoraussetzung für Augmented-Reality- Systeme (AR-Systeme) zur interaktiven Einblendung virtueller Inhalte (CAD- Daten, etc.) in das Blickfeld des Anwenders, zu denen auch das oben beschriebene Visualisierungssystem zählt.
Nachfolgend wird genauer auf die Marker 16 eingegangen, die sowohl für die Einmessung der Referenzpunkte als auch für die dynamische Referenzierung der Projektionseinheit 14 verwendet werden. Für ein optisches Tracking mit einer Kamera sind sogenannte Flachmarker geeignet, die in beliebiger Größe gefertigt werden können. Ein Beispiel für einen solchen Flachmarker mit einem Bitmuster 20 ist in Figur 5 gezeigt. Über das äußere und innere Rechteck 22 bzw. 24 (Eckpunkte) lässt sich mit mathematischen Verfahren die Pose der Kamera relativ zum Marker 16 ermitteln. Es genügt dafür grundsätzlich eine einfache, preiswerte Kamera; mehrere und/oder hochwertigere Kameras erhöhen die Genauigkeit.
Figur 6 zeigt einen Flachmarker mit drei Beinen 18, sodass bei Vorsehen einer entsprechenden Aufnahme eine eindeutige Orientierung des Markers 16 sichergestellt ist. Figur 7 zeigt einen dreidimensionalen Marker 16 in Form eines Quaders, genauer gesagt eines Würfels, dessen Seiten mit Bitmustern 20 belegt sind.
Die Integration von Trackingverfahren in bestehende Prozesse gestaltet sich allgemein schwierig, vor allem wegen der bisher ungelösten Einmess- Problematik, die im Folgenden kurz erläutert wird. Die wenigen, sich im produktiven Einsatz befindlichen Anlagen basieren ausschließlich auf sogenannten „Outside-In-Verfahren", bei denen Sensoren (insbesondere Kameras) in der Umgebung fest verbaut und in dieser fest eingemessen sind. Das ist unflexibel und in den wenigsten der potentiellen Einsatzszenarien von AR-Systemen tatsächlich durchführbar, da entweder die Umgebung nicht dauerhaft mit Kameras ausgerüstet werden kann (z. B. Flugzeug oder Schiff im Bau) oder im Arbeitsprozess Sichtbehinderungen auftreten, die eine flexible Ausrichtung der Kameras erfordern würden (z. B. Personal, Baumaterial, Zwischenwände, Arbeitsplattformen, etc.). Außerdem leiden Outside-In-Systeme in vielen Fällen an unzureichender Rotationsgenauigkeit.
Allgemein gilt in der Messtechnik der Leitsatz, dass das Volumen der zum Einmessen verwendeten Punkte grob dem Messvolumen entsprechen soll. Beim Outside-In-Tracking ist es notwendig, dass„von außen" mehrere am mobilen System angebrachte Referenzpunkte erkannt und zur Referenzierung verwendet werden. Da das Visualisierungssystem jedoch mobil, und damit in seiner Größe beschränkt ist, kann dem Leitsatz nur ungenügend Rechnung getragen werden. Zudem wirkt sich eine fehlerhafte Erkennung der Orientierung der Projektionseinheit dahingehend aus, dass die Projektion auf dem Werkstück einer Positionsungenauigkeit unterliegt, die linear mit der Arbeitsdistanz wächst.
Sogenannte„Inside-Out-Systeme", bei denen die Kameras bewegt werden, die in der Umgebung fest installierte Marker„tracken", werden bisher lediglich in der Forschung verwendet. Ihr produktiver Einsatz wird durch die bisher ungelöste Einmessproblematik faktisch verhindert.
Das Visualisierungssystem verwendet nun ein Inside-Out-ähnliches Messverfahren und verbindet dieses mit einem Echtzeit-Trackingverfahren, um mehr Flexibilität und Interaktivität im Sinne einer AR-Anwendung zu erreichen. Somit kann in jeder Situation eine das Messvolumen wesentlich besser „umfassende" Wolke an Referenzpunkten genutzt werden. Idealerweise sind in der Projektionseinheit 14 mehrere Kameras als Bestandteil der 3D-Sensorik angeordnet, z. B. als Stereosystem, oder situationsabhängig auch mit nach oben/unten/hinten gerichteten Kameras. Selbst mit nur einer Kamera ist jedoch das zuvor beschriebene Problem des linearen Anwachsens des Projektionsfehlers mit wachsender Arbeitsdistanz nicht mehr vorhanden. Zwar unterliegt im schlimmsten Fall die Positions- und/oder Lageerkennung der mobilen Projektionseinheit 14 einem Fehler. Dadurch jedoch, dass sich die Marker auf der Projektionsfläche befinden, können diese und die dazwischen liegenden Halter mit dem Laserprojektor immer exakt angepeilt werden, selbst wenn ein kleiner Positions- oder Lagefehler der Einheit vorliegt.
Für das Einmessen der Projektionseinheit in das zugrundeliegende Objektkoordinatensystem sind sogenannte Retroreflektormarken geeignet, die auftreffende Strahlung weitgehend unabhängig von der Ausrichtung des Reflektors Großteils in Richtung zurück zur Strahlungsquelle reflektieren. Die Retroreflektormarken können z. B. Kugelelemente mit einer Öffnung sein, durch die eine am Kugelmittelpunkt angebrachte Retroreflektorfolie sichtbar ist. Solche Retroreflektormarken werden üblicherweise in Normbohrungen im Objekt (Werkstück) gesteckt, evtl. mittels spezieller Adapter. Die mobile Projektionseinheit 14 kann sich dann semi-automatisch über den Laserstrahl und eine spezielle Sensorik in die Umgebung einmessen. Dabei werden die Retroreflektormarken manuell grob mit einem durch den Laserprojektor auf das Werkstück projizierten Fadenkreuz angepeilt. Die Peilung des Laserprojektors misst Azimut- und Elevationswinkel, sprich 2D-Punkte auf seiner imaginären Bildebene (vergleichbar mit einem klassischen Tachymeter). Ein Optimierungsalgorithmus zentriert das Fadenkreuz automatisch durch Messung des reflektierten Lichts und liefert somit eine 2D-Korrespondenz im Bildkoordinatensystem der Projektionseinheit 14, passend zu der in 3D bekannten Referenzposition. Mit mindestens vier 2D-3D Korrespondenzen kann die Transformation zwischen Projektionseinheit 14 und Werkstück berechnet werden. Bei jedem Auf- oder Umbau der Projektionseinheit 14 ist dieses Einmessverfahren erneut durchzuführen. Das Verfahren ist aber sehr genau. Wenn die Transformation zwischen Werkstück und Projektionseinheit 14 noch ungefähr gültig ist (z. B. nach einer Erschütterung oder einem leichten Stoß), kann ein erneutes, hochpräzieses Anpeilen der Retroreflektormarken vollautomatisch durchgeführt werden. Dieses Verfahren ist im Prinzip analog zu einer händischen Kalibrierung, jedoch entfällt das Anpeilen mit dem Fadenkreuz. Es können somit für alle vorhandenen Retroreflektormarken in ca. 1 bis 3 Sekunden (je nach Anzahl der Marker) optimierte 2D-Koordinaten gemessen und die Transformation entsprechend angepasst werden. Damit kann auch jederzeit validiert werden, ob die aktuelle Transformation noch den Genauigkeitsanforderungen entspricht. Für eine bessere automatisierte Einmessung der Referenzpunkte und ein Tracking mit Kamera eignen sich sogenannte Kombi-Marker. Ein Kombi-Marker basiert auf einem herkömmlichen Flachmarker mit Bitmuster, wie er in den Figuren 5 bis 7 beispielhaft gezeigt ist, und ist um eine Retroreflektormarke erweitert. Die Retroreflektormarke ist direkt im Mittelpunkt des Flachmarkers angebracht, damit beide Verfahren denselben Mittelpunkt des Kombi-Markers eindeutig bestimmen können.
Die Figuren 8 und 9 zeigen einen solchen Kombi-Marker 26, noch ohne Retroreflektormarke. In der Mitte des Markers 26 sind eine Normbohrung 28 und ein unter der Normbohrung 28 angeordneter Magnet 30 vorgesehen. In Figur 10 ist eine temporäre Befestigung eines solchen Kombi-Markers 26 in einer Arbeitsumgebung mittels zertifiziertem Klebeband 32 und Heißkleber 34 gezeigt.
Figur 11 zeigt eine als Kugelelement ausgebildete Retroreflektormarke 36, die in die Normbohrung 28 gesteckt bzw. eingeklippt werden kann. Die Retroreflektormarke 36 setzt sich aus einer Metall-Halbkugel 38 und einem angeschraubten Kugelsegment 40 mit einer Bohrung 42 zusammen. Die Bohrung 42 legt den Kugelmittelpunkt frei, an dem eine Retroreflektorfolie 44 angebracht ist. Aus der Figur 12 gehen der auf den Kugelmittelpunkt bezogene Sichtwinkelbereich α für den Laserprojektor (ca. 50°) und der entsprechende Sichtwinkelbereich ß für die Kamera 50 (ca. 120°) des Visualisierungssystems hervor. Um den Sichtwinkelbereich für eine bestimmte Position und/oder Lage der Projektionseinheit 14 zu verbessern kann, wie in Figur 13 beispielhaft gezeigt, die Retroreflektormarke 36 geneigt werden. Auch eine Montage mit einem geeigneten Zwischenstück 46 oder über einen Adapter 48, insbesondere einen Steckadapter, -kann zur besseren Sichtbarkeit eines Kombi-Markers 26 beitragen, wie in Figur 14 bzw. Figur 15 gezeigt.
Für die dynamische Referenzierung der Projektionseinheit 14 müssen immer mindestens vier Kombi-Marker 26 sichtbar sein. Dazu wird eine ausreichende Anzahl von Kombi-Markern 26 mit Retroreflektormarken 36 an bestimmten Positionen in der Arbeitsumgebung (hier in der Rumpftonne 10) reversibel angebracht, sodass nach Möglichkeit für alle geplanten Perspektiven der Projektionseinheit 14 die Sichtbarkeit von mindestens vier Positionen sichergestellt ist. Alternativ kann der Kombi-Marker 26 auch so beschaffen sein, dass die Retroreflektormarke 36 unter das gedruckte Bitmuster 20 laminiert und durch eine Stanzung im Zentrum des Bitmusters 20 sichtbar ist. Der Nachteil ist ein schlechterer Sichtwinkel, der Vorteil eine kostengünstigere Fertigung.
Mithilfe der Kombi-Marker 26 erlaubt das beschriebene Konzept die Referenzierung des Laserprojektors in der Projektionseinheit 14 mit der bzw. den Kameras 50, die sich in der Projektionseinheit 14 befinden, d. h. im selben Gehäuse. Damit kann der Laserprojektor stets über die Kamera(s) getrackt werden, und ein manuelles Anpeilen der Retroreflektormarken nach einer Neupositionierung erübrigt sich. Die Visualisierung, also die Übertragung der zur Darstellung vorgesehenen Information auf das Objekt, kann durch das Kameratracking direkt an die neue Position und/oder Lage der Projektionseinheit 14 angepasst werden. Damit werden folgende Probleme gelöst: Die Projektionseinheit 14 muss nicht mehr statisch montiert werden, da das Einmessen in Echtzeit geschieht. Ein flexibler Auf-/Um-/Abbau der Projektionseinheit 14 wird ermöglicht. Bei einem Verschieben der Projektionseinheit 14 wird die Projektion automatisch entsprechend umgerechnet. Außerdem ist kein händisches Einmessen bei Auf-/Umbau oder Verschieben der Projektionseinheit 14 mehr notwendig.
Auf Basis der Kombi-Marker 26 lässt sich mit relativ einfachen Mitteln eine effektive Ausprägung eines selbsregistrierenden Laserprojektors konstruieren. Es genügt, eine einzige, qualitativ minderwertige, dafür aber sehr preiswerte Kamera fest mit dem Laserprojektor der Projektionseinheit 14 zu verbinden. Die Qualität der mittels Bildverarbeitung aus diesen Kamerabildern gewonnenen Informationen ist für sich alleine gesehen nicht ausreichend, um eine genaue Registrierung des selbstregistrierenden Laserprojektors mit der Umgebung zu bewerkstelligen. Die Informationen sind jedoch hinreichend genau, um mit dem Laserstrahl die in den Kombi-Markern 26 enthaltenen Retroreflektormarken 36 mit geringem Suchaufwand erfassen zu können. Der Prozess kann folgendermaßen zusammengefasst werden: In einem ersten Schritt werden über die Kamera die optischen (schwarz-weißen) Eigenschaften (insbesondere der schwarze Rand um das Bitmuster 20) eines Kombi-Markers 26 erfasst, um die ungefähre Richtung des Laserstrahls zu bestimmen. In einem zweiten Schritt wird der Winkel des Laserstrahls durch ein automatisches Suchverfahren dermaßen verändert, dass er exakt auf der Retroreflektormarke 36 des Kombi- Markers 26 zu liegen kommt. Der Vorteil liegt darin, dass mit diesem System aufgrund der moderaten Genauigkeitsanforderung zur Bewerkstelligung des ersten Schritts kostengünstig zu bauen und einfach zu warten ist. Insbesondere entfällt eine aufwändige Kalibrierung von Projektionssystem und Kamera. Trotzdem kann eine hochgenaue, dynamische Registrierung in sehr kurzer Zeit automatisiert durchgeführt werden.
Zurückkommend auf das Beispielszenario der Montage der Halterungen 12 im Flugzeugbau gestaltet sich der eigentliche Arbeitsprozess zur Überprüfung der Montage nach diesem Konzept wie folgt: Die Projektionseinheit 14 wird auf ein Stativ 52 aufgestellt, sodass sich mindestens vier Kombi-Marker 26 im Sichtbereich der Kamera(s) und der Projektionseinheit 14 befinden. Durch die eindeutige, durch das Bitmuster 20 definierte ID der Kombi-Marker 26 kann das Visualisierungssystem jederzeit die in Echtzeit erkannte Pose der einzelnen Marker 16 mit den vorab in einer Setup-Phase bestimmten 3D-Positionen (Einmessung der Referenzpunkte) abgleichen. Dadurch kann die Pose der Projektionseinheit 14 relativ zum Werkstück hinreichend genau ermittel werden, um eine automatische Optimierung durch Anpeilen der Retroreflektormarken 36 erfolgreich durchführen zu können. Die Projektion wird gestartet, und es wird die erste Halterung 12 einer zu überprüfenden Liste angezeigt. Die Projektion kennzeichnet die Soll-Kontur der Halterung 12, sodass ein Montagefehler sofort und zweifelsfrei erkennbar ist (vgl. Figuren 3 und 4). Die Halterungen 12 werden auf diese Weise alle nacheinander abgearbeitet. Sollte sich eine Halterung 12 nicht im Projektionsbereich der Projektionseinheit 14 befinden, wird stattdessen ein Pfeil oder eine andere Information angezeigt, und die Projektionseinheit 14 wird entsprechend neu positioniert. Die Überprüfung kann dann wie beschrieben fortgesetzt werden. Das beschriebene System geht davon aus, dass die Position und/oder Lage der Retroreflektormarken 36 im Objektkoordinatensystem bekannt ist. Dies kann durch Einstecken der Retroreflektormarken 36 bzw. der Kombi-Marker 26 an Normpunkten oder -bohrungen erreicht werden, evtl. über spezielle mechanische Steckadapter 48, wie in Figur 15 gezeigt. Das Tracking mithilfe von Flachmarkern funktioniert zwar in Echtzeit, ist aber je nach Güte der eingesetzten Kamera(s) und Kalibrierverfahren weniger genau als die mittels Peilung der Retroreflektormarken 36 berechnete Transformation. Da aber durch Flachmarkertracking die Pose des Objekts zur Projektionseinheit 14 stets hinreichend genau bekannt ist, kann zu jedem Zeitpunkt die automatische Optimierung (siehe oben) angestoßen werden und somit in wenigen Sekunden eine hochgenaue Pose berechnet werden. Dies ist insbesondere für quantitative Messtechnik-Anwendungen (z. B. genaue Bohrungen in einem Werkstück) relevant.
Eine alternative, ebenfalls besonders vorteilhafte Ausprägung des Systems arbeitet ohne Retroreflektormarken. Die geforderte Projektionsgenauigkeit wird hier durch den Einsatz hochwertiger Kameras, Optiken und Kalibrierverfahren sichergestellt. Vorzugsweise werden anstatt einer Kamera (Mono) auch zwei Kameras (Stereo) eingesetzt. Über sämtliche im Sichtbereich vorhandenen Marker 16 kann mittels Bündelblockausgleichung eine präzise Pose berechnet werden. Zudem wird im Rahmen dieser Ausgleichung jederzeit die Registriergenauigkeit des Projektionssystems ermittelt. Dies setzt voraus, dass mehr als die mathematisch notwendige Anzahl an Markern 16 vorhanden sind. Diese Registriergenauigkeit geht zusammen mit der aus der Kalibrierung des Offsets zwischen Kamera(s) und Projektionseinheit bereits bekannten Genauigkeit dieses Offsets sowie der bekannten intrinsischen Genauigkeit der Projektionseinheit 14 als wesentlicher Faktor in die dynamisch aktualisierte Gesamtgenauigkeit des Visualisierungssystems ein, welche dem Nutzer jederzeit zur Kenntnis gebracht werden kann. Diese Ausprägung muss in Verbindung mit Beamern eingesetzt werden, da ein Erfassen von Retroreflektormarken mittels Laserprojektoren hier ausscheidet. Es bietet darüber hinaus den Vorteil, wesentlich schneller auf dynamische Bewegungen bzw. Störeinflüsse reagieren zu können. Durch die Fixierung eines Markers 16 oder Kombi-Markers 26 nicht nur einem, sondern an mehreren Punkten kann nicht nur die Position des Mittelpunktes des (Kombi-)Markers 16 bzw. 26 im Raum eindeutig festgelegt werden (3 Freiheitsgrade), sondern auch die Orientierung des gesamten (Kombi-)Markers (6 Freiheitsgrade). Dies stellt einen Vorteil für die dynamische Referenzierung des selbstregistrierenden Laserprojektors dar, da anstatt drei nurmehr ein (Kombi-)Marker für die dynamische Registrierung benötigt wird. Zwar wird im Allgemeinen die Registriergenauigkeit dadurch beeinträchtigt; es gibt aber Spezialanwendungen, in denen die Genauigkeit nicht in allen Dimensionen von übergeordneter Bedeutung ist. Vorzugsweise prüft das System selbsttätig, ob die Verteilung der (Kombi-)Marker im Sichtbereich für eine verlässliche Ausgleichung nebst Ermittlung eines aussagekräftigen Fehlerresiduais hinreichend ist und unterbindet degenerierte Konstellationen (z.B. kollineare Marker, Häufung der Marker in einem Teil des Bildes). Ebenso können anwendungsabhängig strengere, d. h. über die mathematische erforderliche Minimalkonfiguration hinausgehende, Markerkonstellationen hinsichtlich Anzahl und Verteilung vom System erzwungen werden, um dessen Verlässlichkeit zu erhöhen. Ein Beispiel für eine solche Anwendung ist das Schweißen von langen, aber schmalen Stahlträgern, beispielsweise Doppel-T-Träger mit den Dimensionen 10 x 0,3 x 0.3 m vor, auf welchen Verstrebungen nach statischen Berechnungen anzuschweißen sind. Hier muss ein besonderes Augenmerk auf die Genauigkeit in Längsrichtung des Trägers gelegt werden. In solchen Spezialfällen kann es ausreichen, nur wenige (Kombi-)Marker 16 bzw. 26 zu verwenden, beim Beispiel des Doppel-T-Trägers etwa zwei, platziert jeweils an dessen Enden.
Im Folgenden werden vier verschiedene Fixierungsmöglichkeiten für die Marker 16 bzw. Kombi-Marker 26 beschrieben: a) Fixierung auf einer RPS-Bohrung (siehe Figur 16): Häufig werden in der Metallverarbeitung, z. B. in der Kfz-Industrie, sogenannte Referenzpunktsystem- Löcher (RPS-Löcher) 54 verwendet, welche mit hoher Präzision gefertigt und unter anderem als Aufnahme für robotergesteuerte Greifer dienen. Aufgrund der Genauigkeit eignen sich diese RPS-Bohrungen 54 als Referenzpunkte für das Anbringen von Markern 16 bzw. Kombi-Markern 26. Um die RPS-Löcher 54 für die Fixierung nutzen zu können, sind in die (Kombi-)Markern 16 bzw. 26 spezielle Haltemittel eingearbeitet, sodass diese in allen möglichen Positionen (ein Klipppunkt) bzw. Posen (mindestens zwei Klipppunkte) reproduzierbar eingeklippt werden können, d. h. also nicht nur in Positionen/Posen, in welchen sie durch die Schwerkraft gehalten werden. Als Haltemittel können Magnete (die auch in ein Zwischenstück 46 oder einen Adapter 48 eingearbeitet sein können), spezielle Klemmfüße ähnlich einem "Bananenstecker" oder Schrauben dienen. b) Fixierung auf einer Lochplatte (siehe Figur 17): Häufig werden Bauteile auf genormten Lochplatten mit festem und bekanntem Lochraster verarbeitet, z. B. im Prototypenbau in der Kfz-Industrie. Das Bauteil ist während des Arbeitsprozesses fest auf dieser Lochplatte 56 verankert und mit dieser räumlich registriert. Die Lochplatte 56 stellt eine exzellente Möglichkeit dar, generisch geformte (Kombi-)Marker 16 bzw. 26 schnell, intuitiv und reproduzierbar anzubringen. Da Bauteil und Lochplatte 56 bereits registriert sind, kann die Pose der (Kombi-)Marker 16 bzw. 26 ohne großen Zusatzaufwand im Objektkoordinatensystem des Bauteils angegeben werden. Dem System muss lediglich mitgeteilt werden, an welchen Positionen des Rasters der/die (Kombi-)Marker 16 bzw. 26 eingeklippt wurde(n). c) Fixierung auf einer Objektoberfläche (virtuelle Lehre; siehe Figur 18): Die unter a) und b) beschriebenen Fixierungsvarianten basieren auf einzelnen (Kombi-)Markern 16 bzw. 26, welche besonders generisch sind und in Form eines "Baukastens" für unterschiedlichste Zwecke eingesetzt werden können. Die hier als "virtuelle Lehre" bezeichnete Variante ist dagegen charakterisiert durch die geschickte Anpassung einer Konstellation von (Kombi-)Markern 16 bzw. 26 an eine bestimmte Anwendung. Veranschaulicht werden kann die virtuelle Lehre am Beispiel eines Winkels 58, wie er bei der Holz, Stein- und Metallbearbeitung sowie im Bauhandwerk verwendet wird, um die in seiner Anwendung typischerweise benötigten rechten Winkel einfach auf ein Werkstück zu übertragen. Eine beispielhafte Ausprägung der virtuellen Lehre ist eine Dreierkonfiguration von (Kombi-)Markern 16 bzw. 26 auf einem solchen Winkel 58. Die virtuelle Lehre eignet sich besonders für Anwendungen, in denen digitale Informationen auf eine ebene Fläche projiziert werden müssen, z. B. bei der Installation von Verankerungen auf einem Hallenboden im Anlagenbau. Es sind so viele Ausprägungen denkbar, wie es Werkstücke gibt. Der Vorteil der virtuellen Lehre liegt darin, dass Sie intuitiv benutzbar ist und insbesondere auch reproduzierbar an solche Werkstücke angelegt werden kann, die nicht über RPS- Löcher (siehe a) verfügen und/oder deren Oberfläche sehr komplex geformt, z. B. gekrümmt ist. Idealerweise wird die virtuelle Lehre bereits im CAD-Modell des Werkstücks mit eindesignt wird (analog zu den RPS-Löchern, welche ja ebenfalls im CAD-Modell bereits vorhanden sind). Für die Fertigung der virtuellen Lehren kann auf Rapid Prototyping (3D Drucker) zurückgegriffen werden. Diese liefern eine ausreichende Genauigkeit und erlauben eine preisgünstige Herstellung. Eine besondere Ausprägung kann als komplexe virtuelle 3D-Lehre bezeichnet werden: In manchen Situationen ist keine generische virtuelle Lehre einsetzbar, weil das Arbeitsobjekt keine sich wiederholenden Anknüpfungspunkte (wie rechte Winkel) bietet. In solchen Fällen werden die Lehren eindeutig an die SD- Oberfläche des Arbeitsobjektes angepasst. Die Lehren bilden dann genau das 3D-Gegenstück (Negativ) des Arbeitsobjekts. Solche Lehren können mit einem der unter a) beschrieben Fixierarten angebracht werden, z. B. mithilfe von Magneten. d) Es ist auch eine Kombination aus virtueller Lehre und RPS-Löchern 54 möglich, in welcher die virtuelle Lehre auf eine bestimmte, häufige wiederkehrende Konstellation von RPS-Löchern 54 hin optimiert wird. Gegenüber den generischen RPS-(Kombi-)Markern 16 bzw. 26 (siehe a) kann eine vereinfachte Handhabung bei gleichzeitiger Eliminierung potentieller Fehlerquellen erreicht werden. So könnten bei einer Vielzahl identischer RPS- Löchern auf einem Werkstück, in welche eine geringe Anzahl an (Kombi- )Markern 16 bzw. 26 geklippt werden sollen, einzelne (Kombi-)Marker 16 bzw. 26 versehentlich in ein falsches Loch 54 geklippt werden. Dies resultiert im besten Fall in Verwirrung des Nutzers, im schlimmsten Fall in Fertigungsfehlern, die zunächst unentdeckt bleiben. Eine speziell konstruierte virtuelle Lehre hingegen kann derart gefertigt sein, dass sämtliche Mehrdeutigkeiten eliminiert werden (Poka-Yoke-Prinzip).
Zur Fixierung der Marker 16 bzw. Kombi-Marker 26 können, wie zuvor bereits angesprochen, auch spezielle Adapter 48 verwendet werden. Auf den Adaptern 48 können verschiedene generische (Kombi-)Marker 16 bzw. 26 befestigt werden. Die Adapter 48 und (Kombi-)Marker 16 bzw. 26 sind so ausgebildet, dass sie eindeutig ineinander steckbar sind. (Kombi-)Marker 16 bzw. 26 und Adapter 48 beziehen sich immer auf das gleiche Koordinatensystem. Deshalb müssen (Kombi-)Marker 16 bzw. 26 und Adapter 48 nicht mehr weiter zueinander eingemessen werden, denn das System erkennt aus der Kombination von (Kombi-)Marker 16 bzw. 26 und Adapter 48 sofort das neue Koordinatensystem des (Kombi-)Markers 16 bzw. 26.
Oft sind Referenzpunkte (Normpunkte oder -bohrungen) am Werkstück oder in der Arbeitsumgebung nicht verfügbar. In diesem Fall kann klassische Messtechnik verwendet werden, um die (Kombi-)Marker 16 bzw. 26 in der Umgebung einzumessen. Hierzu kann vorgesehen sein, dass an einem montierten (Kombi-)Marker 26 eine Antastkugel angebracht wird, die von einem taktilen Messsystem erfasst werden kann. Insbesondere kann eine solche Antastkugel im Zentrum eines Kombi-Markers 26 platziert werden, um den Schwerpunkt des Flachmarkerteils und der Retroreflektormarke 36 zu bestimmen. Die Retroreflektormarke 36 ist dazu entnehmbar, da sie nur vom Magneten 30 gehalten wird. Wahlweise kann also die Antastkugel des taktilen Messsystems oder die Retroreflektormarke 36 der Trackingeinrichtung eingeklippt werden. Alternativ können an den montierten (Kombi-)Markern 16 bzw. 26 auch bestimmte Marken angebracht sein, die in gängigen photogrammetrischen Messsystemen in der Industrie verwendet werden. Solche z. B. runden Standard- Marken können insbesondere in den Ecken der viereckigen (Kombi-)Marker 16 bzw. 26, genauer gesagt auf dem äußeren weißen Rand 22 angebracht werden. Dieses oder vergleichbare Verfahren basieren auf Bündelblockausgleichung, wobei mit Fotos die Registrierung der (Kombi-)Marker 16 bzw. 26 untereinander erreicht wird.
Gemäß einem alternativen Ansatz kann das vorgestellte Visualisierungssystem auf Basis von Streifenlichtscanning-Technologie vollständig ohne Marker oder (Kombi-)Marker realisiert werden. Streifenlichtscanning-Systeme, im englischen Sprachgebrauch auch als „Structured-Light 3D Scanner" bekannt, werden heutzutage bereits verwendet, um sogenannte "dichte Punktwolken" von Objekten zu Erzeugen, ein klassisches Verfahren der Messtechnik. Je nach Größe der zu vermessenden Objekte kommen Streifenlichtscanner oder Laserscanner zum Einsatz. Erstere arbeiten mit Streifenprojektion, letztere mit Projektion von Laserlinien, kombiniert mit der Messung der Laufzeitlänge des Lichtes (Time-of-Flight). Ergebnis ist jeweils, trotz unterschiedlicher physikalischer Messprinzipien, eine dichte Punktwolke, welche die Oberfläche des eingescannten Objektes repräsentiert. Diese Punktwolken (teilweise mehrere Millionen Punkte) können nun softwaretechnisch durch Flächenrückführung (Dreiecksvermaschung) in ein effizient handhabbares Polygonnetz überführt werden. Ein weiterer algorithmischer Transformationsschritt erlaubt die Rückführung in ein CAD-Modell, insbesondere mit sogenannten NURBS-Oberflächen (Non-Uniform Rational B-Spline). Diese Technik wird derzeit hauptsächlich für sie Anwendungsfälle Reverse Engineering und Qualitätssicherung (Abgleich einer eingescannten Oberfläche mit einer geplanten Oberfläche im Rahmen eines Soll-Ist-Vergleichs) genutzt.
Mit der Projektionseinheit 14 kann ein solcher Streifenlichtscanning-Prozess an einem Werkstück zum Zwecke des Tracking (Bestimmung von Translation/Rotation) durchgeführt werden. Der Laserprojektor oder Beamer projiziert dabei ein Bild, welches optisch mit der/den Kameras erfasst und dann in 3D trianguliert bzw. rekonstruiert wird. Somit kann auf Marker verzichtet werden, indem stattdessen in einer sinnvollen Systematik Punkte auf dem Werkstück gescannt und zur Berechnung der Pose durch eine iterative Best-Fit-Strategie benutzt werden. Für diese Form des Trackings wird keine dichte Punktwolke benötigt; sie kann wesentlich dünner sein, was die Rechenzeit deutlich verkürzt. Der Vorteil der Verwendung der Streifenlichtscanning-Technologie für das Tracking ist, dass keinerlei Vorbereitung des Werkstücks wie beim Anbringen von Markern notwendig ist.
Das exemplarisch beschriebene Visualisierungssystem kann auch in anderen Anwendungen genutzt werden, z. B. bei der Durchführung und Überprüfung von Bohrungen. Dabei werden die Sollposition des Bohrers sowie dessen Durchmesser als Information projiziert. Auch bei der Qualitätssicherung am Fließband, insbesondere in der Automobilindustrie, kann das Visualisierungssystem eingesetzt werden. Anstatt der flexiblen Repositionierung der Projektionseinheit in einem großen, unbeweglichen Objekt bewegt sich hier das Objekt selbst. Auf Basis statistischer Verfahren werden stichprobenartig zu prüfende Bereiche (z. B. Schweißpunkte) markiert. Die projizierte Information wandert mit der Bewegung des Objektes auf dem Fließband mit. Eine weitere Anwendung ist die Wartung in Werkstätten. Die mobile Projektionseinheit, evtl. an einem Schwenkarm befestigt, wird gezielt herangezogen, um in kniffligen Situationen Montageanweisungen auf ein Objekt zu projizieren. Das System kann auch genutzt werden, um Wartungsanweisungen eines nicht lokal verfügbaren Experten für das lokale Servicepersonal zu visualisieren (Remote Maintenance).
Bezuqszeichenliste
10 Rumpftonne
12 Halterungen
14 Projektionseinheit
16 Marker
18 Beine
20 Bitmuster
22 äußeres Rechteck
24 inneres Rechteck
26 Kombi-Marker
28 Normbohrung
30 Magnet
32 Klebeband
34 Heißkleber
36 Retroreflektormarke
38 Metall-Halbkugel
40 Kugelsegment
42 Bohrung
44 Retroreflektorfolie
46 Zwischenstück
48 Steckadapter
50 Kamera
52 Stativ
54 RPS-Löcher
56 Lochplatte
58 Winkel

Claims

Patentansprüche
1. System zur visuellen Darstellung von Informationen auf realen Objekten, mit
einer Projektionseinheit (14) zur grafischen oder bildlichen Übertragung einer Information auf ein Objekt,
gekennzeichnet durch
eine dynamische Trackingeinrichtung mit einer 3D-Sensorik zur Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) im Raum, und
eine Steuereinrichtung für die Projektionseinheit (14), die die Übertragung der Information an die aktuelle, von der Trackingeinrichtung bestimmte Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) anpasst.
2. System nach Anspruch 1 , dadurch gekennzeichnet, dass die dynamische Trackingeinrichtung zur fortwährenden Erfassung der Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) in Echtzeit ausgelegt ist.
3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass ein Projektor, vorzugsweise ein Laserprojektor oder Beamer, und die 3D-Sensorik der Trackingeinrichtung in der Projektionseinheit (14) untergebracht sind, wobei die Projektionseinheit (14) ein mobil aufstellbares Gerät ist.
4. System nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die 3D-Sensorik der Trackingeinrichtung wenigstens eine Kamera (50) aufweist, die vorzugsweise fest mit einem Projektor der Projektionseinheit (14) verbunden ist.
5. System nach einem der vorherigen Ansprüche, gekennzeichnet durch Marker (16; 18; 26), die an Referenzpunkten einer Umgebung angeordnet sind, in der das System eingesetzt wird, und von der 3D-Sensorik der Trackingeinrichtung erfassbar sind.
6. System nach Anspruch 5, dadurch gekennzeichnet, dass die Marker (16; 18; 26) und die Trackingeinrichtung so aufeinander abgestimmt sind, dass die Trackingeinrichtung mittels der Marker (16; 18; 26) zum einen eine Einmessung der Referenzpunkte in einem Koordinatensystem der Umgebung oder des Objekts vornehmen kann und zum anderen die Bestimmung und Nachverfolgung der Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) vornehmen kann.
7. System nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Marker (16; 18; 26) auf Flachmarkern basieren und vorzugsweise charakteristische Rechtecke (22, 24), Kreise und/oder Ecken aufweisen.
8. System nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass die Marker (16; 18; 26) eindeutige, von der Trackingeinrichtung erfassbare Identifizierungsmerkmale aufweisen, insbesondere in Form von eckigen oder runden Bitmustern (20).
9. System nach einem der Ansprüche 5 bis 8, dadurch gekennzeichnet, dass die Marker (16; 18; 26) Retroreflektormarken (36) aufweisen, die vorzugsweise in der Mitte des jeweiligen Markers (16; 18; 26) angeordnet sind.
10. System nach Anspruch 9, dadurch gekennzeichnet, dass die Retroreflektormarken (36) Kugelelemente mit einer Öffnung (42) sind, durch die eine vorzugsweise am Kugelmittelpunkt angebrachte Retroreflektorfolie (44) sichtbar ist.
11. System nach einem der Ansprüche 5 bis 10, dadurch gekennzeichnet, dass die Marker (16; 18; 26) so gestaltet sind, dass sie in der Umgebung, in der das System eingesetzt wird, an Referenzpunkten mit bekannter oder verlässlicher Position in einem Koordinatensystem der Umgebung oder des Objekts anbringbar sind, insbesondere durch Einstecken in an den Referenzpunkten vorhandene RPS-Löcher (54), Löchern einer Lochplatte (56) mit festem und bekanntem Loch-Raster und/oder auf einer Oberfläche des Objekts.
12. System nach einem der Ansprüche 5 bis 11 , dadurch gekennzeichnet, dass ein Marker (16; 18; 26) an mehreren Punkten fixiert ist, um auch die Orientierung des Markers (16; 18; 26) im Raum festzulegen.
13. System nach einem der Ansprüche 5 bis 12, dadurch gekennzeichnet, dass die Marker (16; 18; 26) so gestaltet sind, dass sie über Adapter (48) oder Zwischenstücke (46), vorzugsweise mittels einheitlicher Klemm-, Steck- oder Magnethalterungen, an Referenzpunkten mit bekannter oder verlässlicher Position in einem Koordinatensystem der Umgebung oder des Objekts anbringbar sind, insbesondere durch Einstecken in an den Referenzpunkten vorhandene RPS-Löcher (54), Löchern einer Lochplatte (56) mit festem und bekanntem Loch-Raster und/oder auf einer Oberfläche des Objekts, wobei die Adapter (48) und die Marker (16; 18; 26) so aufeinander abgestimmt sind, dass die Marker (16; 18; 26) eindeutig in die Adapter (48) steckbar sind.
14. System nach einem der Ansprüche 5 bis 13, dadurch gekennzeichnet, dass die Marker (16; 18; 26) eine Normbohrung (28) und einen unter der
Normbohrung (28) angeordneten Magneten (30) aufweisen.
15. System nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Projektionseinheit (14) und die Trackingeinrichtung so ausgelegt sind, dass zur Bestimmung der Position und/oder Lage des Objekts Streifenlichtscanning-Technologie eingesetzt wird.
16. Verfahren zur visuellen Darstellung von Informationen auf realen Objekten mit einer Projektionseinheit (14), umfassend folgende Schritte:
- Bestimmen der aktuellen Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) im Raum;
- grafisches oder bildliches Übertragen einer Information auf das Objekt auf der Grundlage der bestimmten Position und/oder Lage;
- Erkennen und Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit (14); und
- Anpassen der Übertragung der Information an die geänderte Position und/oder Lage des Objekts und/oder der Projektionseinheit (14).
17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass die aktuelle Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) fortwährend in Echtzeit erfasst wird.
18. Verfahren nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass ein Laserprojektor der Projektionseinheit (14) zum Anpeilen von Markern (16; 18; 26) genutzt wird, die an Referenzpunkten einer Umgebung angeordnet sind, in der das Verfahren eingesetzt wird, wobei die Marker (16; 18; 26) von einer 3D- Sensorik einer Trackingeinrichtung erfasst werden.
19. Verfahren nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass - vorzugsweise dieselben - Marker (16; 18; 26) für ein Einmessen der Referenzpunkte in einem Koordinatensystem der Umgebung oder des Objekts und für das Bestimmen und einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) verwendet werden.
20. Verfahren nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass das Erkennen und Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) auf einem Inside-Out-artigen Trackingverfahren mit wenigstens einer beweglichen Kamera (50) und fest installierten Markern (16; 18; 26) basiert.
21. Verfahren nach einem der Ansprüche 16 bis 20, dadurch gekennzeichnet, dass zum Bestimmen der Position und/oder Lage des Objekts ein Streifenlichtscanning-Prozess durchgeführt wird, bei dem vorzugsweise die Projektionseinheit (14) ein Bild projiziert, das mit einer oder mehreren Kameras erfasst und anschließend trianguliert bzw. rekonstruiert wird, wobei weiter vorzugsweise nach einer vorgegebenen Systematik Punkte auf dem Objekt gescannt werden und zur Berechnung der Position und/oder Lage des Objekts eine iterative Best-Fit-Strategie benutzt wird.
22. Verfahren nach einem der Ansprüche 16 bis 21 , dadurch gekennzeichnet, dass mithilfe einer dynamische Trackingeinrichtung, die das Erkennen und Bestimmen einer Änderung der Position und/oder Lage des Objekts und/oder der Projektionseinheit (14) vornimmt, jederzeit die die aktuelle Genauigkeit der visuellen Darstellung ermittelt wird.
EP12722290.9A 2011-04-04 2012-04-02 System und verfahren zur visuellen darstellung von informationen auf realen objekten Ceased EP2695383A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011015987A DE102011015987A1 (de) 2011-04-04 2011-04-04 System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten
PCT/EP2012/001459 WO2012136345A2 (de) 2011-04-04 2012-04-02 System und verfahren zur visuellen darstellung von informationen auf realen objekten

Publications (1)

Publication Number Publication Date
EP2695383A2 true EP2695383A2 (de) 2014-02-12

Family

ID=46146807

Family Applications (1)

Application Number Title Priority Date Filing Date
EP12722290.9A Ceased EP2695383A2 (de) 2011-04-04 2012-04-02 System und verfahren zur visuellen darstellung von informationen auf realen objekten

Country Status (4)

Country Link
US (1) US20140160115A1 (de)
EP (1) EP2695383A2 (de)
DE (1) DE102011015987A1 (de)
WO (1) WO2012136345A2 (de)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9947112B2 (en) * 2012-12-18 2018-04-17 Koninklijke Philips N.V. Scanning device and method for positioning a scanning device
US9881383B2 (en) 2013-01-28 2018-01-30 Virtek Vision International Ulc Laser projection system with motion compensation and method
US20140358298A1 (en) * 2013-05-31 2014-12-04 DWFritz Automation, Inc. Alignment tool
WO2015016798A2 (en) * 2013-07-31 2015-02-05 Imcom Yazilim Elektronik Sanayi Ltd. Sti. A system for an augmented reality application
DE102013114707A1 (de) 2013-12-20 2015-06-25 EXTEND3D GmbH Verfahren zur Durchführung und Kontrolle eines Bearbeitungsschritts an einem Werkstück
DE102014102773A1 (de) * 2014-03-03 2015-09-03 De-Sta-Co Europe Gmbh Verfahren zur Wiedergabe eines Fertigungsprozesses in einer virtuellen Umgebung
DE102014104514B4 (de) * 2014-03-31 2018-12-13 EXTEND3D GmbH Verfahren zur Messdatenvisualisierung und Vorrichtung zur Durchführung des Verfahrens
FR3021784B1 (fr) * 2014-05-27 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de projection de donnees virtuelles et dispositif permettant cette projection
CN107111739B (zh) * 2014-08-08 2020-12-04 机器人视觉科技股份有限公司 物品特征的检测与跟踪
US9412205B2 (en) 2014-08-25 2016-08-09 Daqri, Llc Extracting sensor data for augmented reality content
WO2016048960A1 (en) * 2014-09-22 2016-03-31 Huntington Ingalls Incorporated Three dimensional targeting structure for augmented reality applications
US9710960B2 (en) 2014-12-04 2017-07-18 Vangogh Imaging, Inc. Closed-form 3D model generation of non-rigid complex objects from incomplete and noisy scans
US9978135B2 (en) * 2015-02-27 2018-05-22 Cognex Corporation Detecting object presence on a target surface
DE102016203377A1 (de) * 2015-03-02 2016-11-24 Virtek Vision International Inc. Laserprojektionssystem mit Videoüberlagerung
US20160358382A1 (en) * 2015-06-04 2016-12-08 Vangogh Imaging, Inc. Augmented Reality Using 3D Depth Sensor and 3D Projection
DE102015213124A1 (de) 2015-07-14 2017-01-19 Thyssenkrupp Ag Verfahren zur Herstellung eines Formbauteils sowie Vorrichtung zur Durchführung des Verfahrens
EP3374934A1 (de) 2015-12-01 2018-09-19 Vinci Construction Verfahren und system zur unterstützung der installation von elementen in einem bauwerk
WO2017095341A1 (en) * 2015-12-04 2017-06-08 Koc Universitesi Physical object reconstruction through a projection display system
US11062383B2 (en) * 2016-05-10 2021-07-13 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
EP3244286B1 (de) 2016-05-13 2020-11-04 Accenture Global Solutions Limited Installation eines physischen elements
DE102016215860A1 (de) * 2016-08-24 2018-03-01 Siemens Aktiengesellschaft Trackingloses projektionsbasiertes "Augmented Reality [AR]"-Verfahren und -System zur Montageunterstützung von Produktionsgütern, insbesondere zum Lokalisieren von Nutensteinen für die Bauteilmontage im Waggonbau
US20190244548A1 (en) * 2016-09-21 2019-08-08 Anadolu Universitesi Rektorlugu Augmented reality based guide system
US10380762B2 (en) 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
JP2018116035A (ja) * 2017-01-13 2018-07-26 株式会社エンプラス マーカ搭載用ユニット
JP2018116037A (ja) * 2017-01-13 2018-07-26 株式会社エンプラス マーカ搭載用ユニットおよびその製造方法
JP2018116036A (ja) * 2017-01-13 2018-07-26 株式会社エンプラス マーカ搭載用ユニット
US11270510B2 (en) * 2017-04-04 2022-03-08 David Peter Warhol System and method for creating an augmented reality interactive environment in theatrical structure
DE102017206772A1 (de) * 2017-04-21 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. System zum Markieren von Teilen und/oder von Bereichen an Oberflächen von Teilen oder der Position eines Teils
DE102017005353A1 (de) * 2017-06-01 2018-12-06 Vdeh-Betriebsforschungsinstitut Gmbh Visualisierung einer Qualitätsinformation
CN107160397B (zh) * 2017-06-09 2023-07-18 浙江立镖机器人有限公司 机器人行走的模块地标、地标及其机器人
JP6718429B2 (ja) * 2017-12-22 2020-07-08 株式会社Ｓｕｂａｒｕ 画像投影装置
JP6831772B2 (ja) * 2017-12-22 2021-02-17 株式会社Ｓｕｂａｒｕ 画像投影装置
CN108062776B (zh) * 2018-01-03 2019-05-24 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
US10839585B2 (en) 2018-01-05 2020-11-17 Vangogh Imaging, Inc. 4D hologram: real-time remote avatar creation and animation control
US11080540B2 (en) 2018-03-20 2021-08-03 Vangogh Imaging, Inc. 3D vision processing using an IP block
US10810783B2 (en) 2018-04-03 2020-10-20 Vangogh Imaging, Inc. Dynamic real-time texture alignment for 3D models
US11170224B2 (en) 2018-05-25 2021-11-09 Vangogh Imaging, Inc. Keyframe-based object scanning and tracking
DE102018112910B4 (de) * 2018-05-30 2020-03-26 Mtu Friedrichshafen Gmbh Herstellungsverfahren für eine Antriebseinrichtung und Prüfeinrichtung
FR3086383B1 (fr) * 2018-09-21 2020-08-28 Diotasoft Procede, module et systeme de projection sur une piece d’une image calculee a partir d’une maquette numerique
CN109840938B (zh) * 2018-12-30 2022-12-23 芜湖哈特机器人产业技术研究院有限公司 一种用于复杂汽车点云模型重建方法
JP7296218B2 (ja) * 2019-03-05 2023-06-22 倉敷紡績株式会社 断熱材の厚さ計測方法
JP7149506B2 (ja) * 2019-03-29 2022-10-07 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
US11170552B2 (en) 2019-05-06 2021-11-09 Vangogh Imaging, Inc. Remote visualization of three-dimensional (3D) animation with synchronized voice in real-time
US11232633B2 (en) 2019-05-06 2022-01-25 Vangogh Imaging, Inc. 3D object capture and object reconstruction using edge cloud computing resources
US11335063B2 (en) 2020-01-03 2022-05-17 Vangogh Imaging, Inc. Multiple maps for 3D object scanning and reconstruction
JP7441707B2 (ja) * 2020-03-31 2024-03-01 株式会社ユーシン精機 アタッチメントの三次元形状寸法測定方法
US20220408067A1 (en) * 2021-06-22 2022-12-22 Industrial Technology Research Institute Visual recognition based method and system for projecting patterned light, method and system applied to oral inspection, and machining system
JP7296669B1 (ja) * 2022-02-28 2023-06-23 株式会社イクシス 測量方法、ターゲットマーカ、及び測量システム
CN116182803B (zh) * 2023-04-25 2023-07-14 昆明人为峰科技有限公司 一种遥感测绘装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2420241A (en) * 2004-11-12 2006-05-17 Boeing Co Optical projection system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4753569A (en) * 1982-12-28 1988-06-28 Diffracto, Ltd. Robot calibration
US5341183A (en) * 1992-09-28 1994-08-23 The Boeing Company Method for controlling projection of optical layup template
US5388318A (en) * 1992-10-09 1995-02-14 Laharco, Inc. Method for defining a template for assembling a structure
DE69807508T2 (de) * 1997-05-30 2003-02-27 British Broadcasting Corp Positionsbestimmung
US6066845A (en) * 1997-11-14 2000-05-23 Virtek Vision Corporation Laser scanning method and system
US5870136A (en) * 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
US6554431B1 (en) * 1999-06-10 2003-04-29 Sony Corporation Method and apparatus for image projection, and apparatus controlling image projection
DE10012273B4 (de) * 2000-03-14 2006-09-28 Daimlerchrysler Ag Anlage zur messtechnischen räumlichen 3D-Lageerfassung von Oberflächenpunkten
WO2003032129A2 (en) * 2001-10-11 2003-04-17 Laser Projection Technologies Inc. A Delaware Corporation Method and system for visualizing surface errors
US7292269B2 (en) * 2003-04-11 2007-11-06 Mitsubishi Electric Research Laboratories Context aware projector
DE10333039A1 (de) * 2003-07-21 2004-09-09 Daimlerchrysler Ag Messmarke
EP1682936B1 (de) * 2003-09-10 2016-03-16 Nikon Metrology NV Laserprojektionssysteme und verfahren
DE102004021892B4 (de) * 2004-05-04 2010-02-04 Amatec Robotics Gmbh Robotergeführte optische Messanordnung sowie Verfahren und Hilfsvorrichtung zum Einmessen dieser Messanordnung
US7306339B2 (en) * 2005-02-01 2007-12-11 Laser Projection Technologies, Inc. Laser projection with object feature detection
US9204116B2 (en) * 2005-02-24 2015-12-01 Brainlab Ag Portable laser projection device for medical image display
DE102006048869B4 (de) * 2006-10-17 2019-07-04 Volkswagen Ag Projektionsanordnung und Verfahren zur Darstellung eines Designs auf einer Oberfläche eines Kraftfahrzeuges

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2420241A (en) * 2004-11-12 2006-05-17 Boeing Co Optical projection system

Also Published As

Publication number Publication date
US20140160115A1 (en) 2014-06-12
DE102011015987A1 (de) 2012-10-04
WO2012136345A3 (de) 2012-12-20
WO2012136345A2 (de) 2012-10-11

Similar Documents

Publication Publication Date Title
EP2695383A2 (de) System und verfahren zur visuellen darstellung von informationen auf realen objekten
US20170054954A1 (en) System and method for visually displaying information on real objects
DE112015004396T5 (de) Augmented-reality-kamera zur verwendung mit 3d-metrologie-ausrüstung zum erzeugen von 3d-bildern aus 2d-kamerabildern
EP2943742B1 (de) Verfahren und anordnung zur ermittlung von fehlern eines drehpositionsermittlungssystems
DE112016001118T5 (de) 3D Laserprojektion, Scannen und Objektverfolgung
EP3182065A1 (de) Handhaltbares entfernungsmessgerät und verfahren zum erfassen relativer positionen
EP3084347A1 (de) Verfahren zur durchführung und kontrolle eines bearbeitungsschritts an einem werkstück
EP2255930A1 (de) Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
DE112011100296T5 (de) Multifunktionale Koordinatenmessgeräte
EP1716392A1 (de) Verfahren zur lokalisierung von fehlstellen und markiersystem
DE112012001254T5 (de) Automatische Messung von Dimensionsdaten mit einem Lasertracker
EP2511656A1 (de) Vermessungssystem zur Bestimmung von 3D-Koordinaten einer Objektoberfläche
EP1420264A1 (de) Verfahren und Vorrichtung zur Kalibrierung eines Messsystems
EP2620745A1 (de) Vermessungssystem mit einem Vermessungsgerät und einem Scanmodul
EP2874788B1 (de) Messgerät
EP2573512A2 (de) Verfahren und Anordnung zur Bestimmung der Lage eines Messpunktes im geometrischen Raum
DE102018127221B4 (de) Koordinatenmesssystem
EP2952024A2 (de) Inspektionskameraeinheit, verfahren zur inspektion von innenräumen sowie sensoreinheit
DE102006004153B4 (de) Automatisches Einmessen kooperierender Roboter
DE102012103980A1 (de) Verfahren und Vorrichtung zur Ausrichtung einer Komponente
DE102013200210B3 (de) Halteelement zum Halten einer Drehvorrichtung für ein Koordinatenmessgerät
DE102017126495B4 (de) Kalibrierung eines stationären Kamerasystems zur Positionserfassung eines mobilen Roboters
DE102014104514B4 (de) Verfahren zur Messdatenvisualisierung und Vorrichtung zur Durchführung des Verfahrens
DE102019110729A1 (de) Verfahren zur Ausrichtung mindestens eines Kalibrierkörpers und Vorrichtung zum dreidimensionalen optischen Vermessen von Objekten
DE102021204804A1 (de) Targetkörper zum Ermitteln einer Position und/oder einer Ausrichtung eines Objekts

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20131007

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: EXTEND3D GMBH

17Q First examination report despatched

Effective date: 20150923

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20170224