EP3198566A1 - Verfahren zum erstellen einer dreidimensionalen dokumentation - Google Patents

Verfahren zum erstellen einer dreidimensionalen dokumentation

Info

Publication number
EP3198566A1
EP3198566A1 EP15775122.3A EP15775122A EP3198566A1 EP 3198566 A1 EP3198566 A1 EP 3198566A1 EP 15775122 A EP15775122 A EP 15775122A EP 3198566 A1 EP3198566 A1 EP 3198566A1
Authority
EP
European Patent Office
Prior art keywords
determined
image
model
movement
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15775122.3A
Other languages
English (en)
French (fr)
Inventor
Gerald Stieglbauer
Peter Mohr
Bernhard KERBL
Denis Kalkofen
Michael DONOSER
Dieter Schmalstieg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVL List GmbH
Original Assignee
AVL List GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVL List GmbH filed Critical AVL List GmbH
Publication of EP3198566A1 publication Critical patent/EP3198566A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Definitions

  • the present invention relates to a method for creating a three-dimensional documentation for a commodity, which consists of several parts.
  • Documentation such as Manuals, operating instructions, assembly instructions, repair instructions, training documents, etc., for various consumer goods, from household appliances, toys, machines and machine components to highly complex technical equipment, are in most cases available in printed form, or in a digital equivalent, for example as a pdf file or html file.
  • Such documentation generally contains various two-dimensional illustrations of the article of daily use, by means of which a user of the article of daily use is to grasp the function of the article of daily use or by means of which the user receives instructions for using the article of daily use.
  • An illustration may be a simple view or an isometric drawing or a photograph of a view of the commodity.
  • Such illustrations in printed documentations are necessarily two-dimensional representations of different views of the everyday object. The user of the commodity must therefore use the documentation two-dimensional views on the real three-dimensional commodity move, which is a quite complex mental challenge and is a problem for many people due to the lack of or little spatial imagination.
  • Augmented Reality is generally understood, the real sense perception of a person of reality, especially what is seen, heard or felt to expand or supplement additional information. This additional information can also be conveyed to a person visually, acoustically or haptically.
  • the commodity with a recording unit such as a digital camera of a smartphone or a tablet PC, a 3D scanner, etc.
  • a recording unit such as a digital camera of a smartphone or a tablet PC, a 3D scanner, etc.
  • recorded and expanded the view of the utility object in real time with additional information expanded by these eg displayed on the captured and displayed image or by playing an acoustic information.
  • This also automatically takes place an adaptation of the representation when changing the relative position between the receiving unit and the utility object.
  • augmented reality There are already approaches to realize the documentation of everyday objects in three dimensions, also with augmented reality.
  • the creation of a three-dimensional documentation of a commodity is a very complex and time-consuming task, especially if it still three-dimensional animations, possibly in real time (as in augmented reality) is desired.
  • This object is achieved according to the invention by determining image parameters of at least one image of the commodity in an existing two-dimensional documentation, bringing a 3D model of the commodity with the determined image parameters into coincidence with the image, and comparing the two-dimensional image and the image 3D model with the determined image parameters from the two-dimensional image additional information is obtained, forms together with the SD model, the three-dimensional documentation of the commodity.
  • This procedure makes it possible to analyze images in existing two-dimensional documentation in order to obtain additional information that can then be displayed in any view of the 3D model. It does not matter whether the two-dimensional documentation is in the form of an already existing printed documentation with two-dimensional imaging that can be used for the method according to the invention, or whether the two-dimensional documentation is recreated only for the creation of three-dimensional documentation.
  • a plurality of corresponding points are selected in the image and in the 3D model and the image parameters are varied until the image and the 3D model overlap.
  • a suitable criterion for determining a sufficient coverage can be determined.
  • related components are determined in the figure, the eccentricities of the connected components are determined, and the determined eccentricities are compared with a predefined threshold value in order to determine at least one candidate for a guide line.
  • a line is placed representing the guide line and based on a mask obtained from the 3D model of the commodity determines which end point of the straight line is in the commodity.
  • This method can be implemented automatically by means of digital image processing, whereby guide lines can be easily identified as additional information. If a search region is defined around the other end point of the straight line, which is examined by means of a character recognition software for note text, the existing note text assigned to the guide line can also be determined automatically and preferably stored assigned to the guide line.
  • the straight line can advantageously be realized by placing in the contiguous component of the candidate an ellipse whose main axis (as a straight line) lies in the direction of the longitudinal extent and whose vertices represent the end points of the determined guide line. This allows a very stable algorithm to be realized.
  • the end point of the straight line which lies within the article of daily use, is assigned to a part of the article of daily use.
  • the guidance line can be anchored to the correct part in every view of the object of use.
  • the movement possibilities of at least a part of the commodity is advantageously determined by a method for motion planning. This too can be easily implemented using existing methods.
  • coherent components can be determined in the figure, wherein at least one coherent component is determined that has characteristic features of a movement arrow. For a translational movement arrow, this is done in a simple manner by determining at least one coherent component whose circumference has exactly two concavities. Again, an ellipse having a major axis in the longitudinal direction of the contiguous component may be fitted to the contiguous component, with a vertex of the ellipse closer to the concavities being interpreted as the apex of a motion arrow. This can be a desired direction vector of a part of the commodity determine.
  • This information can be advantageously used by using the determined movement arrow to an implied movement of a part of the commodity is concluded and based on the motion planning at least a part of the commodity is determined, which can perform this movement.
  • additional information can Here you can determine which parts can be moved on the real object of daily use.
  • views can be created in which a part of the commodity is moved and / or shown twisted.
  • the position of at least part of the utility object in the 3D model can also be varied until the image and the 3D model sufficiently overlap.
  • the type and the distance of the movement of the part can be obtained here.
  • exploded views can be displayed as views of the commodity.
  • two images of the utility object can be examined, wherein a first image differs from a second image by at least one added, removed or repositioned part of the commodity and a part in the 3D model based on the movement possibilities determined from the movement planning is added, a part in the 3D model is removed or the position of at least one part in the 3D model is varied to get from the first image to the second image.
  • This additional information can be used particularly advantageously for a representation of a sequence of actions to be set on the commodity, preferably in the form of a series of views of the commodity.
  • the two maps can first be used to determine the differing regions and to investigate the possibilities of movement of only those parts which lie in the differentiating regions.
  • 1 and 2 show the procedure for determining the image parameters of an image of a two-dimensional documentation
  • FIGS. 14 to 16 show the method in a concrete example.
  • an arrow is added in a two-dimensional image of a view of the utility object, which indicates a (translational or rotary) movement of a part of the commodity that is to be implemented by a user on the commodity.
  • This type of representation is often used in operating, service or repair instructions to indicate to a user how to use a part of the commodity.
  • a sequence of two-dimensional images of the commodity is generally depicted, each image being differentiated from its predecessor or successor by at least one part that has either been added, removed, or changed in position relative to other parts. Often added, removed or repositioned parts are also provided with guide lines or arrows to indicate the intended attachment point to the commodity.
  • the various figures often show an identical view of the commodity in different configurations. This style of display is commonly used in assembly or disassembly instructions to give the user step-by-step instructions for action.
  • the two-dimensional documentation may be in the form of pre-existing printed documentation with two-dimensional imaging, typically in the form of manuals, user manuals, assembly instructions, repair instructions, training materials, etc.
  • the two-dimensional documentation for the preparation of Re-create three-dimensional documentation first.
  • the article of daily use could be photographed in various views and configurations prior to application of the method of the invention and the photos used as two-dimensional images. Both are understood as two-dimensional documentation within the meaning of the present invention.
  • the present invention is based thereon, from an existing conventional two-dimensional documentation of a commodity 1 in printed form (or in digital equivalent as a computer file) largely automated to create a three-dimensional documentation of this commodity 1, which then, for example, for an augmented reality application for a Web-based training or for animated documentation can be used.
  • at least one existing image A of the everyday object 1 in the two-dimensional documentation 2 is analyzed and information for a three-dimensional documentation is obtained therefrom.
  • the figure A in the documentation 2 is available in digital form, for example, in that the image A of the documentation 2 is scanned in two dimensions with sufficient resolution or the documentation 2 is already present in digital format. In this case, a resolution corresponding to the level of detail of the image is usefully chosen.
  • a prerequisite for the method according to the invention is that a digital 3D model M of the utility article 1 is present.
  • the digital 3D model M can be present, for example, in the form of a 3D-CAD drawing.
  • the documentation 2 is usually created by the manufacturer of the utility item 1 and in the present time, the development and construction of the commodity 1 by means of or by means of 3D drawings is common, in most cases, such a 3D-CAD drawing will be available.
  • a 3D CAD drawing has the advantage that all parts are included and identifiable.
  • the utility article 1 could also be used to make a 3D scan.
  • individual parts of the everyday object 1 could be individually scanned three-dimensionally and subsequently joined together to form a 3D model of the article of daily use 1.
  • 3D scanners and associated software are available, which allow to make such 3D scans.
  • Kinect® sensor from Microsoft® in combination with the open source software package KinFu.
  • the two-dimensional image A of a view of the utility article 1 was created in the printed documentation 2, regardless of whether the image A is a photograph or a drawing .
  • the two essential image parameters are the viewing position in space with respect to the commodity 1 and the focal length, with the commodity 1 was considered.
  • the image changes when the viewing position of the camera is changed to the commodity 1 or when the camera settings, in particular the focal length, is changed.
  • a plurality, preferably four or more, of corresponding points P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M are marked, as indicated in FIG.
  • Corresponding points P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M are identical points of the commodity 1 in Figure A and in the 3D model M. It is needless to say that the points P1 A, P2A, P3A , P4A in the illustration A of the utility item 1 are shown.
  • the focal length is estimated as the image parameter if, as is usually the case, it is not known.
  • the corresponding points P1A-P1M, P2A-P2M, P3A-P3M, P4A-P4M and the estimated focal length, the viewing position BP which has led to the view A of the utility article 1, by means of available and well-known Algorithms of digital image processing, such as the known POSIT algorithm, are determined.
  • the image A and the view of the 3D model M with the determined viewing position BP1, for example by displaying them together on a screen, the result can be checked, as shown in FIG.
  • the focal length can be changed and / or other or further corresponding points can be selected. This can be iteratively repeated until there is a sufficiently accurate coverage of the image A with the view of the 3D model M at a determined viewing position BPn (FIG. 2, right).
  • the determination of the viewing position BP can be easily determined by a user, whereby the user himself decides when sufficient coverage has been achieved.
  • the viewing position BP can equally well be automated with the aid of standard methods of digital image processing, such as methods for point identification and for determining image coverage.
  • the focal length can also be changed iteratively in an automated manner until the best possible image coverage and thus the desired viewing position BP, which has led to the image A, results.
  • the determination of the viewing position BP can be repeated for each two-dimensional image A of the printed documentation 2 of interest. Often, however, it is the case that all images A of the printed documentation 2 were created with the same image parameters. Therefore, it may also be sufficient to determine the image parameters only once and then to apply to all images A of interest, or at least some of them.
  • the map A After covering the two-dimensional map A in the printed documentation 2 and the 3D model M as described, the map A can be analyzed with respect to the above representations.
  • the basic procedure is such that additional information is obtained from the comparison of the two-dimensional image and a view of the 3D model with the determined image parameters from the two-dimensional image, which information is then displayed in a view of the 3D model of the object of use. Standes, in the form of a view of the 3D model, can be displayed.
  • the additional information is preferably assigned to individual parts of the everyday object 1, so that the additional information can always be displayed correctly in the respective view even when changing the view (eg when the SD model M is rotated in space).
  • a two-dimensional mask S (FIG. 3, right) is created, which contains all the pixels of the determined view of the 3D model M.
  • the mask S With the mask S, all pixels of the digitized image A (which is in coincidence with the view of the 3D model M) can now be determined, which lie outside the view of the commodity 1.
  • related components are now searched for in the digitized image A.
  • MSER Maximally Stable Extremal Regions
  • Component K thus comprises a number of pixels (indicated by the points in FIG. 4) of the digitized image A.
  • coherent components K those which can represent a guide line 3i, 3 2 in FIG.
  • the eccentricity of the connected components K can be determined.
  • the eccentricity is defined here as the ratio between the greatest longitudinal extent and the greatest transverse extent (normal to the longitudinal extension) of the contiguous component K.
  • a corresponding threshold can be defined.
  • Each contiguous component K1, K2, whose eccentricity exceeds this threshold and the outer boundary of the mask S intersects, or at least touches, (as a guide line 3i, 3 2 must point to a part of the utensil 1) is interpreted as a guide line 3i, 3 2 (Fig.4).
  • the end points E1 1, E12 of a guide lines 3i, 3 2 are to be determined.
  • any method can be used in order to best fit a straight line in the pixels of the contiguous components K1, K2 in the direction of the longitudinal extent.
  • an ellipse with a major axis H in the direction of the longitudinal extent can be fitted around the pixels of the connected components K1, K2, as indicated for the components K1 in FIG.
  • the vertices of the ellipse on the major axis H are then interpreted as endpoints E1 1, E12 of the desired guide line 3i. Based on the mask S can now be easily determined which end point E1 1, E12 are in the range of the commodity 1 and which outside.
  • the end point E12 within the article of daily use 1 it is also possible to ascertain on the basis of the 3D model M that the determined guide line 3i points to the soft part of the article of daily use 1.
  • This assignment can also be stored in a separate parts memory containing all individually identifiable parts of the commodity 1.
  • the determined end point E12 within the article of daily use 1 is stored as an anchor point AP1 (FIG. 5) of the guide line 3i for the three-dimensional documentation, optionally together with the assignment to a specific part of the article 1 in the parts store.
  • anchor point AP1 can also be laid in the respective body center of the associated part T, which may be advantageous for a later three-dimensional representation of the article of daily use 1.
  • a search region SR (FIG. 4) which is searched for text or numbers, for example by means of conventional character recognition (OCR) software, can now be defined around the end point E1 1 which lies outside of the article of daily use 1.
  • OCR character recognition
  • an annotation text could also be manually added to the determined guideline 3.
  • the comment text thus determined is likewise stored for the guide line 3i, for example again in the parts memory.
  • the view of the commodity 1 is changed, e.g. the camera position for receiving the utility item 1 is changed
  • the insertion of the determined guide line 3i and the associated annotation text can be retraced by the fixed anchor point AP1 accordingly.
  • the anchor point AP1 thereby remains on the identified part of the commodity 1 and the other end point E1 1 of the guide line 3i with the annotation text can be positioned in the augmented reality display at any desired location, preferably a location outside the commodity 1, as in Fig.5 shown.
  • the guide line 3 with annotation text can, of course, be displayed in any three-dimensional view of the utility item 1.
  • Figures with movement arrows Fig.6 to 8
  • parts T of the commodity 1 is first to determine which parts T are individually movable at all.
  • This information can either already be contained in the 3D model M or can be determined by known methods. Such methods are known in particular from the field of motion planning of components. In this case, it is examined which parts T1, T2 of the object of daily use 1 are moved in the 3D model M (translational and / or rotational) can and if so, in which area, without colliding with other parts of the commodity 1.
  • both a possible direction vector RV1 (or several possible direction vectors) of a translatory movement or a rotation axis (or several possible axes of rotation) of a possible rotational movement are determined, as well as the possible distance D of the movement, as in FIG indicated for a translational movement.
  • a method for this is eg in Lozano-Perez, T., "Spatial planning: A configuration space approach", IEEE Trans. Comput. 32, 2 (Feb. 1983), p.108-120.
  • the information of the determined possible movements is stored for each part T1, T2 of the 3D model M, for example again in the parts memory.
  • the motion arrows P in Figure A are to be identified, as exemplified by Figure 7.
  • an ellipse with a major axis H is again adapted to the coherent component K, the major axis H being oriented in the direction of the longitudinal extension of the contiguous component K. That vertex of the ellipse closer to the concavities V1, V2 is interpreted as the peak SP of the movement arrow P. The other vertex is then the base B of the movement arrow P. From the main axis H of the ellipse, as well as base B and tip SP (or one of the two), a directional vector RV of an intended movement of a part T1, T2 of the commodity 1 can be determined. Now it is still necessary to determine which part T1, T2 of the commodity 1 is to be moved.
  • the parts T2 that can be moved in the direction of the direction vector RV are determined.
  • the parts T2 are searched whose direction vector RV1 of the possible movement (from the motion planning method described above) coincides with the direction vector RV of the movement arrow P.
  • a spatial angle range ⁇ is usefully set by which the two directional vectors RV, RV1 may deviate, as indicated in FIG.
  • movement arrows P which represent a rotational movement, it is possible to proceed analogously. So first identification of the movement arrow P and the desired rotation (or rotation axis), and then determining the parts that can perform the rotation.
  • a movement arrow P can then be superimposed, for example in a recorded real view of the utility object 1, and an animation is started when the movement arrow P is clicked, which animates the movement of a part T2 of the commodity object 1 over the receptacle of the utility object 1. Again, the animation can be retraced when changing the viewing position in real time.
  • Exploded views FIGS. 9 to 10.
  • the method described above can be used e.g. only on a part T2 of the exploded view ( Figure 9), preferably a main component applied.
  • the determination of the possible movements of the parts T of the utility article 1, as described above, is at the beginning.
  • the determined image parameters BP for the image A of the exploded view see above
  • the movable parts T of the commodity 1 in the 3D model M are varied according to the determined possibilities of movement, ie different positions of the movable parts T are assumed (FIG. and in each case checked to what extent the image A and the respective view of the 3D model M coincide with the determined image parameters BP.
  • Standard methods of digital image processing can also be used again. Basically, any algorithm for varying the possible motions can be implemented. Examples are found in Agrawala, M., et al., Designing effective step-by-step assembly instructions, ACM Trans. Graph.
  • the goal of the algorithm implemented should of course be performance, in order to obtain more complex objects 1 with many parts T
  • FIG. 1 a montage sequence of parts T1, T2, T3 on the article of daily use 1 is shown by way of example with the figures A1, A2 of the documentation 2.
  • the part T2 with part 3 is arranged on the part T1.
  • a reverse assembly planning starting with the fully assembled commodity 1 will be applied.
  • the starting point here is again the image A and the 3D model M brought into coincidence with it.
  • the motion possibilities of the parts T are examined and the parts in the 3D model M are varied until the best possible coverage is found ,
  • the 3D model M is advantageously reduced to the parts which are contained in the figures A1, A2, which is possible in each case using the reverse order.
  • regions R of the figures A1, A2 can be examined, in which changes have taken place (FIG. 12). These regions R can be found, for example, by determining a pixel-by-pixel difference in the illustrated sequence of Figures A1, A2. If the figures A1, A2 show the parts T1, T2, T3 chig filled with different colors, which is often the case, the region R of the change can be determined simply by pixel-wise subtraction and thresholding (to eliminate possible slight differences). As a pixel-by-pixel subtraction here is the subtraction of the color values of each pixel understood, resulting in a difference between the images.
  • images A1, A2 For simple line drawings as images A1, A2, which is also often the case, the images A1, A2 can be improved beforehand, in which first the silhouettes of Figure A1, A2 (ie the outer border) are determined and then the background of Figure A1, A2 outside the silhouette can be filled with a uniform color.
  • images A1, A2 other methods of digital image processing can be used to locate the changing regions.
  • SIFT scale-invariant feature transform
  • a complete sequence of a structural representation can then be animated.
  • a montage or disassembly sequence can be displayed in a recorded representation of the utility article 1.
  • the methods described above and the procedure for analyzing a picture 2 of a documentation of a commodity 1 is again clearly shown in FIG.
  • the starting point is the 3D model M and a two-dimensional image A of a view of the object of utility 1.
  • Information about the individual parts T of the object of use 1 can be stored in a parts memory TS, eg a unique identification of each part T.
  • the first step S1 determines the image parameters BP.
  • the notes x, y and the guide lines 3 are determined in step S2 and optionally stored in the partial memory TS (possibly with the anchor points AP) to the respective parts T.
  • a movement planning of the parts T of the utility article 1 is provided in step S3. hen.
  • the possibilities of movement (direction vector RV and / or rotation axis) of each part T are again stored in the parts memory TS.
  • the movement arrows P are identified in step S4 and assigned to certain parts T of the utility item 1, which is again stored in the parts store TS.
  • the described algorithms for image comparison are used in step S5. Again, the information obtained EX1 (shift, rotation of certain parts T) is partially stored in the parts memory TS.
  • step S6 algorithms for the analysis of regions R with changes can also be used in step S6 in order to obtain the information EX2 of the changed parts T between two images A1, A2.
  • the steps S1 to S6 are also carried out in combination, so that combinations of different images 15 can also be analyzed.
  • the result is a three-dimensional documentation 10 of the article of daily use 1 which can be adapted as required, for example with annotations (01), as an animation of a movement of a part T on the basis of identified movement arrows (02), as an exploded view (03), as an assembly sequence ( 04) or as any combination of the possibilities described above (05).
  • the information from the parts memory TS can be used.
  • FIGS. 14 to 16 this will be described on a concrete example in the form of a documentation 2 for a filter.
  • a first figure A1 the filter with the three parts housing T1, screw T2 and T3 filter insert is shown, wherein the three parts T1, T2, T3 also comments and guidelines are included.
  • the illustrations A2 and A3 describe a filter change with a sequence of images in the form of a structural representation.
  • the screw cap T2 is shown removed from the filter housing T1 in Figure A2 and indicated the necessary action (unscrewing the lid) by a movement arrow P1.
  • the filter insert T3 is shown removed from the filter housing and the necessary action for it is again indicated by a movement arrow P2.
  • These images A1, A2, A3 can be analyzed as described above to create a three-dimensional documentation 10, which in turn can be reused, e.g. in an augmented reality application.
  • the article of daily use 1 is first digitally recorded, eg by means of a digital camera, 3D scanner, etc., and then the 3D model M is brought into conformity with the recorded view of the article of daily use 1. This can either be done manually or using known algorithms, such as the SAC-IA (Sample Consensus Initial Alignment) algorithm. algorithm.
  • SAC-IA Sample Consensus Initial Alignment
  • the recorded view of the commodity 1 can then be enriched as needed with the information obtained from the analysis of the documentation 2 described above.
  • annotations obtained from the printed documentation 2 can be displayed in the respective real view of the article of daily use 1.
  • the guide line 3 is represented starting from the anchor point AP so that the annotations can be displayed optimally.
  • the annotations may be dragged along.
  • Explosion or structural representations in augmented reality may also be user-controlled, e.g. by the user indicating which or how many parts are displayed in an exploded view.
  • the representation of the augmented reality can be reproduced either in completely rendered representations, or only the outlines above the recorded image of the commodity 1 can be displayed.
  • computer goggles can also be used, with which the article of daily use 1 is filmed and superimposed on the previously obtained additional information on the object of daily use 1 as required in the field of vision of the wearer of the computer goggles.
  • the obtained three-dimensional documentation 10 can also be used in a virtual reality viewer, e.g. for training on the utility object 1.
  • various views of the 3D model M can be represented, which can be enriched by the additional information obtained or in which the commodity 1 in various representations, e.g. in an exploded view, is shown.
  • animations can also be represented here, e.g. was obtained from a structural representation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Architecture (AREA)

Abstract

Um auf einfache Weise für einen aus mehreren Teilen (T) bestehenden Gebrauchsgegenstand (1) eine dreidimensionale Dokumentation erstellen zu können, werden Bildparameter (BP) zumindest einer Abbildung (A) des Gebrauchsgegenstandes (1) in einer bestehenden zweidimensionalen Dokumentation (2) ermittelt, wird ein 3D-Modell (M) des Gebrauchsgegenstandes (1) mit den ermittelten Bildparameter (BP) in Deckung mit der Abbildung (A) gebracht und aus dem Vergleich der zweidimensionalen Abbildung (A) und des 3D-Modells (M) mit den ermittelten Bildparametern (BP) aus der zweidimensionalen Abbildung (A) Zusatzinformation gewonnen, die gemeinsam mit dem 3D-Modell (M) die dreidimensionale Dokumentation (10) des Gebrauchsgegenstandes (1) bildet.

Description

Verfahren zum Erstellen einer dreidimensionalen Dokumentation
Die gegenständliche Erfindung betrifft ein Verfahren zum Erstellen einer dreidimensionalen Dokumentation für einen Gebrauchsgegenstand, der aus mehreren Teilen besteht.
Dokumentation, wie z.B. Handbücher, Bedienungsanleitungen, Montageanleitungen, Repa- raturanleitungen, Schulungsunterlagen, etc., für verschiedene Gebrauchsgegenstände, angefangen von Haushaltsgeräten, Spielzeugen, Maschinen und Maschinenkomponenten bis zu hochkomplexen technischen Geräten, liegen in den allermeisten Fällen in gedruckter Form vor, oder in einer digitalen Entsprechung, beispielsweise als pdf-Datei oder html-Datei. In einer solchen Dokumentation sind in der Regel verschiedene zweidimensionale Abbildun- gen des Gebrauchsgegenstandes enthalten, anhand der ein Benutzer des Gebrauchsgegenstandes die Funktion des Gebrauchsgegenstandes erfassen soll oder anhand der der Benutzer Anweisungen zum Benutzen des Gebrauchsgegenstandes erhält. Eine Abbildung kann eine einfache Ansicht oder eine isometrische Zeichnung oder auch ein Foto einer Ansicht des Gebrauchsgegenstandes sein. Dabei sind solche Abbildungen in gedruckten Do- kumentationen zwangsweise zweidimensionale Darstellungen verschiedener Ansichten des Gebrauchsgegenstandes. Der Benutzer des Gebrauchsgegenstandes muss daher bei Verwendung der Dokumentation zweidimensionale Ansichten auf den realen dreidimensionalen Gebrauchsgegenstand umlegen, was eine durchaus komplexe geistige Herausforderung ist und für viele Personen aufgrund der fehlenden oder geringen räumlichen Vorstellungskraft ein Problem darstellt.
Eine Verbesserung dieser Situation kann durch die Verwendung von Dokumentationen in dreidimensionaler Form erzielt werden, bei der der Gebrauchsgegenstand dreidimensional dargestellt wird, beispielsweise an einer Anzeigeeinheit, und dabei die Ansicht des Gebrauchsgegenstandes beliebig geändert werden kann. Eine weitere Verbesserung kann mittels Augmented Reality herbeigeführt werden. Unter Augmented Reality wird allgemein verstanden, die reale Sinneswahrnehmung einer Person der Realität, insbesondere das was gesehen, gehört oder gefühlt wird, um Zusatzinformation zu erweitern bzw. zu ergänzen. Diese Zusatzinformation kann einer Person ebenfalls visuell, akustisch oder haptisch vermittelt werden. Dabei wird z.B. der Gebrauchsgegenstand mit einer Aufnahmeeinheit, beispielsweise eine Digitalkamera eines Smartphones oder eines Tablet-PCs, ein 3D-Scanner, etc., aufgenommen und die aufgenommene Ansicht des Gebrauchsgegenstandes in Echtzeit mit Zusatzinformation erweitert, indem diese z.B. am aufgenommenen und dargestellten Bild eingeblendet wird oder indem eine akustische Information abgespielt wird. Hierbei findet auch automatisch eine Anpassung der Darstellung bei Änderung der relativen Position zwischen Aufnahmeeinheit und Gebrauchsgegenstand statt. Es gibt bereits Ansätze, die Dokumentation von Gebrauchsgegenständen dreidimensional, auch mit Augmented Reality, zu realisieren. Allerdings ist das Erstellen einer dreidimensionalen Dokumentation eines Gebrauchsgegenstandes eine sehr komplexe und zeitaufwendige Aufgabe, insbesondere wenn dazu noch dreidimensionale Animationen, unter Umständen auch in Echtzeit (wie in Augmented Reality) erwünscht ist. Hierzu bedarf es eines geübten 3D Designers und spezieller Softwareprodukte zur Animation. Aus diesem Grund haben sich dreidimensionale Dokumentationen oder Augmented Reality Dokumentationen bisher nicht durchsetzen können.
Es ist nun eine Aufgabe der gegenständlichen Erfindung ein Verfahren anzugeben, mit dem auf einfache Weise für einen Gebrauchsgegenstand, für den es nur zweidimensionale Dokumentation gibt, eine dreidimensionale Dokumentation zu erstellen.
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass Bildparameter zumindest einer Abbildung des Gebrauchsgegenstandes in einer bestehenden zweidimensionalen Dokumentation ermittelt werden, ein 3D-Modell des Gebrauchsgegenstandes mit den ermittelten Bild- parameter in Deckung mit der Abbildung gebracht wird und aus dem Vergleich der zweidimensionalen Abbildung und des 3D-Modells mit den ermittelten Bildparametern aus der zweidimensionalen Abbildung Zusatzinformation gewonnen wird, gemeinsam mit dem SD- Modell die dreidimensionale Dokumentation des Gebrauchsgegenstandes bildet. Dieses Vorgehen ermöglicht es, Abbildungen in bestehender zweidimensionale Dokumentation zu analysieren, um daraus Zusatzinformation zu erhalten, die dann in beliebigen Ansichten des 3D-Modells eingeblendet werden kann. Dabei ist es unerheblich, ob die zweidimensionale Dokumentation in Form einer schon bestehenden gedruckten Dokumentation mit zweidimensionaler Bebilderung vorliegt, die für das erfindungsgemäße Verfahren verwendet werden kann, oder ob die zweidimensionale Dokumentation erst für die Erstellung der dreidi- mensionalen Dokumentation neu erstellt wird.
Um die Bildparameter auf einfache Weise bestimmen zu können, werden in der Abbildung und im 3D-Modell eine Mehrzahl von korrespondierenden Punkten ausgewählt und die Bildparameter variiert, bis sich die Abbildung und das 3D-Modell überdecken. Hierzu kann ein geeignetes Kriterium zur Bestimmung einer ausreichenden Überdeckung festgelegt werden. Zur Bestimmung einer Führungslinie werden in der Abbildung zusammenhängende Komponenten ermittelt, die Exzentrizitäten der zusammenhängenden Komponenten ermittelt und die ermittelte Exzentriztäten mit einem vorgegebenen Schwellwert verglichen, um zumindest einen Kandidaten für eine Führungslinie zu ermitteln. Danach wird in die zusammenhängende Komponente des Kandidaten in eine Längsrichtung der Region eine Gerade gelegt, die die Führungslinie repräsentiert und anhand einer aus dem 3D-Modell gewonnenen Maske des Gebrauchsgegenstandes ermittelt, welcher Endpunkt der Gerade im Gebrauchsgegenstand liegt. Diese Methode kann mittels Verfahren der digitalen Bildverarbeitung automatisiert umgesetzt werden, wodurch sich Führungslinien als Zusatzinformation sehr einfach identifizieren lassen. Wenn um den anderen Endpunkt der Gerade eine Suchregion definiert wird, die mit einer Zeichenerkennungs-Software nach Anmerkungstext untersucht wird, kann auch der der Führungslinie zugeordnete, vorhandene Anmerkungstext automatisiert ermittelt werden und vorzugsweise zur Führungslinie zugeordnet abgespeichert werden. Die Gerade kann vorteilhafterweise realisiert werden, indem in die zusammenhängende Komponente des Kandidaten eine Ellipse gelegt wird, deren Hauptachse (als Gerade) in Richtung der Längserstreckung liegt und deren Scheitelpunkte die Endpunkte der ermittelten Führungslinie darstellen. Damit lässt sich ein sehr stabiler Algorithmus realisieren.
Ganz besonders vorteilhaft ist es, wenn der Endpunkt der Gerade, der innerhalb des Gebrauchsgegenstandes liegt einem Teil des Gebrauchsgegenstandes zugeordnet wird. Damit kann die Führungslinie in jeder Ansicht des Gebrauchsgegenstandes am richtigen Teil verankert werden.
Um Zusatzinformation zu generieren, die auf eine Bewegung eines Teils des Gebrauchsgegenstandes zurückzuführen ist, wird vorteilhaft mit einer Methode zur Bewegungsplanung die Bewegungsmöglichkeiten zumindest eines Teils des Gebrauchsgegenstandes ermittelt. Auch das lässt sich mit vorhandenen Methoden auf einfache Weise umsetzen.
Um Bewegungspfeile in der Abbildung zu ermitteln, können in der Abbildung zusammenhängende Komponenten ermittelt werden, wobei zumindest eine zusammenhängende Komponente bestimmt wird, die charakteristische Merkmale eines Bewegungspfeils aufweist. Für einen translatorischen Bewegungspfeil erfolgt das auf einfache Weise, indem zumindest eine zusammenhängende Komponente bestimmt wird, deren Umfang genau zwei Konkavitäten aufweist. In die zusammenhängende Komponente kann wieder eine Ellipse mit einer Hauptachse in Längsrichtung der zusammenhängenden Komponente angepasst werden, wobei ein Scheitelpunkt der Ellipse, der näher an den Konkavitäten liegt, als Spitze eines Bewegungspfeiles interpretiert wird. Damit lässt sich ein gewünschter Richtungsvektor eines Teils des Gebrauchsgegenstandes ermitteln.
Diese Information lässt sich vorteilhafterweise verwenden, indem anhand des ermittelten Bewegungspfeils auf eine angedeutete Bewegung eines Teils des Gebrauchsgegenstandes geschlossen wird und anhand der Bewegungsplanung zumindest ein Teil des Gebrauchsgegenstandes ermittelt wird, der diese Bewegung ausführen kann. Als Zusatzinformation kann man hier bestimmen, welche Teile am realen Gebrauchsgegenstand wie bewegt werden können. Damit können Ansichten erstellt werden, in denen ein Teil des Gebrauchsgegenstandes verschoben und/oder verdreht dargestellt ist.
Anhand der aus der Bewegungsplanung ermittelten Bewegungsmöglichkeiten kann auch die Position zumindest eines Teils des Gebrauchsgegenstandes im 3D-Modell variiert werden, bis sich die Abbildung und das 3D-Modell ausreichend überdecken. Als Zusatzinformation kann hier die Art und die Distanz der Bewegung des Teil erhalten werden. Auf diese Weise können Explosionsdarstellungen als Ansichten des Gebrauchsgegenstandes dargestellt werden. Zur Ermittlung von strukturellen Änderungen als Zusatzinformation können zwei Abbildungen des Gebrauchsgegenstandes untersucht werden, wobei sich eine erste Abbildung durch zumindest einen hinzugefügten, entfernten oder umpositionierten Teil des Gebrauchsgegenstandes von einer zweiten Abbildung unterscheidet und anhand der aus der Bewegungsplanung ermittelten Bewegungsmöglichkeiten ein Teil im 3D-Modell hinzugefügt wird, ein Teil im 3D-Modell entfernt wird oder die Position zumindest eines Teils im 3D-Modell variiert wird, um von der ersten Abbildung zur zweiten Abbildung zu kommen. Diese Zusatzinformation lässt sich besonders vorteilhaft für eine Darstellung von einer am Gebrauchsgegenstand zu setzende Abfolge von Handlungen nutzen, bevorzug in Form einer Reihe von Ansichten des Gebrauchsgegenstandes. Um dieses Vorgehen zu beschleunigen, können in den beiden Abbildungen zuerst die sich unterscheidenden Regionen ermittelt werden und die Bewegungsmöglichkeiten nur solcher Teile untersucht werden, die in den unterscheidenden Regionen liegen.
Die gegenständliche Erfindung wird nachfolgend unter Bezugnahme auf die Figuren 1 bis 16 näher erläutert, die beispielhaft, schematisch und nicht einschränkend vorteilhafte Ausgestal- tungen der Erfindung zeigen. Dabei zeigt
Fig.1 und 2 das Vorgehen zum Bestimmen der Bildparameter einer Abbildung einer zweidimensionalen Dokumentation,
Fig.3 bis 5 das Vorgehen zum Bestimmen von Führungslinien mit Anmerkungen in einer Abbildung einer zweidimensionalen Dokumentation,
Fig.6 das prinzipielle Vorgehen einer Bewegungsplanung eines Teils des Gebrauchsgegenstandes,
Fig.7 und 8 das Vorgehen zum Bestimmen eines Bewegungspfeils in einer Abbildung einer zweidimensionalen Dokumentation,
Fig.9 und 10 das Vorgehen zum Bestimmen einer Explosionsdarstellung in einer Abbil- dung einer zweidimensionalen Dokumentation,
Fig.1 1 und 12 das Vorgehen zum Bestimmen einer strukturelle Darstellung in einer Abbildung einer zweidimensionalen Dokumentation,
Fig.13 eine schematische Darstellung des Verfahrensablauf zur Bestimmung der Zu- satzinformation und
Fig.14 bis 16 das Verfahren an einem konkreten Beispiel.
Eine Untersuchung bestehender gedruckter, zweidimensionalen Dokumentationen hat ergeben, dass diese zum überwiegenden Teil nur eine begrenzte Anzahl von Darstellungsarten des Gebrauchsgegenstandes umfassen. Insbesondere kommen die folgenden Darstellungs- arten zum Einsatz: a) Abbildungen mit Anmerkungen
Dabei wird eine zweidimensionale Abbildung einer Ansicht des Gebrauchsgegenstandes gezeigt, wobei Anmerkungen hinzugefügt sind. Die Anmerkungen verweisen dabei mittels einer Führungslinie auf einen bestimmten Teil des Gebrauchsgegenstandes. Die Anmerkun- gen sind dabei häufig in Form von Text oder einer Zahl enthalten. Typische Anwendungen sind Anmerkungen in Form von Bezugszeichen, die Teile des Gebrauchsgegenstandes kennzeichnen, oder Information zu einem Teil des Gebrauchsgegenstandes in Textform. Als Teil des Gebrauchsgegenstandes wird hier und im Folgenden sowohl ein einzelner Bauteil, aber auch eine Baugruppe aus mehreren Einzelteilen verstanden. b) Abbildungen mit Bewegungspfeilen
In dieser Darstellungsart ist in einer zweidimensionalen Abbildung einer Ansicht des Gebrauchsgegenstandes ein Pfeil hinzugefügt, der eine (translatorische oder rotatorische) Bewegung eines Teils des Gebrauchsgegenstandes andeutet, die von einem Benutzer am Gebrauchsgegenstand umgesetzt werden soll. Diese Darstellungsart kommt häufig in Bedie- nungs-, Service- oder Reparaturanleitungen zur Anwendung, um einem Benutzer anzudeuten, wie ein Teil des Gebrauchsgegenstandes zu benutzen ist. c) Explosionsdarstellungen
Bei dieser Darstellungsart sind in einer zweidimensionalen Abbildung einzelne Teile des Gebrauchsgegenstandes auseinandergezogen, also voneinander getrennt, dargestellt. Häufig sind die Teile entlang einer Explosionslinie angeordnet, um die Zuordnung einzelner Teile zu größeren Baugruppen und die Anordnung im Gebrauchsgegenstand anzudeuten. Dieser Darstellungsart wird häufig gewählt, um die interne Struktur eines Gebrauchsgegenstandes darzustellen. d) Strukturelle Darstellungen
Bei dieser Darstellungsart ist in der Regel eine Sequenz von zweidimensionalen Abbildungen des Gebrauchsgegenstandes dargestellt, wobei sich jede Abbildung vom Vorgänger oder Nachfolger durch zumindest einen Teil der entweder hinzugefügt, entfernt oder gegen- über anderen Teilen in seiner Position verändert wurde, unterscheidet. Oftmals sind hinzugefügte, entfernte oder umpositionierte Teile auch mit Führungslinien oder Pfeilen versehen, um den vorgesehenen Anbaupunkt am Gebrauchsgegenstand anzudeuten. Die verschiedenen Abbildungen zeigen dabei häufig auch eine identische Ansicht des Gebrauchsgegenstandes in den verschiedeneren Konfigurationen. Diese Darstellungsart findet häufig bei Montage- oder Demontageanleitungen Anwendung, um dem Benutzer eine schrittweise Anleitung zum Handeln zu geben.
Natürlich kommen in gedruckten Dokumentationen auch Kombinationen der oben erwähnten Darstellungsarten vor, was die Anwendbarkeit des nachfolgend beschriebenen erfindungsgemäßen Verfahrens aber nicht einschränkt. Die zweidimensionale Dokumentation kann in Form einer schon bestehenden gedruckten Dokumentation mit zweidimensionaler Bebilderung vorliegen, typischerweise in Form von Handbücher, Bedienungsanleitungen, Montageanleitungen, Reparaturanleitungen, Schulungsunterlagen, etc.. Es ist aber im Rahmen der Erfindung auch möglich, die zweidimensionale Dokumentation für die Erstellung der dreidimensionalen Dokumentation zuerst neu zu erstellen. Beispielsweise könnte der Gebrauchsgegenstand vor Anwendung des erfindungsgemäßen Verfahrens in verschiedenen Ansichten und Konfigurationen fotografiert werden und die Fotos als zweidimensionale Abbildungen verwendet werden. Beides wird als zweidimensionale Dokumentation im Sinne der vorliegenden Erfindung verstanden.
Die gegenständliche Erfindung beruht nun darauf, aus einer bestehenden herkömmlichen zweidimensionalen Dokumentation eines Gebrauchsgegenstandes 1 in gedruckter Form (oder in digitaler Entsprechung als Computerdatei) weitestgehend automatisiert eine dreidimensionale Dokumentation dieses Gebrauchsgegenstandes 1 zu erstellen, die dann beispielsweise auch für eine Augmented Reality Anwendung, für ein Web-Based Training oder für eine animierte Dokumentation verwendet werden kann. Hierzu wird zumindest eine vor- handene Abbildung A des Gebrauchsgegenstandes 1 in der zweidimensionalen Dokumentation 2 analysiert und daraus Information für eine dreidimensionale Dokumentation gewonnen. Die Abbildung A in der Dokumentation 2 liegt dafür natürlich in digitaler Form vor, beispielsweise indem die Abbildung A der Dokumentation 2 zweidimensional mit ausreichender Auflösung eingescannt wird oder die Dokumentation 2 schon im digitalen Format vorliegt. Hierbei wird sinnvollerweise eine dem Detailgrad der Abbildung entsprechende Auflösung gewählt.
Das Verfahren zur Erstellung der Augmented Reality Dokumentation wird nun nachfolgend im Detail beschrieben. Voraussetzung für das erfindungsgemäße Verfahren ist, dass ein digitales 3D-Modell M des Gebrauchsgegenstandes 1 vorliegt. Das digitale 3D-Modell M kann beispielsweise in Form einer 3D-CAD Zeichnung vorliegen. Nachdem die Dokumentation 2 in der Regel vom Hersteller des Gebrauchsgegenstandes 1 erstellt wird und in der heutigen Zeit die Entwicklung und Konstruktion des Gebrauchsgegenstandes 1 anhand von oder mittels 3D-Zeichnungen üblich ist, wird in den meisten Fällen eine solche 3D-CAD Zeichnung verfügbar sein. Eine 3D-CAD Zeichnung hat den Vorteil, dass alle Teile enthalten und identifizierbar sind. Alternativ könnte vom Gebrauchsgegenstand 1 auch ein 3D-Scan angefertigt werden. Ebenso könnten einzelne Teil des Gebrauchsgegenstandes 1 einzeln dreidimensional gescannt werden und nachfolgend zu einem 3D-Modell des Gebrauchsgegenstandes 1 zusammengefügt wer- den. Hierzu sind 3D-Scanner und zugehörige Software verfügbar, die es erlauben, solche 3D-Scans anzufertigen. Beispielhaft sei hier der Kinect®-Sensor der Firma Microsoft® in Kombination mit dem Open Source Softwarepaket KinFu genannt.
Im ersten Schritt des erfindungsgemäßen Verfahrens muss ermittelt werden, mit welchen Bildparametern die zweidimensionale Abbildung A einer Ansicht des Gebrauchsgegenstan- des 1 in der gedruckten Dokumentation 2 erstellt wurde, unabhängig davon, ob es sich bei der Abbildung A um ein Foto oder um eine Zeichnung handelt. Die beiden wesentlichen Bildparameter sind dabei die Betrachtungsposition im Raum bezogen auf den Gebrauchsgegenstand 1 und die Brennweite, mit der der Gebrauchsgegenstand 1 betrachtet wurde. Am Beispiel eines Fotos ist nachvollziehbar, dass sich die Abbildung ändert, wenn die Betrach- tungsposition der Kamera zum Gebrauchsgegenstand 1 verändert wird oder wenn die Kameraeinstellungen, allen voran die Brennweite, verändert wird.
Dafür werden in einer möglichen Umsetzung des Verfahrens von einem Anwender in der Abbildung A und im 3D-Modell M eine Mehrzahl, vorzugsweise vier oder mehr, von korrespondierenden Punkten P1A-P1 M, P2A-P2M, P3A-P3M, P4A-P4M markiert, wie in Fig.1 an- gedeutet. Korrespondierende Punkte P1A-P1 M, P2A-P2M, P3A-P3M, P4A-P4M sind identische Punkte des Gebrauchsgegenstandes 1 in der Abbildung A und im 3D-Modell M. Es erübrigt sich zu erwähnen, dass die Punkte P1 A, P2A, P3A, P4A in der Abbildung A des Gebrauchsgegenstandes 1 dargestellt sind. Es geht also darum zu bestimmten Punkten P1A, P2A, P3A, P4A des Gebrauchsgegenstandes 1 in der Abbildung A die Entsprechungen P1 M, P2M, P3M, P4M im 3D-Modell M zu markieren, wie in Fig.1 durch den Doppelpfeil zwischen den Punkten P3A, P3M angedeutet. Über die korrespondierenden Punkte P1A-P1 M, P2A- P2M, P3A-P3M, P4A-P4M kann das 3D-Modell M in Deckung mit der Abbildung A gebracht werden, das die korrespondierenden Punkte P1A-P1 M, P2A-P2M, P3A-P3M, P4A-P4M bei Überdeckung übereinander liegen müssen. Als nächstes wird die Brennweite als Bildpara- meter geschätzt, falls diese, wie meistens der Fall sein wird, nicht bekannt ist. Mit der Abbildung A, den korrespondierenden Punkten P1A-P1 M, P2A-P2M, P3A-P3M, P4A-P4M und der geschätzten Brennweite kann die Betrachtungsposition BP, die zur Abbildung A der Ansicht des Gebrauchsgegenstandes 1 geführt hat, mittels verfügbarer und hinlänglich bekannter Algorithmen der digitalen Bildverarbeitung, beispielsweise dem bekannten POSIT- Algorithmus, bestimmt werden. Durch Übereinanderlegen der Abbildung A und der Ansicht des 3D-Modells M mit der ermittelten Betrachtungsposition BP1 , beispielsweise durch gemeinsame Anzeige auf einem Bildschirm, kann das Ergebnis kontrolliert werden, wie in Fig.2 dargestellt. Ist die Abweichung zu groß (Fig.2 links), kann die Brennweite verändert werden und/oder es können andere oder weitere korrespondierende Punkte ausgewählt werden. Das kann iterativ wiederholt werden, bis sich eine ausreichend genaue Überdeckung der Abbildung A mit der Ansicht des 3D-Modells M bei einer ermittelten Betrachtungsposition BPn ergibt (Fig.2 rechts). Die Ermittlung der Betrachtungsposition BP kann einfach von einem Anwender ermittelt werden, wobei der Anwender selbst entscheidet, wann eine ausreichende Überdeckung erzielt wurde. Genauso gut kann die Betrachtungsposition BP aber auch mit Hilfe von Standardmethoden der digitalen Bildverarbeitung, wie Verfahren zur Punktidentifikation und zur Ermittlung einer Bildüberdeckung, alternativ auch automatisiert durchgeführt werden. Hierbei kann insbesondere auch die Brennweite automatisiert iterativ verändert werden, bis sich eine bestmögliche Bildüberdeckung und somit die gesuchte Betrachtungsposition BP, die zur Abbildung A geführt hat, ergibt. Die Ermittlung der Betrachtungsposition BP kann für jede interessierende zweidimensionale Abbildung A der gedruckten Dokumentation 2 wiederholt werden. Oftmals ist es aber so, dass alle Abbildungen A der gedruckten Dokumentation 2 mit denselben Bildparametern erstellt wurden. Daher kann es auch ausreichend sein, die Bildparameter nur einmal zu ermitteln und anschließend auf alle interessierenden Abbildungen A, oder zumindest auf einige davon, anzuwenden.
Nachdem die zweidimensionale Abbildung A in der gedruckten Dokumentation 2 und das 3D-Modell M wie beschrieben in Deckung gebracht worden sind, kann die Abbildung A hinsichtlich der obigen Darstellungsarten analysiert werden. Das prinzipielle Vorgehen ist dabei derart, dass aus dem Vergleich der zweidimensionalen Abbildung und einer Ansicht des 3D- Modells mit den ermittelten Bildparametern aus der zweidimensionalen Abbildung Zusatzinformation gewonnen wird, die dann in einer Ansicht des 3D-Modells des Gebrauchsgegen- Standes, in Form einer Ansicht des 3D-Modells, eingeblendet werden kann. Die Zusatzinformation ist dazu vorzugsweise zu einzelnen Teilen des Gebrauchsgegenstandes 1 zugeordnet, sodass die Zusatzinformation auch bei einer Änderung der Ansicht (z.B. wenn das SD- Modell M im Raum gedreht wird) immer richtig in der jeweiligen Ansicht dargestellt werden kann. a) Abbildungen mit Anmerkungen (Fig.3 bis 5)
Aus dem 3D-Modell M in der Ansicht mit der ermittelten Betrachtungsposition BP wird eine zweidimensionale Maske S (Fig.3 rechts) erstellt, die alle Pixel der ermittelten Ansicht des 3D-Modells M enthält. Mit der Maske S können nun alle Pixel der digitalisierten Abbildung A (die in Deckung mit der Ansicht des 3D-Modells M ist) ermittelt werden, die außerhalb der Ansicht des Gebrauchsgegenstandes 1 liegen. Mithilfe von Methoden der digitalen Bildverarbeitung werden nun in der digitalisierten Abbildung A zusammenhängende Komponenten gesucht. Ein möglicher Algorithmus hierfür ist der bekannte Maximally Stable Extremal Regions (MSER) Algorithmus, der eine effiziente Methode zur Aufteilung eines Bildes in zu- sammenhängende Komponenten darstellt. Jede derart bestimmte zusammenhängende
Komponente K umfasst damit eine Anzahl von Pixeln (angedeutet durch die Punkte in Fig.4) der digitalisierten Abbildung A. Von allen ermittelten zusammenhängenden Komponenten K werden diejenigen ausgewählt, die in der Abbildung A eine Führungslinie 3i, 32 darstellen können. Hierzu kann z.B. die Exzentrizität der zusammenhängenden Komponenten K ermit- telt werden. Die Exzentrizität ist hierbei als Verhältnis zwischen der größten Längserstreckung und der größten Quererstreckung (normal auf die Längserstreckung) der zusammenhängenden Komponente K festgelegt. Für eine Führungslinie 3i, 32 kann angenommen werden, dass die auf Eins normierte Exzentrizität annähernd Eins sein muss. Hier kann ein entsprechender Schwellwert definiert werden. Jede zusammenhängende Komponente K1 , K2, deren Exzentrizität diesen Schwellwert überschreitet und die äußere Grenze der Maske S schneidet, oder zumindest berührt, (da eine Führungslinie 3i, 32 auf einen Teil des Gebrauchsgegenstandes 1 weisen muss) wird als Führungslinie 3i, 32 interpretiert (Fig.4).
Als nächstes sind die Endpunkte E1 1 , E12 einer Führungslinien 3i, 32 zu bestimmen. Dazu kann eine beliebige Methode verwendet werden, um in die Pixel der zusammenhängenden Komponenten K1 , K2 in Richtung der Längserstreckung bestmöglich eine Gerade zu legen. Beispielsweise kann um die Pixel der zusammenhängenden Komponenten K1 , K2 eine Ellipse mit Hauptachse H in Richtung der Längserstreckung eingepasst werden, wie in Fig.4 für die Komponenten K1 angedeutet. Die Scheitelpunkte der Ellipse auf der Hauptachse H werden dann als Endpunkte E1 1 , E12 der gesuchten Führungslinie 3i interpretiert. Anhand der Maske S kann nun einfach bestimmt werden, welcher Endpunkt E1 1 , E12 im Bereich des Gebrauchsgegenstandes 1 liegen und welcher außerhalb. Zum Endpunkt E12 innerhalb des Gebrauchsgegenstandes 1 kann anhand des 3D-Modell M auch ermittelt werden, auf weichen Teil des Gebrauchsgegenstandes 1 die ermittelte Führungslinie 3i weist. Diese Zuordnung kann auch in einem eigenen Teilespeicher, der alle einzeln identifizierbaren Teile des Gebrauchsgegenstandes 1 enthält, gespeichert werden. Der ermittelte Endpunkt E12 innerhalb des Gebrauchsgegenstandes 1 wird als Ankerpunkt AP1 (Fig.5) der Führungslinie 3i für die dreidimensionale Dokumentation gespeichert, gegebenenfalls gemeinsam mit der Zuordnung zu einem bestimmten Teil des Gebrauchsgegenstandes 1 im Teilespeicher.
Der Ankerpunkt AP1 kann aber auch in den jeweiligen Körpermittelpunkt des zugehörigen Teils T verlegt werden, was für eine spätere dreidimensionale Darstellung des Gebrauchsgegenstandes 1 vorteilhaft sein kann.
Um den Endpunkt E1 1 , der außerhalb des Gebrauchsgegenstandes 1 liegt, kann nun eine Suchregion SR festgelegt werden (Fig.4), die nach Text oder Zahlen durchsucht wird, beispielsweise mittels herkömmlicher Zeichenerkennungs (OCR)-Software. Alternativ könnte ein Anmerkungstext auch manuell zur ermittelten Führungslinie 3 hinzugefügt werden. Der derart ermittelte Anmerkungstext wird ebenfalls zur Führungslinie 3i gespeichert, beispielsweise wieder im Teilespeicher.
Wird nun in einer Augmented Reality Anwendung die Ansicht auf den Gebrauchsgegenstand 1 verändert, indem z.B. die Kameraposition zur Aufnahme des Gebrauchsgegenstandes 1 verändert wird, kann die Einblendung der ermittelten Führungslinie 3i und des zugeordneten Anmerkungstextes durch den festgelegten Ankerpunkt AP1 entsprechend nachgezogen werden. Der Ankerpunkt AP1 bleibt dabei auf den identifizierten Teil des Gebrauchsgegenstandes 1 und der andere Endpunkt E1 1 der Führungslinie 3i mit dem Anmerkungstext kann in der Augmented Reality Darstellung an einer an sich beliebigen Stelle, vorzugsweise eine Stelle außerhalb des Gebrauchsgegenstandes 1 , positioniert werden, wie in Fig.5 dargestellt. Die Führungslinie 3 mit Anmerkungstext kann natürlich in jeder beliebigen dreidimensionalen Ansicht des Gebrauchsgegenstandes 1 dargestellt werden. b) Abbildungen mit Bewegungspfeilen (Fig.6 bis 8)
Nachdem es hier um die Bewegung von Teilen T des Gebrauchsgegenstandes 1 geht ist zuerst zu bestimmen, welche Teile T überhaupt individuell bewegbar sind. Diese Information kann entweder bereits im 3D-Modell M enthalten sein, oder kann mittels bekannter Methoden ermittelt werden. Solche Methoden sind insbesondere aus dem Gebiet der Bewegungsplanung von Bauteilen bekannt. Hierbei wird untersucht, welche Teile T1 , T2 des Gebrauchsgegenstandes 1 im 3D-Modell M bewegt (translatorisch und/oder rotatorisch) werden können und falls ja, in welchem Bereich, ohne dabei mit anderen Teilen des Gebrauchsgegenstandes 1 zu kollidieren. Hierbei wird sowohl ein möglicher Richtungsvektor RV1 (oder auch mehrere mögliche Richtungsvektoren) einer translatorischen Bewegung bzw. eine Drehachse (oder auch mehrere mögliche Drehachsen) einer möglichen rotatorischen Bewe- gung ermittelt, als auch die mögliche Distanz D der Bewegung, wie in Fig.6 für eine translatorische Bewegung angedeutet. Eine Methode hierfür ist z.B. in Lozano-Perez, T., "Spatial planning: A configuration space approach", IEEE Trans. Comput. 32, 2 (Feb. 1983), S.108- 120 beschrieben. Die Information der ermittelten möglichen Bewegungen wird für jeden Teil T1 , T2 des 3D-Modells M gespeichert, beispielsweise wieder im Teilespeicher. Als nächstes sind die Bewegungspfeile P in der Abbildung A zu identifizieren, wie anhand von Fig.7 beispielhaft beschrieben wird. Das prinzipielle Vorgehen ist dabei gleich wie oben bezüglich der Führungslinie 3 beschrieben wurde. Hier werden zusammenhängende Komponenten K außerhalb der Maske S ermittelt, da angenommen wird, dass ein Bewegungspfeil P in der Abbildung A nicht im Gebrauchsgegenstand 1 dargestellt ist. Allerdings kann das Verfahren auch auf Bewegungspfeile P, die sich mit der Abbildung des Gebrauchsgegenstandes 1 schneiden erweitert werden. Um einen möglichen Bewegungspfeil P automatisiert zu erkennen, werden zusammenhängende Komponenten K gesucht, die charakteristischen Merkmale eines Pfeiles aufweisen, also eine Spitze SP, eine Verbreiterung ausgehend von der Spitze SP, eine folgende Einschnürung und eine anschließende Basis. Im Bei- spiel gemäß der Fig.7 werden z.B. die zusammenhängenden Komponenten K ermittelt, deren Umfang U genau zwei Konkavitäten V1 , V2 aufweist, was ein charakteristisches Merkmal eines Pfeils ist. Dann wird an die zusammenhängende Komponente K wieder eine Ellipse mit einer Hauptachse H angepasst, wobei die Hauptachse H in Richtung der Längserstreckung der zusammenhängenden Komponente K orientiert wird. Jener Scheitelpunkt der Ellipse, der näher an den Konkavitäten V1 , V2 liegt, wird als Spitze SP des Bewegungspfeiles P interpretiert. Der andere Scheitelpunkt ist dann die Basis B des Bewegungspfeils P. Aus der Hauptachse H der Ellipse, sowie Basis B und Spitze SP (bzw. eines der beiden) kann ein Richtungsvektor RV einer beabsichtigten Bewegung eines Teils T1 , T2 des Gebrauchsgegenstandes 1 festgelegt werden. Nun gilt es noch zu bestimmen, welcher Teil T1 , T2 des Gebrauchsgegenstandes 1 bewegt werden soll. Zuerst werden die Teile T2 ermittelt, die überhaupt in Richtung des Richtungsvektors RV bewegt werden können. Hierbei werden die Teile T2 gesucht, deren Richtungsvektor RV1 der möglichen Bewegung (aus der oben beschriebenen Vorgehensweise der Bewegungsplanung) sich mit dem Richtungsvektor RV des Bewegungspfeils P deckt. Hierzu wird sinnvollerweise ein räumlicher Winkelbereich α festgelegt, um den die beiden Richtungsvektoren RV, RV1 abweichen dürfen, wie in Fig.8 angedeutet. Sollten mehrere Teile T des Gebrauchsgegenstandes 1 für die Bewegung in Frage kommen, dann kann entschieden werden, ob alle in Frage kommenden Teile bewegt werden sollen, bestimmte Teile bewegt werden sollen oder es kann der Teil T2 ausgewählt werden, der am nächsten zur Basis B des Bewegungspfeils P liegt. Für Bewegungspfeile P, die eine Rotationsbewegung darstellen, kann analog vorgegangen werden. Also zuerst Identifikation des Bewegungspfeils P und der erwünschten Rotation (bzw. Drehachse), und dann Bestimmen der Teile, die die Rotation ausführen können.
In einer Augmented Reality Darstellung kann dann beispielsweise in einer aufgenommenen realen Ansicht des Gebrauchsgegenstandes 1 ein Bewegungspfeil P eingeblendet werden und bei Klicken des Bewegungspfeils P eine Animation gestartet werden, die über der Aufnahme des Gebrauchsgegenstandes 1 die Bewegung eines Teils T2 des Gebrauchsgegenstandes 1 animiert. Auch hier kann die Animation bei Änderung der Betrachtungsposition in Echtzeit nachgezogen werden. c) Explosionsdarstellungen (Fig.9 bis 10) Um die Bildparameter BP einer Explosionsdarstellung zu ermitteln, kann das oben beschriebene Verfahren z.B. nur auf einen Teil T2 der Explosionsdarstellung (Fig.9), vorzugsweise eine Hauptkomponente, angewendet werden.
Auch hier steht die Ermittlung der möglichen Bewegungen der Teile T des Gebrauchsgegenstandes 1 , wie oben beschrieben, am Anfang. Mit den ermittelten Bildparametern BP für die Abbildung A der Explosionsdarstellung (siehe oben), werden dann die bewegbaren Teile T des Gebrauchsgegenstandes 1 im 3D-Modell M gemäß der bestimmten Bewegungsmöglichkeiten variiert, also verschiedene Positionen der bewegbaren Teile T angenommen (Fig.10), und jeweils geprüft, inwieweit sich die Abbildung A und die jeweilige Ansicht des 3D-Modells M mit den ermittelten Bildparametern BP decken. Dabei können ebenfalls wieder Standard- methoden der digitalen Bildverarbeitung angewendet werden. Grundsätzlich kann ein beliebiger Algorithmus zur Variation der möglichen Bewegungen implementiert werden. Beispiele hierfür finden sich in Agrawala, M., et al.,„Designing effective step-by-step assembly Instructions", ACM Trans. Graph. 22, 3 (2003), 828-837 oder Romney, B., et al., "An efficient System for geometric assembly sequence generation and evaluation", In Proc. of Computers in Engineering (1995), 699-712. Das Ziel des implementierten Algorithmus sollte aber natürlich auf Performance liegen, um bei komplexeren Gebrauchsgegenständen 1 mit vielen Teilen T mit Bewegungsmöglichkeiten rasch zu einem Ergebnis zu kommen. Beispielsweise könnte man einen Teil T2 im 3D-Modell M gemäß der Bewegungsmöglichkeiten variieren und den Bereich der Ansicht im 3D-Modell M, der den Teil T2 enthält mit dem gleichen Bereich in der Abbildung 2 vergleichen, bis eine gute Deckung des Teils 2 im 3D-Modell M mit dem Teil T2 in der Abbildung erzielt wurde. Das kann mit jeden Teil T wiederholt werden, bis alle Teile der Explosionsdarstellung in der richtigen Position identifiziert sind.
Bei bestmöglicher Deckung der Abbildung A der Explosionsdarstellung und des 3D-Modells M erhält man die Information EX1 welche Teile T des Gebrauchsgegenstandes 1 für die Explosionsdarstellung wie (Richtungsvektor RV, Drehachse) und wie weit (Distanz D, Winkel) bewegt wurden. Diese Information EX1 kann dann gespeichert werden, beispielsweise wieder im Teilespeicher.
Diese Information kann dann in einer Augmented Reality Anwendung beispielsweise ver- wendet werden, um über eine Aufnahme des Gebrauchsgegenstandes 1 eine Explosionsdarstellung der Teile T einzublenden, vorzugsweise mittels animierter Bewegung der dafür notwendigen Teile T. d) Strukturelle Darstellungen (Fig.1 1 bis 12)
In Fig.1 1 ist mit den Abbildungen A1 , A2 der Dokumentation 2 beispielshaft eine Montagese- quenz von Teilen T1 , T2, T3 am Gebrauchsgegenstand 1 dargestellt, wobei hier der Teil T2 mit Teil 3 am Teil T1 angeordnet wird. Zur automatisierten Analyse solcher struktureller Darstellungen kann z.B. eine umgekehrte Montageplanung beginnend mit dem vollkommen zusammengestellten Gebrauchsgegenstand 1 angewendet werden. Ausgangspunkt ist hierbei natürlich wieder die Abbildung A und das damit in Deckung gebrachte 3D-Modell M. Ähnlich wie bei der oben beschrieben Bewegungsplanung werden nun die Bewegungsmöglichkeiten der Teile T untersucht und die Teile im 3D-Modell M variiert, bis eine bestmögliche Deckung gefunden wurde. Das 3D-Modell M ist hierzu vorteilhaft auf die Teile reduziert, die in den Abbildungen A1 , A2 enthalten sind, was anhand der umgekehrten Reihenfolge jeweils möglich ist. Als Ergebnis liegen dann die Ansichten M1 , M2 vor, die sich bestmöglich mit den Abbildungen A1 , A2 decken, zusammen mit der Information, welche Teile T2, T3 wie bewegt werden mussten, um zu den Ansichten M1 , M2 zu kommen. Man erhält dabei Information EX2 welche Teile T1 , T2, T3 des Gebrauchsgegenstandes 1 für die strukturelle Darstellung zwischen zwei Abbildungen A1 , A2 wie (Richtungsvektor RV, Drehachse) und wie weit (Distanz D, Winkel) bewegt wurden. Diese Information EX2 kann dann wieder gespeichert wer- den, z.B. wieder im Teilespeicher.
Zur Beschleunigung der Suche können auch nur die Regionen R der Abbildungen A1 , A2 untersucht werden, in denen Veränderungen stattgefunden haben (Fig.12). Diese Regionen R können z.B. durch Ermitteln einer pixelweisen Differenz in der dargestellten Sequenz der Abbildungen A1 , A2 gefunden werden. Wenn die Abbildung A1 , A2 die Teile T1 , T2, T3 flä- chig gefüllt mit unterschiedlichen Farben darstellt, was häufig der Fall ist, kann die Region R der Änderung einfach durch pixelweise Subtraktion und Schwellwertbildung (um mögliche leichte Unterschiede zu eliminieren) ermittelt werden. Als pixelweise Subtraktion wird hier die Subtraktion der Farbwerte jedes Pixels verstanden, woraus sich eine Differenz zwischen den Bildern ergibt. Bei einfachen Strichzeichnungen als Abbildungen A1 , A2, was ebenfalls oft vorkommt, können die Abbildungen A1 , A2 vorher aufgebessert werden, in dem zuerst die Silhouetten der Abbildung A1 , A2 (also die äußere Umrandung) ermittelt werden und dann der Hintergrund der Abbildung A1 , A2 außerhalb der Silhouette mit einer einheitlichen Farbe gefüllt werden. Im Falle von Fotos als Abbildungen A1 , A2 können auch andere Methoden der digitalen Bildbearbeitung eingesetzt werden, um die sich ändernden Regionen aufzufinden. Ein Beispiel hierfür ist der bekannte Scale-invariant feature transform (SIFT) flow Algorithmus beschrieben in Liu, C, Yuen, J., Torralba, A., Sivic, J., Freeman, W. T.,„Sift flow: Dense correspondence across different scenes", In Proceedings of the 10th European Conference on Computer Vision: Part III, ECCV '08, Springer-Verlag (Berlin, Heidelberg, 2008), 28-42, der zu einem Pixel eines Ausgangsbildes das meistähnliche Pixel eines Zielbildes findet. Die oben beschriebene umgekehrte Montageplanung muss dann nur mehr auf diese Regionen R der Veränderungen eingeschränkt werden.
Die Unterschiede in den Abbildungen A1 , A2 können dabei in verschwundenen, hinzugefügten oder umpositionierten Teilen T1 , T2, T3 liegen. Im Falle von umpositionierten Teilen T3 können die bereits oben beschriebenen Methoden zur Analyse von Explosionsdarstellungen und/oder zur Analyse von Bewegungspfeilen verwendet werden.
In einer Augmented Reality Anwendung kann dann eine komplette Sequenz einer strukturellen Darstellung animiert dargestellt werden. Hierzu kann beispielsweise in einer aufgenommenen Darstellung des Gebrauchsgegenstandes 1 eine Montage- oder Demontagesequenz überblendet dargestellt werden.
Die oben beschriebenen Methoden und der Ablauf zur Analyse einer Abbildung 2 einer Dokumentation eines Gebrauchsgegenstandes 1 ist nochmals übersichtlich in Fig.13 dargestellt. Ausgangspunkt sind das 3D-Modell M und eine zweidimensionale Abbildung A einer Ansicht des Gebrauchsgegenstandes 1. Information zu den einzelnen Teilen T des Ge- brauchsgegenstandes 1 kann in einem Teilespeicher TS gespeichert werden, z.B. eine eindeutige Identifikation jedes Teils T. Im ersten Schritt S1 werden die Bildparameter BP ermittelt. Für eine Abbildung A mit Anmerkungen 11 werden im Schritt S2 die Anmerkungen x, y und die Führungslinien 3 ermittelt und gegebenenfalls im Teilspeicher TS (eventuell mit den Ankerpunkten AP) zu den jeweiligen Teilen T gespeichert. Für eine Abbildung A mit Bewe- gungspfeilen 12, für eine Explosionsdarstellung 13 und für eine strukturelle Darstellung 14 ist im Schritt S3 eine Bewegungsplanung der Teile T des Gebrauchsgegenstandes 1 vorgese- hen. Die Bewegungsmöglichkeiten (Richtungsvektor RV und/oder Drehachse) jedes Teils T werden wieder im Teilespeicher TS abgelegt. Für eine Abbildung A mit Bewegungspfeilen 12 werden im Schritt S4 die Bewegungspfeile P identifiziert und gewissen Teilen T des Gebrauchsgegenstandes 1 zugeordnet, was wieder im Teilespeicher TS abgespeichert wird. Für eine Explosionsdarstellung 13 und eine strukturelle Darstellung 14 kommen im Schritt S5 die beschriebenen Algorithmen zum Bildvergleich zur Anwendung. Auch hier wird die gewonnene Information EX1 (Verschiebung, Verdrehung bestimmter Teile T) teilebezogen im Teilespeicher TS abgelegt. Für eine strukturelle Darstellung 14 in der Abbildung A können im Schritt S6 auch noch Algorithmen zur Analyse von Regionen R mit Änderungen zur Anwen- dung kommen, um die Information EX2 der geänderten Teile T zwischen zwei Abbildungen A1 , A2 zu erhalten. Die Schritte S1 bis S6 werden hierbei unter Umständen auch kombiniert ausgeführt, sodass auch Kombinationen verschiedener Abbildungen 15 analysiert werden können. Das Ergebnis ist eine dreidimensionale Dokumentation 10 des Gebrauchsgegenstandes 1 , die je nach Bedarf angepasst werden kann, beispielsweise mit Anmerkungen (01 ), als Animation einer Bewegung eines Teils T aufgrund von identifizierten Bewegungspfeilen (02), als Explosionsdarstellung (03), als Montagesequenz (04) oder auch als beliebige Kombination der oben beschriebenen Möglichkeiten (05). Hierbei kann auch die Information aus dem Teilespeicher TS verwendet werden.
Mit den Fig.14 bis 16 wird das noch an einem konkreten Beispiel in Form einer Dokumentati- on 2 für einen Filter beschrieben. In einer ersten Abbildung A1 ist der Filter mit den drei Teilen Gehäuse T1 , Schraubdeckel T2 und Filtereinsatz T3 dargestellt, wobei zu den drei Teilen T1 , T2, T3 auch noch Anmerkungen und Führungslinien enthalten sind. Mit den Abbildungen A2 und A3 wird mit einer Sequenz von Abbildungen in Form einer strukturellen Darstellung ein Filterwechsel beschrieben. Hierzu ist in Abbildung A2 der Schraubdeckel T2 vom Filter- gehäuse T1 entfernt dargestellt und die notwendige Handlung (Abschrauben des Deckels) durch einen Bewegungspfeil P1 angedeutet. In der Abbildung A3 ist schließlich der Filtereinsatz T3 aus dem Filtergehäuse entfernt dargestellt und die notwendige Handlung dafür wieder mit einem Bewegungspfeil P2 angedeutet. Diese Abbildungen A1 , A2, A3 können wie oben beschrieben analysiert werden, um daraus eine dreidimensionale Dokumentation 10 zu erstellen, die dann wiederum weiterverwendet werden kann, z.B. in einer Augmented Reality Anwendung.
In einer eine Augmented Reality Anwendung des Gebrauchsgegenstandes 1 wird der Gebrauchsgegenstand 1 z.B. zuerst digital aufgenommen, z.B. mittels einer Digitalkamera, 3D- Scanner, etc., und dann das 3D-Modell M in Übereinstimmung mit der aufgenommenen An- sieht des Gebrauchsgegenstandes 1 gebracht. Das kann entweder manuell erfolgen oder mittels bekannter Algorithmen, wie dem SAC-IA (Sample Consensus Initial Alignment) Algo- rithmus. Die aufgenommene Ansicht des Gebrauchsgegenstandes 1 kann dann je nach Bedarf mit der Information angereichert werden, die aus der oben beschriebene Analyse der Dokumentation 2 erhalten wurde.
Beispielsweise können in der jeweiligen realen Ansicht des Gebrauchsgegenstandes 1 aus der gedruckten Dokumentation 2 gewonnene Anmerkungen eingeblendet werden. Die Führungslinie 3 wird ausgehend vom Ankerpunkt AP so dargestellt, dass die Anmerkungen optimal dargestellt werden können. Im Fall einer Bewegung eines Teils T in der Augmented Reality (z.B. Explosionsdarstellung, strukturelle Darstellung) können die Anmerkungen mitgezogen werden. Explosionsdarstellungen oder strukturelle Darstellungen in der Augmented Reality können auch anwendergesteuert ablaufen, z.B. indem der Anwender angibt welche oder wieviele Teile in einer Explosionsdarstellung dargestellt werden.
Die Darstellung der Augmented Reality kann entweder in vollständig gerenderten Darstellungen wiedergegeben werden, oder es können nur die Umrisslinien über dem aufgenommen Bild des Gebrauchsgegenstandes 1 dargestellt werden.
Für die Augmented Reality Anwendung kann auch eine Computerbrille verwendet werden, mit der der Gebrauchsgegenstandes 1 gefilmt wird und über die vorher gewonnene Zusatzinformation zum Gebrauchsgegenstand 1 bei Bedarf in das Sichtfeld des Trägers der Computerbrille eingeblendet wird. Die gewonnene dreidimensionale Dokumentation 10 kann aber natürlich auch in einem Virtual Reality Viewer verwendet werden, z.B. zur Schulung am Gebrauchsgegenstandes 1. Dabei können verschiedene Ansichten des 3D-Modells M dargestellt werden, die durch die gewonnen Zusatzinformation angereichert werden kann oder in der der Gebrauchsgegenstandes 1 in verschiedenen Darstellungen, z.B. in einer Explosionsdarstellung, dargestellt wird. Natürlich können auch hier Animationen dargestellt werden, die z.B. aus einer strukturellen Darstellung gewonnen wurde.

Claims

Patentansprüche
1 . Verfahren zum Erstellen einer dreidimensionalen Dokumentation (10) für einen Gebrauchsgegenstand (1 ), der aus mehreren Teilen (T, T1 , T2, T3) besteht, wobei
Bildparameter (BP) zumindest einer Abbildung (A) des Gebrauchsgegenstandes (1 ) in einer bestehenden zweidimensionalen Dokumentation (2) ermittelt werden,
ein 3D-Modell (M) des Gebrauchsgegenstandes (1 ) mit den ermittelten Bildparameter (BP) in Deckung mit der Abbildung (A) gebracht wird und
aus dem Vergleich der zweidimensionalen Abbildung (A) und des 3D-Modells (M) mit den ermittelten Bildparametern (BP) aus der zweidimensionalen Abbildung (A) Zusatzinformation gewonnen wird, die gemeinsam mit dem 3D-Modell (M) die dreidimensionale Dokumentation (10) des Gebrauchsgegenstandes (1 ) bildet.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in der Abbildung (A) und im 3D-Modell (M) eine Mehrzahl von korrespondierenden Punkte (P1A-P1 M, P2A-P2M, P3A- P3M, P4A-P4M) ausgewählt werden und die Bildparameter (BP) variiert werden, bis sich die Abbildung (A) und das 3D-Modell (M) überdecken.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass
in der Abbildung (A) zusammenhängende Komponenten (K1 , K2) ermittelt werden, die Exzentrizitäten der zusammenhängenden Komponenten (K1 , K2) ermittelt werden und die ermittelte Exzentrizitäten mit einem vorgegebenen Schwellwert verglichen werden, um zumindest einen Kandidaten für eine Führungslinie (3i, 32) zu ermitteln,
in die zusammenhängende Komponente (K1 , K2) des Kandidaten in eine Längsrichtung eine Gerade gelegt wird, die die Führungslinie (3i, 32) repräsentiert und
anhand einer aus dem 3D-Modell (M) gewonnenen Maske (S) des Gebrauchsgegenstandes (1 ) ermittelt wird, welcher Endpunkt (E12) der Gerade im Gebrauchsgegenstand (1 ) liegt.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass um den anderen Endpunkt (E1 1 ) der Gerade eine Suchregion (SR) definiert wird, die mit einer Zeichenerken- nungs-Software nach Anmerkungstext (x, y) untersucht wird.
5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass in die zusammenhängende Komponente (K1 , K2) des Kandidaten eine Ellipse gelegt wird, deren Hauptachse (H) in Richtung der Längserstreckung liegt und deren Scheitelpunkte die Endpunkte (E1 1 , E12) der ermittelten Führungslinie (3i) darstellen.
6. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Endpunkt (E12) der Gerade, der innerhalb des Gebrauchsgegenstandes (1 ) liegt einem Teil (T) des Gebrauchsgegenstandes (1 ) zugeordnet wird.
7. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass mit einer Methode zur Bewegungsplanung die Bewegungsmöglichkeiten zumindest eines Teils (1 ) des Gebrauchsgegenstandes (1 ) ermittelt werden.
8. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in der Abbildung (A) zusammenhängende Komponenten (K) ermittelt werden und daraus zumindest eine zusammenhängenden Komponenten (K) bestimmt wird, die charakteristische Merkmale eines Be- wegungspfeils (P) aufweist.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass
zumindest eine zusammenhängende Komponente (K) bestimmt wird, deren Umfang (U) genau zwei Konkavitäten (V1 , V2) aufweist,
an die zusammenhängende Komponente (K) eine Ellipse mit einer Hauptachse (H) in Längsrichtung der zusammenhängenden Komponente (K) angepasst wird, und
ein Scheitelpunkt der Ellipse, der näher an den Konkavitäten (V1 , V2) liegt, als Spitze (SP) eines Bewegungspfeile (P) interpretiert wird.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass anhand des ermittelten Bewegungspfeils (P) auf eine angedeutete Bewegung eines Teils (T) des Ge- brauchsgegenstandes (1 ) geschlossen wird und anhand der Bewegungsplanung zumindest ein Teil (T) des Gebrauchsgegenstandes (1 ) ermittelt wird, der diese Bewegung ausführen kann.
1 1 . Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass anhand der aus der Bewegungsplanung ermittelten Bewegungsmöglichkeiten die Position zumindest eines Teils (T) des Gebrauchsgegenstandes (1 ) im 3D-Modell (M) variiert wird, bis sich die Abbildung (A) und das 3D-Modell (M) ausreichend überdecken.
12. Verfahren nach Anspruch 1 und 7, dadurch gekennzeichnet, dass zwei Abbildungen (A1 , A2) des Gebrauchsgegenstandes (1 ) untersucht werden, wobei sich eine erste Abbildung (A1 ) durch zumindest einen hinzugefügten, entfernten oder umpositionierten Teil (T2, T3) des Gebrauchsgegenstandes (1 ) von einer zweiten Abbildung (A1 ) unterscheidet und anhand der aus der Bewegungsplanung ermittelten Bewegungsmöglichkeiten ein Teil (T2, T3) im 3D-Modell (M) hinzugefügt wird, ein Teil (T2, T3) im 3D-Modell (M) entfernt wird oder die Position zumindest eines Teils (T2, T3) im 3D-Modell (M) variiert wird, um von der ersten Abbildung (A1 ) zur zweiten Abbildung (A2) zu kommen.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass in den beiden Abbildungen (A1 , A2) zuerst die sich unterscheidenden Regionen (R) ermittelt werden und die Bewegungsmöglichkeiten nur solcher Teile (T2, T3) untersucht werden, die in den unterscheidenden Regionen (R) liegen.
14. Verwendung der dreidimensionalen Dokumentation (10), die nach einem der Ansprüche 1 bis 13 ermittelt wurde, um in einer Augmented Reality Anwendung über eine Aufnahme eines Gebrauchsgegenstandes (1 ) Zusatzinformation aus der dreidimensionalen Dokumentation (10) einzublenden.
15. Verwendung der dreidimensionalen Dokumentation (10), die nach einem der Ansprü- che 1 bis 13 ermittelt wurde, um in einem Virtual Reality Viewer in einer Ansicht des SD- Modells (M) Zusatzinformation aus der dreidimensionalen Dokumentation (10) einzublenden.
EP15775122.3A 2014-09-22 2015-09-17 Verfahren zum erstellen einer dreidimensionalen dokumentation Withdrawn EP3198566A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50672/2014A AT516306B1 (de) 2014-09-22 2014-09-22 Verfahren zum Erstellen einer dreidimensionalen Dokumentation
PCT/EP2015/071317 WO2016046054A1 (de) 2014-09-22 2015-09-17 Verfahren zum erstellen einer dreidimensionalen dokumentation

Publications (1)

Publication Number Publication Date
EP3198566A1 true EP3198566A1 (de) 2017-08-02

Family

ID=54252259

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15775122.3A Withdrawn EP3198566A1 (de) 2014-09-22 2015-09-17 Verfahren zum erstellen einer dreidimensionalen dokumentation

Country Status (4)

Country Link
US (1) US20170301134A1 (de)
EP (1) EP3198566A1 (de)
AT (1) AT516306B1 (de)
WO (1) WO2016046054A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833437A (zh) * 2020-07-09 2020-10-27 海南发控智慧环境建设集团有限公司 一种创建三维文档的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50003361D1 (de) * 1999-03-25 2003-09-25 Siemens Ag System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
US8026929B2 (en) * 2006-06-26 2011-09-27 University Of Southern California Seamlessly overlaying 2D images in 3D model
US7712052B2 (en) * 2006-07-31 2010-05-04 Microsoft Corporation Applications of three-dimensional environments constructed from images
US8963957B2 (en) * 2011-07-15 2015-02-24 Mark Skarulis Systems and methods for an augmented reality platform
US8884950B1 (en) * 2011-07-29 2014-11-11 Google Inc. Pose data via user interaction
US9761045B1 (en) * 2013-03-15 2017-09-12 Bentley Systems, Incorporated Dynamic and selective model clipping for enhanced augmented hypermodel visualization
US9460561B1 (en) * 2013-03-15 2016-10-04 Bentley Systems, Incorporated Hypermodel-based panorama augmentation
US9403482B2 (en) * 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HYOJOON BAE ET AL: "High-precision vision-based mobile augmented reality system for context-aware architectural, engineering, construction and facility management (AEC/FM) applications", VISUALIZATION IN ENGINEERING, vol. 1, no. 1, 12 June 2013 (2013-06-12), pages 3, XP055178357, ISSN: 2213-7459, DOI: 10.1186/2213-7459-1-3 *

Also Published As

Publication number Publication date
US20170301134A1 (en) 2017-10-19
AT516306A3 (de) 2017-01-15
AT516306B1 (de) 2017-02-15
AT516306A2 (de) 2016-04-15
WO2016046054A1 (de) 2016-03-31

Similar Documents

Publication Publication Date Title
DE102014016069B4 (de) Vorrichtung und Verfahren zum Aufnehmen eines Gegenstandes im 3- dimensionalen Raum mit einem Roboter
DE102006005044B4 (de) Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
DE112014004190T5 (de) Positurschätzverfahren und Roboter
DE102015115394A1 (de) Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit einem virtuellen Bild und mobiles Gerät
EP2528042A1 (de) Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen
DE112010002677T5 (de) Verfahren und vorrichtung zum bestimmen einer formübereinstimmung in drei dimensionen
DE112023000151T5 (de) Inspektionsunterstützungssystem, inspektionsunterstützungsverfahren und inspektionsunterstützungsprogramm
AT520781A2 (de) Verhaltensmodell eines Umgebungssensors
EP3511904A1 (de) Verfahren zum bestimmen einer pose eines objekts in einer umgebung des objekts mittels multi-task-lernens, sowie steuerungsvorrichtung
AT516306B1 (de) Verfahren zum Erstellen einer dreidimensionalen Dokumentation
WO2013182232A1 (de) Verfahren zur bildbasierten veränderungserkennung
DE102018218611B4 (de) Verfahren und Recheneinrichtung zum Erzeugen eines dreidimensionalen CAD-Modells
DE102020126954A1 (de) System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung
DE102023122675A1 (de) Verfahren zum automatisieren Erzeugen von synthetischen Szenen
DE112016000462T5 (de) Dreidimensionales Datenverarbeitungssystem, -verfahren und -programm, dreidimensionales Modell und dreidimensionale Modellformungsvorrichtung
EP3174010A2 (de) Verfahren zur erstellung einer 3d-repräsentation und korrespondierende bildaufnahmevorrichtung
EP3309507B1 (de) Verfahren zum erfassen und optimieren von dreidimensionalen oberflächengeometrien
DE102015209284A1 (de) Verfahren zum Erzeugen einer Ansicht einer Fahrzeugumgebung
DE102014107185A1 (de) Verfahren zur Bereitstellung eines dreidimensionalen Topographiemodells, Verfahren zur Betrachtung einer Topographiedarstellung eines Topographiemodells, Visualisierungsvorrichtung und Mikroskopiersystem
EP3852067A1 (de) 3d-model training
DE112019006288T5 (de) Informationsverarbeitungsvorrichtung, programm undinformationsverarbeitungsverfahren
DE102022204009A1 (de) Verfahren und Einrichtung zur Bestimmung der 6D-Geste eines Objekts
EP2864965B1 (de) Verfahren zur modellbasierten erstellung von testdatensätzen zur prüfung von bildverarbeitungsalgorithmen
DE102023102196A1 (de) Computer-implementiertes verfahren und vorrichtung zum prüfen einer korrektheit eines zusammenbaus
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170421

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20200409

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20201020