EP3877722A1 - Verfahren zum auffassen eines ziels - Google Patents

Verfahren zum auffassen eines ziels

Info

Publication number
EP3877722A1
EP3877722A1 EP19801266.8A EP19801266A EP3877722A1 EP 3877722 A1 EP3877722 A1 EP 3877722A1 EP 19801266 A EP19801266 A EP 19801266A EP 3877722 A1 EP3877722 A1 EP 3877722A1
Authority
EP
European Patent Office
Prior art keywords
target
image
classifiers
recognition unit
missile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19801266.8A
Other languages
English (en)
French (fr)
Inventor
Andre Selz
Marc-Oliver Kühn
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diehl Defence GmbH and Co KG
Original Assignee
Diehl Defence GmbH and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diehl Defence GmbH and Co KG filed Critical Diehl Defence GmbH and Co KG
Publication of EP3877722A1 publication Critical patent/EP3877722A1/de
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/007—Preparatory measures taken before the launching of the guided missiles
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2253—Passive homing systems, i.e. comprising a receiver and do not requiring an active illumination of the target
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2273—Homing guidance systems characterised by the type of waves
    • F41G7/2293—Homing guidance systems characterised by the type of waves using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/24765—Rule-based classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30212—Military
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the invention relates to a method for detecting a target, in which an image depicting the target is predetermined and a target recognition unit recognizes the depicted target as such from image features of the image and predetermined classifiers.
  • Missiles with a seeker head which recognizes the target as such and can track it, are used to approach ground or air targets.
  • the missile can independently track the target and fly towards it.
  • the missile comprises a camera that records the target in the visual and / or infrared spectral range.
  • the target is recognized from one or more recorded images and the position of the target in the image and, if necessary, an orientation of a pivotable optics of the camera are used to determine the position of the target relative to the flight direction or to the longitudinal axis of the missile.
  • image processing software examines an image representing the target for image features using so-called classifiers, which describe typical image features of one or more targets.
  • classifiers describe typical image features of one or more targets.
  • the reliability of the view of the target is also dependent on the quality of the classifiers used to understand the goal.
  • the target recognition unit uses the knowledge of the target to create new classes. identifiers determined from the image with which the target can be recognized as such with a higher recognition quality than with the classifiers used for recognition.
  • the invention is based on the consideration that the determination of classifiers with which missile targets can be reliably identified as such is associated with a high outlay.
  • Classifiers can be determined by extracting image features of the target from a multiplicity of images, each depicting a target, and forming classifiers from these, each of which recognizes their image feature. With the classifiers found in this way, the same and / or other images, each showing a target, can be examined with the task that the image processing software uses the classifiers to find the target in the images alone. Using a recognition quality that is the result of the recognition process, it can be checked how reliable the recognition of the target in the respective image is.
  • images are required in which at least one target to be recognized is depicted.
  • images are often taken during training missions in which the target and / or a missile pursuing a target flies an mission. Since such images often contain sensitive data, they are often kept under lock and key and are therefore not accessible to improve the classifiers.
  • the target recognition unit can be made available to a user taking target images, for example to a military flying exercises.
  • the user can use the target recognition unit to determine new classifiers from images that represent a target without the target images themselves having to be released.
  • the classifiers which are usually free of sensitive data, can now be made available to the manufacturer of the target recognition unit, so that the target recognition unit can be further improved using the new classifiers.
  • the reliability of the target perception can thus be increased considerably with relatively little effort.
  • the target recognition unit In order to keep target images, that is to say images each depicting one or more targets, in a narrowly limited area and not to distribute them widely, it makes sense for the target recognition unit to be integrated in a missile or a platform, for example an aircraft.
  • the platform expediently carries a missile.
  • the missile can be an unmanned missile, in particular a missile with a rocket engine.
  • the new classifiers can be determined by the target recognition unit while the platform or the missile is in use. The new classifiers can even be determined while a flying target is being pursued or the platform or the missile itself is flying. The images no longer have to be sent to a ground-based location.
  • the understanding of a target can include the recognition of the target as such on the basis of image features in one or more images.
  • the recognition of a target can include a classification that classifies an image part as a target image.
  • the target recognition unit expediently comprises image processing software for analyzing one or more images on the basis of image features.
  • the classifiers expediently each describe one or more image features.
  • Methods for forming classifiers, also called descriptors are, for example, the SIFT method (Scale Invariant Feature Transform), the SURF method (Speded Up Robust Features), and / or the ORB method (Oriented Fast and Ro - tated letter) or further developments of one of these methods.
  • Another known method for feature determination and automatic feature comparison are, for example, Laplacian of Gaussian (LoG) and Normalized Cross-Correlation Function (NCCF).
  • LoG Laplacian of Gaussian
  • NCCF Normalized Cross-Correlation Function
  • the target recognition unit is given an image depicting the target.
  • a partial area of the image, which images the target, hereinafter also called the target area, is expediently given to the target recognition unit.
  • the image features of the target in the image are known.
  • the new classifiers can be determined from these image features, expediently using the predetermined, that is to say known classifiers. New classifiers can be determined or the known classifiers are changed, which in the following is equated with the determination of new classifiers.
  • a similar goal can now be achieved with a higher recognition quality than such can be recognized than with the predetermined classifiers used for recognition. This is because the new classifiers were determined using the image features of the depicted target, so they are specially tailored to such image features. If such or similar features appear in another image, they are reliably recognized by the new classifiers, so that the target is particularly reliable.
  • the new classifiers can be determined using machine learning. In addition to the pure recognition of the target as such, it is also expedient to be able to classify the target more precisely using the classifiers, so that the target can be assigned to one of several target categories. In this way, a type of the identified target can be determined, which is advantageous, for example, for a friend-foe recognition or a selection of one of several approach or control options. Accordingly, the classifiers are appropriately divided into the target categories.
  • the target recognition unit examines the image as a whole and recognizes the imaged target as such on the basis of the predetermined classifiers.
  • a sub-area in which the target is depicted is selected from the target image, that is to say a target area.
  • the search of the target recognition unit for the target on the basis of the predefined classifiers can be restricted to the target area, thereby reducing the risk of misdirection.
  • the target area can be selected by an operator, for example a pilot of a flying platform.
  • the operator can recognize the target from an image and mark the target area in the image.
  • the target recognition unit can recognize the target as such in the target area and track it, for example, in a sequence of images taken in succession.
  • the image is recorded by a camera and displayed to an operator.
  • the operator can now recognize the target as such.
  • the operator can make entries in an input system and thereby direct the missile or its target recognition unit to the target.
  • This instruction can be done by the operator selecting a target area, that is to say an image partial area in which the target is depicted, and transferring this selection to the target recognition unit.
  • a pilot looks at the target - either in a real scene or on a picture - and the line of sight data are transmitted to the target recognition unit, which is instructed with this data on the target.
  • the target recognition unit can now search for the target using the specified classifiers exclusively in the target area.
  • the operator When identifying the target, the operator is advantageously in a flying platform.
  • the camera is expediently part of a seeker head of the missile, which is attached to the platform.
  • the target area can be marked, for example, using a target area selection by an operator during a flight of the missile.
  • a crew member of an aircraft hereinafter simply called a pilot, even if this operator does not have to perform any control activity, can direct the missile to the target by, for example, manually marking the target area.
  • the missile conveniently transmitted the image to the operator.
  • a target area is selected in an external image that was recorded from the ground or another aircraft, e.g. by a guide on the floor.
  • the external image is compared with at least one image recorded by the platform - in particular the missile - and image areas are assigned to one another, so that the selection of the target area is transferred to the image.
  • the target area selection can be automated using data from a preliminary instruction, e.g. from radar image data or IR / VIS image data.
  • the target recognition unit is part of a flying platform, in particular part of a missile attached to a flying platform. It is particularly advantageous here if the missile has a seeker head that records the image.
  • the image can be transmitted to an operator of the flying platform, who recognizes the target from the image and marks a partial area of the image as the target area.
  • the target area of the image can now be transferred to the target recognition unit, which recognizes the target as such based on the predefined classifiers.
  • the target recognition unit can determine the new classifiers based on the recognized target.
  • the target is recognized in an image, for example manually by an operator, that is, by eye, or automated by another recognition unit.
  • This can include part of the platform and, for example, very extensive software, the flow of which is high Computing capacity required.
  • the already recognized target is recognized by the target recognition unit.
  • the target or a target area of the target image is transferred to the target recognition unit.
  • the new classifiers can now be determined. This can take place during the flight or later on the ground.
  • a plurality of images of the target are recorded in succession, so that the images are a series of images of the target.
  • the target becomes more and more visible from image to image.
  • a target recognition unit with good classifiers finds a target much faster than an operator who looks at the picture.
  • a trained target recognition unit could recognize the target in an image taken earlier than an operator viewing the series of images, for example as a film. If the operator recognizes the target and marks a target area, the target will presumably be quite easy to recognize.
  • the target unit will also recognize the target with a high recognition quality using the predefined classifiers. However, the classifiers are particularly good if they also recognize the goal in previous pictures.
  • the image is part of an image series whose images represent the target and the new classifiers are determined from at least one other image in the image series. It is particularly advantageous here if the target is more difficult to recognize in the other image than in the image in which it was previously recognized with the specified classifiers.
  • the classifiers can now be created or changed in such a way that the target is reliably recognized at a very early stage. As a rule, the other image will therefore be recorded before the image in which the target was found by the target recognition unit using the predefined classifiers.
  • the other image was only taken after this image, for example if the target is later difficult to see or if the target scene has changed, for example if decoys are dropped.
  • the target recognition unit After a vision of the goal, it will usually be desirable to pursue the goal. In the row of images in which the target is depicted, the target recognition unit will therefore try to find the target again or even always in the subsequent images. This can be done with the given classifiers. Depending on the speed of the creation of the new classifiers, it can also make sense for the goal to be understood in the following pictures of the image series with the new classifiers. This enables the target to be recognized more reliably, so that the target can be tracked more reliably.
  • the classifiers can make sense for the classifiers to be continuously re-determined in the course of the target assessment using the images in a series of images.
  • the classifiers are changed using machine learning.
  • the new classifiers are advantageously determined by machine learning.
  • Machine learning is expediently guided machine learning, since the target to be recognized can be specified by another entity, for example the operator, and can also expediently be checked. In this way, an error detection, for example due to an incorrect development of mechanical learning, can be avoided.
  • the Support Vector Machine method is particularly advantageous for this type of machine learning. Training objects for the creation of the support vector machine can be the target in each image of a series of images, expediently several targets in several series of images. For each of the goals shown, it is known which class they belong to, ie whether it is a goal or not. Each object can now be represented by a vector in the vector space of the Support Vector Machine. The Support Vector Machine can now create a level of hype that separates the classes.
  • the Support Vector Machine it therefore makes sense to use a feature space with a large dimension.
  • a feature space with such a high dimensioning is used that the image values of the entire pixel matrix of the target area of nxm pixels are used.
  • the dimension can be nxm.
  • a method for combining the image values or other processing of the image values can be dispensed with, so that high-quality classifiers can be formed even without a reliable preliminary method - which is generally not known beforehand. It may well be that the classifiers deviate greatly from one application to another, especially if different objectives are understood in the operations.
  • the new classifiers are assigned to one of several usage profiles.
  • This can be stored, for example, in a carrier platform that carries a missile with the target recognition unit, for example an aircraft.
  • an assignment profile can be assigned to each assignment, so that the classifiers stored for this assignment profile are used. This can counteract misclassification or misrecognition.
  • the deployment profile advantageously includes a description of the goal, for example a goal type, and / or a job characterization independent of the image.
  • the predetermined classifiers were determined at least in part by means of machine learning during flights of a carrier platform which is intended to carry a unit with the target recognition unit, for example to carry a missile.
  • the target can be reliably identified in this way, particularly in the case of similar deployment profiles.
  • classifiers After long training sessions, a large number of classifiers will be available, each assigned to an assignment profile. In the case of a new mission, it can now be decided which mission profile is selected in order to use the cheapest classifiers.
  • a particularly advantageous selection of classifiers can be achieved if the predefined classifiers are assigned to different usage profiles.
  • the insert profiles are expediently weighted and the selection and / or weighting of the classifiers is carried out using the weighting of the insert profiles. If the selection is made using the weighting of the deployment profiles, classifiers can be selected from various deployment profiles and can now be used together as predefined classifiers. A predetermined selection of the classifiers is also possible, these being then weighted individually, so that these classifiers are used to a greater or lesser extent to identify the target. This enables a very differentiated target recognition to be achieved.
  • the weighting is carried out using image data of the target area. If, for example, the image data of the target area suggest that the target area depicts a cloud area, a “clouds” application profile can be used without an operator having to specify this manually got to. The same applies to the scenario, for example, when a target is displayed against the background of water, forest or an urban background. The background can be automatically recognized and assigned to an assignment profile, so that the correct assignment profile is automatically and quickly selected.
  • several insert profiles can also be used together, each with a weighting, so that the predefined classifiers can be assigned to different insert profiles and / or are weighted differently.
  • the target area can contain information that can contribute to an advantageous selection of classifiers, but also, for example, target instruction.
  • the application profiles are weighted and the weighting is carried out using image-independent target information.
  • Image-independent target information can be a description of the target, a target briefing and / or mission data, which contain information about the target.
  • a single mission profile can be selected, expediently that with the best classifiers, for example for the current mission. This is also possible without mission information, for example by trying out the classifiers mission profile after mission profile and selecting the classifiers with which the goal is most reliably recognizable.
  • the usage profiles can be arranged in a tree structure.
  • the branching of the tree structure can be formed from usage characteristics and / or target characteristics. In this way, the tree structure can be traced in accordance with the current application characteristics and / or target characteristics to compile the specified classifiers.
  • the invention is also directed to an apparatus for detecting a target.
  • the device expediently contains a camera, a selector for selecting a target area in at least one image of the camera and a missile with a seeker head for tracking a selected target.
  • the missile advantageously contains a target recognition unit which is prepared to recognize the imaged target from image features of the target area and predetermined classifiers and to determine new classifiers based on the knowledge of the target, with which the target has a higher recognition quality than with those used for recognition classifiers can be recognized as such.
  • the selector can be a screen on which an operator selects the target area.
  • a detection unit for automated detection of the target is also possible.
  • FIG. 1 shows a missile with a seeker head, a camera and a target recognition unit
  • 2 shows an image taken by the camera of the missile with an illustrated target
  • 3 shows a flowchart for understanding a target using classifiers and for determining new classifiers
  • the flying platform 6 is, for example, an aircraft, under the wing of which the missile 2 hangs.
  • the missile 2 is an unmanned missile 2 with a rocket motor 8 and a seeker head 10, which contains a camera 12 with optics 14 and a detector 16.
  • the optics 14 are infrared optics and the detector 16 is an infrared detector as an imaging detector 16 in the form of a matrix detector.
  • a target recognition unit 18 with image processing software for processing the image signals or pixel signals of the detector 16 is connected in terms of signal technology to the detector 16.
  • the search head 10 also has a control unit 20 for controlling the flight of the missile 2 and a data memory 22 for recording digital ones Data from and for the target recognition unit 18 and the control unit 20.
  • the missile 2 also has an active part 24 with, for example, an explosive charge and steering wing with control surfaces 26 with which the steered flight of the flying head 2 can be controlled.
  • the control is carried out by the control unit 20 on the basis of data from the target recognition unit 18.
  • FIG. 2 shows an image 28, which was recorded by the camera 12 of the missile 2, while the latter is firmly connected to the flying platform 6. It can be seen that the platform 6 flies over a sea 30, clouds 32 and land 34 are visible in the image 28. Also shown in Figure 28 is a target 36 to be flown to by missile 2. FIG. 2 indicates that the target 36 is barely recognizable at the time the image 28 was taken, since it is either very small or very far from the missile 2 or the platform 6.
  • the image 28 contains the image of an aircraft 38 and further image regions 40 which, due to the objects depicted in them, are very similar to the image of the target 36 in terms of image processing and image analysis based thereon. For example, a sailboat is depicted in the sea 30 and a ship further back, both of these objects standing out clearly and objectively from the surrounding image background.
  • Rocks on an offshore island or a point in the clouds 32 also form such an object-conspicuous image region 40.
  • the aircraft 38 which is clearly easier to recognize in the moment of image acquisition than the target 36, but in principle is also very easily confused with a target 36 in terms of image processing.
  • heat radiator objects which can easily be confused with the infrared signature of the target 36, also easily form false targets. If, for example, sunlight is reflected from the sea 30, image regions 40 with a target-like image signature can occur.
  • a window pane reflecting the sunlight on the coast of the island, the aircraft 38 and also illuminated cloud regions can also form image regions 40 which an image processing unit could confuse with a target 36.
  • FIG 3 shows a flow diagram of a method for detecting a target, in which the picture elements in the upper row of the figure are assigned to processes in the flying platform and picture elements in the rows below are assigned to processes taking place in the missile 2.
  • the platform 6 or an operator operating the platform 6 receives a mission order 42 which, for example, describes what type of target 36 is to be grasped, followed and flown to by the missile 2.
  • a mission order 42 which, for example, describes what type of target 36 is to be grasped, followed and flown to by the missile 2.
  • Data from the mission order 42 determine essential characteristics of a flight 44 which is carried out by the platform 6.
  • the missile 2, which is attached to the platform 6, is taken along and in this respect performs the same flight 44.
  • camera 12 of missile 2 captures a series of images 28, which depict target 36. These images 28 are transmitted to the platform 6 and are presented to the operator in turn on a display of the platform 6, for example in the form of a film that views the images 28.
  • the representation of the images 28 on the display is a real-time representation, so that the operator can see the imaged front surroundings of the flying platform 6 through the seeker head 10 or the camera 12 of the missile 2. For example, the operator cannot yet recognize the target 36, even if it is already shown in the images 28.
  • the target recognition unit 18 could possibly recognize the target 36, but since there are so many other conspicuous image regions 38, 40 in the images 28, it can do so here easily misinterpret a supposed goal.
  • the target recognition unit 18 could make suggestions, for example by marking all conspicuous image regions 36, 40.
  • the operator can look at the images 46 and recognize the target 36 independently or - if present - select a marked image region 36, 40, whereby the target 36 is recognized as such, which is indicated in FIG. 3 as step 48 by a stylized crosshair.
  • the display on which the operator selects the target area or a recognition unit which autonomously recognizes and marks the target 36 can be referred to as a selector, the illustration of which has been omitted in FIG. 1 for the sake of clarity.
  • the operator marks the target in method step 50, for example by marking the target 36 with a finger on a touch screen or by using a mouse or another aid.
  • the marking 50 of the target 36 takes place in that a target area 52 is selected by the operator.
  • This target area 52 is part of the image 28, for example of such an image 28, which is currently displayed to the operator on the display.
  • the target 36 is shown in the target area 52 of the image 28, as shown in FIG. 2 and FIG. 3.
  • the target area 52 After the target area 52 has been marked 50, the target area 52 or the data characterizing it is transferred to the missile 2. This is shown in FIG. 3, in that the target area 52 now lies in one of the lower-lying rows of image objects that reproduce the processes in the missile 2.
  • the target 36 is depicted in the image area 52, but is not yet known to the missile 2 or its target recognition unit 18, as is indicated by the dotted representation in FIG. 3.
  • the target 36 in the target area 52 is recognized 54 by the target recognition unit 18 of the missile 2.
  • classifiers 56 stored in the data memory 22 are selected in step 58 and then used.
  • the classifiers 56 each describe image characteristics. Some or all of these image characteristics are found in the target area 52 in such a way that a recognition quality of the target 36 exceeds a recognition threshold, so that the target 36 in the target area 52 is regarded as recognized or as perceived.
  • FIG. 3 in that the target 36 is shown as a solid line in the target recognition 54, that is to say the target 36 is recognized as such.
  • Data of the target recognition 54 can now be transferred to the flying platform 6, so that the target 36 is shown marked in the image 28 in an image display 60 can. In FIG 3, this marking is indicated by the dotted circle around the image of the target 26. The operator can now see that the target 36 marked by him has been grasped by the missile 2 and can now be optically tracked by the missile 2 or its search head 10.
  • a target recognition 62 is now carried out directly using the classifiers 56 from the data memory 22, the images 28 being made available to the target recognition unit 18, which results from the position of the target 36 in one of the previously recorded images 28 independently assess the target area 52 and can recognize the target 36 directly and independently using the classifiers 56.
  • Images 28 are transferred to flying platform 6, so that target 64 of target 36 is thereby tracked over time, that is to say via the sequence of images 28. This is indicated in FIG. 3 by way of example, in that the target 36 wanders through the images 28 when the target 64 is being tracked and the image 60 shows the target tracking 64 at a different location than in the previous image display 60 .
  • the target recognition unit 18 knows the image features of the target 36 in the target area 52 or in the image 28 through the target recognition 54 of the target recognition unit 18.
  • the target 36 was recognized with a recognition quality that depends on the classifiers 56 and the mapping of the target 36.
  • a recognition quality can be increased if more suitable classifiers 56 are available.
  • a process of machine learning or machine learning is used in the target recognition unit 18.
  • the method of the support vector machine is used for step 68 of determining the new classifiers 66. Since the target 36 to be recognized by the new classifiers 66 is already known, this process is a so-called supervised learning or guided learning.
  • a plurality of images of the target 36 can also be used for the classifier determination 68 in order to increase the number of objects which are separated from one another by the support vector machine.
  • the new classifiers 66 are now composed or ascertained in such a way that the known target mapping with them is carried out with the higher recognition quality than can be recognized by the classifiers 56.
  • the new classifiers 66 are stored in the data memory 22.
  • the new classifiers 66 can already be used in the step of target recognition 62 of the following images 28.
  • the same target 36 which is represented by the image series, can thus first be determined as such with the predetermined classifiers 56 and in later images 28 with the newly determined classifiers 66.
  • the classifiers 56 from the data memory 22 are predetermined classifiers 56 which are available as a priori data, for example from previous missions or as basic data of the target recognition unit 18.
  • the classifiers 66 determined later can be dynamically optimized classifiers 66 which are characterized by the Target perception are improved dynamically and in particular are continuously improved or even optimized in the further course of target tracking 64.
  • the new classifiers 66 can be transferred from the data memory 22 of the missile 2 into a data memory 70 of the flying platform 6, as shown by the arrow in FIG. 3. If the missile 2 is launched later, for example, from the platform 6, the data determined by the target recognition unit 18, in particular the new classifiers 66, are retained and stored in the flying platform 6, so that they are later stored in a data memory 22 of another missile 2 can be transferred.
  • data from the mission order 42 are used to select the predefined classifiers 56 from a large number of predefined classifiers by selection or weighting. This is shown in FIG. 3 by the weighting step 72.
  • weighting no further distinction is made between weighting and selection, since sorting out unused classifiers can be understood as zero weighting.
  • the description of an exemplary embodiment is essentially limited to the differences from the previous exemplary embodiment, to which reference is made with regard to features and functions that remain the same. In order not to have to repeatedly carry out what has already been described, all features of a previous exemplary embodiment are generally adopted in the following exemplary embodiment without being described again, unless features are described as differences from the previous exemplary embodiments.
  • classifiers 56 can be weighted, which in the following can also be understood to mean a selection that is assigned to this type of goal.
  • Other target data such as airspeed and agility of target 36, can also be used to weight classifiers 56. Based on the weighting carried out, the classifiers 56 are selected weighted from the data memory 22 and used for target recognition 54.
  • a further weighting 72 can result from image data of the target area 52.
  • special classifiers 56 can be selected which are specially adapted to such a scenery .
  • the target area 52 is evaluated for image characteristics in step 76 and these are used for weighting 72 of the predetermined classifiers 56 stored in data memory 22.
  • the classifiers 56 are applied in accordance with the weighting 72 carried out. This weighting can be carried out alternatively and / or in addition to the weighting from the mission data.
  • the target recognition unit 18 can clearly recognize the target 36 in an image 28 than is possible for a human operator. In image 28, in which the operator recognizes target 36, this can already be seen quite well. Good classifiers 66 for an early target acquisition 54 can therefore possibly be determined from images 28 which lie before the image 28 in which the human operator manually recognized the target 36 48.
  • such preceding images 28 - or only their target areas 52, whose position is known from the position of the manually selected target area 52 - are examined.
  • these images 28 there is again a target detection 78, either with the predefined classifiers 56 or with the already improved classifiers 66.
  • the former is shown as an example in FIG.
  • new classifiers 66 are now determined in step 80 and stored in the data memory 22. This can be done, for example, for a predetermined number of images 28 backwards from the manually marked image 28 or until the achievable recognition quality of the new classifiers 66 drops below a threshold, so that the target 28 can no longer be recognized sufficiently well even with improved classifiers 66.
  • this assignment profile 42 can be assigned to the classifiers 66 determined in this assignment.
  • the new classifiers 66 stored in the carrier platform 6 can be clearly assigned to one or more application profiles and, in the case of a similar application, can be preselected accordingly by weighting 72. It is considered equivalent whether the usage profiles are weighted or the classifiers 56, 66 are weighted. In the same way, the classifiers 56, 66 can also be assigned to sceneries or scenery profiles that were determined from scene characteristics of the target area 52 and can be used for weighting 72.
  • FIG. 4 shows a simple example of a weighting 72.
  • a first group 82 comprises predefined classifiers 56, which were determined, for example, in an offline process on the ground using image data. Such statically determined classifiers 56 can form a priori data for target recognition 54.
  • further groups 84-90 can also be used, which differ, for example, in the mission profiles and or target classes. In the following it is assumed, for example, that groups 84 - 90 describe four different target classes.
  • the target 36 to be flown to is then specified later in the mission order 42, so that one of the groups 84-90 or its classifiers 66 can be selected or several groups 82-90 are linked to one another by a more differentiated weighting.
  • the individual groups 82-90 can be weighted in accordance with the mission order 42, in which the new target 36 is defined, as indicated by weighting factors G in FIG. These weighting factors G result from the ratio of the data from the mission order 42 to the target types corresponding to the groups 84-90 or the a priori group 82.
  • the classifiers 56 stored in the groups 82-90 can be weighted by the weights G1 , 66 can now be used for target recognition 54, 78. Reference symbol list

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

Die Erfindung geht aus von einem Verfahren zum Auffassen eines Ziels (36), bei dem ein das Ziel (36) abbildendes Bild (28) vorgegeben wird und eine Zielerkennungseinheit (18) aus Bildmerkmalen des Bilds (28) und vorgegebenen Klassifikatoren (56) das abgebildete Ziel (36) als solches erkennt. Um eine zuverlässige Zielauffassung zu erreichen, wird vorgeschlagen, dass die Zielerkennungseinheit (18) anhand der Kenntnis des Ziels (36) neue Klassifikatoren (66) aus dem Bild (28) ermittelt, mit denen das Ziel (36) mit einer höheren Erkennungsgüte als mit den zur Erkennung verwendeten Klassifikatoren (56) als solches erkennbar ist.

Description

Diehl Defence GmbH & Co. KG, Alte Nußdorfer Str. 13, 88662 Überlingen
Verfahren zum Auffassen eines Ziels
Die Erfindung betrifft ein Verfahren zum Auffassen eines Ziels, bei dem ein das Ziel abbildendes Bild vorgegeben wird und eine Zielerkennungseinheit aus Bildmerkmalen des Bilds und vorgegebenen Klassifikatoren das abgebildete Ziel als solches erkennt.
Zum Anfliegen von Boden- oder Luftzielen werden Flugkörper mit einem Suchkopf verwendet, der das Ziel als solches erkennt und verfolgen kann. Der Flugkörper kann das Ziel selbstständig verfolgen und zu diesem hinfliegen. Der Flugkörper umfasst hier- für eine Kamera, die das Ziel im visuellen und/oder infraroten Spektralbereich auf- nimmt. Mittels bildverarbeitender Methoden wird das Ziel aus einem oder mehreren aufgenommenen Bildern erkannt und die Lage des Ziels im Bild und gegebenenfalls eine Ausrichtung einer verschwenkbaren Optik der Kamera wird hinzugezogen, um die Lage des Ziels relativ zur Flugrichtung beziehungsweise zur Längsachse des Flugkör- pers zu ermitteln.
Je nach das Ziel umgebender Szenerie kann es schwierig sein, das Ziel als solches zu erkennen und somit von anderen Objekten der Szenerie zuverlässig zu unterscheiden. Hierzu untersucht eine Bildverarbeitungssoftware ein das Ziel abbildendes Bild auf Bildmerkmale anhand sogenannter Klassifikatoren, die typische Bildmerkmale eines oder mehrerer Ziele beschreiben. Die Zuverlässigkeit der Auffassung des Ziels ist inso- fern auch abhängig von der Güte der zur Zielauffassung verwendeten Klassifikatoren.
Es ist eine Aufgabe der vorliegenden Erfindung, ein zuverlässiges Verfahren zum Auf- fassen eines Ziels anzugeben.
Diese Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, bei dem erfindungsgemäß die Zielerkennungseinheit anhand der Kenntnis des Ziels neue Klas- sifikatoren aus dem Bild ermittelt, mit denen das Ziel mit einer höheren Erkennungsgü- te als mit den zur Erkennung verwendeten Klassifikatoren als solches erkennbar ist.
Die Erfindung geht von der Überlegung aus, dass das Ermitteln von Klassifikatoren, mit denen Flugkörperziele zuverlässig als solche erkannt werden können, mit einem hohen Aufwand verbunden ist. Klassifikatoren können ermittelt werden, indem aus einer Viel- zahl von Bildern, die jeweils ein Ziel abbilden, Bildmerkmale des Ziels extrahiert wer- den und aus diesen Klassifikatoren gebildet werden, die jeweils ihr Bildmerkmal erken- nen. Mit diesen so gefundenen Klassifikatoren können die gleichen und/oder andere Bilder, die jeweils ein Ziel zeigen, untersucht werden mit der Aufgabe, dass die Bild verarbeitungssoftware anhand der Klassifikatoren das Ziel in den Bildern alleine wieder findet. Anhand einer Erkennungsgüte, die Ergebnis des Erkennungsprozesses ist, kann überprüft werden, wie zuverlässig das Erkennen des Ziels im jeweiligen Bild ist.
Zum Bilden oder Verbessern von Klassifikatoren zur Zielerkennung werden Bilder be- nötigt, in denen jeweils zumindest ein zu erkennendes Ziel abgebildet ist. Bei militäri- schen Zielen werden solche Bilder häufig bei Trainingseinsätzen aufgenommen, bei denen das Ziel und/oder ein Ziel verfolgender Flugkörper einen Einsatz fliegt. Da sol- che Bilder nicht selten sensible Daten enthalten, werden sie häufig unter Verschluss gehalten und sind somit nicht zu einer Verbesserung der Klassifikatoren zugänglich.
Diese Schwierigkeit kann durch die Erfindung gelöst werden. Die Zielerkennungsein- heit kann einem Zielbilder aufnehmenden Nutzer zur Verfügung gestellt werden, bei- spielsweise einem Übungen fliegendem Militär. Aus Bildern, die ein Ziel darstellen, können noch beim Nutzer mit der Zielerkennungseinheit neue Klassifikatoren ermitteln werden, ohne dass die Zielbilder an sich herausgegeben werden müssen. Die Klassifi katoren, die üblicherweise frei von sensiblen Daten sind, können nun dem Hersteller der Zielerkennungseinheit zur Verfügung gestellt werden, sodass die Zielerkennungs- einheit unter Verwendung der neuen Klassifikatoren weiter verbessert werden kann.
Mit verhältnismäßig geringem Aufwand kann so die Zuverlässigkeit der Zielauffassung erheblich gesteigert werden.
Um Zielbilder, also Bilder, die jeweils ein oder mehrere Ziele abbilden, in einem eng begrenzten Bereich zu belassen und nicht weit zu verteilen, ist es sinnvoll, wenn die Zielerkennungseinheit in einem Flugkörper oder einer Plattform eingebunden ist, bei- spielsweise einem Flugzeug. Die Plattform trägt zweckmäßigerweise einen Flugkörper. Der Flugkörper kann ein unbemannter Flugkörper sein, insbesondere ein Flugkörper mit einem Raketenmotor. Bereits während eines Einsatzes der Plattform beziehungs- weise des Flugkörpers können die neuen Klassifikatoren von der Zielerkennungsein- heit ermittelt werden. Die neuen Klassifikatoren können sogar ermittelt werden, wäh- rend ein fliegendes Ziel verfolgt wird oder die Plattform beziehungsweise der Flugkör- per selber fliegt. Die Bilder müssen nicht mehr an einen bodengebundenen Standort verschickt werden.
Das Auffassen eines Ziels kann das Erkennen des Ziels als solches anhand von Bild- merkmalen in einem oder mehreren Bildern beinhalten. Das Erkennen eines Ziels kann eine Klassifikation beinhalten, dass ein Bildteil als Zielabbildung klassifiziert.
Die Zielerkennungseinheit umfasst zweckmäßigerweise Bildverarbeitungssoftware zur Analyse von einem oder mehreren Bildern anhand von Bildmerkmalen. Die Klassifika- toren beschreiben zweckmäßigerweise jeweils ein oder mehrere Bildmerkmale. Me- thoden zur Bildung von Klassifikatoren, auch Deskriptoren genannt, sind beispielswei- se das SIFT-Verfahren (Scale Invariant Feature Transform), das SURF-Verfahren (Speded Up Robust Features), und/oder das ORB-Verfahren (Oriented Fast and Ro- tated Brief) oder Weiterentwicklungen eines dieser Verfahren. Ein weitere bekanntes Verfahren für eine Merkmalsfindung und einen automatischen Merkmalsvergleich sind beispielsweise Laplacian of Gaussian (LoG) sowie Normalized Cross-Correlation Fun- tion (NCCF). Es können aber auch andere Verfahren verwendet werden, die zur Erstel- lung von Deskriptoren beziehungsweise Klassifikatoren geeignet erscheinen.
Der Zielerkennungseinheit wird ein das Ziel abbildendes Bild vorgegeben. Zweckmäßi- gerweise wird der Zielerkennungseinheit ein Teilbereich des Bilds, der das Ziel abbil det, im Folgenden auch Zielbereich genannt, vorgegeben. Durch die Kenntnis, dass im Bild beziehungsweise Zielbereich ein Ziel abgebildet ist, kann die Zielerkennungsein- heit mittels überwachtem Lernen die neuen Klassifikatoren aus dem Bild beziehungs- weise Zielbereich ermitteln. Das Ziel ist also bereits erkannt, bevor die neuen Klassifi katoren ermittelt werden.
Durch die Kenntnis des Ziels als solchem sind die Bildmerkmale des Ziels im Bild be- kannt. Aus diesen Bildmerkmalen können die neuen Klassifikatoren ermittelt werden, zweckmäßigerweise unter Verwendung der vorgegeben, also bekannten Klassifikato- ren. Es können neue Klassifikatoren ermittelt werden oder die bekannten Klassifikato- ren werden verändert, was im Folgenden der Ermittlung neuer Klassifikatoren gleich- gesetzt wird. Mit den neuen Klassifikatoren kann nun ein gleichartiges Ziel mit einer höheren Erkennungsgüte als solches erkannt werden, als mit den zur Erkennung ver- wendeten vorgegebenen Klassifikatoren. Denn die neuen Klassifikatoren wurden unter Verwendung der Bildmerkmale des abgebildeten Ziels ermittelt, sind also auf solche Bildmerkmale speziell zugeschnitten. Tauchen solche oder ähnliche Merkmale in ei- nem anderen Bild auf, so werden sie durch die neuen Klassifikatoren zuverlässig er- kannt, sodass die Zielauffassung besonders zuverlässig ist.
Die neuen Klassifikatoren können mittels maschinellen Lernens bestimmt werden. Zu- sätzlich zur reinen Erkennung des Ziels als solchem ist zweckmäßigerweise auch eine feinere Klassifikation des Ziels anhand der Klassifikatoren möglich, sodass das Ziel einer von mehreren Zielkategorien zugeteilt werden kann. Hierdurch kann eine Art des erkannten Ziels bestimmt werden, was beispielsweise für eine Freund-Feind- Erkennung oder einer Auswahl einer von mehreren Anflugs- oder Bekämpfungsmög- lichkeiten von Vorteil ist. Entsprechend sind zweckmäßigerweise auch die Klassifikato- ren in die Zielkategorien eingeteilt.
Zur Erkennung des Ziels besteht die Möglichkeit, dass die Zielerkennungseinheit das Bild als Ganzes untersucht und anhand der vorgegebenen Klassifikatoren das abgebil- dete Ziel als solches erkennt. Eine bessere Zuverlässigkeit bei der Zielauffassung kann jedoch erreicht werden, wenn aus dem Zielbild ein Teilbereich ausgewählt wird, in dem das Ziel abgebildet ist, also ein Zielbereich. Die Suche der Zielerkennungseinheit nach dem Ziel anhand der vorgegebenen Klassifikatoren kann auf den Zielbereich be- schrän kt werden, wodurch die Gefahr von Fehlfindungen verringert wird. Der Zielbe- reich kann von einem Bediener ausgewählt werden, beispielsweise einem Piloten einer fliegenden Plattform. Der Bediener kann das Ziel aus einem Bild erkennen und den Zielbereich im Bild markieren. Die Zielerkennungseinheit kann das Ziel im Zielbereich als solches erkennen und beispielsweise in einer Abfolge von hintereinander aufge- nommenen Bildern verfolgen.
In einer vorteilhaften Ausführungsform der Erfindung wird das Bild durch eine Kamera aufgenommen und einem Bediener angezeigt. Der Bediener kann nun das Ziel als sol- ches erkennen. Weiter kann der Bediener Eingaben in ein Eingabesystem machen und hierdurch den Flugkörper, beziehungsweise dessen Zielerkennungseinheit, auf das Ziel einweisen. Dieses Einweisen kann geschehen, indem der Bediener einen Zielbe- reich, also einen Bildteilbereich, in dem das Ziel abgebildet ist, auswählt und diese Auswahl der Zielerkennungseinheit übergibt. Eine weitere Möglichkeit besteht darin, dass ein Pilot zum Ziel blickt - entweder in einer realen Szene oder auf einem Bild - und die Blickrichtungsdaten werden an die Zielerkennungseinheit übertragen, die mit diesen Daten auf das Ziel eingewiesen wird. Die Zielerkennungseinheit kann das Ziel nun mit den vorgegebenen Klassifikatoren ausschließlich im Zielbereich suchen.
Der Bediener ist bei seiner Zielerkennung vorteilhafterweise in einer fliegenden Platt- form. Die Kamera ist zweckmäßigerweise Teil eines Suchkopfs des Flugkörpers, der an der Plattform befestigt ist.
Der Zielbereich kann beispielsweise unter Verwendung einer Zielbereichsauswahl ei- nes Bedieners während eines Flugs des Flugkörpers markiert werden. Ein Besat- zungsmitglied eines Luftfahrzeugs, im Folgenden vereinfacht Pilot genannt, auch wenn dieser Bediener keine Steuertätigkeit ausüben muss, kann den Flugkörper auf das Ziel einweisen, indem er den Zielbereich beispielsweise manuell markiert. Das Bild wurde dem Bediener zweckmäßigerweise vom Flugkörper übermittelt.
Es besteht auch die Möglichkeit, dass ein Zielbereich in einem Fremdbild ausgewählt wird, das vom Boden oder einem anderen Luftfahrzeug aufgenommen wurde, z.B. durch einen Einweiser am Boden. Das Fremdbild wird mit zumindest einem von der Plattform - insbesondere mit dem Flugkörper - aufgenommenen Bild verglichen und Bildbereiche werden einander zugeordnet, sodass die Auswahl des Zielbereichs auf das Bild übertragen wird. Alternativ kann die Zielbereichsauswahl automatisiert durch Daten einer Voreinweisung erfolgen, z.B. aus Radarbilddaten oder IR/VIS-Bilddaten.
In einer weiteren vorteilhaften Ausführungsform der Erfindung ist die Zielerkennungs- einheit Teil einer fliegenden Plattform, insbesondere Teil eines an einer fliegenden Plattform befestigten Flugkörpers. Hierbei ist es besonders vorteilhaft, wenn der Flug- körper einen Suchkopf umfasst, der das Bild aufnimmt. Das Bild kann an einen Bedie- ner der fliegenden Plattform übermittelt werden, der das Ziel aus dem Bild erkennt und einen Teilbereich des Bilds als Zielbereich markiert. Der Zielbereich des Bilds kann nun der Zielerkennungseinheit übergeben werden, die das Ziel anhand der vorgegebenen Klassifikatoren als solches erkennt. Noch während des Flugs des Flugkörpers kann die Zielerkennungseinheit anhand des erkannten Ziels die neuen Klassifikatoren ermitteln.
Wie erwähnt, ist ein zweistufiger Erkennungsprozess vorteilhaft. Zunächst wird das Ziel in einem Bild erkannt, beispielsweise durch einen Bediener manuell, also per Auge, oder durch eine andere Erkennungseinheit automatisiert. Diese kann Teil der Plattform und beispielsweise eine sehr umfangreiche Software beinhalten, deren Ablauf hohe Rechenkapazitäten erfordert. Im zweiten Schritt wird das bereits erkannte Ziel durch die Zielerkennungseinheit erkannt. Hierfür wird das Ziel beziehungsweise ein Zielbe- reich des Zielbilds der Zielerkennungseinheit übergeben. Als dritter Schritt können nun die neuen Klassifikatoren ermittelt werden. Dies kann bereits während des Flugs erfol- gen oder später am Boden.
In einer weiteren vorteilhaften Ausführungsform der Erfindung werden mehrere Bilder des Ziels hintereinander aufgenommen, sodass die Bilder eine Bildreihe des Ziels sind. In dieser Bildreihe wird das Ziel beispielsweise von Bild zu Bild immer besser sichtbar. Je nach Szenerie ist es häufig so, dass eine Zielerkennungseinheit mit guten Klassifi katoren ein Ziel wesentlich schneller findet als ein Bediener, der das Bild anschaut.
Wird ein Ziel in einer Bildreihe beispielsweise immer besser sichtbar, so könnte eine eingewiesene Zielerkennungseinheit das Ziel in einem früher aufgenommenen Bild erkennen, als ein Bediener, der die Bildreihe anschaut, beispielsweise als ein Film. Erkennt der Bediener das Ziel und markiert einen Zielbereich, so wird das Ziel vermut- lich schon recht gut zu erkennen sein. Auch die Zieleinheit wird das Ziel anhand der vorgegeben Klassifikatoren mit einer hohen Erkennungsgüte erkennen. Besonders gut sind die Klassifikatoren jedoch dann, wenn sie das Ziel auch in vorhergehenden Bil- dern erkennen.
Es ist daher sinnvoll, wenn das Bild Teil einer Bildreihe ist, deren Bilder das Ziel abbil den, und die neuen Klassifikatoren aus zumindest einem anderen Bild der Bildreihe ermittelt werden. Hierbei ist es besonders vorteilhaft, wenn das Ziel im anderen Bild schlechter erkennbar ist, als in dem Bild, in dem es zuvor mit den vorgegebenen Klas- sifikatoren erkannt wurde. Die Klassifikatoren können nun so erstellt oder verändert werden, dass das Ziel auch bereits in einem sehr frühen Stadium zuverlässig erkannt wird. In der Regel wird also das andere Bild vor dem Bild aufgenommen sein, in dem das Ziel durch die vorgegebenen Klassifikatoren durch die Zielerkennungseinheit ge- funden wurde. Je nach Vorgang kann es natürlich auch sein, dass das andere Bild erst nach diesem Bild aufgenommen wurde, beispielsweise wenn das Ziel später schlechter zu erkennen ist oder sich die Zielszenerie geändert hat, zum Beispiels wenn Täusch- körper abgeworfen werden.
Nach einer Zielauffassung wird es in der Regel gewünscht sein, dass das Ziel verfolgt wird. In der Bildreihe, in der das Ziel abgebildet ist, wird die Zielerkennungseinheit da- her versuchen, das Ziel in den nachfolgenden Bildern erneut oder sogar stets wieder- zufinden. Dies kann mit den vorgegebenen Klassifikatoren geschehen. Je nach Ge- schwindigkeit der Erstellung der neuen Klassifikatoren kann es auch sinnvoll sein, dass das Ziel in nachfolgenden Bildern der Bildreihe mit den neuen Klassifikatoren aufge- fasst wird. Die Zielerkennung kann hierdurch zuverlässiger erfolgen, sodass das Ziel zuverlässiger nachverfolgt werden kann.
In gleicher weise kann es sinnvoll sein, dass die Klassifikatoren im Laufe der Zielauf- fassung durch die Bilder einer Bildreihe fortwährend neu ermittelt werden. Beispiels- weise werden die Klassifikatoren mittels maschinellen Lernens verändert. Es stehen somit immer wieder neue Klassifikatoren zur Klassifikation eines einzigen Ziels zur Verfügung, sodass die Zielverfolgung immer zuverlässiger erfolgen kann.
Die Ermittlung der neuen Klassifikatoren erfolgt vorteilhafterweise durch maschinelles Lernen. Das maschinelle Lernen ist zweckmäßigerweise ein geführtes maschinelles Lernen, da das zu erkennende Ziel von einer anderen Instanz, beispielsweise den Be- diener, vorgegeben sein und zweckmäßigerweise auch überprüft werden kann. Hier- durch kann eine Fehlerkennung, beispielsweise durch eine Fehlentwicklung des ma- schinellen Lernens, vermieden werden. Besonders vorteilhaft für diese Art des maschi- nellen Lernens ist das Verfahren der Support Vector Machine. Trainingsobjekte für die Erstellung der Support Vector Machine kann das Ziel in jedem Bild einer Bildreihe sein, zweckmäßigerweise mehrere Ziele in mehreren Bildreihen. Für die jeweils abgebilde- ten Ziele ist bekannt, welcher Klasse sie zugehören, also ob es ein Ziel ist oder kein Ziel. Jedes Objekt kann nun durch einen Vektor im Vektorraum der Support Vector Machine repräsentiert werden. Durch die Support Vector Machine kann nun eine Hype- rebene erstellt werden, die die Klassen voneinander trennt.
Je höher die Dimensionierung einer solchen Hyperebene ist, desto sauberer können die Objektklassen voneinander getrennt werden. Es ist daher bei Anwendung der Sup- port Vector Machine sinnvoll, einen Merkmalsraum mit einer hohen Dimensionierung zu verwenden. Speziell für diesen Fall ist es insofern vorteilhaft, wenn ein Merkmals- raum mit einer so hohen Dimensionierung verwendet wird, dass die Bildwerte der ge- samten Pixelmatrix des Zielbereichs aus n x m Pixeln verwendet werden. Die Dimensi- on kann hierbei insofern n x m sein. Auf ein Verfahren zum Zusammenfassen der Bild- werte oder einer anderen Verarbeitung der Bildwerte kann verzichtete werden, sodass auch ohne ein zuverlässiges Vorverfahren - das in der Regel vorher nicht bekannt ist - qualitativ hochwertige Klassifikatoren gebildet werden können. Es kann durchaus sein, dass die Klassifikatoren von Einsatz zu Einsatz stark vonei- nander abweichen, insbesondere wenn in den Einsätzen unterschiedliche Ziele aufge- fasst werden. Es ist daher vorteilhaft, wenn die neuen Klassifikatoren einem von meh- reren Einsatzprofilen zugeordnet werden. Dieses kann beispielsweise in einer Träger- plattform abgespeichert werden, die einen Flugkörper mit der Zielerkennungseinheit trägt, beispielsweise ein Flugzeug. Bei zukünftigen Einsätzen kann jedem Einsatz ein Einsatzprofil zugeordnet werden, sodass auf die entsprechend zu diesem Einsatzprofil abgespeicherten Klassifikatoren zurückgegriffen wird. Hierdurch kann einer Fehlklassi- fizierung beziehungsweise Fehlerkennung entgegengewirkt werden. Das Einsatzprofil beinhaltet vorteilhafterweise eine bildunabhängige Beschreibung des Ziels, beispiels- weise einen Zieltyp, und/oder eine Einsatzcharakterisierung.
Weiter ist es vorteilhaft, wenn die vorgegebenen Klassifikatoren zumindest teilweise mittels maschinellem Lernen während Flügen einer Trägerplattform bestimmt wurden, die zum Tragen einer Einheit mit der Zielerkennungseinheit bestimmt ist, beispielswei- se zum Tragen eines Flugkörpers. Insbesondere bei ähnlichen Einsatzprofilen kann das Ziel auf diese Weise zuverlässig erkannt werden.
Nach langen Trainings werden eine Vielzahl von Klassifikatoren vorliegen, die jeweils einem Einsatzprofil zugeordnet sind. Bei einer neuen Mission kann nun entschieden werden, welches Einsatzprofil gewählt wird, um die günstigsten Klassifikatoren zu ver- wenden. Eine besonders vorteilhafte Auswahl an Klassifikatoren kann erreicht werden, wenn die vorgegebenen Klassifikatoren unterschiedlichen Einsatzprofilen zugeordnet sind. Zweckmäßigerweise werden die Einsatzprofile gewichtet und die Auswahl und/oder Wichtung der Klassifikatoren erfolgt unter Verwendung der Wichtung der Ein- satzprofile. Erfolgt die Auswahl unter Verwendung der Wichtung der Einsatzprofile, so können von verschiedenen Einsatzprofilen Klassifikatoren ausgewählt und nun ge- meinsam als vorgegebene Klassifikatoren verwendet werden. Möglich ist auch eine vorgegebene Auswahl der Klassifikatoren, wobei diese dann einzeln gewichtet werden, sodass diese Klassifikatoren mehr oder weniger stark zur Erkennung des Ziels heran- gezogen werden. Hierdurch kann eine sehr differenzierte Zielerkennung erreicht wer- den.
Besonders vorteilhaft ist es, wenn die Wichtung unter Verwendung von Bilddaten des Zielbereichs vorgenommen wird. Legen die Bilddaten des Zielbereichs beispielsweise nahe, dass der Zielbereich einen Wolkenbereich abbildet, so kann ein Einsatzprofil „Wolken“ zur Anwendung kommen, ohne dass ein Bediener dies manuell vorgeben muss. Das gleiche gilt auch für das Szenario, wenn ein Ziel beispielsweise vor dem Hintergrund von Wasser, von Wald oder einem urbanen Hintergrund abgebildet wird. Der Hintergrund kann automatisch erkannt und einem Einsatzprofil zugeordnet werden, sodass automatisch und zügig das richtige Einsatzprofil gewählt wird. Selbstverständ- lich können auch mehrere Einsatzprofile gemeinsam mit jeweils einer Wichtung ver- wendet werden, sodass die vorgegebenen Klassifikatoren unterschiedlichen Einsatz- profilen zugeordnet sein können und/oder verschieden gewichtet sind.
Doch nicht nur der Zielbereich kann Informationen enthalten, die zu einer vorteilhaften Auswahl von Klassifikatoren beitragen kann, sondern auch beispielsweise eine Zie- leinweisung. Allgemein gesprochen ist es insofern vorteilhaft, wenn die Einsatzprofile gewichtet werden und die Wichtung unter Verwendung von bildunabhängigen Zielin formationen vorgenommen wird. Bildunabhängige Zielinformationen können eine Be- schreibung des Ziels sein, eine Zieleinweisung und/oder Missionsdaten, die Informati- onen über das Ziel enthalten.
Ist eine Wichtung von Einsatzprofilen zu komplex oder aus anderen Gründen nicht zu empfehlen, kann ein einziges Einsatzprofil ausgewählt werden, zweckmäßigerweise das, mit den besten Klassifikatoren, beispielsweise für die aktuelle Mission. Dies ist auch ohne Missionsinformation möglich, beispielsweise mithilfe eines Durchprobierens der Klassifikatoren Einsatzprofil nach Einsatzprofil und Auswählen der Klassifikatoren, mit der das Ziel am zuverlässigsten erkennbar ist.
In einer weiteren Auswahlmethode können die Einsatzprofile in einer Baumstruktur angeordnet sein. Die Verästelung der Baumstruktur kann aus Einsatzcharakteristiken und/oder Zielcharakteristiken gebildet sein. So kann die Baumstruktur entsprechend der aktuellen Einsatzcharakteristiken und/oder Zielcharakteristiken abgefahren werden zur Zusammenstellung der vorgegeben Klassifikatoren.
Die Erfindung ist außerdem gerichtet, auf eine Vorrichtung zur Auffassen eines Ziels. Die Vorrichtung enthält zweckmäßigerweise eine Kamera, einen Selektor zum Aus- wählen eines Zielbereichs in zumindest einem Bild der Kamera und einen Flugkörper mit einem Suchkopf zum Verfolgen eines ausgewählten Ziels. Der Flugkörper enthält vorteilhafterweise eine Zielerkennungseinheit, die dazu vorbereitet ist, aus Bildmerk- malen des Zielbereichs und vorgegebenen Klassifikatoren das abgebildete Ziel zu er- kennen und anhand der Kenntnis des Ziels neue Klassifikatoren zu ermitteln, mit de- nen das Ziel mit einer höheren Erkennungsgüte als mit den zur Erkennung verwende- ten Klassifikatoren als solches erkennbar ist. Der Selektor kann ein Bildschirm sein, auf dem ein Bediener den Zielbereich auswählt. Möglich ist auch eine Erkennungseinheit zur Automatisierten Erkennung des Ziels.
Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindung enthält zahlreiche Merkmale, die teilweise in einigen abhängigen Ansprüchen zu mehreren zusammengefasst wiedergegeben sind. Die Merkmale können jedoch zweckmäßiger- weise auch einzeln betrachtet und zu sinnvollen weiteren Kombinationen zusammen- gefasst werden, insbesondere bei Rückbezügen von Ansprüchen, sodass ein einzel- nes Merkmal eines abhängigen Anspruchs mit einem einzelnen, mehreren oder allen Merkmalen eines anderen abhängigen Anspruchs kombinierbar ist. Außerdem sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination sowohl mit dem erfindungsgemäßen Verfahren als auch mit der erfindungsgemäßen Vorrichtung gemäß den unabhängigen Ansprüchen kombinierbar. So sind Verfahrensmerkmale auch als Eigenschaften der entsprechenden Vorrichtungseinheit gegenständlich formu- liert zu sehen und funktionale Vorrichtungsmerkmale auch als entsprechende Verfah- rensmerkmale.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich in Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden. Die Ausführungsbeispie- le dienen der Erläuterung der Erfindung und beschränken die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Außerdem können dazu geeignete Merkmale eines jeden Ausführungsbei- spiels auch explizit isoliert betrachtet, aus einem Ausführungsbeispiel entfernt, in ein anderes Ausführungsbeispiel zu dessen Ergänzung eingebracht und/oder mit einem beliebigen der Ansprüche kombiniert werden.
Es zeigen:
FIG 1 einen Flugkörper mit einem Suchkopf, einer Kamera und einer Zielerken- nungseinheit,
FIG 2 ein von der Kamera des Flugkörpers aufgenommenes Bild mit einem dar- gestellten Ziel, FIG 3 ein Ablaufschema zum Auffassen eines Ziels mittels Klassifikatoren und zum Ermitteln neuer Klassifikatoren und
FIG 4 einen einfachen Entscheidungsbaum zum Gewichten von Klassifikatoren in
Abhängigkeit von einem Missionsauftrag.
FIG 1 zeigt einen Flugkörper 2, der über eine Befestigung 4 an einer fliegenden Platt form 6 hängt, die in FIG 1 nur schematisch angedeutet ist. Die fliegenden Plattform 6 ist beispielsweise ein Flugzeug, unter dessen Flügel der Flugkörper 2 hängt. Der Flug- körper 2 ist ein unbemannter Flugkörper 2 mit einem Raketenmotor 8 und einem Such- kopf 10, der eine Kamera 12 mit einer Optik 14 und einem Detektor 16 enthält. Die Optik 14 ist eine Infrarotoptik und der Detektor 16 ein Infrarotdetektor als bildgebender Detektor 16 in Form eines Matrixdetektors. Signaltechnisch mit dem Detektor 16 ver- bunden ist eine Zielerkennungseinheit 18 mit Bildverarbeitungssoftware zur Verarbei- tung der Bildsignale beziehungsweise Pixelsignale des Detektors 16. Weiter verfügt der Suchkopf 10 über eine Steuereinheit 20 zum Steuern des Flugs des Flugkörpers 2 und einen Datenspeicher 22 zur Aufnahme von digitalen Daten von und für die Zieler- kennungseinheit 18 und die Steuereinheit 20.
Der Flugkörper 2 verfügt außerdem über einen Wirkteil 24 mit beispielsweise einer Sprengladung und Lenkflügel mit Steuerflächen 26, mit denen der gelenkte Flug des Flugkopfs 2 gesteuert werden kann. Die Steuerung erfolgt durch die Steuereinheit 20 anhand von Daten der Zielerkennungseinheit 18.
FIG 2 zeigt ein Bild 28, das von der Kamera 12 des Flugkörpers 2 aufgenommen wur- de, während dieser fest mit der fliegenden Plattform 6 verbunden ist. Es ist zu sehen, dass die Plattform 6 über ein Meer 30 fliegt, Wolken 32 und Land 34 sind im Bild 28 sichtbar. Ebenfalls im Bild 28 dargestellt ist ein Ziel 36, das vom Flugkörper 2 angeflo- gen werden soll. In FIG 2 ist angedeutet, dass das Ziel 36 zum Aufnahmezeitpunkt des Bilds 28 kaum erkennbar ist, da es entweder sehr klein oder sehr weit vom Flugkörper 2 beziehungsweise der Plattform 6 entfernt ist. Außerdem enthält das Bild 28 die Ab- bildung eines Flugzeugs 38 sowie weitere Bildregionen 40, die aufgrund der in ihnen abgebildeten Gegenstände in Bezug auf eine Bildverarbeitung und eine darauf basie- rende Bildanalyse sehr ähnlich mit der Abbildung des Ziels 36 sind. Im Meer 30 ist bei- spielsweise ein Segelboot und weiter hinten ein Schiff abgebildet, wobei sich beide diese Objekte deutlich und objekthaft vom umgebenden Bildhintergrund abheben.
Auch Felsen einer vorgelagerten Insel oder ein Punkt in den Wolken 32 bilden solch eine objektauffällige Bildregion 40. Ebenso das Flugzeug 38, das im Bildaufnahme- moment zwar deutlich leichter erkennbar ist, als das Ziel 36, im Prinzip aber bildverar- beitungsmäßig auch sehr leicht mit einem Ziel 36 verwechselbar ist. Im infraroten Spektralbereich bilden Wärmestrahlerobjekte, die bildhaft leicht mit der Infrarotsignatur des Ziels 36 verwechselbar sind, ebenfalls leicht Scheinziele. Wird beispielsweise Sonnenlicht vom Meer 30 reflektiert, so werden Bildregionen 40 mit einer zielobjekthaf- ten Bildsignatur auftreten können. Auch eine das Sonnenlicht spiegelnde Fenster- scheibe an der Küste der Insel, das Flugzeug 38 und auch angeleuchtete Wolkenregi- onen können solche Bildregionen 40 bilden, die eine Bildverarbeitungseinheit mit ei- nem Ziel 36 verwechseln könnte.
Ein Verfahren zum Auffassen des Ziels 36 wird im Folgenden anhand des Ablaufs- schemas aus FIG 3 erläutert.
FIG 3 zeigt ein Ablaufschema eines Verfahrens zum Auffassen eines Ziels, bei dem die Bildelemente in der oberen Reihe der Figur Vorgängen in der fliegenden Plattform zu- geordnet sind und Bildelemente in darunterliegenden Reihen im Flugkörper 2 stattfin denden Vorgängen zugeordnet sind.
Vor oder während eines Flugs der Plattform 6 erhält die Plattform 6 beziehungsweise ein die Plattform 6 bedienender Bediener einen Missionsauftrag 42, in dem beispiels- weise beschrieben ist, welche Art von Ziel 36 aufgefasst, verfolgt und vom Flugkörper 2 angeflogen werden soll. Daten aus dem Missionsauftrag 42 legen wesentliche Cha- rakteristika eines Flugs 44 fest, der durch die Plattform 6 durch geführt wird. Hierbei wird der Flugkörper 2, der an der Plattform 6 befestigt ist, mitgenommen und vollzieht insofern den gleichen Flug 44.
Während des Flugs 44 nimmt die Kamera 12 des Flugkörpers 2 eine Reihe von Bildern 28 auf, die das Ziel 36 abbilden. Diese Bilder 28 werden der Plattform 6 übermittelt und der Reihe nach auf einer Anzeige der Plattform 6 dem Bediener dargestellt, beispiels- weise in Form eines Films, der die Bilder 28 ansieht. Die Darstellung der Bilder 28 auf der Anzeige ist eine Echtzeitdarstellung, sodass der Bediener durch den Suchkopf 10 beziehungsweise die Kamera 12 des Flugkörpers 2 die abgebildete vordere Umgebung der fliegenden Plattform 6 sehen kann. Das Ziel 36 kann der Bediener hierbei bei- spielsweise noch nicht erkennen, auch wenn es bereits in den Bildern 28 dargestellt ist. Eventuell könnte die Zielerkennungseinheit 18 das Ziel 36 erkennen, doch da in den Bildern 28 so viele andere auffällige Bildregionen 38, 40 zu finden sind, kann es hierbei leicht zu einer Fehlauffassung eines vermeintlichen Ziels kommen. Insofern könnte die Zielerkennungseinheit 18 Vorschläge unterbreiten, indem sie beispielsweise alle auffäl- ligen Bildregionen 36, 40 markiert. Der Bediener kann die Bilder anschauen 46 und das Ziel 36 selbständig erkennen oder - falls vorhanden - eine markierte Bildregion 36, 40 auswählen, wodurch das Ziel 36 jeweils als solches erkannt ist, was in FIG 3 als Schritt 48 durch ein stilisiertes Fadenkreuz angedeutet ist. Die Anzeige, auf der der Bediener den Zielbereich wählt, oder eine Erkennungseinheit, die das Ziel 36 autonom erkennt und markiert, kann als Selektor bezeichnet werden, auf dessen Darstellung in FIG 1 der Übersichtlichkeit halber verzichtet wurde.
Nach dem Erkennen 48 markiert der Bediener das Ziel im Verfahrensschritt 50, indem er beispielsweise das Ziel 36 mit dem Finger auf einem Touchscreen markiert oder mit einer Maus oder einem anderen Hilfsmittel die Markierung vornimmt. Die Markierung 50 des Ziels 36 geschieht, indem ein Zielbereich 52 vom Bediener ausgewählt wird. Dieser Zielbereich 52 ist ein Teil des Bilds 28, beispielsweise eines solchen Bilds 28, das aktuell auf der Anzeige dem Bediener angezeigt wird. Das Ziel 36 ist hierbei im Zielbereich 52 des Bilds 28 abgebildet, wie in FIG 2 und FIG 3 dargestellt ist.
Nachdem der Zielbereich 52 markiert wurde 50, wird der Zielbereich 52 beziehungs- weise diesen charakterisierende Daten an den Flugkörper 2 übergegeben. In FIG 3 ist dies dargestellt, indem der Zielbereich 52 nun in einer der tiefer liegenden Bildobjekt- reihen liegt, die Vorgänge im Flugkörper 2 wiedergeben. Das Ziel 36 ist im Bildbereich 52 zwar abgebildet, ist dem Flugkörper 2 beziehungsweise seiner Zielerkennungsein- heit 18 jedoch noch nicht bekannt, wie durch die gepunktete Darstellung in FIG 3 an- gedeutet ist.
In einer ersten Ausführungsform des Verfahrens erfolgt eine Erkennung 54 des Ziels 36 im Zielbereich 52 durch die Zielerkennungseinheit 18 des Flugkörpers 2. Hierfür werden in dem Datenspeicher 22 hinterlegte Klassifikatoren 56 in Schritt 58 ausge- wählt und dann verwendet. Die Klassifikatoren 56 jeweils beschreiben Bildcharakteris- tika. Manche oder aller dieser Bildcharakteristika werden im Zielbereich 52 in der Wei- se aufgefunden, dass eine Erkennungsgüte des Ziels 36 eine Erkennungsschwelle übersteigt, sodass das Ziel 36 im Zielbereich 52 als erkannt beziehungsweise als auf- gefasst gilt. In FIG 3 ist das angedeutet, indem das Ziel 36 in der Zielerkennung 54 durchgezogen dargestellt ist, das Ziel 36 also als solches erkannt ist. Daten der Zieler- kennung 54 können nun an die fliegenden Plattform 6 übergeben werden, sodass in einer Bildanzeige 60 den Bediener das Ziel 36 im Bild 28 markiert angezeigt werden kann. In FIG 3 ist diese Markierung durch den gepunkteten Kreis um die Abbildung des Ziels 26 angedeutet. Der Bediener kann nun erkennen, dass das von ihm markierte Ziel 36 vom Flugkörper 2 aufgefasst wurde und nun vom Flugkörper 2 beziehungswei- se dessen Suchkopf 10 optisch verfolgt werden kann.
Mit den nachfolgend von der Kamera 12 aufgenommenen Bildern 28 erfolgt eine Zie- lerkennung 62 nun direkt anhand der Klassifikatoren 56 aus dem Datenspeicher 22, wobei die Bilder 28 jeweils der Zielerkennungseinheit 18 zur Verfügung gestellt wer- den, die aus der Lage des Ziels 36 in einem der zuvor aufgenommenen Bilder 28 den Zielbereich 52 selbständig abschätzen und das Ziel 36 anhand der Klassifikatoren 56 unmittelbar und selbständig erkennen kann. Die Bilder 28 werden der fliegenden Platt- form 6 übergeben, sodass hierdurch eine Zielverfolgung 64 des Ziels 36 im Laufe der Zeit, also über die Abfolge der Bilder 28 erfolgt. Dies ist in FIG 3 beispielhaft angedeu- tet, indem das Ziel 36 bei der Zielverfolgung 64 durch die Bilder 28 wandert und inso- fern auf der Bildanzeige 60 der der Zielverfolgung 64 an einer anderen Stelle abgebil- det ist, als bei der vorhergehenden Bildanzeige 60.
Durch die Zielerkennung 54 der Zielerkennungseinheit 18 sind der Zielerkennungsein- heit 18 die Bildmerkmale des Ziels 36 im Zielbereich 52 beziehungsweise im Bild 28 bekannt. Hierbei wurde das Ziel 36 mit einer Erkennungsgüte erkannt, die von den Klassifikatoren 56 und der Abbildung des Ziels 36 abhängt. Je nach Abbildung des Ziels 36 kann eine Erkennungsgüte erhöht werden, wenn passendere Klassifikatoren 56 vorliegen.
Zum Ermitteln besserer Klassifikatoren 66, mit denen das Ziel 36 also mit einer höhe- ren Erkennungsgüte als mit den zur Erkennung verwendeten Klassifikatoren 56 als solches erkennbar ist, wird in der Zielerkennungseinheit 18 ein Prozess des maschinel- len Lernens beziehungsweise Machine Learning angewendet. Im Speziellen wird für den Schritt 68 der Ermittlung der neuen Klassifikatoren 66 das Verfahren der Support Vector Machine verwendet. Da hierbei das durch die neuen Klassifikatoren 66 zu er- kennende Ziel 36 bereits bekannt ist, ist dieser Prozess ein sogenanntes Supervised Learning oder geführtes Lernen. Zur Klassifikatorenermittlung 68 können auch eine Vielzahl von Abbildungen des Ziels 36 verwendet werden, um die Zahl der Objekte, die durch die Support Vector Machine voneinander getrennt werden, zu erhöhen. Durch dieses Machine Learning werden nun die neuen Klassifikatoren 66 so zusammenge- setzt beziehungsweise ermittelt, dass die bekannte Zielabbildung mit ihnen mit der höheren Erkennungsgüte als durch die Klassifikatoren 56 erkennbar ist. Die neuen Klassifikatoren 66 werden in den Datenspeicher 22 hinterlegt.
Je nach Geschwindigkeit der Ermittlung der neuen Klassifikatoren 66 können diese bereits beim Schritt der Zielerkennung 62 der nachfolgenden Bilder 28 verwendet wer- den. Das gleiche Ziel 36, das durch die Bildreihe dargestellt wird, kann somit zuerst mit den vorgegebenen Klassifikatoren 56 und in späteren Bildern 28 mit den neu ermittel- ten Klassifikatoren 66 als solches bestimmt werden.
Die Klassifikatoren 56 aus dem Datenspeicher 22 sind vorgegeben Klassifikatoren 56, die als a priori Daten vorliegen, beispielsweise aus früheren Missionen oder als Grund- lagendaten der Zielerkennungseinheit 18. Demgegenüber können die später ermittel- ten Klassifikatoren 66 dynamisch optimierte Klassifikatoren 66 sein, die durch die Zielauffassung dynamisch verbesserten werden und insbesondere im weiteren Verlauf der Zielverfolgung 64 fortwährend weiter verbessert oder sogar optimiert werden. Die neuen Klassifikatoren 66 können aus dem Datenspeicher 22 des Flugkörpers 2 in ei- nen Datenspeicher 70 der fliegenden Plattform 6 übertragen werden, wie durch den Pfeil in FIG 3 dargestellt ist. Wird der Flugkörper 2 beispielsweise später von der Platt form 6 gestartet, bleiben die von der Zielerkennungseinheit 18 ermittelten Daten insbe- sondere die neuen Klassifikatoren 66 erhalten und in der fliegenden Plattform 6 ge- speichert, sodass sie später in einem Datenspeicher 22 eines anderen Flugkörper 2 übertragen werden können.
In einer weiteren Ausführungsform des Verfahrens werden Daten aus dem Missions- auftrag 42 dafür verwendet, die vorgegebenen Klassifikatoren 56 durch eine Selektion oder Wichtung aus einer Vielzahl vorgegebenen Klassifikatoren auszuwählen. Dies ist in FIG 3 durch den Wichtungsschritt 72 dargestellt. Im Folgenden wird zwischen Wich- tung und Selektion nicht weiter unterscheiden, da ein Aussortieren von nicht verwende- ten Klassifikatoren als Null-Wichtung verstanden werden kann. In der nachfolgenden Beschreibung beschränkt sich die Beschreibung eines Ausführungsbeispiels im We- sentlichen auf die Unterschiede zum jeweils vorhergehenden Ausführungsbeispiel, auf das bezüglich gleich bleibender Merkmale und Funktionen verwiesen wird. Um nicht bereits Beschriebenes mehrfach ausführen zu müssen, sind generell alle Merkmale eines vorangegangenen Ausführungsbeispiels im jeweils folgenden Ausführungsbei- spiel übernommen, ohne dass sie erneut beschrieben sind, es sei denn, Merkmale sind als Unterschiede zu den vorangegangenen Ausführungsbeispielen beschrieben. Ist im Missionsauftrag 42 festgelegt, welche Art von Ziel 36 aufgefasst werden soll, so können solche Klassifikatoren 56 aufgewichtet werden, worunter im Folgenden auch ein Auswahlen verstanden werden kann, die diesen Zieltyp zugeordnet sind. Auch an- dere Zieldaten, wie Fluggeschwindigkeit und Agilität des Ziels 36, können zur Wichtung von Klassifikatoren 56 verwendet werden. Anhand der erfolgten Wichtung werden die Klassifikatoren 56 aus den Datenspeicher 22 gewichtet ausgewählt und zur Zielerken- nung 54 verwendet.
Eine weitere Wichtung 72 kann sich aus Bilddaten des Zielbereichs 52 ergeben. Je nach Charakteristikum des Zielbereichs 52, also ob er Wolken darstellt, Meer, Land, Wüste, helle Beleuchtung, dunkle Beleuchtung, Hitze, Kälte, Schneefeld oder andere Szenerien, können spezielle Klassifikatoren 56 zur Auswahl kommen, die speziell an eine solche Szenerie angepasst sind. Hierfür wird in Schritt 76 der Zielbereich 52 auf Bildcharakteristika ausgewertet und diese werden zur Wichtung 72 der in Datenspei- cher 22 hinterlegten vorgegebenen Klassifikatoren 56 verwendet. Im Zielerkennungs- prozess 54 werden die Klassifikatoren 56 entsprechend der vorgenommenen Wichtung 72 angewendet. Diese Wichtung kann alternativ und/oder zusätzlich zu der Wichtung aus den Missionsdaten vorgenommen werden.
Bei guten Klassifikatoren 56, 66 kann die Zielerkennungseinheit 18 das Ziel 36 deutlich eher in einem Bild 28 erkennen, als dies einem menschlichen Bediener möglich ist. In dem Bild 28, in dem der Bediener das Ziel 36 erkennt, ist dieses also schon bereits recht gut zu sehen. Gute Klassifikatoren 66 für eine frühzeitige Zielauffassung 54 kön- nen daher eventuell aus Bildern 28 ermittelt werden, die vor demjenigen Bild 28 liegen, in dem der menschliche Bediener das Ziel 36 manuell erkannt hat 48.
Daher werden in einer weiteren Ausführungsform der Erfindung solche vorhergehen- den Bilder 28 - oder nur deren Zielbereiche 52, deren Lage aus der Lage des manuell ausgewählten Zielbereichs 52 bekannt ist - untersucht. In diesen Bildern 28 erfolgt wieder eine Zielerkennung 78, entweder mit den vorgegebenen Klassifikatoren 56 oder mit den bereits verbesserten Klassifikatoren 66. Ersteres ist in FIG 3 beispielhaft dar- gestellt. Anhand dieser vorhergehenden Bilder 28 werden nun neue Klassifikatoren 66 im Schritt 80 ermittelt und im Datenspeicher 22 abgelegt. Dies kann beispielsweise für eine vorgegebene Anzahl von Bildern 28 rückwärts vom manuell markierten Bild 28 erfolgen oder so lange, bis die erreichbare Erkennungsgüte der neuen Klassifikatoren 66 unter eine Schwelle sinkt, das Ziel 28 also auch mit verbesserten Klassifikatoren 66 nicht mehr ausreichend gut erkennbar ist. Je nach Missionsauftrag 42 und einem darin vorgegebenen Einsatzprofil 42 kann die ses Einsatzprofil 42 den in diesem Einsatz ermittelten Klassifikatoren 66 zugeordnet werden. Die in der Trägerplattform 6 abgespeicherten neuen Klassifikatoren 66 können hierdurch eindeutig einem oder mehreren Einsatzprofilen zugeordnet werden und ent- sprechend bei einem ähnlichen Einsatz durch Wichtung 72 vorselektiert werden. Ob hierbei die Einsatzprofile gewichtet oder die Klassifikatoren 56, 66 gewichtet werden, wird als gleichwertig angesehen. In gleicher weise können die Klassifikatoren 56, 66 auch Szenerien beziehungsweise Szenerieprofilen zugeordnet werden, die aus Szene- riemerkmalen des Zielbereichs 52 ermittelt wurden und zur Wichtung 72 verwendet werden können.
FIG 4 zeigt ein einfaches Beispiel einer Wichtung 72. Zum Eingang des Verfahrens, der durch den oberen Pfeil in FIG 4 dargestellt ist, teilen sich die Möglichkeiten in eine Mehrzahl von Einsatzprofilen oder allgemeiner Gruppen 82 - 90 ein. Eine erste Gruppe 82 umfasst vorgegebene Klassifikatoren 56, die beispielsweise in einem Offline- Prozess am Boden anhand von Bilddaten ermittelt wurden. Solche statisch ermittelten Klassifikatoren 56 können a priori Daten zur Zielerkennung 54 bilden. Im Verlauf von einigen Missionen können auch weitere Gruppen 84 - 90 zur Anwendung kommen, die sich beispielsweise in den Einsatzprofilen und oder Zielklassen unterscheiden. Im Fol- genden wird beispielsweise davon ausgegangen, dass die Gruppen 84 - 90 vier ver- schiedene Zielklassen beschreiben. Das jeweils anzufliegende Ziel 36 ist später dann im Missionsauftrag 42 angegeben, sodass eine der Gruppen 84 - 90 beziehungsweise deren Klassifikatoren 66 ausgewählt werden können oder es werden mehrere Gruppen 82 - 90 durch eine differenziertere Wichtung miteinander verknüpft. Entsprechend dem Missionsauftrag 42, in dem das neue Ziel 36 definiert ist, können die einzelnen Grup- pen 82 - 90 gewichtet werden, wie durch Gewichtungsfaktoren G, in FIG 4 angegeben ist. Diese Gewichtungsfaktoren G, ergeben sich aus dem Verhältnis der Daten aus dem Missionsauftrag 42 zu den Zieltypen entsprechend der Gruppen 84 - 90 beziehungs- weise der a priori Gruppe 82. Durch die Gewichtungen G, gewichtet können die in den Gruppen 82 - 90 hinterlegten Klassifikatoren 56, 66 nun zur Zielerkennung 54, 78 her- angezogen werden. Bezugszeichenliste
2 Flugkörper
4 Befestigung
6 Plattform
8 Raketenmotor
10 Suchkopf
12 Kamera
14 Optik
16 Detektor
18 Zielerkennungseinheit
20 Steuereinheit
22 Datenspeicher
24 Wirkteil
26 Steuerfläche
28 Bild
30 Meer
32 Wolken
34 Land
36 Ziel
38 Flugzeug
40 Bildregion
42 Missionsauftrag
44 Flug
46 Bildreihe anschauen
48 Ziel erkennen
50 Zielbereich markieren
52 Zielbereich
54 Zielerkennung
56 Klassifikator
58 Klassifikatoren auswählen
60 Bildanzeige
62 Zielerkennung
64 Zielverfolgung
66 Klassifikator
68 Klassifikatoren ermitteln
70 Datenspeicher
72 Wichtung 76 Zielbereich auswerten 78 Zielerkennung
80 Klassifikatoren ermitteln
82 Gruppe
84 Gruppe
86 Gruppe
88 Gruppe

Claims

Patentansprüche
1. Verfahren zum Auffassen eines Ziels (36), bei dem ein das Ziel (36) abbildendes Bild (28) vorgegeben wird und eine Zielerkennungseinheit (18) aus Bildmerkmalen des Bilds (28) und vorgegebenen Klassifikatoren (56) das abgebildete Ziel (36) als solches erkennt,
dadurch gekennzeichnet,
dass die Zielerkennungseinheit (18) anhand der Kenntnis des Ziels (36) neue Klassifikatoren (66) aus dem Bild (28) ermittelt, mit denen das Ziel (36) mit einer höheren Erkennungsgüte als mit den zur Erkennung verwendeten Klassifikatoren (56) als solches erkennbar ist.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet,
dass das Bild (28) durch einen Suchkopf (10) eines Flugkörpers (2) aufgenommen und einem Bediener angezeigt wird, der Bediener das Ziel (36) erkennt und den Flugkörper (2) auf das Ziel (36) einweist.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet,
dass innerhalb des Bilds (28) ein Zielbereich (52) von einem Bediener ausgewählt wird, der Zielbereich (52) an die Zielerkennungseinheit (18) übergeben wird und diese das Ziel (36) ausschließlich im Zielbereich (52) sucht.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die Zielerkennungseinheit (18) Teil eines an einer fliegenden Plattform (6) be- festigten Flugkörpers (2) ist und ein Zielbereich (52) des Bilds (28) der Zielerken- nungseinheit (18) übergeben wird.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass das Bild (28) Teil einer Bildreihe ist, deren Bilder (28) das Ziel (36) abbilden, und die neuen Klassifikatoren (66) aus zumindest einem anderen Bild (28) der Bildreihe ermittelt werden.
6. Verfahren nach Anspruch 5,
dadurch gekennzeichnet,
dass das Ziel (36) im anderen Bild (28) schlechter erkennbar ist, als in dem Bild (28), in dem es zuvor erkannt wurde.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass das Ziel (36) in nachfolgenden Bildern (28) der Bildreihe mit den neuen Klas- sifikatoren (66) aufgefasst wird.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die neuen Klassifikatoren (66) durch maschinelles Lernen ermittelt werden und hierfür eine Support Vector Machine verwendet wird.
9. Verfahren nach Anspruch 8,
dadurch gekennzeichnet,
dass ein Merkmalsraum mit einer so hohen Dimensionierung verwendet wird, dass die Bildwerte der gesamten Pixelmatrix des Zielbereichs aus n x m Pixeln verwen- det werden.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die neuen Klassifikatoren (66) einem Einsatzprofil zugeordnet und in einer Trägerplattform (6) abgespeichert werden, die einen Flugkörper (2) mit der Zieler- kennungseinheit (18) trägt.
11. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die vorgegebenen Klassifikatoren (56) zumindest teilweise mittels maschinel- len Lernens während Flügen einer Trägerplattform (6) bestimmt wurden, die zum Tragen einer Einheit mit der Zielerkennungseinheit (18) bestimmt ist.
12. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die vorgegebenen Klassifikatoren (56) unterschiedlichen Einsatzprofilen zu- geordnet sind, die Einsatzprofile gewichtet (72) werden und die Auswahl und/oder Wichtung der Klassifikatoren (56) unter Verwendung der Wichtung der Einsatzpro- file erfolgt.
13. Verfahren nach Anspruch 12,
dadurch gekennzeichnet,
dass die Wichtung unter Verwendung von Bilddaten des Zielbereichs (52) vorge- nommen wird.
14. Verfahren nach Anspruch 12 oder 13,
dadurch gekennzeichnet,
dass die Einsatzprofile gewichtet werden und die Wichtung unter Verwendung von bildunabhängigen Zielinformationen vorgenommen wird.
15. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet,
dass die vorgegebenen Klassifikatoren (56) nur einem von mehreren Einsatzprofi- len zugeordnet sind und das Einsatzprofil mit den besten Klassifikatoren (56) hier zu ausgewählt wird.
16. Verfahren nach einem der Ansprüche 12 bis 15,
dadurch gekennzeichnet,
dass die Einsatzprofile in einer Baumstruktur angeordnet sind, deren Verästelung aus Einsatzcharakteristiken und/oder Zielcharakteristiken gebildet ist, und die Baumstruktur entsprechend der aktuellen Einsatzcharakteristiken und/oder Zielcharakteristiken abgefahren wird zur Zusammenstellung der vorgegebenen Klassifikatoren.
17. Vorrichtung zum Auffassen eines Ziels (36) mit einer Kamera (12), einem Selektor zum Auswählen eines Zielbereichs (52) in zumindest einem Bild (28) der Kamera (12) und einem Flugkörper (2) mit einem Suchkopf (10) zum Verfolgen eines aus- gewählten Ziels (36), und einer Zielerkennungseinheit (18), die dazu vorbereitet ist, aus Bildmerkmalen des Zielbereichs (52) und vorgegebenen Klassifikatoren (56) das abgebildete Ziel (36) zu erkennen und anhand der Kenntnis des Ziels (36) neue Klassifikatoren (66) zu ermitteln, mit denen das Ziel (36) mit einer höheren Erkennungsgüte als mit den zur Erkennung verwendeten Klassifikatoren (56) als solches erkennbar ist.
EP19801266.8A 2018-11-10 2019-11-06 Verfahren zum auffassen eines ziels Pending EP3877722A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018008864.3A DE102018008864A1 (de) 2018-11-10 2018-11-10 Verfahren zum Auffassen eines Ziels
PCT/EP2019/080336 WO2020094691A1 (de) 2018-11-10 2019-11-06 Verfahren zum auffassen eines ziels

Publications (1)

Publication Number Publication Date
EP3877722A1 true EP3877722A1 (de) 2021-09-15

Family

ID=68503103

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19801266.8A Pending EP3877722A1 (de) 2018-11-10 2019-11-06 Verfahren zum auffassen eines ziels

Country Status (3)

Country Link
EP (1) EP3877722A1 (de)
DE (1) DE102018008864A1 (de)
WO (1) WO2020094691A1 (de)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19716025B4 (de) * 1997-04-17 2009-12-03 Diehl Bgt Defence Gmbh & Co. Kg Plattform mit abschießbaren, zielverfolgenden Flugkörpern, insbesondere Kampfflugzeug
US8582871B2 (en) * 2009-10-06 2013-11-12 Wright State University Methods and logic for autonomous generation of ensemble classifiers, and systems incorporating ensemble classifiers
DE102015004936A1 (de) * 2015-04-17 2016-10-20 Diehl Bgt Defence Gmbh & Co. Kg Verfahren zum Ausrichten einer Wirkmitteleinheit auf ein Zielobjekt
IL239191A0 (en) * 2015-06-03 2015-11-30 Amir B Geva Image sorting system
WO2017088050A1 (en) * 2015-11-26 2017-06-01 Sportlogiq Inc. Systems and methods for object tracking and localization in videos with adaptive image representation

Also Published As

Publication number Publication date
DE102018008864A1 (de) 2020-05-14
WO2020094691A1 (de) 2020-05-14

Similar Documents

Publication Publication Date Title
WO1997026550A2 (de) Vorrichtung zum suchen, entdecken und verfolgen von flugzielen
Faheem et al. Uav emergency landing site selection system using machine vision
DE69730733T2 (de) Flugkörperlenkungssystem mit verriegelung nach abschuss und rekonstruktion von dreidimensionalen szenen
EP3081892A1 (de) Verfahren zum lenken eines flugkörpers
DE102010018144A1 (de) Verfahren zur automatischen Erzeugung eines dreidimensionalen Referenzmodells als Geländeinformation für eine bildgebende Einrichtung
DE102019129029A1 (de) System und verfahren zur objektdetektion
WO2020094691A1 (de) Verfahren zum auffassen eines ziels
DE4205056A1 (de) Verfahren und system zum abtasten einer szene zu dem zweck des klassifizierens einer mehrzahl von sich bewegenden objekten
EP3816570B1 (de) Bildverarbeitungsverfahren zum ermitteln von lenkbefehlen für steuerflügel eines lenkflugkörpers
EP3089076B1 (de) Verfahren zum ausrichten einer wirkmitteleinheit auf ein zielobjekt
DE102010005198B4 (de) Flugkörper und Verfahren zum Erfassen eines Ziels
EP1116962B1 (de) Verfahren zur autonomen Detektion von Hubschraubern
DE69310695T2 (de) Verfahren zur Steuerungshilfe eines tieffliegenden Flugkörpers
EP3284010B1 (de) Verfahren zum klassifizieren eines fahrzeugs
EP3637312B1 (de) Verfahren zum erkennen eines zielobjekts mittels einer kamera
DE102017223264A1 (de) Verfahren und Vorrichtung zum Ansteuern eines Aktors
DE102016104021A1 (de) Verfahren zum Verfolgen eines Zielfahrzeugs anhand einer eine Radgeometrie des Zielfahrzeugs charakterisierenden Referenzgeometrie, Kamerasystem und Kraftfahrzeug
EP2392890B1 (de) Verfahren zum Einweisen eines Flugkörpers auf ein Ziel
EP3200154B1 (de) Verfahren zum bestimmen einer position eines objekts
DE102021115140B4 (de) Verfahren zum Steuern einer Flugbewegung eines Fluggeräts zum Landen oder zum Abwerfen einer Ladung sowie Fluggerät
DE102020106703B4 (de) Objekterkennungseinheit mit Sensoreingaben in verschiedenen Spektralbereichen
DE102024201562A1 (de) Merkmalsextraktor und Verfahren zum Verwenden und zum Trainieren desselben sowie Fahrerassistenzsystem
DE4327186C2 (de) Einrichtung zur Endphasenlenkung rohrverschossener Munition
EP4432608A1 (de) Kombination von geographischer information zur ableitung einer bedrohungslage durch eine vorrichtung einer formation
DE202023100058U1 (de) Ein System zur Identifizierung verdächtiger Überreste von Objekten auf der Grundlage von Mask-RCNN

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210419

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240208