EP4374306A1 - Method and system for reconnaissance and/or operational support - Google Patents

Method and system for reconnaissance and/or operational support

Info

Publication number
EP4374306A1
EP4374306A1 EP22757256.7A EP22757256A EP4374306A1 EP 4374306 A1 EP4374306 A1 EP 4374306A1 EP 22757256 A EP22757256 A EP 22757256A EP 4374306 A1 EP4374306 A1 EP 4374306A1
Authority
EP
European Patent Office
Prior art keywords
situation
area
attributes
information
overview
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22757256.7A
Other languages
German (de)
French (fr)
Inventor
Michael GRINBERG
Norbert HEINZE
Igor TCHOUCHENKOV
Christoph NIESSNER
Roland KIRSCHENLOHR
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of EP4374306A1 publication Critical patent/EP4374306A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06315—Needs-based resource requirements planning or analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Definitions

  • the present invention relates to a method and a system for location reconnaissance and/or operational support. Such procedures are used in particular to support authorities with organizational and
  • the method according to the invention is characterized in that, for situation reconnaissance and/or operational support in a spatial area, e.g. to support authorities with organizational and security tasks, in particular when dealing with and/or averting a dangerous situation in the area, an overview of the situation in the area is first provided Territory is created, wherein the location contains at least one of a plurality of attributes of the location in the form of metadata and is managed in the form of a database.
  • the situation overview is created in particular by sensor carriers, e.g. aircraft, drones, vehicles, emergency services, etc., collecting and possibly already processing data on the situation in the area. This data is then fed into the database.
  • sensor carriers e.g. aircraft, drones, vehicles, emergency services, etc.
  • an operations control center and/or one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or supply institutions, in particular aid organizations such as military hospitals, Hospitals and/or doctors and agencies that deal with informing relatives and researching missing persons, such as district information offices (KAB), can retrieve and/or update and/or supplement the information managed in the database.
  • KAB district information offices
  • Rapid and early data acquisition and processing makes it possible to quickly create a reliable, detailed situation overview with a high degree of accuracy and high information content, and to use this situation overview by all forces involved. This shortens, for example, the time it takes to locate, sort out, triage and receive medical care for everyone in need of help.
  • Such a database also enables the assignment of data of a person currently being treated to data that has already been recorded and thus a complete tracking (tracking) of all reported persons (e.g. patients) across all participants, all rooms and the entire duration of the assignment or .beyond that, for example during a stay in a hospital/morgue.
  • a "trace" of a person that is as complete as possible can be generated over time during the deployment, which contains, for example, a license plate number, e.g. an ID or other characteristics of the person, your treatment status and the like.
  • a status of the person e.g. seen by paramedic X, treated on site by emergency doctor Y, driven to hospital A in ambulance Z and then transferred to hospital B. This is essentially based on the administration of patient data in a database as a situation overview.
  • the present invention advantageously uses a complete chain of processing a situation, e.g. a major damage event such as a MANV incident, from alerting the rescue services to situation assessment, screening of people in need and classification of the need for help through to the closing supply and possibly Admission or admission to a hospital provided.
  • a situation e.g. a major damage event such as a MANV incident
  • Some of the possible measures that are carried out within the process according to the invention are: a) Crossing and/or overflight of the area with one or more manned or unmanned land, water and/or air vehicles as sensor carriers, in particular with one or more manned or unmanned aviation systems, e.g.
  • a helicopter or a UAS as Data acquisition device
  • Creation of the situation overview containing at least one of a plurality of the attributes of the situation, and/or e) transmission of one, several or all of the attributes of the situation overview to the database and, if necessary. directly to an operations control center and/or to one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or to supply institutions, in particular aid organizations, military hospitals, hospitals and/or doctors .
  • Each of these steps develops the method according to the invention and serves the goal of ensuring optimal handling of the situation in the area.
  • these steps in combination with one another enable the precise and rapid creation and updating of the situation overview and the continuous tracking of individual persons or objects as Objects in the situation until they are finally taken care of or until they are identified in a search for missing persons. This also applies to the further development measures of the present invention described below.
  • the database/situation overview is designed in such a way that people can be searched for using attributes of the person, in particular using textual descriptions, for example of the person's clothing, and/or using one or more images of the person.
  • the situation overview or database can advantageously be modified by the situation information or individual attributes of the situation information being sent by an operations control center and/or to one or more mobile devices of emergency services that have been deployed to the area or are present in the area. and/or care institutions, in particular aid organizations, military hospitals and/or doctors, or also automatically based on this available information such as images, etc., are verified, supplemented or updated.
  • the situation overview has one, several or all of the following attributes: a) Detected objects and areas, in particular people, vehicles, embers, paths b) Affiliation to one or several classes, in particular the affiliation of persons or vehicles to specific BOS (e.g.
  • the situation overview can contain the need for help of persons identified in the image stream as attributes, with the need for help of a person advantageously being divided into a plurality of classes (need for help status).
  • the division into classes in particular makes it possible to compress the amount of information and in particular to provide the emergency services with a clear basis for decision-making.
  • the need for help of persons recognized in the individual images and/or in the image stream can be estimated on the basis of the person's pose, in particular lying, sitting or standing, the position of the limbs and/or the like, in particular by means of skeletonization methods.
  • the attributes of the situation overview can be used for those involved in defending against and/or managing the dangerous situation, in particular emergency services and/or command and control personnel who are deployed in are sent to the area or are present in the area or manage the operation remotely, and/or care institutions, in particular aid organizations, field hospitals, hospitals and/or doctors, are processed, in particular processed, supplemented or updated as needed.
  • care institutions in particular aid organizations, field hospitals, hospitals and/or doctors, are processed, in particular processed, supplemented or updated as needed.
  • HIS hospital information system
  • IVENA interdisciplinary proof of care
  • the method according to the invention enables objects that have been detected in the system to be recognized, based on information that has been made available, in particular images and/or one or more attributes from another source.
  • people can be recognized using a textual and/or semantic description, in particular an automatically extracted description, for example an automatically or manually assigned identifier (ID).
  • ID an automatically or manually assigned identifier
  • All steps of the method according to the invention also benefit from support from artificial intelligence (KI, AI), which helps to improve the automated evaluation of the data collected and/or assignment and/or classification.
  • KI, AI artificial intelligence
  • the situation overview is advantageously stored as a database in a central server or in a distributed manner. This enables the situation overview to be accessed, updated and queried by all the forces involved and/or the system, in particular the search for missing persons using attributes stored in the database of persons recorded in the area.
  • Airborne systems in particular, which can be brought quickly and easily to the area or into the area, in particular by approaching or overflighting the area with a manned and/or unmanned aircraft ( UAS, helicopter).
  • UAS can be used within or outside the range of vision of the UAS operator (BVLOS).
  • Systems that take off and land vertically, VTOL-AUS, in particular fixed-wing systems, are particularly suitable as BVLOS-UAS.
  • the processing, reduction and/or compression of the data collected by the sensor carrier already takes place in the sensor carrier itself, e.g. B. in the drone itself, so that it only sends the processed, reduced and/or compressed data to create and/or update the situation overview to the corresponding database, for example.
  • the invention also includes a system for performing the method previously described. In particular, it shows:
  • a system for situation reconnaissance and/or operational support in a spatial area e.g. to support authorities with organizational and security tasks (BOS), in particular when dealing with and/or averting a dangerous situation in the area, with one or more devices for creating a Situational overview of the area, wherein the situational overview contains at least one of a plurality of attributes of the situation in the form of metadata, a database that stores and manages the situational overview, and at least one device for retrieving and/or updating and/or supplementing the situational overview , in particular one or more data acquisition devices in the area, an operations control center and/or one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or supply institutions, in particular aid organizations such as military hospitals, Hospitals and/or doctors and bodies which s I deal with informing relatives and researching missing persons, such as district information offices (KAB).
  • KAB district information offices
  • UAS Unmanned Aerial System
  • the device for retrieving and/or updating and/or supplementing the situation overview being set up to search for people in the database using attributes of the person, in particular using textual ones Descriptions, for example of the person's clothing, and/or based on one or more images of the person.
  • Detected objects and areas especially people, vehicles, embers, paths b) Affiliation to one or more classes, in particular the affiliation of persons or vehicles to specific BOS (e.g. police, fire brigade, emergency medical rescue services, THW) c) Abstracted information on one or more objects, in particular the combination of several people staying together to form groups of people d) information about areas of the area that have already been explored, e) information about areas of the area that are difficult or impossible to explore and/or view from the air, in particular areas to be explored by emergency services on the ground, in particular before viewing Areas shaded from above, forest, interior of buildings, areas below a water surface, f) Geoposition of the individual objects and/or areas g) Need for help of recognized persons, possibly divided into classes, h) Representations of objects recognized in the image stream, in particular per sons in one or more of the following est illustrated forms:
  • - Visual representation as a single image, in particular also a high-resolution representation, which is created by processing multiple images using super-resolution methods and/or by selecting the best candidates
  • a system for situation reconnaissance and/or mission support with the situation overview recognizing the need for help as attributes in the image stream Contains people, the need for help of a person is divided into one of a number of classes.
  • a system for situation reconnaissance and/or mission support with the situation overview containing the need for help of people as attributes.
  • a system for situation reconnaissance and/or mission support as described above the device being set up to call up and/or update and/or supplement the situation overview, the attributes of the situation overview for those involved in defending against and/or managing the dangerous situation, in particular Task forces and/or command and control personnel who have been deployed to the area or are present in the area or direct the operation remotely, and/or care institutions, in particular aid organizations, field hospitals, hospitals and/or doctors, to prepare them, in particular as needed to be processed, supplemented or updated, in particular by displaying it on a digital situation map or by including it in the digital emergency doctor protocol, in particular for later transmission to a hospital information system (HIS), e.g. using an interdisciplinary proof of care (IVENA). ).
  • HIS hospital information system
  • IVENA interdisciplinary proof of care
  • a system for situation reconnaissance and/or mission support as described above enables objects that have been recorded in the system to be recognized based on information that has been made available, in particular images and/or one or more attributes from another source.
  • FIG. 1 shows an exemplary scenario of a method according to the invention, which is described below.
  • a MANV (e.g. due to a large explosion) on a large area/area 10 that is difficult to survey is considered, such as a port with many docks and a branched network of roads with many dead ends.
  • a similar scenario also offers a train accident, or a plane crash in an area that is difficult to access, or a flood situation.
  • a BVLOS drone 2 is sent from a danger prevention center, hospital or airfield to area 10, from which the emergency call message originated, as the deployment site.
  • target coordinates are defined on an overview map by the dispatcher to define the exploration area. The entire communication with the UAV and also the later transmission of the processed payload data takes place via mobile communications 3.
  • BOS drone units which are equipped with UAVs, e.g. multicopters, are also alerted and sent to the scene.
  • the deployment order is assigned to the BVLOS-UAV directly in the control center/operations control center 1 that first alerted.
  • This operation order consequently includes the area to be explored and the purpose of the exploration. That in the present example is the localization of those affected and other persons 5 (possibly as patients) in the area to be explored as well as the detection of operational resources and operational forces 4 with their spatial assignment.
  • the need for help is checked for the persons 5 recorded in this way and, if necessary, a classification into rough triage levels is carried out.
  • the purpose of the exploration is therefore multiple in the present example. In other scenarios, however, it can also only contain a dedicated purpose or other or further purposes.
  • an image data stream 6 is detected by means of imaging sensors and processed on-board (through intelligent processing) to generate a first situational image as a situational overview for the approaching rescue forces.
  • This information is also sent to a central server for storage as a situational overview 11/database.
  • This overview of the situation 11 contains in particular information about routes and their condition, people and their position, classification with regard to their need for assistance and other attributes that help with the assignment or identification of the person, e.g. textual descriptions of the clothing or photographs of the person Person.
  • the drones not only detect and automatically track people in need of help, but also carry out a screening, i.e. they classify them according to need for help categories (green, yellow, red) based on their poses (walking/standing, sitting or lying).
  • the individual task forces 4 call up the information from the BVLOS UAV in a clearly prepared form from the situation overview/database on a mobile device 7, such as a tablet, for example. They request more information through simple and clear reconnaissance missions. Depending on the order, these are then translated into flight routes by the BVLOS-UAV or other BOS-UAVs and flown off fully automatically, while data is recorded in parallel by the on-board software/intelligence implemented in the BVLOS-UAV or BOS-UAV and processed and compressed for the emergency services.
  • the sensor data from all sensor carriers generated during the execution of a reconnaissance mission is not exclusively processed and evaluated in a ground control station/operational command, but is already analyzed directly in the respective sensor carrier, for example the drone, and by AI-supported processes on a few, but Meaningful information, so-called "messages", reduced.
  • these can also be transmitted via connections with low bandwidth to the ground control station/operations control 11/database or another central location (portal for digital situation detection, management and display).
  • This Reports contain in particular geographic position, need for assistance class and a pictorial or automatically extracted semantic description of persons 5 located in the area 10, e.g. an automatically extracted description of the clothing (blue trousers, white T-shirt) and/or an image section from the person.
  • a short video clip e.g. a "gif file”
  • a somewhat higher-resolution image of the person can also be generated from several low-resolution image sections.
  • This compressed information from individual sensor carriers 2 is brought together in the command vehicle 11 as a ground control station and control center and can then be promptly used on standard end devices 7 (Smartphones/tablet PCs/pads/med. Data acquisition devices, etc.) can be accessed by emergency services 4 in the form of an additional display level on a digital situation map.
  • standard end devices 7 Smartphones/tablet PCs/pads/med. Data acquisition devices, etc.
  • the data from other sensor carriers in particular image information from the reconnaissance missions of other drones or recording devices of other participants, such as ground forces with e.g. tablets, are also brought together, compressed by AI-supported processes and reduced to a few but meaningful pieces of information.
  • This information is also entered into the situation overview or the database and can then be made available to the emergency services - especially the on-site operations management - on the usual end devices (smartphones / pad / medical data acquisition devices) in a timely manner during the ongoing operation.
  • the information is presented there, among other things, in a digital situation map, e.g. B. shown as a layer.
  • the high degree of automation of the BVLOS-UAV and the AI-based evaluation and processing of the data allows the emergency services to be given maximum support with relevant information with a minimum of additional work.
  • the AI-based aerial photograph of the victims is merged and compared with the manual registration of the emergency services.
  • a database connects the classic TEL work (technical operations management) with the optical, AI-supported situation information. This will not just one completeness assessment, but there is also an allocation of victims directly in the process chain of handling the situation. In particular, the question can be answered: "Where is person X?".
  • the database can also be used for re-identification.
  • Image metadata is collected to enable display and tracking of objects in a location map. These include the recording parameters of the individual images, including the BD position and 3D alignment of the camera, zoom setting, etc., with the help of which the 3D geocoordinates of photographed objects can be determined from the image coordinates and any existing elevation models of the area.
  • Responding rescue workers 4 have mobile devices 7 with a digital map, where the positions of the persons reported by the drones are entered.
  • the operations manager divides them into the operational sections and assigns corresponding orders based on this.
  • the emergency services are able to quickly find and identify the persons reported by the drone. If a person in need of help is found, the emergency services can take a photo of the person. Correct recognition of the person being searched for can be confirmed by means of a Kl-based comparison with the drone image (based on a Kl-re-identification process using pictorial or semantic information). As a result, an ambiguity can be resolved by the rescue worker or by an operator in the control center who is specially deployed for this purpose. A patient data record should already have been created in the system as a result of the drone report (with its location), otherwise a new data record will be created. Proper screening and medical first aid can now begin.
  • the images (single images and/or video streams) taken by the rescue services are stored in the database/situation overview 11 together with the patient data. If the person is undocumented and remains unidentifiable, these images will be helpful in tracing the family.
  • a search can be carried out using the photos provided by the relatives or a textual description.
  • facial re-identification can be carried out on images taken by paramedics on site.
  • the textual description of the clothing can be compared with the semantic description automatically generated by Kl of images of people found by rescue workers recorded in the database.

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to a method and system for reconnaissance and/or operational support. Such methods are in particular used in the support of authorities and organizations with security tasks (BOS) for coping with and/or protecting against a risk situation in a spatial area. However, they are also used for reconnaissance of a general nature.

Description

Verfahren und System zur Lageerkundung und/oder Einsatzunterstützung Method and system for situation reconnaissance and/or mission support
Die vorliegende Erfindung betrifft ein Verfahren sowie ein System zur Lageer kundung und/oder Einsatzunterstützung. Derartige Verfahren werden insbe- sondere eingesetzt zur Unterstützung von Behörden mit Organisations- undThe present invention relates to a method and a system for location reconnaissance and/or operational support. Such procedures are used in particular to support authorities with organizational and
Sicherheitsaufgaben (BOS) bei der Bewältigung und/oder Abwehr einer Ge fahrenlage in einem räumlichen Gebiet. Sie werden jedoch auch zu Erkundun gen allgemeiner Art eingesetzt. Security tasks (BOS) when dealing with and/or defending against a dangerous situation in a spatial area. However, they are also used for general investigations.
Bei der Lageerkundung ist es häufig wesentlich, möglichst zeitnah und rasch eine Übersicht über die Lage in einem Gebiet zu erhalten, um schnell und ziel führend Entscheidungen zu weiteren Maßnahmen, wie beispielsweise weite ren Erkundungen oder Lenkung des Einsatzes zu treffen. When assessing the situation, it is often essential to obtain an overview of the situation in an area as quickly and as promptly as possible in order to make quick and effective decisions on further measures, such as further reconnaissance or control of the operation.
Insbesondere bei größeren Einsätzen von BOS, die beispielsweise bei Scha denslagen, Unfällen, Sicherheitslagen , insbesondere wenn diese mit einem Massenanfall verletzter Personen (MANV) einhergehen, ist es für die Einsatz leitung essentiell, eine realzeitnahe Lageübersicht zu erhalten, um Einsatzent scheidungen und Rettungsmaßnahmen schnell, zielführend und wirksam zu treffen und zu koordinieren, um z.B. alle betroffenen Personen schnellstmög lich aufzufinden, medizinisch und anderweitig zu versorgen und/oder zu eva- kuieren. Außerdem kann es erforderlich sein, Maßnahmen zu priorisieren bzw. bezgl. ihrer Dringlichkeit einzuordnen und/oder zu kategorisieren. Dazu bedarf es einer informativen und aktuellen Lageübersicht. In the case of larger BOS deployments, for example in the event of damage, accidents, security situations, especially if these are accompanied by a mass casualty incident (MANV), it is essential for the operations management team to have a real-time overview of the situation in order to be able to make deployment decisions and rescue measures quickly , purposeful and effective, and to coordinate them, e.g. to locate all affected persons as quickly as possible, to provide them with medical and other care and/or to evacuate them. It may also be necessary to prioritize measures or classify and/or categorize them in terms of their urgency. This requires an informative and up-to-date overview of the situation.
Die Erstellung einer solchen Lageübersicht erfordert jedoch bisher viel Zeit und Personal, die in solchen Einsatzlagen jedoch ein knappes Gut sind. Es ist daher Aufgabe der vorliegenden Erfindung ein Verfahren zur Lageerkun dung und/oder Einsatzunterstützung zur Verfügung zu stellen, dass es ermög licht, rasch und effizient eine Lageübersicht mit hohem Informationsgehalt und hoher Genauigkeit zu erstellen und anhand dieser Übersicht eine ebenso effiziente und rasche, möglichst vollständige Bearbeitung und Verfolgung der Lage in einem Gebiet zu ermöglichen. However, the creation of such a situation overview has so far required a lot of time and personnel, which are scarce in such operational situations. It is therefore the object of the present invention to provide a method for situation reconnaissance and/or mission support that makes it possible to quickly and efficiently create a situational overview with a high level of information content and high accuracy and, based on this overview, an equally efficient and rapid, if possible allow full editing and tracking of the situation in an area.
Diese Aufgabe wird durch das Verfahren nach Anspruch 1 sowie das System nach Anspruch 16 gelöst. Vorteilhafte Weiterbildungen des erfindungsgemä ßen Verfahrens und des erfindungsgemäßen Systems werden in den jeweili gen abhängigen Ansprüchen gegeben. This object is achieved by the method according to claim 1 and the system according to claim 16. Advantageous further developments of the method according to the invention and the system according to the invention are given in the respective dependent claims.
Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass zur Lageer kundung und/oder Einsatzunterstützung in einem räumlichen Gebiet, z.B. zur Unterstützung von Behörden mit Organisations- und Sicherheitsaufgaben ins besondere bei der Bewältigung und/oder Abwehr einer Gefahrenlage in dem Gebiet zuerst eine Lageübersicht über das Gebiet erstellt wird, wobei die La geübersicht zumindest eines einer Mehrzahl von Attributen der Lage in Form von Metadaten enthält und in Form einer Datenbank verwaltet wird. The method according to the invention is characterized in that, for situation reconnaissance and/or operational support in a spatial area, e.g. to support authorities with organizational and security tasks, in particular when dealing with and/or averting a dangerous situation in the area, an overview of the situation in the area is first provided Territory is created, wherein the location contains at least one of a plurality of attributes of the location in the form of metadata and is managed in the form of a database.
Die Erstellung der Lageübersicht erfolgt insbesondere, indem durch Sensorträ ger, z.B. Flugzeuge, Drohnen, Fahrzeuge, Einsatzkräfte etc., Daten zur Lage in dem Gebiet erfaßt und gegebenenfalls bereits verarbeitet werden. Diese Da ten werden dann in die Datenbank eingespeist. The situation overview is created in particular by sensor carriers, e.g. aircraft, drones, vehicles, emergency services, etc., collecting and possibly already processing data on the situation in the area. This data is then fed into the database.
Mittels einer oder mehrerer Datenerfassungsvorrichtungen in dem Gebiet, eine Einsatzleitstelle und/oder eines oder mehrere mobile Geräte von Einsatz kräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwe send sind, und/oder Versorgungsinstitutionen, insbesondere Hilfsorganisatio nen wie Lazarette, Krankenhäuser und/oder Ärzte sowie Stellen, welche sich mit Information der Angehörigen und Nachforschungen über vermißte Perso nen beschäftigen, wie z.B. Kreisauskunftsbüros (KAB), können die in der Da tenbank verwalteten Informationen abgerufen und/oder aktualisiert und/o der ergänzt werden. Durch die rasche und frühzeitige Datenaufnahme und -Verarbeitung ist es möglich, rasch eine zuverlässige, detaillierte Lageübersicht mit hoher Genau igkeit und hohem Informationsgehalt zu erstellen und diese Lageübersicht von allen beteiligten Kräften zu nutzen. Damit wird beispielsweise die Zeit bis zur Auffindung, Vorsichtung, Triagierung und medizinischer Versorgung aller hilfs bedürftigen Personen verkürzt. Eine solche Datenbank ermöglicht auch die Zuordnung von Daten einer aktuell behandelten Person zu Daten, die bereits zuvor erfaßt wurden und damit eine lückenlose Verfolgung (Tracking) aller ge meldeten Personen (z.B. Patienten) über sämtliche Beteiligten, sämtliche Räume und die gesamte Dauer des Einsatzes bzw. darüber hinaus, beispiels weise während des Aufenthaltes in einem Krankenhaus / Leichenhalle. By means of one or more data acquisition devices in the area, an operations control center and/or one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or supply institutions, in particular aid organizations such as military hospitals, Hospitals and/or doctors and agencies that deal with informing relatives and researching missing persons, such as district information offices (KAB), can retrieve and/or update and/or supplement the information managed in the database. Rapid and early data acquisition and processing makes it possible to quickly create a reliable, detailed situation overview with a high degree of accuracy and high information content, and to use this situation overview by all forces involved. This shortens, for example, the time it takes to locate, sort out, triage and receive medical care for everyone in need of help. Such a database also enables the assignment of data of a person currently being treated to data that has already been recorded and thus a complete tracking (tracking) of all reported persons (e.g. patients) across all participants, all rooms and the entire duration of the assignment or .beyond that, for example during a stay in a hospital/morgue.
Insbesondere kann so auch eine möglichst lückenlose „Spur" einer Person über die Zeit während des Einsatzes erzeugt werden, die beispielsweise ein Kennzeichen, z.B. eine ID oder andere Merkmale der Person, Ihr Behandlungs status und dergleichen enthält. So kann ein Status der Person (z.B. vom Ret tungssanitäter X gesichtet, vom Notarzt Y vor Ort behandelt, im Krankenwa gen Z in das Krankenhaus A gefahren und dann in das Krankenhaus B verlegt) verfolgt werden. Dies baut wesentlich auf der Verwaltung der Patientendaten in einer Datenbank als Lageübersicht auf. In particular, a "trace" of a person that is as complete as possible can be generated over time during the deployment, which contains, for example, a license plate number, e.g. an ID or other characteristics of the person, your treatment status and the like. A status of the person (e.g. seen by paramedic X, treated on site by emergency doctor Y, driven to hospital A in ambulance Z and then transferred to hospital B. This is essentially based on the administration of patient data in a database as a situation overview.
Insbesondere ist es möglich durch das lückenlose Tracking von Personen von der ersten Datenaufnahme bis zur Suche nach vermißten Personen anhand der erhobenen und von allen beteiligten ggfls. aktualisierten Lageübersicht sämtliche dieser Prozesse kontinuierlich, effizient und genau durchzuführen und miteinander zu verknüpfen. In particular, it is possible through the complete tracking of people from the first data recording to the search for missing people based on the collected and by everyone involved if necessary. continuously, efficiently and accurately carry out and link all of these processes with an updated situational overview.
Aufbauend auf bisherigen Ansätzen und Systemen wird in der vorliegenden Erfindung vorteilhafterwiese eine komplette Kette der Abarbeitung einer Lage, z.B. eines Großschadensereignisses wie eines MANV-Vorfalls, von der Alarmierung der Rettungskräfte über die Lageerkundung, Vorsichtung hilfsbe dürftiger Personen und Klassifizierung der Hilfsbedürftigkeit bis hin zur ab schließenden Versorgung und ggfls. Einlieferung oder Aufnahme in ein Kran kenhaus zur Verfügung gestellt. Building on previous approaches and systems, the present invention advantageously uses a complete chain of processing a situation, e.g. a major damage event such as a MANV incident, from alerting the rescue services to situation assessment, screening of people in need and classification of the need for help through to the closing supply and possibly Admission or admission to a hospital provided.
Einige der mögliche Maßnahmen, die innerhalb des erfindungsgemäßen Ver fahrens durchgeführt werden, sind: a) Überfahrt und/oder Überflug des Gebiets mit einem oder mehreren be mannten oder unbemannten Land- , Wasser- und/oder Luftfahrzeugen als Sensorträger, insbesondere mit einem oder mehreren bemannten oder unbe mannten Luftfahrt-Systemen, z.B. einem Helikopter oder einem UAS, als Da tenerfassungsvorrichtung, b) Aufnahme eines oder mehrerer Bilder bzw. Bildströme zumindest von Be reichen des Gebiets durch die mobilen oder stationären Sensorträger und/o der durch mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, insbesondere durch die zu sätzliche Anwendung von Verfahren, mit denen in den Sensordaten Personen erfaßt und/oder ver/gefolgt werden können, c) Schritthaltende oder nachträgliche automatische Auswertung der aufge nommenen Bildern und/oder Videos sowie ggf. damit verknüpften Bildmeta daten (wie z.B. Aufnahmeposition und Ausrichtung der Kamera während der Aufnahme zur Gewinnung von semantischen Informationen (Attributen), d) Erstellung der Lageübersicht enthaltend zumindest eines einer Mehrzahl der Attribute der Lage, und/oder e) Übermittlung eines, mehrerer oder aller der Attribute der Lageübersicht an die Datenbank und ggfls. direkt an eine Einsatzleitstelle und/oder an eines o- der mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder an Versorgungsin stitutionen, insbesondere Hilfsorganisationen, Lazarette, Krankenhäuser und/oder Ärzte. Some of the possible measures that are carried out within the process according to the invention are: a) Crossing and/or overflight of the area with one or more manned or unmanned land, water and/or air vehicles as sensor carriers, in particular with one or more manned or unmanned aviation systems, e.g. a helicopter or a UAS, as Data acquisition device, b) recording of one or more images or image streams at least of areas of the area by the mobile or stationary sensor carriers and/or by mobile devices of emergency services that have been deployed to the area or are present in the area, in particular through the additional use of methods with which people can be recorded and/or tracked/followed in the sensor data, c) Continuous or subsequent automatic evaluation of the recorded images and/or videos and any associated image metadata (e.g Recording position and orientation of the camera during recording to obtain semantic information (attributes), d) Creation of the situation overview containing at least one of a plurality of the attributes of the situation, and/or e) transmission of one, several or all of the attributes of the situation overview to the database and, if necessary. directly to an operations control center and/or to one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or to supply institutions, in particular aid organizations, military hospitals, hospitals and/or doctors .
Jeder dieser Schritte bildet das erfindungsgemäße Verfahren weiter und dient dem Ziel einen optimalen Umgang mit der Lage in dem Gebiet zu gewährleis ten. Insbesondere ermöglichen diese Schritte in Kombination miteinander die präzise und schnelle Erstellung und Aktualisierung der Lageübersicht und das kontinuierliche Tracking einzelner Personen oder Gegenstände als Objekte der Lage bis zu deren abschließender Versorgung bzw. bis zur Identifikation in ei ner Suche nach Vermißten. Dies gilt auch für die nachfolgend beschriebenen weiterbildenden Maßnahmen der vorliegenden Erfindung. Each of these steps develops the method according to the invention and serves the goal of ensuring optimal handling of the situation in the area. In particular, these steps in combination with one another enable the precise and rapid creation and updating of the situation overview and the continuous tracking of individual persons or objects as Objects in the situation until they are finally taken care of or until they are identified in a search for missing persons. This also applies to the further development measures of the present invention described below.
Vorteilhafterweise ist die Datenbank/Lageübersicht derart ausgestaltet, dass in ihr nach Personen anhand von Attributen der Person gesucht werden kann, insbesondere anhand von textuellen Beschreibungen, beispielsweise zur Klei dung der Person, und/oder anhand eines oder mehrerer Bilder der Person. Advantageously, the database/situation overview is designed in such a way that people can be searched for using attributes of the person, in particular using textual descriptions, for example of the person's clothing, and/or using one or more images of the person.
Die Lageübersicht bzw. Datenbank kann vorteilhafterwiese modifiziert wer den, indem die Lageinformation bzw. einzelne Attribute der Lageinformation durch eine Einsatzleitstelle und/oder an eines oder mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder Versorgungsinstitutionen, insbesondere Hilfsorganisationen, Lazarette Krankenhäuser und/oder Ärzte oder auch auto matisch anhand von diesen vorliegenden Informationen wie Bildern etc. verifi ziert, ergänzt oder aktualisiert werden. The situation overview or database can advantageously be modified by the situation information or individual attributes of the situation information being sent by an operations control center and/or to one or more mobile devices of emergency services that have been deployed to the area or are present in the area. and/or care institutions, in particular aid organizations, military hospitals and/or doctors, or also automatically based on this available information such as images, etc., are verified, supplemented or updated.
Um die Verfolgung einzelner Gegenstände und Personen in dem Gebiet weiter zu vereinfachen und zu beschleunigen weist die Lageübersicht eines, mehrere oder alle der folgenden Attribute auf: a) Erkannte Objekte und Gebiete, insbesondere Personen, Fahrzeuge, Glutnester, Wege b) Zugehörigkeit zu einer oder mehreren Klassen, insbesondere Zugehörigkeit von Personen oder Fahrzeugen zu bestimmten BOS (z.B. Polizei, Feuerwehr, notärztlicher Rettungsdienst, THW) c) Abstrahierte Informationen zu einem oder mehreren Objekten, insbeson dere Zusammenfassung von mehreren sich zusammen aufhaltenden Personen zu Personengruppen d) Informationen über Bereiche des Gebietes, deren Erkundung bereits erfolgt ist, e) Informationen über Bereiche des Gebietes, deren Erkundung und/oder Ein sicht aus der Luft erschwert oder unmöglich ist, insbesondere durch Einsatz kräfte am Boden zu erkundende Bereiche, insbesondere vor Einsicht von oben abgeschattete Bereiche, Wald, Gebäudeinneres, Bereiche unter einer Wasser oberfläche, f) Geoposition der einzelnen Objekte und/oder Gebiete g) Hilfsbedürftigkeit von erkannten Personen, gegebenenfalls unter Einteilung in Klassen, h) Darstellungen von in dem Bildstrom erkannten Objekte, insbesondere Per sonen in einer oder mehreren nachfolgend geschilderten Formen: - bildliche Darstellung als Einzelbild, insbesondere auch hochaufgelöste Dar stellung, welche durch Verarbeitung mehreren Bildern mit Hilfe von Superre solutionsverfahren und/oder durch Auswahl der besten Kandidaten erstellt wird In order to further simplify and accelerate the tracking of individual objects and people in the area, the situation overview has one, several or all of the following attributes: a) Detected objects and areas, in particular people, vehicles, embers, paths b) Affiliation to one or several classes, in particular the affiliation of persons or vehicles to specific BOS (e.g. police, fire brigade, emergency medical rescue service, THW) c) Abstracted information on one or more objects, in particular grouping of several persons staying together into groups of persons d) Information about areas of the area that has already been explored, e) information about areas of the area that are difficult or impossible to explore and/or view from the air, in particular areas to be explored by emergency services on the ground, in particular areas shaded from view from above, forest , building interior, areas under a water obe area, f) Geoposition of the individual objects and/or areas g) Need for help of recognized persons, possibly divided into classes, h) Representations of objects recognized in the image stream, in particular persons, in one or more of the forms described below: - Visual representation as a single image, in particular also a high-resolution representation, which is created by processing multiple images using super resolution methods and/or by selecting the best candidates
- Darstellung als ein kurzes Videoclip - Presentation as a short video clip
- semantische oder textuelle Beschreibung gekennzeichnet durch ein zugewie senes Identifikationskennzeichen und weitere Attribute, insbesondere auch Bekleidungsattribute und deren Beschreibung und/oder sonstige besondere Merkmale von in dem Bildstrom erfaßten Personen, i) Informationen zur räumlichen Bewegung und/oder vergangenen, aktuellen und/oder in der Zukunft erwarteten räumlichen Positionen von, insbesondere in dem Bildstrom erfaßten, Personen und Fahrzeugen. j) Informationen zur Passierbarkeit der Straßenabschnitte, welche durch Ana lyse der Bewegungsprofile der im Bildstrom erfaßten Personen und Fahrzeuge gewonnen werden. - semantic or textual description characterized by an assigned identifier and other attributes, in particular also clothing attributes and their description and/or other special features of persons recorded in the image stream, i) information on the spatial movement and/or past, current and/or in future expected spatial positions of people and vehicles, particularly those detected in the image stream. j) Information on the passability of the road sections, which is obtained by analyzing the movement profiles of the people and vehicles recorded in the image stream.
Insbesondere kann die Lageübersicht als Attribute die Hilfsbedürftigkeit von in dem Bildstrom erkannten Personen enthalten, wobei die Hilfsbedürftigkeit ei ner Person vorteilhafterweise in eine Mehrzahl von Klassen eingeteilt wird (Hilfsbedürftigkeitsstatus). Insbesondere durch die Einteilung in Klassen ist es möglich, die Informationsmenge zu komprimieren und insbesondere den Ein satzkräften eine klare Entscheidungsgrundlage an die Hand zu geben. Die Hilfsbedürftigkeit von in den Einzelbildern und/oder in dem Bildstrom erkann ten Personen kann dabei anhand der Personenpose, insbesondere liegend, sit zend oder stehend, der Gliedmaßenstellung und/oder dergleichen abge schätzt werden, insbesondere mittels Skelettierungsverfahren. In particular, the situation overview can contain the need for help of persons identified in the image stream as attributes, with the need for help of a person advantageously being divided into a plurality of classes (need for help status). The division into classes in particular makes it possible to compress the amount of information and in particular to provide the emergency services with a clear basis for decision-making. The need for help of persons recognized in the individual images and/or in the image stream can be estimated on the basis of the person's pose, in particular lying, sitting or standing, the position of the limbs and/or the like, in particular by means of skeletonization methods.
Um die in der Lageübersicht enthaltenen Informationen zu verdichten und zu gleich die Informationsqualität zu erhalten oder gar zu verbessern, können die Attribute der Lageübersicht für die an der Abwehr und/oder Bewältigung der Gefahrenlage Beteiligte, insbesondere Einsatzkräfte und oder Einsatzleitungs kräfte, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwe send sind oder den Einsatz von der Ferne aus leiten, und/oder Versorgungsin stitutionen, insbesondere Hilfsorganisationen, Lazarette, Krankenhäuser und/oder Ärzte, aufbereitet, insbesondere bedarfsgerecht aufbereitet, er gänzt oder aktualisiert werden. Dies kann insbesondere durch die Anzeige in einer digitalen Lagekarte und/oder durch eine Übernahme in das digitale Not- arzt-Protokoll, insbesondere zur späteren Übermittlung an ein Krankenhaus- Informationssystem (KIS), z.B. mittels eines interdisziplinären Versorgungs nachweises (IVENA) erfolgen. In order to consolidate the information contained in the situation overview and at the same time to maintain or even improve the information quality, the attributes of the situation overview can be used for those involved in defending against and/or managing the dangerous situation, in particular emergency services and/or command and control personnel who are deployed in are sent to the area or are present in the area or manage the operation remotely, and/or care institutions, in particular aid organizations, field hospitals, hospitals and/or doctors, are processed, in particular processed, supplemented or updated as needed. This can be done in particular by the display in a digital situation map and/or by being transferred to the digital emergency doctor protocol, in particular for later transmission to a hospital information system (HIS), eg by means of an interdisciplinary proof of care (IVENA).
Das erfindungsgemäße Verfahren ermöglicht insbesondere eine Wiedererken nung von Objekten, welche im System erfaßt worden sind, ausgehend von zur Verfügung gestellten Informationen, insbesondere Bildern und oder einzelnen oder mehreren Attributen aus einer anderen Quelle. So kann eine Wiederer kennung von Personen anhand einer textuellen und oder semantischen Be schreibung, insbesondere einer automatisch extrahierten Beschreibung, bei spielsweise auch eines automatisch oder manuell zugeordneten Identitäts kennzeichen (ID) erfolgen. In particular, the method according to the invention enables objects that have been detected in the system to be recognized, based on information that has been made available, in particular images and/or one or more attributes from another source. In this way, people can be recognized using a textual and/or semantic description, in particular an automatically extracted description, for example an automatically or manually assigned identifier (ID).
Sämtliche Schritte des erfindungsgemäßen Verfahrens profitieren auch von ei ner Unterstützung durch künstliche Intelligenz (Kl, AI), die zu einer verbesser ten automatisieren Auswertung der erhobenen Daten und/oder Zuordnung und/oder Klassifizierung verhilft. All steps of the method according to the invention also benefit from support from artificial intelligence (KI, AI), which helps to improve the automated evaluation of the data collected and/or assignment and/or classification.
Die Lageübersicht wird vorteilhafterwiese als Datenbank in einem zentralen Server oder verteilt gespeichert. Dies ermöglich den Zugriff, die Aktualisierung und die Abfrage der Lageübersicht durch sämtliche beteiligten Kräfte und/o der System, insbesondere die Suche nach Vermissten anhand von in der Da tenbank gespeicherten Attributen von in dem Gebiet erfaßten Personen. The situation overview is advantageously stored as a database in a central server or in a distributed manner. This enables the situation overview to be accessed, updated and queried by all the forces involved and/or the system, in particular the search for missing persons using attributes stored in the database of persons recorded in the area.
Als Sensorträger dienen - vor allem zu Beginn der Erstellung der Lageübersicht insbesondere luftgestützte Systeme, die rasch und unkompliziert zu dem Ge biet oder in das Gebiet verbracht werden können, insbesondere durch einen Anflug oder Überflug des Gebietes mit einem bemannten und/oder unbe mannten Flugzeug (UAS, Helikopter). Das UAS kann dabei innerhalb oder auch außerhalb der Sichtweite des Operators des UAS (BVLOS) eingesetzt werden. Als BVLOS-UAS eignen sich insbesondere senkrecht startende und landende Systeme, VTOL-AUS, insbesondere Starrflüglersysteme. Airborne systems in particular, which can be brought quickly and easily to the area or into the area, in particular by approaching or overflighting the area with a manned and/or unmanned aircraft ( UAS, helicopter). The UAS can be used within or outside the range of vision of the UAS operator (BVLOS). Systems that take off and land vertically, VTOL-AUS, in particular fixed-wing systems, are particularly suitable as BVLOS-UAS.
Vorteilhafterweise erfolgt auch die Verarbeitung, Reduktion und/oder Kom pression der von dem Sensorträger erhobenen Daten bereits in dem Sensor- träger selbst, z. B. in der Drohne selbst, so dass diese lediglich die verarbeite ten, reduzierten und/oder komprimierten Daten zur Erstellung und/oder Ak tualisierung der Lageübersicht an beispielsweise die entsprechende Daten bank sendet. Dies reduziert den Datenverkehr zur Aktualisierung der Lage übersicht und die ansonsten an andererstelle erforderliche Rechnerleistung zur Verarbeitung der Daten. Advantageously, the processing, reduction and/or compression of the data collected by the sensor carrier already takes place in the sensor carrier itself, e.g. B. in the drone itself, so that it only sends the processed, reduced and/or compressed data to create and/or update the situation overview to the corresponding database, for example. This reduces the data traffic for updating the situation overview and the computer power otherwise required elsewhere to process the data.
Die Erfindung weist weiterhin ein System zur Durchführung des bisher be schriebenen Verfahrens auf. Insbesondere weist sie auf: The invention also includes a system for performing the method previously described. In particular, it shows:
Ein System zur Lageerkundung und/oder Einsatzunterstützung in einem räum lichen Gebiet, z.B. zur Unterstützung von Behörden mit Organisations- und Si cherheitsaufgaben (BOS) insbesondere bei der Bewältigung und/oder Abwehr einer Gefahrenlage in dem Gebiet, wobei eine oder mehrere Vorrichtungen zum Erstellen einer Lageübersicht über das Gebiet, wobei die Lageübersicht zu mindest eines einer Mehrzahl von Attributen der Lage in Form von Metadaten enthält, eine Datenbank, die die Lageübersicht speichert und verwaltet, und mindestens eine Vorrichtung zum Abruf und/oder Aktualisierung und/oder Er gänzung der Lageübersicht, insbesondere eine oder mehrere Datenerfassungs vorrichtungen in dem Gebiet, eine Einsatzleitstelle und/oder eines oder meh rere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder Versorgungsinstitutionen, insbesondere Hilfsorganisationen wie Lazarette, Krankenhäuser und/oder Ärzte sowie Stellen, welche sich mit Information der Angehörigen und Nachfor schungen über vermißte Personen beschäftigen, wie z.B. Kreisauskunftsbüros (KAB). A system for situation reconnaissance and/or operational support in a spatial area, e.g. to support authorities with organizational and security tasks (BOS), in particular when dealing with and/or averting a dangerous situation in the area, with one or more devices for creating a Situational overview of the area, wherein the situational overview contains at least one of a plurality of attributes of the situation in the form of metadata, a database that stores and manages the situational overview, and at least one device for retrieving and/or updating and/or supplementing the situational overview , in particular one or more data acquisition devices in the area, an operations control center and/or one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or supply institutions, in particular aid organizations such as military hospitals, Hospitals and/or doctors and bodies which s I deal with informing relatives and researching missing persons, such as district information offices (KAB).
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, mit mindestens einer Vorrichtung zum Durchführen eineroder meh rerer der folgenden Maßnahmen: A situational awareness and/or mission support system as described above, comprising at least one device for performing one or more of the following:
Überfahrt und/oder Überflug des Gebiets mit einem oder mehreren Land-, Wasser- und/oder Luftfahrzeugen als Sensorträger, insbesondere mit einem o- der mehreren bemannten oder unbemannten Luftfahrt-Systemen, z.B. UAS (Unmanned Aerial System), als Datenerfassungsvorrichtung b) Aufnahme eines oder mehrerer Bilder bzw. Bildströme zumindest von Berei chen des Gebiets durch die mobilen oder stationären Sensorträger und/oder durch mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, c) Schritthaltende oder nachträgliche automatische Auswertung der aufgenom menen Bilder und/oder Videos sowie ggf. damit verknüpften Bildmetadaten (wie z.B. Aufnahmeposition und Ausrichtung der Kamera während der Auf nahme zur Gewinnung von semantischen Informationen (Attributen) d) Erstellung der Lageübersicht enthaltend zumindest eines einer Mehrzahl der Attribute der Lage und/oder e) Übermittlung eines, mehrerer oder aller der Attribute der Lageübersicht als Meldung an die Datenbank und ggfls. direkt an eine Einsatzleitstelle und/oder an eines oder mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder an Versor gungsinstitutionen, insbesondere Hilfsorganisationen, Lazarette, Krankenhäu ser und/oder Ärzte. Crossing and/or overflight of the area with one or more land, water and/or aircraft as sensor carriers, in particular with one or more manned or unmanned aviation systems, eg UAS (Unmanned Aerial System), as data acquisition device b) recording one or more images or image streams at least from areas of the area through the mobile or stationary sensor carrier and/or by mobile devices of emergency services who have been deployed to the area or are present in the area, c) Continuous or subsequent automatic evaluation of the recorded images and/or videos and any associated image metadata (e.g. recording position and orientation of the camera during recording to obtain semantic information (attributes) d) creation of the situational overview containing at least one of a plurality of the attributes of the situation and/or e) transmission of one, several or all of the attributes of the situational overview as a message to the database and, if necessary. directly to an operations control center and/or to one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or to supply institutions, in particular aid organisations, military hospitals, hospitals and/or doctors.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, wobei die Vorrichtung zum Abruf und/oder Aktualisierung und/oder Ergänzung der Lageübersicht eingerichtet ist, in der Datenbank nach Personen anhand von Attributen der Person zu suchen, insbesondere anhand von textu- ellen Beschreibungen, beispielsweise zur Kleidung der Person, und/oder an hand eines oder mehrerer Bilder der Person. A system for situation reconnaissance and/or mission support as described above, the device for retrieving and/or updating and/or supplementing the situation overview being set up to search for people in the database using attributes of the person, in particular using textual ones Descriptions, for example of the person's clothing, and/or based on one or more images of the person.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben wobei die Vorrichtung zum Abruf und/oder Aktualisierung und/oder Ergänzung der Lageübersicht eingerichtet ist, die Lageinformation bzw. ein zelne Attribute der Lageinformation anhand von dieser vorliegenden Informa tionen wie Bildern etc. zu verifizieren, zu ergänzen oder zu aktualisieren. A system for situation reconnaissance and/or mission support as described above, the device for retrieving and/or updating and/or supplementing the situation overview being set up, the situation information or individual attributes of the situation information based on this available information such as images etc verify, amend or update.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, wobei die Lageübersicht eines, mehrere oder alle der folgenden At tribute enthält: A situational awareness and/or mission support system as previously described, wherein the situational overview includes one, more or all of the following attributes:
Erkannte Objekte und Gebiete, insbesondere Personen, Fahrzeuge, Glutnester, Wege b) Zugehörigkeit zu einer oder mehreren Klassen, insbesondere Zugehörigkeit von Personen oder Fahrzeugen zu bestimmten BOS (z.B. Polizei, Feuerwehr, notärztliche Rettungsdienste, THW) c) Abstrahierte Informationen zu einem oder mehreren Objekten, insbeson dere Zusammenfassung von mehreren sich zusammen aufhaltenden Personen zu Personengruppen d) Informationen über Bereiche des Gebietes, deren Erkundung bereits erfolgt ist, e) Informationen über Bereiche des Gebietes, deren Erkundung und/oder Ein sicht aus der Luft erschwert oder unmöglich ist, insbesondere durch Einsatz kräfte am Boden zu erkundende Bereiche, insbesondere vor Einsicht von oben abgeschattete Bereiche, Wald, Gebäudeinneres, Bereiche unter einer Wasser oberfläche, f) Geoposition der einzelnen Objekte und/oder Gebiete g) Hilfsbedürftigkeit von erkannten Personen, gegebenenfalls unter Einteilung in Klassen, h) Darstellungen von in dem Bildstrom erkannten Objekte, insbesondere Per sonen in einer oder mehreren nachfolgend geschilderten Formen: Detected objects and areas, especially people, vehicles, embers, paths b) Affiliation to one or more classes, in particular the affiliation of persons or vehicles to specific BOS (e.g. police, fire brigade, emergency medical rescue services, THW) c) Abstracted information on one or more objects, in particular the combination of several people staying together to form groups of people d) information about areas of the area that have already been explored, e) information about areas of the area that are difficult or impossible to explore and/or view from the air, in particular areas to be explored by emergency services on the ground, in particular before viewing Areas shaded from above, forest, interior of buildings, areas below a water surface, f) Geoposition of the individual objects and/or areas g) Need for help of recognized persons, possibly divided into classes, h) Representations of objects recognized in the image stream, in particular per sons in one or more of the following est illustrated forms:
- bildliche Darstellung als Einzelbild, insbesondere auch hochaufgelöste Darstel lung, welche durch Verarbeitung mehreren Bildern mit Hilfe von Superresoluti onsverfahren und/oder durch Auswahl der besten Kandidaten erstellt wird- Visual representation as a single image, in particular also a high-resolution representation, which is created by processing multiple images using super-resolution methods and/or by selecting the best candidates
- Darstellung als ein kurzer Videoclip - Presentation as a short video clip
- semantische odertextuelle Beschreibung gekennzeichnet durch ein zugewie senes Identifikationskennzeichen und weitere Attribute, insbesondere auch Be kleidungsattribute und deren Beschreibung und/oder sonstige besondere Merkmale von in dem Bildstrom erfaßten Personen, i) Informationen zur räumlichen Bewegung und/oder vergangenen, aktuellen und/oder in der Zukunft erwarteten räumlichen Positionen von, insbesondere in dem Bildstrom erfaßten, Personen und Fahrzeugen. j) Informationen zur Passierbarkeit der Straßenabschnitte, welche durch Ana lyse der Bewegungsprofile der im Bildstrom erfaßten Personen und Fahrzeuge gewonnen werden. - semantic or textual description characterized by an assigned identifier and other attributes, in particular also clothing attributes and their description and/or other special features of persons recorded in the image stream, i) information on the spatial movement and/or past, current and/or in future expected spatial positions of people and vehicles, particularly those detected in the image stream. j) Information on the passability of the road sections, which is obtained by analyzing the movement profiles of the people and vehicles recorded in the image stream.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wobei die Lage übersicht als Attribute die Hilfsbedürftigkeit von in dem Bildstrom erkannten Personen enthält, wobei die Hilfsbedürftigkeit einer Person in eine einer Mehr zahl von Klassen eingeteilt wird. A system for situation reconnaissance and/or mission support, with the situation overview recognizing the need for help as attributes in the image stream Contains people, the need for help of a person is divided into one of a number of classes.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, wobei die Hilfsbedürftigkeit von in den Einzelbildern und/oder in dem Bildstrom erkannten Personen anhand der Personenpose, insbesondere liegend, sitzend oder stehend, der Gliedmaßenstellung und/oder dergleichen abschätzbar ist, insbesondere mittels Skelettierungsverfahren. A system for situation reconnaissance and/or operational support as described above, wherein the need for help of persons recognized in the individual images and/or in the image stream can be estimated based on the person's pose, in particular lying, sitting or standing, the position of the limbs and/or the like, in particular by means of skeletonization process.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wobei die Lage übersicht als Attribute die Hilfsbedürftigkeit von Personen enthält. A system for situation reconnaissance and/or mission support, with the situation overview containing the need for help of people as attributes.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben, wobei die Vorrichtung zum Abruf und/oder Aktualisierung und/oder Ergänzung der Lageübersicht eingerichtet ist, die Attribute der Lageübersicht für die an der Abwehr und/oder Bewältigung der Gefahrenlage Beteiligte, ins besondere Einsatzkräfte und oder Einsatzleitungskräfte, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind oder den Einsatz von der ferne aus leiten, und/oder Versorgungsinstitutionen, insbesondere Hilfsor ganisationen, Lazarette, Krankenhäuser und/oder Ärzte, aufzubereiten, insbe sondere bedarfsgerecht aufzubereiten, zu ergänzen oder zu aktualisieren, ins besondere durch eine Anzeige in einer digitalen Lagekarte oder durch eine Übernahme in das digitale Notarzt-Protokoll, insbesondere zur späteren Über mittlung an ein Krankenhaus-Informationssystem (KIS), z.B. mittels eines inter disziplinären Versorgungsnachweises (IVENA). A system for situation reconnaissance and/or mission support as described above, the device being set up to call up and/or update and/or supplement the situation overview, the attributes of the situation overview for those involved in defending against and/or managing the dangerous situation, in particular Task forces and/or command and control personnel who have been deployed to the area or are present in the area or direct the operation remotely, and/or care institutions, in particular aid organizations, field hospitals, hospitals and/or doctors, to prepare them, in particular as needed to be processed, supplemented or updated, in particular by displaying it on a digital situation map or by including it in the digital emergency doctor protocol, in particular for later transmission to a hospital information system (HIS), e.g. using an interdisciplinary proof of care (IVENA). ).
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schrieben eine Wiedererkennung von Objekten, welche im System erfaßt wor den sich, ausgehend von zur Verfügung gestellten Informationen, insbesondere Bildern und oder einzelnen oder mehreren Attributen aus einer anderen Quelle ermöglicht ist. A system for situation reconnaissance and/or mission support as described above enables objects that have been recorded in the system to be recognized based on information that has been made available, in particular images and/or one or more attributes from another source.
Ein System zur Lageerkundung und/oder Einsatzunterstützung wie zuvor be schreiben wobei die Datenbank in einem zentralen Server oder verteilt gespei chert ist. Im Folgenden werden nun einige Beispiele erfindungsgemäßer Verfahren und erfindungsgemäßer Systeme gegeben. Dabei zeigt jedes der Beispiele eine will kürliche Kombination der essentiellen Merkmalle des erfindungsgemäßen Ver fahrens oder Systems mit weiteren lediglich optionalen Merkmalen der Erfin dung. Die optionalen Merkmale können einzeln oder auch in beliebiger Kombi nation zur weiteren Verbesserung der vorliegenden Erfindung eingesetzt wer den. A situational awareness and/or mission support system as described above wherein the database is stored on a central server or distributed. Some examples of methods according to the invention and systems according to the invention are now given below. Each of the examples shows an arbitrary combination of the essential features of the method or system according to the invention with other only optional features of the inventions. The optional features can be used individually or in any combination to further improve the present invention.
Fig. 1 zeigt ein beispielhaftes Szenario eines erfindugsgemäßen Verfahrens, das im Folgenden beschrieben wird. 1 shows an exemplary scenario of a method according to the invention, which is described below.
Einsatzszenario usage scenario
Als Beispielsszenario wird ein MANV (z.B. durch eine Großexplosion) auf einem großflächigen, schwer zu überschaubaren Gelände/Gebiet 10 betrachtet, wie z.B. ein Hafen mit vielen Hafenbecken und einem verzweigten Wegenetz mit vielen Sackgassen. Ein ähnliches Szenario bietet auch ein Zugunglück, oder ein Flugzeugabsturz in einer schwer zugänglichen Gegend, oder eine Hochwasser- Situation. As an example scenario, a MANV (e.g. due to a large explosion) on a large area/area 10 that is difficult to survey is considered, such as a port with many docks and a branched network of roads with many dead ends. A similar scenario also offers a train accident, or a plane crash in an area that is difficult to access, or a flood situation.
Initialisierung initialization
Unmittelbar nach Eingang der Notrufmeldungen und initialer Bewertung in der zuständigen Leitstelle/Einsatzleitung 1, wird eine BVLOS - Drohne 2 von einem Gefahrenabwehrzentrum, Krankenhaus oder Flugplatz aus in das Ge biet 10, von dem die Notrufmeldung ausging, als Einsatzort entsendet. Dazu werden Zielkoordinaten auf einer Übersichtskarte durch den Disponenten zur Definition des Erkundungsgebietes definiert. Die gesamte Kommunikation mit dem UAV und auch die spätere Übermittlung der aufbereiteten Nutzlastdaten erfolgt über Mobilfunk 3. Immediately after receipt of the emergency call reports and initial evaluation in the responsible control center/operations center 1, a BVLOS drone 2 is sent from a danger prevention center, hospital or airfield to area 10, from which the emergency call message originated, as the deployment site. For this purpose, target coordinates are defined on an overview map by the dispatcher to define the exploration area. The entire communication with the UAV and also the later transmission of the processed payload data takes place via mobile communications 3.
Zeitgleich werden die zuständigen BOS - Kräfte 4 mit ihren Einsatzmitteln und Einheiten alarmiert. Auch BOS-Drohneneinheiten, welche mit UAVs, z.B. Mul- tikoptern ausgestattet sind, werden alarmiert und zum Einsatzort geschickt. At the same time, the responsible BOS - forces 4 are alerted with their resources and units. BOS drone units, which are equipped with UAVs, e.g. multicopters, are also alerted and sent to the scene.
Die Vergabe des Einsatzauftrages an das BVLOS-UAV erfolgt unmittelbar in der zuerst alarmierenden Leitstelle/Einsatzleitung 1. Dieser Einsatzauftrag be inhaltet folglich das zu erkundende Gebiet und den Zweck der Erkundung. Das ist im vorliegenden Beispiel die Lokalisierung von Betroffenen und sonstigen Personen 5 (ggfls. als Patienten) in dem zu erkundenden Gebiet sowie die Er fassung von Einsatzmitteln und Einsatzkräften 4 mit deren räumlicher Zuord nung. Für die so erfaßten Personen 5 wird die Hilfsbedürftigkeit geprüft und erforderlichenfalls eine Klassifizierung in grobe Triagestufen durchgeführt. Der Zweck der Erkundung ist also im vorliegenden Beispiel ein mehrfacher. Er kann jedoch bei anderen Szenarien auch nur einen dedizierten Zweck oder an dere oder weitere Zwecke enthalten. The deployment order is assigned to the BVLOS-UAV directly in the control center/operations control center 1 that first alerted. This operation order consequently includes the area to be explored and the purpose of the exploration. That in the present example is the localization of those affected and other persons 5 (possibly as patients) in the area to be explored as well as the detection of operational resources and operational forces 4 with their spatial assignment. The need for help is checked for the persons 5 recorded in this way and, if necessary, a classification into rough triage levels is carried out. The purpose of the exploration is therefore multiple in the present example. In other scenarios, however, it can also only contain a dedicated purpose or other or further purposes.
Ersterkundung initial exploration
Im BVLOS-UAV 2 wird bei Alarmierung nun automatisch eine optimale Route, hinsichtlich einer minimalen Anflugdauer aber stets unter Berücksichtigung al ler regulatorischen Randbedingung für einen sicheren Flugbetrieb und eine si chere Integration in den Luftraum, generiert. Anschließend erfolgt ein vollau tomatischer Start des BVLOS-UAV 2. Der Einsatzort 10 wird dann außerhalb der Sichtweite schnell angeflogen. In the BVLOS-UAV 2, an optimal route is now automatically generated in the event of an alarm, with regard to a minimum approach duration, but always taking into account all regulatory boundary conditions for safe flight operations and safe integration into the airspace. The BVLOS-UAV 2 then starts fully automatically. The site 10 is then flown to quickly out of sight.
Durch einen strukturierten Überflug wird mittels bildgebende Sensorik ein Bilddatenstrom 6 erfaßt und (durch intelligente Aufbereitung) on-board zur Erzeugung eines ersten Lagebildes als Lageübersicht für die anrückenden Ein satzkräfte verarbeitet. Diese Informationen werden auch an einen zentralen Server zur Speicherung als Lageübersicht 11 / Datenbank gesendet. Diese La geübersicht 11 enthält insbesondere Informationen über Wege und deren Zu stand, Personen und deren Position, Klassifizierung bzgl. ihrer Hilfsbedürftig keit und weitere Attribute, die bei der Zuordnung bzw. Erkennung der Person helfen, z.B. textliche Beschreibungen der Kleidung oder photographische Auf nahmen der Person. By means of a structured overflight, an image data stream 6 is detected by means of imaging sensors and processed on-board (through intelligent processing) to generate a first situational image as a situational overview for the approaching rescue forces. This information is also sent to a central server for storage as a situational overview 11/database. This overview of the situation 11 contains in particular information about routes and their condition, people and their position, classification with regard to their need for assistance and other attributes that help with the assignment or identification of the person, e.g. textual descriptions of the clothing or photographs of the person Person.
Personenerfassung person registration
Als eine schnelle Entscheidungshilfe für die Rettungskräfte und Einsatzleitung führen die Drohnen neben dem Entdecken und einem automatischen Verfol gen von hilfsbedürftigen Personen eine Vorsichtung durch, d.h. sie klassifiziert nach Hilfsbedürftigkeitskategorien (grün, gelb, rot) basierend auf ihren Posen (gehend/stehend, sitzend oder liegend). As a quick decision-making aid for rescue workers and operations management, the drones not only detect and automatically track people in need of help, but also carry out a screening, i.e. they classify them according to need for help categories (green, yellow, red) based on their poses (walking/standing, sitting or lying).
Weitere Datenerfassung Die einzelnen Einsatzkräfte 4 rufen auf einem mobilen Gerät 7, wie beispiels weise einem Tablet die Informationen des BVLOS-UAVs in übersichtlich aufbe reiteter Form aus der Lageübersicht/Datenbank ab. Sie fordern durch einfache und eindeutige Erkundungsaufträge weitere Informationen an. Diese werden dann je nach Auftrag von dem BVLOS-UAV oder anderen BOS-UAVs in Flug routen übersetzt und vollautomatisch abgeflogen, während parallel durch die in den BVLOS-UAV oder BOS-UAV implementiere On-Board-Software/Intelli- genz koordiniert Daten aufgenommen und für die Einsatzkräfte aufbereitet und komprimiert werden. More data collection The individual task forces 4 call up the information from the BVLOS UAV in a clearly prepared form from the situation overview/database on a mobile device 7, such as a tablet, for example. They request more information through simple and clear reconnaissance missions. Depending on the order, these are then translated into flight routes by the BVLOS-UAV or other BOS-UAVs and flown off fully automatically, while data is recorded in parallel by the on-board software/intelligence implemented in the BVLOS-UAV or BOS-UAV and processed and compressed for the emergency services.
Datenverarbeitung data processing
Die während der Ausführung eines Erkundungsauftrages anfallende Sensorda ten von allen Sensorträgern werden nicht ausschließlich in einer Bodenkontroll station/Einsatzleitung verarbeitet und ausgewertet, sondern werden bereits di rekt in dem jeweiligen Sensorträger, beispielsweise der Drohne, analysiert und durch Kl-gestützte Prozesse auf wenige, aber aussagefähige Informationen, sog „Meldungen", reduziert. Vorteilhafterweise können diese auch über Verbin dungen mit geringen Bandbreite zu der Bodenkontrollstation/Einsatzleitung 11/Datenbank oder einer anderen zentralen Stelle (Portal zur digitalen Lageer fassung, -Verwaltung und -darstellung) übertragen werden. Diese Meldungen enthalten insbesondere geografische Position, Hilfsbedürftigkeitsklasse sowie eine bildliche oder automatisch extrahierte semantische Beschreibung von in dem Gebiet 10 befindlichen Personen 5, z.B. eine automatisch extrahierte Be schreibung der Bekleidung (blaue Hose, weißes T-Shirt) und/oder ein Bildaus schnitt von der Person. Statt oder ergänzend zu einem Bild kann auch ein kurzer Videoclip (z.B. eine „gif-Datei") aus mehreren Bildausschnitten erzeugt werden. Auch kann aus mehreren niedrig aufgelösten Bildausschnitten ein etwas höher aufgelöstes Bild der Person generiert werden. The sensor data from all sensor carriers generated during the execution of a reconnaissance mission is not exclusively processed and evaluated in a ground control station/operational command, but is already analyzed directly in the respective sensor carrier, for example the drone, and by AI-supported processes on a few, but Meaningful information, so-called "messages", reduced. Advantageously, these can also be transmitted via connections with low bandwidth to the ground control station/operations control 11/database or another central location (portal for digital situation detection, management and display). This Reports contain in particular geographic position, need for assistance class and a pictorial or automatically extracted semantic description of persons 5 located in the area 10, e.g. an automatically extracted description of the clothing (blue trousers, white T-shirt) and/or an image section from the person. Instead of or in addition to an image, a short video clip (e.g. a "gif file") can be generated from several image sections. A somewhat higher-resolution image of the person can also be generated from several low-resolution image sections.
In gleicher Weise werden auch die Positionen von Einsatzkräften 4 und/oder Einsatzfahrzeugen sowie deren Zugehörigkeitsklasse zu einer BOS (z.B. zu der Feuerwehr) erfasst und übermittelt. In the same way, the positions of emergency services 4 and/or emergency vehicles and their affiliation class to an BOS (e.g. to the fire brigade) are recorded and transmitted.
Diese komprimierten Informationen einzelner Sensorträger 2 werden in dem Einsatzleitwagen 11 als Bodenkontrollstation und Leitstelle zusammengeführt und können dann zeitnah im laufenden Einsatz auf üblichen Endgeräten 7 (Smartphones/Tablet-PCs/ Pads/ med. Datenerfassungsgeräten usw.) von Ein satzkräften 4 in Form eines zusätzlichen Darstellungsebene auf einer digitalen Lagekarte abgerufen werden. This compressed information from individual sensor carriers 2 is brought together in the command vehicle 11 as a ground control station and control center and can then be promptly used on standard end devices 7 (Smartphones/tablet PCs/pads/med. Data acquisition devices, etc.) can be accessed by emergency services 4 in the form of an additional display level on a digital situation map.
Die von weiteren Sensorträgern, insbesondere Bildinformationen der Erkun dungsaufträge weiterer Drohnen oder Aufnahmegeräten anderer Beteiligter, wie z.B. Bodenkräften mit z.B. Tablet, werden ebenfalls zusammengeführt, durch Kl - gestützte Prozesse komprimiert und auf wenige, aber aussagefä hige Informationen reduziert. Diese Informationen werden ebenfalls in die La geübersicht bzw. die Datenbank eingepflegt und können dann zeitnah im lau fenden Einsatz den Einsatzkräften - speziell der Einsatzleitung vor Ort - auf üb lichen Endgeräten (Smartphones / Pad / med. Datenerfassungsgeräte) zur Verfügung gestellt werden. Die Informationen werden dort u.a. in einer digita len Lagekarte z. B. als Layer dargestellt. The data from other sensor carriers, in particular image information from the reconnaissance missions of other drones or recording devices of other participants, such as ground forces with e.g. tablets, are also brought together, compressed by AI-supported processes and reduced to a few but meaningful pieces of information. This information is also entered into the situation overview or the database and can then be made available to the emergency services - especially the on-site operations management - on the usual end devices (smartphones / pad / medical data acquisition devices) in a timely manner during the ongoing operation. The information is presented there, among other things, in a digital situation map, e.g. B. shown as a layer.
Der hohe Automatisierungsgrad des BVLOS-UAVs und die Kl-basierte Auswer tung und Aufbereitung der Daten erlaubt eine maximale Unterstützung der Einsatzkräfte mit relevanten Informationen bei minimalem zusätzlichem Ar beitsaufwand. The high degree of automation of the BVLOS-UAV and the AI-based evaluation and processing of the data allows the emergency services to be given maximum support with relevant information with a minimum of additional work.
Lageverfolgung location tracking
Bei wiederholter Lageerkundung, lässt sich die räumliche Dynamik des Einsat zes darstellen und auch die Vollständigkeit von versorgten, zu unversorgten Personen. Ein personenbezogenes Tracking (z. B. Patienten) ermöglicht in die sem Beispiel einen zeitnahen Abgleich von personenbezogenen Informatio nen, wie beispielsweise Position, Kleidung und/oder Hilfsbedürftigkeit. Diese wiederholte Lageerkundung wird mit kleineren Drohnen (von BOS - Einhei ten) abschnittsbezogen ergänzt und ermöglicht ein leicht zu aktualisierendes, skalierbares Lagebild. If the situation is reconsidered repeatedly, the spatial dynamics of the deployment can be shown and also the completeness of people who are cared for and those who are not. In this example, personal tracking (e.g. patients) enables a timely comparison of personal information, such as position, clothing and/or need for help. This repeated situation reconnaissance is supplemented with smaller drones (from BOS units) on a section-by-section basis and enables an easily updated, scalable situation picture.
Die Kl - basierte Luftbilderfassung der Opfer wird mit der händischen Regist rierung der Einsatzkräfte zusammengeführt und abgeglichen. Hier verbindet eine Datenbank, die klassische TEL - Arbeit (Technische Einsatzleitung), mit den optischen, Kl - gestützten Lageinformationen. Hiermit wird nicht nur eine Vollständigkeitsbetrachtung ermöglicht, sondern es erfolgt auch eine Zuord nung von Opfern unmittelbar in der Prozesskette der Lagebearbeitung. Insbe sondere kann die Frage beantwortet werden: „Wo ist eigentlich Person X?". The AI-based aerial photograph of the victims is merged and compared with the manual registration of the emergency services. Here a database connects the classic TEL work (technical operations management) with the optical, AI-supported situation information. This will not just one completeness assessment, but there is also an allocation of victims directly in the process chain of handling the situation. In particular, the question can be answered: "Where is person X?".
Sofern keine eindeutige Zuordnung von Opfern möglich ist, kann die Daten bank auch zu Re-Identifikation eingesetzt werden. If it is not possible to clearly allocate victims, the database can also be used for re-identification.
Bildmetadaten image metadata
Um eine Anzeige und eine Nachverfolgung von Objekten in einer Lagekarte zu ermöglichen, werden Bildmetadaten erfaßt. Hierzu zählen u.a. die Aufnahme parameter der Einzelbilder inclusive der BD-Position und 3D-Ausrichtung der Kamera, Zoom-Einstellung u.a., mit deren Hilfe man aus den Bildkoordinaten und ggf. vorhandenen Höhenmodellen des Gebiets die 3D-Geokoordinaten von abgelichteten Objekten ermitteln kann. Image metadata is collected to enable display and tracking of objects in a location map. These include the recording parameters of the individual images, including the BD position and 3D alignment of the camera, zoom setting, etc., with the help of which the 3D geocoordinates of photographed objects can be determined from the image coordinates and any existing elevation models of the area.
Information von Einsatzkräften Information from emergency services
Nachrückende Rettungskräfte 4 haben mobile Geräte 7 mit einer digitalen La gekarte, dort werden die Positionen der durch die Drohnen gemeldeten Perso nen eingetragen. Der Einsatzleiter unterteilt sie auf die Einsatzabschnitte und vergibt basierend entsprechende Aufträge. Responding rescue workers 4 have mobile devices 7 with a digital map, where the positions of the persons reported by the drones are entered. The operations manager divides them into the operational sections and assigns corresponding orders based on this.
Personenverfolgung people tracking
Durch die Anzeige der Positionen der verletzten Personen auf der digitalen La gekarte sowie durch deren bildliche und/oder textuelle Beschreibung wird den Einsatzkräften eine schnelle Auffindung und Identifizierung der von der Drohne gemeldeten Personen ermöglicht. Bei Antreffen einer hilfsbedürftigen Person können die Einsatzkräfte ein Foto der Person aufnehmen. Durch einen Kl-ba- sierter Abgleich mit dem Drohnenbild (basierend auf einem Kl-Re-Identifizie- rungsverfahren anhand bildlichen oder semantischen Informationen) kann die korrekte Wiedererkennung der gesuchten Person bestätigt werden. Dadurch kann eine Mehrdeutigkeitsauflösung durch den die Rettungskraft oder durch einen speziell dafür eingesetzten Operator in der Leitstelle erfolgen. Durch die Drohnenmeldung sollte ein Patientendatensatz bereits im System an gelegt worden sein (mit seinem Auffindungsort), ansonsten wird ein neuer Da tensatz angelegt. Nun kann eine richtige Sichtung und medizinische Erstversor gung beginnen. By displaying the positions of the injured persons on the digital map and by describing them in images and/or text, the emergency services are able to quickly find and identify the persons reported by the drone. If a person in need of help is found, the emergency services can take a photo of the person. Correct recognition of the person being searched for can be confirmed by means of a Kl-based comparison with the drone image (based on a Kl-re-identification process using pictorial or semantic information). As a result, an ambiguity can be resolved by the rescue worker or by an operator in the control center who is specially deployed for this purpose. A patient data record should already have been created in the system as a result of the drone report (with its location), otherwise a new data record will be created. Proper screening and medical first aid can now begin.
Bei wiederholter Lageerkundung, lässt sich so die räumliche Dynamik des Ein satzes darstellen und auch die Vollständigkeit der Erfassung von versorgten und unversorgten Personen gewährleistet werden. In the case of repeated situation reconnaissance, the spatial dynamics of the operation can be shown and the completeness of the recording of persons who have been cared for and not cared for can be guaranteed.
Diese wiederholte Lageerkundung wird mit weiteren kleineren Drohnen (BOS- Einheiten) abschnittsbezogen ergänzt und ermöglicht ein leicht zu aktualisie rendes, skalierbares Lagebild. This repeated reconnaissance of the situation is supplemented with other smaller drones (BOS units) on a section-by-section basis and enables an easily updatable, scalable picture of the situation.
Suche Seek
Die von den Rettungskräften aufgenommenen Bilder (Einzelbilder und/oder Videostreams) werden zusammen mit den Patientendaten in der Daten bank/Lageübersicht 11 abgelegt. Wenn die Person keine Papiere bei sich trägt und nicht identifizierbar bleibt, werden diese Bilder bei der Suche der Angehö rigen hilfreich sein. Dabei kann eine Suche anhand der von den Angehörigen zur Verfügung gestellten Fotos oder einer textuellen Beschreibung passieren.The images (single images and/or video streams) taken by the rescue services are stored in the database/situation overview 11 together with the patient data. If the person is undocumented and remains unidentifiable, these images will be helpful in tracing the family. A search can be carried out using the photos provided by the relatives or a textual description.
In ersten Fall kann eine Gesichts-Re-Identifikation auf Bildern, welche Ret tungssanitäter vor Ort aufgenommen haben, durchgeführt werden. Im zwei ten Fall kann ein Abgleich der textuellen Beschreibung der Kleidung mit der durch Kl automatisch generierten semantischen Beschreibung von in der Da tenbank erfassten Bildern von Rettungskräften gefundenen Personen gesche hen. In the first case, facial re-identification can be carried out on images taken by paramedics on site. In the second case, the textual description of the clothing can be compared with the semantic description automatically generated by Kl of images of people found by rescue workers recorded in the database.
Passierbarkeit der Straßenabschnitte passability of the road sections
Durch eine Erfaßung von Fahrzeugen und deren Trajektorien können bei spielsweise Rückschlüsse auf die Passierbarkeit der Straßen gemacht werden. Dies kann beispielsweise durch Ausbleiben von Verkehr an bestimmten nor malerweise hochfrequentierten Straßenabschnitten oder durch Feststellung häufiger Wendemanöver geschehen. By detecting vehicles and their trajectories, for example, conclusions can be drawn about the passability of the roads. This can happen, for example, when there is no traffic on certain normally highly frequented road sections or by detecting frequent turning manoeuvres.

Claims

Patentansprüche patent claims
1. Verfahren zur Lageerkundung und/oder Einsatzunterstützung in einem räumlichen Gebiet, z.B. zur Unterstützung von Behörden mit Organisa- tions- und Sicherheitsaufgaben (BOS) insbesondere bei der Bewälti gung und/oder Abwehr einer Gefahrenlage in dem Gebiet, g e ke n n z e i c h n e t d u rc h 1. Procedures for situation reconnaissance and/or operational support in a spatial area, e.g. to support authorities with organizational and security tasks (BOS), in particular when dealing with and/or averting a dangerous situation in the area, identifi ed by
Erstellen einer Lageübersicht über das Gebiet, wobei die Lageübersicht zumindest eines einer Mehrzahl von Attributen der Lage in Form von Metadaten enthält und in Form einer Datenbank verwaltet wird, und Abruf und/oder Aktualisierung und/oder Ergänzung der Lageübersicht durch eine oder mehrere Datenerfassungsvorrichtungen in dem Ge biet, eine Einsatzleitstelle und/oder eines oder mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, und/oder Versorgungsinstitutionen, insbe sondere Hilfsorganisationen wie Lazarette, Krankenhäuser und/oder Ärzte sowie Stellen, welche sich mit Information der Angehörigen und Nachforschungen über vermißte Personen beschäftigen, wie z.B. Kreisauskunftsbüros (KAB). Creating a situational overview of the area, the situational overview containing at least one of a plurality of attributes of the situation in the form of metadata and being managed in the form of a database, and retrieval and/or updating and/or supplementing the situational overview by one or more data acquisition devices in the area, an operations control center and/or one or more mobile devices from emergency services that have been deployed to the area or are present in the area, and/or supply institutions, in particular aid organizations such as military hospitals, hospitals and/or doctors and agencies, which deal with informing relatives and researching missing persons, such as district information offices (KAB).
2. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeich net, dass zum Erstellen der Lageübersicht eine oder mehrere der fol genden Maßnahmen getroffen wird: a) Überfahrt und/oder Überflug des Gebiets mit einem oder mehreren bemannten oder unbemannten Land- , Wasser- und/oder Luftfahrzeu gen als Sensorträger, insbesondere mit einem oder mehreren bemann ten oder unbemannten Luftfahrt-Systemen, z.B. einem Helikopter oder einem UAS (Unmanned Aerial System), als Datenerfassungsvorrichtung b) Aufnahme eines oder mehrerer Bilder bzw. Bildströme zumindest von Bereichen des Gebiets durch die mobilen oder stationären Sensor- träger und/oder durch mobile Geräte von Einsatzkräften, die zum Ein satz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, c) Schritthaltende oder nachträgliche automatische Auswertung der aufgenommenen Bildern und/oder Videos sowie ggf. damit verknüpf ten Bildmetadaten (wie z.B. Aufnahmeposition und Ausrichtung der Kamera während der Aufnahme zur Gewinnung von semantischen In formationen (Attributen) d) Erstellung der Lageübersicht enthaltend zumindest eines einer Mehrzahl der Attribute der Lage und/oder e) Übermittlung eines, mehrerer oder aller der Attribute der Lageüber sicht als Meldung an die Datenbank und ggfls. direkt an eine Einsatz leitstelle und/oder an eines oder mehrere mobile Geräte von Einsatz kräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Ge biet anwesend sind, und/oder an Versorgungsinstitutionen, insbeson dere Hilfsorganisationen, Lazarette, Krankenhäuser und/oder Ärzte. 2. Method according to the preceding claim, characterized in that one or more of the following measures is taken to create the situation overview: a) crossing and/or overflight of the area with one or more manned or unmanned land, water and/or or aircraft as sensor carriers, in particular with one or more manned or unmanned aviation systems, e.g. a helicopter or a UAS (Unmanned Aerial System), as a data acquisition device b) Recording one or more images or image streams at least of areas of the area by the mobile or stationary sensor carrier and/or through mobile devices by emergency services who are deployed to the area or are present in the area, c) Continuous or subsequent automatic evaluation of the recorded images and/or videos and any image metadata linked to them (e.g Recording position and orientation of the camera during the recording to obtain semantic information (attributes) d) Creation of the situational overview containing at least one of a plurality of the attributes of the situation and/or e) Transmission of one, several or all of the attributes of the situational overview as a report the database and possibly directly to an operations control center and/or to one or more mobile devices of emergency services who have been deployed to the area or are present in the area and/or to supply institutions, in particular aid organizations, military hospitals and/or Doctors.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass in der Datenbank nach Personen anhand von Attri buten der Person gesucht werden kann, insbesondere anhand von tex- tuellen Beschreibungen, beispielsweise zur Kleidung der Person, und/oder anhand eines oder mehrerer Bilder der Person. 3. The method as claimed in one of the preceding claims, characterized in that the database can be used to search for people based on attributes of the person, in particular based on textual descriptions, for example of the person's clothing, and/or based on one or more pictures of the person.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß die Lageinformation bzw. einzelne Attribute der La geinformation durch eine Einsatzleitstelle und/oder an eines oder mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Ge biet entsandt sind oder in dem Gebiet anwesend sind, und/oder Ver sorgungsinstitutionen, insbesondere Hilfsorganisationen, Lazarette Krankenhäuser und/oder Ärzte oder auch automatisch anhand von diesen vorliegenden Informationen wie Bildern etc. verifiziert, ergänzt oder aktualisiert werden. 4. The method according to any one of the preceding claims, characterized in that the location information or individual attributes of the location geinformation sent by a command center and / or to one or more mobile devices of emergency services, which are biet for use in the Ge or in which Area are present, and / or supply institutions, especially aid organizations, military hospitals and / or doctors or automatically based on this available information such as images, etc. verified, supplemented or updated.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß die Lageübersicht eines, mehrere oder alle der fol genden Attribute enthält: a) Erkannte Objekte und Gebiete, insbesondere Personen, Fahrzeuge, Glutnester, Wege b) Zugehörigkeit zu einer oder mehreren Klassen, insbesondere Zuge hörigkeit von Personen oder Fahrzeugen zu bestimmten BOS, bei spielsweise Polizei, Feuerwehr, notärztlicher Rettungsdienst, Techni sches Hilfswerk, c) Abstrahierte Informationen zu einem oder mehreren Objekten, ins besondere Zusammenfassung von mehreren sich zusammen aufhal tenden Personen zu Personengruppen d) Informationen über Bereiche des Gebietes, deren Erkundung bereits erfolgt ist, e) Informationen über Bereiche des Gebietes, deren Erkundung und/o der Einsicht aus der Luft erschwert oder unmöglich ist, insbesondere durch Einsatzkräfte am Boden zu erkundende Bereiche, insbesondere vor Einsicht von oben abgeschattete Bereiche, Wald, Gebäudeinneres, Bereiche unter einer Wasseroberfläche, f) Geoposition der einzelnen Objekte und/oder Gebiete g) Hilfsbedürftigkeit von erkannten Personen, gegebenenfalls unter Einteilung in Klassen, h) Darstellungen von in dem Bildstrom erkannten Objekte, insbeson dere Personen in einer oder mehreren nachfolgend geschilderten For men: 5. The method according to any one of the preceding claims, characterized in that the location overview contains one, several or all of the following attributes: a) Recognized objects and areas, in particular people, vehicles, embers, paths b) affiliation to one or more classes, in particular affiliation of people or vehicles to certain BOS, for example police, fire brigade, emergency medical service, technical relief organization, c) Abstracted information on one or more objects, in particular summarization of several people staying together to form groups of people d) Information about areas of the area that have already been explored, e) Information about areas of the area that have been explored and/or viewed is difficult or impossible from the air, in particular areas to be explored by emergency services on the ground, in particular areas shaded from view from above, forest, interior of buildings, areas below the water surface, f) Geoposition of the individual objects and/or areas g) Need for help of identified persons, where applicable, subdivided into classes, h) D Representations of objects recognized in the image stream, in particular people, in one or more of the forms described below:
- bildliche Darstellung als Einzelbild, insbesondere auch hochaufgelöste Darstellung, welche durch Verarbeitung mehreren Bildern mit Hilfe von Superresolutionsverfahren und/oder durch Auswahl der besten Kandidaten erstellt wird - Visual representation as a single image, in particular also a high-resolution representation, which is created by processing multiple images using super-resolution methods and/or by selecting the best candidates
- Darstellung als ein kurzes Videoclip - Presentation as a short video clip
- semantische oder textuelle Beschreibung gekennzeichnet durch ein zugewiesenes Identifikationskennzeichen und weitere Attribute, insbe sondere auch Bekleidungsattribute und deren Beschreibung und/oder sonstige besondere Merkmale von in dem Bildstrom erfaßten Perso nen, i) Informationen zur räumlichen Bewegung und/oder vergangenen, ak tuellen und/oder in der Zukunft erwarteten räumlichen Positionen von, insbesondere in dem Bildstrom erfaßten, Personen und Fahrzeu gen. j) Informationen zur Passierbarkeit der Straßenabschnitte, welche durch Analyse der Bewegungsprofile der im Bildstrom erfaßten Perso nen und Fahrzeuge gewonnen werden, insbesondere durch Ausbleiben von Verkehr an bestimmten normalerweise hochfrequentierten Stra ßenabschnitten oder durch Feststellung häufiger Wendemanöver.- semantic or textual description characterized by an assigned identifier and other attributes, in particular also clothing attributes and their description and/or other special features of persons recorded in the image stream, i) information on spatial movement and/or past, current and/or or spatial positions expected in the future j) Information on the passability of the road sections, which is obtained by analyzing the movement profiles of the persons and vehicles recorded in the image stream, in particular by the absence of traffic on certain normally highly frequented road sections or by Identification of frequent turning manoeuvres.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß die Lageübersicht als Attribute die Hilfsbedürftigkeit von in dem Bildstrom erkannten Personen enthält, wobei die Hilfsbe dürftigkeit einer Person in eine Mehrzahl von Klassen, insbesondere Hilfsbedürftigkeitsstatus, eingeteilt wird. 6. The method according to any one of the preceding claims, characterized in that the situation overview contains the need for help of persons recognized in the image stream as attributes, the need for help of a person being divided into a plurality of classes, in particular need for help status.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, die Hilfsbedürftigkeit von in den Einzelbildern und/oder in dem Bildstrom erkannten Personen anhand der Personenpose, ins besondere liegend, sitzend oder stehend, der Gliedmaßenstellung und/oder dergleichen abgeschätzt wird, insbesondere mittels Skelet- tie rungsverfahren. 7. The method according to any one of the preceding claims, characterized in that the need for help of persons identified in the individual images and/or in the image stream is estimated on the basis of the person's pose, in particular lying, sitting or standing, the position of the limbs and/or the like, in particular by means of skeletonization process.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß die Lageübersicht als Attribute den Hilfsbedürftig keitsstatus von Personen enthält. 8. The method according to any one of the preceding claims, characterized in that the situation overview contains the need for help keitsstatus of people as attributes.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Attribute der Lageübersicht für die an der Abwehr und/oder Bewältigung der Gefahrenlage Beteiligte, ins besondere Einsatzkräfte und oder Einsatzleitungskräfte, die zum Ein satz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind o- der den Einsatz von der ferne aus leiten, und/oder Versorgungsinstitu tionen, insbesondere Hilfsorganisationen, Lazarette, Krankenhäuser und/oder Ärzte, aufbereitet, insbesondere bedarfsgerecht aufbereitet, ergänzt oder aktualisiert werden, insbesondere durch eine Anzeige in einer digitalen Lagekarte oder durch eine Übernahme in das digitale Notarzt-Protokoll, insbesondere zur späteren Übermittlung an ein Krankenhaus-Informationssystem (KIS), z.B. mittels eines interdiszipli nären Versorgungsnachweises (IVENA). 9. The method according to any one of the preceding claims, characterized in that the attributes of the overview of the situation for those involved in the defense and / or management of the dangerous situation, in particular emergency services and or operations management personnel who are sent to a set in the area or in the area are present or who manage the operation remotely, and/or care institutions, in particular aid organizations, military hospitals, hospitals and/or doctors, are processed, in particular processed, supplemented or updated as required, in particular by displaying them on a digital situation map or by being included in the digital emergency doctor protocol, in particular for later transmission to an Hospital information system (HIS), eg using an interdisciplinary proof of care (IVENA).
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß eine Wiedererkennung von Objekten, welche im System erfaßt worden sind, ausgehend von zur Verfügung gestellten Informationen, insbesondere Bildern und oder einzelnen oder mehre ren Attributen aus einer anderen Quelle ermöglicht wird 10. Method according to one of the preceding claims, characterized in that a recognition of objects which have been detected in the system is made possible on the basis of information made available, in particular images and/or one or more attributes from another source
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß eine Wiedererkennung von Personen anhand einer textuellen und oder semantischen Beschreibung, insbesondere einer automatisch extrahierten, ermöglicht wird 11. The method according to any one of the preceding claims, characterized in that a recognition of persons based on a textual and/or semantic description, in particular an automatically extracted one, is made possible
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß einer, mehrere oder sämtliche der Verfahrens schritte unter Unterstützung von künstlicher Intelligenz (Kl, AI) durch geführt wird. 12. Method according to one of the preceding claims, characterized in that one, several or all of the method steps are carried out with the support of artificial intelligence (KI, AI).
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die Datenbank in einem zentralen Server oder ver teilt gespeichert wird. 13. The method according to any one of the preceding claims, characterized in that the database is stored in a central server or distributed.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß der Anflug oder Überflug des Gebietes mit dem UAS außerhalb der Sichtweite des Operators des UAS, d.h. „beyond visual line of sight" (BVLOS) erfolgt. 14. The method according to any one of the preceding claims, characterized in that the approach or overflight of the area with the UAS takes place outside the visual range of the operator of the UAS, i.e. "beyond visual line of sight" (BVLOS).
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, daß das UAS ein senkrecht startendes und landendes System, VTOL-UAS, insbesondere ein Starrflüglersystem, ist. 15. The method according to any one of the preceding claims, characterized in that the UAS is a vertical take-off and landing system, VTOL-UAS, in particular a fixed-wing system.
16. System zur Lageerkundung und/oder Einsatzunterstützung in einem räumlichen Gebiet, z.B. zur Unterstützung von Behörden mit Organisa- tions- und Sicherheitsaufgaben (BOS) insbesondere bei der Bewälti gung und/oder Abwehr einer Gefahrenlage in dem Gebiet, g e ke n n z e i c h n e t d u rc h eine oder mehrere Vorrichtungen zum Erstellen einer Lageübersicht über das Gebiet, wobei die Lageübersicht zumindest eines einer Mehr zahl von Attributen der Lage in Form von Metadaten enthält, eine Datenbank, die die Lageübersicht speichert und verwaltet, und mindestens eine Vorrichtung zum Abruf und/oder Aktualisierung und/oder Ergänzung der Lageübersicht, insbesondere eine oder meh rere Datenerfassungsvorrichtungen in dem Gebiet, eine Einsatzleit stelle und/oder eines oder mehrere mobile Geräte von Einsatzkräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwe send sind, und/oder Versorgungsinstitutionen, insbesondere Hilfsorga nisationen wie Lazarette, Krankenhäuser und/oder Ärzte sowie Stellen, welche sich mit Information der Angehörigen und Nachforschungen über vermißte Personen beschäftigen, wie z.B. Kreisauskunftsbüros (KAB). 16. System for situation reconnaissance and/or operational support in a spatial area, eg to support authorities with organizational and security tasks (BOS), in particular when dealing with and/or averting a dangerous situation in the area, marked by one or more devices for creating a situational map of the area, the situational map containing at least one of a plurality of attributes of the situation in the form of metadata, a database storing and managing the situational map, and at least one device for retrieval and/or updating and/or addition to the situation overview, in particular one or more data acquisition devices in the area, an operations control center and/or one or more mobile devices of emergency services that have been deployed to the area or are present in the area, and/or Supply institutions, in particular aid organizations such as field hospitals, hospitals and/or doctors, as well as bodies that deal with informing relatives and researching missing persons, such as district information offices (KAB).
17. System zur Lageerkundung und/oder Einsatzunterstützung Anspruch 16, gekennzeichnet durch mindestens eine Vorrichtung zum Durchfüh ren einer oder mehrerer der folgenden Maßnahmen: a) Überfahrt und/oder Überflug des Gebiets mit einem oder bemann ten oder unbemannten mehreren Land- , Wasser- und/oder Luftfahr zeugen als Sensorträger, insbesondere mit einem oder mehreren be mannten oder unbemannten Luftfahrt-Systemen, z.B. UAS (Unmanned Aerial System), als Datenerfassungsvorrichtung b) Aufnahme eines oder mehrerer Bilder bzw. Bildströme zumindest von Bereichen des Gebiets durch die mobilen oder stationären Sensor träger und/oder durch mobile Geräte von Einsatzkräften, die zum Ein satz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind, c) Schritthaltende oder nachträgliche automatische Auswertung der aufgenommenen Bildern und/oder Videos sowie ggf. damit verknüpf ten Bildmetadaten (wie z.B. Aufnahmeposition und Ausrichtung der Kamera während der Aufnahme zur Gewinnung von semantischen In formationen (Attributen) d) Erstellung der Lageübersicht enthaltend zumindest eines einer Mehrzahl der Attribute der Lage und/oder e) Übermittlung eines, mehrerer oder aller der Attribute der Lageüber sicht als Meldung an die Datenbank und ggfls. direkt an eine Einsatz leitstelle und/oder an eines oder mehrere mobile Geräte von Einsatz kräften, die zum Einsatz in das Gebiet entsandt sind oder in dem Ge biet anwesend sind, und/oder an Versorgungsinstitutionen, insbeson dere Hilfsorganisationen, Lazarette, Krankenhäuser und/oder Ärzte. 17. System for situation reconnaissance and/or operational support Claim 16, characterized by at least one device for carrying out one or more of the following measures: a) Crossing and/or overflight of the area with one or more manned or unmanned land, water and /or aircraft as sensor carriers, in particular with one or more manned or unmanned aviation systems, e.g. UAS (Unmanned Aerial System), as data acquisition device b) Recording of one or more images or image streams at least of areas of the area by the mobile or stationary Sensor carriers and/or through mobile devices by emergency services who are deployed to the area or are present in the area, c) Continuous or subsequent automatic evaluation of the recorded images and/or videos and any associated image metadata (such as Eg recording position and orientation of the camera during recording to obtain semanti cal information (attributes) d) Creation of the situation overview containing at least one of a plurality of attributes of the situation and/or e) Transmission of one, several or all of the attributes of the situation overview as a report to the database and, if necessary. directly to an operations control center and/or to one or more mobile devices of emergency services who have been deployed to the area or are present in the area and/or to supply institutions, in particular aid organizations, military hospitals and/or Doctors.
18. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 17, dadurch gekennzeichnet, dass die Vorrich tung zum Abruf und/oder Aktualisierung und/oder Ergänzung der La geübersicht eingerichtet ist, in der Datenbank nach Personen anhand von Attributen der Person zu suchen, insbesondere anhand von textu- ellen Beschreibungen, beispielsweise zur Kleidung der Person, und/o der anhand eines oder mehrerer Bilder der Person. 18. System for situation reconnaissance and/or operational support according to one of claims 16 to 17, characterized in that the device is set up for retrieving and/or updating and/or supplementing the situation overview in the database by person using attributes of the person search, in particular using textual descriptions, for example of the person's clothing, and/or using one or more images of the person.
19. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, daß die Vorrichtung zum Abruf und/oder Aktualisierung und/oder Ergänzung der Lageüber sicht eingerichtet ist, die Lageinformation bzw. einzelne Attribute der Lageinformation anhand von dieser vorliegenden Informationen wie Bildern etc. zu verifizieren, zu ergänzen oder zu aktualisieren. 19. System for situation reconnaissance and/or mission support according to one of claims 16 to 18, characterized in that the device is set up to call up and/or update and/or supplement the situation overview, the situation information or individual attributes of the situation information based on this to verify, supplement or update available information such as images etc.
20. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, daß die Lageüber sicht eines, mehrere oder alle der folgenden Attribute enthält: a) Erkannte Objekte und Gebiete, insbesondere Personen, Fahrzeuge, Glutnester, Wege b) Zugehörigkeit zu einer oder mehreren Klassen, insbesondere Zuge hörigkeit von Personen oder Fahrzeugen zu bestimmten BOS, bei spielsweise Polizei, Feuerwehr, Rettungsdienst, Technisches Hilfswerk c) Abstrahierte Informationen zu einem oder mehreren Objekten, ins besondere Zusammenfassung von mehreren sich zusammen aufhal tenden Personen zu Personengruppen d) Informationen über Bereiche des Gebietes, deren Erkundung bereits erfolgt ist, e) Informationen über Bereiche des Gebietes, deren Erkundung und/o der Einsicht aus der Luft erschwert oder unmöglich ist, insbesondere durch Einsatzkräfte am Boden zu erkundende Bereiche, insbesondere vor Einsicht von oben abgeschattete Bereiche, Wald, Gebäudeinneres, Bereiche unter einer Wasseroberfläche, f) Geoposition der einzelnen Objekte und/oder Gebiete g) Hilfsbedürftigkeit von erkannten Personen, gegebenenfalls unter Einteilung in Klassen, insbesondere Hilfsbedürftigkeitsstatus, h) Darstellungen von in dem Bildstrom erkannten Objekte, insbeson dere Personen in einer oder mehreren nachfolgend geschilderten For men: 20. System for situation reconnaissance and/or operational support according to one of Claims 16 to 19, characterized in that the situation overview contains one, several or all of the following attributes: a) recognized objects and areas, in particular people, vehicles, embers, paths b ) affiliation to one or more classes, in particular affiliation of persons or vehicles to certain BOS, for example police, fire brigade, rescue service, technical relief agency c) Abstracted information on one or more objects, in particular summary of several people staying together Groups of people d) information about areas of the area that have already been explored, e) Information about areas of the area that are difficult or impossible to explore and/or view from the air, in particular areas to be explored by emergency services on the ground, in particular areas shaded from view from above, forest, interior of buildings, areas below the water surface, f ) Geoposition of the individual objects and/or areas g) Need for help of recognized persons, possibly divided into classes, in particular need for help status, h) Representations of objects recognized in the image stream, in particular persons, in one or more of the forms described below:
- bildliche Darstellung als Einzelbild, insbesondere auch hochaufgelöste Darstellung, welche durch Verarbeitung mehreren Bildern mit Hilfe von Superresolutionsverfahren und/oder durch Auswahl der besten Kandidaten erstellt wird - Visual representation as a single image, in particular also a high-resolution representation, which is created by processing multiple images using super-resolution methods and/or by selecting the best candidates
- Darstellung als ein kurzes Videoclip - Presentation as a short video clip
- semantische oder textuelle Beschreibung gekennzeichnet durch ein zugewiesenes Identifikationskennzeichen und weitere Attribute, insbe sondere auch Bekleidungsattribute und deren Beschreibung und/oder sonstige besondere Merkmale von in dem Bildstrom erfaßten Perso nen, i) Informationen zur räumlichen Bewegung und/oder vergangenen, ak tuellen und/oder in der Zukunft erwarteten räumlichen Positionen von, insbesondere in dem Bildstrom erfaßten, Personen und Fahrzeu gen. j) Informationen zur Passierbarkeit der Straßenabschnitte, welche durch Analyse der Bewegungsprofile der im Bildstrom erfaßten Perso nen und Fahrzeuge gewonnen werden, insbesondere durch Ausbleiben von Verkehr an bestimmten normalerweise hochfrequentierten Stra ßenabschnitten oder durch Feststellung häufiger Wendemanöver.- semantic or textual description characterized by an assigned identifier and other attributes, in particular also clothing attributes and their description and/or other special features of persons recorded in the image stream, i) information on spatial movement and/or past, current and/or or spatial positions expected in the future of people and vehicles, in particular those recorded in the image stream. j) Information on the passability of the road sections, which is obtained by analyzing the movement profiles of the people and vehicles recorded in the image stream, in particular by the absence of traffic certain normally busy stretches of road or by identifying frequent turning manoeuvres.
21. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 20, dadurch gekennzeichnet, daß die Lageüber- sicht als Attribute die Hilfsbedürftigkeit von in dem Bildstrom erkann ten Personen enthält, wobei die Hilfsbedürftigkeit einer Person in eine einer Mehrzahl von Klassen (Hilfsbedürftigkeitsstatus) eingeteilt wird. 21. System for situation reconnaissance and / or operational support according to one of claims 16 to 20, characterized in that the situation view contains the need for help of persons recognized in the image stream as attributes, the need for help of a person being divided into one of a plurality of classes (need for help status).
22. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 21, dadurch gekennzeichnet, die Hilfsbedürftig keit von in den Einzelbildern und/oder in dem Bildstrom erkannten Personen anhand der Personenpose, insbesondere liegend, sitzend o- der stehend, der Gliedmaßenstellung und/oder dergleichen abschätz bar ist, insbesondere mittels Skelettierungsverfahren. 22. System for situation reconnaissance and/or operational support according to one of claims 16 to 21, characterized in that the need for assistance of persons recognized in the individual images and/or in the image stream is based on the pose of the person, in particular lying, sitting or standing, the position of the limbs and/or the like can be estimated, in particular by means of skeletonization methods.
23. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 22, dadurch gekennzeichnet, daß die Lageüber sicht als Attribute den Hilfsbedürftigkeitsstatus von Personen enthält. 23. System for situation reconnaissance and/or operational support according to one of claims 16 to 22, characterized in that the situation overview contains the need for assistance status of persons as attributes.
24. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 23, dadurch gekennzeichnet, daß die Vorrichtung zum Abruf und/oder Ak tualisierung und/oder Ergänzung der Lageübersicht eingerichtet ist, die Attribute der Lageübersicht für die an der Abwehr und/oder Bewälti gung der Gefahrenlage Beteiligte, insbesondere Einsatzkräfte und oder Einsatzleitungskräfte, die zum Einsatz in das Gebiet entsandt sind oder in dem Gebiet anwesend sind oder den Einsatz von der ferne aus lei ten, und/oder Versorgungsinstitutionen, insbesondere Hilfsorganisati onen, Lazarette, Krankenhäuser und/oder Ärzte, aufzubereiten, insbe sondere bedarfsgerecht aufzubereiten, zu ergänzen oder zu aktualisie ren, insbesondere durch eine Anzeige in einer digitalen Lagekarte oder durch eine Übernahme in das digitale Notarzt-Protokoll, insbesondere zur späteren Übermittlung an ein Krankenhaus-Informationssystem (KIS), z.B. mittels eines interdisziplinären Versorgungsnachweises (IVENA). 24. System for situation reconnaissance and/or operational support according to one of claims 16 to 23, characterized in that the device is set up for retrieving and/or updating and/or supplementing the situation overview, the attributes of the situation overview for those involved in defense and/or or management of the dangerous situation, those involved, in particular emergency services and/or command and control personnel who have been dispatched to the area or are present in the area or direct the operation remotely, and/or supply institutions, in particular aid organisations, military hospitals, hospitals and /or doctors, to process, in particular to process, supplement or update as required, in particular by displaying it on a digital situation map or by including it in the digital emergency doctor protocol, in particular for later transmission to a hospital information system (HIS), e.g. by means of an interdisciplinary proof of supply (IVENA).
25. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 24, dadurch gekennzeichnet, daß eine Wiederer kennung von Objekten, welche im System erfaßt worden sich, ausge- hend von zur Verfügung gestellten Informationen, insbesondere Bil dern und oder einzelnen oder mehreren Attributen aus einer anderen Quelle ermöglicht ist. 25. System for situation reconnaissance and/or mission support according to one of claims 16 to 24, characterized in that a recognition of objects which have been detected in the system is based on information provided, in particular images and/or one or more attributes from another source.
26. System zur Lageerkundung und/oder Einsatzunterstützung nach einem der Ansprüche 16 bis 24, dadurch gekennzeichnet, dass die Datenbank in einem zentralen Server oder verteilt gespeichert ist. 26. System for situation reconnaissance and/or mission support according to one of claims 16 to 24, characterized in that the database is stored in a central server or in a distributed manner.
EP22757256.7A 2021-07-23 2022-07-22 Method and system for reconnaissance and/or operational support Pending EP4374306A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021207951.2A DE102021207951A1 (en) 2021-07-23 2021-07-23 Procedures for situation reconnaissance and/or mission support
PCT/EP2022/070686 WO2023002041A1 (en) 2021-07-23 2022-07-22 Method and system for reconnaissance and/or operational support

Publications (1)

Publication Number Publication Date
EP4374306A1 true EP4374306A1 (en) 2024-05-29

Family

ID=82942428

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22757256.7A Pending EP4374306A1 (en) 2021-07-23 2022-07-22 Method and system for reconnaissance and/or operational support

Country Status (3)

Country Link
EP (1) EP4374306A1 (en)
DE (1) DE102021207951A1 (en)
WO (1) WO2023002041A1 (en)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130021475A1 (en) 2011-07-21 2013-01-24 Canant Ross L Systems and methods for sensor control
US10002339B2 (en) * 2013-07-11 2018-06-19 Fluor Technologies Corporation Post-disaster assessment systems and methods
US9665094B1 (en) * 2014-08-15 2017-05-30 X Development Llc Automatically deployed UAVs for disaster response
WO2017223531A1 (en) * 2016-06-24 2017-12-28 Culver Matthew Systems and methods for unmanned aerial vehicles
US9915945B2 (en) * 2016-08-04 2018-03-13 International Business Machines Corporation Lost person rescue drone
CN106325295B (en) * 2016-08-29 2019-04-19 林为庆 A kind of field action situation map generation system and method based on unmanned plane
US10776316B2 (en) 2018-01-05 2020-09-15 Goodrich Corporation Automated multi-domain operational services
DE202018000429U1 (en) 2018-01-27 2018-03-23 Thorsten Surmann Vertical take-off (vertical whistle), horizontal aerodynamic flying unmanned aerial vehicle (UAV, unmanned aerial Verhicle), transport drone in special flying wing hybrid design
EP3784569A4 (en) 2018-05-23 2022-01-26 Planck Aerosystems, Inc. System and method for drone tethering
US11062614B2 (en) * 2018-09-12 2021-07-13 Alliance Solutions Group, Inc. Systems and methods for collecting and analyzing hazardous materials information using an unmanned aerial vehicle
US11275376B2 (en) * 2019-06-20 2022-03-15 Florida Power & Light Company Large scale unmanned monitoring device assessment of utility system components

Also Published As

Publication number Publication date
DE102021207951A1 (en) 2023-01-26
WO2023002041A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
DE112018006556T5 (en) TRAINING A MACHINE LEARNING MODEL WITH DIGITAL AUDIO AND / OR VIDEO
DE102012215544A1 (en) Monitoring a railway line
DE102013019488A1 (en) PHOTO WITH PROTECTION OF THE PRIVACY
DE102017122655A1 (en) METHOD OF DATA EXCHANGE BETWEEN AN IP VIDEO CAMERA AND A SERVER (VARIANTS)
DE102020213360A1 (en) JOB CLASSIFICATION SYSTEM AND PROCEDURES
CN111539338A (en) Pedestrian mask wearing control method, device, equipment and computer storage medium
CN113470346A (en) BIM-based municipal engineering traffic accident emergency processing method and device
WO2015028294A1 (en) Monitoring installation and method for presenting a monitored area
DE202015009139U1 (en) image modification
EP3765999B1 (en) System and method for identifying objects by means of distributed neural networks
DE102017222898A1 (en) Automated detection of dangerous situations
EP1791364A1 (en) Air traffic guidance device
DE102017203157A1 (en) Artificial neural network and unmanned aerial vehicle for detecting a traffic accident
Rivera et al. Robotic services in smart cities: an exploratory literature review
DE10151983A1 (en) Method for automatic documentation of a traffic accident and recording of the layout of vehicles and objects involved in it, by use of a laser measurement device with an associated differential global positioning system
EP4374306A1 (en) Method and system for reconnaissance and/or operational support
DE102010003669B4 (en) Method and device for locating people in a given area
CN106034222A (en) Stereometric object capturing method, apparatus and system thereof
WO2017020879A1 (en) System for monitoring and influencing objects of interest and processes carried out by the objects, and corresponding method
EP1916644B1 (en) Method and device for creating and transmitting georeferenced messages
DE202022100981U1 (en) A construction site monitoring system based on the Internet of Things and blockchain
WO2018206058A1 (en) System for locating, triaging, classifying, managing and coordinating during accidents
EP3627370B1 (en) Method and system for processing person-related optical and / or acoustic signals
WO2022042968A1 (en) Camera-based registration of patients in an event causing great damage
Kieran et al. Are smart walls smart solutions? The impact of technologically-charged borders on human rights in Europe

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20240215

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR