DE102004044002A1

DE102004044002A1 - Real-time movement analysis device e.g. for recording sporting events, uses image processing unit in data exchange with cameras

Info

Publication number: DE102004044002A1
Application number: DE102004044002A
Authority: DE
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-03-08
Filing date: 2004-09-09
Publication date: 2005-09-29

Abstract

A real-time movement analysis device includes a central computer (18) and an image processing unit (16). Several cameras (10) are used and cover the space so that each position in the space is constantly covered by at least two cameras (10), in which each image processing unit (16) are in data exchange with at least one camera and all cameras are respectively in data exchange with at least one image processing unit (16). Each image processing unit (16) is in data exchange at least indirectly with the central computer (18), and the cameras produce video images of the space which are communicated to the image processing unit (16) where each object (14) of at least two cameras, records different angles of view. The image processing unit (16) extracts from the video images mathematically features, such as the center of gravity coordinates in the X-Y direction, and the extent of the objects (14) and the data of the objects (14) is extracted from the data of their environme nt and the results are then relayed to a central computer (18). An independent claim is included for a method for movement analysis of objects moving in a space.

Description

Die vorliegende Erfindung betrifft eine Echtzeit-Bewegungsanalysevorrichtung für sich bewegende Objekt in einem Raum. Mit Hilfe von Kameras, vorzugsweise Videokameras wird der zu überwachende Raum aufgenommen, und die von den Kameras gewonnenen Bilder werden derart aufbereitet, dass die Bewegungen alle sich bewegenden Objekte analysiert werden können.The The present invention relates to a real-time motion analysis device for themselves moving object in a room. With the help of cameras, preferably Video cameras will be monitored Space is taken, and the pictures taken by the cameras become processed in such a way that the movements analyze all moving objects can be.

Derartige Verfahren und die Vorrichtungen eignen sich insbesondere für die Aufzeichnung und Analyse von Sportveranstaltungen z.B. auf einem Sportfeld. Die Echtzeit-Bewegungsanalyse bietet sich für Mannschafts-Sportarten, wie Fußball, oder Volleyball an.such Methods and devices are particularly suitable for recording and analysis of sports events e.g. on a sports field. The Real-time motion analysis is ideal for team sports, such as Soccer, or volleyball.

Die Idee, die tatsächliche Bewegungsaktivität von sich bewegenden Objekten (Spielern, Schiedsrichtern, Geräten ...) während Sportspielen besser analysieren zu können, ist nicht neu, vielmehr sind im Stand der Technik verschiedene Vorrichtungen und Verfahren bekannt, die eine solche Analyse ermöglichen. Den Sportlern oder ihren Trainern werden Daten zur Verfü gung gestellt, mit denen die Leistung der Sportler ausgewertet werden kann, z. B. kann es bei Fußballspielen oder ähnlichen Mannschaftssportarten wichtig sein, zu wissen, welche Laufwege ein Spieler während des Spiels oder in bestimmten Situationen zurückgelegt hat. Auch kann es sinnvoll sein, zu analysieren, in welchen Bereichen sich wesentliche Spielszenen schwerpunktmäßig abgespielt haben.The Idea, the actual moving activity of moving objects (players, umpires, equipment ...) while Being able to better analyze sports games is not new, but rather Various devices and methods are known in the prior art, which allow such an analysis. The athletes or their coaches are provided with data, with which the performance of the athletes can be evaluated, eg. B. It can be at football matches or similar Team sports are important to know which running ways Player during of the game or in certain situations. Also, it may make sense be to analyze in which areas are essential game scenes mainly played to have.

Weiterhin dienen Echtzeit-Bewegungsanalysevorrichtungen bzw. Verfahren dazu, Zuschauern die tatsächliche Leistung der Spieler bei Sportereignissen sozusagen lesbarer und verständlicher darzustellen. Hierzu gehört z. B., dass der Zuschauer jeden Spieler stets identifizieren kann. Dies kann beispielsweise dadurch erleichtert werden, dass auf einem Monitor bzw. Fernsehgerät jederzeit Namen und Rückennummern eingeblendet werden können. Auch können Echtzeit-Bewegungsanalysevorrichtungen helfen, besondere Spielsituationen, wie beispielsweise das Abseits beim Fußball, im Nachhinein besser aufzulösen.Farther serve real-time motion analysis devices or methods to Viewers the actual Performance of the players in sporting events, so to speak, readable and understandable display. Which also includes z. For example, the viewer can always identify each player. This can for example be facilitated by the fact that on one Monitor or TV anytime name and number can be displayed. Also can Real-time motion analysis devices help with special game situations, such as the offside football, in hindsight better dissolve.

Bei Mannschaftssportarten liegt es in der Natur der Sache, dass sich meist eine Vielzahl von Spielern auf engstem Raum aufhalten. Dies führt beispielsweise dann zu Problemen der Identifikation der Spieler, wenn diese sich gegenseitig verdecken. Dies gilt im Besonderen auch für das Spielgerät, also z. B. den Fußball oder den Volleyball.at Team sports, it is in the nature of things that themselves usually a large number of players in a confined space. This leads for example then to problems of identification of the players, if these themselves conceal each other. This is especially true for the game device, so z. B. the football or the volleyball.

Beispielsweise beschreibt die WO 02/071334 A2 ein Verfahren und ein System, um Daten bezüglich der Bewegung eines Sportlers auf einem Spielfeld zu erheben. Mit Hilfe eines kalibrierten Videobildes des Spielfeldes wird die Position des Spielers auf dem Spielfeld in einer zweidimensionalen Ebene bestimmt. Die Vorrichtung weist zu diesem Zweck eine Vielzahl von Kameras auf, die das Spielfeld überblicken und aufnehmen. Das zu beobachtende Objekt, beispielsweise der Spieler, bewegt sich über das Spielfeld und wird dabei je nach seiner Position von einer anderen Kamera gefilmt bzw. aufge nommen. Seine Position wird dann über diese eine, ihn aufnehmende Kamera bestimmt. Die Position wird dabei nur zweidimensional berechnet. Kommt es zu Verdeckungen in einem Videobild, bestimmt eine Person manuell die Position des verdeckten Spielers. Alternativ kann die Position aber auch über eine andere Kamera, für die der Spieler nicht verdeckt ist, bestimmt werden.For example WO 02/071334 A2 describes a method and a system for Data regarding to raise the movement of an athlete on a playing field. With Help of a calibrated video image of the playing field becomes the position of the player on the field in a two-dimensional plane certainly. The device has for this purpose a plurality of Cameras that overlook the field and record. The object to be observed, for example the player, moves over the playing field and is depending on its position of another Camera filmed or taken up. His position will be over this a camera taking him in. The position is only calculated two-dimensionally. Does it come to occlusions in a video image, a person manually determines the position of the hidden player. Alternatively, the position but also on another camera for which the Player is not covered, be determined.

Die WO 03/056809 A1 offenbart ein ähnliches System. Das beschriebene System dient der automatischen Anzeige beweglicher Objekte in Echtzeit innerhalb eines begrenzten Raumes, beispielsweise eines Spielfeldes. Auch in diesem System decken Überwachungskameras diesen Bereich ab und nehmen die beweglichen Objekte auf, um in Echtzeit Daten über die Position der beweglichen Objekte aus den Videobildern zu bestimmen. Im Gegensatz zum bereits beschriebenen System aus der WO 02/071334 A2 werden Hilfskameras eingesetzt, die im Bedarfsfall eine der Überwachungskameras unterstützen. Diese Hilfskameras dienen insbesondere dazu, dann eine bessere Bestimmung der Objekte vornehmen zu können, wenn sich diese in einem bestimmten Punkt konzentrieren. Es wird dann eine Hilfskamera bestimmt, die am besten positioniert ist, um der eigentlichen Überwachungskamera zu helfen und gemeinsam mit ihr diesen Konzentrationspunkt aufzunehmen. Ein weiterer Schwerpunkt dieses Systems besteht darin, die auftretenden Konzentrationspunkte vorauszuberechnen, um rechtzeitig eine Hilfskamera bestimmen zu können.The WO 03/056809 A1 discloses a similar System. The system described is for automatic display moving objects in real time within a limited space, for example, a playing field. Also in this system cover surveillance cameras this area and pick up the moving objects to move in Real-time data about determine the position of the moving objects from the video images. In contrast to the already described system from WO 02/071334 A2 auxiliary cameras are used, which, if necessary, one of the surveillance cameras support. These auxiliary cameras are used in particular, then a better determination to be able to make the objects, if they focus on a particular point. It will then determines an auxiliary camera that is best positioned to the actual surveillance camera to help and to take this concentration point together with her. Another focus of this system is the occurring Predict concentration points to timely an auxiliary camera to be able to determine.

Auch bei diesem System werden die zu berechnenden Daten im Wesentlichen im Wechsel aus nur einer Überwachungskamera gewonnen. Hilfskameras werden nur dann genutzt, wenn eine hohe Konzentration von Spielern auf einer bestimmten Fläche auftritt. Die Bestimmung der Positionen erfolgt ebenfalls anhand zweidimensionaler Daten.Also In this system, the data to be calculated becomes substantially alternately from just one surveillance camera won. Auxiliary cameras are only used when a high concentration of players on a certain surface occurs. The determination The positions are also based on two-dimensional data.

Ebenfalls bekannt ist die WO 00/31560, die ein speziell für Eishockey ausgelegtes System beschreibt. Bei diesem werden lediglich Bewegungen in X- und Y-Richtung der Spieler erkannt, zusätzliche Kameras sind im Bereich der Tore installiert, um auch die Höhe des Pucks berechnen zu können. Bei diesem System ist es jedoch notwendig, Schläger, Helm, Trikot und Puck mit Marken zu versehen, dessen spezielle Farbe Infrarotlicht reflektiert. Die aktive Beleuchtung der Marker wird durch Lichtquellen nahe den Kameras in Verbindung mit Infrarot-Schmalbandfiltern vor den Kameras realisiert. Alle Kameras werden möglichst senkrecht zum Boden ausgerichtet, wobei je Fläche nur eine Kamera verwendet wird. Auch bei diesem System erfolgt die Messung bzw. Berechnung der Positionen zweidimensional. Nur im Bereich des Tores berechnet eine Volumen-Tracking-Matrix auch die Höhe, also dreidimensionale Werte.Also known is WO 00/31560, which describes a system specially designed for ice hockey. In this only movements in the X and Y direction of the players are detected, additional cameras are installed in the gate area, in order to calculate the height of the puck. In this system, however, it is necessary to provide clubs, helmet, jersey and puck with marks of special color infrared light reflected. The active illumination of the markers is realized by light sources close to the cameras in conjunction with infrared narrow band filters in front of the cameras. All cameras are aligned as perpendicular to the ground as possible, with only one camera per area. Also in this system, the measurement or calculation of the positions takes place two-dimensionally. Only in the area of the gate does a volume tracking matrix calculate the height, ie three-dimensional values.

Alle beschriebenen Vorrichtungen und Systeme sind verhältnismäßig aufwendig und berechnen dennoch fast ausschließlich zweidimensionale Daten. So ist es nicht möglich, beispielsweise die Position eines Balls während eines gesamten Fußballspiels ohne Einwirkungen auf die Spieler und den Ball dauerhaft zu bestimmen. Insbesondere ist es nicht möglich, die Höhe des Balles oder auch beispielsweise bei Sprüngen der Spieler, deren Abstand zum Boden zu bestimmen. Gerade diese Informationen sind aber für eine vollständige und sinnvolle Analyse eines Sportspiels wesentlich.All described devices and systems are relatively expensive and still almost exclusively compute two-dimensional data. So it is not possible For example, the position of a ball during an entire football match without permanently influencing the players and the ball. In particular, it is not possible the height of the ball or also, for example, in jumps of the players whose distance from the To determine soil. But just this information is for a complete and meaningful analysis of a sports game essential.

Zusammenfassend lässt sich also feststellen, dass es zwar eine Vielzahl von Vorrichtungen und Verfahren gibt, die eine Echtzeit-Bewegungsanalyse in vereinfachter Form erlauben, jedoch meist das Problem der Berechnung der genauen dreidimensionalen Position jedes beweglichen Objekts zu jedem Zeitpunkt und unter Minimierung der Gefahr von Verwechslung von Spielern nicht zufrieden stellend lösen.In summary let yourself So, notice that while there are a variety of devices and There are procedures that simplify a real-time motion analysis in a simplified way Form, however, usually the problem of calculating the exact three-dimensional position of each moving object at any time and while minimizing the risk of confusing players solve it satisfactorily.

Die Aufgabe der vorliegenden Erfindung besteht darin, eine Vorrichtung und ein Verfahren für eine Echtzeit-Bewegungsanalyse für sich bewegende Objekte in einem Raum zu schaffen, die es erlauben, die Position jedes Objektes in dem Raum zu jeder Zeit in allen drei Dimensionen bestimmen zu können. Insbesondere soll es möglich sein, auch die Position von Objekten bestimmen zu können, die einen gewissen Abstand zum Untergrund aufweisen bzw. soll es möglich sein, den Abstand dieser Objekte genau bestimmen zu können. Mit Hilfe des Verfahrens und der Vorrichtung soll die Identifikation der Objekte zu jedem Zeitpunkt der Überwachung möglich sein. Die Vorrichtung soll dabei möglichst einfach aufzubauen und kostengünstig herstellbar sein. Die generierten Daten sollen einem Betrachter ermöglichen, eine Vielzahl unterschiedlicher Analysen bezüglich der Bewegungen der Objekte vornehmen zu können. Die Vorrichtung bzw. das Verfahren dürfen keinesfalls störenden Einfluss auf die zu beobachtenden Szenen oder Spiele haben. Die Installierung von Einrichtungen, die die Spieler oder die anderen sich bewegenden Objekt betreffen, sollten vermieden werden.The The object of the present invention is a device and a method for a Real-time motion analysis for to create moving objects in a room that allow the position of each object in the room at all times in all three To be able to determine dimensions. In particular, it should be possible be able to determine the position of objects that have a certain distance to the ground or should it be possible be able to determine the distance of these objects exactly. With the help of the procedure and The device is intended to identify the objects at any time the surveillance possible be. The device should build as simple as possible and cost-effective be produced. The generated data should be a viewer allow one Variety of different analyzes regarding the movements of the objects to be able to make. The Device or the method allowed not disturbing Affect the scenes or games to watch. The Installing facilities that the players or the others moving object should be avoided.

Erfindungsgemäß wird die Aufgabe durch eine Echtzeit-Bewegungsanalysevorrichtung für sich bewegende Objekte in einem Raum mit

– einem Zentralrechner,
– mindestens einer Bildverarbeitungseinheit,
– einer Vielzahl von Kameras, die den Raum derart überblicken, dass jede Position im Raum stets von mindestens zwei Kameras überblickt wird, wobei
– sich jede Bildverarbeitungseinheit mit mindestens einer Kamera und alle Kameras jeweils mit mindestens einer Bildverarbeitungseinheit im Datenaustausch befinden,
– sich jede Bildverarbeitungseinheit zumindest mittelbar mit dem Zentralrechner im Datenaustausch befindet,
– die Kameras jeweils Videobilder des Raumes produzieren, die an die Bildverarbeitungseinheit übermittelt werden, wobei jedes Objekt von mindestens zwei Kameras aus unterschiedlichen Blickwinkeln auf genommen wird,
– die Bildverarbeitungseinheit aus den Videobildern mathematische Merkmale, beispielsweise die Schwerpunktkoordinaten in X-Y Richtung und die Ausdehnung der Objekte berechnet, sowie die Daten der Objekte aus den Daten ihrer Umgebung extrahiert, und die Ergebnisse an den Zentralrechner weiterleitet,
– der Zentralrechner aus von den Bildbearbeitungseinheiten übermittelten Daten sich kreuzender Videobilder unter Berücksichtigung kalibrierter Lagen der Kameras im Raum die dreidimensionale Position der Objekte im Raum errechnet,

gelöst.According to the invention, the object is achieved by a real-time motion analysis device for moving objects in a room

A central computer,
At least one image processing unit,
- A variety of cameras that overlook the room so that each position in the room is always overlooked by at least two cameras, where
- Each image processing unit with at least one camera and all cameras are each with at least one image processing unit in the data exchange,
Each image processing unit is at least indirectly in communication with the central computer,
The cameras each produce video images of the space transmitted to the image processing unit, each object being photographed from different angles by at least two cameras,
The image processing unit calculates mathematical features from the video images, for example the centroid coordinates in the XY direction and the extent of the objects, extracts the data of the objects from the data of their surroundings, and forwards the results to the central computer,
The central computer calculates the three-dimensional position of the objects in space from video data transmitted by the image processing units, taking into account calibrated positions of the cameras in space,

solved.

Weiterhin wird die Aufgabe durch ein Verfahren mit den Merkmalen des unabhängigen Verfahrensanspruchs gelöst.Farther The object is achieved by a method having the features of the independent method claim solved.

Der Begriff Raum ist im Zusammenhang dieser Erfindung lediglich in Bezug auf alle drei Dimensionen zu verstehen. Insofern ergibt sich der Raum aus dem von den Kameras aufgenommenen Bereich, der nicht durch beispielsweise Wände begrenzt sein muss.Of the Term space is merely related in the context of this invention to understand all three dimensions. In this respect, the results Space from the area captured by the cameras, not through for example walls must be limited.

Die erfindungsgemäße Vorrichtung bzw. das erfindungsgemäße Verfahren ermöglicht erstmals die Berechnung der dreidimensionalen Positionen sämtlicher Objekte innerhalb des zu überwachenden Raumes. Es ist also möglich, den Abstand aller Objekte zum Boden in die Analysen mit einzubeziehen. Dies wiederum führt dazu, dass die erfindungsgemäße Vorrichtung, bzw. das erfindungsgemäße Verfahren erheblich größere Analysemöglichkeiten zulässt. So ist es gerade bei Fußballspielen vorteilhaft, wenn beispielsweise bei hoch gespielten Bällen (Flanken, hohe lange Pässe) deren Flugbahn genau bestimmt werden kann. Auch können Sportarten analysiert werden, bei denen gerade diese dritte Dimension entscheidend ist. So eignet sich die Erfindung beispielsweise auch für Volleyball, Badminton, Tennis und ähnliche Sportarten.The device according to the invention or the method according to the invention makes it possible for the first time to calculate the three-dimensional positions of all objects within the space to be monitored. It is thus possible to include the distance of all objects to the ground in the analyzes. This in turn means that the device according to the invention or the method according to the invention permits considerably greater possibilities of analysis. So it is especially advantageous in football games, for example, when playing high balls (flanks, high long passes) whose trajectory can be accurately determined. Also, sports can be analyzed, in which just this third dimension is crucial. For example, the invention is also suitable for volleyball, badminton, tennis and similar sports.

Es erfolgt eine ständige Berechnung aller Objekte, Hilfskameras und ein Umschalten zwischen den Kameras ist nicht erforderlich.It is a permanent Calculation of all objects, auxiliary cameras and switching between the Cameras is not required.

Ein weiterer wesentlicher Vorteil der Erfindung besteht darin, dass jedes Objekt permanent von mindestens 2 Kameras aufgenommen wird. Dadurch wird die Wahrscheinlichkeit, dass sich Objekte gegenseitig verdecken, deutlich reduziert. Je nach Anzahl und Anordnung der Kameras kann eine Überdeckung sogar nahezu ausgeschlossen werden. Nur in äußerst seltenen Fällen kann es passieren, dass bereits identifizierte Objekte auf Grund von sehr hoher Konzentration von Objekten auf kleinem Raum ihre Identifikation verlieren und diese manuell wieder zugeordnet werden muss.One Another significant advantage of the invention is that Each object is permanently recorded by at least 2 cameras. This will increase the likelihood of objects being mutually exclusive obscure, significantly reduced. Depending on the number and arrangement of Cameras can overlap even almost excluded. Only in very rare cases can it happen that already identified objects due to very high concentration of objects in a small space their identification lose and manually reassign it.

Die Erfindung basiert im Wesentlichen darauf, dass möglichst viele Überwachungskameras in ihrer Gesamtheit den gesamten zu überwachenden Bereich überblicken. Von den bekanten Positionen der Kameras wird ein „Strahl" oder werden mehrere Strahlen zu den Objekten berechnet. Durch Kreuzung von mindestens zwei Strahlen errechnet sich die dreidimensionale Position des Objektes. Später werden dann weitere Algorithmen zur sicheren Verfolgung und Identifizierung der Objekte nachgeschaltet.The The invention is essentially based on having as many surveillance cameras as possible in their entirety, they overlook the entire area to be monitored. From the known positions of the cameras becomes a "ray" or become multiple rays calculated to the objects. By crossing at least two rays the three-dimensional position of the object is calculated. Become later then other algorithms for secure tracking and identification downstream of the objects.

Die optischen Parameter des Objektives und der Kamera werden vorzugsweise vorab in einem Labor vermessen. Die Kalibrierung der Kameraparameter benötigt als Eingabedaten eine Zuordnung dreidimensionaler Punktkoordinaten eines Eichkörpers zu deren zweidimensionalen Pixelkoordinaten im Kamerabild.The optical parameters of the lens and the camera are preferably measured in advance in a laboratory. The calibration of the camera parameters needed as input data, an assignment of three-dimensional point coordinates a calibration body to their two-dimensional pixel coordinates in the camera image.

Anschließend wird die Position und Orientierung aller Kameras vor Ort bezüglich des Weltkoordinatensystems ermittelt. Zur Berechnung sind die Ergebnisse der zu vorigen Objektivkalibrierung notwendig.Subsequently, will the position and orientation of all cameras in the field regarding the World coordinate system determined. The results are calculated necessary for previous lens calibration.

Die Kameras werden also zunächst derart angeordnet, dass sie in ihrer Ge samtheit den zu überwachenden Raum vollständig einsehen können. Dabei ist notwendig, dass jeder Punkt des Raumes von mindestens zwei Kameras eingesehen wird. Die von den Kameras überwachten Bereiche müssen sich also derart überlappen, das ein Objekt vor verlassen des Überwachungsbereichs zweier Kameras bereits von einer nächsten Kamera erfasst werden kann.The Cameras will be first arranged so that they in their entirety to be monitored Room completely can see. there is necessary that every point of the room of at least two cameras is viewed. The areas monitored by the cameras must be so overlap so that one object before leaving the surveillance area of two Cameras already from another Camera can be detected.

Anschließend erfolgt die Kalibrierung der Kameras anhand von bekannten Punkten innerhalb des Raumes. Dies können beispielsweise bereits vorhandene Linien auf einem Spielfeld oder ein beweglicher Eichkörper sein. Wird ein beweglicher Eichkörper verwendet, sollten seine Bewegungsbahnen möglichst alle Bereiche der Kamerabilder bzw. des zu überwachenden Raumes abdecken. Während der Kalibrierung der Lage aller Kameras erfolgt eine Datenaufnahme.Then done the calibration of the cameras based on known points within of the room. This can for example, already existing lines on a playing field or a movable calibration body be. If a movable calibration body is used, should his orbits as possible Cover all areas of the camera images or the room to be monitored. While The calibration of the position of all cameras is a data recording.

Als Position einer Kamera werden die dreidimensionalen Koordinaten ihres Projektionszentrums innerhalb des zuvor festgelegten Weltkoordinatensystems ausgegeben. Die Orientierung einer Kamera wird in Form ihrer eulerschen Winkel (Schwenk-, Neige- und Rollwinkel) bezüglich des gleichen Koordinatensystems ausgegeben.When Position of a camera become the three-dimensional coordinates of their Projection center within the previously defined world coordinate system output. The orientation of a camera is in the form of its Eulerian Angle (pan, tilt and roll angle) with respect to the same coordinate system output.

Anschließend erfolgt die Bestimmung der Bildkoordinaten der zu verfolgenden Objekte oder Objektgruppen. Als Eingabedaten stehen z.B. die Farb-, Videosignale der Sensorkamera zur Verfügung. Durch Einsatz eines Bildverarbeitungsverfahren können die zu verfolgenden Objekte extrahiert werden. Dabei wählt der Benutzer aufgrund der Umgebungsbedingungen ein geeignetes Verfahren, z.B. ein Keyingverfahren aus.Then done the determination of the image coordinates of the objects or object groups to be tracked. As input data are e.g. the color, video signals of the sensor camera to disposal. By using an image processing method, the objects to be tracked can be extracted. It chooses the user due to the environmental conditions a suitable method, e.g. a keying method.

Neben einer Vielzahl verschiedener Verfahren kann er dabei beispielsweise das Chroma-Key-Verfahren, das Differenz-Key-Verfahren oder die so genannte Kantendetektion verwenden.Next He can, for example, a variety of different methods the chroma key method, the difference key method or the like use said edge detection.

Nach der Auswahl des geeigneten Verfahrens stellt der Benutzer die erforderlichen Verfahrensparameter für jede Kamera ein. Der Benutzer legt dabei ebenfalls fest, welche Bildbereiche der jeweiligen Kamera von der weiteren Verarbeitung ausgeschlossen werden. Ein solcher Ausschluss muss nicht erfolgen, kann aber je nach Umgebung sinnvoll sein. Beispielsweise können Tribünen, Gebäude, Waldbereiche oder ähnliches für die Analyse ausgeblendet werden. Das Ergebnis der jeweiligen Einstellung wird dem Benutzer als Graustufen oder Binärbild angezeigt.To In selecting the appropriate method, the user provides the necessary Process parameters for every camera. The user also determines which ones Image areas of the respective camera from further processing be excluded. Such an exclusion does not have to occur but can be useful depending on the environment. For example, grandstands, buildings, forest areas or similar for the Analysis will be hidden. The result of each setting is displayed to the user as a grayscale or binary image.

Das so gewonnene binarisierte Bild wird im nächsten Schritt beispielsweise in Gruppen von zusammenhängenden Objektpixeln segmentiert, die als so genannte „Blobs" weiterverarbeitet werden. Jeder „Blob" repräsentiert dabei das potentielle Abbild eines Objekts (z.B. des Balles oder Spielers) auf dem Spielfeld.The For example, the binarized image obtained in the next step in groups of related Segmented object pixels that are processed as so-called "blobs." Each "blob" represents the potential image of an object (e.g., the ball or Player) on the field.

Die mathematischen Merkmale, beispielsweise die Schwerpunktkoordinaten (X, Y) und die Ausdehnung jedes „Blobs" werden im Videobild bzw. anhand der Videobilder berechnet. Diese Daten werden von jeder Bildverarbeitungseinheit an den Zentralrechner übermittelt.The mathematical features, such as the center of gravity coordinates (X, Y) and the extent of each "blob" are computed in the video image or video images, respectively, and these data are sent from each image processing unit to the Zen tralrechner transmitted.

Es folgt die genaue Positionsberechnung der Objekte mit einem so genannten Matching- und Triangulationsverfahren. Der Zentralrechner berechnet in einem Trackingverfahren anhand der Ergebnisdaten der Bildverarbeitungseinheit(en) in Echtzeit die dreidimensionale Position der Objekte bezüglich des Weltkoordinatensystems. Je nach Genauigkeit bzw. je nach Auflösung der Daten, ist es grundsätzlich auch möglich, die Position von Körpergliedmaßen zu berechnen. Dies wiederum ist bei keinem bisher bekannten Verfahren möglich. Es können also nicht nur Bewegungsrichtungen bzw. Bewegungen gesamter Objekte aufgezeichnet und analysiert werden, es ist auch möglich, Körpergliedmaßen mit in die Analyse einzubeziehen.It follows the exact position calculation of the objects with a so-called Matching and triangulation method. The central computer calculates in a tracking method based on the result data of the image processing unit (s) in real time, the three-dimensional position of the objects with respect to the world coordinate system. Depending on the accuracy or depending on the resolution of the data, it is basically possible, to calculate the position of limbs. This in turn is not possible in any previously known method. It can So not only movement directions or movements of entire objects recorded and analyzed, it is also possible to use limbs to be included in the analysis.

Im Rahmen des Trackingverfahrens werden zunächst alle Objektiv- und Lageparameter jeder Kamera eingelesen. Im weiteren Verlauf werden mehrmals pro Sekunde die sich während des Spiels bzw. während der Beobachtungsdauer laufend ändernden Merkmal-Daten („Blob") von jeder Bildverarbeitungseinheit entgegen genommen. Anhand dieser Daten ordnet ein Matching-Verfahren die verschiedenen Merkmale denselben Objekten zu.in the At the beginning of the tracking process, all objective and position parameters are determined each camera read. In the further course several times per Second while of the game or during the observation period continuously changing feature data ("Blob") from each image processing unit received. Based on this data arranges a matching procedure the different features to the same objects.

Es folgt die Berechnung der 3D Position der Objekte Die Matching- und Triangulationsverfahren enthalten verschiedene Konsistenzprüfungen, die die Wahrscheinlichkeit von falschen Zuordnungen und somit falschen Objektidentifikationen verringern. Bei Bedarf ist es möglich, eine Glättung und/oder Interpolation von Objekt-Positionen nachzuschalten.It follows the calculation of the 3D position of the objects The Matching and Triangulation methods contain various consistency checks, the the probability of wrong assignments and thus wrong Reduce object identifications. If necessary it is possible to have one smoothing and / or interpolation of object positions.

Als Ergebnis werden die X-, Y- und Z-Positionen der Objekte innerhalb des Raums berechnet und können direkt an eine Datenbank oder ähnliches übertragen werden. Diese kann dann entsprechende Schnittstellen zu weiteren Anwendungen, z.B. Mobilfunk, Fernsehen, Internet etc, aufweisen.When The result will be the X, Y and Z positions of the objects within of the room and can calculate transferred directly to a database or similar become. This can then provide appropriate interfaces to other Applications, e.g. Mobile, television, Internet etc, have.

Es folgt eine semiautomatische oder automatische Zuordnung der Objekte zu Bezeichnungen oder Namen. In diesem Schritt werden also beispielsweise den Objekten die Namen der Spieler oder deren Rückennummern zugeordnet.It follows a semiautomatic or automatic assignment of the objects to names or names. For example, in this step assign the names of the players or their back numbers to the objects.

Diese Zuordnung kann je nach zu überwachenden Raum oder zu überwachender Veranstaltung automatisch erfolgen, nämlich dann wenn beispielsweise Positionen bestimmter Personen oder Gegenstände der Aufzeichnung bekannt sind. Die Zuordnung kann jedoch im Bedarfsfall auch manuell durch einen Benutzer erfolgen. Die Objektidentifizierung erfolgt in der Regel nur einmal und es folgt eine automatische Nachführung einer eindeutigen Identifikationsnummer für jedes Objekt. Erfindungsgemäß kann vorgesehen sein, dass alle identifizierten und nicht identifizierten Objekte durch beson dere Maßnahmen visualisiert werden, so das ein Benutzer auf den ersten Blick erkennen kann, welche Objekte nicht identifiziert sind. Es kann beispielsweise eine zweidimensionale Grafik einer Aufsicht genutzt werden. Der Benutzer kann anhand dieser Darstellung eine erneute oder abgeänderte Zuordnung im Bedarfsfall jederzeit vornehmen. Die Objektnamen werden gemeinsam mit den Objektpositionen und Identifikationsnummern über ein Netzwerk an ein geeignetes Darstellungssystem übertragen.These Assignment may vary depending on the monitored Room or to be monitored Event automatically, namely if, for example Positions of certain persons or objects of record known are. However, the assignment can also be done manually if necessary a user. The object identification takes place in the Usually only once and it follows an automatic tracking of a unique identification number for each object. According to the invention can be provided be that all identified and unidentified objects through special measures be visualized so that a user can recognize at first glance can, which objects are not identified. It can, for example a two-dimensional graphic of a supervision can be used. Of the User can use this representation a new or modified assignment if necessary, at any time. The object names become common with the object positions and identification numbers above a Transfer network to a suitable display system.

Als Ergebnis erhält also jedes Objekt innerhalb des Raumes automatisch eine eindeutige Identifikationsnummer. Möglichst jeder Identifikationsnummer kann eine Bezeichnung, beispielsweise ein Spielername zugeordnet werden. Bei einer fehlenden Zuordnung erhält der Benutzer eine visuelle Rückmeldung und kann eine manuelle Zuordnung vornehmen. Die Identifikationsnummern werden über das gleiche Netzwerk verschickt, das die Positionsdaten an das entsprechende Darstellungs- oder "weiterverarbeitende System" verschickt. Erfindungsgemäß ist es möglich, das dann, wenn eine Identifikation während des Überwachungszeitraums verloren ging, diese neu zu bestimmen und zeitlich rückwirkend zuzuordnen. Dies bedeutet, dass beispielsweise dann, wenn der Verlust einer zugeordneten Identifikation nicht sofort aufgefallen ist, diese dann später manuell zugeordnet werden kann, woraufhin beim wiederholten Betrachten der Aufzeichnung das Objekt über den gesamten Zeitraum identifiziert ist. Zeitliche Identifikationslücken können also nachträglich geschlossen werden.When Result receives So every object within the room automatically becomes a unique one Identification Number. preferably Each identification number can be a name, for example to be assigned a player name. For a missing assignment receives the user a visual feedback and can make a manual assignment. The identification numbers be about that same network that sends the position data to the corresponding Presentation or "processing System ". It is according to the invention possible, that if an identification was lost during the monitoring period, to redefine them and allocate them retroactively. This means that, for example, if the loss of an associated Identification was not immediately noticed, this later manually can be assigned, whereupon the repeated consideration of the Record the object over the entire period is identified. Temporal identification gaps can be so closed later become.

Mit Hilfe des erfindungsgemäßen Systems ist es auch möglich, alle gemessenen bzw. ermittelten Daten in einer Datenbank zu speichern und später relevante Berechnungen durch zu führen. Beispielsweise können im Nachhinein zurückgelegte Laufstrecken bzw. Laufwege der Spieler, Ballkontakte, Kopfbälle und ähnliches berechnet werden.With Help of the system according to the invention it also possible to store all measured or determined data in a database and later perform relevant calculations. For example, in the Afterwards covered running distances or paths of the players, ball contacts, headers and the like are calculated.

Die Verbreitung der Daten kann über alle geeigneten Medien erfolgen. Es bietet sich insbesondere Mobilfunk, Internetanlagen oder Fernsehen, sowie die Verwendung von SetTopboxen an, digitales Fernsehen und so weiter an, die die Daten entsprechend aufbereiten und darstellen.The Dissemination of the data can be over all suitable media are made. In particular, it offers mobile communication, Internet installations or television, as well as the use of set-top boxes on, digital television and so on, which process the data accordingly and represent.

Wie bereits angedeutet, können nicht nur die Positionen der Objekte sondern zum Beispiel auch die Positionen von Gliedmaßen berechnet werden. Dadurch kann von jedem Spieler ein Körpermodel erstellt werden. Dies wiederum hat für die grafische Aufbereitung und Visualisierung der Daten eine große Bedeutung. Während die reinen Positionsdaten der Objekte nur als Punkt auf einer zweidimensionalen Grafik dargestellt werden können, kann nun ein dreidimensionales Model der Szenerie erstellt werden. Damit wird beispielsweise bei einem Fußballspiel deutlich, wie zum Beispiel ein Spieler den Ball geschossen, den Gegner umlaufen oder gestürzt ist.As already indicated, not only the positions of the objects but also, for example, the positions of limbs can be calculated. This allows a body model to be created by each player. This, in turn, has great significance for the graphic processing and visualization of the data. While the pure position data of the objects can only be represented as a point on a two-dimensional graphic, a three-dimensional model of the scene can now be created the. This becomes clear, for example, in a football game, such as a player shot the ball, or the opponent is or crashed.

Besondere Vorteile des erfindungsgemäßen Systems liegen beispielsweise auch darin, dass immer alle Kameras (sozusagen gleichberechtigt) zusammenarbeiten. Es wird lediglich ein Zentralrechner zur Berechnung aller Positionen sämtlicher Objekte und zu ihrer Identifizierung verwendet. Auch werden keine Bilder aufgezeichnet, sondern es wird unmittelbar eine Bildverarbeitung eingesetzt, lediglich berechnete Daten werden gespeichert. Auch werden nur berechnete Daten an den Zentralrechner gesendet, was die Leistungsfähigkeit und Geschwindigkeit des Systems verbessert.Special Advantages of the system according to the invention For example, there are always all cameras (so to speak working together). It is only a central computer for Calculation of all positions of all Objects and used for their identification. Also, no Pictures are recorded, but it is immediately an image processing used, only calculated data are stored. Also only calculated data is sent to the central computer what the efficiency and speed of the system improved.

Es wird ausdrücklich darauf hingewiesen, dass die Erfindung zwar im Zusammenhang mit Sportveranstaltungen erläutert wird, sie jedoch nicht darauf reduziert ist. Dadurch, dass nahezu jederzeit alle Objekte sicher identifizierbar sind, eignet sich die Erfindung insbesondere auch für die Überwachung sicherheitsrelevanter Bereiche. So ist zum Beispiel denkbar, Gebäude, Banken, Flughäfen, Straßenkreuzungen oder öffentlich zugängliche Plätze mit einem solchen System auszustatten. Eine einmal identifizierte Person kann dann jederzeit sicher beobachtet und verfolgt werden. Auch kann die erfindungsgemäße Vorrichtung bzw. das erfindungsgemäße Verfahren hel fen, beispielsweise Flugverkehr zu überwachen. Die Erfindung ist somit also nicht nur auf die beispielhaft erläuterten Sportveranstaltungen beschränkt, sondern eignet sich viel mehr für alle Anwendungsbereiche, in denen Objekte in drei Dimensionen in einem Raum in Echtzeit überwacht und analysiert werden sollen.It becomes explicit noted that while the invention is related to sporting events explained but it is not reduced to that. Because that almost any object can be reliably identified, is suitable the invention in particular for monitoring safety-relevant Areas. For example, buildings, banks, airports, road intersections are conceivable or publicly accessible courts to equip with such a system. Once identified Person can then be safely monitored and followed at any time. Also, the device of the invention or the inventive method help to monitor, for example, air traffic. The invention is thus not only on the exemplified sporting events limited, but is much more suitable for all applications in which objects in three dimensions in monitored in real time and to be analyzed.

Das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Vorrichtung ermöglicht weiterhin die dreidimensionale Aufnahme der Szenerie vor Beginn der eigentlichen Aufzeichnung. Allen weiteren Aufnahmen liegt dann sozusagen eine Topographiekarte zu Grunde, was wiederum deutlich verbesserte Analysemöglichkeiten ermöglicht. Eine derartige Topographie Aufnahme kann beispielsweise bei Golfveranstaltungen, bei der Flughafenüberwachung oder bei Ski-Langlaufveranstaltungen sinnvoll sein.The inventive method or the device according to the invention allows continue the three-dimensional recording of the scenery before beginning the actual recording. All other recordings are then a topography map, so to speak, which is clear improved analysis options allows. Such a topography recording can, for example, at golf events, at the airport monitoring or make sense at ski cross-country events.

Anhand der nachfolgenden Figurenbeschreibung wird die Erfindung näher erläutert. Weitere Vorteile und Ausführungsformen ergeben sich weiterhin aus den Ansprüchen.Based The following description of the figures, the invention is explained in detail. Further Advantages and embodiments continue to arise from the claims.

Es zeigen:It demonstrate:

1: Eine beispielhafte Darstellung der Anordnung von Kameras um ein Fußballfeld, 1 : An exemplary representation of the arrangement of cameras around a soccer field,

2: Eine Prinzipdarstellung der erfindungsgemäßen Echtzeit-Bewegungsanalysevorrichtung. 2 : A schematic diagram of the real-time motion analysis device according to the invention.

1 zeigt beispielhaft die Anordnung von Kameras 10 um ein Fußballfeld 12. Im vorliegenden Beispiel werden acht Kameras 10 eingesetzt, die Anzahl ist jedoch beliebig und lediglich davon abhängig, dass alle Bereiche des zu überwachenden Raumes, hier des Fußballfeldes 12, von mindestens zwei Kameras einsehbar sein müssen. Beispielsweise kann es sinnvoll sein, eine weitere Kamera 10 zentral oberhalb des Spielfeldes anzuordnen, sodass diese das gesamte Fußballfeld 12 vertikal von oben einsehen kann. Beispielhaft sind auf dem Fußballfeld 12 als zu überwachende Objekte 14 Fußballspieler und ein Ball dargestellt. Deren Position wird zu jedem Zeitpunkt an jeder Position in allen drei Dimensionen bestimmt. 1 shows an example of the arrangement of cameras 10 around a soccer field 12 , In the present example, eight cameras 10 used, but the number is arbitrary and only dependent on all areas of the monitored area, here the football field 12 , must be visible from at least two cameras. For example, it may be useful to have another camera 10 centrally located above the playing field, so that this the entire football field 12 can see vertically from above. Exemplary are on the football field 12 as objects to be monitored 14 Soccer player and a ball pictured. Their position is determined at every point in every position in all three dimensions.

2 verdeutlicht den grundsätzlichen Aufbaus einer erfindungsgemäßen Vorrichtung. Diese besteht aus den Kameras 10, die jeweils mit mindestens einer Bildverarbeitungseinheit 16 verbunden sind. Beispielsweise kann jede Kamera 10 mit einer Bildbearbeitungseinheit 16 verbunden sein, es können aber auch mehrere Kameras 10 auf nur eine Bildverarbeitungseinheit 16 bzw. umgekehrt zurückgreifen. Die Bildverarbeitungseinheiten 16 befinden sich untereinander im Datenaustausch. Dieser kann beispielsweise über ein entsprechendes kabelgebundenes Netzwerk oder auch über jede andere geeignete Technologie gewährleistet sein (z. B. Funknetzwerk, WLAN). Die Bildverarbeitungseinheiten 16 sind wiederum mit einem Zentralrechner 18 verbunden, bzw. befinden sich mit diesem im Datenaustausch. Der Zentralrechner 18 kann räumlich getrennt von den Bildverarbeitungseinheiten 16 angeordnet sein. Beispielsweise können in einem Stadium die Bildverarbeitungseinheiten 16 in der Nähe des Stadiondaches installiert sein, während sich der Zentralrechner 18 in einem geeigneten Raum im Stadion oder sogar mehrere tausend Kilometer entfernt in einem Kontrollraum befindet. Auch können die Bildverarbeitungseinheiten 16 sehr weit voneinander entfernt angeordnet sein. Die Nutzung von funkbasierten Netzwerken ermöglicht eine räumlich unabhängige Anordnung. Es sollte nur sichergestellt sein dass die Verbindung für den Datenaustausch zwischen den Komponenten ausreichend schnell und sicher ist. Auch kann die Anzahl der verwendeten Kameras beliebig hoch sein und der Raum beliebig groß. 2 illustrates the basic structure of a device according to the invention. This consists of the cameras 10 , each with at least one image processing unit 16 are connected. For example, every camera 10 with an image processing unit 16 connected, but it can also be several cameras 10 on only one image processing unit 16 or vice versa. The image processing units 16 are in communication with each other. This can be ensured, for example, via a corresponding wired network or also via any other suitable technology (eg radio network, WLAN). The image processing units 16 are in turn with a central computer 18 connected, or are with this in the data exchange. The central computer 18 can be spatially separated from the image processing units 16 be arranged. For example, at one stage the image processing units 16 be installed near the stadium roof, while the central computer 18 located in a suitable space in the stadium or even several thousand kilometers away in a control room. Also, the image processing units 16 be very far apart. The use of radio-based networks allows a spatially independent arrangement. It should only be ensured that the connection for the data exchange between the components is sufficiently fast and secure. Also, the number of cameras used can be arbitrarily high and the room as large as you like.

Zwischen den Kameras 10 und den Bildverarbeitungseinheiten 16 werden im Wesentlichen Videobilder und zwischen den Bildverarbeitungseinheiten 16 und dem Zentralrechner 18 im Wesentlichen nur die Daten aus den mathematischen Merkmalen der Videobilder und Steuerungsdaten ausgetauscht.Between the cameras 10 and the image processing units 16 are essentially video images and between the image processing units 16 and the central computer 18 essentially only the data is exchanged from the mathematical features of the video images and control data.

Die Bildverarbeitungseinheiten 16 steuern die angeschlossenen Kameras 10, beispielsweise nehmen sie Einfluss auf Blende, Belichtungsdauer, Verstärkung, Farbabgleich usw. Weiterhin lesen die Bildverarbeitungseinheiten 16 die Videosignale der Kameras 10 ein und verarbeiten sie.The image processing units 16 control the connected cameras 10 For example, they affect the aperture, exposure time, gain, color balance, etc. Continue to read the image processing units 16 the video signals of the cameras 10 and process them.

Als Kameras 10 können handelsübliche Videokameras eingesetzt werden, eine höhere Auflösung bzw. verbesserte Abtastung kann jedoch durch höherwertige Kameras 10 erreicht werden (verbesserte Abtastfrequenz, höhere Anzahl der Pixel usw.). Dies wiederum führt dazu, dass sich unmittelbar die zeitliche und räumliche Auflösung der Objekterkennung verbessert.As cameras 10 Commercially available video cameras can be used, but a higher resolution or improved scanning can be achieved with higher quality cameras 10 can be achieved (improved sampling frequency, higher number of pixels, etc.). This, in turn, directly improves the temporal and spatial resolution of the object recognition.

Auch die Art und Eigenschaften der Bildaufnahmesensoren kann beliebig der jeweiligen Anwendung angepasst werden. So ist beispielsweise eine spektrale Empfindlichkeit auch außerhalb des sichtbaren Bereiches möglich. Weitere erforderliche Eigenschaften, wie Wetterfestigkeit bei Außeneinsätzen können ebenfalls berücksichtigt werden können.Also the nature and characteristics of the image sensors can be arbitrary adapted to the respective application. Such is for example a spectral sensitivity also outside the visible range possible. Other required properties, such as weather resistance in outdoor use can also considered can be.

Der Zentralrechner 18 ist in einer ersten Ausführungsvariante mit den Bildverarbeitungseinheiten 16 verbunden bzw. befindet sich im Datenaustausch mit diesen. In einer zweiten Ausführungsvariante können der Zentralrechner 18 und die Bildverarbeitungseinheiten 16 auch in einem Bauteil zusammengefasst sein.The central computer 18 is in a first embodiment with the image processing units 16 connected or is in the data exchange with these. In a second embodiment, the central computer 18 and the image processing units 16 also be combined in one component.

Der Zentralrechner 18 sendet beispielsweise Befehle an die Bildverarbeitungseinheiten 16 bzw. an die auf diesen installierten Softwareprogrammen. Der Zentralrechner 18 empfängt aber auch die Daten der Bildverarbeitungseinheiten 16.The central computer 18 sends commands to the image processing units, for example 16 or to the software programs installed on them. The central computer 18 but also receives the data of the image processing units 16 ,

In einer besonders vorteilhaften Ausführungsvariante ist der Zentralrechner 18 durch zwei Rechnereinheiten gebildet. Die erste Rechnereinheit dient der Berechnung der Objektpositionen, die andere Rechnereinheit der Kontrolle der Ergebnisse, dem Betrieb der Benutzerschnittstelle und der Kalibrierung. Optional können an diesen über einen angeschlossenen Monitor auch die aufgenommenen Videobilder der Kameras 10 angezeigt werden. Zur besonders übersichtlichen Kontrolle des Ergebnisses lassen sich hier die berechneten Objektpositionen und deren Identifizierung im jeweiligen Videobild ein- bzw. überblenden. Alle Berechnungen und Darstellungen erfolgen in Echtzeit.In a particularly advantageous embodiment, the central computer 18 formed by two computer units. The first computer unit is used to calculate the object positions, the other computer unit to control the results, the operation of the user interface and the calibration. Optionally, the recorded video images of the cameras can be connected to them via a connected monitor 10 are displayed. For particularly clear control of the result, the calculated object positions and their identification in the respective video image can be superimposed or superimposed here. All calculations and presentations are done in real time.

Der Zentralrechner 18 berechnet die Objektposition und identifiziert die Objekte und weist ihnen eine Kennung zu. Diese Daten werden dann für die weitere Verarbeitung (Berechnung von Laufwegen, Beschleunigungen, Ballkontakte usw.) in Echtzeit beispielsweise an eine Datenbank 20 weitergegeben. Von der Datenbank 20 aus wird mit jeweiligen Anwendungen 24 (Mobilfunknetz, interaktives Fernsehen, Internet usw.) kommuniziert und entsprechende Schnittstellen werden zur Verfügung gestellt.The central computer 18 calculates the object position and identifies the objects and assigns them an identifier. This data is then in real time, for example, to a database for further processing (calculation of paths, accelerations, ball contacts, etc.) 20 passed. From the database 20 comes out with respective applications 24 (Mobile network, interactive television, Internet, etc.) communicates and appropriate interfaces are provided.

Auch könnten mindestens zwei Kameras 10 mit einer zusätzlichen Steuerung für horizontale und vertikale Schwenks ausgestaltet werden, ggf. auch mit einem Zoomobjektiv. Diese Kameras 10 könnten besonders interessante Bereiche, beispielsweise den ballführenden Spieler, beobachten. Da der Bildausschnitt größer bzw. der beobachtete Raum kleiner ist, steigt die Qualität der Daten erheblich. Hierdurch kann insbesondere die dreidimensionale Rekonstruktion der Spieler (körperliche Darstellung aller Glieder etc.) verbessert werden.Also could be at least two cameras 10 be designed with an additional control for horizontal and vertical pans, possibly with a zoom lens. These cameras 10 could observe particularly interesting areas, such as the ball-bearing player. Since the image section is larger or the observed space is smaller, the quality of the data increases considerably. In this way, in particular the three-dimensional reconstruction of the players (physical representation of all members, etc.) can be improved.

Am Zentralrechner 18 kann ein Eingabemedium 22 angeschlossen sein, um über dieses notwendige Informationen, wie beispielsweise Spielernamen usw. eingeben zu können. Um die Eingabe zu erleichtern, können weiterhin in dem Monitor beispielsweise nicht identifizierte Objekte optisch hervorgehoben werden.At the central computer 18 can be an input medium 22 be connected in order to enter on this necessary information, such as player name, etc. In order to facilitate the input, unidentified objects, for example, can still be visually highlighted in the monitor.

Ein wesentlicher Vorteil der Erfindung besteht auch darin, dass aus der Datenbank 20 nur verhältnismäßig geringe Datenmengen an die weiteren Anwendungen 24 weitergegeben werden müssen, um ausreichende Analysen zu ermöglichen. Beispielsweise können auf einem Handy oder einem PDA Spielsituationen in Form von Grafiken dargestellt werden. Die dreidimensionale Identifizierung aller Objekte, einschließlich der Körpergliedmaßen ermöglichen sogar eine Darstellung mit Hilfe von Figuren bzw. einfachen Körpermodellen.An essential advantage of the invention is also that from the database 20 only relatively small amounts of data to the other applications 24 must be passed on to allow sufficient analysis. For example, game situations in the form of graphics can be displayed on a mobile phone or a PDA. The three-dimensional identification of all objects, including the limbs, even allow representation by means of figures or simple body models.

Claims

Real-time motion analysis device for moving objects ( 14 ) in a room with - a central computer ( 18 ), - at least one image processing unit ( 16 ), - a variety of cameras ( 10 ), which survey the room in such a way that every position in the room is always covered by at least two cameras ( 10 ), wherein - each image processing unit ( 16 ) with at least one camera ( 10 ) and all cameras ( 10 ) each with at least one image processing unit ( 16 ) are in the data exchange, - each image processing unit ( 16 ) at least indirectly with the central computer ( 18 ) is in the data exchange, - the cameras ( 10 ) each produce video images of the space which are sent to the image processing unit ( 16 ), each object ( 14 ) of at least two cameras ( 10 ) is taken from different angles, - the image processing unit ( 16 ), from the video images mathematical features, such as the centroid coordinates in the XY direction and the Extension of the objects ( 14 ), as well as the data of the objects ( 14 ) extracted from the data of their environment and the results sent to the central computer ( 18 ), - the central computer from the image processing units ( 16 ) transmitted data of crossing video images taking into account the calibrated positions of the cameras ( 10 ) in space the three-dimensional position of the object ( 14 ) in the room.

Real-time motion analysis device according to claim 1, characterized in that the central computer ( 18 ) the objects ( 14 ) and assigns an identifier to them.

Real-time motion analysis device according to claim 1 or claim 2, characterized in that the objects ( 14 ) via the central computer ( 18 ) an identifier can be assigned manually at any time, which is then assigned to the objects with retroactive effect and in the future.

Real-time motion analysis device according to one of claims 1 to 3, characterized in that the central computer ( 18 ) with a database ( 20 ) and pass on and store data to them.

Real-time motion analysis device according to one of claims 1 to 4, characterized in that between the cameras ( 10 ) and the image processing units ( 16 ) predominantly video images and between the image processing units ( 16 ) and the central computer ( 18 ) mainly only the data from the mathematical features of the video images are transmitted.

Real-time motion analysis device according to one of claims 1 to 5, characterized in that the image processing units ( 16 ) the cameras ( 10 ), in particular their aperture, exposure time and gain.

Real-time motion analysis device according to one of claims 1 to 6, characterized in that the central computer ( 18 ) the three-dimensional position of the objects ( 14 ) is calculated using a triangulation method.

Real-time motion analysis device according to one of claims 1 to 7, characterized in that the central computer ( 18 ) is realized by two computer units, wherein the first computer unit for calculating the object positions and the other computer unit for controlling results, operation of a user interface and a calibration is used.

Real-time motion analysis device according to one of claims 1 to 8, characterized in that the central computer ( 18 ) with an input medium ( 22 ) and an imaging device.

Method for real-time motion analysis device of moving objects in a room, characterized by the method steps 1. Recording all movements of all objects in a room with the aid of cameras ( 10 ) such that each position in the room is simultaneously detected by at least two cameras ( 10 ) is transmitted from different angles, 2. transmission of the video images recorded by the cameras to at least one image processing unit ( 16 ), wherein the image processing unit ( 16 ) the cameras ( 10 ) controls the video signals of the cameras ( 10 ) and calculates from these mathematical features, for example the centroid coordinates in the XY direction and the extent of the objects ( 14 ), as well as the data of the objects ( 14 ) extracted from the data of their environment. 3. Transfer of data calculated from the video images to a central computer ( 18 ), which calculates the three-dimensional object positions.

Method according to claim 10, characterized in that the central computer ( 18 ) the object positions from the image processing unit ( 16 ) transmitted data of crossing video images taking into account calibrated positions of the cameras ( 10 ) in the room.

Method according to claim 10 or claim 11, characterized in that the central computer ( 18 ) the objects ( 14 ) and assigns an identifier to them.

Method according to one of claims 10 to 12, characterized in that the objects ( 14 ) via the central computer ( 18 ) an identifier can be assigned manually at any time, which is then assigned to the objects with retroactive effect and in the future.

Method according to one of claims 10 to 12, characterized in that the from the central computer ( 18 ) calculated data in a database ( 20 ) and other applications ( 24 ) to provide.