DE102012100758A1

DE102012100758A1 - Automatically movable device i.e. automatically movable household-suction robot, behavior analyzing method for cleaning floor in room of laboratory environment, involves storing recording of camera in processing device together with data

Info

Publication number: DE102012100758A1
Application number: DE102012100758A
Authority: DE
Inventors: Andres Sauerwald; Mario Wallmeyer
Original assignee: Vorwerk and Co Interholding GmbH
Current assignee: Vorwerk and Co Interholding GmbH
Priority date: 2011-02-07
Filing date: 2012-01-31
Publication date: 2012-08-09

Abstract

The method involves producing internal data e.g. recorded position, detected waypoint, error message, sensor data, status and/or procedure command, by an automatically movable device (1) in a corresponding temporal sequence. The produced data is wirelessly transferred to an evaluation data processing device (9) e.g. notebook. A recording of a video camera (7) is stored in the evaluation data processing device together with the produced data of the device such that the data corresponding to a time point is directly associated to reproduced video images.

Description

Die Erfindung betrifft ein Verfahren zur Analyse des Verhaltens eines selbsttätig verfahrbaren Geräts, insbesondere eines selbsttätig verfahrbaren Bodenstaub-Aufsammelgeräts, wobei das Verfahren des Geräts mit einer Videokamera aufgezeichnet wird und das Gerät in entsprechender zeitlicher Abfolge eine Vielzahl von Daten wie angenommene Position, erfasste Wegpunkte, Fehlermeldungen, Sensordaten, Status und/oder Verfahrbefehle erzeugt.The invention relates to a method for analyzing the behavior of a self-propelled device, in particular a self-moving ground dust collecting device, wherein the method of the device is recorded with a video camera and the device in a timely sequence a variety of data such as assumed position, detected waypoints, Error messages, sensor data, status and / or positioning commands generated.

Verfahren der in Rede stehenden Art sind bekannt, so bspw. im Zusammenhang mit selbsttätig verfahrbaren Saug- und/oder Reinigungsgeräten zur Abreinigung von Fußböden, darüber hinaus in weiterer Ausgestaltung bspw. im Zusammenhang mit einem selbsttätig verfahrbaren Transportgerät. Derartige Geräte sind in der Lage, bspw. zufolge hinterlegter Verfahrstrategien, sich selbsttätig unter Berücksichtigung etwaiger im Verfahrweg stehender Hindernisse zu bewegen, weiter bspw. einen in einer internen Karte der Umgebung des Gerätes hinterlegten Verfahrweg abzufahren oder, insbesondere im Falle eines Bodenreinigungsgerätes, entsprechend einer Strategie den gesamten Boden eines Raumes oder je nach Vorgabe lediglich Teilbereiche des Bodens vollständig abzureinigen. Weiter sind Verfahren zur Analyse des Verhaltens des Gerätes bekannt, bei welchen Kamerasysteme (eine oder mehrere Videokameras) zum Einsatz kommen. So können bspw. Testfahrten des autonom arbeitenden Geräts mittels der Kamera beobachtet werden. Mittels Bilderkennungsalgorithmen wird aus den Kamerabildern die aktuelle Geräteposition extrahiert, womit die Fahrt des Gerätes rekonstruiert werden kann. Zudem ist es bekannt, die internen Sensordaten des Gerätes, bspw. bezüglich der jeweils selbsttätig erfassten Position des Gerätes innerhalb des Raumes, erfasste Wegpunkte oder auch Fehlermeldungen geräteseitig in einer Datei, sogenannte Log-Datei, abzuspeichern. Hierbei werden bevorzugt alle Informationen über den internen Zustand des Gerätes abgespeichert.Method of the type in question are known, so for example. In connection with self-moving suction and / or cleaning devices for cleaning floors, in addition in a further embodiment, for example. In connection with an automatically movable transport device. Such devices are able, for example. According traversed Verfahrstrategien to move automatically taking into account any obstacle standing in the path, further eg. Depart in a stored internal map of the environment of the device travel or, especially in the case of a floor cleaning device, according to a Strategy to completely clean up the entire floor of a room or, depending on the specification, only partial areas of the floor. Furthermore, methods for analyzing the behavior of the device are known in which camera systems (one or more video cameras) are used. Thus, for example, test drives of the autonomously operating device can be observed by means of the camera. By means of image recognition algorithms, the current device position is extracted from the camera images, with which the travel of the device can be reconstructed. In addition, it is known to save the internal sensor data of the device, for example with respect to the respectively automatically detected position of the device within the room, detected waypoints or also error messages on the device side in a file, so-called log file. In this case, preferably all information about the internal state of the device are stored.

Der Einsatz von Kamerabildern bei der Analyse des Verhaltens eines selbsttätig verfahrbaren Gerätes dokumentiert zwar den Vorfall, bspw. ein vom Benutzer nicht nachvollziehbares Fehlverhalten des Gerätes, beantwortet jedoch nicht die Frage, warum ein bestimmter interner Fehler und somit ein fehlerhaftes Funktionsverhalten des Gerätes aufgetreten ist. Hierzu ist ein Hinzuziehen der internen, abgespeicherten Daten nötig. Die anschließende Auswertung einer Log-Datei liefert ebenfalls oftmals auch keine ausreichenden Antworten, da die zeitliche Zuordnung schwierig ist. So bleibt auch nach einer solchen Analyse oft unklar, was Anlass und/oder Ursache eines bestimmten Fehlverhaltens des Gerätes ist.Although the use of camera images in the analysis of the behavior of a self-moving device documents the incident, for example, a non-traceable by the user misconduct of the device, but does not answer the question of why a certain internal error and thus a faulty functional behavior of the device has occurred. For this purpose, it is necessary to include the internal, stored data. The subsequent evaluation of a log file also often does not provide sufficient answers, since the time allocation is difficult. Thus, even after such an analysis often remains unclear what is the cause and / or cause of a particular misconduct of the device.

Im Hinblick auf den zuvor beschriebenen Stand der Technik wird eine technische Problematik der Erfindung darin gesehen, ein Verfahren der in Rede stehenden Art zu verbessern.In view of the above-described prior art, a technical problem of the invention is seen to improve a method of the type in question.

Diese Problematik ist zunächst und im Wesentlichen durch den Gegenstand des Anspruches 1 gelöst, wobei darauf abgestellt ist, dass die Aufzeichnung der Videokamera in einem Auswerte-Datenverarbeitungsgerät zeitgleich mit den erzeugten Daten des Gerätes, die an das Auswerte-Datenverarbeitungsgerät drahtlos übertragen werden, gespeichert werden, derart, dass einem hieraus wiedergegebenen Video-Einzelbild die diesem Zeitpunkt entsprechenden Daten des Gerätes unmittelbar zugeordnet sind. Zufolge des vorgeschlagenen Verfahrens ist eine eindeutige Zuordnung des visuell dokumentierten Verhaltens des Gerätes zu den in diesem Zeitpunkt abgespeicherten internen Daten des Gerätes ermöglicht. Zur Extraktion der tatsächlichen Geräteposition wird kontinuierlich und in Echtzeit ein Live-Videobild mittels Objekterkennung (Referenzbild-Methodik) analysiert. Die internen Informationen des Gerätes werden parallel hierzu mittels drahtloser Übertragung kontinuierlich an das ein Geräteüberwachungs- und Geräteanalysesystem darstellende Auswerte-Datenverarbeitungsgerät gesendet. Jedem aufgenommenem Videoframe, d. h. jedem einzelnen Bild, werden hierbei die zugehörigen internen Daten des Gerätes direkt zugeordnet. Zur unmittelbaren oder auch späteren Auswertung sind hierdurch alle relevanten Informationen aufgezeichnet und auch sogleich synchronisiert. Durch den bevorzugten Aufbau der hierbei erstellten Datenstruktur als verkettete Liste kann anschließend zwischen den einzelnen Frames hin- und hergeschaltet werden, was die Analyse des Geräteverhaltens anhand der synchron erfassten Daten ermöglicht. Grundlage ist hierfür die Zusammenführung dreier Informationen in einer zentralen Datenstruktur innerhalb des Auswerte-Datenverarbeitungsgerätes, nämlich das komplette Videomaterial, bevorzugt in digitalisierter Form, die hieraus abgeleitete tatsächliche Position des Gerätes in Koordinaten und die internen Informationen des selbsttätig verfahrbaren Gerätes, wie bspw. Wegpunkte, Fehlermeldungen, Sensordaten usw. Im Gegensatz zum bekannten Stand der Technik (separate Aufzeichnung von Videos und Anlegen einer Log-Datei) kann mit dem vorgeschlagenen Verfahren eine sehr genaue und detaillierte und somit verbesserte Untersuchung des Geräteverhaltens durchgeführt werden. Fehler in der Software des Gerätes oder auch fehlerhafte Hardware-Sensorinformationen können wesentlich effizienter gefunden und behoben werden.This problem is first and foremost solved by the subject matter of claim 1, wherein it is based on the fact that the recording of the video camera in an evaluation data processing device at the same time with the generated data of the device, which are transmitted to the evaluation data processing device wirelessly stored in such a way that a video frame reproduced therefrom is directly associated with the data of the apparatus corresponding to this time. According to the proposed method, an unambiguous assignment of the visually documented behavior of the device to the internal data of the device stored at this time is made possible. To extract the actual device position, a live video image is analyzed continuously and in real time using object recognition (reference image methodology). The internal information of the device are transmitted in parallel thereto by means of wireless transmission continuously to the device monitoring and device analysis system performing evaluation data processing device. Each recorded video frame, d. H. Each individual picture, the associated internal data of the device are assigned directly. For immediate or even later evaluation, all relevant information is thereby recorded and also immediately synchronized. Due to the preferred structure of the data structure created here as a linked list, it is then possible to switch back and forth between the individual frames, which enables the analysis of the device behavior based on the synchronously acquired data. The basis for this is the merging of three pieces of information in a central data structure within the evaluation data processing device, namely the complete video material, preferably in digitized form, the derived therefrom actual position of the device in coordinates and the internal information of the automatically moving device, such as waypoints, Error messages, sensor data, etc. Contrary to the known state of the art (separate recording of videos and creation of a log file), the proposed method allows a very accurate and detailed and thus improved examination of the device behavior. Errors in the software of the device or even faulty hardware sensor information can be found and corrected much more efficiently.

Das Auswerte-Datenverarbeitungsgerät ist in bevorzugter Ausgestaltung ein mit einer entsprechenden Analysesoftware versehener Computer, bspw. tragbarer Computer, wie bevorzugt ein Notebook oder ein PDA, weiter bevorzugt ein Datenverarbeitungsgerät mit einem Bildschirm zur Anzeige der Videoframes. Die Übermittlung der internen Daten des Gerätes ist bevorzugt erreicht mittels drahtloser Übertragung, insbesondere mittels W-LAN, wobei weiter bevorzugt eine unmittelbare Übertragung zu dem Auswerte-Datenverarbeitungsgerät vorgesehen ist, alternativ eine mittelbare Übertragung.The evaluation data processing device is in a preferred embodiment, provided with a corresponding analysis software computer, for example. Portable computer, as preferred Notebook or a PDA, more preferably a data processing device with a screen for displaying the video frames. The transmission of the internal data of the device is preferably achieved by means of wireless transmission, in particular by means of W-LAN, wherein further preferably a direct transmission to the evaluation data processing device is provided, alternatively an indirect transmission.

Weitere Merkmale der Erfindung sind nachstehend, auch in der Figurenbeschreibung, oftmals in ihrer bevorzugten Zuordnung zum Gegenstand des Anspruches 1 oder zu Merkmalen weiterer Ansprüche erläutert. Sie können aber auch in einer Zuordnung zu nur einzelnen Merkmalen des Anspruches 1 oder des jeweiligen weiteren Anspruches oder jeweils unabhängig von Bedeutung sein.Further features of the invention are explained below, also in the description of the figures, often in their preferred association with the subject matter of claim 1 or with features of further claims. But they can also be in an assignment to only individual features of claim 1 or the respective further claim or each independently of importance.

So ist weiter bevorzugt vorgesehen, dass die so zeitgleich zusammengeführten Daten als einzelner Datensatz abgespeichert werden, so insbesondere dauerhaft innerhalb des Auswerte-Datenverarbeitungsgerätes, alternativ auf einem dem Auswerte-Datenverarbeitungsgerät zuordbaren Datenträger. So ist eine Verhaltensanalyse des Gerätes jederzeit möglich, darüber hinaus auch bspw. eine Vergleichsanalyse des Verhaltens unterschiedlicher selbsttätig verfahrbarer Geräte in derselben Umgebung, d. h. unter Berücksichtigung bevorzugt gleicher Parameter. Dies bietet sich insbesondere an, wenn das Analyseverfahren in einem Laborumfeld stattfindet.It is further preferred that the data merged at the same time be stored as a single data record, in particular permanently within the evaluation data processing device, or alternatively on a data carrier that can be assigned to the evaluation data processing device. Thus, a behavior analysis of the device is possible at any time, in addition, for example, a comparative analysis of the behavior of different self-moving devices in the same environment, d. H. taking into account preferably the same parameters. This is particularly useful when the analysis method is in a laboratory environment.

Sobald ein Fehlverhalten oder ein zu analysierendes Verhalten erkannt wird, werden die Bilddaten gezielt mit den Gerätemessdaten verglichen. Das Bildmaterial kann hierbei in unterschiedlichsten Formaten vorliegen. Wurde nach dem PAL-Standard aufgezeichnet, liegen 25 Vollbilder je Sekunde vor. Zwischen den Bildern liegen damit 40 ms Zeitdifferenz. Weitere Normen wie NTSC liefern 29,97 Bilder je Sekunde, Hochgeschwindigkeitskameras oder Kameras mit variabler Aufzeichnungsgeschwindigkeit liefern individuelle Bildmengen pro Zeiteinheit.As soon as a malfunction or a behavior to be analyzed is detected, the image data is specifically compared with the device measurement data. The image material can be present in a wide variety of formats. Recorded to the PAL standard, there are 25 frames per second. There are 40 ms time difference between the pictures. Other standards, such as NTSC, deliver 29.97 frames per second, and high-speed cameras or variable-speed cameras deliver individual sets of images per unit of time.

Bei der Auswertung werden die Gerätemessdaten auf die Videobilder synchronisiert. Um in dieser Hinsicht die passenden Gerätemessdaten zu einem jeweiligen Videobild zu erhalten, werden bevorzugt die zeitlich am nächsten vor dem Aufnahmezeitpunkt des Videobildes liegenden Werte und die zeitlich am nächsten hinter dem Videobild liegenden Werte linear interpoliert.During evaluation, the device measurement data is synchronized to the video images. In order to obtain the appropriate device measurement data for a particular video image in this regard, the values closest in time before the acquisition time of the video image and the values lying behind the video image temporally closest to one another are preferably linearly interpolated.

Von Bedeutung ist auch, dass auf Basis eines mit der Videokamera aufgezeichneten Videobildes eine Position des Gerätes errechnet wird, oder jedenfalls errechenbar ist, und entsprechende Positionsdaten des Gerätes gleichfalls an das Auswerte-Datenverarbeitungsgerät gesendet werden oder jedenfalls sendbar sind, zur Zuordnung zu einem Video-Einzelbild bzw. zu diesem Video-Einzelbild zugeordnete Positionsdaten des Gerätes, die von diesem als solche gesendet sind.It is also important that on the basis of a video image recorded with the video camera, a position of the device is calculated, or at least can be calculated, and corresponding position data of the device are also sent to the evaluation computer or at least are sendable, for assignment to a video Single image or to this video frame associated position data of the device, which are sent by this as such.

Nachstehend ist die Erfindung anhand der beigefügten Zeichnung, welche lediglich ein Ausführungsbeispiel darstellt, näher erläutert. Es zeigt:The invention is explained in more detail below with reference to the attached drawing, which represents only one exemplary embodiment. It shows:

1 in schematischer, perspektivischer Darstellung einen Raum mit einem auf dem Boden des Raumes selbsttätig verfahrbaren Gerät, weiter mit einer zur Verfahranalyse des Gerätes aufgestellten Videokamera sowie ein zugeordnetes Auswerte-Datenverarbeitungsgerät; 1 in a schematic, perspective view of a room with a movable on the floor of the room device, further with a set up for the analysis of the device video camera and an associated evaluation data processing device;

2 in schematischer Darstellung die synchrone Zusammenführung von Bilddaten der Videokamera und interner Daten des Gerätes; 2 a schematic representation of the synchronous merging of image data of the video camera and internal data of the device;

3 in schematischer Darstellung die Hauptdatenstruktur des Geräteüberwachungs- und Geräteanalysesystems. 3 a schematic representation of the main data structure of the device monitoring and device analysis system.

Dargestellt und beschrieben ist zunächst mit Bezug zu 1 ein Gerät 1 in Form eines Saug- und/oder Kehrgeräts, weiter in Form eines selbsttätig verfahrbaren Haushalts-Saugroboters. Dieses besitzt ein Chassis, welches unterseitig, dem zu pflegenden Boden 2 zugewandt, elektromotorisch angetriebene Verfahrräder 3 sowie bevorzugt einen über die Unterkante des Chassisbodens hinausragende, gleichfalls elektromotorisch angetriebene Bürste trägt. Das Chassis ist überfangen von einer Gerätehaube 4, wobei das Gerät 1 einen kreisförmigen Grundriss aufweist. Bezüglich der Ausgestaltung des Gerätes 1 als Saug- und/oder Kehrgerät wird bspw. auf die DE 102 42 257 A1 verwiesen.Shown and described is first with reference to 1 a machine 1 in the form of a suction and / or sweeping device, further in the form of a self-propelled household vacuum robot. This has a chassis, which underside, the floor to be cared for 2 facing, electric motor driven Verfahrräder 3 and preferably carries a projecting beyond the lower edge of the chassis floor, also driven by an electric motor brush. The chassis is covered by a device hood 4 , where the device 1 has a circular floor plan. Regarding the design of the device 1 as a suction and / or sweeping device is, for example, on the DE 102 42 257 A1 directed.

Weiter kann, wenngleich nicht dargestellt, das Gerät 1 zusätzlich oder auch alternativ zu der Bürste eine Saugmundöffnung aufweisen. In diesem Fall ist in dem Gerät 1 weiter ein Sauggebläsemotor angeordnet, der elektrisch betrieben ist.Further, although not shown, the device 1 additionally or alternatively to the brush having a suction mouth. In this case is in the device 1 further arranged a suction fan motor, which is electrically operated.

Die Elektroversorgung der einzelnen Elektrokomponenten des Gerätes 1, wie für den Elektromotor der Verfahrräder, für den Elektroantrieb der Bürste, ggf. für das Sauggebläse und darüber hinaus für die weiter vorgesehene Elektronik in dem Gerät 1 zur Steuerung desselben erfolgt über einen nicht dargestellten, wiederaufladbaren Akkumulator.The electrical supply of the individual electrical components of the device 1 , as for the electric motor of the Verfahrräder, for the electric drive of the brush, possibly for the suction fan and beyond for the further provided electronics in the device 1 to control the same via a non-illustrated, rechargeable battery.

Das Gerät 1 ist weiter mit einer Abstands-Hinderniserkennung 5 in Form eines berührungsfrei arbeitenden Sensors 6 versehen, aufweisend eine Lichtstrahl-Aussendevorrichtung und eine Lichtstrahl-Empfangsvorrichtung. Dieser Sensor 6 ist oberseitig der Gerätehaube 4 des Gerätes 1 angeordnet und um eine vertikale Achse, welche bevorzugt zugleich die Zentralvertikalachse des Gerätes 1 darstellt, drehbar. Der Sensor 6 besteht bevorzugt aus einem Triangulationssystem, mittels welchem eine Rundum-Abstandsmessung (über 360° um die Vertikalachse) durchgeführt werden kann.The device 1 is further with a distance obstacle detection 5 in the form of a non-contact sensor 6 comprising a light beam emitting device and a light beam receiving device. This sensor 6 is the top of the device hood 4 of the device 1 arranged and about a vertical axis, which preferably at the same time the central vertical axis of the device 1 represents rotatable. The sensor 6 preferably consists of a triangulation system, by means of which an all-around distance measurement (over 360 ° about the vertical axis) can be performed.

Darüber hinaus kann das Gerät 1 über weitere Sensoren verfügen, so weiter bspw. Bodenabstandssensoren, die den Abstand bspw. von einer Geräteunterseite zum befahrenen Boden 2 ermittelt und so bspw. Stufen einer abgehenden Treppe erfasst.In addition, the device can 1 have further sensors, so on, for example, floor distance sensors, the distance, for example. From a device underside to the ground traveled 2 determined and thus, for example, recorded steps of an outgoing staircase.

Weiter ist das Gerät 1 mit einer Analysesoftware versehen, die es dem Gerät 1 ermöglicht, selbsttätig auf im Verfahrweg stehende Hindernisse und/oder Absturzbereiche (abgehende Treppe) mit einer entsprechenden Verhaltensstrategie zu reagieren.Next is the device 1 provided with an analysis software that allows the device 1 makes it possible to respond automatically to obstacles and / or crash areas (stairs out of the way) with a corresponding behavioral strategy.

Verfügt das Gerät 1 über eine bevorzugt selbsttätig erstellte Kartierung seiner Umgebung, so ist das Gerät 1 weiter in der Lage, seine Position in der Umgebung zu erfassen und bspw. hiervon ausgehend eine Verfahrstrategie und/oder eine Reinigungsstrategie abzurufen.Has the device 1 about a preferably automatically created mapping of its environment, so is the device 1 further able to detect its position in the environment and, for example, on this basis, retrieve a movement strategy and / or a cleaning strategy.

Bezüglich der bevorzugt vorgesehenen Sensorik des Gerätes sowie bezüglich seiner Verhaltens-/Reinigungsstrategie wird bspw. auf die DE 10 2008 014 912 A1 , DE 10 2009 041 362 A1 , DE 10 2009 003 748 A1 , DE 10 2009 059 217 A1 , DE 10 2010 000 317 A1 , DE 10 2010 000 174 A1 , DE 10 2010 016 553 A1 oder DE 10 2010 017 689 A1 verwiesen. Der Inhalt aller vorbezeichneten Patentanmeldungen wird hiermit vollinhaltlich in die Offenbarung vorliegender Erfindung mit einbezogen, auch zu dem Zweck, Merkmale dieser Patentanmeldungen in Ansprüche vorliegender Erfindung mit einzubeziehen.With regard to the preferably provided sensors of the device as well as with respect to its behavioral / cleaning strategy is, for example, on the DE 10 2008 014 912 A1 . DE 10 2009 041 362 A1 . DE 10 2009 003 748 A1 . DE 10 2009 059 217 A1 . DE 10 2010 000 317 A1 . DE 10 2010 000 174 A1 . DE 10 2010 016 553 A1 or DE 10 2010 017 689 A1 directed. The content of all of the aforementioned patent applications is hereby incorporated in full into the disclosure of the present invention, also for the purpose of including features of these patent applications in claims of the present invention.

Um etwaige, ggf. insbesondere für den Benutzer nicht nachvollziehbare Fehlverhalten des Gerätes 1 zu analysieren, wird ein Analyseverfahren angewandt. Hierzu wird der von dem Gerät 1 zu befahrende Raum R, insbesondere der komplette Bodenbereich mittels einer Videokamera 7 erfasst, alternativ mit einer Mehrzahl von Videokameras. Diese kann bspw. bei einer entsprechenden Analyse des Verfahrverhaltens des Gerätes 1 in einem Laborumfeld eine stationäre und somit fest installierte Kamera sein. Dargestellt ist eine mobile Anordnung, wobei die Videokamera 7 auf einem Stativ 8 angeordnet ist, so bspw. zur Nutzung des Analyseverfahrens vor Ort, d. h. weiter bevorzugt in dem von dem Gerät 1 bevorzugt zu befahrenden Bereich.To any, possibly not especially for the user incomprehensible malfunction of the device 1 analysis method is used. This is done by the device 1 to be traveled space R, in particular the complete floor area by means of a video camera 7 detected, alternatively with a plurality of video cameras. This can, for example, in a corresponding analysis of the movement behavior of the device 1 be in a laboratory environment a stationary and thus permanently installed camera. Shown is a mobile device, with the video camera 7 on a tripod 8th is arranged, so for example to use the analysis method on site, ie more preferably in the of the device 1 preferred to be traveled area.

Die Videokamera 7 dient zur Aufzeichnung der Verfahrbewegung des Gerätes 1 auf dem Boden 2. Hierzu wird die Videokamera 7 zunächst kalibriert, so insbesondere unter Kompensation der durch das verwendete Objektiv der Videokamera 7 hervorgerufenen Verzerrungen, bspw. bei Weitwinkelobjektiven die Bildrandbereiche. Für diese Zwecke ist es bekannt, eine Software vorzusehen, die rechnerisch die Aufnahmen korrigiert, so dass die messtechnische Auswertung für die Überwachung des Gerätes 1 weitestgehend fehlerfrei ermöglicht ist.The video camera 7 serves to record the movement of the device 1 on the ground 2 , This is the video camera 7 initially calibrated, so in particular with compensation of the lens used by the video camera 7 distortions caused, for example, with wide-angle lenses, the image edge areas. For this purpose, it is known to provide a software that computationally corrects the images, so that the metrological evaluation for the monitoring of the device 1 largely error-free is possible.

Weiterhin ist es notwendig, die Begebenheiten des Raumes R in die Kalibration 1 einzubeziehen. Die Kameraposition in Bezug zum Boden 2, auf dem das Gerät 1 sich bewegt, muss bekannt sein. Dazu kann ein Objekt verwendet werden, das auf dem Boden 2 des Raumes R gestellt bzw. gelegt und von der Videokamera 7 aufgenommen wird. Die bekannten Objektdaten (geometrische Abmessungen oder individuelle Kennzeichen) können dann als Referenz für das aufgenommene Bild dienen. Das Objekt kann ein mit Referenzmustern bedrucktes Papier sein, ein dreidimensionaler Gegenstand, aber auch in einfachster Weise das Gerätegehäuse 1 mit seinen baulichen Merkmalen.Furthermore, it is necessary to include the events of the room R in the calibration 1 included. The camera position relative to the ground 2 on which the device 1 to move must be known. This can be done using an object that is on the ground 2 the room R placed or placed and from the video camera 7 is recorded. The known object data (geometric dimensions or individual characteristics) can then serve as a reference for the recorded image. The object can be a paper printed with reference patterns, a three-dimensional object, but also in the simplest way the device housing 1 with its structural features.

Der Raum R ist bevorzugt komplett von der Videokamera 7, ggf. von einer Mehrzahl von Videokameras 7 erfasst.The space R is preferably completely from the video camera 7 , if necessary from a plurality of video cameras 7 detected.

Die durch die Videokamera 7 aufgenommene Verfahrbewegung des Gerätes 1 wird bevorzugt drahtlos, bspw. mittels W-LAN (Pfeil a in 1), an ein Auswerte-Datenverarbeitungsgerät 9, bspw. in Form eines tragbaren Computers, übermittelt. Zur Extraktion der tatsächlichen Geräteposition wird unter Nutzung einer entsprechenden Software innerhalb des Auswerte-Datenverarbeitungsgerätes 9 kontinuierlich und in Echtzeit ein Videobild 10 mittels Objekterkennung (Referenzbild-Methodik) analysiert.The video camera 7 recorded movement of the device 1 is preferably wireless, eg. By W-LAN (arrow a in 1 ), to an evaluation data processing device 9 , for example in the form of a portable computer. For the extraction of the actual device position is using an appropriate software within the evaluation data processing device 9 continuously and in real time a video image 10 analyzed by means of object recognition (reference image methodology).

Während des Verfahrens des Gerätes 1 und einer ggf. vorgesehenen Abreinigung des Bodens 2 werden in entsprechender zeitlicher Abfolge zu den Videobildern 10 Daten, wie angenommene Position des Gerätes 1, erfasste Bildpunkte, Fehlermeldungen, Sensordaten, der Status und/oder Verfahrbefehle intern im Gerät 1 erfasst und parallel zu den Videobildern 10 mittels drahtloser Übertragung, bevorzugt W-LAN, kontinuierlich an das Auswerte-Datenverarbeitungsgerät 9 übermittelt (Pfeil b in 1).During the procedure of the device 1 and an optionally provided cleaning of the soil 2 become the video images in a corresponding chronological order 10 Data, as assumed position of the device 1 , captured pixels, error messages, sensor data, the status and / or movement commands internally in the device 1 captured and parallel to the video images 10 by means of wireless transmission, preferably W-LAN, continuously to the evaluation data processing device 9 transmitted (arrow b in 1 ).

Jedem aufgenommenen Videobild 10 bis 10'' werden die zugehörigen internen Daten 11 bis 11'' direkt zugeordnet. 2 veranschaulicht schematisch diese Synchronisation.Each captured video image 10 to 10 '' will be the associated internal data 11 to 11 '' directly assigned. 2 schematically illustrates this synchronization.

Bevorzugt werden die so zeitgleich zusammengeführten Daten als einzelner Datensatz abgespeichert, bevorzugt innerhalb des Auswerte-Datenverarbeitungsgerätes 9. Zur späteren Auswertung werden entsprechend alle relevanten Informationen quasi aufgezeichnet. Durch den Aufbau der Datenstruktur als verkettete Liste L kann anschließend zwischen den einzelnen Frames hin- und hergeschaltet werden, was die Analyse des Gerätesverhaltens anhand der synchron erfassten Daten ermöglicht.Preferably, the data merged at the same time are stored as a single data record, preferably within the evaluation data processing device 9 , For subsequent evaluation, all relevant information will be provided accordingly quasi recorded. By constructing the data structure as a linked list L, it is then possible to switch back and forth between the individual frames, which enables the analysis of the device behavior based on the synchronously acquired data.

Die 3 zeigt schematisch die Hauptdatenstruktur des Überwachungs- und Analysesystems, wobei die Datenstruktur eine Zusammenführung dreier Informationen darstellt, nämlich zum einen des kompletten Videomaterials (Videobilder 10 bis 10''), zum weiteren die hieraus abgeleitete tatsächliche Position P bis P2'' des Gerätes 1 in Koordinaten und weiter die internen Informationen (Daten 11 bis 11'') des Gerätes 1, wie bspw. Wegpunkte, Fehlermeldungen oder Sensordaten. So ist ein in 3 beispielhaft dargestelltes Datenelement D mit dem zeitlich früheren Datenelement D' sowie mit dem zeitlich nachfolgenden Datenelement D'' vergleichbar, um so das Verhalten des Gerätes 1 beim Durchlaufen standardisierter Aufgaben, insbesondere Reinigungsaufgaben, zu überprüfen. So sind weiter entsprechend Analysen möglich, die aus der Kombination von tatsächlichem Verhalten und vom Gerät 1 erfasster Sensordaten eine zielsichere Fehlerdiagnose erlauben. Fehler in der Gerätesoftware oder auch fehlerhafte Hardware-Sensorinformationen können so wesentlich effizienter gefunden und behoben werden, dies in vorteilhafter Weise unter Reduktion des Zeitaufwands im Debug-Prozess.The 3 schematically shows the main data structure of the monitoring and analysis system, wherein the data structure represents a combination of three information, namely one of the complete video material (video images 10 to 10 '' ), to further derived therefrom actual position P to P2 '' of the device 1 in coordinates and further the internal information (data 11 to 11 '' ) of the device 1 , such as waypoints, error messages or sensor data. So is an in 3 exemplified data element D with the temporally earlier data element D 'as well as with the temporally subsequent data element D''comparable, so as to the behavior of the device 1 when carrying out standardized tasks, in particular cleaning tasks. So further analyzes are possible, which consist of the combination of actual behavior and the device 1 detected sensor data allow a targeted error diagnosis. Errors in the device software or even faulty hardware sensor information can thus be found and remedied much more efficiently, advantageously with a reduction in the time required in the debug process.

Alle offenbarten Merkmale sind (für sich) erfindungswesentlich. In die Offenbarung der Anmeldung wird hiermit auch der Offenbarungsinhalt der zugehörigen/beigefügten Prioritätsunterlagen (Abschrift der Voranmeldung) vollinhaltlich mit einbezogen, auch zu dem Zweck, Merkmale dieser Unterlagen in Ansprüche vorliegender Anmeldung mit aufzunehmen. Die Unteransprüche charakterisieren in ihrer fakultativ nebengeordneten Fassung eigenständige erfinderische Weiterbildung des Standes der Technik, insbesondere um auf Basis dieser Ansprüche Teilanmeldungen vorzunehmen.All disclosed features are essential to the invention. The disclosure of the associated / attached priority documents (copy of the prior application) is hereby also incorporated in full in the disclosure of the application, also for the purpose of including features of these documents in claims of the present application. The subclaims characterize in their optional sibling version independent inventive development of the prior art, in particular to make on the basis of these claims divisional applications.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11: Gerätdevice
22: Bodenground
33: VerfahrradVerfahrrad
44: Gerätehaubedevice hood
55: Abstands-/HinderniserkennungDistance / obstacle detection
66: Sensorsensor
77: Videokameravideo camera
88th: Stativtripod
99: Auswerte-DatenverarbeitungsgerätAnalysis data processing unit
1010: Videobildvideo image
10'10 ': Videobildvideo image
10''10 '': Videobildvideo image
1111: Datendates
11'11 ': Datendates
11''11 '': Datendates
aa: Pfeilarrow
bb: Pfeilarrow
DD: Datenelementdata element
D'D ': Datenelementdata element
D''D '': Datenelementdata element
LL: Listelist
PP: Positionposition
P'P ': Positionposition
P''P '': Positionposition
RR: Raumroom

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 10242257 A1 [0016]
DE 102008014912 A1 [0023]
DE 102009041362 A1 [0023]
DE 102009003748 A1 [0023]
DE 102009059217 A1 [0023]
DE 102010000317 A1 [0023]
DE 102010000174 A1 [0023]
DE 102010016553 A1 [0023]
DE 102010017689 A1 [0023]

Claims

Method for analyzing the behavior of a self-moving device ( 1 ), in particular a self-moving ground dust collecting device, wherein the method of the device ( 1 ) with a video camera ( 7 ) and the device ( 1 ) in a timely sequence a plurality of data ( 11 ) as assumed position, detected waypoints, error messages, sensor data, status and / or movement commands generated, characterized in that the recording of the video camera ( 7 ) in an evaluation data processing device ( 9 ) at the same time as the generated data of the device ( 1 ) sent to the evaluation computer ( 9 ) are transmitted wirelessly, such that a video frame reproduced therefrom ( 10 ) the data corresponding to this date ( 11 ) of the device ( 1 ) are assigned directly.

A method according to claim 1 or in particular according thereto, characterized in that the data merged at the same time are stored as a single data record.

A method according to claim 1 or 2 or in particular according thereto, characterized in that based on a video camera recorded video image, a position of the device is calculated and thus calculated position data of the device also to the output data processing device, preferably also associated with the video frame on the basis of which the data was calculated is transmitted and stored accordingly.