EP1989680A2 - Bewegungsanalyse in digitalen bildfolgen - Google Patents

Bewegungsanalyse in digitalen bildfolgen

Info

Publication number
EP1989680A2
EP1989680A2 EP07712336A EP07712336A EP1989680A2 EP 1989680 A2 EP1989680 A2 EP 1989680A2 EP 07712336 A EP07712336 A EP 07712336A EP 07712336 A EP07712336 A EP 07712336A EP 1989680 A2 EP1989680 A2 EP 1989680A2
Authority
EP
European Patent Office
Prior art keywords
image
pixels
pixel
predecessor
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07712336A
Other languages
English (en)
French (fr)
Inventor
Bernd Kleinjohann
Christian Reimann
Christian Schneider
Dirk Stichling
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Universitaet Paderborn
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1989680A2 publication Critical patent/EP1989680A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Definitions

  • the invention relates to the analysis of movements of real objects in digital image sequences.
  • an influencing of the image content by visible in the image real objects makes sense.
  • a simple example of such an application is described in the article by V. Paelke, Ch. Reimann and D. Stichling, "Foot-based Mobile Interaction with Games", ACE2004, Singapore, June 2004, in which a virtual football through the real world Foot of the player is to be started.
  • One of the methods known for this purpose is the determination of edges in the video image and, based on this, the motion analysis of the extracted edges. In order to be able to determine the edge movement, an attempt is first made to approximate the edges by polygons. This also applies to the o.g. Items; see p.2, left column, paragraph below
  • Compression is the movement of pixel blocks of fixed size determined. It is irrelevant whether this corresponds to the movement of image objects; these methods are therefore in the context of 'Augmented Reality' unusable.
  • the methods described in more detail below, however, are much simpler, faster and more robust than the previously known methods. You do not need a model of the object completely or partially visible in the picture and do not require vectoring of edges; They are also relatively insensitive to image noise and other disturbances that interfere with conventional edge detection of the edge image.
  • each individual image from the image sequence is pretreated by known filters. These filters are used to reduce the color of image pixels, reduce noise, and emphasize contours or edges. The type and extent of pre-treatment depends on the application. In an application in a handheld device such as a mobile phone with a camera, it was advantageous to use all of the following filters.
  • Colored output images are first converted into grayscale (for example by averaging all the color channels of each pixel).
  • Highly noisy images can optionally be smoothed by a Gaussian filter; This can be done, for example, if a sensor detects a low ambient brightness.
  • an edge image is created from the grayscale image by contour filter.
  • the Sobel filter is often used.
  • the Prewitt filter, the Laplace filter or similar filters can be used to generate an edge image.
  • a pure black and white image is used with 1 bit per pixel, i. the
  • Brightness values are reduced to one bit, so each pixel is binary either white (0 or "no edge") or black (1 or "edge”).
  • the threshold for this conversion can either be fixed or determined relative to the mean or median of the gray levels. Pixels of value 1 will hereafter be referred to simply as edge pixels, even if the invention does not have edges Vectorized, but the movement without the reconstruction of edges from pixel movements allowed to determine. Instead of the explicit determination of edges according to the invention, the calculation of the movement of a partial image in two successive images (eg for implicit collision detection with a virtual object) takes place by means of two interleaved steps which refer only to the pixels of the image. These pixels are preferably the above edge pixels. 1. A motion is calculated for each edge pixel (see step 2). Subsequently, the movements of all edge pixels of the image section are averaged. The means is the movement of the entire section and thus of an object that is wholly or partially in the image section.
  • edge pixels have no attributes (such as brightness, pattern, etc.), there can be no unique association between an edge pixel in the current image and an edge pixel in the previous image. Therefore, the movement of one edge pixel becomes related to neighboring ones
  • Edge pixels are calculated by determining displacement vectors to the neighboring edge pixels and averaging.
  • the displacement vector (2-dimensional) is the vector from the position of the pixel in the current image to the position of an environment pixel in the previous image.
  • Fig. Ia shows the input image, which is in the form of gray levels.
  • Fig. Ib After applying an edge filter four pixels remain, as shown in Fig. Ib.
  • the pixels were numbered consecutively.
  • Fig. Ic wherein the positions occupied in the previous image are marked by circles.
  • the Movement calculated for each edge pixel in the current image (1 ', 2', 3 'and 4').
  • the 9th neighborhood is used, that is, all positions that are directly or diagonally adjacent to the current position and the current position itself, ie, pixels are considered at a given distance.
  • Edge pixel 1 ' has two adjacent edge pixels in the previous image (Figs. 1 and 2).
  • the average motion M 1 ' of 1' is thus:
  • FIG. 2a is used for illustration; Here, for the sake of clarity, the black blocks have been removed compared with FIG. 1c, and the circles have become smaller. Points in which the pixel values have changed are, in the example, the points 1 to 3 which are not circled. Point 4 is not taken into account because the pixel value has not changed.
  • a distance vector is now formed for each of the (changed) points 1 to 3 and each point set in the previous image in the area; this is indicated in Figure 2a for point 1 by arrows and listed in the following table; the mean of these vectors is determined by averaging the x and y Values formed and gives the last column, labeled MW for Mean:
  • a new mean value is then formed in the same way, which already represents the result.
  • a true upward movement results
  • the value of the actual displacement is 0 / -1.
  • black and white images were used in which the black pixels corresponded by filter edges, and only those black pixels were considered.
  • the invention is not limited thereto. If greater accuracy is needed to compensate for more processing power, the method can also be used for grayscale or color images. In this case, first of all pixels of the predecessor image which are equivalent to the pixel are determined for a pixel in the current image.
  • the pixel is the same gray level with respect to a given bound of deviation; For example, for 8-bit or 256-grayscale, 8 grayscale values.
  • the grayscale image may also be quantized in advance by using only 16 gray levels of the 256 possible gray levels and rounding the remainder to these 16 values, and then using exact equality of the pixel values. Both driving gives slightly different equivalents because the quantization is too different.
  • quantization was performed to 1 bit before the determination of the equivalent pixels, and the white pixels were not used. It was first quantized and then only pixels in a predetermined interval, here only the black pixels, used. Since here the color or gray value is only one bit, only the equality of the pixel values makes sense here.
  • the invention may be extended in an application of
  • Reality can be used to effect interaction between real and virtual objects with little computational effort.
  • a mobile phone is used that includes a camera on the back and a screen on the front, and that
  • the virtual object is, as in the article mentioned above, a ball.
  • the invention provides a substantially improved method for detecting the movement of a real foot and detecting the impact towards the virtual ball.
  • the known methods described in the above-mentioned article could only be used in real time by delegation to more powerful computers connected via a network.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Methode zur Bestimmung eines Bewegungsvektors in einem vorgegeben Bereich einer Folge von digitalen Bildern durch Vergleich eines aktuellen Bildes mit einem Vorgängerbild, wobei das aktuelle und das Vorgängerbild durch dieselben Filter zur Bildanpassung aufbereitet sind, wobei jeweils Abstandsvektoren zwischen einem Pixel eines aktuellen Bildes und gleichwertigen Pixeln des Vorgängerbildes in einer vorgegebenen Umgebung bestimmt, diese Abstandsvektoren zu einem Verschiebungsvektor für das Pixel gemittelt und die Verschiebungsvektoren ihrerseits gemittelt werden und so den Bewegungsvektor ergeben.

Description

Bewegungsanalyse in digitalen Bildfolgen
Die Erfindung betrifft die Analyse von Bewegungen realer Gegenstände in digitalen Bildfolgen. Insbesondere bei Anwendungen von 'Augmented Reality', bei denen einem realen Videostrom virtuelle Objekte überlagert werden, ist eine Beeinflussung der Bildinhalte durch im Bild sichtbare reale Objekte sinnvoll. Ein einfaches Beispiel einer solchen Anwendung ist in dem Artikel von V. Paelke, Ch. Reimann und D. Stichling, "Foot-based mobile Interaction with Games", ACE2004, Singapore, Juni 2004, beschrieben, bei dem ein virtueller Fußball durch den realen Fuß des Spielers anzustoßen ist. Hierzu wird eine Einrichtung benötigt, die aus dem Videobild die Bewegung des Fußes bestimmt. Eine der hierzu bekannten Methoden ist die Bestimmung von Kanten im Videobild, und darauf aufbauend die Bewegungsanalyse der extrahierten Kanten. Um die Kantenbewegung bestimmen zu können, wird zunächst versucht, die Kanten durch Polygonzüge zu approximieren. Das gilt auch für den o.g. Artikel; siehe S.2, linke Spalte, Absatz unter
Fig. 2, erster Satz: "To perfom collision detection, straight edges inside the ROI are vectorized and tracked between two consecutive images". Es werden gerade Kanten (in dem interessierenden Bereich, ROI = region of interest) vektorisiert und deren Bewegung nachvollzogen. Dazu müssen die vektorisierten Kanten der zweier Bilder einer Folge einander zugeordnet werden, unter Berücksichtigung, dass der neue Vektor sowohl eine andere Lage im Raum als auch eine andere Länge haben kann, aber beide Werte unterhalb einer vorgegebenene Schranke liegen. Diese Berechunung sind relativ aufwändig .
Andere Methoden sind hauptsächlich unter zwei Stichwörtern zu finden: 'Tracking' und 'Optical Flow'. Unter 'Tracking' sind auch Techniken zu finden, die die Bewegung einer Kamera bestimmen und daher hier nicht relevant sind.
Eine Übersicht über den Stand der Technik im Bereich des 'Tracking' ist in dem technischen Bericht TR VRVis 2001 025, "State of the Art Report on Optical Tracking" von Miguel Ribo, Wien 2001, enthalten. Für Anwendungen der oben genannten Art entfallen dabei alle Verfahren mit besonders präparierten Gegenständen sowie solche, bei denen ein Modell des zu verfolgenden Gegenstands vorgegeben sein muss. Die verbleibenden Verfahren setzen entweder Kantenverfolgung oder aufwendige Matrixoperationen ein, um diejenige Bewegung zu bestimmen, mit der eine minimale Abweichung der Bildinformation bestimmt wird. Darunter fallen auch Verfahren, wie sie im Artikel von C-L. Huang, Y. -R. Choo und P. -C. Chung, "Combining Region-based Differential and Matching Algorithms to Obtain Accurate Motion Vectors for Moving Object in a Video Sequence", ICDCSW02, 2002, beschrieben sind. Bekannt sind dabei die dort aufgeführten Verfahren von Horn-Schunk oder Lucas-Kanade, die zu den Optical-Flow-Verfahren zählen. Sie bestimmen die Gradienten durch Differentialbildung und benötigen erheblichen Rechenaufwand. Gleiches gilt für die in dem Artikel von B. Galvin, B. McCane, K. Novins, D. Mason und S. Mills, "Recovering Motion Fields: An Evaluation of Eight Optical Flow Algorithms", BMVC98, 1998, dargestellen
Verfahren. Die meisten der genannten Methoden haben zudem den Nachteil, empfindlich gegen Bildstörungen zu sein und zu deren Kompensation weitere Schritte zu benötigen. Bewegungsanalyse für aufeinander folgende Videobilder wird auch in den MPEG-Codierverfahren verwendet, in denen für
Kompressionszwecke die Bewegung von Pixelblöcken fester Größe bestimmt wird. Dabei ist es unerheblich, ob diese der Bewegung von Bildobjekten entspricht; diese Methoden sind daher im Rahmen von 'Augmented Reality' nicht verwendbar. Die im Folgenden näher beschriebenen Methoden sind hingegen wesentlich einfacher, schneller und robuster als die bislang bekannten Methoden. Sie benötigen kein Modell des im Bild ganz oder teilweise sichtbaren Gegenstands und verlangen keine Vektorsierung von Kanten; sie zudem relativ unempfindlich gegen Bildrauschen und andere Störungen, die bei einer herkömmlichen Kantenerkennung das Kantenbild stören . Es handelt sich um eine Methode zur Erkennung der Bewegung von Bildausschnitten in digitalen Bildfolgen, bei der nach einer Konturenhervorhebung in einem ausgewählten Ausschnitt zu jedem Pixel der Mittelwert der Verschiebungsvektoren zu benachbarten Pixeln bestimmt und sodann der Mittelwert aller dieser Verschiebungsvektoren gebildet und als Verschiebungsvektor für einen in dem Ausschnitt sichtbaren Gegenstand verwendet wird. Vor der Anwendung der nachfolgend genauer beschriebenen Methode wird jedes einzelne Bild aus der Bildfolge durch bekannte Filter vorbehandelt. Diese Filter dienen der Farbreduktion der Bildpixel, der Verringerung des Rauschens und der Hervorhebung von Konturen bzw. Kanten. Die Art und der Umfang der Vorbehandlung ist je nach Anwendung zu bestimmen. In einer Anwendung in einem Handgerät wie einem Mobiltelefon mit Kamera war es vorteilhaft, sämtliche der folgenden Filter anzuwenden.
Farbige Ausgangsbilder werden zunächst (zum Beispiel durch Mittelwertbildung aller Farbkanäle eines jeden Pixels) in Graustufen umgewandelt. Stark verrauschte Bilder können optional durch einen Gauß-Filter geglättet werden; dies kann beispielsweise erfolgen, wenn ein Sensor eine geringe Umgebungshelligkeit feststellt. Anschließend wird aus dem Graustufenbild durch Konturenfilter ein Kantenbild erstellt. In der Praxis wird dazu oft der Sobel-Filter verwendet.
Alternativ können auch der Prewitt-Filter, der Laplace-Filter oder vergleichbare Filter zur Erzeugung eines Kantenbildes eingesetzt werden. In einer Ausprägung der Erfindung wird ein reines schwarz- weiss-Bild mit 1 Bit per Pixel verwendet, d.h. die
Helligkeitswerte werden auf ein Bit reduziert, so dass jedes Pixel binär entweder weiß (0 bzw. „keine Kante") oder schwarz (1 bzw. „Kante") ist. Der Schwellwert für diese Umwandlung kann entweder fest vorgegeben sein oder relativ zum Mittel- oder Medianwert der Graustufen bestimmt werden. Pixel mit dem Wert 1 werden im Folgenden einfacherweise als Kantenpixel bezeichnet, auch wenn die Erfindung keine Kanten vektorisiert , sondern die Bewegung ohne die Rekonstruktion von Kanten aus Pixelbewegungen zu bestimmen erlaubt. Anstelle der expliziten Bestimmung von Kanten erfolgt gemäß der Erfindung erfolgt die Berechnung der Bewegung eines BiId- ausschnittes in zwei aufeinander folgenden Bildern (z.B. zur impliziten Kollisionserkennung mit einem virtuellen Objekt) durch zwei verschachtelte Schritte, die lediglich auf die Pixel des Bildes Bezug nehmen. Diese Pixel sind bevorzugt die o.g. Kantenpixel. 1. Für jedes einzelne Kantenpixel wird eine Bewegung berechnet (siehe Schritt 2) . Anschließend werden die Bewegungen aller Kantenpixel des Bildausschnittes gemittelt. Das Mittel ist die Bewegung des gesamten Ausschnittes und somit eines Gegenstandes, der sich ganz oder teilweise in dem Bildausschnitt befindet.
2. Da die Kantenpixel keine Attribute besitzen (wie zum Beispiel Helligkeit, Muster usw.), kann keine eindeutige Zuordnung zwischen einem Kantenpixel im aktuellen Bild und einem Kantenpixel im vorherigen Bild erfolgen. Daher wird die Bewegung eines Kantenpixels in Bezug zu benachbarten
Kantenpixeln berechnet, indem Verschiebungsvektoren zu den benachbarten Kantenpixeln bestimmt und gemittelt werden. Als Verschiebungsvektor (2-dimensional) wird der Vektor von der Position des Pixels im aktuellen Bild zur Position eines Umgebungspixels im vorherigen Bild bezeichnet.
Im nachfolgenden Beispiel wird der Einfachheit halber ein quadratischer Bildausschnitt von fünf mal fünf Punkten verwendet. Fig. Ia zeigt das Eingabebild, das in Form von Graustufen vorliegt. Nach Anwendung eines Kantenfilters verbleiben vier Pixel, wie in Fig. Ib dargestellt. Für die nachfolgende Beschreibung wurden die Pixel durchnummeriert . Angenommen, in dem Folgebild habe sich das Objekt nach oben bewegt. Das Ergebnis ist in Fig. Ic dargestellt, wobei die im vorherigen Bild besetzten Positionen durch Kreise markiert sind.
In einer ersten Variante der Erfindung wird für jedes Kantenpixel im aktuellen Bild (1', 2', 3' und 4') die Bewegung berechnet. In diesem Beispiel wird dazu die 9er- Nachbarschaft verwendet, also alle Positionen, die direkt oder diagonal mit der aktuellen Position benachbart sind und die aktuelle Position selbst, d.h. es werden Pixel in einem vorgegebenen Abstand betrachtet. Kantenpixel 1' hat zwei benachbarte Kantenpixel im vorherigen Bild (1 und 2) . Die gemittelte Bewegung M1' von 1' lautet somit:
Entsprechend ergeben sich für die anderen Pixel folgende Be- wegungen:
Um die gesamte Bewegung M des Bildausschnittes zu berechnen, wird das Mittel aller einzelnen Bewegungen ermittelt:
Es ist zu erkennen, dass eine starke Bewegung nach oben (- 0,5) und eine sehr geringe Bewegung nach rechts (0,083) detektiert wurde. In einem alternativen Berechnungverfahren werden alle Punkte verwendet, bei denen sich der Pixelwert geändert hat. Hierzu dient Fig. 2a zur Veranschaulichung; hier sind der Übersichtlichkeit halber gegenüber Fig. Ic die schwarzen Blöcke entfernt worden und die Kreise kleiner. Punkte, bei denen sich die Pixelwerte geändert haben, sind im Beispiel die nicht eingekreisten Punkte 1 bis 3. Punkt 4 wird nicht berücksichtigt, da sich der Pixelwert nicht geändert hat. Zu jedem der (geänderten) Punkte 1 bis 3 und jedem im vorheigen Bild im Bereich gesetzten Punkte wird nun ein Abstandsvektor gebildet, dies ist in Fig. 2a für Punkt 1 durch Pfeile angedeutet und in der folgenden Tabelle aufgeführt; der Mittelwert dieser Vektoren wird durch Mittlung der x- und y- Werte gebildet und ergibt die letzte Spalte, mit MW für Mittelwert bezeichnet:
Dabei werden nur solche Punkte berücksichtigt, die in einer vorgegebenen Umgebung des jeweiligen Punktes vorhanden sind, im Beispiel sind das zwei Pixel in x- bzw. y-Richtung, also eine 25er-Nachbarschaft . Daher entfallen die Vektoren für den Abstand vom neuen Punkt 2 zum alten Punkt 4 und vom neuen Punkt 3 zum alten Punkt 1, die deshalb in Klammern gesetzt sind. Im Unterschied zu der vorherigen Variante wurden hier nur geänderte Pixelwerte berücksichtigt, dafür jedoch ein grosserer Bereich.
Von den Mittelwerten der Punkte wird dann auf die gleiche Art ein neuer Mittelwert gebildet, der bereits das Ergebnis darstellt. Auch hier ergibt sich richtig eine Bewegung nach oben Der Wert der tatsächlichen Verschiebung ist 0/-1. In den beiden Beispielen wurden schwarz-weiss-Bilder verwendet, bei denen die schwarzen Bildpunkt durch Filter Kanten entsprechen, und nur diese schwarzen Pixel berücksichtigt wurden. Die Erfindung ist jedoch nicht hierauf beschränkt. Wenn größerer Genauigkeit im Ausgleich für mehr Rechenleistung benötigt wird, kann das Verfahren auch für Graustufen- oder farbige Bilder angewendet werden. Hierbei werden zu einem Pixel in dem aktuellen Bild zunächst alle Pixel des Vorgängerbildes ermittelt, die dem Pixel gleichwertig sind. Im Falle von Graustufen-Bildern sind das Pixel der gleichen Graustufe bezüglich einer vorgegebenen Schranke der Abweichung; bei 8 Bit oder 256 Graustufen beispielsweise 8 Graustufenwerte. Alternativ kann auch vorab das Graustufen-Bild quantisiert werden, indem von den 256 möglichen Graustufen nur 16 Graustufen verwendet werden und die übrigen auf diese 16 Werte gerundet werden, und dann exakte Gleichheit der Pixelwerte verwendet wird. Beide Ver- fahren geben geringfügig unterschiedliche Gleichwertigkeiten, da die Quantisierung zu unterschiedlich ist. In den oben dargestellten Beispielen wurde nach den Kantenfiltern eine Quantisierung auf 1 Bit vor der Bestimmung der gleichwertigen Pixel durchgeführt und die weissen Pixel nicht verwendet. Es wurde als zunächst quantisiert und dann nur Pixel in einem vorbestimmten Intervall, hier nur die schwarzen Pixel, verwendet. Da hier der Färb- bzw. Grauwert nur noch ein Bit beträgt, ist hier nur die Gleichheit der Pixelwerte sinnvoll. Die Erfindung kann in einer Anwendung von erweiterter
Realität ( ' augmented reality') verwendet werden, um mit wenig Rechenaufwand eine Interaktion zwischen realen und virtuellen Gegenständen zu bewirken. Beispielsweise wird ein Mobiltelefon verwendet, das eine Kamera auf der Rückseite und einen Bildschirm auf der Vorderseite umfasst, und das
Kamerabild auf dem Bildschirm reproduziert wird, so das scheinbar durch den Bildschirm auf die dahinterliegende Szene geblickt werden kann. Der virtuelle Gegenstand sei, wie in dem eingangs erwähnten Artikel, ein Ball. Durch die Erfindung wird ein wesentlich verbessertes Verfahren angegeben, um die Bewegung eines realen Fusses zu erkennen und den Stoß in Richtung auf den virtuellen Ball zu erkennen. Die in dem oben genannten Artikel beschriebenen bekannten Verfahren konnten hingegen nur durch Delegation auf über ein Netzwerk ver- bundenen leistungsfähigeren Rechner in Realzeit verwendet werden .

Claims

Ansprüche
1. Methode zur Bestimmung eines Bewegungsvektors in einem vorgegeben Bereich einer Folge von digitalen Bildern durch Vergleich eines aktuellen Bildes mit einem Vorgängerbild, wobei das aktuelle und das Vorgängerbild durch dieselben Filter zur Bildanpassung aufbereitet sind, mit den Merkmalen:
- es werden jeweils Abstandsvektoren zwischen einem Pixel des aktuellen Bildes in dem vorgegebenen Bereich und gleichwertigen Pixeln des Vorgängerbildes bestimmt, und diese Abstandsvektoren zu einem Verschiebungsvektor für das Pixel gemittelt ;
- die Verschiebungsvektoren werden ihrerseits gemittelt und ergeben den Bewegungsvektor.
2. Methode nach Anspruch 1, wobei nach Anwendung der Filter die Pixelwerte sowohl des aktuellen wie auch des Vorgängerbildes quantisiert werden, lediglich Pixelwerte in einem vorbestimmten Intervall verwendet werden und gleichwertige Pixel gleichen Pixelwert aufweisen.
3. Methode nach Anspruch 1, wobei nach Anwendung der Filter Pixel des aktuellen Bildes und Pixel des Vorgängerbildes dann als gleichwertig gelten, wenn die Differenz der Pixelwerte innerhalb einer vorgegebenen Schranke liegt.
4. Methode nach einem der Ansprüche 1 bis 3, wobei die Pixelwerte binär quantisiert werden, nur Pixel eines der beiden noch möglichen Werte betrachtet werden, und die Verschiebungsvektoren zu allen benachbarten Pixeln desselben Wertes im Vorgängerbild gebildet werden.
5. Methode nach Anspruch 4, wobei nur von Pixeln die Verschiebungsvektoren verwendet werden, deren Pixelwerte in dem Vorgängerbild ungleich waren.
6. Methode zur Bestimmung einer Stoßbewegung eines realen Gegenstands in einem vorbestimmten Bereich einer digitialsierten Bildfolge, indem nach einer der Methoden der vorhergehenden Ansprüche jeweils ein Bewegungsvektor gebildet und mit dem Bewegungsvektor des Vorgängerbildes verglichen wird, und bei Überschreiten einer vorgegeben unteren Schranke der Betragsänderung und oberen Schranke der Richtungsänderung ein Stoß in Richtung des aktuellen Bewegungsvektors als erfolgt erkannt wird.
7. Anwendung der Methode nach Anspruch 6 in einem Gerät, das mit Hilfe einer eingebauten Kamera, eines Bildschirms und eine Prozessors erweiteterte Realität darstellt, um den Stoß eines realen Gegengstands in Bezug auf einen virtuellen Gegenstand zu bestimmen, indem der Bereich um den virtuellen Gegenstand als vorbestimmter Bereich verwendet wird und ein erkannter Stoß auf den virtuellen Gegenstand angewendet wird.
EP07712336A 2006-03-01 2007-02-27 Bewegungsanalyse in digitalen bildfolgen Withdrawn EP1989680A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006009774A DE102006009774B4 (de) 2006-03-01 2006-03-01 Bewegungsanalyse in digitalen Bildfolgen
PCT/EP2007/051847 WO2007099099A2 (de) 2006-03-01 2007-02-27 Bewegungsanalyse in digitalen bildfolgen

Publications (1)

Publication Number Publication Date
EP1989680A2 true EP1989680A2 (de) 2008-11-12

Family

ID=38329206

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07712336A Withdrawn EP1989680A2 (de) 2006-03-01 2007-02-27 Bewegungsanalyse in digitalen bildfolgen

Country Status (4)

Country Link
US (1) US20090169059A1 (de)
EP (1) EP1989680A2 (de)
DE (1) DE102006009774B4 (de)
WO (1) WO2007099099A2 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011233039A (ja) * 2010-04-28 2011-11-17 Sony Corp 画像処理装置、画像処理方法、撮像装置、およびプログラム
JP2013041387A (ja) * 2011-08-15 2013-02-28 Sony Corp 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム
KR102369802B1 (ko) * 2017-07-13 2022-03-04 한화디펜스 주식회사 영상 처리 시스템 및 그에 의한 영상 처리 방법
US10262220B1 (en) * 2018-08-20 2019-04-16 Capital One Services, Llc Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6826294B1 (en) * 1999-03-05 2004-11-30 Koninklijke Philips Electronics N.V. Block matching motion estimation using reduced precision clustered predictions
EP1395061A1 (de) * 2002-08-27 2004-03-03 Mitsubishi Electric Information Technology Centre Europe B.V. Verfahren und Vorrichtung zur Kompensation von falschen Bewegunsvektoren in Videodaten

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007099099A2 *

Also Published As

Publication number Publication date
DE102006009774B4 (de) 2007-10-18
DE102006009774A1 (de) 2007-09-06
US20090169059A1 (en) 2009-07-02
WO2007099099A3 (de) 2008-03-20
WO2007099099A2 (de) 2007-09-07

Similar Documents

Publication Publication Date Title
DE102020131265A1 (de) Segmentieren von video-rahmen unter verwendung eines neuronalen netzes mit verringerter auflösung und von masken aus vorhergehenden rahmen
DE112017002799T5 (de) Verfahren und system zum generieren multimodaler digitaler bilder
DE102020201787A1 (de) Erzeugen von blickkorrigierten bildern unter verwendung eines bidirektional trainierten netzwerks
DE60111851T2 (de) Videobildsegmentierungsverfahren unter verwendung von elementären objekten
DE102018130924A1 (de) Systeme und Verfahren zur dynamischen Gesichtsanalyse mittels eines rekurrenten neuronalen Netzes
DE112016004731T5 (de) Erweitern von Mehrfachansicht-Bilddaten mit synthetischen Objekten unter Verwendung von IMU und Bilddaten
EP2284795A2 (de) Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
DE102006030709A1 (de) Verfahren für die kenntnisbasierte Bildsegmentierung unter Verwendung von Formmodellen
DE112014006439B4 (de) Kantenerkennungsvorrichtung, Kantenerkennungsverfahren und Programm
DE112013002200T5 (de) Automatische Anpassung von Bildern
EP2430614A1 (de) Verfahren zur echtzeitfähigen, rechnergestützten analyse einer eine veränderliche pose enthaltenden bildsequenz
DE102010046507A1 (de) Berechnung der Detailstufe für die anisotrope Filterung
DE102015009820A1 (de) Bildsegmentierung für eine Kamera-Liveeinspielung
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
DE102010016251A1 (de) Erkennungsverfahren für ein bewegliches Objekt und das der Erkennung des beweglichen Objekts zugrunde liegende Befehlseingabeverfahren
DE112007001789T5 (de) Bestimmung und Verwendung einer dominanten Linie eines Bildes
DE102020133245A1 (de) Tiefenbasierte 3D-Rekonstruktion unter Verwendung einer a-priori-Tiefenszene
Malik et al. Llrnet: A multiscale subband learning approach for low light image restoration
DE102006009774B4 (de) Bewegungsanalyse in digitalen Bildfolgen
DE102016109660A1 (de) Clusterungsverfahren und -system, entsprechende Vorrichtung und entsprechendes Computerprogrammprodukt
EP2893510B1 (de) Verfahren und bildverarbeitungsanlage zum entfernen eines visuellen objektes aus einem bild
DE102004026782A1 (de) Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element
Cai et al. Image Blur Assessment with Feature Points.
DE112017007162T5 (de) Gesichtsermittlungsvorrichtung, dazugehöriges Steuerungsverfahren und Programm
EP4118620A1 (de) Verfahren und vorrichtung zum verarbeiten von bildern

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080828

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

RIN1 Information on inventor provided before grant (corrected)

Inventor name: REIMANN, CHRISTIAN

Inventor name: STICHLING, DIRK

Inventor name: KLEINJOHANN, BERND

Inventor name: SCHNEIDER, CHRISTIAN

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIVERSITAET PADERBORN

Owner name: SIEMENS AKTIENGESELLSCHAFT

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20110901