DE602004005358T2 - Objektdetektion in bildern - Google Patents

Objektdetektion in bildern

Info

Publication number
DE602004005358T2
DE602004005358T2 DE602004005358T DE602004005358T DE602004005358T2 DE 602004005358 T2 DE602004005358 T2 DE 602004005358T2 DE 602004005358 T DE602004005358 T DE 602004005358T DE 602004005358 T DE602004005358 T DE 602004005358T DE 602004005358 T2 DE602004005358 T2 DE 602004005358T2
Authority
DE
Germany
Prior art keywords
foreground
segmented
segmentation
picture elements
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE602004005358T
Other languages
English (en)
Other versions
DE602004005358D1 (de
Inventor
Jose-Luis Campus Nord Landabaso
Li-Qun Kesgrave Xu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Telecommunications PLC
Original Assignee
British Telecommunications PLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to GB0326374 priority Critical
Priority to GBGB0326374.6A priority patent/GB0326374D0/en
Application filed by British Telecommunications PLC filed Critical British Telecommunications PLC
Priority to PCT/GB2004/004685 priority patent/WO2005048191A2/en
Publication of DE602004005358D1 publication Critical patent/DE602004005358D1/de
Application granted granted Critical
Publication of DE602004005358T2 publication Critical patent/DE602004005358T2/de
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/38Quantising the analogue image signal, e.g. histogram thresholding for discrimination between background and foreground patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/34Segmentation of touching or overlapping patterns in the image field
    • G06K9/344Segmentation of touching or overlapping patterns in the image field using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/20Image acquisition
    • G06K9/34Segmentation of touching or overlapping patterns in the image field
    • G06K9/346Removing patterns interfering with the pattern to be recognised, such as ruled lines, underlines
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Description

  • Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Ermitteln von Objekten in Bilddarstellungen, und bezieht sich insbesondere, wenn auch nicht ausschließlich, auf ein Verfahren und eine Vorrichtung zum Erfassen bewegter Objekte unter Berücksichtigung von Schattenwürfen dieser Objekte und Spitzlichtern an diesen Objekten.
  • Das automatische Erfassen von bewegten Objekten, beispielsweise von Leuten oder Fahrzeugen innerhalb von einem Videobild eines Schauplatzes war das Ziel vieler Forscher und ist eine Vorstufe für automatisierte Klassifizierungs- und Nachverfolgungsanwendungen. An sich sind automatisierte Objekterfassungssysteme außerdem für Überwachungs- und Erfassungsanwendungen nützlich. Der eigentliche Schritt zur Unterscheidung zwischen den Bildelementen (Pixel) eines Bildes, die den Vordergrund oder bewegte Objekte von Belang darstellen und der Hintergrundszene, ist im Stand der Technik wie nachstehend allgemein als "Segmentierung" bekannt.
  • Eines der in der Technik des automatischen Erfassens von Objekten bekannten Probleme besteht in der Kompensation von Veränderungen in den Beleuchtungsbedingungen und insbesondere in der Unterscheidung zwischen einem tatsächlichen Objekt und einem vom Objekt geworfenen Schatten oder andernfalls einem darin enthaltenen Spitzlicht. Das Erfordernis einer gewissen Sicherheit, dass das Objekt und nicht dessen Schatten erfasst wurde, ist vor allem bei Objektklassifizierungs- und Nachverfolgungssystemen für die nachfolgenden Anpassungsschritte wichtig, und folglich wurden im Stand der Technik Verfahren vorgeschlagen, die von Schatten und Spitzlichtern verursachte segmentierte Pixel ermitteln und entfernen.
  • Genauer beschreiben McKenna et al. in "Tracking Groups of People", Computer Vision and Image Understanding, 80, 42–56, 2000, ein Pixelsegmentierungsverfahren, bei dem ein adaptives Hintergrundbild verwendet wird, das ein Hintergrundbild rekursiv adaptiert, um Veränderungen in der Beleuchtung (von denen angenommen wird, dass sie gegenüber einer Objektbewegung langsam verlaufen) zu berücksichtigen. Anschließend wird ein Farbkanal-Hintergrundabzugsverfahren ausgeführt, worin die RGB-Kanäle der Pixel des Eingabebildes bei jedem bestimmten Eingabebild mit dem adaptiven Hintergrund verglichen werden und abhängig von den Ergebnissen eines logischen Vergleichs der entsprechenden R-, G- oder B-Werte von Eingangsbild und Hintergrund wird ein Pixel entweder als "Vordergrund" oder "Hintergrund" bestimmt. Die Karte der "Vordergrund"-Pixel stellt eine Maske dar, die anschließend für die weitere Verarbeitung verwendet wird.
  • Da die Maske der Vordergrundpixel unter Verwendung eines Farbunterschied-Hintergrundabzugsverfahrens erzeugt wurde, enthält sie Pixel, die Objektschatten und/oder Spitzlichter darstellen. Daher beschreiben McKenna et al. auch ein zweites Pixelsegmentierungsverfahren, bei dem Schatten unter Verwendung der Pixelgradienten und Chromatizitätsinformation erfasst werden. Wie in Horpraset et al., "A Statistical Approach für Real-time Robust Background Subtraction and Shadow Detection", IEEE ICCV'99 FRAME_RATE workshop, beschrieben ist nämlich bekannt, dass Schatten insofern eine Farbkonstanzeigenschaft aufweisen, als dass sich die Chromatizität eines im Schatten liegenden Pixels nicht wesentlich von der Chromatizität desselben Pixels unterscheidet, wenn es sich nicht im Schatten befindet. Stattdessen liegt der einzige Unterschied in der Luminanz des Pixels. Diese Farbkonstanz wird daher von McKenna et al. als erster Diskriminator verwendet, wobei sie annehmen, dass jedes Pixel, das im Vergleich zum Hintergrund eine signifikante Änderung der Intensität aber keine signifikante Änderung der Chromatizität aufweist, nur von einem Schatten hervorgerufen sein kann.
  • McKenna et al. merken jedoch auch an, dass der oben beschriebene Farbkonstanz-Diskriminator versagt, wenn ein Vordergrundobjekt dieselbe Chromatizität wie der Hintergrund aufweist, zum Beispiel wenn schwarze Hosen einen Gehweg überqueren. Daher beschreiben McKenna et al. auch die Verwendung der Pixelgradienteninformation von Eingabe- und Hintergrundbild um zwischen diesen einen Vergleich auf der Grundlage durchzuführen, dass sich die Texturinformation eines Eingabepixels, sofern es ein Schattenpixel ist, gegenüber dem Hintergrund nicht wesentlich verändert haben sollte. Ein Pixel wird daher als Vordergrund gekennzeichnet, wenn entweder die Chromatizitäts- oder die Gradienteninformation diese Klassifizierung stützt.
  • Nach der Durchführung der Pixelsegmentierung mit dem oben beschriebenen Verfahren führen McKenna et al. eine Zusammenhangsanalyse durch, um zusammenhängende Objekte zu bestimmen. Sie merken an, dass ein zusammenhängendes Objekt infolge der Chromatizitäts- und Gradientendiskriminierung dergestalt "Löcher" enthalten kann, dass Pixel, die vollständig innerhalb der Grenzen der zusammenhängenden Pixel angeordnet sind und als Vordergrund hätten segmentierten werden müssen, fälschlicherweise als Hintergrund segmentiert wurden und daher nicht Bestandteil des zusammenhängenden Objekts sind. Um dem abzuhelfen, wird auf die mit dem vorher beschriebenen RGB-Subtraktionsverfahren erstellte "Maske" zurückgegriffen, wobei jedes "Hintergrund"-Pixel, das Bestandteil eines Lochs in einem zusammenhängenden Objekt ist, in den Vordergrund überführt wird, wenn die Maske von der RGB-Subtraktion anzeigt, dass es zum Vordergrund gehört. Dadurch können die Löcher innerhalb des Objektverbunds entfernt und eine Schatten berücksichtigende Vordergrund- und Hintergrundsegmentierung durchgeführt werden.
  • Während die von McKenna et al. beschriebenen Farbkonstanz- und Gradientenverfahren beim Bestimmen von Schatten zu Zwecken der Vordergrund-Hintergrund-Pixelsegmentierung effizient sind, weist das von McKenna beschriebene Verfahren einige Probleme in realen Situationen auf, da die Zusammenhangsanalyse ausgeführt wird bevor die von der Segmentierung resultierenden "Löcher" berücksichtigt werden. Wenn zum Beispiel die von der Segmentierung herrührenden "Löcher" ein Objekt eigentlich überdecken und vollständig zweiteilen, so wird die Zusammenhangsanalyse die zwei Regionen (blobs) nicht als ein einziges Objekt erkennen, sondern statt dessen als zwei gesonderte Objekte. Folglich werden die überdeckenden "Löcher" nicht als solche erkannt und können daher nicht durch einen Rückgriff auf die RGB-Subtraktionsmaske aufgefüllt werden. Bis die Zusammenhangsanalyse durchgeführt ist werden umgekehrt die "Löcher" selbst nicht bestimmt und daher nicht gefüllt. Das Ergebnis dieses Paradoxons ist, dass in einigen Situationen zwei kleinere zusammenhängende Objekte bestimmt werden, wo in Wirklichkeit nur ein Objekt existiert.
  • Nach einem ersten Gesichtspunkt gibt die vorliegende Erfindung ein Bildverarbeitungsverfahren zum Erfassen von Objekten innerhalb eines aus Bildelementen aufgebauten Eingabebildes an, wobei das Verfahren umfasst:
    • a) Segmentieren der innerhalb des Eingabebildes ein Vordergrundobjekt darstellen Bildelemente von jenen Bildelementen, die den Bildhintergrund bilden, wobei ein erstes Segmentierungsverfahren verwendet wird, bei dem die als Vordergrund segmentierten Bildelemente Elemente umfassen, die einen Schatten oder ein Spitzlicht des Objekts darstellen; und
    • b) Segmentieren der die Eigenschaft eines Schattens oder Spitzlichts eines Objekts aufweisenden Bildelemente von jenen ein Vordergrundobjekt darstellenden Bildelemente, wobei zumindest ein anderes Segmentierungsverfahren verwendet wird, das zum Ermitteln von Schatten und/oder Spitzlichtern ausgebildet ist; wobei das Verfahren dadurch gekennzeichnet ist, dass es ferner Schritte aufweist zum:
    • c) Segmentieren von Bildelementen als Vordergrund, die jene Bildelemente umgeben, die bereits als Vordergrund segmentiert wurden;
    • d) Wiederholen des Schritts c), bis die Bildelemente, die nach Schritt a) nicht als Vordergrund segmentiert waren, als Vordergrund segmentiert würden oder sind; und dann
    • e) Erfassen von Objekten als Gruppen nebeneinander angeordneter Bildelemente, die als Vordergrund segmentiert wurden.
  • Durch Ausführen des zusätzlichen Segmentierungsschritts c) vor dem Erfassen irgendeines Objekts mit der Zusammenhangsanalyse oder dergleichen können jegliche aus der Abwicklung der Schattenentfernung entstandenen Artefakte, wie beispielsweise Löcher, Zweiteilungen oder dergleichen, in einer Gruppe benachbarter segmentierter Pixel, die ein Objekt darstellt durch Entfernen kompensiert werden. Tatsächlich stellt der Segmentierungsschritt c) einen morphologischen Dilatationsvorgang dar, der die nach der Schattenentfernung verbleibenden Skelettregionen so "wachsen" lässt, dass die Regionen (im Falle einer Zweiteilung) zu einem Gebiet verschmel zen, oder jedwede Löcher in dem Gebiet vor dem Objekterfassungsschritt gefüllt werden. Im Ergebnis stellt die Erfindung sicher, dass bei Ausführung eines Objekterfassungsschritts nur ein einziges Objekt für jedes Objekt der Szene erfasst und die Objekterfassung nicht durch irgendwelche Schatten oder Spitzlichter in dem Objekt beeinträchtigt wird. Das erfindungsgemäße Objekterfassungsverfahren ist daher gegenüber Beleuchtungsveränderungen, die zu Schatten führen, robust.
  • In einer bevorzugten Ausführungsform der Erfindung umfasst der Segmentierungsschritt a) ferner vorzugsweise:
    Validieren der Vordergrundsegmentierung für jedes der als Vordergrund segmentierten Bildelemente des Eingangsbildes durch Vergleichen des Bildelements mit auf die umgebenden Bildelemente bezogenen Wahrscheinlichkeitsmodellen, wobei die Vordergrundsegmentierung bestätigt wird, wenn zumindest die Hälfte der Modelle anzeigt, dass das Bildelement zum Vordergrund gehört. Dies beugt einer "falschen Vordergrund"-segmentierung von Pixeln vor, die durch Rauschen des Eingangsbildes oder durch Instabilitäten der Bildaufzeichnungseinrichtung, wie beispielsweise einer Kamera, verursacht werden können.
  • Nach einem zweiten Gesichtspunkt gibt die Erfindung auch ein Computerprogramm oder eine Folge von Programmen an, die so angeordnet sind, dass das Programm oder die Folge von Programmen bei Ausführung auf einem Computersystem das Computersystem veranlassen, das Verfahren nach dem ersten Gesichtspunkt auszuführen. Ferner wird nach einem weiteren Gesichtspunkt auch ein computerlesbares Speichermedium angegeben, das ein Computerprogramm oder eine Folge von Programmen nach dem dritten Gesichtspunkt speichert. Das computerlesbare Speichermedium kann von jedem im Stand der Technik bekannten geeigneten Datenspeichergerät oder Medium gebildet werden, wie beispielsweise von einem der von einer Magnetplatte, einer DVD, einem Festkörperspeicher, einer optischen Speicherplatte, einer magneto-optischen Speicherplatte oder dergleichen gebildeten nicht einschränkenden Beispiele.
  • Nach einem vierten Gesichtspunkt gibt die vorliegende Erfindung auch eine Bildverarbeitungsvorrichtung zum Erfassen von Objekten innerhalb eines aus Bildelementen aufgebauten Eingabebildes an, wobei die Vorrichtung umfasst:
    Eine Bildverarbeitungseinrichtung, die zum Empfangen eines zu verarbeitenden Eingabebildes und der darauf gerichteten Anwendung folgender Bildverarbeitungsvorgänge ausgebildet ist:
    • a) Segmentieren der innerhalb des Eingabebildes ein Vordergrund- oder ein bewegtes Objekt darstellenden Bildelemente von jenen Bildelementen, die den Bildhintergrund bilden, wobei ein erstes zum Ermitteln von Unterschieden des Eingabebildes gegenüber einem allgemeinen Hintergrundbild ausgebildetes Segmentierungsverfahren verwendet wird, bei dem die als Vordergrund segmentierten Bildelemente Elemente umfassen, die einen Schatten oder ein Spitzlicht des Objekts darstellen;
    • b) Segmentieren der die Eigenschaft eines Schattens oder Spitzlichts eines Objekts aufweisenden Bildelemente von jenen ein Vordergrundobjekt darstellenden Bildelementen, wobei zumindest ein anderes Segmentierungsverfahren verwendet wird, das zum Ermitteln von Schatten und/oder Spitzlichtern ausgebildet ist; und dadurch gekennzeichnet ist, dass die folgenden Vorgänge ausgeführt werden:
    • c) Wiederholtes Segmentieren von Bildelementen als Vordergrund, die jene Bildelemente umgeben, die bereits als Vordergrund segmentiert wurden, bis die Bildelemente, die nach Schritt a) nicht als Vordergrund segmentiert waren, als Vordergrund segmentiert würden oder sind; und dann
    • e) Erfassen von Objekten als Gruppen nebeneinander angeordneter Bildelemente, die als Vordergrund segmentiert wurden.
  • Der vierte Gesichtspunkt weist dieselben Vorteile und dieselben weiteren Merkmale und Vorzüge auf, wie sie zuvor in Bezug auf den ersten Gesichtspunkt beschrieben wurden.
  • Ausführungsformen der vorliegenden Erfindung verbessern den oben beschriebenen Stand der Technik durch Angeben eines verbesserten Pixelsegmentierungsverfahrens, das "Löcher" berücksichtigt, die in der Segmentierung übrig gelassen werden, wenn die Schattenbearbeitung vor der Durchführung einer Zusammenhangsanalyse zur Bestimmung zusammenhängender Objekte vorgenommen wurde. Dies wird durch Anwendung eines im Stand der Technik bekannten Vordergrundsegmentierungsverfahrens zum Erhalt einer "Maske" für die Abgrenzung segmentierter Regionen (eine "Region" besteht aus einer Gruppe benachbarter, segmentierter Pixel) und durch die Anwendung eines, dem von McKenna et al. beschriebenem ähnlichen, Schattenbearbeitungsverfahrens zur Bestimmung der Schatten und Spitzlichter in dem Eingabebild erreicht. Wie von McKenna et al. beschrieben führt die Schattenbearbeitung zu "skelettartig" segmentierten Regionen, wobei diese Regionen verglichen mit den von der Hintergrundsubtraktion erhaltenen Regionen Löcher enthalten, eine kleinere Größe aufweisen oder sogar zweigeteilt sein können. Bevor die Zusammenhangsanalyse auf die Regionen zum Auffinden zusammenhängender Objekte angewandt wird, wird ein Dilatationsverfahren auf die skelettierten Regionen angewandt, um deren Pixel zu vermehren. Die Dilatation wird hierbei wiederholt angewendet, um die skelettierten Regionen so lange zu rekonstruieren, bis die rekonstruierten Regionen die jeweilige Grenze der von der Hintergrundsubtraktion erhaltenen Maske für die entsprechende Region (die sich im Bild im Wesentlichen an derselben Position wie die rekonstruierte oder die rekonstruieren Regionen befindet) berührt. Durch das "Wachsenlassen" der Regionen mit einem morphologischen Dilatationsverfahren können üblicherweise jedwede Löcher oder Zweiteilungen in den von der Schattenbearbeitung erhaltenen "skelettierten" Regionen ausgefüllt werden, um eine rekonstruierte Region zu erhalten, bevor die Zusammenhangsanalyse zur Bestimmung einer Region als ein Objekt ausgeführt wird. Indem das Dilatationsverfahren auf jede Region bedingt solange angewandt wird, bis diese die entsprechende Regionsmaske aus dem Hintergrundsubtraktionsschritt berührt oder gerade überlappt, kann außerdem sichergestellt werden, dass die rekonstruierte Region keine Schatten enthält, da Schatten üblicherweise eine Erweiterung der Originalobjektform entlang einer bestimmten Richtung darstellen.
  • Weitere Merkmale und Vorteile der vorliegenden Erfindung gehen aus der folgenden Beschreibung einer beispielhaften Ausführungsform hervor, wobei auf die beiliegenden Zeichnungen Bezug genommen wird, worin:
  • 1 einen Strukturplan einer Vorrichtung gemäß einer erfindungsgemäßen Ausführungsform zeigt;
  • 2 ein Flussdiagramm zur Veranschaulichung der von der erfindungsgemäßen Ausführungsform vorgenommenen Schritte zeigt;
  • 3 ein Vektordiagramm zur Veranschaulichung des in der erfindungsgemäßen Ausführungsform verwendeten Prinzips der Farbkonstanz zeigt;
  • 4 eine Karte eines in der vorliegenden Erfindung verwendeten morphologischen Operators zeigt;
  • 5 ein Beispiel eines in einer erfindungsgemäßen Ausführungsform verwendeten adaptiven Hintergrundbildes zeigt;
  • 6 ein Beispiel eines Eingabebildes zeigt, in dem der Schatten, der als Eingabe für die erfindungsgemäße Ausführungsform verwendet werden kann, hervorgehoben ist;
  • 7 ein Beispiel eines Videobildes zeigt, das beispielhaft als Eingabe für die erfindungsgemäße Ausführungsform verwendet wird;
  • 8 ein Segmentierungsmaskenbild zeigt, das innerhalb der Ausführungsform durch ein auf die 7 angewandtes erstes Segmentierungsverfahren erzeugt wurde;
  • 9 eine Segmentierungskarte zeigt, die aus dem Entfernen der Schatten und Spitzlichter durch die Ausführungsform resultiert; und
  • 10 eine Segmentierungskarte für das Bild von 7 nach der Anwendung der erfindungsgemäßen morphologischen Dilatation zeigt.
  • Im Folgenden werden eine Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Figuren beschrieben und ein Beispiel für den Einsatz der Ausführungsform angegeben.
  • 1 veranschaulicht ein Beispiel eines für die erfindungsgemäße Ausführungsform vorgesehenen Systemaufbaus. Da die vorliegende Erfindung allgemein ein Bildverarbeitungsverfahren zum Erfassen von Objekten innerhalb von Eingabebildern betrifft, ist die Erfindung hauptsächlich als Software zur Ausführung auf einem Computer ausgebildet. Daher umfasst der Systemaufbau der vorliegenden Erfindung einen im Stand der Technik wohlbekannten Allzweckcomputer 16. Der Computer 16 ist mit einer Anzeige 20 ausgestattet, auf der einem Benutzer von dem Computer erzeugte Bilder dargestellt werden können. Der Computer weist ferner verschiedene Benutzereingabegeräte 18 auf, wie beispielsweise Tastaturen, Mäuse oder dergleichen. Der Allzweckcomputer 16 ist auch mit einem Datenspeichermedium 22 ausgestattet, auf dem Programme und Daten gespeichert werden können, beispielsweise mit einer Festplatte, einem Speicher, einer optischen Speicherplatte oder dergleichen.
  • Im Einzelnen befinden sich auf dem Datenspeichermedium 22 gespeicherte Daten 24, die einem adaptiven Hintergrundbild entsprechen, Daten 28, die einem Eingabebild entsprechen, und Daten 30, die Betriebsdaten, wie beispielsweise Bilddaten, Segmentierungskarten oder dergleichen, entsprechen, die zur Zwischenspeicherung während der Ausführung der Erfindung verwendet werden. Weiterhin ist auf dem Datenspeichermedium 22 ein ausführbarer Programmcode in der Form von Programmen gespeichert, wie beispielsweise dem Steuerprogramm 31, einem Hintergrundadaptionsprogramm 32, einem Vordergrundsegmentierungsprogramm 36, einem Zusammenhangsprogramm 26, einem Schattenerkennungsprogramm 34 und einem Regionenrekonstruktionsprogramm 38. Der Betrieb eines jeden dieser Programme wird später der Reihe nach beschrieben.
  • Der Computer 16 ist zum Empfang von Bildern von einem Bildaufnahmegerät 12, wie beispielsweise einer Kamera oder dergleichen, ausgebildet. Das Bildaufnahmegerät 12 kann direkt mit dem Computer 16 oder alternativ logisch über ein Netzwerk 14, wie beispielsweise dem Internet, mit dem Computer 16 verbunden werden. Das Bildaufnahmegerät 12 ist zum Bereitstellen sequenzieller Videobilder einer Szene ausgebildet, in denen Objekte erfasst werden müssen. Die Videobilder sind dabei aus Bildelementen (Pixeln) zusammengesetzt, die bestimmte Werte annehmen um bestimmte Leuchtdichte-(Luminanz) und Farbwert-(Chrominanz)eigenschaften aufzuweisen. Für die von dem Bildaufnahmegerät 12 ausgegebenen Pixel kann jedes im Stand der Technik bekannte Farbmodell verwendet werden, z. B. RGB, YUV, usw..
  • Beim Betrieb erhält der Allzweckcomputer 16 von dem Bildaufnahmegerät 12 über das Netzwerk oder direkt Bilder und führt die verschiedenen auf dem Datenspeichermedium 22 gespeicherten Programme aus, um das erhaltene Eingangsbild zum Erfassen der darin enthaltenen Objekte zu verarbeiten. Eine detaillierte Beschreibung der Funktionsweise der Ausführungsform wird nun unter Bezugnahme auf die 2 vorgenommen.
  • 2 veranschaulicht ein Flussdiagramm der Funktionsweise der erfindungsgemäßen Ausführung. Beginnend mit Schritt 2.2 erhält der Allzweckcomputer 16 von dem Bildaufnahmegerät 12 entweder über das Netzwerk 14 oder direkt ein unter Verwendung der Erfindung zu analysierendes Eingabebild. Die erfindungsgemäße Ausführungsform wird dann so zur Analyse der Inhalte des empfangenen Eingabebildes tätig, dass die Vordergrundobjekte von Belang darin erfasst werden können. Innerhalb dieser Ausführungsform werden unter "Vordergrund"-Objekten bewegte Objekte oder andere Objekte von Belang verstanden. Der Vorgang des Erfassens von Vordergrundobjekten beruht auf einem effizienten Segmentieren (d. h. Unterscheiden) der Pixel, die Vordergrundobjekte repräsentieren, von den Pixeln, die die Hintergrundszene in dem Bild darstellen, und dem anschließenden Anwenden der Zusammenhangsanalyse auf die segmentierten Vordergrundbilder, um diese als Objekte zu charakterisieren.
  • Der Allzweckcomputer führt die Verarbeitung der erhaltenen Bilder unter der Kontrolle des Steuerprogramms 31 aus. Das heißt, das Steuerprogramm 31 steuert die auf die empfangenen Eingabebilder anzuwendende Bearbeitungsreihenfolge und führt der Reihe nach die anderen Programme zur Ausführung ihrer jeweiligen Bearbeitungsfunktionen aus, wobei es, soweit erforderlich, abwechselnd an diese Eingabedaten weiterreicht und von diesen bearbeitete Daten erhält. Angesichts dessen besteht, sobald das Eingabebild erhalten wurde, die erste auszuführende Bearbeitung darin, eine Segmentierung der Bilder vorzunehmen, die nicht zur Hintergrundszene gehören. Für die vorliegende Ausführungsform wurde das adaptive Hintergrundsubtraktionsverfahren, das von Stauffer und Grimson in "Learning Patterns of Activity Using Real Time Tracking", IEEE Trans on Pattern Analysis And Machine Intelligence, 22(8), August 2000, vorgeschlagen wurde, übernommen. Hier werden in der im Zeitablauf abgebildeten Szene eine Mischung von K Gauß-Verteilungen verwendet, um die Farbänderungen an jeder Pixelstelle zu modellieren. Die Gauß-Verteilungen werden mit jedem eingehenden Rahmen aktualisiert und dann dazu verwendet, um die Pixel zu bestimmen, die am wahrscheinlichsten aus einem Hintergrundprozess hervorgehen. Dieses Modell ermöglicht eine geeignete Darstellung der Hintergrundszene, die langsamen Beleuchtungs- und Szenenänderungen, aber keinen kurzzeitigen Variationen, wie beispielsweise sich wiegenden Bäumen oder Fahnen im Wind, unterworfen ist.
  • Angesichts des oben Beschriebenen werden bei der vorliegenden Ausführungsform von dem Eingabebild 28 unter Verwendung des Stauffer und Grimson-Verfahrens in Schritt 2.4 Vordergrundpixel segmentiert und in Schritt 2.6 wird das adaptive Hintergrundbild 24 aktualisiert, um das empfangene Eingabebild zu berücksichtigen, woraufhin das aktualisierte Bild in dem Datenspeichermedium 22 abgespeichert wird. Die vollständigen Einzelheiten der zur Vornahme von Schritt 2.4 notwendigen Maßnahmen sind in Stauffer und Grimson, ebenda, Abschnitte 3.1 und 3.2, beschrieben. Die Hintergrundpixel werden in Schritt 2.6 wie folgt erhalten: Die Pixelfarben des Hintergrundbildes nehmen die des Eingangsbildes an, wenn sie im Schritt 2.4 als Hintergrund klassifiziert werden. Sollten die eingehenden Pixel als Vordergrund klassifiziert worden sein, so wird der Mittelwert der Gauß-Verteilung mit dem größten Gewicht und der geringsten Varianz (die wahrscheinlichste Hintergrundfarbe in dem Pixel) als Hintergrundpixelfarbe gewählt. Demzufolge kann für jeden eingehenden Frame (Eingabebild) ein aktualisiertes Hintergrundbild erhalten werden. In der Ausführungsform wird der Segmentierungsschritt 2.4 von dem Vordergrundsegmentierungsprogramm 36 und der Hintergrundadaptionsschritt 2.6 von dem Hintergrundadaptionsprogramm 32 ausgeführt, wobei beide von dem Steuerprogramm 28 gesteuert werden. In der 5 ist ein Beispiel eines aus einer Sequenz von Eingabebildern gewonnen Hintergrundbilds gezeigt, das zum Erzeugen der nachfolgend gezeigten Beispielbilder verwendet wird. Ein Beispiel eines Eingabebildes, bei dem der von einem Objekt geworfene Schatten von einem Kreis markiert ist, ist in 6 gezeigt.
  • Als Ergebnis der im Schritt 2.4 durchgeführten Segmentierung erhält man eine wie in 8 gezeigte Karte segmentierter Pixel, zum Beispiel für das in 7 dargestellte Eingabebild. Die auf diese Weise erhaltenen Vordergrundpixel sind jedoch wegen des Rauschens des Hintergrunds oder einer wackelnden Kamera nicht von einer falschen Erfassung ausgenommen. Zur Verminderung dieses Problems wird daher in Schritt 2.8 eine Prozedur zur Unterdrückung falscher Vordergrundpixel eingeführt. Hierzu werden, sofern ein Pixel durch die in Schritt 2.6 ausgeführte Segmentierung zunächst als Vordergrundpixel klassifiziert wurde, dessen acht es umgebenden Nachbarpixelmodelle untersucht. Falls die Mehrheit dieser Modelle, wenn sie auf dieses Pixel angewandt werden, darin übereinstimmen, dass es sich um einen Hintergrundpixel handelt, so wird es als falsch ermittelt betrachtet und von der Vordergrundsegmentierung entfernt. Dieser "falsche Vordergrund"-Test wird auf jedes Pixel angewandt, das in Schritt 2.4 unter Verwendung des Stauffer und Grimson-Verfahrens segmentiert wurde, und mithin wird die Vordergrundsegmentierung für jedes dieser Pixel validiert.
  • Im Anschluss an die "falscher Vordergrund"-Validierung wird die beispielsweise in 8 gezeigte Karte segmentierter Pixel in Schritt 2.10 als "Maske" segmentierter Pixel zur späteren Verwendung in dem Verfahren gespeichert. Diese Karte segmentierter Pixel wird in dem Betriebsdatenbereich 30 des Datenspeichermediums 22 gespeichert.
  • Sobald die Vordergrundpixel bestimmt wurden, wird ein weiteres Erkennungsverfahren angewandt, um herauszufinden, ob einige dieser Vordergrundpixel Bereichen entsprechen, die wahrscheinlich Schattenwürfe oder Spitzlichter bedeuten. Wie in Horprasert et al. "A Statistical Approach für Real-time Robust Background Subtraction and Shadow Detection", ICCV'99 FRAME RATE workshop, Abschnitt 4.2 erläutert ist, kann ein Pixel dann als Schattenpixel angesehen werden, wenn es eine ähnliche Chromatizität aber eine geringere Helligkeit als die desselben Pixels in dem Hintergrundbild aufweist, oder es kann als Spitzlichtpixel angesehen werden, wenn es eine ähnliche Chromatizität aber eine größere Helligkeit als das entsprechende Pixel des Hintergrundbildes aufweist. Diese Eigenschaft der Schatten- oder Spitzlichtpixel wird als "Farbkonstanz" bezeichnet, weil die Chromatizität der Schatten- oder Spitzlichtpixel eines Eingabebildes ähnlich oder identisch wie bei den entsprechenden Pixeln des Hintergrundbildes ist, so dass der einzige Unterschied in der Leuchtdichte des Eingabebildpixels liegt. Daher wird als erster Schritt zum Nachweis von Schatten oder Spitzlichtern in Schritt 2.12 die Farbverzerrung ("CD" für Colour Distortion) und Helligkeitsverzerrung ("BD" für Brightness Distortion), wie von Horprasert et al. und in 3 gezeigt wird, zwischen den jeweiligen Vordergrundpixeln und den entsprechenden Pixeln des in Schritt 2.6 gespeicherten adaptiven Hintergrundbildes berechnet und die möglichen Schatten nachgewiesen. In Schritt 2.12 werden für die Farb- und Helligkeitsverzerrung vor allem dynamische Schwellwerte verwendet wobei insbesondere die folgenden logischen Bedingungen verwendet werden:
    FALLS CD < 10 DANN
    FALLS 0,5 < BD < 1.0 → SCHATTEN
    FALLS 1.0 < BD < 1.25 → SPITZLICHT
    SONST VORDERGRUND
  • Bei anderen Ausführungsformen der Erfindung können die Schwellwerte von den oben angegebenen abweichen; die genauen Werte der Schwellwerte sollten durch Kalibrieren jeder einzelnen Realisierung auffindbar sein.
  • Die segmentierten Pixel, die unter den oben angegebenen, logischen Bedingungen entweder als Schatten- oder Spitzlichtpixel bestimmt wurden, werden dann zur Entfernung von der Vordergrundsegmentierungskarte markiert. Es sei angemerkt, dass bei der Ausführungsform die oben angegebenen Schritte von dem Schattenerkennungsprogramm 34 unter der Kontrolle des Steuerungsprogramms 28 durchgeführt werden.
  • Wenngleich der oben beschriebene Farbkonstanztest beim Erkennen von Schatten effizient ist, wurde beobachtet, dass die Prozedur in den Fällen weniger effizient ist, bei denen die Objekte von Belang ähnliche Farben wie die mutmaßlichen Schatten aufweisen. Zur Korrektur wird auch ein zweiter Prozess verwendet, der die Gradienten/Texturen der Bereiche der segmentierten Pixel in ähnlicher Weise vergleicht, wie es von McKenna et al. in Abschnitt 3.2 ihrer oben angegebenen Veröffentlichung "Tracking Groups of People" beschrieben wurde. Insbesondere wird das Schattenerkennungsprogramm 34 der erfindungsgemäßen Ausführungsform in Schritt 2.14 tätig, um die räumlichen Gradienten der Pixel des Eingabebildes zu berechnen, die entsprechend der vorliegenden Segmentierungskarte als segmentiert markiert sind, und vergleicht dann, wie im Einzelnen von McKenna et al. in Abschnitt 3.2 deren Veröffentlichung beschrieben wurde, die berechneten Gradienten mit entsprechend berechneten Gradienten der jeweiligen entsprechenden Pixel des adaptiven Hintergrunds. Die segmentierten Pixel des Eingabebildes, für die ein ähnlicher Gradient wie für den adaptiven Hintergrund gefunden wurde, werden dann als Kandidaten für die Entfernung von der Vordergrundsegmentierungskarte markiert.
  • Als Ergebnis der Operationen von Schritt 2.12 und Schritt 2.14 werden sowohl Schatten- als auch Spitzlichtpixel für die Entfernung von der Segmentierungskarte markiert, aber es wurden auf dieser Stufe noch keine segmentierten Pixel von der Segmentierungskarte entfernt. In Schritt 2.16 bestimmt das Schattenermittlungsprogramm 34 daher jene Pixel, die in beiden Schritten 2.12 und 2.14 als Kandidaten für Schatten- und Spitzlichtpixel festgelegt wurden, und entfernt diese Pixel von der Segmentierungskarte. Folglich werden jene Pixel, die sowohl in der Farbe als auch dem Gradienten eine Ähnlichkeit mit dem Hintergrund aufweisen, als Schatten oder Spitzlichter erkannt und von der Objektsegmentierung entfernt.
  • Nebenbei bemerkt muss dies, auch wenn in der bevorzugten Ausführungsform ein Pixel nur dann von der Segmentierung in Schritt 2.16 entfernt wird, wenn es in beiden Schritten 2.12 und 2.14 als potentielles Schatten-/Spitzlichtpixel markiert wurde, in alternativen Ausführungsformen nicht der Fall sein, bei denen ein Pixel von der Segmentierung entfernt werden kann, wenn entweder der eine oder der andere oder beide der in den Schritten 2.12 und 2.14 ausgeführten Tests anzeigt, dass das Pixel ein Schatten-/Spitzlichtpixel ist. Das kann dazu führen, dass sogar mehr Pixel als Schatten-/Spitzlichtpixel bestimmt und von der Vordergrundsegmentierung entfernt werden als in der bevorzugten Ausführungsform, bei der beide Tests erfüllt werden müssen.
  • Zurück zur Hauptausführungsform wird man beobachten, dass wegen der dynamischen Anwendung der Schattenentfernungsverfahren (wegen der für die logischen Bedingungen gewählten Schwellwerte) viele der Pixel, die richtigerweise die Objekte von Belang repräsentieren, ebenfalls von der Segmentierungskarte entfernt wurden. In der 9 ist ein Beispiel einer Segmentierungskarte, wie es von der Anwendung in den Schritten 2.12 bis 2.16 erzeugt wurde, dargestellt und durch Vergleich mit der zugehörigen 8, die die Segmentierungskarte vor der Anwendung der Schritte zeigt, kann man sehen, dass die segmentierten Pixel, die die Objekte von Belang repräsentieren, sehr stark verringert sind, und dass die Gruppen segmentierter Pixel die die Objekte darstellen sowohl Löcher im Inneren als auch Zweiteilungen aufweisen. Es sei jedoch auch angemerkt, dass die Schattenpixel darstellenden segmentierten Pixel, die in der 8 sehr markant sind, in der 9 vollständig entfernt wurden.
  • Wie jedoch in 9 zu sehen ist, enthält die Karte der in Schritt 2.16 gespeicherten Karte segmentierter Pixel einen Sprenkel aus fälschlicherweise segmentierten Pixeln und daher wird in Schritt 2.17 eine Entfernung des Sprenkelrauschens an der Segmentierungskarte vorgenommen, um die isolierten, rauschbehafteten Vordergrundpixel zu unterdrücken. Dieses Verfahren zum Entfernen des Sprenkelrauschens wird mithilfe eines wie in Gleichung 1 gezeigten, morphologischen Operators durchgeführt: M ~ = M ⋂ (M ⊕ N) Gleichung 1worin N das in 4 gezeigte Strukturelement darstellt. Aus 4 ist ersichtlich, dass N von einem 3 × 3-Strukturelement gebildet wird, das die Viererverbund-Nachbarn des Ursprungs, aber nicht den Ursprung selbst enthält. Außerdem bestimmt der Term (M ⊕ N) von Gleichung 1 alle Viererverbund-Pixel, d. h. neben einem Pixel von M gelegene. Daher bestimmt M ~ alle Pixel, die in M liegen und Viererverbund-Nachbarn aufweisen und daher entsprechen diese Punkte mit Ausnahme der isolierten allen Punkten, die in M liegen. Die aus diesem Sprenkelfilterschritt resultierende sprenkelfreie Segmentie rungskarte wird dann in dem Betriebsdatenbereich 30 des Speichermediums 22 gespeichert.
  • Falls im Anschluss an die Schattenentfernung eine Zusammenhangsanalyse zum Auffinden von Objekten auf die Regionen von 9 angewandt werden würde, würden wegen der verschiedenen Löcher und Zweiteilungen innerhalb der Gruppe von Pixeln viele fehlerhafte Objekte erfasst werden. Daher trägt die erfindungsgemäße Ausführungsform dafür Sorge, dass die vielen Löcher und Zweiteilungen in den segmentierten Pixelregionen entfernt werden. Dies erfolgt durch wiederholtes Anwenden einer morphologischen Dilatation auf die in der Segmentierungskarte von Schritt 2.18 segmentierten Pixel, um Pixel zu segmentieren, die die gegenwärtig segmentierten Pixel umgeben. Diese morphologische Dilatation wird wiederholt ausgeführt, bis die segmentierten Regionen die Grenzen der jeweiligen entsprechenden im Segmentierungsschritt 2.4 (d. h. 8) erzeugten Regionen segmentierter Pixel berühren oder gerade überlappen, woraufhin die Dilatation schließlich beendet wird. Es ergibt sich ein "Wachsenlassen" der nach der Schattenentfernungsprozedur übergebliebenen segmentierten Regionen bis alle Löcher oder Zweiteilungen innerhalb der Regionen segmentierter Pixel ausgefüllt sind.
  • Im Einzelnen wird in Schritt 2.18 an den als Vordergrund segmentierten Pixeln der Segmentierungskarte gemäß 9 mit dem Regionenrekonstruktionsprogramm 38 eine Dilatation mit einem 9 × 9-Blockstrukturelement (wobei jeder Block des Elements auf "1" gesetzt wird) vorgenommen, um die die bereits als Vordergrundpixel segmentierten Pixel umgebende Pixel zu segmentieren. In Schritt 2.20 wird anschließend der Bereich der segmentierten Regionen der so erhaltenen Segmentierungskarte mit den segmentierten Regionen der gespeicherten Maske verglichen, die der im Segmentierungsschritt von Schritt 2.4, d. h. der Stauffer und Grimson-Segmentierung, erhaltenen Segmentierungskarte entspricht. In Schritt 2.22 wird eine Auswertung vorgenommen, um zu bestimmen, ob eine der als Ergebnis der morphologischen Dilatation erhaltenen segmentierten Regionen die segmentierten Regionen der Segmentierungskartenmaske berührt oder überlagert. Falls diese Auswertung ergibt, dass keine Berührung oder kein Überlappen der Segmentierungsregionenmaske vorliegt, so kehrt das Verfahren in einer Schleife zu dem Schritt 2.18 der morphologischen Dilatation zurück und führt ihn erneut aus. Die Schleife, die die Schritte 2.18, 2.20 und 2.22 umfasst, wird solange wiederholt, bis die Auswertung in Schritt 2.22 ein positives Ergebnis ergibt, woraufhin die Schleife dann beendet wird. In formaler Hinsicht werden die segmentierten Regionen in der Segmentierungskarte nach Gleichung 2 rekonstruiert: R = Ms ⋂ (M ⊕ SE) Gleichung 2worin Ms das in der Segmentierung von Schritt 2.3 erhaltene Maskenbild darstellt, M ~ die segmentierten Pixel nach den Schatten-/Spitzlichtentferntungsschritten von s. 2.12 bis 2.16 und SE das Strukturelement, dessen Größe üblicherweise von der Größe der Objekte abhängt; wie oben erwähnt, erwies sich ein quadratisches 9 × 9-Element in allen unseren Tests als funktionell, aber es können auch Strukturelemente anderer Größe verwendet werden, die zu einer Dilatation führen. Die diesem morphologischen Dilatationsschritt zugrunde liegende Idee besteht darin, dass beim Schattenentfernen für die Regionen zumindest eine Reihe von Punkten übrig bleibt, die gegenüber einem falschen Schattenentfernen robust waren. Diese robusten Punkte eignen sich, sofern sie einen Teil der Silhouette in der vor der Segmentierung in Schritt 2.4 erhaltenen ursprünglichen Re gionen bilden, zum Anführen der Rekonstruktion benachbarter Punkte.
  • Die von dem Regionenrekonstruktionsprogramm 38 ausgegebene resultierende Segmentierungskarte sollte, sobald die Verfahrensschleife beendet ist, dem in 10 gezeigten Beispiel ähneln, an dem man im Vergleich mit 9 erkennen kann, dass die segmentierten Pixelregionen rekonstruiert und alle Löcher oder Zweiteilungen darin entfernt wurden. Ebenfalls ersichtlich ist ferner, dass die rekonstruierten segmentierten Pixelregionen von 10 innerhalb der Segmentierung keine wesentlichen Schattenpixel enthalten. Die in 10 erhaltenen segmentierten Pixelregionen können daher als Eingabe an einen klassischen Achterverbund-Zusammenhangsanalyse-Algorithmus verwendet werden, um alle mutmaßlich zu einem Objekt gehörenden Pixel jeweils zu einem erfassten Objekt zu zusammenzufassen. Daher wird in Schritt 2.24 eine Zusammenhangsanalyse an der in der Prozessschleife erhaltenen Segmentierungskarte mithilfe des Komponentenverbundprogramms 26 durchgeführt, um an den in der Segmentierungskarte enthaltenen segmentierten Regionen Objekte zu erfassen. Daten, die die erfassten Objekte bestimmen, werden dann in dem Betriebsdatenbereich 30 des Speichermediums 22 gespeichert und können anschließend als Eingabe in eine Objektklassifizierungsanwendung, eine Objektnachverfolgungsanwendung oder dergleichen eingegeben werden. Die erfindungsgemäße Ausführungsform kann alternativ auch für sich selbst zum Erfassen von Objekten und zur Anzeige der Objekte gegenüber einem Benutzer an einer Anzeige 20 verwendet werden.
  • Bei anderen Ausführungsformen können weitere Aktionen durchgeführt werden, wenn in dem Eingabebild ein oder mehrere Objekte erfasst werden; beispielsweise kann der Computer 16 ein Ausgabegerät zur Abgabe einer hörbaren oder visuellen Anzeige der Objekterfassung an den Benutzer veranlassen. Die erfindungsgemäße Ausführungsform ist daher insbesondere zur Verwendung bei Überwachungsanwendungen und dergleichen geeignet.
  • Falls es sich nicht deutlich anders aus dem Zusammenhang ergibt, sind in der Beschreibung und den Ansprüchen die Wörter "aufweisen", "aufweisend" und dergleichen als umfassend im Gegensatz zu einer ausschließlichen oder erschöpfenden Bedeutung aufzufassen; das bedeutet im Sinne von "einschließlich, aber nicht darauf beschränkt".

Claims (6)

  1. Bildverarbeitungsverfahren zum Erfassen von Objekten in einem aus Bildelementen aufgebauten Eingabebild, wobei das Verfahren umfasst: a) Segmentieren der innerhalb des Eingabebildes ein Vordergrundobjekt darstellenden Bildelemente von jenen Bildelementen, die den Bildhintergrund bilden, wobei ein erstes Segmentierungsverfahren verwendet wird, bei dem die als Vordergrund segmentierten Bildelemente Elemente umfassen, die einen Schatten oder ein Spitzlicht des Objekts darstellen; und b) Segmentieren der die Eigenschaft eines Schattens oder Spitzlichts eines Objekts aufweisenden Bildelemente von jenen ein Vordergrundobjekt darstellenden Bildelementen, wobei zumindest ein anderes Segmentierungsverfahren verwendet wird, das zum Ermitteln von Schatten und/oder Spitzlichtern ausgebildet ist; und das Verfahren dadurch gekennzeichnet ist, dass es ferner Schritte umfasst zum: c) Segmentieren von Bildelementen als Vordergrund, die jene Bildelemente umgeben, die bereits als Vordergrund segmentiert wurden; d) Wiederholen des Schritts c) bis die Bildelemente, die nach Schritt a) nicht als Vordergrund segmentiert waren, als Vordergrund segmentiert würden oder sind; und dann e) Erfassen von Objekten als Gruppen nebeneinander angeordneter Bildelemente, die als Vordergrund segmentiert wurden.
  2. Bildverarbeitungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Segmentierungsschritt a) ferner umfasst: Validieren der Vordergrundsegmentierung für jedes der als Vordergrund zu segmentierenden Bildelemente des Eingangsbildes durch Vergleichen des Bildelements mit Wahrscheinlichkeitsmodellen, die sich auf umgebende Bildelemente beziehen, wobei die Vordergrundsegmentierung bestätigt wird, wenn zumindest die Hälfte der Modelle anzeigt, dass das Bildelement zum Vordergrund gehört.
  3. Computerprogramm oder Computerprogrammgruppe, die so ausgebildet ist, dass es bzw. sie bei Ausführung durch einen Computer den Computer zur Ausführung des Verfahrens nach einem der vorangehenden Ansprüche steuert.
  4. Computerlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm oder zumindest einem aus einer Gruppe von Computerprogrammen nach Anspruch 3.
  5. Bildverarbeitungsvorrichtung zum Erfassen von Objekten innerhalb eines aus Bildelementen aufgebauten Eingabebildes, wobei die Vorrichtung umfasst: – eine Bildverarbeitungseinrichtung, die zum Empfangen eines zu verarbeitenden Eingabebildes und der darauf gerichteten Anwendung folgender Bildverarbeitungsvorgänge ausgebildet ist: a) Segmentieren der innerhalb des Eingabebilds ein Vordergrund- oder ein bewegtes Objekt darstellenden Bildelemente von jenen Bildelementen, die den Bildhintergrund bilden, wobei ein erstes zum Ermitteln von Unterschieden des Eingabebildes gegenüber einem allgemeinen Hintergrundbild ausgebildetes Segmentierungsverfahren verwendet wird, bei dem die als Vordergrund segmentierten Bildelemente Elemente umfassen, die einen Schatten oder ein Spitzlicht des Objekts darstellen; b) Segmentieren der die Eigenschaft eines Schattens oder Spitzlichts eines Objekts aufweisenden Bildelemente von jenen ein Vordergrundobjekt darstellenden Bildelementen, wobei zumindest ein anderes Segmentierungsverfahren verwendet wird, das zum Ermitteln von Schatten und/oder Spitzlichtern ausgebildet ist; und dadurch gekennzeichnet, dass die folgenden Aktionen ausgeführt werden: c) wiederholtes Segmentieren von Bildelementen als Vordergrund, die jene Bildelemente umgeben, die bereits als Vordergrund segmentiert wurden, bis Bildelemente, die nach Schritt a) nicht als Vordergrund segmentiert waren, als Vordergrund segmentiert würden oder sind; und dann e) Ermitteln von Objekten als Gruppen nebeneinander angeordneter Bildelemente, die als Vordergrund segmentiert wurden.
  6. Bildverarbeitungsvorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung ferner dazu ausgebildet ist, die Vordergrundsegmentierung für jedes der infolge der Segmentierung a) als Vordergrund zu segmentierenden Bildelemente des Eingangsbildes durch Vergleichen des Bildelements mit Wahrscheinlichkeitsmodellen, die auf umgebende Bildelemente bezogen sind, zu validieren, wobei die Vordergrundsegmentierung bestätigt wird, wenn zumindest die Hälfte der Modelle anzeigt, dass das Bildelement zum Vordergrund gehört.
DE602004005358T 2003-11-12 2004-11-08 Objektdetektion in bildern Active DE602004005358T2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
GB0326374 2003-11-12
GBGB0326374.6A GB0326374D0 (en) 2003-11-12 2003-11-12 Object detection in images
PCT/GB2004/004685 WO2005048191A2 (en) 2003-11-12 2004-11-08 Object detection in images

Publications (2)

Publication Number Publication Date
DE602004005358D1 DE602004005358D1 (de) 2007-04-26
DE602004005358T2 true DE602004005358T2 (de) 2007-08-23

Family

ID=29726402

Family Applications (1)

Application Number Title Priority Date Filing Date
DE602004005358T Active DE602004005358T2 (de) 2003-11-12 2004-11-08 Objektdetektion in bildern

Country Status (9)

Country Link
US (1) US7742650B2 (de)
EP (1) EP1683105B1 (de)
JP (1) JP4668921B2 (de)
CN (1) CN1875378B (de)
AT (1) AT357030T (de)
CA (1) CA2543871A1 (de)
DE (1) DE602004005358T2 (de)
GB (1) GB0326374D0 (de)
WO (1) WO2005048191A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017113799A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Fahrassistenz für eine einspurige Straße

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8913830B2 (en) * 2005-01-18 2014-12-16 Siemens Aktiengesellschaft Multilevel image segmentation
GB0510792D0 (en) * 2005-05-26 2005-06-29 Bourbay Ltd Assisted selections with automatic indication of blending areas
WO2007076893A1 (en) * 2005-12-30 2007-07-12 Telecom Italia S.P.A. Edge-guided morphological closing in segmentation of video sequences
US8379957B2 (en) * 2006-01-12 2013-02-19 Siemens Corporation System and method for segmentation of anatomical structures in MRI volumes using graph cuts
JP4187011B2 (ja) * 2006-06-01 2008-11-26 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
US7916944B2 (en) * 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
US7929729B2 (en) 2007-04-02 2011-04-19 Industrial Technology Research Institute Image processing methods
CN101399968B (zh) 2007-09-29 2012-07-18 三星电子株式会社 单色监视相机中阴影和高光检测方法
US8280106B2 (en) * 2007-09-29 2012-10-02 Samsung Electronics Co., Ltd. Shadow and highlight detection system and method of the same in surveillance camera and recording medium thereof
JP2009098925A (ja) * 2007-10-17 2009-05-07 Sony Corp 画像処理装置、画像処理方法、および、プログラム
CN101482968B (zh) 2008-01-07 2013-01-23 日电(中国)有限公司 图像处理方法和设备
US8265380B1 (en) * 2008-08-14 2012-09-11 Adobe Systems Incorporated Reuse of image processing information
JP2010092199A (ja) * 2008-10-07 2010-04-22 Sony Corp 情報処理装置および方法、プログラム、並びに記録媒体
JP5218168B2 (ja) * 2009-03-11 2013-06-26 ソニー株式会社 撮像装置、動体検知方法、動体検知回路、プログラム、及び監視システム
TWI413024B (zh) * 2009-11-19 2013-10-21 Ind Tech Res Inst 物件偵測方法及系統
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
CN102446346A (zh) * 2010-09-30 2012-05-09 北京中电兴发科技有限公司 快速去除运动图像阴影的方法
AU2010241260B2 (en) * 2010-10-29 2013-12-19 Canon Kabushiki Kaisha Foreground background separation in a scene with unstable textures
TR201101980A1 (tr) * 2011-03-01 2012-09-21 Ulusoy İlkay Bir nesne temelli bölütleme yöntemi.
US20140160155A1 (en) * 2011-08-30 2014-06-12 Hewlett-Packard Development Company, L.P. Inserting an Object into an Image
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9711126B2 (en) 2012-03-22 2017-07-18 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for simulating sound propagation in large scenes using equivalent sources
JP6056319B2 (ja) * 2012-09-21 2017-01-11 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9124762B2 (en) * 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
US9846707B2 (en) 2013-01-31 2017-12-19 Bluebeam, Inc. Method for color and size based pre-filtering for visual object searching of documents
US20140240477A1 (en) * 2013-02-26 2014-08-28 Qualcomm Incorporated Multi-spectral imaging system for shadow detection and attenuation
US9213896B2 (en) * 2013-03-05 2015-12-15 Mitsubishi Electric Research Laboratories, Inc. Method for detecting and tracking objects in image sequences of scenes acquired by a stationary camera
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US10140511B2 (en) 2013-03-13 2018-11-27 Kofax, Inc. Building classification and extraction models based on electronic forms
US9235890B2 (en) * 2013-03-15 2016-01-12 Yahoo! Inc. Identifying regions characterized by labeled measurements
US9191643B2 (en) * 2013-04-15 2015-11-17 Microsoft Technology Licensing, Llc Mixing infrared and color component data point clouds
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
US9560439B2 (en) 2013-07-01 2017-01-31 The University of North Carolina at Chapel Hills Methods, systems, and computer readable media for source and listener directivity for interactive wave-based sound propagation
WO2015073920A1 (en) 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
CN103971135A (zh) * 2014-05-05 2014-08-06 中国民航大学 基于头肩深度信息特征的人体目标检测方法
US9977644B2 (en) 2014-07-29 2018-05-22 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for conducting interactive sound propagation and rendering for a plurality of sound sources in a virtual environment scene
US9916662B2 (en) * 2015-03-17 2018-03-13 Lyrical Labs Video Compression Technology, LLC Foreground detection using fractal dimensional measures
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US10242285B2 (en) * 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
CN106488204B (zh) * 2015-09-02 2018-06-15 财团法人工业技术研究院 具备自身校准的深度摄影装置以及自身校准方法
CN106611406B (zh) * 2015-10-27 2019-08-16 富士通株式会社 图像校正方法和图像校正设备
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
CN107662872A (zh) * 2016-07-29 2018-02-06 奥的斯电梯公司 乘客运输机的监测系统及其监测方法
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
US10248744B2 (en) 2017-02-16 2019-04-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for acoustic classification and optimization for multi-modal rendering of real-world scenes
IT201700021559A1 (it) 2017-02-27 2018-08-27 St Microelectronics Srl Procedimento per il controllo di raggi laser, dispositivo, apparecchiatura e prodotto informatico corrispondenti
WO2019182782A1 (en) * 2018-03-21 2019-09-26 Zoox, Inc. Generating maps without shadows
US10504282B2 (en) 2018-03-21 2019-12-10 Zoox, Inc. Generating maps without shadows using geometry
CN108957530B (zh) * 2018-05-23 2019-08-23 电子科技大学 一种基于地震相干体切片的裂缝自动检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62279480A (en) * 1986-05-28 1987-12-04 Kubota Ltd Fruit recognizing device
JPH0335399A (en) * 1989-06-30 1991-02-15 Toshiba Corp Change area integrating device
US5201011A (en) * 1991-11-19 1993-04-06 Xerox Corporation Method and apparatus for image hand markup detection using morphological techniques
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
JP2984652B2 (ja) * 1997-08-22 1999-11-29 富士通株式会社 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体
JP3423889B2 (ja) * 1998-11-16 2003-07-07 日本電信電話株式会社 パターン認識方法およびパターン認識プログラムを記録した記録媒体
US7116800B2 (en) 2001-05-30 2006-10-03 Eaton Corporation Image segmentation system and method
US20030199739A1 (en) 2001-12-17 2003-10-23 Gordon Tim H. Printing device for personal medical monitors
CN1139898C (zh) 2002-03-25 2004-02-25 北京工业大学 基于k-均值聚类及信息融合的角膜病灶图像分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017113799A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Fahrassistenz für eine einspurige Straße

Also Published As

Publication number Publication date
EP1683105A2 (de) 2006-07-26
DE602004005358D1 (de) 2007-04-26
CA2543871A1 (en) 2005-05-26
GB0326374D0 (en) 2003-12-17
US20070036432A1 (en) 2007-02-15
CN1875378B (zh) 2010-05-05
CN1875378A (zh) 2006-12-06
JP2007510993A (ja) 2007-04-26
AT357030T (de) 2007-04-15
US7742650B2 (en) 2010-06-22
JP4668921B2 (ja) 2011-04-13
EP1683105B1 (de) 2007-03-14
WO2005048191A3 (en) 2005-07-07
WO2005048191A2 (en) 2005-05-26

Similar Documents

Publication Publication Date Title
Nadimi et al. Physical models for moving shadow and object detection in video
DE69533054T2 (de) Mehrfenstertechnik zur Schwellenwertverarbeitung eines Bildes unter Verwendung lokaler Bildeigenschaften
JP4666706B2 (ja) 動画像リアルタイム変換方法、キーフレーム選択方法、及び動画像変換システム
US9147259B2 (en) Multi-mode video event indexing
EP1918872B1 (de) Verfahren und System zur Bildsegmentierung
JP5280503B2 (ja) 画像表示方法、共有ボードシステム
US9087229B2 (en) System for background subtraction with 3D camera
KR100421221B1 (ko) 조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치
Jung Efficient background subtraction and shadow removal for monochromatic video sequences
US20040151342A1 (en) Video scene background maintenance using change detection and classification
AU2005298492B2 (en) A method and system for processing video data
US7015978B2 (en) System and method for real time insertion into video with occlusion on areas containing multiple colors
US20130208979A1 (en) Foreground / Background Separation In Digital Images
US6819796B2 (en) Method of and apparatus for segmenting a pixellated image
US6931146B2 (en) Method and apparatus for detecting moving object
JP3679512B2 (ja) 画像抽出装置および方法
US20020172420A1 (en) Image processing apparatus for and method of improving an image and an image display apparatus comprising the image processing apparatus
TWI362016B (en) Method for detecting desired objects in a highly dynamic environment by a monitoring system and the monitoring system thereof
US8611728B2 (en) Video matting based on foreground-background constraint propagation
JP4648981B2 (ja) 非動作検出方法
EP1969560B1 (de) Kantengesteuerte morphologische schliessung bei der segmentierung von videosequenzen
US8126268B2 (en) Edge-guided morphological closing in segmentation of video sequences
JP2008192131A (ja) 特徴レベル・セグメンテーションを実行するシステムおよび方法
JP2012034147A (ja) カメラ異常検出装置を有する監視カメラシステム
US8045761B2 (en) Detection of environmental conditions in a sequence of images

Legal Events

Date Code Title Description
8364 No opposition during term of opposition