DE102005024097B4

DE102005024097B4 - Mechanisches Schwenken, Neigen und Zoomen bei einer Webcam

Info

Publication number: DE102005024097B4
Application number: DE102005024097A
Authority: DE
Inventors: Paul Fremont Mcalpine; Olivier Fremont Lechnenne; Venkatesh Tumati San Jose Krishnan; Patrick Mountain View Miauton; Remy Belmont Zimmermann; Yuh-Lin Fremont Chang
Original assignee: Logitech Europe SA
Current assignee: Logitech Europe SA
Priority date: 2004-10-01
Filing date: 2005-05-25
Publication date: 2009-07-02
Anticipated expiration: 2025-05-26
Also published as: US20060075448A1; DE102005024097A1; US7917935B2; CN1756306B; CN1756306A; US20110181738A1

Abstract

System zum mechanischen Bewegen eines optischen Moduls in einer Webcam durch Verfolgen des Gesichts eines Benutzers, wobei das System umfaßt:
ein optisches Modul zum Aufnehmen von Bilddaten;
einen Computer, der über einen Standardbus mit der Webcam verbunden ist, wobei Videodaten zum Computer und Steuersignale vom Computer zur Webcam beide über den Bus gesandt werden,
wobei der Computer ein Treibermodul aufweist, das umfasst:
ein Maschinensichtmodul, das mit dem optischen Modul gekoppelt ist, zum Identifizieren des Orts des Gesichts des Benutzers auf der Basis der aufgenommenen Bilddaten, und
ein Bewegungssteuermodul, das mit dem Maschinensichtmodul gekoppelt ist, zum Entscheiden, ob das optische Modul bewegt werden soll;
und
der Computer außerdem ein Anwendungsmodul aufweist, das ebenfalls auf die Bilddaten zugreift, wobei die Gesichtsverfolgung im Treibermodul für das Anwendungsmodul transparent ist; und
ein mechanisches Modul in der Webcam, das mit dem Bewegungssteuermodul kommunikativ über den Bus gekoppelt...

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Diese Erfindung betrifft im allgemeinen das Schwenken, Neigen und Zoomen bei Webcams und insbesondere das mechanische Schwenken, Neigen und Zoomen von Videowebcams, die durch Software oder Firmware gesteuert werden.
2. Beschreibung des Standes der Technik
Über die vergangenen paar Jahre hat der elektronische Kontakt zwischen Leuten ungeheuer zugenommen. Verschiedene Kommunikationsarten werden verwendet, um elektronisch miteinander zu kommunizieren, wie z. B. Videokonferenz, Emails, Textnachrichtenübermittlung usw. Insbesondere wurde die Sofortnachrichtenübermittlung (IM), die Leuten ermöglicht, über das Internet in Echtzeit miteinander zu kommunizieren ("IM-Chats"), immer populärer. In jüngerer Zeit werden auch Videodaten in Verbindung mit Echtzeit-IM-Chats übertragen.
Es existieren verschiedene Kameras, die für eine solche elektronische Videokommunikation verwendet werden können. Einige solche Kameras haben die Fähigkeit, Standbilddaten zusätzlich zu Videodaten und Audiodaten aufzunehmen. Für Zwecke von Video-Echtzeitchats werden diese Kameras häufig mit dem Computer eines Benutzers verbunden und die von der Kamera aufgenommenen Video- und/oder Audiodaten werden zum Computer übertragen.
Wie vorstehend erwähnt, können mehrere weitere Anwendungen existieren, bei denen Standbild-, Video- und/oder Audiodaten übertragen werden, wie z. B. Live-Videostreaming, Videoaufnahme für die Zwecke der Erzeugung von Filmen, Videoüberwachung, Internetüberwachung, Internet-Webcams usw.
In solchen Anwendungen ist häufig das Sehen des Gesichts des anderen Benutzers von größter Wichtigkeit. In einem Fall, in dem zwei Benutzer unter Verwendung von Video-IM kommunizieren, ist es beispielsweise häufig erwünscht, daß der Eindruck des tatsächlichen Chattens mit dem anderen Benutzer erzeugt wird. Das gegenseitige Sehen der Gesichter verstärkt diese Erfahrung folglich erheblich. Es ist jedoch für Leute natürlich, ihre Gesichter von Seite zu Seite oder aufwärts und abwärts usw. zu bewegen und folglich vollständig oder teilweise aus dem Blickfeld der Kamera zu verschwinden. In solchen Anwendungen ist es folglich häufig sehr wichtig, das Gesicht des Benutzers zu verfolgen.
Die meisten herkömmlichen Kameras, die für Sofortnachrichtenübermittlung verwendet werden (häufig Webcams), bewegen sich jedoch nicht automatisch, um das Gesicht eines Benutzers zu verfolgen. Der Benutzer muß die Kamera per Hand speziell bewegen, um wieder in das Blickfeld zu gelangen, oder muß sein Gesicht bewußt wieder in das Blickfeld der Kamera bewegen. In einigen Fällen wurde eine optische Gesichtsverfolgung implementiert. Eine solche Kamera, die eine optische Gesichtsverfolgung implementiert, ist die QuickCam Pro 4000^® von Logitech, Inc. (Fremont, CA). Als Beispiel dessen, wie die optische Verfolgung funktionieren kann, betrachte man, daß sich das Gesicht des Benutzers zur oberen rechten Ecke des Blickfeldes der Kamera bewegt. Die zur Kamera gehörende Software kann diese Bewegung des Gesichts des Benutzers erkennen, das Gesicht heranzoomen, die Bilddaten um das Gesicht abschneiden und dann das übertragene Bild neu bemessen.
Die optische Gesichtsverfolgung weist mehrere Begrenzungen auf. Erstens wird die Qualität einer solchen optischen Verarbeitung von Bilddaten signifikant verschlechtert. Zweitens ist das Blickfeld der Kamera durch eine solche optische Verarbeitung unverändert. Wenn sich der Benutzer genügend bewegen würde, so daß er sich aus dem aktuellen Blickfeld der Kamera begeben würde, kann folglich die optische Gesichtsverfolgung dies nicht kompensieren. Das US-Patent 6 297 846 verwendet eine Weitwinkellinse und verfolgt aus dem Weitwinkelbild Leute und wählt ein Fenster innerhalb des Weitwinkelbildes aus.
Eine weitere Lösung ist im US-Pat. Nr. 5 598 209 mit dem Titel "Method for automatically adjusting a video conferencing system camera" vorgeschlagen. Das Patent erörtert alternative Verfahren zum Einstellen der Schwenkung, Neigung und des Zooms und Brennpunkts einer Kamera und stellt diese bereit. Die offenbarten Verfahren erfordern jedoch eine spezielle Eingabe vom Benutzer hinsichtlich dessen, welches Objekt oder um welche spezielle Position das Blickfeld der Kamera zentriert werden sollte. Das Schwenken, Neigen usw. ist nicht automatisch und basiert auf der Verfolgung des Gesichts des Benutzers.
Einige Patente beschreiben Standbild-Rahmungssysteme und andere verwenden Reichweitensysteme, um durch Zoomen auf den Abstand einzustellen. Die US-Patente 6 606 458 und 5 864 363 beschreiben die automatische Ausrichtung des Gesichts einer Person für ein Kameraportrait, sehen jedoch keine kontinuierliche Verfolgung für Video vor. Das US-Patent 5 389 967 zeigt die Verfolgung eines Objekts mit einem Camcorder, aber unter Verwendung eines Infrarotsignals. Das US-Ptent 4 348 097 zeigt eine an einer Schiene montierte Kamera, wobei ein Abstandsmesser verwendet wird, um die Bewegung der Kamera zu steuern und einen gewünschten Abstand von einem Objekt beizubehalten.
Das US-Patent 6 680 745 lehrt mehrere Kameras für eine Videokonferenz, wobei eine Weitwinkelkamera die Bewegung von Leuten erfaßt und dann den Zoom, die Schwenkung und Neigung anderer Kameras lenkt. Ein ähnliches System, bei dem eine Kamera andere steuert, ist in der veröffentlichten US-Anmeldung Nr. 20020113862 gezeigt, welche eine Weitwinkelkamera zeigt, die mit einem USB verbunden ist und andere Kameras steuert, damit sie Gesichtern folgen. Einige Systeme verwenden Töne (wobei die Person spricht), um eine Person aufzufinden, die sich aus der Reichweite einer Kamera bewegt hat.
Typischerweise wird eine spezielle Videokonferenzplatine verwendet, wobei ein erstes Kabel die Videoeingabe liefert und andere Kabel die ausgehende Steuerung zu den Kameras liefern.
Es sei ferner auf die WO 99/60788 A1 verwiesen, die ein Videokonferenzsystem mit einer Videokamera, einer Anzahl von Mikrofonen, einem Positionierungssystem zum Neigen, Schwenken und Zoomen der Kamera, einem Prozessor und einem Sender offenbart. Der Prozessor verarbeitet in erster Linie Audiosignale von den Mikrofonen und ergänzend Videosignale von der Kamera, um eine sprechende Person zu lokalisieren, und stellt Steuersignale an das Positionierungssystem bereit, um die Kamera auf die sprechende Person zu richten. Der Sender sendet Audio- und Videosignale für die Videokonferenz, wobei es sich bei den Signalen um dieselben handeln kann, die auch zur Lokalisierung der sprechenden Person verwendet werden.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung ist ein System gemäß Anspruch 1 und ein Verfahren gemäß Anspruch 6 zum automatischen mechanischen Schwenken, Neigen und/oder Zoomen einer Webcam, um das Gesicht eines Benutzers zu verfolgen. Eine solche Bewegung wird durch eine Kernsoftware in einem Hauptrechner gesteuert, zu dem die Webcam Videodaten sendet. in dieser Weise behandelt ein Treiber im Hauptrechnerkern die Gesichtsverfolgung, die für die Anwendungsprogramme, die auf das Video zugreifen würden, transparent ist.
In einem Ausführungsbeispiel wird das Video zu einer Sofortnachrichtenanwendung geliefert. Die Verwendung eines Standardbusses (z. B. USB) und das Umladen der Gesichtsverfolgung in die Webcam und den Treiber ermöglicht eine leichte Verwendung durch die Sofortnachrichtenanwendung.
In einem Ausführungsbeispiel findet ein Maschinensichtalgorithmus das Gesicht des Benutzers im aktuellen Blickfeld der Webcam auf. Die Webcam wird auf der Basis einer positiven Lokalisierung des Gesichts und seiner Gesichtsmerkmale bewegt. In einem Ausführungsbeispiel der vorliegenden Erfindung wird ein Algorithmus verwendet, um diese Stelle des Gesichts des Benutzers mit dem aktuellen Blickfeld der Webcam zu vergleichen. Wenn festgestellt wird, daß sich das Gesicht des Benutzers zu nahe an der Kante des Blickfeldes befindet (auf der Basis einer festgelegten Schwelle), wird die Linse der Webcam dementsprechend bewegt. Eine Videowebcam gemäß einem solchen Ausführungsbeispiel der vorliegenden Erfindung ist mit mechanischen Stellgliedern ausgestattet, die die Webcam-Linse aufwärts oder abwärts (Neigung) oder nach links oder rechts (Schwenkung) bewegen. In einem weiteren Ausführungsbeispiel existieren auch mechanische Stellglieder, um die Webcam-Linse hinein oder heraus zu bewegen (Zoom).
Die in dieser Zusammenfassung und der folgenden ausführlichen Beschreibung beschriebenen Merkmale und Vorteile schließen nicht alles ein und insbesondere sind für einen üblichen Fachmann angesichts der Zeichnungen, der Beschreibung und der Ansprüche hiervon viele zusätzliche Merkmale und Vorteile ersichtlich. Überdies sollte beachtet werden, daß die in der Beschreibung verwendete Sprache hauptsächlich wegen der Lesbarkeit und für Anweisungszwecke ausgewählt wurde und nicht ausgewählt worden sein kann, um den Erfindungsgegenstand abzugrenzen oder zu begrenzen, wobei ein Zurückgreifen auf die Ansprüche erforderlich ist, um einen solchen Erfindungsgegenstand zu bestimmen.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die Erfindung besitzt weitere Vorteile und Merkmale, die aus der folgenden ausführlichen Beschreibung der Erfindung und den beigefügten Ansprüchen in Verbindung mit der zugehörigen Zeichnung leichter ersichtlich sind, in welchen gilt:
1 ist ein Blockdiagramm eines Ausführungsbeispiels eines Systems 100 zur Videokommunikation.
2A, 2B und 2C stellen die Bewegung des Kopfs eines Benutzers und die Bewegung der Webcam, um eine solche Bewegung zu berücksichtigen, dar.
3 ist ein Blockdiagramm eines Systems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
4 ist ein Ablaufplan, der die Funktion eines Systems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
5 ist ein Blockdiagramm eines Maschinensichtmoduls gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
6 ist ein Blockdiagramm, das die Funktion eines Bewegungssteuermoduls gemäß einem Ausführungsbeispiel der vorliegenden Erfindung darstellt.
7 ist ein Blockdiagramm, das die Beziehung zwischen der Webcam, der Hauptrechner-Kernebene (Treiber) und dem Anwendungsprogramm darstellt.
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
Die Figuren (oder Zeichnungen) stellen ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung nur für Erläuterungszwecke dar. Es wird angemerkt, daß ähnliche oder gleiche Bezugsziffern in den Figuren eine ähnliche oder gleiche Funktionalität angeben können. Ein Fachmann wird aus der folgenden Erörterung leicht erkennen, daß alternative Ausführungsbeispiele der hierin offenbarten Strukturen und Verfahren verwendet werden können, ohne von den Prinzipien der Erfindung(en) hierin abzuweichen.
1 ist ein Blockdiagramm eines Ausführungsbeispiels eines Systems 100 für Videokommunikation. Das System 100 umfaßt Computersysteme 110a und 110b, Webcams 120a und 120b und ein Netzwerk 130. Ein Benutzer, der den Computer 110a und die Webcam 120a verwendet, kann mit einem Benutzer, der den Computer 110b und die Webcam 120b verwendet, über das Netzwerk 130 kommunizieren.
Der Computer 110a oder 110b könnte ein beliebiger Hauptrechner sein, der mit der Webcam 120a oder 120b und/oder mit dem Netzwerk 130 kommunizieren kann. Folglich könnte der Computer 110 oder 110b ein Personalcomputer (Tisch- oder Laptopcomputer), ein in der Hand gehaltener Computer oder Organisator (wie z. B. ein persönlicher digitaler Assistent (PDA)), ein Mobiltelefon, eine eingebettete Fahrzeuglösung, die in der Lage ist, mit der Webcam und/oder dem Netzwerk über eine Schnittstelle zu koppeln, und so weiter sein. In einem Ausführungsbeispiel sind die Computer 110a und 110b ein Teil von herkömmlichen Computersystemen, die jeweils eine Speichervorrichtung, eine Netzwerkdienstverbindung und herkömmliche Eingabe/Ausgabe-Vorrichtungen wie z. B. eine Anzeige, eine Maus, einen Drucker und/oder eine Tastatur, die mit einem Computersystem koppeln können, umfassen können. Der Computer 110a oder 110b umfaßt auch ein herkömmliches Betriebssystem (wie z. B. MS Windows, Mac OSX Betriebssystem usw.), eine Eingabe/Ausgabe-Vorrichtung und eine Netzwerkdienstsoftware. Außerdem umfaßt der Computer 110a oder 110b in einem Ausführungsbeispiel eine IM-Software wie z. B. ICQ von ICQ, Inc., America OnLine Instant Messenger (AIM) von America Online, Inc., (Dulles, VA), MSN^® Messenger von Microsoft Corporation (Redmond, WA) und Yahoo!^® Instant Messenger von Yahoo! Inc. (Sunnyvale, CA).
Die Netzwerkdienstverbindung umfaßt diejenigen Hardware- und Softwarekomponenten, die die Verbindung mit einem herkömmlichen Netzwerkdienst ermöglichen. Die Netzwerkdienstverbindung kann beispielsweise eine Verbindung mit einer Telekommunikationsleitung (z. B. einer digitalen Teilnehmerwählleitung ("DSL"), einer Ti- oder einer T3-Kommunikationsleitung) umfassen. Der Hauptrechner, die Speichervorrichtung und die Netzwerkdienstverbindung können beispielsweise von IBM Corporation (Armonk, NY), Sun Microsystems, Inc. (Palo Alto, CA) oder Hewlett-Packard, Inc. (Palo Alto, CA) erhältlich sein.
Die Webcams 120a und 120b sind mit den Computern 110a bzw. 110b verbunden. Die Webcams 120a und 120b können beliebige Kameras sein, die mit den Computern 110a und 110b verbunden werden können. In einem Ausführungsbeispiel sind die Webcams 120a und/oder 120b QuickCam^®-Kameras von Logitech, Inc. (Fremont, CA).
Das Netzwerk 130 kann ein beliebiges Netzwerk sein, wie z. B. ein weiträumiges Netzwerk (WAN) oder ein lokales Netzwerk (LAN) oder irgendein anderes Netzwerk. Ein WAN kann das Internet, das Internet 2 und dergleichen umfassen. Ein LAN kann ein Intranet umfassen, das ein Netzwerk beispielsweise auf der Basis von TCP/IP sein kann, das zu einer Organisation gehört, auf die nur durch die Mitglieder und Angestellten der Organisation oder andere mit Berechtigung zugegriffen werden kann. Ein LAN kann auch ein Netzwerk sein, wie beispielsweise Netware^TM von Novell Corporation (Provo, UT) oder Windows NT von Microsoft Corporation (Redmond, WA). Das Netzwerk 120 kann auch kommerziell erhältliche Dienste auf Teilnahmebasis umfassen, wie beispielsweise AOL von American Online, Inc., (Dulles, VA) oder MSN von Microsoft Corporation (Redmond, WA).
2A, 2B und 2C stellen ein Beispiel der Funktion eines Ausführungsbeispiels der vorliegenden Erfindung bereit. 2A, 2B und 2C stellen ein Blickfeld der Webcam 120a (200 in 2A und 2B und 202 in 2C), den Kopf eines Benutzers/Sprechers 210 und ein stationäres Hintergrundmerkmal 220, das durch zwei vertikale Linien bezeichnet ist, dar.
In 2A befindet sich der Kopf 210 des Sprechers in der Mitte des Blickfeldes 200 der Webcam 120a. Aus 2A ist zu sehen, daß das stationäre Hintergrundmerkmal 220 zu diesem Zeitpunkt hinter dem Kopf des Sprechers und somit auch in der Mitte des Blickfeldes 200 der Webcam 120a liegt.
Wir wollen annehmen, daß sich der Sprecher dann nach links bewegt. 2B stellt dar, daß sich der Kopf 210 des Sprechers zur linken Seite des Blickfeldes 200 der Webcam 120a bewegt. Das stationäre Hintergrundmerkmal 220 befindet sich immer noch in der Mitte des Blickfeldes 200 der Webcam 120a.
2C stellt dar, wie ein System gemäß einem Ausführungsbeispiel der vorliegenden Erfindung dieser Bewegung durch den Sprecher gerecht wird. In einem Ausführungsbeispiel erfaßt das System, daß der Kopf 210 des Sprechers zu nahe an der Kante des aktuellen Blickfeldes 200 der Kamera liegt. Die Linse der Kamera bewegt sich dann und ändert ihr Blickfeld, so daß sich der Kopf 200 des Sprechers in der Mitte ihres neuen Blickfeldes 202 befindet. Es ist zu sehen, daß das Hintergrundmerkmal 220, das stationär ist, nicht mehr in der Mitte des neuen Blickfeldes 202 liegt.
Es ist zu beachten, daß, da die Webcam 120a ihr Blickfeld modifizieren kann, um Bewegungen durch den Sprecher gerecht zu werden, das effektive Blickfeld der Webcam 120a signifikant größer ist als jenes von herkömmlichen Kameras. Es ist auch zu beachten, daß sich der Sprecher im obigen Beispiel von rechts nach links bewegt hat. In einem Ausführungsbeispiel würde dieselbe Einstellung durch Bewegung der Linse stattfinden, selbst wenn sich der Sprecher in andere Richtungen (wie z. B. von links nach rechts, von oben nach unten, von unten nach oben oder eine Kombination von diesen) bewegen würde. In einem Ausführungsbeispiel wird das Blickfeld automatisch eingestellt (d. h. es zoomt heraus und zoomt hinein, wenn sich der Sprecher näher zur Kamera bzw. weiter von der Kamera weg bewegt), um dieselbe Größe des Kopfs des Sprechers in Bezug auf das Blickfeld der Kamera beizubehalten. In einem Ausführungsbeispiel kann die automatische Einstellung des Blickfeldes durch Zoomen der Linse an der Webcam erreicht werden. In einem anderen Ausführungsbeispiel kann die automatische Einstellung des Blickfeldes unter Verwendung von elektronischem Zoom (an der Webcam selbst oder am Hauptrechner) erreicht werden.
3 ist ein Blockdiagramm eines Systems gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das System 300 umfaßt die Webcam 120a und den Computer 110a.
Die Webcam 120a besteht aus einem optischen Modul 310 und einem mechanischen Modul 320. In einem Ausführungsbeispiel umfaßt das optische Modul 310 die Linse, einen Sensor und Firmware, die eine Videoverarbeitung und -kompression ermöglicht. Das mechanische Modul 320 umfaßt die Mechanik zum Bewegen der Linse. In einem Ausführungsbeispiel werden Stellglieder zum Bewegen der Linse verwendet. In einem Ausführungsbeispiel bewirken die Stellglieder die mechanische Linsenverschiebung in beiden Richtungen durch einen Getriebekasten, der die Stellgliedumdrehungen in eine Webcam-Bewegung umsetzt. In einem Ausführungsbeispiel werden zwei Stellglieder und zwei Getriebekästen verwendet und jedes Stellglied steuert einen Getriebekasten. Sobald die Entscheidung getroffen ist, die Linse mechanisch zu bewegen, wird die Firmware der Webcam (in die Webcam selbst eingebettete Software) angewiesen, dies zu tun. Die Firmware sendet Signale zu den Stellgliedern, die wiederum die Getriebekästen bewegen, was wiederum die Webcam und/oder ihre Linse bewegt.
Die Software im Computer 110a umfaßt ein Treibermodul 330 und ein Anwendungsmodul 340. Das Treibermodul 330 umfaßt ein Maschinensichtmodul 332 und ein Bewegungssteuermodul 334. Das Maschinensichtmodul 332 verfolgt die Stelle des Gesichts des Sprechers innerhalb des Blickfeldes der Webcam 120a und wird nachstehend mit Bezug auf 5 weiter beschrieben. Auf der Basis der Ausgabe aus dem Maschinensichtmodul 332 entscheidet das Bewegungssteuermodul 334, ob und wie weit die Kamera bewegt werden soll. Das Bewegungssteuermodul 334 wird nachstehend mit Bezug auf 6 weiter beschrieben. Das Anwendungsmodul 340 ist die Anwendung, mit der der Benutzer in Dialogverkehr steht, wenn er die Webcam 120a verwendet.
4 ist ein Ablaufplan, der die Funktion des Systems 300 darstellt. Videodaten, die von der Webcam 120a gesandt werden, werden vom Computer 110a empfangen (Schritt 410). Die Videodaten werden dann verarbeitet (Schritt 420), um die Position des Gesichts des Benutzers im Rahmen zu bewerten. Das Maschinensichtmodul 332, das nachstehend mit Bezug auf 5 beschrieben wird, führt diese Verarbeitung durch.
5 ist ein Blockdiagramm eines Maschinensichtmoduls 332 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
Das Maschinensichtmodul 332 umfaßt einen Gesichtsdetektor 510, eine Fleischabtastvorrichtung 515, eine Fleischverfolgungsvorrichtung 520 und einen Bewegungsdetektor 530. Der Gesichtsdetektor 510, die Fleischverfolgungsvorrichtung 520 und der Bewegungsdetektor 530 verwenden jeweils verschiedene Parameter, um festzustellen, wo sich das Gesicht eines Benutzers innerhalb des von der Kamera aufgenommenen Rahmens befinden kann. Die Ausgaben dieser Module beeinflussen einander und zusammen liefern sie eine Abschätzung dessen, wo sich das Gesicht des Benutzers innerhalb des Blickfeldes der Kamera befindet.
Der Gesichtsdetektor 510 erfaßt die Anwesenheit eines Gesichts auf der Basis bestimmter Parameter, von denen erwartet wird, daß sie allen menschlichen Gesichtern gemeinsam sind. Diese Parameter könnten beispielsweise die Existenz von zwei Augen, einer Nase und eines Mundes mit einem bestimmten Abstandsverhältnis zwischen ihnen umfassen.
Die Ausgabe des Gesichtsdetektors 510 wird dann der Fleischabtastvorrichtung 515 zugeführt. Die Fleischabtastvorrichtung wählt einen besonders glatten Bereich aus dem "Gesicht" aus, wie durch den Gesichtsdetektor 510 bestimmt. Dieser Bereich kann beispielsweise ein Bereich von der Stirn des Benutzers sein. Dieser Bereich wird dann als Abtastwert für das Fleisch des Benutzers verwendet. Die Verwendung eines Abtastwerts des Gesichts des Benutzers beseitigt Unterschiede im Fleischton über verschiedene Benutzer sowie irgendwelche Unterschiede in den Fleischtönen aufgrund der Beleuchtung in der Umgebung des Benutzers. Die Ausgabe der Fleischabtastvorrichtung 515 wird zur Fleischverfolgungsvorrichtung 520 geliefert. Die Fleischverfolgungsvorrichtung 520 verwendet dann den Abtastwert der Fleischabtastvorrichtung 515 und verfolgt das Gesicht des Benutzers durch Verfolgen des Fleischs des Benutzers, während es sich bewegt.
Der Bewegungsdetektor 530 erfaßt eine Bewegung. Wenn der Benutzer seinen Kopf bewegt, kann der Bewegungsdetektor 530 diese Bewegung identifizieren. Der Bewegungsdetektor 530 empfängt auch eine Information vom Gesichtsdetektor 510 und von der Fleischverfolgungsvorrichtung 520. Somit arbeiten diese drei Module in Verbindung, um etwas zu identifizieren, das die Parameter eines menschlichen Gesichts aufweist, Fleischtöne aufweist und das sich bewegt. Folglich kann das Maschinensichtmodul 332 das Gesicht des Benutzers im Rahmen relativ zum Blickfeld der Kamera "sehen". In einem Ausführungsbeispiel ist die Ausgabe des Maschinensichtmoduls ein Rechteck, in dem das Gesicht des Benutzers enthalten ist.
Unter erneutem Bezug auf 4 wird dann eine Entscheidung (Schritt 430) hinsichtlich dessen getroffen, ob und in welcher Richtung die Webcam-Linse bewegt werden sollte. In einem Ausführungsbeispiel wird die Webcam-Linse aufwärts-abwärts, links-rechts usw. bewegt, indem die Webcam selbst bewegt wird. In einem weiteren Ausführungsbeispiel wird die Webcam-Linse ohne Bewegen des Gehäuses der Webcam bewegt. In einem Ausführungsbeispiel umfaßt die Entscheidung zum Bewegen der Webcam-Linse (Schritt 430) das Berechnen des Ausmaßes, um das die Linse bewegt werden sollte. In einem weiteren Ausführungsbeispiel wird die Linse um ein vorbestimmtes Ausmaß in der festgelegten Richtung bewegt. In einem Ausführungsbeispiel wird die Entscheidung getroffen (Schritt 430), indem festgestellt wird, ob sich das Gesicht des Benutzers außerhalb einer Schwelle im Rahmen befindet. 6 stellt dies in gewissem Detail dar.
6 ist ein Blockdiagramm, das darstellt, wie gemäß einem Ausführungsbeispiel der vorliegenden Erfindung eine Entscheidung darüber getroffen wird, ob die Linse der Webcam bewegt werden soll, um wie viel sie bewegt werden soll, und über die Richtung, in der sie bewegt werden soll.
Das Rechteck 610 stellt das aktuelle Blickfeld der Webcam 120a dar. Die Rechtecke 630a, b und c stellen die Position des Gesichts des Benutzers dar. In einem Ausführungsbeispiel werden die Rechtecke 630a, b und c vom Maschinensichtmodul 332 vorgesehen. Das Rechteck 620 stellt eine vorbestimmte Schwelle relativ zum aktuellen Blickfeld 610 der Webcam 120a dar. Ein Algorithmus, der die Position des Gesichts des Benutzers (d. h. 630a, b oder c) mit der Schwelle 620 in Beziehung bringt, stellt fest, ob, wie viel und in welcher Richtung die Linse bewegt werden soll. In einem Ausführungsbeispiel besteht der Algorithmus beispielsweise darin, daß die Linse nicht bewegt werden muß, solange die Mitte des Rechtecks 630a, b oder c, das das Gesicht des Benutzers darstellt, innerhalb des Schwellenrechtecks 620 liegt. Wenn die Mitte des Rechtecks 630a, b oder c, das das Gesicht des Benutzers darstellt, außerhalb des Schwellenrechtecks 620 liegt, soll die Linse bewegt werden, bis das Gesicht 630a, b oder c des Benutzers wiederum innerhalb des Schwellenrechtecks liegt.
Aus 6 ist zu sehen, daß unter Verwendung eines solchen Algorithmus keine Linsenbewegung erforderlich ist, wenn sich der Kopf des Benutzers in den Positionen 630a und 630b befindet. Wenn sich jedoch das Gesicht des Benutzers in der Position 630c befindet, muß die Linse sowohl nach unten als auch nach rechts bewegt werden.
Unter erneutem Bezug auf 4 ist zu sehen, daß, wenn entschieden wird (Schritt 430), daß die Kamera nicht bewegt werden sollte, das System weiterhin die Videodaten empfängt (Schritt 410) und sie verarbeitet (Schritt 420). Wenn entschieden wird, daß die Webcam bewegt werden muß, um das Gesicht zu verfolgen, wird die Linse der Webcam in der festgelegten Richtung im berechneten oder vorbestimmten Ausmaß bewegt. Das System empfängt weiterhin die Videodaten (Schritt 410) und verarbeitet sie (Schritt 420).
7 stellt die Beziehung zwischen der Webcam, der Hauptrechner-Kernebene (Treiber) und dem Anwendungsprogramm dar. Eine Webcam 700 umfaßt einen Videosensor 702 und Stellglieder 704 für eine motorisierte Steuerung der Schwenkung, Neigung und des Zooms des Videosensors. Eine USB-Schnittstelle liefert sowohl das Videosignal 712 zum Hauptrechner als es auch Stellglied-Steuerbefehle 714 vom Hauptrechner zur Steuerung der Stellglieder empfängt. Dies ermöglicht, daß ein Standardbus zur Steuerung der Webcam verwendet wird.
Im Hauptrechner umfaßt eine Kernebene 710 einen Treiber mit einem Gesichtsverfolgungssystem 716. Dieses überwacht das Video 712 und liefert Stellglied-Steuersignale, die für das Anwendungsprogramm 720 transparent sind. Das Videosignal 712 wird auch zum Anwendungsprogramm 720 geliefert. Die durchgezogene Linie stellt den Videopfad mit Gesichtsverfolgung dar, die gestrichelte Linie stellt den Videopfad ohne Gesichtsverfolgung dar. In dem gezeigten Beispiel ist das Anwendungsprogramm ein Sofortnachrichtenprogramm. Das Sofortnachrichtenprogramm besitzt ein Nachrichtenfenster 722 und ein Videoaufnahmefenster 724 zum Anzeigen des Video 712. Ein Tastenbildsymbol kann im Nachrichtenfenster zum Aktivieren des Gesichtsverfolgungsmerkmals angezeigt werden.
Obwohl spezielle Ausführungsbeispiele und Anwendungen der vorliegenden Erfindung dargestellt und beschrieben wurden, soll es selbstverständlich sein, daß die Erfindung nicht auf die hierin offenbarte genaue Konstruktion und die Komponenten begrenzt ist. Wie vorstehend erwähnt, kann die vorliegende Erfindung beispielsweise bei anderen Anwendungen verwendet werden, die Video von einer Webcam entnehmen, und nicht nur Sofortnachrichtenübermittlung. Verschiedene weitere Modifikationen, Änderungen und Variationen, die für Fachleute ersichtlich sind, können an der Anordnung, an der Funktionsweise und an den Einzelheiten des Verfahrens und der Vorrichtung der hierin offenbarten vorliegenden Erfindung vorgenommen werden, ohne vom Gedanken und Schutzbereich der Erfindung, wie in den folgenden Ansprüchen definiert, abzuweichen.

Claims

System zum mechanischen Bewegen eines optischen Moduls in einer Webcam durch Verfolgen des Gesichts eines Benutzers, wobei das System umfaßt: ein optisches Modul zum Aufnehmen von Bilddaten; einen Computer, der über einen Standardbus mit der Webcam verbunden ist, wobei Videodaten zum Computer und Steuersignale vom Computer zur Webcam beide über den Bus gesandt werden, wobei der Computer ein Treibermodul aufweist, das umfasst: ein Maschinensichtmodul, das mit dem optischen Modul gekoppelt ist, zum Identifizieren des Orts des Gesichts des Benutzers auf der Basis der aufgenommenen Bilddaten, und ein Bewegungssteuermodul, das mit dem Maschinensichtmodul gekoppelt ist, zum Entscheiden, ob das optische Modul bewegt werden soll; und der Computer außerdem ein Anwendungsmodul aufweist, das ebenfalls auf die Bilddaten zugreift, wobei die Gesichtsverfolgung im Treibermodul für das Anwendungsmodul transparent ist; und ein mechanisches Modul in der Webcam, das mit dem Bewegungssteuermodul kommunikativ über den Bus gekoppelt ist, zum Bewegen des optischen Moduls auf der Basis der Entscheidung des Bewegungssteuermoduls.
System nach Anspruch 1, wobei die Bilddaten von der Webcam zu einer Sofortnachrichtenanwendung geliefert werden.
System nach Anspruch 1 oder 2, wobei das Maschinensichtmodul umfaßt: einen Gesichtsdetektor zum Erfassen des Gesichts eines Benutzers auf der Basis vorgegebener Parameter; eine Fleischverfolgungsvorrichtung zum Verfolgen der Bewegung des Fleischs eines Benutzers auf der Basis eines Fleischtons; und einen Bewegungsdetektor, der mit dem Gesichtsdetektor und der Fleischverfolgungsvorrichtung gekoppelt ist, um die Bewegung des Gesichts eines Benutzers zu erfassen.
System nach Anspruch 3, wobei das Maschinensichtmodul ferner umfaßt: eine Fleischabtastvorrichtung, die mit dem Gesichtsdetektor gekoppelt ist, um einen Abtastwert des Fleisches des Benutzers zu gewinnen und um diesen Abtastwert zur Fleischverfolgungsvorrichtung zu liefern.
System nach einem der vorhergehenden Ansprüche, wobei die Webcam auf der Basis einer positiven Lokalisierung von Gesichtsmerkmalen bewegt wird.
Verfahren zum mechanischen Bewegen einer Webcam, die Bilddaten aufnimmt, auf der Basis der Bewegung des Gesichts eines Benutzers, wobei das Verfahren umfaßt: Senden der Bilddaten zu einem Treibermodul und zu einem Anwendungsmodul in einem Computer; Verarbeiten der Bilddaten in dem Treibermodul, um die Position des Gesichts des Benutzers zu bewerten; Feststellen, ob die Webcam bewegt werden soll; als Reaktion auf eine Entscheidung, die Webcam zu bewegen, Senden von entsprechenden Steuersignalen zur Webcam; und Bewegen der Webcam im Ansprechen auf die Steuersignale, wobei die Steuersignale für das Anwendungsmodul transparent sind.
Verfahren nach Anspruch 6, wobei der Schritt des Feststellens, ob die Webcam bewegt werden soll, umfaßt: Vergleichen der Position des Gesichts des Benutzers mit einem aktuellen Blickfeld der Webcam; als Reaktion darauf, daß die Differenz zwischen der Position des Gesichts des Benutzers und irgendeiner Kante des aktuellen Blickfeldes der Webcam mehr als eine festgelegte Schwelle ist, Entscheiden, die Webcam nicht zu bewegen; und als Reaktion darauf, daß die Differenz zwischen der Position des Gesichts des Benutzers und irgendeiner Kante des aktuellen Blickfeldes der Webcam geringer als eine festgelegte Schwelle ist, Entscheiden, die Webcam zu bewegen.