DE102008001451A1

DE102008001451A1 - Kamera und Verfahren zum Steuern einer Kamera

Info

Publication number: DE102008001451A1
Application number: DE102008001451A
Authority: DE
Inventors: Alexander Wuerz-Wessel; Jens Schick
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-04-29
Filing date: 2008-04-29
Publication date: 2009-11-05
Also published as: CN102016710B; WO2009133095A1; CN102016710A; JP2012500506A; JP5216137B2; US20110149045A1

Abstract

Die Kamera 1 weist einen Hauptsensor 2 zum Erfassen eines ersten Bildes einer Szene mit wenigstens einem Objekt auf. Ein Objektiv 3 ist für den Hauptsensor 2 vorgesehen. Wenigstens ein Hilfssensor 6, der zu dem Hauptsensor 2 beabstandet angeordnet ist, dient zum Erfassen eines zweiten Bildes der Szene unter einem anderen Blickwinkel als der Hauptsensor 2. Eine Auswertungseinrichtung 9 zum stereoskopischen ... bestimmt eine Entfernung zu dem wenigstens einen Objekt basierend auf dem ersten und zweiten Bild. Eine Autofokuseinrichtung 8 stellt einen Fokus des Objektivs 3 ansprechend auf die bestimmte Entfernung ein.

Description

STAND DER TECHNIK
Die vorliegende Erfindung betrifft eine Kamera. Die Kamera kann für Einzelbildaufnahmen und zum Aufnehmen bewegter Bilder geeignet sein. Die vorliegende Erfindung betrifft ferner ein Verfahren zum Steuern einer Kamera.
Eine Szene mit ein oder mehreren Objekten kann mittels einer Kamera aufgenommen werden. Ein Objektiv der Kamera wird hierfür auf einen geeigneten Fokus eingestellt, um die Szene scharf abzubilden. Typischerweise wird hierfür eines der Objekte ausgewählt und der Fokus auf dieses Objekt eingestellt.
Das Einstellen des Fokus kann manuell erfolgen. Hochwertige Kameras erfassen die Szene durch das Objektiv mit einem speziellen Stereosensor. Eine Brennweite des Objektivs wird von dem Bediener solange verändert, bis stereoskopisch erfassten Phasen in einem Bildausschnitt abgeglichen sind.
Aktive Verfahren zum Einstellen des Fokus bedienen sich einer Entfernungsmessung zu dem ausgewählten Objekt mittels eines Ultraschallsensors oder einer Projektion und Vermessung von Streifenmustern auf Objekten.
In Kameras können auch Gesichtserkennungssysteme implementiert sein. In einem aufgenommenen Bild werden die Positionen von Gesichtern durch die Gesichtserkennung ermittelt. Die Verfahren zum Einstellen des Fokus werden dann auf einen Ausschnitt des Bildes angewandt, der als Gesicht erkannt wurde. Eine solche Kamera ist auf die Fotographie von Personen beschränkt, ferner ergeben sich Probleme bei teilweiser Bedeckung des Gesichts durch Kleidung, Bart etc.
OFFENBARUNG DER ERFINDUNG
Die Erfindung mit den Merkmalen des Anspruchs 1 betrifft eine Kamera. Die Kamera weist einen Hauptsensor zum Erfassen eines ersten Bildes einer Szene mit wenigstens einem Objekt auf. Ein Objektiv ist für den Hauptsensor vorgesehen. Wenigstens ein Hilfssensor, der zu dem Hauptsensor beabstandet angeordnet ist, dient zum Erfassen eines zweiten Bildes der Szene unter einem anderen Blickwinkel als der Hauptsensor. Eine Auswertungseinrichtung zum stereoskopischen bestimmt eine Entfernung zu dem wenigstens einen Objekt basierend auf dem ersten und zweiten Bild. Eine Autofokuseinrichtung stellt einen Fokus des Objektivs ansprechend auf die bestimmte Entfernung ein. Alternativ oder zusätzlich stellt eine Belichtungseinstellungseinrichtung die Belichtung des Hauptsensors entsprechend dem erfassten zweiten Bild ein.
Erfindungsgemäß werden folgende Schritte zum Steuern einer Kamera durchgeführt:
paralleles Erfassen wenigstens eines ersten Bildes einer Szene mittels eines Hauptsensors und wenigstens eines zweiten Bildes der Szene mittels wenigstens eines Hilfssensors aus einem anderen Blickwinkel als der Hauptsensor;
Zuordnen von einem der Bildobjekte in dem ersten und zweiten Bild zu einem Objekt, auf das fokussiert wird;
Bestimmen einer Entfernung zu dem Objekt basierend auf einer Verschiebung des zugeordneten Bildobjekts in dem ersten Bild gegenüber dem zweiten Bild; und
Einstellen eines Fokus eines Objektivs für den Hauptsensor ansprechend auf die bestimmte Entfernung, und/oder Einstellen der Belichtung des Hauptsensors entsprechend dem erfassten zweiten Bild.
Der Autofokus der Kamera arbeitet unabhängig von der Art des Objekts. Eine aufwändige Modellierung zu fotografierender Objekte kann entfallen. Das Objekt kann eindeutig durch seine Entfernung charakterisiert werden. Die Kamera kann das Objekt verfolgen und den Fokus auf das Objekt gerichtet halten, auch wenn die optische Achse der Kamera mittlerweile auf ein anderes Objekt zeigt.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die vorliegende Erfindung wird nachfolgend anhand bevorzugter Ausführungsformen und beigefügten Figuren erläutert. In den Figuren zeigen:
1 zeigt eine Ausführungsform einer Kamera;
2 zeigt eine weitere Ausführungsform einer Kamera;
3 zeigt eine weitere Ausführungsform einer Kamera; und
4 zeigt eine weitere Ausführungsform einer Kamera.
AUSFÜHRUNGSFORMEN DER ERFINDUNG
1 zeigt eine Frontalansicht einer ersten Ausführungsform einer Kamera 1. Die Kamera 1 weist einen Hauptsensor 2 auf, der zum Aufnehmen von Bildern dient. Der Hauptsensor 2 kann einen CCD-Sensor oder einen CMOS-Sensor beinhalten. Zweckmäßigerweise kann der Hauptsensor 2 farbige Bilder einer Szene erfassen.
Vor dem Hauptsensor 2 ist ein Objektiv 3 angeordnet. Das Objektiv 3 weist einen einstellbaren Fokus auf. Die Kamera 1 steuert das Objektiv 3 derart an, dass ein gewünschtes Objekt scharf auf dem Hauptsensor 2 abgebildet wird.
Vor dem Hauptsensor 2 kann eine Blende angeordnet sein. Die Blende beeinflusst die Schärfentiefe. Mit zunehmendem Öffnungsdurchmesser (abnehmender Blendenzahl) der Blende nimmt die Tiefenschärfe ab. Falls Objekte aufgezeichnet werden, die in verschiedenen Entfernungen zur Kamera angeordnet sind, wird daher die Öffnung der Blende verringert. Allerdings geht dies mit einem Verlust an Lichtfluss und folglich längeren Belichtungszeiten einher.
Die Kamera 1 kann die Blende steuern. Hierbei wird unter Anderem berücksichtigt, wie leuchtstark die zu erfassenden Objekte sind. Zudem wird berücksichtigt, ob sich die Objekte in verschiedenen Entfernungen zu der Kamera 1 befinden und gegebenenfalls welche Streuung die verschiedenen Entfernungen zu einer mittleren Entfernung aufweisen. Ein Verfahren zum Bestimmen der Entfernung zu den einzelnen Objekten bzw. die entsprechenden Einrichtungen werden nachfolgend erläutert.
Ein Blitzgerät 5 kann in der Kamera 1 integriert sein. Das Blitzgerät 5 wird typischerweise zeitgleich zum Photographieren eines Bildes ausgelöst.
Ein Hilfssensor 6 ist seitlich beabstandet zu dem Hauptsensor 2 angeordnet. Der Hilfssensor 6 und der Hauptsensor 2 erfassen daher eine Szene aus unterschiedlichen Richtungen. Hierdurch ergibt sich eine stereoskopische Aufnahme.
Die Bilder des Hauptsensors 2, nachfolgend als erste Bilder bezeichnet, und die Bilder des Hilfssensor 6, nachfolgend als zweite Bilder bezeichnet, werden einer Auswertungseinrichtung 9 zugeführt (2). Die Auswertungseinrichtung 9 vergleicht jeweils eines der ersten Bilder mit einem zeitgleich aufgenommenen zweiten Bild. Bei dem Vergleich werden Bildpunkte und Bildobjekte ermittelt, die in dem ersten Bild gegenüber dem zweiten Bild verschoben sind. Aus dem Betrag der Verschiebung wird eine Entfernung des in dem Bildobjekt abgebildeten Objekts zu der Kamera 1 ermittelt.
Die Bildobjekte können nach ihren Entfernungen zu der Kamera 1 klassifiziert werden.
In einem semi-automatischen Betrieb der Kamera 1 kann ein Benutzer eines oder auch mehrere der Bildobjekte auswählen. Dies kann beispielsweise durch Ausrichten der optischen Achse des Hauptsensors 2 und des Objektivs auf das Objekt bzw. die Objekte erfolgen. Ein Tastendruck, ein Sprachbefehl oder ein Verweilen für eine Mindestdauer auf dem Objekt bestätigt der Kamera 1 die Auswahl. In einer weiteren Ausgestaltung ist eine Mustererkennungseinrichtung 10, z. B. eine Gesichtserkennung, vorgesehen. Die Mustererkennung ermittelt die vordefinierten Bildobjekte und stellt diese dem Benutzer zur Auswahl.
Eine Autofokuseinrichtung 8 der Kamera 1 bestimmt anhand der ermittelten Entfernungen zu den ausgewählten Objekten einen optimalen Fokus. In einer Ausgestaltung wird hierzu eine mittlere Entfernung als das arithmetische Mittel oder als der Media bestimmt. Der optimale Fokus entspricht der mittleren Entfernung.
Die Helligkeitswerte der ausgewählten Objekte können aus dem ersten Bild bestimmt werden. Basierend auf den Helligkeitswerten und einer vorgegebenen Belichtungszeit wird eine erste Blendenzahl der Blende ermittelt.
Damit alle ausgewählten Objekte scharf abgebildet werden können, wird eine benötigte Tiefenschärfe ermittelt. Hierzu kann eine Varianz der Entfernungen der ausgewählten Objekte herangezogen werden. Alternativ werden die geringste und größte Entfernung für die benötigte Tiefenschärfe berücksichtigt. Basierend auf der ermittelten Tiefenschärfe wird eine zweite Blendenzahl bestimmt.
Die Blende kann von einer Steuerungseinrichtung basierend auf der ersten und zweiten Blendenzahl eingestellt werden. In einer Variante wird die Blende vorrangig auf die erste Blendenzahl eingestellt. Allerdings muss die erste Blendenzahl dabei größer als die zweite Blendenzahl sein. Andernfalls wird die Blende auf die zweite Blendenzahl eingestellt und gegebenenfalls die Belichtungszeit erhöht.
Die Entfernungsmessungen zu den einzelnen Bildobjekten können abgespeichert werden. Für eine Nachbearbeitung oder Weiterverarbeitung des vom Hauptsensor aufgenommenen Hauptbildes können diese Daten herangezogen werden. Die Entfernungsmessungen oder Bilddaten des Hilfssensors können zur dreidimensionalen Rekonstruktion der aufgenommen Objekte herangezogen werden.
Eine weitere Ausgestaltung einer Kamera berücksichtigt eine Eigenbewegung der Objekte. Die zugehörigen Bildobjekte ändern ihre Position in einer Sequenz von ersten Bildern. Hierbei können unter Anderem folgende Fälle eintreten, die von einer Auswertungseinrichtung 9 ausgewertet werden:
Ein Bildobjekt bewegt sich in aufeinanderfolgenden Bildern einer Sequenz nicht. Zunächst werden diese Bildobjekte Objekten zugeordnet, die keine Relativbewegung zu der Kamera 1 aufweisen. Die zugehörigen Objekte können sich auch in einer sehr großen Entfernung zu der Kamera 1 befinden. Eine mögliche Bewegung des Objekts oder einer relativen Bewegung der Kamera 1 zu dem Objekt führt hierbei zu einer so geringen Richtungsänderung, dass sie unterhalb der Auflösungsgrenze des Hauptsensors 2 liegt. Die Auswertungseinrichtung 9 unterscheidet die beiden Fälle anhand der obig bestimmten Entfernungsmessungen zu den Objekten.
Die Bildobjekte bewegen sich mit gleicher Geschwindigkeit, d. h. Betrag und Richtung, durch das Bild. Die Bewegung ist insbesondere unabhängig von der Entfernung der einzelnen Objekte zu der Kamera 1. Ein solches Szenario ordnet die Auswertungseinrichtung 9 einer Drehbewegung der Kamera 1 zu.
Ergibt eine Analyse der Auswertungseinrichtung 9, dass Bildobjekte von zuvor als weit entfernt bestimmten Objekte eine geringere Verschiebung in zwei aufeinanderfolgenden Bildern aufweisen als Bildobjekte vergleichsweise nahe Objekte, wird eine entsprechende seitliche, translatorische Bewegung der Kamera 1 ermittelt.
Für eine Auswahl von Bildobjekten wird jeweils ein Richtungsvektor der Bewegung im Bild aus den zwei aufeinanderfolgenden Bildern bestimmt. Die Richtungsvektoren weisen auf einen Punkt in der Bildebene. Dieser Punkt wird Expansionsfokus (Focus of Expansion) genannt. Der Expansionspunkt verändert sich mit fortlaufender Bewegung der Kamera 1. Die Auswertungseinrichtung 9 bestimmt aus der Bewegung des Expansionspunkts die Position der Kamera 1 im Raum.
Einzelne Objekte können eine Eigenbewegung aufweisen. Die bewegten Objekte und nicht bewegten Objekten weisen eine unterschiedliche relative Geschwindigkeit zu der Kamera 1 auf. Dies führt dazu, dass die Bildobjekte der eigenbewegten Objekte einen Richtungsvektor aufweisen, der nicht auf den Expansionsfokus weist. Die Auswertungseinrichtung 9 kann anhand dieser Abweichung ermitteln, welche Objekte eine Eigenbewegung aufweisen. Nach einer Bestimmung der Trajektorie der Kamera anhand nicht bewegter Objekte kann aus der Bewegung der Bildobjekte auch deren Trajektorie im Raum bestimmt werden.
Eine Ausgestaltung sieht vor aus der bestimmten Trajektorie der Objekte im Raum einen Fokus für die nächsten Zehntelsekunden oder Sekunden zu bestimmen. Bei entsprechender Rechenleistung der Auswertungseinrichtung 9 kann der Fokus auch für kürzere Zeitabstände und bei entsprechender Genauigkeit der Trajektorienbestimmung auch für längere Zeitabstände bestimmt werden. Das Vorausberechnen des Fokus eignet sich insbesondere um Verschlusszeiten der Kamera 1 zu kompensieren.
Eine weitere Ausgestaltung verwendet die bestimmte Trajektorie von ausgewählten Bildobjekten für eine Bildstabilisierung. Hierbei kann ein aktiver Bereich des Hauptsensors verschoben werden. Bei einem CCD-Sensor wird ein Ausschnitt der gesamten Sensorfläche aktiviert. Der Bewegung des Bildobjekts folgend wird ein anderer Ausschnitt der Sensorfläche aktiviert.
Der Hilfssensor 6 kann ein einfacher Schwarz-Weiß-Sensor oder Graustufensensor sein. Die Auflösung des Hilfssensors 6 kann geringer als die des Hauptsensors 2 sein. Die Bilddaten des Hauptsensors können zunächst in entsprechende Graustufen übertragen werden, bevor eine Entfernungsbestimmung durch Vergleich der Bilder erfolgt.
Eine Ausführungsform sieht vor, die Graustufenwerte des Hilfssensors 6 für Belichtungsmessungen heranzuziehen. Der Hilfssensor 6 kann hierfür mit einer hohen Dunkelempfindlichkeit und/oder hohen Dynamik ausgestatten sein. Eine besonders bevorzugte Ausführungsform sieht vor, für die Helligkeitsmessung die Helligkeitswerte von ausgewählten Bildobjekten heranzuziehen. Die Auswahl der Bildobjekte kann wie obig für den Autofokus beschrieben durchgeführt werden.
In 2 ist eine Ausführungsform gezeigt, die zwei Hilfssensoren aufweist.
Eine weitere Ausführungsform einer Kamera 1 verwendet einen Hilfssensor, der an einem externen Blitzgerät angeordnet ist (3). Die Kamera 1 weist eine Schnittstelle auf, über die die Bilddaten des Hilfssensors an die Auswertungseinrichtung 9 in der Kamera 1 übertragen werden.
Eine nächste Ausführungsform einer Kamera 1 verwendet einen Hilfssensor im Gehäuse der Kamera 1 und einen Hilfssensor, der an einem externen Bildgerät angebracht ist (4).
Die Kamera 1 kann sowohl eine Kamera 1 zum Photographieren einzelner Bilder wie auch eine Kamera zum Aufzeichnen eines Films sein. Dabei kann die Kamera 1 sowohl eine Kompaktkamera wie auch eine Spiegelreflexkamera sein. Ferner kann die Kamera 1 in einem Kraftfahrzeug zur Überwa chung des Innenraumes oder der Kraftfahrzeugumgebung integriert sein. In einer weiteren Variante wird die Kamera 1 als fest installierte oder bewegliche Überwachungskamera zur Objektüberwachung verwendet.

Claims

Kamera, mit einem Hauptsensor (2) zum Erfassen eines ersten Bildes einer Szene mit wenigstens einem Objekt; einem Objektiv für den Hauptsensor; wenigstens einem Hilfssensor (6), der zu dem Hauptsensor (2) beabstandet angeordnet ist, zum Erfassen eines zweiten Bildes der Szene mit dem wenigstens einen Objekt unter einem anderen Blickwinkel als der Hauptsensor; einer Auswertungseinrichtung (9) zum stereoskopischen Bestimmen einer Entfernung zu dem wenigstens einen Objekt basierend auf dem ersten und zweiten Bild; und einer Autofokuseinrichtung (8) zum Einstellen eines Fokus des Objektivs ansprechend auf die bestimmte Entfernung, und/oder einer Belichtungseinstellungseinrichtung zum Einstellen der Belichtung des Hauptsensors (2) entsprechend dem erfassten zweiten Bild.
Kamera nach Anspruch 1, wobei die Auswertungseinrichtung (9) zum Schätzen einer Trajektorie des Objekts basierend auf sequentiell aufgenommener erster und zweiter Bilder eingerichtet ist und die Autofokuseinrichtung (8) den Fokus des Objektivs basierend auf der geschätzten Trajektorie für einen Zeitpunkt einstellt.
Kamera nach Anspruch 1 oder 2, wobei eine Mustererkennungseinrichtung (10) zum Auswählen des wenigstens einen Objekts vorgesehen ist.
Kamera nach einem der vorhergehenden Ansprüche, wobei der Hilfssensor (6) ein Grauwert-Sensor ist.
Verfahren zum Steuern einer Kamera mit den Schritten: paralleles Erfassen wenigstens eines ersten Bildes einer Szene mittels eines Hauptsensors (2) und wenigstens eines zweiten Bildes der Szene mittels wenigstens eines Hilfssensors (6) aus einem anderen Blickwinkel als der Hauptsensor (2); Zuordnen von einem der Bildobjekte in dem ersten und zweiten Bild zu einem Objekt, auf das fokussiert wird; Bestimmen einer Entfernung zu dem Objekt basierend auf einer Verschiebung des zugeordneten Bildobjekts in dem ersten Bild gegenüber dem zweiten Bild; und Einstellen eines Fokus eines Objektivs (3) für den Hauptsensor (2) ansprechend auf die bestimmte Entfernung, und/oder Einstellen der Belichtung des Hauptsensors (2) entsprechend dem erfassten zweiten Bild.
Verfahren nach Anspruch 5, wobei eine Bewegungsschätzung des Objekts basierend auf einer Sequenz der ersten Bilder und/oder der zweiten Bild durchgeführt wird; eine Entfernung des Objekts zu einem zukünftigen Zeitpunkt basierend auf der Bewegungsschätzung und der bestimmten Entfernung zu dem Objekt bestimmt wird und der Fokus auf die zukünftige Entfernung des Objekts eingestellt wird.
Verfahren nach Anspruch 6, wobei die Bewegungsschätzung auf den ersten Bilder durchgeführt wird, wenn diese ein höhere Auflösung als die zweiten Bilder aufweisen, und die Bewegungsschätzung auf den zweiten Bildern durchgeführt wird, wenn diese eine höhere Auflösung als die ersten Bilder aufweisen.
Verfahren nach Anspruch 5 oder 7, wobei eine Mustererkennung das Bildobjekt dem Objekt zuordnet.
Verfahren nach einem der Ansprüche 5 bis 8, wobei Bilddaten des Hilfssensors (6) zusammen mit den Bilddaten des Hauptsensors (2) abgespeichert werden.
Verfahren nach einem der Ansprüche 6 bis 9, wobei ein Erfassungsbereich des Hauptsensors (2) ansprechend auf eine geschätzte Trajektorie des Objekts verschoben wird.