DE69930986T2

DE69930986T2 - Hochauflösende Kamera

Info

Publication number: DE69930986T2
Application number: DE69930986T
Authority: DE
Inventors: Takafumi Hachioji-shi Miyatake; Akio Kokubunji-shi Nagasaka; Takehiro Mitaka-shi Fujita
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-03-05
Filing date: 1999-02-16
Publication date: 2006-12-07
Anticipated expiration: 2019-02-17
Also published as: DE69930986D1; EP0940978A2; EP0940978A3; JPH11252428A; EP0940978B1; JP3695119B2; US6750903B1

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Digitalkamera, die Bildfolgen verarbeitet, um ein Weitwinkel-Standbild mit hoher Auflösung zu erhalten. Insbesondere erzeugt eine hochauflösende Digitalkamera ein Weitwinkel-Standbild mit hoher Auflösung aus mit einer Zoomoperation eingegebenen Bildern.
Hintergrund der Erfindung
Für die Fotografie und ähnliche Anwendungen sind in den vergangenen Jahren viele Arten von Digitalkameras verkauft worden. Um die Ziele Tragbarkeit, Funktionalität oder Bildqualität zu erreichen, sind verschiedene technische Merkmale benutzt worden. Weil das aufgenommene Bild in digitaler Form vorliegt, kann es direkt in einen Computer eingegeben, zwischen Computern übertragen und veröffentlicht werden, zum Beispiel auf einer Homepage im Internet oder mit einem Drucker. Daher hat die Nachfrage nach Digitalkameras rasch zugenommen. Die Bildqualität derzeitiger Digitalkameras ist der von herkömmlichen Kameras mit fotografischem Film (Silbersalz) deutlich unterlegen. Die Auflösung (meist 320 Pixel mal 240 Pixel) der derzeitigen durchschnittlichen Digitalkamera begrenzt die Möglichkeit eines Benutzers, den Betrachtungswinkel des aufgenommenen Bildes zu vergrößern.
Daher besteht ein Bedarf an einer Standbild-Digitalkamera, die auch dann ein hochauflösendes Bild liefert, wenn eine Weitwinkelaufnahme gewünscht wird.
In „Sallient Video Stills: Content and Context Preserved", ACM Multimedia 93, S. 39 bis 46, von Laure Tedosic et al. ist ein Verfahren zur Erzeugung eines Bildes mit hoher Auflösung durch Verwendung mehrerer konventioneller Bilder beschrieben. Diese Kamera arbeitet mit einer affinen Transformation als ein Modell für den Betrieb der Kamera und berechnet sechs Parameter aus einer Gruppe von lokalen Bewegungsvektoren zwischen aufeinander folgenden Bildern und synthetisiert aus den mehreren Bildern ein Weitwinkelbild mit hoher Auflösung.
Andererseits ist in „A Study about the Alignment in Sprite Generation" (IE97-81 (1997), S. 19 bis 24) von Hataizumi et al. für das Gebiet der Codierung von Bildern ein als „Sprite" bezeichnetes Verfahren zum Erzeugen eines Weitwinkel-Standbildes beschrieben. Dieses Verfahren arbeitet mit einer Helmert-Transformation als Modell für den Kamerabetrieb und berechnet einen Schwenk-, einen Zoom- und einen Drehungsparameter für die Kamera und synthetisiert unter Verwendung dieser Parameter ein Weitwinkelbild aus den mehreren Bildern. Wie bei dem vorstehend genannten ersten Verfahren wird jeder Parameter aus der Gruppe der lokalen Bewegungsvektoren zwischen aufeinander folgenden Bildern berechnet.
Zusammenfassung der Erfindung
Das Erzeugen eines digitalen Standbildes mit hoher Auflösung mit einer Digitalkamera nach dem Stand der Technik erfordert die Berechnung von lokalen Bewegungsvektoren zwischen (aufeinander folgenden oder seriellen) Bildern. Zur Berechnung eines Bewegungsvektors wird ein Suchverfahren durch Blockvergleich von Blöcken mit einer Größe von 16 × 16 Pixel ausgeführt. Folglich muss der Blockvergleich für Hunderte von Blöcken in dem Bild berechnet werden. Daher ist die Erhöhung der Bildauflösung ein Problem, weil sich entsprechend auch der Berechnungsaufwand deutlich erhöht.
Weil außerdem die Parameter in Bezug auf den Kamerabetrieb auf der Grundlage von lokalen Bewegungsvektoren geschätzt werden, besteht für den Fall eines beweglichen Objekts in dem Bild ein Problem, dass das bewegte Bild einen Fehler in der Auflösung des Bildes bewirkt. Daher ist es schwierig, durch Anwendung von herkömmlichen Verfahren auf eine Digitalkamera ein Bild mit hoher Auflösung zu erzeugen. Dementsprechend besteht nach dem Stand der Technik ein praktisches Problem bei der Erfassung der Parameter für den Kamerabetrieb in Echtzeit, um eine schnelle und effiziente Erfassung zu ermöglichen.
US-A-5 657 402 beschreibt eine Vorrichtung und ein Verfahren zur Erzeugung eines hochauflösenden Standbildes mit den Merkmalen des kennzeichnenden Teils der vorliegenden Ansprüche 1 und 12. In diesem Dokument wird vorgeschlagen, eine Bildbewegung als eine affine Transformation zu modellieren, um die Zoomrate zwischen zwei Bildern zu berechnen. Der weitere Stand der Technik ist in WO 97/25690 beschrieben.
Ein Ziel der vorliegenden Erfindung ist die Bereitstellung einer Digitalkamera, die ein Weitwinkel-Standbild mit hoher Auflösung vergleichbar mit dem erzeugt, das durch herkömmliche Weitwinkelfotografie erhalten wird, und zwar zu niedrigen Kosten und in Echtzeit aus einer Folge von eingegebenen Bildern, die vorzugsweise durch Aufzeichnung einer Szene mit der Kamera eingegeben werden.
Dieses Ziel wird mit der Kamera nach Anspruch 1 und dem Verfahren nach Anspruch 12 erreicht. Die Unteransprüche beziehen sich auf bevorzugte Modifikationen davon.
Die Kamera empfängt eine Folge von eingegebenen Bildern, vorzugsweise durch Erfassen der eingegebenen Bilder mit einem Bilderfassungssystem zum Fotografieren einer beliebigen Szene, zum Beispiel eines bewegten oder dynamischen Bildes. Zum Aufzeichnen einer Folge von Bildern verfügt die Kamera über einen Bedienschalter zum Starten und Beenden der Aufzeichnung einer Szene, während der die Zoomfunktion der Kamera entweder mit „Zoom in"/Einzoomen zum Vergrößern des Bildes (und dementsprechend Verringern des Bildwinkels) der aufgenommenen Szene oder mit „Zoom out"/Auszoomen zum Verkleinern des Bildes (und dementsprechend Vergrößern des Bildwinkels) der Szene betätigt wird.
Die Kamera zeigt vorzugsweise auch das hochauflösende Bild an, während es aufgenommen wird sowie nach der Verarbeitung. Die Anzeige ist vorzugsweise ein Bestandteil des Kameragehäuses, damit ein Benutzer das Bild bei der Aufnahme betrachten kann. Optional kann das mit dem Sucher erfasste Bild mit angezeigt werden. Die Anzeige kann auch eine grafische Benutzerschnittstelle bzw. Benutzeroberfläche zeigen, die gleichzeitig mit den aufgenommenen Bildern Bildinformationen in Zusammenhang mit der Zoomfunktion anzeigt.
Im Rahmen der Verarbeitung der Bildfolgen erfasst ein Zoomratendetektor eine Zoomrate zwischen Bildern, vorzugsweise Bildern, die mit dem Bilderfassungssystem der Kamera fotografiert wurden oder auf andere Weise zum Beispiel aus einem Speicher in die Kamera eingegeben wurden. Die zwischen jedem der Bilder erfasste Zoomrate wird mit einem Skalierungsfaktor in Beziehung gesetzt, der verwendet wird, um aufeinander folgende Bilder in der Bildfolge bei der Verarbeitung der Bilder zu vergrößern oder zu verkleinern, die dann in einem Bildpuffer gespeichert werden, um das hochauflösende Bild zu erhalten.
Ein erstes Bild einer Bildfolge wird zum Beispiel in den Bildpuffer geschrieben. Danach wird das jeweils nächste folgende Bild mit dem entsprechenden Skalierungsfaktor multipliziert, der in Bezug auf die erfasste Zoomrate bestimmt wird, und in dem Bildpuffer überschrieben, um mehr Bilddetails für den Teil der Szene zu liefern, der im nächsten Bild in der Folge erfasst ist. Dieses Verfahren wird in Echtzeit während des Aufnahmebetriebs der Kamera wiederholt, wobei das jeweils nächste Bild in der Folge (für jedes aufeinander folgende Bild in der Folge oder für jedes andere Bild darin) entsprechend der mit dem Zoomratendetektor erfassten Zoomrate auf- und abskaliert und dann in dem Bildpuffer überschrieben wird.
Während der Verarbeitung, wenn die Bildfolgen aufgezeichnet und im Bildpuffer überschrieben werden, wird das resultierende Bild vorzugsweise auf dem Display in Echtzeit angezeigt. Nachdem das Aufzeichnen der Bildfolgen abgeschlossen ist oder sie auf andere Weise in die Kamera eingegeben wurden und alle zu verarbeitenden Bilder entsprechend skaliert und in dem Bildpuffer überschrieben worden sind, ist das resultierende Bild in dem Bildpuffer das hochauflösende Bild. Das hochauflösende Bild kann angezeigt und als typisches digitales Bild in der Kamera in einem Bildspeicher gespeichert und anderweitig zur Speicherung in einem externen Speicher oder zur Anzeige ausgegeben werden.
Kurzbeschreibung der Zeichnungen
1 zeigt ein Beispiel für ein Kamerasystem nach der vorliegenden Erfindung.
2A zeigt ein Beispiel für den Aufbau des Kameragehäuses nach der Erfindung.
2B zeigt ein Beispiel für eine in 2A gezeigte Kameraanzeige 120 nach einer alternativen Ausführungsform der Erfindung.
2C zeigt eine weitere alternative Ausführungsform der in 2A gezeigten Anzeige 120.
3 zeigt ein Schemadiagramm zur Veranschaulichung des Verfahrens der Bildung eines Standbildes mit hoher Auflösung nach der vorliegenden Erfindung.
4 zeigt ein Diagramm zur Veranschaulichung des Kombinierens von Bildfolgen nach der vorliegenden Erfindung.
5 zeigt ein Diagramm für die Erfassung der Zoomrate zwischen zwei aufeinander folgenden Bildern.
6 zeigt ein Diagramm für den Vergleich zwischen einer vertikalen Projektionsverteilung 503, erhalten aus einem eingegebenen Bild, zur Abstimmung mit einer vertikalen Kandidaten-Projektionsverteilung bei der Bestimmung der Zoomrate.
7A und 7B zeigen Beispiele für grafische Benutzeroberflächen, die eine Zoomrate für eine Folge von eingegebenen Bildern anzeigen, nach einer bevorzugten Ausführungsform der Erfindung.
8 zeigt ein Beispiel für das Ablaufdiagramm eines Kamerasteuerprogramms.
9 zeigt ein Diagramm der Bildpuffer und Datenstrukturen zum Bilden eines hochauflösenden Bildes nach der vorliegenden Erfindung.
10 zeigt ein Beispiel für die Erfassung der Zoomrate zwischen Bildern zum Erzeugen eines hochauflösenden Bildes.
11 zeigt ein Beispiel für das Ablaufdiagramm eines Verfahrens zur Erfassung einer Zoomrate zwischen aufeinander folgenden Bildern aus vertikalen Projektionsverteilungen der Bilder.
12 zeigt ein Beispiel für das Ablaufdiagramm eines Verfahrens zur Erfassung einer Zoomrate zwischen aufeinander folgenden Bildern aus horizontalen Projektionsverteilungen der Bilder.
Ausführliche Beschreibung der bevorzugten Ausführungsformen
1 zeigt ein Digitalkamerasystem nach der Erfindung, das Bildfolgen verarbeitet, die vorzugsweise bei der Aufnahme der Bilder während einer Zoomoperation eingegeben werden, um ein Weitwinkel-Standbild mit hoher Auflösung zu erhalten.
Die vorliegende Anmeldung ist gleichzeitig mit der US-Anmeldung mit der laufenden Nummer 09/093.782 vom 9. Juni 1998 mit dem Titel „Digital Wide Camera" anhängig, deren Beschreibung hiermit durch Verweisung einbezogen wird.
Die Digitalkamera nach der Erfindung besteht funktional aus zwei Abschnitten und kann in einem Kameragehäuse untergebracht oder auf zwei oder mehr Teile aufgeteilt sein. Im Falle der Aufteilung können die optischen, Audio- und Bilderfassungsabschnitte der Kamera und eine Bildanzeige sowie die Bildkompressions- und Dekompressionsschaltungen von dem Bildverarbeitungsabschnitt der Kamera getrennt sein, der die Bildfolgen verarbeitet, um das hochauflösende Bild zu erhalten, die Bildfolgen optional speichert und die Bilder optional anzeigt. Die Bilder können durch eine Aufzeichnungs- oder Aufnahmeoperation der Kamera für die Echtzeitverarbeitung während der Aufnahme oder aus einem Speicher, optional auch extern von der Kamera, eingegeben werden.
Wie in 1 gezeigt, stellt ein Bus 108 schematisch eine Verbindung zwischen den Komponenten der Kamera dar. Über dem Bus 108 sind Komponenten gezeigt, die normalerweise den Komponenten in einer herkömmlichen MPEG-Kamera entsprechen, z.B. der MPEG-10 Digital Disk Camera von Hitachi, Ltd. Unter dem Bus 108 sind die Komponenten gezeigt, wie sie typischerweise in einem digitalen Computer zu finden sind und insbesondere, nach einer Ausführungsform der Erfindung, in einem Notebook-Computer. Hierbei ist jedoch zu beachten, dass eine Bildanzeige 120 zum Anzeigen einer verarbeiteten Folge von Bildern als hochauflösendes Bild 122 unter dem Bus 108 gezeigt ist, aber bei einer bevorzugten Ausführungsform ist die Bildanzeige, wie in 2A bis 2C gezeigt, Bestandteil des Kameragehäuses, so dass der Benutzer die Bildung des Bildes beobachten kann, während die Kamera die Bildfolgen verarbeitet.
Im Einzelnen umfasst die Digitalkamera ein optisches System 100 mit einem Sucher 101, bei dem es sich um einen optischen Sucher handeln kann. Alternativ kann die normalerweise von dem Sucher 101 gelieferte Ansicht als ein Bild auf der Anzeige 120 entweder zusammen mit dem hochauflösenden Bild 122 oder als Alternative dazu angezeigt werden. Selbstverständlich kann die Anzeige 120 auch andere geeignete Informationen anzeigen, wie zum Beispiel in 2B und 2C gezeigt, die nachstehend ausführlich beschrieben werden.
Unter weiterer Bezugnahme auf 1 wird das optische System 100 zum Scharfstellen und Bestimmen des Bildausschnitts einer Szene oder Person verwendet, um die Ansicht mit einer Bilderfassungsvorrichtung (CCD) 102 unter der Steuerung des Benutzers zu erfassen, der die Szene oder Person durch den optischen Sucher 101 beobachtet. Das optische System weist eine Vergrößerungseinstellvorrichtung zur Betätigung der Zoomfunktion auf. Die Betriebsdaten wie zum Beispiel der Zoomfaktor (Vergrößerung) usw. werden an eine CPU 112 übermittelt, die weiter unten beschriebene Funktionen ausführt.
Wenn eine Szene mit einer MPEG-Kamera aufgenommen wird, werden die Bilder im Allgemeinen durch fotoelektrische Umwandlung von der Bilderfassungsvorrichtung 102 in elektrische Signale umgewandelt. Ein Bildkompressions-Encoder 104 empfängt die elektrischen Signale, die ein Bild darstellen, von der Bilderfassungsvorrichtung 102, die die Datenmenge mit einem Bildkompressionsverfahren wie zum Beispiel nach dem MPEG-Standard verringert. Die Bilder können in einer externen Speichereinrichtung 110 gespeichert werden, die entweder ein Bestandteil der Kamera sein kann, zum Beispiel ein Flash-Speicher oder eine Festplatte, oder extern von der Kamera vorgesehen sein kann, zum Beispiel als eine Speichereinrichtung in einem Computer.
Die Bilder werden mit einer Frequenz von etwa 30 Hz (30 Bilder pro Sekunde) aufgenommen, so dass sie als aufeinander folgende Bilder gespeichert werden, die jeweils eine potenziell andere Bild-zu-Bild-Zoomrate aufweisen. Nach der bevorzugten Ausführungsform der Erfindung werden die Bildfolgen durch Vergrößern oder Verkleinern des aufgenommenen Bildes entsprechend einem Skalierungsfaktor verarbeitet, der auf der Grundlage der zwischen benachbarten Bildern der zu verarbeitenden Folge erfassten Bild-zu-Bild-Zoomrate bestimmt wird. Nach dem Skalieren eines Bildes wird das Bild gespeichert oder vorzugsweise in einem Bildpuffer (hochauflösender Bildpuffer) überschrieben. Das Speichern beginnt mit dem Schreiben eines ersten Bildes in den Bildpuffer basierend auf der Bestimmung dessen, ob die Bildfolge einer Zoom-in- oder Zoom-out-Operation der Kamera bei der Aufnahme entspricht. Danach wird jedes folgende Bild in der Bild folge entsprechend der Zoomrate im Verhältnis zu dem vorherigen Bild skaliert und dann über das vorherige Bild in dem hochauflösenden Bildpuffer geschrieben.
Obwohl jedes Bild bei dieser Rate verwendet und dennoch eine Echtzeitverarbeitung erzielt werden kann, kann jedes zweite oder jedes dritte (usw.) Bild bei dieser Rate alternativ als die zu verarbeitende Bildfolge ausgewählt werden. Auch kann von dem Aufnahmesystem eine höhere Rate von Bildern erfasst werden, wenn andere Standards wie zum Beispiel MPEG 2 verwendet werden. Die Rate, mit der die Bilder ausgewählt werden, um Bildfolgen zu bilden, wird nach der vorliegenden Erfindung so bestimmt, dass die Detailschärfe des resultierenden Bildes zufrieden stellend erhalten bleibt.
Wenn ein Standbild aufgenommen werden soll, das heißt ein Bild ohne höhere Auflösung durch Verarbeitung einer Bildfolge mit der Zoomfunktion, muss nur ein Bild in dem Moment gespeichert werden, in dem der Auslöser gedrückt wird. Daher kann die Kamera wie eine normale Digitalkamera funktionieren.
Ton kann zusammen mit der aufgenommenen Szene mit einem Mikrofon 126 und einem A/D-Wandler 128 aufgezeichnet werden. Der Ton wird vorzugsweise in der externen Speichereinrichtung 110 gespeichert und korreliert mit den eingegebenen Bildern.
Die externe Speichereinrichtung 110 ist vorzugsweise eine Speichereinrichtung mit hoher Kapazität, zum Beispiel eine Festplatte oder dergleichen, die einen nicht flüchtigen Speicherbereich für digitale Daten bereitstellt. Bei der Festplatte kann es sich um den Typ handeln, der von dem Hauptgehäuse abgetrennt werden kann, zum Beispiel eine PCMCIA-Speicherkarte, oder den Typ, bei dem nur das Speichermedium entnommen werden kann, zum Beispiel eine magnet-optische Disk.
Die CPU 112 führt die Steueroperationen zum Starten und Stoppen des Aufnahmebetriebs und außerdem das Software-Programm zur Realisierung der Funktionen aus, die in der vor liegenden Erfindung beschrieben werden. Ein Programm, zum Beispiel ein Kamerasteuerprogramm 114-1, befindet sich in einem Speicher 114, in dem auch Werte für Variablen und Bilddaten gespeichert sind (Daten 114-2, im Detail gezeigt in 9), die für die Ausführung des Programms benötigt werden.
Ein Bildspeicher oder Videospeicher 116 speichert ein hochauflösendes Bild 122, das auf einer Anzeige 120 angezeigt werden soll, als digitale Daten. Ein D/A-Wandler 118 eines Typs, der allgemein als RAMDAC bezeichnet wird, liest sukzessiv die in den Videospeicher 116 geschriebenen Daten, stellt sich auf die Geschwindigkeit der Abtastzeilen ein und erzeugt ein Bild auf der Anzeige 120. Wenn die Daten in dem Videospeicher 116 aktualisiert werden, lässt sich daher der aktualisierte Inhalt ohne weiteres auf der Anzeige 120 wiedergeben. Das aufgenommene und in den Bildkompressions-Encoder 104 eingegebene Bild kann auch direkt in den Videospeicher 116 geschrieben werden, indem die Bildkompressionsfunktion umgangen wird.
Der Bilddekompressions-Decoder 106 dekomprimiert die. komprimierten dynamischen Bilddaten, die in der externen Speichereinrichtung 110 gespeichert sind, und gibt sie als ein Bild an den Videospeicher 116 aus. Ein analoger Ausgang 124 gibt das dekomprimierte Bild nach Umwandlung in analoge Videosignale aus, die von Fernsehgeräten allgemein verwendet werden, zum Beispiel das NTSC-System. Diese Ausgangssignale können durch Anschließen der Kamera an ein Videogerät zum Beispiel vom VHS-Typ aufgezeichnet werden, wie sie heute weit verbreitet sind. Die aufgenommenen Audiodaten können über einen Audio-D/A-Wandler 132 und einen Lautsprecher 130 synchron mit der Dekompression des Bildes ausgegeben werden. Eine Eingangsschnittstelle 123 kann zur Steuerung von Schaltern wie etwa einer Aufnahmetaste und einer Wiedergabetaste verwendet werden oder sie kann eine Dateneingabevorrichtung wie etwa ein transparentes Touchpanel aufnehmen, das auf der Oberfläche der Anzeige 120 ange bracht ist. Die Eingabedaten werden an die CPU 112 übermittelt und in geeigneter Weise verarbeitet.
Im Allgemeinen wird bei der Digitalkamera nach dieser Ausführungsform eine Folge von Bildern, die bei Betätigung der Zoom-in- oder Zoom-out-Funktion aufgenommen werden, verarbeitet, um ein hochauflösendes Bild zu erhalten. Zuerst werden die aufgenommenen Bilder entsprechend dem in dem Speicher 114-1 gespeicherten Kamerasteuerprogramm bei der Aufnahme in den Speicher 114-2 geschrieben und dann nacheinander verarbeitet, um ein hochauflösendes Bild 122 anzuzeigen, das während der Verarbeitung, wie in 1 gezeigt, ein Weitwinkelbild 122-1 des gerade verarbeiteten Bildes und ein aktuelles (eingezoomtes) Bild 122-2 auf der Anzeige 120 umfasst. Nach Ende der Aufnahme wird das Weitwinkelbild als eine Bilddatenstruktur 110-1 in der externen Speichereinrichtung 110 gespeichert.
Bezug nehmend auf 1 umfasst jede Bilddatenstruktur einen Bild-Header 110-1-1 mit den nötigen Daten für die Dekompression, zum Beispiel das verwendete Bildkompressionssystem, und die vertikalen und seitlichen Abmessungen des Bildes. Ein Flag 110-1-2, das angibt, ob das Bild gültig oder ungültig ist, wird zum Zeitpunkt der einfachen Bearbeitung der Bilder verwendet. Die Bilddatengröße 110-1-3, die die Anzahl der Bytes in den anschließenden Bilddaten 110-1-4 angibt, wird ebenfalls gespeichert. Daher kann entsprechend der Art oder der Größe des Bildes berechnet werden, wo die komprimierten Bilddaten aufgezeichnet werden.
Die Anzeige 120 ist eine Einrichtung zum Anzeigen eines Bildes und kann zum Beispiel ein kleiner Kathodenstrahlröhren-Monitor, ein Plasmadisplay oder ein Flüssigkristalldisplay sein. Neben dem in dem Videospeicher 116 gespeicherten Bild können auch zusätzliche oder alternative Bilder auf der Anzeige 120 angezeigt werden, zum Beispiel die Ansicht durch den optischen Sucher 101.
2A zeigt das Aussehen eines digitalen Weitwinkel-Kameragehäuses nach einer bevorzugten Ausführungsform der Erfindung. Bei dieser Ausführungsform weist ein Kameragehäuse 200 die oben erwähnte Objektiveinheit (optisches System) 100, den Sucher 101 für das optische System, eine Flachbildanzeige 120 und die Bedientasten 201 bis 205 auf. Das mit der Objektiveinheit 100 aufgenommene Bild kann durch den Sucher 101 überprüft und auf der Anzeige 120 angezeigt werden.
Von den Tasten 201 bis 205 dient ein Schalter 201 für die Zoomsteuerung; dabei handelt es sich um einen Wipptastenschalter, mit dem die Zoomfunktion kontinuierlich ausgeführt wird, wenn der Schalter zu der einen oder der anderen Seite gedrückt wird, um die Vergrößerung der betrachteten Szene zu erhöhen oder zu verringern. Die Aufzeichnung erfolgt durch Drücken der Aufnahmetaste 202, das, heißt die Aufnahme beginnt, wenn die Taste einmal gedrückt wird, und sie endet, wenn die Taste während der Aufnahme (oder während sie festgehalten wird usw.) erneut gedrückt wird. Wenn der Benutzer die Kamera betätigt, um eine Szene bei Betätigung der Zoomfunktion aufzunehmen, wird zusätzlich zum Aufzeichnen der während der Aufnahmezeit aufgenommenen Bilder durch Verarbeitung der Bildfolge ein hochauflösendes Weitwinkelbild in Echtzeit erzeugt und auf der Anzeige 120 angezeigt. Dadurch ist es möglich, das verarbeitete Bild schnell zu überprüfen und mögliche Fehler bei der Verarbeitung des Weitwinkelbildes zu erkennen.
Wird die Wiedergabe der gespeicherten Bilder durch Betätigen einer Taste angefordert, werden eine Liste und die einzelnen Bilder auf der Anzeige 120 angezeigt. Außerdem sind bei der Kamera nach dieser Ausführungsform Universaltasten 203 und 204 vorgesehen, um verschiedene Funktionen der Kamera zu ermöglichen. Weiterhin ist eine Scroll-Taste 205 vorgesehen, um ein Bild zur Anzeige auszuwählen und um die gespeicherten Bilder zur Anzeige auf der Anzeige 120 durchzublättern.
Die aufgenommenen Bilder können über einen analogen Ausgang 124 ausgegeben werden, nachdem sie in analoge Vi deosignale umgewandelt worden sind, die von Fernsehgeräten allgemein verwendet werden. Außerdem können die aufgezeichneten Daten über eine Computerschnittstelle 206 an einen normalen Computer übertragen werden. Damit kann die digitale Weitwinkelkamera nach der vorliegenden Erfindung effektiv als Mittel zur Sammlung einer Vielzahl digitaler Informationen verwendet werden.
Obwohl die vorliegende Ausführungsform vorsieht, dass die Bilder einer Zoomsequenz durch das Objektiv durch den Betrieb der Kamera eingegeben werden, können sie auch aus einer anderen Quelle in den Hilfsspeicher 110 eingegeben werden. Danach kann eine solche Folge von Bildern getrennt aus dem Hilfsspeicher gelesen und verarbeitet werden, um das hochauflösende Bild zu erzeugen.
2B und 2C zeigen alternative Ausführungsformen für den Aufbau der Anzeige 120, wie in der vorliegenden Erfindung vorgesehen. In 2B umfasst die Anzeige 120 einen Bildanzeige-Eingabeabschnitt 122-3, der das Bild direkt vom Sucher 101 zeigt, und zeigt weiter das verarbeitete hochauflösende Bild im Anzeigebereich 122-4 an. Außerdem ist ein Anzeigebereich 122-5 für die grafische Benutzeroberfläche vorgesehen, in dem grafische Informationen in Bezug auf die Zoomstärke des aktuellen Bildes im Verhältnis zu den anderen Bildern in der verarbeiteten Bildfolge angezeigt werden, vorzugsweise in Echtzeit, wie anhand von 7A und 7B erläutert.
Der Aufbau der Anzeige 120 nach der in 2C gezeigten weiteren alternativen Ausführungsform ist dahingehend vergleichbar mit der Ausführungsform in 2B, dass die Anzeige den Bildanzeige-Eingabeabschnitt 122-3 für die Anzeige des Bildes direkt vom Sucher 101 umfasst. Andererseits ist der in dieser Abbildung gezeigte Anzeigebereich 122-6 für die grafische Benutzeroberfläche unterschiedlich. Insbesondere wird die Änderung der Zoomvergrößerung durch Änderung der Größe eines Rahmens 122-7 angezeigt, der als Teil des hochauflösenden Bildes gezeigt wird, wobei der Rahmen 122-7 um den Umfang des aktuellen Bildes in der verarbeiteten Bildfolge verläuft und sich je nach der Zoomrichtung in der Sequenz zusammenzieht oder erweitert, wie durch die Pfeile angedeutet. Bei einer bevorzugten Ausführungsform wird der Rahmen durch eine Linie in einer bestimmten Farbe als der Rahmen 122-7 angezeigt, zum Beispiel mit einer zur Hervorhebung dienenden Farbe wie Gelb.
3 zeigt ein Diagramm, das die nachstehend beschriebenen Schritte zum Erzeugen eines hochauflösenden Standbildes auch unter Bezugnahme auf 4 illustriert. Bei Drücken der Aufnahmetaste 202 wird eine Folge von Bildern erzeugt, beginnend mit einem ersten Bild 121-1 der Sequenz zum Zeitpunkt Ts bis zum erneuten Drücken der Aufnahmetaste 202 zum Zeitpunkt Te. Die in 3 gezeigte Bildsequenz 121 wird erhalten, wenn die Bilder bei Betätigung der Zoom-in-Funktion der Kamera in diesem Beispiel aufgenommen werden. Die Zoomfunktion bewirkt, dass die Szene in den Bildern der Sequenz in kleinen Schritten abhängig von der tatsächlichen Bild-zu-Bild-Zoomrate im Betrieb verkleinert oder vergrößert wird.
Das heißt, ein Weitwinkelbild mit Bergen, Bäumen, Häusern und einem Hubschrauber wird zu Beginn der Aufzeichnung der Sequenz bei Ts aufgenommen, und ein Bild nur mit dem Hubschrauber, einem Baum und Teilen der Berge wird am Ende der Aufzeichnung der Sequenz bei Te aufgenommen. Während dieser Zoom-in-Sequenz nimmt der Bereich der von dem Bild erfassten Weitwinkelansicht infolge der Zoomfunktion an Details zu, aber der Bildwinkel verringert sich.
Um die Bildsequenz aufzunehmen, wird die Kamera vorzugsweise auf einem Stativ oder einer anderen festen Halterung montiert, so dass während der Zoomfunktion im Wesentlichen nur eine geringe Verschiebung des Mittelpunktes des jeweiligen Bildes in der Sequenz eintritt. Der Mittelpunkt wird zum Beispiel fest auf den Schnittpunkt von W/2, H/2 für jedes Bild eingestellt, wobei die Bilder eine Höhe H und eine Breite W aufweisen, wie in 5 gezeigt.
Die Geschwindigkeit des Ein- oder Auszoomens ist jedoch nur selten konstant, so dass die Bild-zu-Bild-Zoomrate zwischen den Bildern in der Sequenz schwankt. Selbst in diesem Fall kann durch Skalieren der Bilder entsprechend der Zoomrate zwischen den einzelnen in einer Bildfolge verarbeiteten Bildern ein hochauflösendes Bild 122 erhalten werden. Wie in 4 gezeigt, werden die Zoomraten zwischen den Bildern bestimmt (Schritt 400), indem eine Kontrolle auf der Grundlage einer Anzahl der Bildmerkmale zwischen (zeitlich) benachbarten Bildern 121-1 und 121-2 durchgeführt wird. Das letzte Bild, skaliert entsprechend der bestimmten Zoomrate, wird über die zuvor verarbeiteten Bildfolgen geschrieben (Schritt 410), die in einem hochauflösenden Bildpuffer gespeichert sind, um das hochauflösende Bild 122-1 in Echtzeit zu bilden, bis zum Ende der Verarbeitung der Bildfolgen, woraufhin das endgültige hochauflösende Bild 122 erhalten wird.
Auch wenn hier ein Verfahren zur Erzeugung eines hochauflösenden Bildes beschrieben ist, wenn die Bildfolgen mit einem Einzoomen (Zoom-in) aufgenommen werden, ist das Verfahren für das Auszoomen (Zoom-out) identisch. Im Falle des Auszoomens wird durch Skalieren des letzten Bildes aus Gründen der Effizienz nur der Bereich, der sich in einen Bereich über den des vorherigen Bildes hinaus erstreckt, in dem hochauflösenden Bildpuffer überschrieben, um das hochauflösende Bild 122-1 zu erhalten (Schritt 410).
Hier kann das Skalieren eines Bildes einfach mit einem Verfahren zum Erweitern oder Zusammenziehen eines Bildes entsprechend einer Skalierung oder durch Anwendung eines Verfahrens der linearen Interpolation durch Bezugnahme auf vier Pixel auf einem Umfang erfolgen. Während sich bei dem Verfahren der linearen Interpolation aufgrund der Zunahme des Berechnungsaufwands um das Vierfache ein Problem ergibt, kann der Stufeneffekt in einem Bild unterdrückt werden, auch wenn ein hochauflösendes Bild vergrößert und angezeigt wird. Wird das erzeugte hochauflösende Bild in Echtzeit angezeigt, ist es wünschenswert, dass die Größe des ersten Bildes bei Beginn der Aufnahme entsprechend der Objektivvergrößerung im Voraus bekannt ist.
Bei einer bevorzugten Ausführungsform der Erfindung wird zuerst die Richtung der Zoomfunktion, das heißt Ein- oder Auszoomen, während der Aufnahme der Bilder bestimmt. Das erste Bild in einer zu verarbeitenden Bildfolge wird als eine Hälfte der maximalen Vergrößerung oder Zoomrate angenommen. Danach wird dieses erste Bild mit dem zweiten Bild in der Folge verglichen, um festzustellen, ob der Benutzer bei der Aufnahme ein- oder auszoomt. Wird bei der Aufnahme eingezoomt, wird das erste Bild skaliert und in der maximalen Größe des hochauflösenden Bildpuffers 114-2-2 (9) mit dem entsprechenden Skalierungsfaktor für die maximale Zoomrate der Kamera gespeichert. Danach wird das nächste Bild skaliert (vergrößert oder verkleinert entsprechend der Erfassung der Bild-zu-Bild-Zoomrate) und mit zwischen den beiden Bildern übereinstimmendem Mittelpunkt in den Bildpuffer 114-2-2 geschrieben. Der Mittelpunkt wird nach dieser Ausführungsform der Erfindung für jedes Bild als fest bei W/2, H/2 angenommen. Das zweite Bild und alle folgenden Bilder werden dann mit einem Skalierungsfaktor multipliziert, der auf der Grundlage der Bild-zu-Bild-Zoomrate für jedes folgende Bild bezogen auf das vorherige Bild bestimmt wird, gefolgt vom Überschreiben des Bildes in dem Bildpuffer für das hochauflösende Bild, wie hier ausführlich beschrieben.
Für den Fall des Einzoomens wird der mittlere Teil des in dem Bildpuffer 114-2-2 gespeicherten Bildes jedes Mal mit dem nächsten folgenden Bild überschrieben, das mit einem abnehmenden Skalierungsfaktor oder einer abnehmenden Zoomrate multipliziert worden ist. Beträgt die maximale Zoomrate für das Aufnahmesystem zum Beispiel 10 und zoomt der Benutzer bei der Aufnahme auf die Szene ein, wird das erste Bild mit einem Skalierungsfaktor 10 in den Videopuffer geschrieben, der für jedes folgende Bild schrittweise entsprechend der tatsächlichen Bild-zu-Bild-Zoomrate von 10 für das erste Bild bis zu einem letzten Bild in der Folge mit dem niedrigstmöglichen Skalierungsfaktor 1,0 verringert wird. Die Skalierungsfaktoren sind nicht voreingestellt, weil sie jeweils in Echtzeit auf der Grundlage der tatsächlichen Bild-zu-Bild-Zoomrate bestimmt werden, die mit einer Toleranz von ca. 0,001 bis 0,005 und vorzugsweise einer Toleranz von ca. 0,001 bestimmt wird.
Weil der mittlere Teil des hochauflösenden Bildpuffers für jedes Bild überschrieben ist, ist es als weitere Überlegung schneller, anstelle des ganzen Bildes nur einen Umfangskantenbereich für jedes folgende Bild zu überschreiben. Zur Durchführung dieses Überschreibens nach der bevorzugten Ausführungsform der Erfindung wird ein Mittelteil variabler Größe jedes folgenden Bildes maskiert, um die Notwendigkeit zum Überschreiben des mittelsten Teils des Bildes in den mittleren Teil des Bildpuffers zu verringern, bis dies nötig ist. Dadurch erhöht sich die Verarbeitungsgeschwindigkeit entscheidend, so dass die Verarbeitung in Echtzeit während der Aufnahme der Szene durchgeführt werden kann.
Bei der Durchführung der Verarbeitung des hochauflösenden Bildes nach der Erfindung muss der entsprechende Skalierungsfaktor bekannt sein, der mit der Bild-zu-Bild-Zoomrate in Beziehung steht. Ein Beispiel für die Bestimmung des entsprechenden Skalierungsfaktors, der zum Skalieren eines Bilds verwendet wird, bevor dieses in den Bildpuffer geschrieben wird, wird ausführlich anhand von 5 und 6 beschrieben.
5 zeigt das Prinzip zur Erfassung der Zoomrate. Zuerst werden eine horizontale Projektionsverteilung 500 und eine vertikale Projektionsverteilung 501 für das Bild 121-1 zum Zeitpunkt Ti erzeugt. In gleicher Weise werden eine horizontale Projektionsverteilung 502 und eine vertikale Projektionsverteilung 503 für das Bild 121-2 zum Zeitpunkt Ti + 1 erzeugt.
Durch Vergleichen des Unterschieds zwischen den vertikalen Projektionsverteilungen 501 und 503 wird die Zoomrate vorausgesagt, das heißt Einzoomen oder Auszoomen. Dies erfolgt durch Vergleichen sowohl einer Rückwärts-Voraussage (von Ti + 1 bis Ti) und einer Vorwärts-Voraussage (von Ti bis Ti + 1). Das Ergebnis der Voraussage, die die wenigsten Fehler aufweist, das heißt die Kandidaten-Projektionsverteilung, die die genaueste Übereinstimmung ergibt, wird die resultierende Kandidaten-Projektionsverteilung, aus der die Bild-zu-Bild-Zoomrate erfasst wird, was nachstehend ausführlich anhand von 6 erläutert wird.
Im Allgemeinen werden bei der Vorwärts-Voraussage für die Zoomratenbestimmung aus der vertikalen Projektionsverteilung 501 für Bild 121-1 zum Zeitpunkt Ti mehrere vorläufige Zoomraten vorausgesagt und für jede Zoomrate wird eine vorläufige vertikale Projektionsverteilung erzeugt. Danach werden die erhaltenen vorläufigen vertikalen Projektionsverteilungen auf Übereinstimmung mit der vertikalen Projektionsverteilung 503 für Bild 121-2 zum Zeitpunkt Ti + 1 verglichen.
Für die Rückwärts-Voraussage der Zoomrate werden aus der vertikalen Projektionsverteilung 503 für Bild 121-2 zum Zeitpunkt Ti + 1 mehrere vorläufige Zoomraten vorausgesagt und für jede Zoomrate wird eine vorläufige vertikale Projektionsverteilung erzeugt. Danach werden die erhaltenen vorläufigen vertikalen Projektionsverteilungen auf Übereinstimmung mit der vertikalen Projektionsverteilung 501 für Bild 121-1 zum Zeitpunkt Ti verglichen.
Weil der Schwankungsbereich der Zoomrate zwischen benachbarten Bildern begrenzt ist, werden die vorläufigen Zoomraten innerhalb eines bestimmten Bereichs vorausgesagt. Eine der vorläufigen Zoomraten wird auf der Grundlage der nächsten Überstimmung der gebildeten vorläufigen vertikalen Projektionsverteilungen und der vertikalen Projektionsverteilung 503 ausgewählt (Vorwärts-Voraussage). Die nächste Übereinstimmung wird mathematisch bestimmt, indem geprüft wird, welche der vorläufigen vertikalen Projektionsverteilungen bei Vergleich mit der vertikalen Projektionsverteilung 503 den kleinsten Fehler aufgrund einer Nichtübereinstimmung aus dem Vergleich aufweist. Als Prüffehler zwischen den beiden Projektionsverteilungen, das heißt der Differenzfehler aufgrund der Prüfung bzw. des Vergleichs, wird die Summe des Absolutwertes eines Unterschieds zwischen den einzelnen Elementen verwendet, wobei alternativ auch der mittlere quadratische Fehler verwendet werden kann. Dementsprechend kann eine deutliche Verringerung des Berechnungsaufwands erreicht werden.
6 zeigt ein Beispiel für die Verwendung der Vorwärts-Voraussage bei der Bestimmung der Bild-zu-Bild-Zoomrate unter Verwendung der vertikalen Projektionsverteilung 503 für Bild 121-2. Zuerst werden mehrere vertikale Kandidaten-Projektionsverteilungen 501-1 bis 501-4 zum Vergleich mit der vertikalen Projektionsverteilung 503 erzeugt. Die vertikale Kandidaten-Projektionsverteilung, die mit der vertikalen Projektionsverteilung 503 übereinstimmt, wird zur Bestimmung der Zoomrate verwendet, vorzugsweise innerhalb einer Toleranz von ±0,001 bis ±0,003. Liegt keine optimale Übereinstimmung vor, nachdem alle Kandidaten-Projektionsverteilungen für das Vorwärts- und das Rückwärts-Voraussagemodell geprüft worden sind, wird eine Zoomrate von 1,0 angenommen.
Ist die Zoomrate größer als 1,0, nimmt die Breite (W) der Pixel für ein Bild 121-2 im Verhältnis zu Bild 121-1 zu, wie in 6 gezeigt. Somit werden die vertikalen Kandidaten-Projektionsverteilungen 501-2 und 501-1 unter der Annahme einer zunehmenden Pixelbreite (W) erzeugt. In gleicher Weise werden die vertikalen Kandidaten-Projektionsverteilungen 501-3 und 501-4 für den Fall erzeugt, dass die Zoomrate auf unter 1,0 abnimmt; in diesem Fall nimmt die Pixelbreite (W) ab. Eine vertikale Kandidaten-Projektionsverteilung 501 ist für den Fall einer konstanten Pixelbreite (W) vorgesehen.
Zur genauen Bestimmung der Zoomrate werden die vertikalen Kandidaten-Projektionsverteilungen, die mit der vertikalen Projektionsverteilung 503 verglichen werden sollen, durch Erhöhen oder Verringern der Pixelbreite (W) in Einheiten von 0,1 bis 2,0 Pixel erzeugt, je nach Pixelbreite des Bildes. Bei der bevorzugten Ausführungsform wird, wie gezeigt, ein Pixel zur Expansion oder Kontraktion jedes Kandidaten für ein praktisches Maximum von 16 bis 32 vertikalen Kandidaten-Projektionsverteilungen verwendet. Bei der vorliegenden Ausführungsform wird eine maximale Zoomrate von ((W ± 10)/W) angenommen. Zur Veranschaulichung des Konzepts der bevorzugten Ausführungsform der Erfindung sind jedoch nur die Kandidaten (W + 1)/W und (W + 2)/W für Bild 501-2 bzw. 501-1 für die zunehmende Zoomrate und nur die Kandidaten (W – 1)/W und (W – 2)/W für Bild 501-3 bzw. 501-4 für die abnehmende Zoomrate gezeigt.
Nachdem die Übereinstimmung einer vertikalen Kandidaten-Projektionsverteilung mit der vertikalen Kandidaten-Projektionsverteilung 503 festgestellt ist (wenn ein bester mathematischer Vergleich zum kleinsten Fehler für einen der Kandidaten führt), wird die entsprechende Zoomrate ((W ± n)/w) für den Kandidaten als die Zoomrate ausgewählt, wobei n die Anzahl der Pixel ist, um die die Breite (W) aufgrund der Vergrößerung oder Verkleinerung zwischen Bildern infolge der Zoomfunktion zugenommen (positive Zahl) oder abgenommen (negative Zahl) hat. Die bevorzugte Ausführungsform zur Bestimmung der Bild-zu-Bild-Zoomrate wird ausführlich anhand von 10 bis 12 beschrieben. Natürlich gibt es auch den Fall, bei dem die Zoomfunktion zwischen den Bildern 121-1 und 121-2 nicht verwendet worden ist; in diesem Fall wird die vertikale Kandidaten-Projektionsverteilung 501, die einer Zoomrate von 1,0 entspricht, als die vertikale Kandidaten-Projektionsverteilung bestimmt, die mit der vertikalen Kandidaten-Projektionsverteilung 503 übereinstimmt. Dies würde ein Standbild 121-2 angeben (Standbild mit der Bedeutung kein Zoom zwischen den Bildern 121-1 und 121-2).
Obwohl in 6 nur der Vergleich der vertikalen Projektionsverteilungen gezeigt ist, werden in gleicher Weise auch horizontale Projektionsverteilungen verglichen und die nächste Übereinstimmung ausgewählt. Nach der bevorzugten Ausführungsform der Erfindung werden sowohl die vertikalen als auch die horizontalen Projektionsverteilungen verglichen, um eine genaue Bestimmung der Zoomrate sicherzustellen.
Obwohl 6 nur das Konzept der Vorwärts-Voraussage zeigt, wird die Zoomrate vorzugsweise auch mit einer Rückwärts-Voraussage bestimmt. Bei der Rückwärts-Voraussage werden die vertikalen Kandidaten-Projektionsverteilungen auf der Grundlage von Bild 121-2 zum Zeitpunkt Ti + 1 zum Vergleich mit der vertikalen Projektionsverteilung 501 erzeugt. Das heißt, die Kandidaten werden mit Iterationsschritten einer Zoomrate von (W/(W ± n)) erzeugt. Durch Verwendung der Vorwärts- und Rückwärts-Voraussagetechniken mit sowohl horizontalen als auch vertikalen Projektionsverteilungen kann die Zoomrate mit hoher Genauigkeit bestimmt werden.
Weil anstelle der direkten Verwendung eines skalierten Bildes skalierte Kandidaten-Projektionsverteilungen eines Bildes verglichen werden, kann bei der Erfassung der Zoomrate eine deutliche Verringerung des Berechnungsaufwands zur Bestimmung der Zoomraten erreicht werden. Wenn die CPU eine Rechenleistung von 100 MIPS aufweist, kann diese Verarbeitung daher dreißig Mal oder öfter pro Sekunde erfolgen, wodurch es möglich ist, die hochauflösende Bildverarbeitung nach der Erfindung in Echtzeit zu realisieren.
Wie bereits erwähnt, besteht der Grund, weshalb die Zoomrate vorzugsweise auf der Grundlage sowohl der vertikalen Projektionsverteilung als auch der horizontalen Projektionsverteilung erfasst wird, darin, dass ein Fehler bei der Bestimmung der Zoomrate weniger wahrscheinlich ist. Ein Fehler kann möglicherweise durch die Bewegung eines Objekts verursacht werden, das nur in der vertikalen Richtung oder nur in der horizontalen Richtung aufgelöst wird. Wenn eine als Bildfolge aufgenommene Szene zum Beispiel eine offene Tür zeigt, die dann geschlossen wird, führt die anhand der vertikalen Projektionsverteilung bestimmte Zoomrichtung zur Feststellung eines Einzoomens (Zoom-in), wenn die Tür „offen" ist. Andererseits wird die Zoomrichtung als Auszoomen (Zoom-out) bestimmt, wenn die Tür geschlossen wird. Im Gegensatz dazu wird das Zoomen nach der horizontalen Projektionsverteilung als Standbild (Still) beurteilt, was korrekt ist. Daher wird eine exakte Zoomvoraussage anhand sowohl der horizontalen als auch der vertikalen Projektionsverteilungen und durch Auswählen desjenigen unter allen Kandidaten vorgenommen, der als Ergebnis des Vergleichs die beste Übereinstimmung zeigt.
Im Übrigen wird die Projektionsverteilung eines Bildes durch Normalisieren erhalten. Normalisieren in vertikaler Richtung bedeutet das Summieren der Intensitätswerte der Pixel in jeder Spalte mit der Höhe H und das Dividieren dieser Summe durch die Anzahl der Pixel für die Spalte, während Normalisieren in horizontaler Richtung das Summieren der Intensitätswerte der Pixel in jeder Reihe W und das Dividieren der Summe durch die Anzahl der Pixel in der Reihe bedeutet. Durch diese Art des Normalisierens ist es möglich, die Erfindung für unterschiedliche Bildsensoren anzuwenden, weil die Matrix der zu verarbeitenden Pixel variabel sein kann und daher zwischen dem typischen Wert von 320 × 240 Pixel für eine Digitalkamera bis zu einem typischen Format von 640 × 480 Pixel variieren kann, ohne dass grundlegende Unterschiede in den Verarbeitungsverfahren erforderlich sind.
Weil der Intensitätswert eines Pixels eine Kombination der Intensitäten für Rot, Grün und Blau ist, ist es bisweilen praktisch, eine Näherung des Intensitätswertes zu verwenden, indem zum Beispiel nur der Intensitätswert von Grün verwendet wird. Der Intensitätswert von Grün ist ungefähr gleich der Intensität des Pixels und kann als der Intensitätswert verwendet werden. Nach Möglichkeit wird der Intensitätswert jedoch vorzugsweise aus den RGB-Werten berechnet.
8 zeigt ein Beispiel des Kamerasteuerprogramms 114-1 nach der vorliegenden Erfindung. Dieses Programm-Ablaufdiagramm zeigt hauptsächlich das Verfahren zum Erzeugen eines hochauflösenden Bildes während der Aufzeichnung einer Folge von Bildern. Natürlich können auch zuvor aufgenommene und gespeicherte Bilder in gleicher Weise verarbeitet werden. Darüber hinaus kann das Programm auch Prozesse zum Bearbeiten der erfassten Bilder, zum Referenzieren der Bilder und zum Übertragen der Bilder usw. enthalten. Das Kamerasteuerprogramm 114-1 wird durch Bezugnahme auf die in 9 gezeigten Steuerdaten 114-2 ausgeführt.
Schritt 800 bezieht sich auf die Initialisierung der Verarbeitung, wobei die Variable STATUS auf 0 zurückgesetzt wird. Bei eingeschalteter Stromversorgung der Kamera (Schritt 802) werden die folgenden Schritte zur Verarbeitung der mit dem Aufzeichnungssystem aufgenommenen Bilder ausgeführt, um ein hochauflösendes Bild zu erzeugen.
Zuerst wird in Schritt 804 festgestellt, ob die Aufnahmetaste 202 gedrückt worden ist. Falls ja, geht der Ablauf weiter mit Schritt 806, wo festgestellt ist, ob der Status bei Drücken der Aufnahmetaste 0 oder 1 ist. Wird die Aufnahmetaste bei STATUS = 0 gedrückt, wird die Aufzeichnungsverarbeitung 808 gestartet. Hier wird das vorherige auf der Anzeige 120 der Kamera angezeigte hochauflösende Bild als Vorbereitung für die Anzeige eines neuen hochauflösenden Bildes gelöscht. Das heißt SUPER_RESOLUTION_IMAGE_BUF (der hochauflösende Bildpuffer) 114-2-2 (9) wird initialisiert.
Als Nächstes wird die Variable STATUS in Schritt 810 auf 1 gesetzt, um die Aufzeichnung zu bewirken. Wenn in Schritt 806 festgestellt wird, dass die Aufnahmetaste bei STATUS = 1 gedrückt worden ist, wird andererseits bestimmt, dass die Aufzeichnung beendet ist, und der Verarbeitungsschritt 812 wird ausgeführt, um die Header-Informationen für jedes Bild zu erzeugen, die Größe der Bilddaten zu prüfen und die Bilder im Speicher zu speichern. Hier werden der Bild-Header 110-1-1 und die Bilddatengröße 110-1-3 der Bilder an einer festgelegten Stelle in die Bilddatenstruktur 110-1 geschrieben. Danach wird in Schritt 814 der STATUS auf 0 zurückgesetzt, weil die Aufzeichnung beendet ist.
Obwohl alle während der Aufzeichnung erfassten Bilder gespeichert und verarbeitet werden können, können die Bilder auch in Echtzeit verarbeitet werden, während sie aufgenommen werden, wobei die Bilder einzeln zur Verarbeitung im Bildpuffer 114-2-1 gespeichert werden, ehe sie skaliert und in den Bildpuffer 114-2-2 überschrieben werden, wenn jeweils ein neues Bild in den Bildpuffer 114-2-1 geschrieben wird.
Bei eingeschalteter Stromversorgung wird in Schritt 820 geprüft, ob der Status = 1 ist oder nicht. Ist der Status wegen der Aufzeichnung = 1, wird die folgende Verarbeitung für die von der Bilderfassungsvorrichtung eingegebenen Bilder ausgeführt. In Schritt 822 wird das Bild über die Bilderfassungsvorrichtung 102 und den Bildkompressions-Encoder 104 eingegeben und im IMAGE_BUF 114-2-1 des Speichers 114 gespeichert, wodurch die Bildnummer um 1 erhöht wird. Als Nächstes wird in Schritt 824 die Projektionsverteilung in der vertikalen und der horizontalen Richtung aus dem eingegebenen Bild 114-2-1 berechnet. Die genannten Projektionsverteilungen werden in X_PROJ_CURRENT 114-2-4 bzw. Y_PROJ_CURRENT 114-2-6 in 9 gespeichert. Die Projektionsverteilungen bleiben gespeichert, bis das nächste Bild eingegeben wird. In diesem Fall werden die Verteilungen nach X_PROJ_LAST 114-2-3 bzw. Y_PROJ_LAST 114-2-5 verschoben. Wird jetzt ein weiteres Bild eingegeben, werden sie verworfen.
In Schritt 826 wird die Projektionsverteilung des vorherigen Bildes mit der Projektionsverteilung des aktuellen Bildes verglichen, um die Zoomrate zu berechnen. Diese Verarbeitung wird weiter unten anhand von 10 ausführlich beschrieben.
In Schritt 828 wird ein aktuelles eingegebenes Bild entsprechend einer Zoomrate skaliert, die zwischen einem letzten Bild in der verarbeiteten Bildfolge und dem aktuellen Bild erfasst worden ist, und das skalierte aktuelle Bild wird in den Bildpuffer SUPER_RESOLUTION_IMAGE BUF 114-2-2 überschrieben.
Bei der Ausführung von Schritt 828 muss der entsprechende Skalierungsfaktor z bekannt sein, der mit der Bild-zu-Bild-Zoomrate wie folgt in Beziehung steht: Zn = Zn–1 (1/zbx)wobei n die Anzahl der Bilder in der verarbeiteten Bildfolge und z_bx die Bild-zu-Bild-Zoomrate zwischen benachbarten oder zeitlich aufeinander folgenden Bildern in der verarbeiteten Bildfolge ist. Im Übrigen ist die Zoomrate hier durch ein Verhältnis definiert, das angibt, wie sehr sich die Größe eines Bildes zwischen zwei benachbarten Bildern ändert, bestimmt anhand der Anzahl der Pixel, um die sich nacheinander verarbeitete Bilder im Verhältnis zueinander dehnen bzw. zusammenziehen.
Weil der Teil des Bildpuffers, der dem Mittelteil der verarbeiteten Bildfolge entspricht, jedes Mal überschrieben wird, wenn ein nächstes Bild in der Folge in den Bildpuffer 114-2-2 geschrieben wird, ist es schneller, anstelle des ganzen Bildes nur einen Umfangskantenbereich für jedes folgende Bild zu überschreiben. Zur Durchführung dieses Überschreibens nach der bevorzugten Ausführungsform der Erfindung wird ein Mittelteil variabler Größe jedes folgenden Bildes maskiert, um die Notwendigkeit zum Überschreiben des Mittelteils des Bildes in den Mittelteil des Bildpuffers zu verringern, soweit dies nicht nötig ist, um die Bildverarbeitung wie beim Schreiben des ersten oder letzten Bildes der Folge zu beenden. Dadurch erhöht sich die Verarbeitungsgeschwindigkeit entscheidend.
In Schritt 830 wird das Bild im SUPER_RESOLUTION_IMAGE BUF 114-2-2 an den Videospeicher 116 übertragen, und ein hochauflösendes Bild wird auf der Anzeige 120 angezeigt.
Bei der Übertragung kann der Inhalt von SUPER_RESOLUTION_IMAGE_BUF 114-2-2 nach Ausdünnen (selektives Löschen von Pixeln) entsprechend der Auflösung der Anzeige 120 angezeigt werden. Eine Anzeige mit einer hohen Auflösung ist im Allgemeinen teuer, weshalb die Anzeige in der Regel eine geringere Auflösung als das hochauflösende Bild hat und das Bild verarbeitet werden muss, um es auf einer Anzeige mit geringerer Auflösung anzuzeigen. Durch Erhaltung des Inhalts von SUPER_RESOLUTION_IMAGE BUF 114-2-2 in unveränderter Form ist es jedoch möglich, das Bild mit hoher Auflösung mit einer anderen Anzeigevorrichtung auszugeben oder mit einem Drucker auszudrucken.
Als Nächstes wird anhand von 10 ein Beispiel für die Bestimmung der Zoomrate zur Bildung des hochauflösenden Bildes nach der bevorzugten Ausführungsform der vorliegenden Erfindung beschrieben.
In Schritt 1000 wird eine Zoomrate aus einer vertikalen Projektionsverteilung bestimmt, und der bestimmte Wert wird als die Variable ZOOM_X gesetzt. Die Einzelheiten dieser Verarbeitung werden anhand von 11 erläutert. Als Nächstes wird in Schritt 1100 eine Zoomrate aus der horizontalen Projektionsverteilung bestimmt, und die so bestimmte Zoomrate wird als die Variable ZOOM_Y gesetzt. Die Einzelheiten dieser Verarbeitung werden anhand von 12 erläutert.
Anfangs ist nicht bekannt, wie die Zoomrate unter den drei möglichen Fällen oder Klassen eingestuft ist, das heißt 1,0 (Standbild), größer als 1,0 (Erhöhen der Zoomrate oder Einzoomen/Zoom-in) oder kleiner als 1,0 (Verringern der Zoomrate oder Auszoomen/Zoom-out). Daher wird in Schritt 1200 bestimmt, ob die Zoomfunktion Einzoomen/Zoom- in (ZOOM_X > 1,001 und ZOOM_Y > 1,001), Auszoomen/Zoom-out (ZOOM_X < 0,999 und ZOOM_Y < 0,999) oder Standbild/Still (ELSE) ist. Dementsprechend wird die Zoomrichtung in eine dieser drei Klassen eingeteilt. Die Zoomrichtung wird als Einzoomen/Zoom-in bestimmt, wenn ZOOM_X und ZOOM_Y beide größer als 1,001 sind.
Der Grund, weshalb 1,001 anstelle von 1,0 verwendet wird, ist der, dass eine zusätzliche Toleranz von zum Beispiel 0,001 vorgesehen ist, um eine fehlerhafte Bestimmung der Klasse Standbild/Still zu verhindern. Die Toleranz wird entsprechend der Größe des Bildes oder der Geschwindigkeit des Kamerabetriebs usw. festgelegt. Dies verhindert fehlerhafte Bestimmungen, die anderenfalls durch Bildschwankungen aufgrund der Bewegung eines Objekts in der aufgenommenen Szene usw. auftreten könnten.
Die Zoomrichtung wird als Auszoomen/Zoom-out bestimmt, wenn ZOOM_X und ZOOM_Y beide kleiner als 0,999 sind; dies ist ein ebenfalls zuvor festgelegter Wert unter Berücksichtigung eines Toleranzfaktors. Ist das Ergebnis nicht eine der vorstehend genannten Bedingungen, wird die Zoomrichtung weder als Einzoomen/Zoom-in noch als Auszoomen/Zoom-out bestimmt, weshalb die Klasse Standbild/Still gewählt wird.
Nach Bestimmung des Auszoomens oder Einzoomens wird der Zoomrate ZOOM in einem der Schritte 1202 und 1203 bzw. 1205 und 1206 der Wert von entweder ZOOM_X oder ZOOM_Y zugewiesen. Das heißt, wenn in Schritt 1200 Einzoomen festgestellt worden ist, wird in Schritt 1201 der Wert von MINVAL_X mit MINVAL_Y verglichen. Als Ergebnis des Vergleichs wird der Wert von ZOOM_X als ZOOM ausgewählt, wenn MINVAL_X kleiner ist als MINVAL_Y (Schritt 1202) und der Wert von ZOOM_Y wird als die Zoomrate ausgewählt, wenn MINVAL_X größer ist als MINVAL_Y (Schritt 1203). Auf diese Weise wird der kleinere von MINVAL_X und MINVAL_Y ausgewählt, was den kleinsten Fehler aus dem Vergleich angibt, und als der Wert für die Variable ZOOM festgelegt, die zu der Zoomrate zwischen Bildern wird.
Eine ähnliche Folge von Bestimmungen wird vorgenommen, nachdem in Schritt 1204, 1205 und 1206 festgestellt worden ist, dass die Zoomrichtung Auszoomen ist. Wird die Zoomrate als Standbild bestimmt, wird der Wert 1,0 als die Variable ZOOM in Schritt 1207 gesetzt.
11 zeigt die Einzelheiten eines Verfahrens zur Bestimmung von ZOOM_X und MINVAL_X aus der vertikalen Projektionsverteilung unter Verwendung der Vorwärts- und Rückwärts-Voraussage, und 12 zeigt die Einzelheiten eines Verfahrens zur Bestimmung von ZOOM_Y und MINVAL_Y aus der horizontalen Projektionsverteilung ebenfalls unter Verwendung der Vorwärts- und Rückwärts-Voraussage zur Bestimmung der Zoomrate. Nachstehend folgt eine ausführliche Beschreibung von 11 mit dem Hinweis, dass die Beschreibung für 12 dieselbe ist, mit Ausnahme des Unterschieds im Hinblick auf die Verwendung von vertikalen Projektionsverteilungen in 11 bzw. horizontalen Projektionsverteilungen in 12. In beiden Abbildungen steht „F" für Vorwärts-Voraussage und „B" für Rückwärts-Voraussage.
Insbesondere zeigt 11 die Einzelheiten für die Bestimmung von ZOOM_X in Schritt 1000 in 10. In Schritt 1001 wird die Variable MINVAL_F_X, die einen Prüffehler bei der Durchführung einer Vorwärts-Voraussage speichert, auf einen ausreichend großen Wert, theoretisch unendlich groß, gesetzt, praktisch aber auf einen großen Wert, der den maximal möglichen Wert der Variablen übersteigt.
In Schritt 1002 wird der angenommene Bereich als eine Variable „i" gesetzt, weil der Schwankungsbereich der Zoomrate zwischen kontinuierlichen Bildern begrenzt ist. Bei diesem Beispiel basiert der Umfang der Schwankung in der Bildgröße (Sicht) auf einem Bereich von –10 Pixeln bis +10 Pixeln bezogen auf die Gesamtpixelbreite eines Bildes.
In Schritt 1003 wird mit der Projektionsverteilung eines früheren in X_PROJ_LAST 114-2-3 gespeicherten Bildes eine Projektionsverteilung bei Schwankung des Umfangs einer Sicht um (i) Pixel erzeugt und in X_PROJ_WORK (vorläufige vertikale Projektionsverteilung) 114-2-7 gespeichert.
Weil die originale Projektionsverteilung in der Richtung einer eindimensionalen Projektionsachse skaliert wird, kann die vorläufige Projektionsverteilung mit hoher Geschwindigkeit berechnet werden. Als Nächstes werden die Projektionsverteilung für ein in X_PROJ_CURRENT 114-2-6 gespeichertes gegenwärtiges Bild und eine in X_PROJ_WORK 114-2-7 gespeicherte vorläufige Projektionsverteilung verglichen, und ein Differenzfehler bei der Prüfung wird als eine Variable ERROR gespeichert (Schritt 1004).
In Schritt 1005 wird der Wert von ERROR und MINVAL_F_X verglichen, und wenn der Fehler (ERROR) kleiner ist als MINVAL_F_X, wird MIN_F_DX auf die Variable i gesetzt, und der Wert von ERROR wird für MINVAL_F_X eingesetzt (Schritt 1006).
Durch Wiederholen des vorstehenden Verfahrens wenn die Variable MIN_F_DX den Wert i annimmt, wird die Variable MINVAL_F_X berechnet. In Schritt 1007 wird mit dem Wert der vorstehenden Variable MIN_F_DX die Zoomrate für eine Vorwärts-Voraussage berechnet und als Variable ZOOM_F_X gespeichert.
Für die vorstehende Beschreibung wird angenommen, dass die Breite eines Bildes W ist, und dementsprechend wird die Zoomrate für die Vorwärts-Voraussage mit (W + MIN_F_DX)/W berechnet.
Schritt 1011 ist vergleichbar mit Schritt 1001, und das Verfahren in den Schritten 1012 bis 1016 und 1020 entspricht ebenfalls den Schritten 1002 bis 1007, außer dass diese letzteren Schritte sich auf die Rückwärts-Voraussage der Zoomrate beziehen. Zuerst wird die Variable MINVAL_B_X auf einen ausreichend hohen Wert gesetzt (Schritt 1010), und in Schritt 1012 wird der angenommene Schwankungsbereich als Variable i gesetzt. Auch in diesem Teil des Verarbeitungsablaufs basiert der Umfang der Schwankung in der Bild größe (Sicht) auf einem Bereich von –10 Pixeln bis +10 Pixeln bezogen auf die Gesamtpixelbreite eines Bildes.
In Schritt 1013 wird mit der Projektionsverteilung eines in X_PROJ_CURRENT 114-2-4 gespeicherten gegenwärtigen Bildes eine Projektionsverteilung bei Schwankung des Umfangs einer Sicht um i Pixel erzeugt und im Puffer X_PROJ_WORK (vorläufige vertikale Projektionsverteilung) 114-2-7 gespeichert.
Als Nächstes werden eine Projektionsverteilung für ein in X_PROJ_LAST 114-2-3 gespeichertes früheres Bild und eine in Puffer_X_PROJ WORK 114-2-7 gespeicherte vorläufige Projektionsverteilung verglichen, und ein Differenzfehler aus dem Vergleich wird in der Variable ERROR gespeichert.
In Schritt 1015 wird der Wert von ERROR und MINVAL_B_X verglichen, und wenn der Fehler (ERROR) kleiner ist als MINVAL_B_X, wird MIN_B_DX auf die Variable i gesetzt, und der Wert von ERROR wird für MINVAL_B_X eingesetzt (Schritt 1016). Durch Wiederholen des vorstehenden Verfahrens wenn die Variable MIN_B_DX den Wert i annimmt, wird die Variable MINVAL_B_X berechnet. In Schritt 1020 wird mit dem Wert der vorstehenden Variable MIN_B_DX die Zoomrate für eine Rückwärts-Voraussage berechnet und als Variable ZOOM_B_X gespeichert.
Die Zoomrate für die Rückwärts-Voraussage wird durch Auswertung des Ausdrucks W/(W + MIN_B_DX berechnet).
In den Schritten 1021 bis 1024 werden MINVAL_F_X and MINVAL_B_X verglichen, um festzustellen, ob sie jeweils größer als ein Schwellenwert sind; wenn ja, wird die Zuverlässigkeit der Zoombestimmung als ein schlechtes Ergebnis beurteilt, und ZOOM_B_X wird der Standardwert 1,0 zugewiesen.
In Schritt 1025 werden MINVAL_F_X und MINVAL_B_X verglichen, und in Schritt 1026 oder 1027 wird der Zoomvoraussagewert des kleineren in der Variable ZOOM_X gespeichert, und der entsprechende Wert von MINVAL_F_X oder MINVAL_F_Y wird als die Variable MINVAL_X gespeichert. Die Variable MINVAL_X basiert folglich auf der Vorwärts-Voraussage oder Rückwärts-Voraussage, die für genauer befunden wird, und wird dann in Schritt 1201 und 1204 mit MINVAL_Y verglichen, wie anhand von 10 beschrieben.
In 12 entsprechen die Schritte 1100 bis 1127 den vorstehend beschriebenen Schritten 1000 bis 1027, so dass eine weitere Erläuterung der entsprechenden Schritte in 12 nicht nötig ist, außer im Hinblick auf die folgenden Unterschiede.
In 12 wird in Schritt 1102 der angenommene Bereich als eine Variable „i" gesetzt, die dem Umfang der Schwankung in der Bildgröße (Sicht) basierend auf einem Bereich von –10 Pixeln bis +10 Pixeln bezogen auf die Gesamtpixelhöhe eines Bildes entspricht. Weil die Bestimmung der Zoomrate in 12 auf horizontalen Projektionsverteilungen basiert, wird außerdem die Zoomrate unter der Annahme einer Bildhöhe H durch Auswertung des Ausdrucks (H + MIN_F_DY)/H in Schritt 1107 (Vorwärts-Voraussage) oder H/(H + MIN_B_DY) in Schritt 1120 (Rückwärts-Voraussage) berechnet.
Das Ergebnis des Verarbeitungsablaufs in 12 ist die Bestimmung von ZOOM_Y und MINVAL_Y, die in den Schritten 1200 bis 1206 in 10 verwendet werden.
Ein Beispiel für eine grafische Benutzeroberfläche, die grafische Informationen in Zusammenhang mit der Zoomfunktion der Kamera auf der Anzeige 120 anzeigt, ist in 7A und 7B gezeigt. Die vertikale Projektionsverteilung 700 und die horizontale Projektionsverteilung 701 werden in grafischer Form im Zeitverlauf angezeigt, wobei eine horizontale Achse die Aufnahmezeit vom Start der Aufzeichnung Ts bis zum Ende der Aufzeichnung Te und eine vertikale Achse die Projektionsposition angeben.
Dies wird durch Übersetzen des Wertes für jede vertikale Projektionsverteilung 501 und horizontale Projektionsverteilung 500 in 5 in eine Abstufung von Tonwerten und Anzeigen einer vertikalen Linie für jedes Bild erreicht.
7A und 7B zeigen ein Beispiel des Übergangs für die Projektionsverteilungen in einer zeitlichen Abfolge im Falle des Fotografierens mit der Zoom-in-Funktion. Durch Anzeigen eines solchen Übergangs auf der Anzeige 120 (zum Beispiel in 2B und 2C) kann ein Benutzer den Zoombetrieb der Kamera leicht verstehen.
Weicht der Betrieb der Kamera von den Erwartungen aus der Erfahrung des Benutzers ab, wird ein anderes Muster angezeigt. Im Falle des Standbildbetriebs wird zum Beispiel ein Muster angezeigt, das parallel zur horizontalen Achse ist. Daher wird der Benutzer sofort auf den Unterschied aufmerksam gemacht. Weiter wird im Falle eines Schwenks ein geneigtes Muster mit einem konstanten Winkel zur horizontalen Achse angezeigt.
Die bevorzugte Ausführungsform der Erfindung zeigt eine hochauflösende Kamera, die mit den Kamerafunktionen Einzoomen (Zoom-in) oder Auszoomen (Zoom-out) ein hochauflösendes Bild in der Mitte der Anzeige erzeugt.
Es ist möglich, ein Bild mit einer hohen Auflösung nicht nur in der Mitte des Bildes, sondern auch in einem anderen Zielbereich zu erzeugen, indem man einen horizontalen oder vertikalen Schwenk mit dem Zoomen kombiniert. Bei einem Schwenk, wie zum Beispiel in 3 gezeigt, kann durch Überschreiben eines mit dem Schwenk erhaltenen Bildes über ein Bild zum Zeitpunkt Te ein Bild mit hoher Auflösung in einem größeren Bereich erzeugt werden.
Zusätzlich ist es für den Fall, dass ein Zoomen und ein Schwenken gleichzeitig ausgeführt werden, möglich, ein hochauflösendes Bild zu erzeugen. In diesem Fall wird ein hochauflösendes Bild durch Voraussage einer Positionsverschiebung zusätzlich zur Voraussage einer Zoomrate erzeugt.
Die Kamera nach der vorliegenden Erfindung ist nicht auf die in 2A gezeigte Ausführungsform des Kameragehäuses beschränkt. Selbstverständlich kann eine Videokamera, die das Aufnehmen bewegter Bilder ermöglicht, an einen digitalen Computer wie zum Beispiel einen Personalcomputer angeschlossen werden, um ein Verfahren wie das vorstehende für ein mit der Videokamera aufgenommenes Bild durchzuführen und das hochauflösende Bild auf einem Display des digitalen Computers anzuzeigen.
In diesem Fall kann ein digitaler Computer auf einem Aufzeichnungsmedium das Kameraprogramm 114-1 zur Steuerung der Verarbeitung von Bildern zum Erhalten eines hochauflösenden Bildes aufweisen. Das Programm kann auf einer Magnetplatte, optischen Platte usw. gespeichert sein oder über eine Netzwerkverbindung bereitgestellt werden, an die ein digitaler Computer angeschlossen ist. In diesem Fall würde das Programm an einen digitalen Computer geliefert, und der digitale Computer würde ein Programm zum Erzeugen eines hochauflösenden Bildes von dem Aufzeichnungsmedium in den Hauptspeicher lesen.
Es ist möglich, dass die Auflösung einer hochauflösenden Bildanzeige höher ist als die Auflösung der Bilderfassungsvorrichtung.
Die vorliegende Erfindung stellt eine hochauflösende Kamera bereit, die ein Weitwinkel-Standbild mit hoher Auflösung aufnehmen kann, vergleichbar mit dem, das mit einer Weitwinkel-Filmkamera mit niedrigen Kosten, hoher Effizienz und in Echtzeit aufgenommen werden kann. Weiter wird die Situation des Erzeugens eines hochauflösenden Bildes kurzzeitig auf der Anzeige bestätigt, um dem Benutzer ein unmittelbares Feedback zur Vermeidung von Aufnahmefehlern beim Fotografieren zu geben. Außerdem kann das Bild an einen Computer übertragen werden, und es ist möglich, es als hochauflösendes Bild mit einem hochauflösenden Drucker auszugeben oder auf einer hochauflösenden Anzeige anzuzeigen.

Claims

Digitalkamera mit: einem Sucher (101) zum Betrachten eines Bildes, das auf eine Bilderfassungsvorrichtung (102) zu projizieren ist; einem optischen System (100), durch das ein Bild auf die Bilderfassungsvorrichtung (102) projiziert wird, um mehrere Bilder (121) eines Schauplatzes aufzunehmen, wobei das optische System (100) ein Zoom-System aufweist, einer Eingabevorrichtung (123, 202) zum Starten und Beenden der Aufnahme der mehreren Bilder (121), einem Prozessor (112) zum fortlaufenden Empfangen der mehreren Bilder (121), Skalieren der Bilder auf eine gemeinsame Skalierung gemäß einer Bild-zu-Bild Zoomrate, und Kombinieren der Bilder, um ein hochauflösendes Bild (122) zu erzeugen, und einer Bildanzeige (120) zum Anzeigen des hochauflösenden Bildes (122), dadurch gekennzeichnet, daß der Prozessor (112) dazu ausgelegt ist, die Zoomrate zwischen zwei Bildern durch Verwendung von räumlichen Verteilungen (501 bis 504) der Pixelintensität der zwei Bilder (121-1, 121-2) in vertikaler und horizontaler Projektion zu bestimmen.
Kamera nach Anspruch 1, ferner mit einem Bildanzeigepuffer (114-2), in den der Prozessor (112) die Bilder nach der Skalierung schreibt, wobei die Anzeige (120) ein Ausgabesignal von dem Puffer empfängt, um das hochauflösende Bild (122) in Echtzeit anzuzeigen.
Kamera nach Anspruch 1 oder 2, ferner mit einer Bildspeichereinrichtung (110) zum Speichern wenigstens eines hochauflösenden Bildes (122).
Kamera nach einem der vorstehenden Ansprüche, wobei das Bild (120) einen Abschnitt (122-4) zum Anzeigen des hochauflösenden Bildes (122) und einen Abschnitt (122-5) zum Anzeigen einer graphischen Benutzerschnittstelle aufweist.
Kamera nach Anspruch 3, wobei die Bildspeichereinrichtung (110) ein abnehmbares Speichermedium ist.
Kamera nach Anspruch 3, wobei die Bildspeichereinrichtung (110) Bildfolgen (121) speichert, die während der Aufzeichnung erzeugt wurden.
Kamera nach Anspruch 1, wobei die räumlichen Verteilungen (501 bis 504) die Pixelintensität in horizontaler und vertikaler Richtung eines gegenwärtigen (121-2) und eines vorherigen (121-1) Bildes aufweisen, und der Prozessor (112) ferner dazu ausgelegt ist, eine teilweise Verschiebung in der Bildbreite und Höhe in aufeinanderfolgenden Bildern der Folge aufgrund einer Bewegung des Zoom-Systems während der Aufzeichnung zu erfassen.
Kamera nach Anspruch 7, wobei der Prozessor (112) ferner dazu ausgelegt ist, die räumlichen Verteilungen (503, 504) durch Normalisieren der Integrationsergebnisse von Intensitätswerten von Pixeln, die ein Bild in der horizontalen bzw. der vertikalen Richtung darstellen, bezüglich einer Anzahl von Pixeln in der Integration zu bestimmen.
Kamera nach Anspruch 1, wobei der Prozessor (112) ferner dazu ausgelegt ist, die Zoomrate durch Verwendung einer Vorwärts- und einer Rückwärts-Voraussage zu bestimmen, wobei der kleinste Fehlerwert der Vorwärts- oder der Rückwärts-Voraussage des Bildes als Zoomrate ausgewählt wird.
Kamera nach Anspruch 1, wobei der Prozessor (112) ferner dazu ausgelegt ist, vor Bestimmung der Zoomrate "Zoom-In", "Zoom-Out" oder "Still" als Bedingung der Bewegung des Zoom-Systems während der Aufzeichnung zu bestimmen.
Kamera nach Anspruch 1, wobei der Prozessor (112) ferner dazu ausgelegt ist, die Zoomrate zu bestimmen, indem mehrere hypothetische räumliche Verteilungen (501, 502) der Pixelintensität in vertikaler und horizontaler Projektion durch Skalierung eines (121-2) der mehreren Bilder (121) mit mehreren Kandidaten-Zoomraten erzeugt werden, die hypothetischen Verteilungen (501, 502) mit den räumlichen Verteilungen (503, 504) eines anderen (121-2) der mehreren Bilder (121) verglichen werden, und eine der Kandidaten-Zoomraten auf Grundlage des Vergleichsergebnisses ausgewählt wird.
Speichermedium, auf dem ein Computerprogramm (114-1) zum Erzeugen eines hochauflösenden Bildes (122) gespeichert wird, wobei das Computerprogramm (114-1) einen computerlesbaren Code zum Ausführen der folgenden Schritte bei Betrieb durch einen Prozessor (112) aufweist: Auslesen einer durch eine Kamera aufgenommenen Bildfolge (121), Bestimmen (826) einer Zoomrate zwischen zwei (121-1, 121-2) Bildern (121), Skalieren eines gegenwärtigen (121-2) der zwei Bilder bezüglich eines vorherigen (121-1) der zwei Bilder auf eine gemeinsame Skalierung gemäß der Zoomrate, Kombinieren (828) des gegenwärtigen Bildes (121-2) mit dem vorherigen Bild (121-1), um ein hochauflösendes Bild (122) zu erzeugen, und Anzeigen (830) des hochauflösenden Bildes (122) auf einer Anzeige (120), dadurch gekennzeichnet, daß die Zoomrate durch Verwendung räumlicher Verteilungen (501 bis 504) der Pixelintensität der zwei Bilder (121-1, 121-2) in vertikaler und horizontaler Projektion bestimmt wird.
Speichermedium nach Anspruch 12, wobei das gespeicherte Computerprogramm (114-1) ferner einen Code zum Ausgeben eines hochauflösenden Bildes (122) während der Aufzeichnung zur Verlaufsanzeige auf der Bildanzeige (120) in Echtzeit aufweist.
Speichermedium nach Anspruch 12, wobei das gespeicherte Computerprogramm (114-1) ferner einen Code zum Bestimmen der räumlichen Verteilungen (501 bis 504) durch Normalisieren der Integrationsergebnisse von Intensitätswerten von Pixeln, die ein Bild in der horizontalen bzw. der vertikalen Richtung darstellen, bezüglich einer Anzahl von Pixel in der Integration aufweist.
Speichermedium nach Anspruch 12, wobei das gespeicherte Computerprogramm (114-1) ferner einen Code zum Bestimmen der Zoomrate durch Verwendung einer Vorwärts- und einer Rückwärts-Voraussage aufweist, wobei der kleinste Fehlerwert der Vorwärts- oder der Rückwärts-Voraussage als Zoomrate ausgewählt wird.
Speichermedium nach Anspruch 12, wobei das gespeicherte Computerprogramm (114-1) ferner einen Code aufweist, um vor Bestimmung der Zoomrate "Zoom-In", "Zoom-Out" oder "Still" als Bedingung der Bewegung des Zoom-Systems während der Aufzeichnung zu bestimmen.
Speichermedium nach Anspruch 12, wobei der Schritt des Bestimmens der Zoomrate folgende Schritte umfaßt: Erzeugen mehrerer hypothetischer räumlicher Verteilungen (501, 502) der Pixelintensität in vertikaler und horizontaler Projektion durch Skalierung eines (121-2) der mehreren Bilder (121) mit mehreren Kandidaten-Zoomraten; Vergleichen der hypothetischen Verteilungen (501, 502) mit den räumlichen Verteilungen (503, 504) eines anderen (121-2) der mehreren Bilder (121); und Auswählen einer der Kandidaten-Zoomraten auf Grundlage des Verbleichsergebnisses.