DE112011102166T5 - Bildsignalprozessor-Multiplexen - Google Patents

Bildsignalprozessor-Multiplexen Download PDF

Info

Publication number
DE112011102166T5
DE112011102166T5 DE112011102166T DE112011102166T DE112011102166T5 DE 112011102166 T5 DE112011102166 T5 DE 112011102166T5 DE 112011102166 T DE112011102166 T DE 112011102166T DE 112011102166 T DE112011102166 T DE 112011102166T DE 112011102166 T5 DE112011102166 T5 DE 112011102166T5
Authority
DE
Germany
Prior art keywords
camera
input frames
frames
video stream
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE112011102166T
Other languages
English (en)
Inventor
Madhu S. Athreya
Jianping Zhou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of DE112011102166T5 publication Critical patent/DE112011102166T5/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

Bei manchen Ausführungsformen umfasst eine elektronische Vorrichtung eine erste Kamera und eine zweite Kamera, einen ersten Puffer zum Empfangen eines ersten Satzes von Eingabe-Frames aus der ersten Kamera und einen zweiten Puffer zum Empfangen eines zweiten Satzes von Eingabe-Frames aus der zweiten Kamera, einen einzelnen Bildsignalprozessor, der mit dem ersten Puffer und dem zweiten Puffer gekoppelt ist, um den ersten Satz von Eingabe-Frames aus dem ersten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zu verarbeiten, die in einem ersten Speicher zum Generieren eines ersten Video-Streams und zum Verarbeiten eines zweiten Satzes von Eingabe-Frames aus dem zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern gespeichert sind, die in einem zweiten Speicherregister zum Generieren eines zweiten Video-Streams gespeichert sind, und ein Speichermodul zum Speichern des ersten Video-Streams und des zweiten Video-Streams.

Description

  • HINTERGRUND
  • Der hier beschriebene Gegenstand betrifft im Allgemeinen das Feld der Bildverarbeitung und insbesondere Systeme und Methoden für das Bildsignalprozessor-Multiplexen.
  • Elektronische Vorrichtungen wie beispielsweise Mobiltelefone, persönliche digitale Assistenten, tragbare Computer und dergleichen können eine Kamera zum Erfassen von Bildern umfassen. Beispielsweise kann ein Mobiltelefon eine Kamera umfassen, welche auf der Rückseite des Telefons angeordnet ist, um Bilder zu erfassen. Elektronische Vorrichtungen können mit einer Bildsignalverarbeitungs-Pipeline ausgestattet sein, um Bilder zu erfassen, welche von der Kamera aufgenommen werden, die Bilder zu verarbeiten und die Bilder im Speicher zu speichern und/oder die Bilder anzuzeigen.
  • Auch können Verfahren zum Ausrüsten elektronischer Vorrichtungen mit mehreren Kameras Anwendungen finden.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Die ausführliche Beschreibung wird unter Bezugnahme auf die begleitenden Figuren beschrieben.
  • 1 ist eine Schemaansicht einer elektronischen Vorrichtung zur Verwendung beim Bildsignalprozessor-Multiplexen gemäß manchen Ausführungsformen.
  • 2 ist eine Schemaansicht von Komponenten zur Verwendung beim Bildsignalprozessor-Multiplexen gemäß Ausführungsformen.
  • 3 ist eine Schemaansicht von Datenflüssen beim Bildsignalprozessor-Multiplexen gemäß manchen Ausführungsformen.
  • 4 ist ein Ablaufdiagramm, welches ein Bildsignalprozessor-Multiplexen gemäß manchen Ausführungsformen illustriert.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Hier sind beispielhafte Systeme und Verfahren für das Bildsignalprozessor-Multiplexen beschrieben. In der folgenden Beschreibung werden zahlreiche spezifische Details ausgeführt, um ein gründliches Verständnis der verschiedenen Ausführungsformen bereitzustellen. Durchschnittsfachleute verstehen jedoch, dass die verschiedenen Ausführungsformen ohne die spezifischen Details in die Praxis umgesetzt werden können. In anderen Fällen können wohlbekannte Verfahren, Verfahrensweisen, Komponenten und Schaltungen nicht illustriert oder ausführlich beschrieben sein, um die bestimmten Ausführungsformen nicht zu verschleiern.
  • Bei manchen Ausführungsformen ermöglicht der hier beschriebene Gegenstand, dass eine elektronischen Vorrichtung mit mehreren Kameras ausgestattet wird, ohne dass eine Notwendigkeit für unabhängige Bildsignalprozessorkanäle besteht. Folglich ermöglichen die hier beschriebenen Systeme und Verfahren einer elektronischen Vorrichtung das Multiplexen von Bildsignalen mehrerer Kameras durch eine einzelne Bildprozessor-Pipeline. Die Bildsignale können in einem Speicher gespeichert werden und/oder auf einer Anzeigevorrichtung angezeigt werden.
  • 1 ist eine Schemaansicht einer elektronischen Vorrichtung zur Verwendung beim Bildsignalprozessor-Multiplexen gemäß manchen Ausführungsformen. Unter Bezugnahme auf 1 kann bei manchen Ausführungsformen eine elektronische Vorrichtung 110 als ein Mobiltelefon, ein PDA-Minicomputer (PDA) oder dergleichen ausgeführt werden. Die elektronische Vorrichtung 110 kann einen HF-Sendeempfänger 150 zum Übertragen von HF-Signalen und ein Signalverarbeitungsmodul 152 zum Verarbeiten von Signalen aufweisen, welche von dem HF-Sendeempfänger 150 empfangen werden.
  • Der HF-Sendeempfänger kann eine lokale drahtlose Verbindung über ein Protokoll implementieren, wie beispielsweise Bluetooth oder eine 802.11X. IEEE 802.11a-, b- oder g-konforme Schnittstelle (man siehe z. B. IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN-Part II: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003). Ein anderes Beispiel einer drahtlosen Schnittstelle wäre eine paketbasierte Datenübertragungsschnittstelle (GPRS, General Packet Radio Service) (man siehe z. B. Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, Dezember 2002).
  • Die elektronische Vorrichtung 110 kann weiterhin ein oder mehrere Prozessoren 154 und ein Speichermodul 156 aufweisen. Wie hier verwendet, bedeutet der Begriff „Prozessor” jeden Typ eines rechnerischen Elements, wie beispielsweise insbesondere einen Mikroprozessor, eine Mikrosteuerung, einen CISC-Mikroprozessor (CISC, Complex Instruction Set Computing), einen RISC-Mikroprozessor (RISC, Reduced Instruction Set), einen VLIW-Mikroprozessor (VLIW, Very Long Instruction Word) oder jeden anderen Typ eines Prozessors oder einer Verarbeitungsschaltung. Bei manchen Ausführungsformen kann der Prozessor 154 ein oder mehrere Prozessoren der Familie von Intel® PXA27x Prozessoren sein, welche von der Intel® Corporation in Santa Clara, Kalifornien, erhältlich sind. Ersatzweise können andere CPUs verwendet werden, wie beispielsweise Intels Itanium®, XEONTM und Celeron® Prozessoren. Es können auch ein oder mehrere Prozessoren von anderen Herstellern eingesetzt werden. Ferner können die Prozessoren einen einzelnen Kern oder mehrere Kerne aufweisen. Bei manchen Ausführungsformen weist das Speichermodul 156 Direktzugriffsspeicher (RAM) auf; das Speicher-Modul 156 kann jedoch unter Verwendung anderer Speichertypen wie beispielsweise dynamisches RAM (DRAM), synchrones DRAM (SDRAM) und dergleichen implementiert werden. Die Elektronische Vorrichtung 110 kann weiterhin ein oder mehrere Eingangs-/Ausgangs-Schnittstellen aufweisen, wie beispielsweise ein Tastenfeld 158 und eine oder mehrere Anzeigen 160.
  • Bei manchen Ausführungsformen umfasst die elektronische Vorrichtung 110 mindestens zwei Kameras 162 und einen Bildsignalprozessor 164. Beispielhaft und nicht begrenzend kann eine erste Kamera 162 auf der Vorderseite der elektronischen Vorrichtung 110 und eine zweite Kamera auf der Rückseite der elektronischen Vorrichtung 110 positioniert sein. Gesichtspunkte der Kameras und des Bildsignalprozessors 164 sowie die dazugehörige Pipeline werden unter Bezugnahme auf 2 bis 4 ausführlicher erklärt.
  • 2 ist eine Schemaansicht von Komponenten zur Verwendung beim Bildsignalprozessor-Multiplexen gemäß Ausführungsformen. Unter Bezugnahme auf 2 kann bei manchen Ausführungsformen ein ISP-Modul 164 als ein integrierter Schaltkreis oder als eine Komponente davon oder als ein Chipsatz oder als ein Modul innerhalb eines Systems auf einem Chip (SOC) implementiert werden. Bei alternativen Ausführungsformen kann das ISP-Modul 164 als Logik, welche in einer programmierbaren Vorrichtung codiert ist, z. B. in einem feldprogrammierbaren Gate-Array (FPGA), oder als Logikanweisungen auf einem Universalprozessor oder als Logikanweisungen auf speziellen Prozessoren implementiert werden, wie beispielsweise einem digitalen Signalprozessor (DSP) oder SIMD-Vektorprozessoren (SIMD, Single Instruction Multiple Data).
  • Bei der in 2 dargestellten Ausführungsform umfasst das ISP-Modul 164 einen Bildverarbeitungsprozessor 212, einen Aufgabenverwalter, 220, einen ersten Kameraempfänger 222 und einen zweiten Kameraempfänger 224, eine Speicherdirektzugriff-(DMA)-Engine 226 und eine Speicherverwaltungseinheit (MMU) 228. Das ISP-Modul 164 ist mit dem Speichermodul 156 gekoppelt. Das Speichermodul 156 unterhält ein erstes Register 230 und ein zweites Register 232, einen Frame-Puffer A 240 und einen Frame-Puffer A' 242, einen Frame-Puffer B 250 und Frame-Puffer B' 252. Die zwei Threads 3A (automatischer Weißabgleich, Autofokus, automatische Belichtung), 400A und 400B für jede Kamera, laufen auf einer Host-CPU, die dem bzw. den in 1 dargestellten Prozessor(en) 154 entspricht.
  • Die Vorgänge der elektronischen Vorrichtung werden unter Bezugnahme auf 2 bis 4 ausführlicher erklärt. Bei manchen Ausführungsformen werden. Bilder von einer ersten Kamera 162A in einen ersten Empfänger 222 (Vorgang 410) eingegeben, und Bilder von einer zweiten Kamera 162B werden in einen zweiten Empfänger 224 (Vorgang 415) eingegeben. Bei manchen Ausführungsformen können die Kameras 162A und 162B, auf welche hier manchmal zusammen durch das Bezugszeichen 162 verwiesen wird, eine optische Anordnung umfassen, z. B. eine oder mehrere Linsen, welche mit einer Bilderfassungsvorrichtung gekoppelt ist, z. B. an eine ladungsgekoppelte Vorrichtung (CCD). Die Ausgabe der ladungsgekoppelten Vorrichtung kann in dem Format eines Bayer-Frames geschehen. Die Ausgabe von Bayer-Frames aus der CCD- oder CMOS-Vorrichtung kann zeitlich abgetastet werden, um eine Reihe von Bayer-Frames zu produzieren, welche an die Empfänger 222, 224 geleitet werden. Auf diese unverarbeiteten Bild-Frames kann hier manchmal als Roh-Frames verwiesen werden. Durchschnittsfachleute erkennen, dass die Rohbild-Frames als ein Array oder eine Matrix von Datenwerten ausgeführt werden können. Bei manchen Ausführungsformen ist das Steuerungsprogramm für die Anpassung von Fokus, Weißabgleich und Belichtung in den Prozess-Threads 3A, 400A und 400B implementiert.
  • Bei Vorgang 420 (4) werden die Roh-Frames in Frame-Puffern gespeichert. Unter Bezugnahme auf 2 und 3 werden Bilder von den Kameras 162 in die Empfänger 222, 224 eingegeben. In manchen Ausführungsformen ruft die Speicherdirektzugriff-(DMA)-Engine 220 den Bild-Frame vom Empfänger A 216 ab und speichert den Bild-Frame im Frame-Puffer A 240. Gleichermaßen ruft die DMA-Engine 220 den Bild-Frame vom Empfänger B 218 ab und speichert den Bild-Frame im Frame-Puffer B 250.
  • Die Vorgänge 425440 definieren eine Schleife, nach der die Roh-Frames in den Frame-Puffern 240, 250 in ein Video-Stream-Format verarbeitet werden. In einigen Ausführungsformen wird die Frame-Verarbeitung jeweils pro Frame von jeder Kameraquelle ausgeführt, sodass die Frame-Verarbeitung verschachtelt erfolgt. Somit wird der Inhalt von Frame-Puffer A bei Vorgang 425 in den Bildsignalprozessor 212 über eine Bildsignalprozessorschnittstelle 214 eingegeben, die den Inhalt von Frame-Puffer A in eine Bildsignalprozessor-Pipeline 216 leitet. Wie in 3 dargestellt, wird der Inhalt von Frame-Puffer A in der Pipeline 216 verarbeitet, z. B. durch Umwandeln des Inhalts aus Frame-Puffer 240 von Roh-Bayer-Frames in ein geeignetes Video-Format, z. B. eine entsprechende Anzahl YUV-Video-Frames. Der Bildsignalprozessor 212 kann Parameter aus Frame-Puffer A mit Thread 3A 400A übergeben. Der Verarbeitungs-Thread 3A 400A kann diese Parameter für die Einrichtung passender Einstellungen auf den Kameras 162 verwenden. 3A Parameter und Parameter für die Verarbeitung der Frames im Frame-Puffer A können durch ein erstes Speichern in Register A übergeben werden. Bei Vorgang 430 speichert eine Speicherdirektzugriff-(DMA)-Engine 226 die YUV-Video-Frames in einem Speicherpuffer 242 im Speicher 156.
  • Wenn die Frame-Verarbeitung bei Vorgang 435 nicht abgeschlossen ist, übergibt die Steuerung wieder an Vorgang 425 zurück, und es werden mehr Roh-Frames in den Frame-Puffern verschachtelt in ein Video-Stream-Format verarbeitet. Beispielsweise wird in Ausführungsformen, in denen zwei oder mehr Kameras verwendet werden, der Inhalt von Frame-Puffer B in den Bildsignalprozessor über eine Bildsignalprozessorschnittstelle 214 eingegeben, die den Inhalt von Frame-Puffer B in eine Bildsignalprozessor-Pipeline 216 leitet. Der Inhalt von Frame-Puffer B wird in der Pipeline verarbeitet, z. B. durch Umwandeln des Inhalts des Frame-Puffers von Roh-Bayer-Frames in ein geeignetes Video-Format, z. B. in eine entsprechende Anzahl YUV-Video-Frames. Der 3A 400 Frame B wird basierend auf Parametern verarbeitet, die durch das Register B geleitet werden. Bei Vorgang 430 wird der aus den Roh-Video-Frames im Puffer generierte Video-Stream im Speicher gespeichert. In einigen Ausführungsformen speichert die DMA-Engine 226 den aus dem Frame-Puffer B 240 generierten Video-Stream in einem zweiten Frame-Puffer B' 252 im Speicher 156. In einigen Ausführungsformen können die Video-Streams in einer Bild-in-Bild-Ansicht gespeichert werden. In einigen Ausführungen können die Video-Streams codiert und als zwei Streams durch Multi-Video-Coder/Decoder (Codecs) gespeichert werden, sodass die Video-Streams auf einer Zielvorrichtung angezeigt werden können.
  • Ferner, wenn die Frame-Verarbeitung bei Vorgang 435 nicht abgeschlossen ist, übergibt die Steuerung an die Vorgänge 440 und die Verarbeitung wird vom Empfänger B wieder auf den Empfänger A umgestellt. Somit definieren die Vorgänge 425435 eine Schleife, wodurch die Roh-Frames mehrerer Kameras in Video-Streams gemultiplext und im Speicher einer elektronischen Vorrichtung gespeichert werden.
  • Im Gegensatz dazu, wenn die Frame-Puffer in der Vorgang 435 die Verarbeitung fertiggestellt haben, übergibt die Steuerung an Vorgang 445, und die Video-Streams können angezeigt werden. In manchen Ausführungsformen werden die Video-Streams in eine Bild-in-Bild-Ansicht kombiniert. Bei Vorgang 450 können die Video-Streams auf einer Anzeige dargestellt werden.
  • Der Begriff „Logikanweisungen”, wie er hier verwendet wird, betrifft Ausdrücke, welche von einer oder mehreren Maschinen zum Durchführen eines oder mehrerer logischer Vorgänge verstanden werden können. Beispielsweise können Logikanweisungen Anweisungen umfassen, welche von einem Prozessor-Compiler zum Ausführen eines oder mehrerer Vorgänge auf einem oder mehreren Datenobjekten interpretierbar sind. Jedoch ist dies bloß ein Beispiel maschinenlesbarer Anweisungen, und Ausführungsformen sind in dieser Hinsicht nicht eingeschränkt.
  • Der Begriff „computerlesbares Medium”, wie er hier verwendet wird, betrifft Medien, welche in der Lage sind, Ausdrücke zu unterhalten, welche von einer oder mehreren Maschinen wahrnehmbar sind. Beispielsweise kann ein computerlesbares Medium eine oder mehrere Speichervorrichtungen zum Speichern von computerlesbaren Anweisungen oder Daten umfassen. Derartige Speichervorrichtungen können Speichermedien umfassen, wie beispielsweise optische Speichermedien, magnetische Speichermedien oder Halbleiterspeichermedien. Jedoch ist dies bloß ein Beispiel eines maschinenlesbaren Mediums, und Ausführungsformen sind in dieser Hinsicht nicht eingeschränkt.
  • Der Begriff „Logik”, wie er hier verwendet wird, betrifft eine Struktur zum Durchführen eines oder mehrerer logischer Vorgänge. Beispielsweise kann Logik einen Schaltkomplex umfassen, welcher ein oder mehrere Ausgabesignale aufgrund eines oder mehrerer Eingabesignale bereitstellt. Ein derartiger Schaltkomplex kann einen endlichen Automaten, welcher eine digitale Eingabe empfängt und eine digitale Ausgabe bereitstellt, oder einen Schaltkomplex umfassen, welcher ein oder mehrere analoge Ausgabesignale als Reaktion auf ein oder mehrere analoge Eingabesignale bereitstellt. Ein derartiger Schaltkomplex kann in einem anwendungsspezifischen integrierten Schaltkreis (ASIC) oder in einem feldprogrammierbaren Gate-Array (FPGA) bereitgestellt werden. Logik kann auch maschinenlesbare Anweisungen, welche in einem Speicher gespeichert sind, in Verbindung mit einem Verarbeitungsschaltkomplex umfassen, um derartige maschinenlesbare Anweisungen auszuführen. Dies sind jedoch bloß Beispiele von Strukturen, welche Logik bereitstellen können, und Ausführungsformen sind in dieser Hinsicht nicht eingeschränkt.
  • Einige der hier beschriebenen Verfahren können als Logikanweisungen auf einem computerlesbaren Medium ausgeführt werden. Wenn sie auf einem Prozessor ausgeführt werden, bewirken die Logikanweisungen, dass ein Prozessor als eine Sondermaschine programmiert wird, welche die beschriebenen Verfahren implementiert. Wenn er durch die Logikanweisungen konfiguriert ist, die hier beschriebenen Verfahren auszuführen, bildet der Prozessor eine Struktur zum Durchführen der beschriebenen Verfahren. Ersatzweise können die hier beschriebenen Verfahren auf Logik auf beispielsweise einem feldprogrammierbaren Gate-Array (FPGA), einem anwendungsspezifischen integrierten Schaltkreis (ASIC) oder dergleichen reduziert werden.
  • In der Beschreibung und den Ansprüchen können die Begriffe gekoppelt und verbunden zusammen mit ihren Derivaten verwendet werden. Bei bestimmten Ausführungsformen kann verbunden verwendet werden, um anzuzeigen, dass mindestens zwei Elemente in unmittelbarem physikalischen oder elektrischen Kontakt miteinander stehen. Gekoppelt kann bedeuten, dass sich mindestens zwei Elemente in unmittelbarem physikalischen oder elektrischen Kontakt befinden. Jedoch kann gekoppelt auch bedeuten, dass mindestens zwei Elemente sich nicht in unmittelbarem Kontakt miteinander befinden müssen, aber dennoch zusammenwirken oder in Wechselwirkung miteinander treten können.
  • Der Verweis in der Beschreibung auf „eine Ausführungsform” bedeutet, dass ein bestimmtes Merkmal, eine Struktur oder eine Eigenschaft, welche im Zusammenhang mit der Ausführungsform beschrieben wird, bei mindestens einer Implementierung eingeschlossen ist. Das Auftreten der Phrase „bei einer Ausführungsform” an verschiedenen Stellen in der Beschreibung kann oder kann nicht immer auf die gleiche Ausführungsform verweisen.
  • Obwohl Ausführungsformen mit sprachspezifischen bis strukturellen Merkmalen und/oder methodologischen Handlungen beschrieben wurden, versteht es sich, dass ein beanspruchter Gegenstand nicht auf die beschriebenen spezifischen Merkmale oder Handlungen begrenzt sein kann. Stattdessen werden die spezifischen Merkmale und Handlungen als Beispielformen der Implementierung des beanspruchten Gegenstands offenbart.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • 802.11X. IEEE 802.11a-, b- oder g-konforme Schnittstelle [0012]
    • IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN-Part II: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003 [0012]
    • Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, Dezember 2002 [0012]

Claims (20)

  1. Verfahren, umfassend: Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera in einem ersten Puffer und eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera in einem zweiten Puffer; Verarbeiten des ersten Satzes von Eingabe-Frames aus dem ersten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zur Generierung eines ersten Video-Streams; Verarbeiten des zweiten Satzes von Eingabe-Frames vom zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zur Generierung eines zweiten Video-Streams; und Speichern des ersten Video-Streams und des zweiten Video-Streams in einem Speichermodul.
  2. Verfahren nach Anspruch 1, wobei das Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera in einem ersten Puffer das Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera in einem ersten Kamera-Empfänger umfasst; und das ferner umfasst: das Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des ersten Satzes von Eingabe-Frames vom ersten Kamera-Empfänger zum ersten Puffer.
  3. Verfahren nach Anspruch 2, wobei das Empfangen eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera in einem zweiten Puffer das Empfangen eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera in einem zweiten Kamera-Empfänger umfasst; und das ferner umfasst: das Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des zweiten Satzes von Eingabe-Frames vom zweiten Kamera-Empfänger zum zweiten Puffer.
  4. Verfahren nach Anspruch 1, wobei das Verarbeiten des ersten Satzes von Eingabe-Frames vom ersten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern, die in einem ersten Speicher zum Generieren eines ersten Video-Streams gespeichert sind, das Umwandeln eines oder mehrerer Roh-Frames in einen oder mehrere YUV-Video-Frames umfasst.
  5. Verfahren nach Anspruch 4, wobei das Verarbeiten des zweiten Satzes von Eingabe-Frames vom zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern, die in einem zweiten Speicher zum Generieren eines zweiten Video-Streams gespeichert sind, das Umwandeln eines oder mehrerer Roh-Frames in eine entsprechende Anzahl YUV-Video-Frames umfasst.
  6. Verfahren nach Anspruch 1, wobei: das Speichern des ersten Video-Streams und des zweiten Video-Streams in einem Speichermodul das Generieren eines zusammengesetzten Bildes aus dem ersten Video-Stream und dem zweiten Video-Stream umfasst, und ferner das Darstellen des zusammengesetzten Bildes auf einem Anzeigegerät für die elektronische Vorrichtung umfasst.
  7. Elektronisches Gerät, Folgendes umfassend: eine erste Kamera und eine zweite Kamera; einen ersten Puffer zum Empfangen eines ersten Satzes von Eingabe-Frames von der ersten Kamera und einen zweiten Puffer zum Empfangen eines zweiten Satzes von Eingabe-Frames von der zweiten Kamera; einen einzelnen Bildsignalprozessor, der mit dem ersten Puffer und dem zweiten Puffer gekoppelt ist, um den ersten Satz von Eingabe-Frames aus dem ersten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zu verarbeiten, die in einem ersten Speicher zum Generieren eines ersten Video-Streams gespeichert sind, und um den zweiten Satz von Eingabe-Frames aus dem zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zu verarbeiten, die in einem zweiten Speicher zum Generieren eines zweiten Video-Streams gespeichert sind; und ein Speichermodul zum Speichern des ersten Video-Streams und des zweiten Video-Streams.
  8. Elektronisches Gerät nach Anspruch 7 ferner umfassend: einen ersten Kamera-Empfänger zum Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera; eine Direktspeicher-Engine zum Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des ersten Satzes von Eingabe-Frames vom Empfänger zum Frame-Puffer.
  9. Elektronisches Gerät nach Anspruch 8 ferner umfassend: einen zweiten Kamera-Empfänger zum Empfangen eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera; eine Direktspeicher-Engine zum Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des zweiten Satzes von Eingabe-Frames vom Empfänger zum Frame-Puffer.
  10. Elektronisches Gerät nach Anspruch 7, wobei der Bildprozessor einen oder mehrere Roh-Frames aus dem ersten Satz von Eingabe-Frames in eine entsprechende Anzahl YUV-Video-Frames umwandeln soll.
  11. Elektronisches Gerät nach Anspruch 10, wobei der Bildprozessor einen oder mehrere Roh-Frames aus dem zweiten Satz von Eingabe-Frames in einen oder mehrere YUV-Video-Frames umwandeln soll.
  12. Elektronisches Gerät nach Anspruch 7, wobei der Speicher ein zusammengesetztes Bild speichern soll, das aus dem ersten Video-Stream und dem zweiten Video-Stream generiert wird.
  13. Elektronisches Gerät nach Anspruch 12, ferner umfassend eine Anzeige zur Darstellung des zusammengesetzten Bildes.
  14. Eine Vorrichtung, die Folgendes umfasst: einen einzelnen Bildsignalprozessor umfassend Logik zum: Verarbeiten eines ersten Satzes von Eingabe-Frames aus einem ersten Empfänger mithilfe von einem oder mehreren Verarbeitungsparametern, die in einem ersten Speicherregister gespeichert sind, zur Generierung eines ersten Video-Streams; und Verarbeiten des zweiten Satzes von Eingabe-Frames aus dem zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern, die in einem zweiten Speicherregister gespeichert sind, zur Generierung eines zweiten Video-Streams.
  15. Vorrichtung nach Anspruch 14 ferner umfassend: einen ersten Kamera-Empfänger zum Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera; eine Direktspeicher-Engine zum Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des ersten Satzes von Eingabe-Frames vom Empfänger zum Frame-Puffer.
  16. Vorrichtung nach Anspruch 15 ferner umfassend: einen zweiten Kamera-Empfänger zum Empfangen eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera; eine Direktspeicher-Engine zum Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des zweiten Satzes von Eingabe-Frames vom Empfänger zum Frame-Puffer.
  17. Vorrichtung nach Anspruch 15, wobei der Bildprozessor einen oder mehrere Roh-Frames aus dem ersten Satz von Eingabe-Frames in eine entsprechende Anzahl YUV-Video-Frames umwandeln soll.
  18. Vorrichtung nach Anspruch 16, wobei der Bildprozessor einen oder mehrere Roh-Frames aus dem zweiten Satz von Eingabe-Frames in eine entsprechende Anzahl YUV-Video-Frames umwandeln soll.
  19. Vorrichtung nach Anspruch 14, ferner umfassend ein Speichermodul zum Speichern eines zusammengesetzten Bildes, das aus dem ersten Video-Stream und dem zweiten Video-Stream generiert wird.
  20. Vorrichtung nach Anspruch 19, ferner umfassend eine Anzeige zur Darstellung des zusammengesetzten Bildes.
DE112011102166T 2010-06-28 2011-06-13 Bildsignalprozessor-Multiplexen Ceased DE112011102166T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/824,292 2010-06-28
US12/824,292 US20110317034A1 (en) 2010-06-28 2010-06-28 Image signal processor multiplexing
PCT/US2011/040128 WO2012009078A1 (en) 2010-06-28 2011-06-13 Image signal processor multiplexing

Publications (1)

Publication Number Publication Date
DE112011102166T5 true DE112011102166T5 (de) 2013-04-04

Family

ID=45352197

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112011102166T Ceased DE112011102166T5 (de) 2010-06-28 2011-06-13 Bildsignalprozessor-Multiplexen

Country Status (8)

Country Link
US (1) US20110317034A1 (de)
JP (1) JP2013535173A (de)
KR (1) KR20130027019A (de)
CN (1) CN102918560B (de)
DE (1) DE112011102166T5 (de)
GB (1) GB2494330A (de)
TW (1) TW201215139A (de)
WO (1) WO2012009078A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208259B (zh) * 2014-06-17 2019-12-03 中兴通讯股份有限公司 相机自动对焦优化的方法及相机
US9615013B2 (en) 2014-12-22 2017-04-04 Google Inc. Image sensor having multiple output ports
KR102459917B1 (ko) * 2015-02-23 2022-10-27 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US9906715B2 (en) 2015-07-08 2018-02-27 Htc Corporation Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device
JP2018535568A (ja) * 2015-09-02 2018-11-29 サムロール エルエルシー 画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法
CN112188261B (zh) * 2019-07-01 2023-05-09 西安诺瓦星云科技股份有限公司 视频处理方法及视频处理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757436A (en) * 1996-06-21 1998-05-26 Magma, Inc. Image processor system
JPH11261958A (ja) * 1998-03-09 1999-09-24 Sony Corp 映像編集装置及び映像編集方法
JP3532781B2 (ja) * 1999-02-12 2004-05-31 株式会社メガチップス 画像入力装置の画像処理回路
JP4126640B2 (ja) * 2000-03-08 2008-07-30 富士フイルム株式会社 電子カメラ
US7191024B2 (en) * 2000-11-02 2007-03-13 Yamaha Coproration Remote control method and apparatus, remote controller, and apparatus and system based on such remote control
CN2549543Y (zh) * 2002-07-04 2003-05-07 深圳市哈工大交通电子技术有限公司 视频图像实时处理器
JP2004266507A (ja) * 2003-02-28 2004-09-24 Toshiba Corp データ再生装置及び再生出力制御方法
KR100968568B1 (ko) * 2003-08-28 2010-07-08 삼성전자주식회사 신호 처리 장치 및 방법
KR101034493B1 (ko) * 2004-01-09 2011-05-17 삼성전자주식회사 화상 변환 장치, 화상 변환을 위한 직접 메모리 액세스장치 및 화상 변환을 지원하는 카메라 인터페이스
JP2006024090A (ja) * 2004-07-09 2006-01-26 Nissan Motor Co Ltd 画像情報処理装置及び画像情報処理方法
CN101626480B (zh) * 2004-08-17 2011-04-13 松下电器产业株式会社 图像编码装置、图像解码装置
JP4564810B2 (ja) * 2004-09-14 2010-10-20 キヤノン株式会社 撮像装置
US20080002963A1 (en) * 2006-06-28 2008-01-03 Media Tek Inc. Systems and methods for capturing images of objects
US7893966B2 (en) * 2006-06-30 2011-02-22 Canon Kabushiki Kaisha Apparatus and method for controlling editing and use of image processing parameters in image processing
JP4124246B2 (ja) * 2006-06-30 2008-07-23 ソニー株式会社 撮像装置、カメラコントロールユニット、ビデオカメラシステム及び警告情報伝送方法
US7903871B2 (en) * 2007-04-05 2011-03-08 Arecont Vision, Llc. System and method for image processing of multi-sensor network cameras
JP4989318B2 (ja) * 2007-06-04 2012-08-01 キヤノン株式会社 データ処理装置、データ処理装置の制御方法、及びプログラム
JP4645685B2 (ja) * 2008-06-02 2011-03-09 カシオ計算機株式会社 カメラ、カメラ制御プログラム及び撮影方法
TWI372997B (en) * 2008-09-05 2012-09-21 Amtran Technology Co Ltd Switching apparatus and displaying system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
802.11X. IEEE 802.11a-, b- oder g-konforme Schnittstelle
Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, Dezember 2002
IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN-Part II: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003

Also Published As

Publication number Publication date
CN102918560B (zh) 2016-08-03
WO2012009078A1 (en) 2012-01-19
GB2494330A (en) 2013-03-06
JP2013535173A (ja) 2013-09-09
KR20130027019A (ko) 2013-03-14
US20110317034A1 (en) 2011-12-29
TW201215139A (en) 2012-04-01
CN102918560A (zh) 2013-02-06

Similar Documents

Publication Publication Date Title
DE112011102166T5 (de) Bildsignalprozessor-Multiplexen
US9934438B2 (en) Scene recognition method and apparatus
US10319115B2 (en) Image compression device
DE102016201686A1 (de) Bildsignalprozessor und vorrichtungen, die diesen umfassen
US20130021504A1 (en) Multiple image processing
DE112018007730T5 (de) 3d objekterkennung unter verwendung von 3d konvolutionalen neuronalen netzen mit tiefenbasierten multiskalierungsfiltern
DE102012107954A1 (de) Anzeigetreiber, Betriebsverfahren davon, Host zum Steuern des Anzeigetreibers und System mit dem Anzeigetreiber und dem Host
DE112015006587T5 (de) Adaptive Batch-Codierung für Slow-Motion-Videoaufzeichnung
DE112018000280T5 (de) Entblockungsfilterung für 360-video
DE102013203008A1 (de) Serienbilderfassungsverfahren und Bilderfassungssystem dafür
DE202014011562U1 (de) Modusunabhängige Video und Standbildframeaufnahme
DE112017003212T5 (de) Verfahren und System zur Videocodierung mit Kontextdecodierung und Rekonstruktionsumgehung
DE102014013446A1 (de) Bildaufnahmevorrichtung und -system und Steuerverfahren für die Bildaufnahmevorrichtung
DE102012100379A1 (de) Einstellen einer Datenübermittlungsrate in einem Peer-To-Peer Betrieb
DE112011102167T5 (de) Stereobilderfassung mit einer Pipeline
DE112012007037T5 (de) Verarbeiten von Videoinhalt
DE112013005204T5 (de) Verringern des mit Frequenzänderungen von Prozessoren verbundenen Aufwands
CN104936017A (zh) 一种基于无线的快速传输图像的方法及系统
CN203801008U (zh) 720度环绕摄影装置
DE102013223423A1 (de) Schmitt-Triggerschaltungen benutzende Leistungs-Gatterschaltungen, integrierte Halbleiter-Schaltungen und Systeme welche Leistungs-Gatterschaltungen beinhalten
DE112016006833T5 (de) Verbesserung von kanten in bildern unter verwendung von tiefeninformationen
US10079981B2 (en) Image dynamic range adjustment method, terminal, and storage medium
US20100253806A1 (en) Imaging system and imaging method thereof
DE112012006131T5 (de) Dynamisch adaptive Frequenzanpassung
US20120200748A1 (en) Image processing apparatus, electronic camera, and storage medium storing image processing program

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: MAUCHER BOERJES JENKINS, DE

Representative=s name: MAUCHER JENKINS, DE

Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final