DE112011102166T5 - Bildsignalprozessor-Multiplexen - Google Patents
Bildsignalprozessor-Multiplexen Download PDFInfo
- Publication number
- DE112011102166T5 DE112011102166T5 DE112011102166T DE112011102166T DE112011102166T5 DE 112011102166 T5 DE112011102166 T5 DE 112011102166T5 DE 112011102166 T DE112011102166 T DE 112011102166T DE 112011102166 T DE112011102166 T DE 112011102166T DE 112011102166 T5 DE112011102166 T5 DE 112011102166T5
- Authority
- DE
- Germany
- Prior art keywords
- camera
- input frames
- frames
- video stream
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 239000000872 buffer Substances 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 33
- 239000002131 composite material Substances 0.000 claims 6
- 108700005085 Switch Genes Proteins 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
Bei manchen Ausführungsformen umfasst eine elektronische Vorrichtung eine erste Kamera und eine zweite Kamera, einen ersten Puffer zum Empfangen eines ersten Satzes von Eingabe-Frames aus der ersten Kamera und einen zweiten Puffer zum Empfangen eines zweiten Satzes von Eingabe-Frames aus der zweiten Kamera, einen einzelnen Bildsignalprozessor, der mit dem ersten Puffer und dem zweiten Puffer gekoppelt ist, um den ersten Satz von Eingabe-Frames aus dem ersten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zu verarbeiten, die in einem ersten Speicher zum Generieren eines ersten Video-Streams und zum Verarbeiten eines zweiten Satzes von Eingabe-Frames aus dem zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern gespeichert sind, die in einem zweiten Speicherregister zum Generieren eines zweiten Video-Streams gespeichert sind, und ein Speichermodul zum Speichern des ersten Video-Streams und des zweiten Video-Streams.
Description
- HINTERGRUND
- Der hier beschriebene Gegenstand betrifft im Allgemeinen das Feld der Bildverarbeitung und insbesondere Systeme und Methoden für das Bildsignalprozessor-Multiplexen.
- Elektronische Vorrichtungen wie beispielsweise Mobiltelefone, persönliche digitale Assistenten, tragbare Computer und dergleichen können eine Kamera zum Erfassen von Bildern umfassen. Beispielsweise kann ein Mobiltelefon eine Kamera umfassen, welche auf der Rückseite des Telefons angeordnet ist, um Bilder zu erfassen. Elektronische Vorrichtungen können mit einer Bildsignalverarbeitungs-Pipeline ausgestattet sein, um Bilder zu erfassen, welche von der Kamera aufgenommen werden, die Bilder zu verarbeiten und die Bilder im Speicher zu speichern und/oder die Bilder anzuzeigen.
- Auch können Verfahren zum Ausrüsten elektronischer Vorrichtungen mit mehreren Kameras Anwendungen finden.
- KURZBESCHREIBUNG DER ZEICHNUNGEN
- Die ausführliche Beschreibung wird unter Bezugnahme auf die begleitenden Figuren beschrieben.
-
1 ist eine Schemaansicht einer elektronischen Vorrichtung zur Verwendung beim Bildsignalprozessor-Multiplexen gemäß manchen Ausführungsformen. -
2 ist eine Schemaansicht von Komponenten zur Verwendung beim Bildsignalprozessor-Multiplexen gemäß Ausführungsformen. -
3 ist eine Schemaansicht von Datenflüssen beim Bildsignalprozessor-Multiplexen gemäß manchen Ausführungsformen. -
4 ist ein Ablaufdiagramm, welches ein Bildsignalprozessor-Multiplexen gemäß manchen Ausführungsformen illustriert. - AUSFÜHRLICHE BESCHREIBUNG
- Hier sind beispielhafte Systeme und Verfahren für das Bildsignalprozessor-Multiplexen beschrieben. In der folgenden Beschreibung werden zahlreiche spezifische Details ausgeführt, um ein gründliches Verständnis der verschiedenen Ausführungsformen bereitzustellen. Durchschnittsfachleute verstehen jedoch, dass die verschiedenen Ausführungsformen ohne die spezifischen Details in die Praxis umgesetzt werden können. In anderen Fällen können wohlbekannte Verfahren, Verfahrensweisen, Komponenten und Schaltungen nicht illustriert oder ausführlich beschrieben sein, um die bestimmten Ausführungsformen nicht zu verschleiern.
- Bei manchen Ausführungsformen ermöglicht der hier beschriebene Gegenstand, dass eine elektronischen Vorrichtung mit mehreren Kameras ausgestattet wird, ohne dass eine Notwendigkeit für unabhängige Bildsignalprozessorkanäle besteht. Folglich ermöglichen die hier beschriebenen Systeme und Verfahren einer elektronischen Vorrichtung das Multiplexen von Bildsignalen mehrerer Kameras durch eine einzelne Bildprozessor-Pipeline. Die Bildsignale können in einem Speicher gespeichert werden und/oder auf einer Anzeigevorrichtung angezeigt werden.
-
1 ist eine Schemaansicht einer elektronischen Vorrichtung zur Verwendung beim Bildsignalprozessor-Multiplexen gemäß manchen Ausführungsformen. Unter Bezugnahme auf1 kann bei manchen Ausführungsformen eine elektronische Vorrichtung110 als ein Mobiltelefon, ein PDA-Minicomputer (PDA) oder dergleichen ausgeführt werden. Die elektronische Vorrichtung110 kann einen HF-Sendeempfänger150 zum Übertragen von HF-Signalen und ein Signalverarbeitungsmodul152 zum Verarbeiten von Signalen aufweisen, welche von dem HF-Sendeempfänger150 empfangen werden. - Der HF-Sendeempfänger kann eine lokale drahtlose Verbindung über ein Protokoll implementieren, wie beispielsweise Bluetooth oder eine 802.11X. IEEE 802.11a-, b- oder g-konforme Schnittstelle (man siehe z. B. IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN-Part II: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003). Ein anderes Beispiel einer drahtlosen Schnittstelle wäre eine paketbasierte Datenübertragungsschnittstelle (GPRS, General Packet Radio Service) (man siehe z. B. Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, Dezember 2002).
- Die elektronische Vorrichtung
110 kann weiterhin ein oder mehrere Prozessoren154 und ein Speichermodul156 aufweisen. Wie hier verwendet, bedeutet der Begriff „Prozessor” jeden Typ eines rechnerischen Elements, wie beispielsweise insbesondere einen Mikroprozessor, eine Mikrosteuerung, einen CISC-Mikroprozessor (CISC, Complex Instruction Set Computing), einen RISC-Mikroprozessor (RISC, Reduced Instruction Set), einen VLIW-Mikroprozessor (VLIW, Very Long Instruction Word) oder jeden anderen Typ eines Prozessors oder einer Verarbeitungsschaltung. Bei manchen Ausführungsformen kann der Prozessor154 ein oder mehrere Prozessoren der Familie von Intel® PXA27x Prozessoren sein, welche von der Intel® Corporation in Santa Clara, Kalifornien, erhältlich sind. Ersatzweise können andere CPUs verwendet werden, wie beispielsweise Intels Itanium®, XEONTM und Celeron® Prozessoren. Es können auch ein oder mehrere Prozessoren von anderen Herstellern eingesetzt werden. Ferner können die Prozessoren einen einzelnen Kern oder mehrere Kerne aufweisen. Bei manchen Ausführungsformen weist das Speichermodul156 Direktzugriffsspeicher (RAM) auf; das Speicher-Modul156 kann jedoch unter Verwendung anderer Speichertypen wie beispielsweise dynamisches RAM (DRAM), synchrones DRAM (SDRAM) und dergleichen implementiert werden. Die Elektronische Vorrichtung110 kann weiterhin ein oder mehrere Eingangs-/Ausgangs-Schnittstellen aufweisen, wie beispielsweise ein Tastenfeld158 und eine oder mehrere Anzeigen160 . - Bei manchen Ausführungsformen umfasst die elektronische Vorrichtung
110 mindestens zwei Kameras162 und einen Bildsignalprozessor164 . Beispielhaft und nicht begrenzend kann eine erste Kamera162 auf der Vorderseite der elektronischen Vorrichtung110 und eine zweite Kamera auf der Rückseite der elektronischen Vorrichtung110 positioniert sein. Gesichtspunkte der Kameras und des Bildsignalprozessors164 sowie die dazugehörige Pipeline werden unter Bezugnahme auf2 bis4 ausführlicher erklärt. -
2 ist eine Schemaansicht von Komponenten zur Verwendung beim Bildsignalprozessor-Multiplexen gemäß Ausführungsformen. Unter Bezugnahme auf2 kann bei manchen Ausführungsformen ein ISP-Modul164 als ein integrierter Schaltkreis oder als eine Komponente davon oder als ein Chipsatz oder als ein Modul innerhalb eines Systems auf einem Chip (SOC) implementiert werden. Bei alternativen Ausführungsformen kann das ISP-Modul164 als Logik, welche in einer programmierbaren Vorrichtung codiert ist, z. B. in einem feldprogrammierbaren Gate-Array (FPGA), oder als Logikanweisungen auf einem Universalprozessor oder als Logikanweisungen auf speziellen Prozessoren implementiert werden, wie beispielsweise einem digitalen Signalprozessor (DSP) oder SIMD-Vektorprozessoren (SIMD, Single Instruction Multiple Data). - Bei der in
2 dargestellten Ausführungsform umfasst das ISP-Modul164 einen Bildverarbeitungsprozessor212 , einen Aufgabenverwalter,220 , einen ersten Kameraempfänger222 und einen zweiten Kameraempfänger224 , eine Speicherdirektzugriff-(DMA)-Engine226 und eine Speicherverwaltungseinheit (MMU)228 . Das ISP-Modul164 ist mit dem Speichermodul156 gekoppelt. Das Speichermodul156 unterhält ein erstes Register230 und ein zweites Register232 , einen Frame-Puffer A240 und einen Frame-Puffer A'242 , einen Frame-Puffer B250 und Frame-Puffer B'252 . Die zwei Threads 3A (automatischer Weißabgleich, Autofokus, automatische Belichtung),400A und400B für jede Kamera, laufen auf einer Host-CPU, die dem bzw. den in1 dargestellten Prozessor(en)154 entspricht. - Die Vorgänge der elektronischen Vorrichtung werden unter Bezugnahme auf
2 bis4 ausführlicher erklärt. Bei manchen Ausführungsformen werden. Bilder von einer ersten Kamera162A in einen ersten Empfänger222 (Vorgang410 ) eingegeben, und Bilder von einer zweiten Kamera162B werden in einen zweiten Empfänger224 (Vorgang415 ) eingegeben. Bei manchen Ausführungsformen können die Kameras162A und162B , auf welche hier manchmal zusammen durch das Bezugszeichen162 verwiesen wird, eine optische Anordnung umfassen, z. B. eine oder mehrere Linsen, welche mit einer Bilderfassungsvorrichtung gekoppelt ist, z. B. an eine ladungsgekoppelte Vorrichtung (CCD). Die Ausgabe der ladungsgekoppelten Vorrichtung kann in dem Format eines Bayer-Frames geschehen. Die Ausgabe von Bayer-Frames aus der CCD- oder CMOS-Vorrichtung kann zeitlich abgetastet werden, um eine Reihe von Bayer-Frames zu produzieren, welche an die Empfänger222 ,224 geleitet werden. Auf diese unverarbeiteten Bild-Frames kann hier manchmal als Roh-Frames verwiesen werden. Durchschnittsfachleute erkennen, dass die Rohbild-Frames als ein Array oder eine Matrix von Datenwerten ausgeführt werden können. Bei manchen Ausführungsformen ist das Steuerungsprogramm für die Anpassung von Fokus, Weißabgleich und Belichtung in den Prozess-Threads 3A,400A und400B implementiert. - Bei Vorgang
420 (4 ) werden die Roh-Frames in Frame-Puffern gespeichert. Unter Bezugnahme auf2 und3 werden Bilder von den Kameras162 in die Empfänger222 ,224 eingegeben. In manchen Ausführungsformen ruft die Speicherdirektzugriff-(DMA)-Engine220 den Bild-Frame vom Empfänger A216 ab und speichert den Bild-Frame im Frame-Puffer A240 . Gleichermaßen ruft die DMA-Engine220 den Bild-Frame vom Empfänger B218 ab und speichert den Bild-Frame im Frame-Puffer B250 . - Die Vorgänge
425 –440 definieren eine Schleife, nach der die Roh-Frames in den Frame-Puffern240 ,250 in ein Video-Stream-Format verarbeitet werden. In einigen Ausführungsformen wird die Frame-Verarbeitung jeweils pro Frame von jeder Kameraquelle ausgeführt, sodass die Frame-Verarbeitung verschachtelt erfolgt. Somit wird der Inhalt von Frame-Puffer A bei Vorgang425 in den Bildsignalprozessor212 über eine Bildsignalprozessorschnittstelle214 eingegeben, die den Inhalt von Frame-Puffer A in eine Bildsignalprozessor-Pipeline216 leitet. Wie in3 dargestellt, wird der Inhalt von Frame-Puffer A in der Pipeline216 verarbeitet, z. B. durch Umwandeln des Inhalts aus Frame-Puffer240 von Roh-Bayer-Frames in ein geeignetes Video-Format, z. B. eine entsprechende Anzahl YUV-Video-Frames. Der Bildsignalprozessor212 kann Parameter aus Frame-Puffer A mit Thread 3A400A übergeben. Der Verarbeitungs-Thread 3A400A kann diese Parameter für die Einrichtung passender Einstellungen auf den Kameras162 verwenden. 3A Parameter und Parameter für die Verarbeitung der Frames im Frame-Puffer A können durch ein erstes Speichern in Register A übergeben werden. Bei Vorgang430 speichert eine Speicherdirektzugriff-(DMA)-Engine226 die YUV-Video-Frames in einem Speicherpuffer242 im Speicher156 . - Wenn die Frame-Verarbeitung bei Vorgang
435 nicht abgeschlossen ist, übergibt die Steuerung wieder an Vorgang425 zurück, und es werden mehr Roh-Frames in den Frame-Puffern verschachtelt in ein Video-Stream-Format verarbeitet. Beispielsweise wird in Ausführungsformen, in denen zwei oder mehr Kameras verwendet werden, der Inhalt von Frame-Puffer B in den Bildsignalprozessor über eine Bildsignalprozessorschnittstelle214 eingegeben, die den Inhalt von Frame-Puffer B in eine Bildsignalprozessor-Pipeline216 leitet. Der Inhalt von Frame-Puffer B wird in der Pipeline verarbeitet, z. B. durch Umwandeln des Inhalts des Frame-Puffers von Roh-Bayer-Frames in ein geeignetes Video-Format, z. B. in eine entsprechende Anzahl YUV-Video-Frames. Der 3A400 Frame B wird basierend auf Parametern verarbeitet, die durch das Register B geleitet werden. Bei Vorgang430 wird der aus den Roh-Video-Frames im Puffer generierte Video-Stream im Speicher gespeichert. In einigen Ausführungsformen speichert die DMA-Engine226 den aus dem Frame-Puffer B240 generierten Video-Stream in einem zweiten Frame-Puffer B'252 im Speicher156 . In einigen Ausführungsformen können die Video-Streams in einer Bild-in-Bild-Ansicht gespeichert werden. In einigen Ausführungen können die Video-Streams codiert und als zwei Streams durch Multi-Video-Coder/Decoder (Codecs) gespeichert werden, sodass die Video-Streams auf einer Zielvorrichtung angezeigt werden können. - Ferner, wenn die Frame-Verarbeitung bei Vorgang
435 nicht abgeschlossen ist, übergibt die Steuerung an die Vorgänge440 und die Verarbeitung wird vom Empfänger B wieder auf den Empfänger A umgestellt. Somit definieren die Vorgänge425 –435 eine Schleife, wodurch die Roh-Frames mehrerer Kameras in Video-Streams gemultiplext und im Speicher einer elektronischen Vorrichtung gespeichert werden. - Im Gegensatz dazu, wenn die Frame-Puffer in der Vorgang
435 die Verarbeitung fertiggestellt haben, übergibt die Steuerung an Vorgang445 , und die Video-Streams können angezeigt werden. In manchen Ausführungsformen werden die Video-Streams in eine Bild-in-Bild-Ansicht kombiniert. Bei Vorgang450 können die Video-Streams auf einer Anzeige dargestellt werden. - Der Begriff „Logikanweisungen”, wie er hier verwendet wird, betrifft Ausdrücke, welche von einer oder mehreren Maschinen zum Durchführen eines oder mehrerer logischer Vorgänge verstanden werden können. Beispielsweise können Logikanweisungen Anweisungen umfassen, welche von einem Prozessor-Compiler zum Ausführen eines oder mehrerer Vorgänge auf einem oder mehreren Datenobjekten interpretierbar sind. Jedoch ist dies bloß ein Beispiel maschinenlesbarer Anweisungen, und Ausführungsformen sind in dieser Hinsicht nicht eingeschränkt.
- Der Begriff „computerlesbares Medium”, wie er hier verwendet wird, betrifft Medien, welche in der Lage sind, Ausdrücke zu unterhalten, welche von einer oder mehreren Maschinen wahrnehmbar sind. Beispielsweise kann ein computerlesbares Medium eine oder mehrere Speichervorrichtungen zum Speichern von computerlesbaren Anweisungen oder Daten umfassen. Derartige Speichervorrichtungen können Speichermedien umfassen, wie beispielsweise optische Speichermedien, magnetische Speichermedien oder Halbleiterspeichermedien. Jedoch ist dies bloß ein Beispiel eines maschinenlesbaren Mediums, und Ausführungsformen sind in dieser Hinsicht nicht eingeschränkt.
- Der Begriff „Logik”, wie er hier verwendet wird, betrifft eine Struktur zum Durchführen eines oder mehrerer logischer Vorgänge. Beispielsweise kann Logik einen Schaltkomplex umfassen, welcher ein oder mehrere Ausgabesignale aufgrund eines oder mehrerer Eingabesignale bereitstellt. Ein derartiger Schaltkomplex kann einen endlichen Automaten, welcher eine digitale Eingabe empfängt und eine digitale Ausgabe bereitstellt, oder einen Schaltkomplex umfassen, welcher ein oder mehrere analoge Ausgabesignale als Reaktion auf ein oder mehrere analoge Eingabesignale bereitstellt. Ein derartiger Schaltkomplex kann in einem anwendungsspezifischen integrierten Schaltkreis (ASIC) oder in einem feldprogrammierbaren Gate-Array (FPGA) bereitgestellt werden. Logik kann auch maschinenlesbare Anweisungen, welche in einem Speicher gespeichert sind, in Verbindung mit einem Verarbeitungsschaltkomplex umfassen, um derartige maschinenlesbare Anweisungen auszuführen. Dies sind jedoch bloß Beispiele von Strukturen, welche Logik bereitstellen können, und Ausführungsformen sind in dieser Hinsicht nicht eingeschränkt.
- Einige der hier beschriebenen Verfahren können als Logikanweisungen auf einem computerlesbaren Medium ausgeführt werden. Wenn sie auf einem Prozessor ausgeführt werden, bewirken die Logikanweisungen, dass ein Prozessor als eine Sondermaschine programmiert wird, welche die beschriebenen Verfahren implementiert. Wenn er durch die Logikanweisungen konfiguriert ist, die hier beschriebenen Verfahren auszuführen, bildet der Prozessor eine Struktur zum Durchführen der beschriebenen Verfahren. Ersatzweise können die hier beschriebenen Verfahren auf Logik auf beispielsweise einem feldprogrammierbaren Gate-Array (FPGA), einem anwendungsspezifischen integrierten Schaltkreis (ASIC) oder dergleichen reduziert werden.
- In der Beschreibung und den Ansprüchen können die Begriffe gekoppelt und verbunden zusammen mit ihren Derivaten verwendet werden. Bei bestimmten Ausführungsformen kann verbunden verwendet werden, um anzuzeigen, dass mindestens zwei Elemente in unmittelbarem physikalischen oder elektrischen Kontakt miteinander stehen. Gekoppelt kann bedeuten, dass sich mindestens zwei Elemente in unmittelbarem physikalischen oder elektrischen Kontakt befinden. Jedoch kann gekoppelt auch bedeuten, dass mindestens zwei Elemente sich nicht in unmittelbarem Kontakt miteinander befinden müssen, aber dennoch zusammenwirken oder in Wechselwirkung miteinander treten können.
- Der Verweis in der Beschreibung auf „eine Ausführungsform” bedeutet, dass ein bestimmtes Merkmal, eine Struktur oder eine Eigenschaft, welche im Zusammenhang mit der Ausführungsform beschrieben wird, bei mindestens einer Implementierung eingeschlossen ist. Das Auftreten der Phrase „bei einer Ausführungsform” an verschiedenen Stellen in der Beschreibung kann oder kann nicht immer auf die gleiche Ausführungsform verweisen.
- Obwohl Ausführungsformen mit sprachspezifischen bis strukturellen Merkmalen und/oder methodologischen Handlungen beschrieben wurden, versteht es sich, dass ein beanspruchter Gegenstand nicht auf die beschriebenen spezifischen Merkmale oder Handlungen begrenzt sein kann. Stattdessen werden die spezifischen Merkmale und Handlungen als Beispielformen der Implementierung des beanspruchten Gegenstands offenbart.
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Nicht-Patentliteratur
-
- 802.11X. IEEE 802.11a-, b- oder g-konforme Schnittstelle [0012]
- IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN-Part II: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003 [0012]
- Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, Dezember 2002 [0012]
Claims (20)
- Verfahren, umfassend: Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera in einem ersten Puffer und eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera in einem zweiten Puffer; Verarbeiten des ersten Satzes von Eingabe-Frames aus dem ersten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zur Generierung eines ersten Video-Streams; Verarbeiten des zweiten Satzes von Eingabe-Frames vom zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zur Generierung eines zweiten Video-Streams; und Speichern des ersten Video-Streams und des zweiten Video-Streams in einem Speichermodul.
- Verfahren nach Anspruch 1, wobei das Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera in einem ersten Puffer das Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera in einem ersten Kamera-Empfänger umfasst; und das ferner umfasst: das Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des ersten Satzes von Eingabe-Frames vom ersten Kamera-Empfänger zum ersten Puffer.
- Verfahren nach Anspruch 2, wobei das Empfangen eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera in einem zweiten Puffer das Empfangen eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera in einem zweiten Kamera-Empfänger umfasst; und das ferner umfasst: das Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des zweiten Satzes von Eingabe-Frames vom zweiten Kamera-Empfänger zum zweiten Puffer.
- Verfahren nach Anspruch 1, wobei das Verarbeiten des ersten Satzes von Eingabe-Frames vom ersten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern, die in einem ersten Speicher zum Generieren eines ersten Video-Streams gespeichert sind, das Umwandeln eines oder mehrerer Roh-Frames in einen oder mehrere YUV-Video-Frames umfasst.
- Verfahren nach Anspruch 4, wobei das Verarbeiten des zweiten Satzes von Eingabe-Frames vom zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern, die in einem zweiten Speicher zum Generieren eines zweiten Video-Streams gespeichert sind, das Umwandeln eines oder mehrerer Roh-Frames in eine entsprechende Anzahl YUV-Video-Frames umfasst.
- Verfahren nach Anspruch 1, wobei: das Speichern des ersten Video-Streams und des zweiten Video-Streams in einem Speichermodul das Generieren eines zusammengesetzten Bildes aus dem ersten Video-Stream und dem zweiten Video-Stream umfasst, und ferner das Darstellen des zusammengesetzten Bildes auf einem Anzeigegerät für die elektronische Vorrichtung umfasst.
- Elektronisches Gerät, Folgendes umfassend: eine erste Kamera und eine zweite Kamera; einen ersten Puffer zum Empfangen eines ersten Satzes von Eingabe-Frames von der ersten Kamera und einen zweiten Puffer zum Empfangen eines zweiten Satzes von Eingabe-Frames von der zweiten Kamera; einen einzelnen Bildsignalprozessor, der mit dem ersten Puffer und dem zweiten Puffer gekoppelt ist, um den ersten Satz von Eingabe-Frames aus dem ersten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zu verarbeiten, die in einem ersten Speicher zum Generieren eines ersten Video-Streams gespeichert sind, und um den zweiten Satz von Eingabe-Frames aus dem zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern zu verarbeiten, die in einem zweiten Speicher zum Generieren eines zweiten Video-Streams gespeichert sind; und ein Speichermodul zum Speichern des ersten Video-Streams und des zweiten Video-Streams.
- Elektronisches Gerät nach Anspruch 7 ferner umfassend: einen ersten Kamera-Empfänger zum Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera; eine Direktspeicher-Engine zum Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des ersten Satzes von Eingabe-Frames vom Empfänger zum Frame-Puffer.
- Elektronisches Gerät nach Anspruch 8 ferner umfassend: einen zweiten Kamera-Empfänger zum Empfangen eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera; eine Direktspeicher-Engine zum Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des zweiten Satzes von Eingabe-Frames vom Empfänger zum Frame-Puffer.
- Elektronisches Gerät nach Anspruch 7, wobei der Bildprozessor einen oder mehrere Roh-Frames aus dem ersten Satz von Eingabe-Frames in eine entsprechende Anzahl YUV-Video-Frames umwandeln soll.
- Elektronisches Gerät nach Anspruch 10, wobei der Bildprozessor einen oder mehrere Roh-Frames aus dem zweiten Satz von Eingabe-Frames in einen oder mehrere YUV-Video-Frames umwandeln soll.
- Elektronisches Gerät nach Anspruch 7, wobei der Speicher ein zusammengesetztes Bild speichern soll, das aus dem ersten Video-Stream und dem zweiten Video-Stream generiert wird.
- Elektronisches Gerät nach Anspruch 12, ferner umfassend eine Anzeige zur Darstellung des zusammengesetzten Bildes.
- Eine Vorrichtung, die Folgendes umfasst: einen einzelnen Bildsignalprozessor umfassend Logik zum: Verarbeiten eines ersten Satzes von Eingabe-Frames aus einem ersten Empfänger mithilfe von einem oder mehreren Verarbeitungsparametern, die in einem ersten Speicherregister gespeichert sind, zur Generierung eines ersten Video-Streams; und Verarbeiten des zweiten Satzes von Eingabe-Frames aus dem zweiten Frame-Puffer mithilfe von einem oder mehreren Verarbeitungsparametern, die in einem zweiten Speicherregister gespeichert sind, zur Generierung eines zweiten Video-Streams.
- Vorrichtung nach Anspruch 14 ferner umfassend: einen ersten Kamera-Empfänger zum Empfangen eines ersten Satzes von Eingabe-Frames von einer ersten Kamera; eine Direktspeicher-Engine zum Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des ersten Satzes von Eingabe-Frames vom Empfänger zum Frame-Puffer.
- Vorrichtung nach Anspruch 15 ferner umfassend: einen zweiten Kamera-Empfänger zum Empfangen eines zweiten Satzes von Eingabe-Frames von einer zweiten Kamera; eine Direktspeicher-Engine zum Durchführen von Speicherdirektzugriff-(DMA)-Auslesen des zweiten Satzes von Eingabe-Frames vom Empfänger zum Frame-Puffer.
- Vorrichtung nach Anspruch 15, wobei der Bildprozessor einen oder mehrere Roh-Frames aus dem ersten Satz von Eingabe-Frames in eine entsprechende Anzahl YUV-Video-Frames umwandeln soll.
- Vorrichtung nach Anspruch 16, wobei der Bildprozessor einen oder mehrere Roh-Frames aus dem zweiten Satz von Eingabe-Frames in eine entsprechende Anzahl YUV-Video-Frames umwandeln soll.
- Vorrichtung nach Anspruch 14, ferner umfassend ein Speichermodul zum Speichern eines zusammengesetzten Bildes, das aus dem ersten Video-Stream und dem zweiten Video-Stream generiert wird.
- Vorrichtung nach Anspruch 19, ferner umfassend eine Anzeige zur Darstellung des zusammengesetzten Bildes.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/824,292 | 2010-06-28 | ||
US12/824,292 US20110317034A1 (en) | 2010-06-28 | 2010-06-28 | Image signal processor multiplexing |
PCT/US2011/040128 WO2012009078A1 (en) | 2010-06-28 | 2011-06-13 | Image signal processor multiplexing |
Publications (1)
Publication Number | Publication Date |
---|---|
DE112011102166T5 true DE112011102166T5 (de) | 2013-04-04 |
Family
ID=45352197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE112011102166T Ceased DE112011102166T5 (de) | 2010-06-28 | 2011-06-13 | Bildsignalprozessor-Multiplexen |
Country Status (8)
Country | Link |
---|---|
US (1) | US20110317034A1 (de) |
JP (1) | JP2013535173A (de) |
KR (1) | KR20130027019A (de) |
CN (1) | CN102918560B (de) |
DE (1) | DE112011102166T5 (de) |
GB (1) | GB2494330A (de) |
TW (1) | TW201215139A (de) |
WO (1) | WO2012009078A1 (de) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105208259B (zh) * | 2014-06-17 | 2019-12-03 | 中兴通讯股份有限公司 | 相机自动对焦优化的方法及相机 |
US9615013B2 (en) | 2014-12-22 | 2017-04-04 | Google Inc. | Image sensor having multiple output ports |
KR102459917B1 (ko) * | 2015-02-23 | 2022-10-27 | 삼성전자주식회사 | 이미지 신호 프로세서와 이를 포함하는 장치들 |
US9906715B2 (en) | 2015-07-08 | 2018-02-27 | Htc Corporation | Electronic device and method for increasing a frame rate of a plurality of pictures photographed by an electronic device |
JP2018535568A (ja) * | 2015-09-02 | 2018-11-29 | サムロール エルエルシー | 画像を位置合わせして、一連の位置合わせされた画像を提示するためのカメラシステム及び方法 |
CN112188261B (zh) * | 2019-07-01 | 2023-05-09 | 西安诺瓦星云科技股份有限公司 | 视频处理方法及视频处理装置 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5757436A (en) * | 1996-06-21 | 1998-05-26 | Magma, Inc. | Image processor system |
JPH11261958A (ja) * | 1998-03-09 | 1999-09-24 | Sony Corp | 映像編集装置及び映像編集方法 |
JP3532781B2 (ja) * | 1999-02-12 | 2004-05-31 | 株式会社メガチップス | 画像入力装置の画像処理回路 |
JP4126640B2 (ja) * | 2000-03-08 | 2008-07-30 | 富士フイルム株式会社 | 電子カメラ |
US7191024B2 (en) * | 2000-11-02 | 2007-03-13 | Yamaha Coproration | Remote control method and apparatus, remote controller, and apparatus and system based on such remote control |
CN2549543Y (zh) * | 2002-07-04 | 2003-05-07 | 深圳市哈工大交通电子技术有限公司 | 视频图像实时处理器 |
JP2004266507A (ja) * | 2003-02-28 | 2004-09-24 | Toshiba Corp | データ再生装置及び再生出力制御方法 |
KR100968568B1 (ko) * | 2003-08-28 | 2010-07-08 | 삼성전자주식회사 | 신호 처리 장치 및 방법 |
KR101034493B1 (ko) * | 2004-01-09 | 2011-05-17 | 삼성전자주식회사 | 화상 변환 장치, 화상 변환을 위한 직접 메모리 액세스장치 및 화상 변환을 지원하는 카메라 인터페이스 |
JP2006024090A (ja) * | 2004-07-09 | 2006-01-26 | Nissan Motor Co Ltd | 画像情報処理装置及び画像情報処理方法 |
CN101626480B (zh) * | 2004-08-17 | 2011-04-13 | 松下电器产业株式会社 | 图像编码装置、图像解码装置 |
JP4564810B2 (ja) * | 2004-09-14 | 2010-10-20 | キヤノン株式会社 | 撮像装置 |
US20080002963A1 (en) * | 2006-06-28 | 2008-01-03 | Media Tek Inc. | Systems and methods for capturing images of objects |
US7893966B2 (en) * | 2006-06-30 | 2011-02-22 | Canon Kabushiki Kaisha | Apparatus and method for controlling editing and use of image processing parameters in image processing |
JP4124246B2 (ja) * | 2006-06-30 | 2008-07-23 | ソニー株式会社 | 撮像装置、カメラコントロールユニット、ビデオカメラシステム及び警告情報伝送方法 |
US7903871B2 (en) * | 2007-04-05 | 2011-03-08 | Arecont Vision, Llc. | System and method for image processing of multi-sensor network cameras |
JP4989318B2 (ja) * | 2007-06-04 | 2012-08-01 | キヤノン株式会社 | データ処理装置、データ処理装置の制御方法、及びプログラム |
JP4645685B2 (ja) * | 2008-06-02 | 2011-03-09 | カシオ計算機株式会社 | カメラ、カメラ制御プログラム及び撮影方法 |
TWI372997B (en) * | 2008-09-05 | 2012-09-21 | Amtran Technology Co Ltd | Switching apparatus and displaying system |
-
2010
- 2010-06-28 US US12/824,292 patent/US20110317034A1/en not_active Abandoned
-
2011
- 2011-06-13 WO PCT/US2011/040128 patent/WO2012009078A1/en active Application Filing
- 2011-06-13 KR KR1020127030431A patent/KR20130027019A/ko not_active Application Discontinuation
- 2011-06-13 JP JP2013518425A patent/JP2013535173A/ja active Pending
- 2011-06-13 GB GB1221607.3A patent/GB2494330A/en not_active Withdrawn
- 2011-06-13 CN CN201180027454.2A patent/CN102918560B/zh not_active Expired - Fee Related
- 2011-06-13 DE DE112011102166T patent/DE112011102166T5/de not_active Ceased
- 2011-06-15 TW TW100120855A patent/TW201215139A/zh unknown
Non-Patent Citations (3)
Title |
---|
802.11X. IEEE 802.11a-, b- oder g-konforme Schnittstelle |
Guidelines on GPRS Handset Requirements, Global System for Mobile Communications/GSM Association, Ver. 3.0.1, Dezember 2002 |
IEEE Standard for IT-Telecommunications and information exchange between systems LAN/MAN-Part II: Wireless LAN Medium Access Control (MAC) and Physical Layer (PHY) specifications Amendment 4: Further Higher Data Rate Extension in the 2.4 GHz Band, 802.11G-2003 |
Also Published As
Publication number | Publication date |
---|---|
CN102918560B (zh) | 2016-08-03 |
WO2012009078A1 (en) | 2012-01-19 |
GB2494330A (en) | 2013-03-06 |
JP2013535173A (ja) | 2013-09-09 |
KR20130027019A (ko) | 2013-03-14 |
US20110317034A1 (en) | 2011-12-29 |
TW201215139A (en) | 2012-04-01 |
CN102918560A (zh) | 2013-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112011102166T5 (de) | Bildsignalprozessor-Multiplexen | |
US9934438B2 (en) | Scene recognition method and apparatus | |
US10319115B2 (en) | Image compression device | |
DE102016201686A1 (de) | Bildsignalprozessor und vorrichtungen, die diesen umfassen | |
US20130021504A1 (en) | Multiple image processing | |
DE112018007730T5 (de) | 3d objekterkennung unter verwendung von 3d konvolutionalen neuronalen netzen mit tiefenbasierten multiskalierungsfiltern | |
DE102012107954A1 (de) | Anzeigetreiber, Betriebsverfahren davon, Host zum Steuern des Anzeigetreibers und System mit dem Anzeigetreiber und dem Host | |
DE112015006587T5 (de) | Adaptive Batch-Codierung für Slow-Motion-Videoaufzeichnung | |
DE112018000280T5 (de) | Entblockungsfilterung für 360-video | |
DE102013203008A1 (de) | Serienbilderfassungsverfahren und Bilderfassungssystem dafür | |
DE202014011562U1 (de) | Modusunabhängige Video und Standbildframeaufnahme | |
DE112017003212T5 (de) | Verfahren und System zur Videocodierung mit Kontextdecodierung und Rekonstruktionsumgehung | |
DE102014013446A1 (de) | Bildaufnahmevorrichtung und -system und Steuerverfahren für die Bildaufnahmevorrichtung | |
DE102012100379A1 (de) | Einstellen einer Datenübermittlungsrate in einem Peer-To-Peer Betrieb | |
DE112011102167T5 (de) | Stereobilderfassung mit einer Pipeline | |
DE112012007037T5 (de) | Verarbeiten von Videoinhalt | |
DE112013005204T5 (de) | Verringern des mit Frequenzänderungen von Prozessoren verbundenen Aufwands | |
CN104936017A (zh) | 一种基于无线的快速传输图像的方法及系统 | |
CN203801008U (zh) | 720度环绕摄影装置 | |
DE102013223423A1 (de) | Schmitt-Triggerschaltungen benutzende Leistungs-Gatterschaltungen, integrierte Halbleiter-Schaltungen und Systeme welche Leistungs-Gatterschaltungen beinhalten | |
DE112016006833T5 (de) | Verbesserung von kanten in bildern unter verwendung von tiefeninformationen | |
US10079981B2 (en) | Image dynamic range adjustment method, terminal, and storage medium | |
US20100253806A1 (en) | Imaging system and imaging method thereof | |
DE112012006131T5 (de) | Dynamisch adaptive Frequenzanpassung | |
US20120200748A1 (en) | Image processing apparatus, electronic camera, and storage medium storing image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R082 | Change of representative |
Representative=s name: MAUCHER BOERJES JENKINS, DE Representative=s name: MAUCHER JENKINS, DE Representative=s name: MAUCHER JENKINS PATENTANWAELTE & RECHTSANWAELT, DE |
|
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |