DE102016201686A1 - Bildsignalprozessor und vorrichtungen, die diesen umfassen - Google Patents

Bildsignalprozessor und vorrichtungen, die diesen umfassen Download PDF

Info

Publication number
DE102016201686A1
DE102016201686A1 DE102016201686.5A DE102016201686A DE102016201686A1 DE 102016201686 A1 DE102016201686 A1 DE 102016201686A1 DE 102016201686 A DE102016201686 A DE 102016201686A DE 102016201686 A1 DE102016201686 A1 DE 102016201686A1
Authority
DE
Germany
Prior art keywords
data
line data
line
processing circuit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102016201686.5A
Other languages
English (en)
Inventor
Byung-Joon Baek
Kyeong Jong LIM
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of DE102016201686A1 publication Critical patent/DE102016201686A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4265—Bus transfer protocol, e.g. handshake; Synchronisation on a point to point bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

Ein Bildsignalprozessor umfasst eine erste Datenverarbeitungsschaltung, eine zweite Datenverarbeitungsschaltung, und eine Multiplex-Steuerschaltung, die konfiguriert ist zum Übertragen erster Liniendaten, die in ersten Frame-Daten enthalten sind, und zweiter Liniendaten, die in zweiten Frame-Daten enthalten sind, an die erste Datenverarbeitungsschaltung in einem Zeitmultiplex-Modus. Die Multiplex-Steuerschaltung kann des Weiteren konfiguriert sein, zum Übertragen eines Umschaltsteuersignals an die erste Datenverarbeitungsschaltung, das anzeigt, ob aktuelle Liniendaten, die an die erste Datenverarbeitungsschaltung übertragen werden sollen, die ersten Liniendaten oder die zweiten Liniendaten sind.

Description

  • QUERVERWEIS ZU VERWANDTEN ANMELDUNGEN
  • Ein Anspruch nach 35 U.S.C. § 119(a) auf die koreanische Patentanmeldung Nr. 10-2015-0025390 wird erhoben, die am 23. Februar 2015 eingereicht wurde, deren Inhalt hiermit durch Bezug hierin aufgenommen wird.
  • STAND DER TECHNIK
  • Beispielhaften Ausführungsformen betreffen Bildsignalprozessoren und insbesondere Bildsignalprozessoren zum Durchführen von Zeitmultiplexverfahren auf ein Bild in Einheiten von Liniendaten und/oder Vorrichtungen, die diese umfassen.
  • Gemäß einer herkömmlichen Technik kann ein einzelner Bildsignalprozessor mehrere Eingangsbilder durch Ausführen von Zeitmultiplexen verarbeiten, was einen externen Bildspeicher (frame memory) verwendet. Wenn ein Bildsignalprozessor Bildsignalverarbeitung an Eingangsbildern unter Verwendung externer Bildspeicher in einem Zeitmultiplex-Modus ausführt, kann der Bildsignalprozessor Multiplexing in Einheiten von Frame-Daten (frame data) durchführen. Somit speichert der Bildsignalprozessor Eingangsbilder in dem externen Bildspeicher in Einheiten von Frame-Daten. Zu diesem Zeitpunkt wird jede der Frame-Daten-Einheiten in den externen Bildspeicher über einen Bus geschrieben und davon gelesen, was zu einem Anstieg des Stromverbrauchs eines Systems mit dem Bildsignalprozessor führt, aufgrund von Bus-Transaktionen.
  • ZUSAMMENFASSUNG
  • Nach einer bevorzugten Ausführungsform der erfinderischen Konzepte umfasst ein Bildsignalprozessor eine erste Datenverarbeitungsschaltung, eine zweite Datenverarbeitungsschaltung, und eine Multiplex-Steuerschaltung, die konfiguriert ist zum Übertragen erster Liniendaten, die in ersten Frame-Daten enthalten sind, und zweiter Liniendaten, die in zweiten Frame-Daten enthalten sind, an die erste Datenverarbeitungsschaltung in einem Zeitmultiplex-Modus. Die Multiplex-Steuerschaltung kann des Weiteren konfiguriert sein, zum Übertragen eines Umschaltsteuersignals an die erste Datenverarbeitungsschaltung, wobei das Umschaltsteuersignal anzeigt, ob aktuelle Liniendaten, die an die erste Datenverarbeitungsschaltung übertragen werden sollen, die ersten Liniendaten oder die zweiten Liniendaten sind.
  • Die ersten Frame-Daten können Daten sein, die von einer ersten Abbildungsvorrichtung mit einer ersten Auflösung erfasst werden und die zweiten Frame-Daten können Daten sein, die von einer zweiten Abbildungsvorrichtung mit einer zweiten Auflösung erfasst werden.
  • Der Bildsignalprozessor kann des Weiteren einen ersten Puffer und einen zweiten Puffer enthalten. Zu dieser Zeit kann die erste Datenverarbeitungsschaltung eine Speichersteuerung umfassen, die konfiguriert ist zum Speichern der ersten Liniendaten und der zweiten Liniendaten in jeweils dem ersten Puffer und dem zweiten Puffer.
  • Die erste Datenverarbeitungsschaltung kann Elemente konfigurieren zum Verarbeiten der ersten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuelle Liniendaten die ersten Liniendaten sind, und Elemente konfigurieren zum Verarbeiten der zweiten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuellen Liniendaten die zweiten Liniendaten sind.
  • Die erste Datenverarbeitungsschaltung kann ein erster Bildsignalprozessor-Kern sein und die zweite Datenverarbeitungsschaltung ein zweiter Bildsignalprozessor-Kern sein. Die erste Datenverarbeitungsschaltung kann ein erster Skalierer und der zweite Datenverarbeitungsschaltung kann ein zweiter Skalierer sein.
  • Die Multiplex-Steuerschaltung kann konfiguriert sein zum ersten Übertragen der ersten Liniendaten oder der zweiten Liniendaten an die erste Datenverarbeitungsschaltung basierend auf einer Phase eines ersten Synchronisationssignals, das sich auf die ersten Frame-Daten beziehen und auf einer Phase des zweiten Synchronisationssignal, das sich auf die zweiten Frame-Daten beziehen. Die Multiplex-Steuerschaltung kann einen Linienspeicher umfassen, der konfiguriert ist zum Speichern der anderen von den ersten Liniendaten oder den zweiten Liniendaten.
  • Die Multiplex-Steuerschaltung kann konfiguriert sein zum Übertragen der ersten Liniendaten und der zweiten Liniendaten in einem einzigen Strom an die erste Datenverarbeitungsschaltung.
  • Nach einer beispielhaften Ausführungsform der erfinderischen Konzepte, umfasst ein Anwendungsprozessor einen Bus, einen Bildsignalprozessor, der mit dem Bus verbunden ist, und eine zentrale Verarbeitungseinheit (CPU), die mit dem Bus verbunden und konfiguriert ist zum Steuern des Bildsignalprozessors. Der Bildsignalprozessor kann eine erste Datenverarbeitungsschaltung, eine zweite Datenverarbeitungsschaltung, und eine Multiplex-Steuerschaltung umfassen, die konfiguriert ist zum Übertragen erster Liniendaten, die in ersten Frame-Daten enthalten sind, und zweiter Liniendaten, die in zweiten Frame-Daten enthalten sind, an die erste Datenverarbeitungsschaltung in einem Zeitmultiplex-Modus. Die ersten Frame-Daten und die zweiten Frame-Daten können jeweils eine erste Auflösung und eine zweite Auflösung aufweisen. Die Multiplex-Steuerschaltung kann des Weiteren konfiguriert sein, zum Übertragen eines Umschaltsteuersignals an die erste Datenverarbeitungsschaltung, wobei das Umschaltsteuersignal ein Signal ist, das anzeigt, ob aktuelle Liniendaten, die an die erste Datenverarbeitungsschaltung übertragen werden sollen, die ersten Liniendaten oder die zweiten Liniendaten sind.
  • Nach einer beispielhaften Ausführungsform der erfinderischen Konzepte, umfasst eine mobile Computervorrichtung eine erste Abbildungsvorrichtung mit einer ersten Auflösung, eine zweite Bildaufnahmevorrichtung mit einer zweite Auflösung, und einen Anwendungsprozessor, der mit der ersten Abbildungsvorrichtung und der zweiten Abbildungsvorrichtung verbunden ist. Der Anwendungsprozessor kann einen Bus umfassen, einen Bildsignalprozessor, der mit dem Bus verbunden ist, und eine CPU, die mit dem Bus verbunden ist und konfiguriert ist zum Steuern des Bildsignalprozessors. Der Bildsignalprozessor kann eine erste Datenverarbeitungsschaltung, eine zweite Datenverarbeitungsschaltung, und eine Multiplex-Steuerschaltung umfassen, die konfiguriert ist zum Übertragen erster Liniendaten und zweiter Liniendaten an die erste Datenverarbeitungsschaltung in einem Zeitmultiplex-Modus. Die ersten Liniendaten können in ersten Frame-Daten enthalten sein, die von der ersten Abbildungsvorrichtung ausgegeben werden und die zweiten Liniendaten können in den zweiten Frame-Daten enthalten sein, die von der zweiten Abbildungsvorrichtung ausgegeben werden. Die Multiplex-Steuerschaltung kann des Weiteren konfiguriert sein, zum Übertragen eines Umschaltsteuersignals an die erste Datenverarbeitungsschaltung, das anzeigt, ob aktuelle Liniendaten, die an die erste Datenverarbeitungsschaltung übertragen werden sollen, die ersten Liniendaten oder die zweiten Liniendaten sind.
  • Die erste Datenverarbeitungsschaltung kann Elemente konfigurieren zum Verarbeiten der ersten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuelle Liniendaten die ersten Liniendaten sind, und Elemente konfigurieren zum Verarbeiten der zweiten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuellen Liniendaten die zweiten Liniendaten sind.
  • Die Multiplex-Steuerschaltung kann konfiguriert sein zum Übertragen von entweder den ersten Liniendaten oder den zweiten Liniendaten, als erstes zu der ersten Datenverarbeitungsschaltung, basierend auf einer Phase eines ersten Synchronisationssignals bezogen auf die ersten Frame-Daten und auf einer Phase des zweiten Synchronisationssignals bezogen auf die zweiten Frame-Daten und die Multiplex-Steuerschaltung kann einen Linienspeicher umfassen, der konfiguriert ist zum Speichern der anderen von den ersten Liniendaten oder den zweiten Liniendaten.
  • Gemäß einer beispielhaften Ausführungsform der erfinderischen Konzepte umfasst ein Bildsignalprozessor eine erste Datenverarbeitungsschaltung, eine zweite Datenverarbeitungsschaltung, und eine Multiplex-Steuerschaltung, die eine Schaltbestimmungsschaltung, einen ersten Linienspeicher, und eine erste Auswahlschaltung umfasst. Die Schaltbestimmungsschaltung kann konfiguriert sein zum Erzeugen ein ersten Auswahlsignals. Die erste Auswahlschaltung kann konfiguriert sein zum Übertragen von einen Liniendaten, die unter den ersten Liniendaten und den zweiten Liniendaten zu einem ersten Zeitpunkt ausgewählt werden, durch eine Übertragungsleitung und zum Übertragen der nicht-gewählten einen der ersten Liniendaten oder der zweiten Liniendaten, die in dem ersten Linienspeicher zu einem zweiten Zeitpunkt gespeichert werden, basieren auf dem ersten Auswahlsignal und der zweite Zeitpunkt kann später sein, als der erste Zeitpunkt.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die obigen und andere Merkmale und Vorteile der erfinderischen Ideen werden klarer durch die ausführliche Beschreibung von beispielhaften Ausführungsformen davon, mit Bezug auf die angehängten Zeichnungen, in denen folgendes gilt:
  • 1 ist ein Blockdiagramm eines Datenverarbeitungssystems, gemäß einer beispielhaften Ausführungsform der erfinderische Ideen;
  • 2 ist ein Blockdiagramm, das ein Beispiel eines Bildsignalprozessors (ISP) aus 1 zeigt;
  • 3 ist ein Blockdiagramm, das ein anderes Beispiel des ISP aus 1 zeigt;
  • 4 ist ein Diagramm von Bildern, die von Abbildungsvorrichtungen nach einer beispielhaften Ausführungsform der erfinderischen Konzepte ausgegeben werden;
  • 5 ist ein Diagramm der Betriebsmodi der Abbildungsvorrichtungen, gemäß einer beispielhaften Ausführungsform der erfinderischen Konzepte;
  • 6 ist ein Blockdiagramm, das ein Beispiel für eine Multiplex-Steuerschaltung aus 2 oder 3 zeigt;
  • 7 ist ein Zeitdiagramm, das das Zeitmultiplexverfahren von Liniendaten zeigt, das durch die Multiplex-Steuerschaltung aus 6 ausgeführt wird, gemäß einer beispielhaften Ausführungsform der erfinderischen Idee;
  • 8 ist ein Zeitdiagramm, das das Zeitmultiplexverfahren von Liniendaten zeigt, das durch die Multiplex-Steuerschaltung aus 6 ausgeführt wird, gemäß einer weiteren beispielhaften Ausführungsform der erfinderischen Idee;
  • 9 ist ein Blockdiagramm, das ein weiteres Beispiel für die Multiplex-Steuerschaltung aus 2 oder 3 zeigt;
  • 10 ist ein detailliertes Blockdiagramm des ersten ISP-Kerns aus 2 oder 3, gemäß einer beispielhaften Ausführungsform der erfinderischen Konzepte.
  • 11 ist ein Blockdiagramm, das noch ein anderes Beispiel des ISP aus 1 zeigt;
  • 12 ist ein Blockdiagramm, das ein Beispiel für eine Multiplex-Steuerschaltung aus 11 zeigt;
  • 13A bis 13C sind Zeitdiagramme, die Zeitmultiplexverfahren von Liniendaten zeigen, das durch die Multiplex-Steuerschaltung aus 12 ausgeführt wird, gemäß einer beispielhaften Ausführungsform der erfinderischen Idee;
  • 14 ist ein Blockdiagramm, das ein weiteres Beispiel für die Multiplex-Steuerschaltung aus 11 zeigt.
  • 15 ist ein Blockdiagramm, das noch ein anderes Beispiel des ISP aus 1 zeigt. und
  • 16 ist ein Flussdiagramm eines Verfahrens zum Betreiben des ISP aus 1 gemäß einer beispielhaften Ausgestaltung der erfinderischen Konzepte.
  • AUSFÜHRLICHE BESCHREIBUNG
  • Verschiedene erfinderischen Ideen werden nun ausführlicher mit Bezug auf die begleitenden Zeichnungen erklärt, in denen beispielhafte Ausführungsformen der erfinderischen Ideen gezeigt werden. Die erfinderischen Ideen können jedoch durch vielerlei verschiedene Formen verkörpert werden und sollte nicht als beschränkend, auf die Ausführungsformen, die im folgenden kommen, ausgelegt werden. Vielmehr werden diese beispielhaften Ausführungsformen geliefert, so dass diese Offenbarung sorgfältig und vollständig sein wird, und dass Konzept der beispielhaften Ausführungsformen vollständig an den Fachmann vermittelt wird. In den Zeichnungen sind die Größe und die relativen Größen der Schichten und Bereiche zur Klarheit übertrieben dargestellt. Gleiche Bezugszeichen beziehen sich durchgehend auf gleiche Elemente.
  • Es versteht sich, dass wenn ein Element als ”verbunden mit”, oder ”befestigt mit” einem anderen Element bezeichnet wird, so kann es direkt verbunden oder befestigt mit dem anderen Element, oder es können dazwischenliegende Elemente vorhanden sein. Wenn im Gegensatz dazu ein Element als ”direkt verbunden mit” oder ”direkt befestigt mit” einem anderen Element bezeichnet wird, so sind keine dazwischenliegenden Elemente vorhanden. Der hierin benutzte Begriff ”und/oder” beinhaltet jede Kombination von einem oder mehreren der dazugehörigen, aufgelisteten Gegenstände und kann durch ”/” verkürzt werden.
  • Es versteht sich, dass auch wenn die Begriffe erste(r), zweite(r), usw. hierin benutzt werden können, um verschiedene Elemente zu beschreiben, diese Elemente nicht auf diese Begriffe eingeschränkt werden. Diese Begriffe werden benutzt um ein Element von einem anderen zu unterscheiden. Zum Beispiel könnte ein erstes Signal als ein zweites Signal bezeichnet werden, und in ähnlicher Weise könnte ein zweites Signal als ein erstes Signal bezeichnet werden, ohne von dem Umfang der beispielhaften Ausführungsformen abzuweichen.
  • Räumlich relative Begriffe wie zum Beispiel ”unterhalb”, ”darunter”, ”niedriger”, ”unter”, ”darüber”, ”obere(r)”, usw., können hierin für die Einfachheit der Beschreibung dazu benutzt, um die Beziehung von einem Element oder Merkmal zu einem anderem Element oder Merkmal zu beschreiben, wie in den Figuren veranschaulicht. Es versteht sich, dass die räumlich relativen Begriffe dazu dienen, verschiedene Orientierungen der Vorrichtung während der Benutzung oder Operation, zusätzlich zu der in den Figuren dargestellten Orientierung zu umfassen. Falls die Vorrichtung zum Beispiel umgedreht wird, wären Elemente, die als ”unter” oder ”unterhalb von” anderen Elementen oder Merkmalen beschrieben sind, dann als ”über” den anderen Elementen oder Merkmalen bezeichnet. Folglich kann der beispielhafte Ausdruck ”darunter” die beiden Orientierungen, darüber und darunter, umfassen. Die Vorrichtung kann anderweitig orientiert sein (um 90 Grad gedreht oder in anderen Orientierungen) und die räumlich relativen Bezeichnungen, die hierin benutzt werden, sind entsprechend auszulegen.
  • Das hierin benutzte Fachvokabular hat nur den Zweck bestimmte Ausführungsformen zu beschreiben und es nicht dazu gedacht, die beispielhaften Ideen einzuschränken. Die hierin benutzten Singularformen ”ein(e)” und ”der/die/das”, sind so gemeint, dass sie ebenso die Pluralformen beinhalten, es sei denn, der Kontext deutet dies eindeutig nicht an. Es versteht sich weiterhin, dass die Begriffe „umfasst”, „umfassend”, „beinhaltet” und/oder „beinhaltend”, wenn sie in dieser Beschreibung benutzt werden, die Anwesenheit von genannten Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, und/oder Komponenten angeben, jedoch nicht die Anwesenheit oder Ergänzung von weiteren, einem oder mehreren anderen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen, Komponenten, und/oder daraus bestehenden Gruppen ausschließt.
  • In der Zwischenzeit, wenn es möglich ist, jede Ausführungsform in jeder anderen Weise zu implementieren, kann eine Funktion oder eine Operation in einem bestimmten Block unterschiedlich von einem in einem Flussdiagramm spezifizierten Fluss durchgeführt werden. Zum Beispiel können zwei aufeinanderfolgende Blöcke tatsächlich die Funktion oder die Operation gleichzeitig durchführen, und die beiden Blöcke können die Funktion oder die Operation umgekehrt gemäß einer verwandten Operation oder Funktion ausführen.
  • Wenn nicht anders festgelegt, so haben alle hierin benutzten Begriffe (einschließlich technische und wissenschaftliche Begriffe) die selbe Bedeutung, wie sie von einem Fachmann auf dem Gebiet der Technik, zu welchem die beispielhaften Ideen gehören, verstanden werden. Es versteht sich weiterhin, dass Begriffe, wie zum Beispiel solche, die in allgemein benutzten Wörterbüchern festgelegt werden, so verstanden werden, dass sie eine Bedeutung haben, welche konsistent ist mit ihrer Bedeutung im Zusammenhang der relevanten Technik und/oder der zu Grunde liegenden Beschreibung, und sollte nicht in einer idealisierten oder übermäßig formalen Art interpretiert werden, es sei denn, dies ist hierin ausdrücklich so festgelegt.
  • In der Zwischenzeit, wenn es möglich ist, jede Ausführungsform in jeder anderen Weise zu implementieren, kann eine Funktion oder eine Operation in einem bestimmten Block unterschiedlich von einem in einem Flussdiagramm spezifizierten Fluss durchgeführt werden. Zum Beispiel können zwei aufeinanderfolgende Blöcke tatsächlich die Funktion oder die Operation gleichzeitig durchführen, und die beiden Blöcke können die Funktion oder die Operation umgekehrt gemäß einer verwandten Operation oder Funktion ausführen.
  • Beispielhaften Ausführungsformen der erfinderischen Konzepte können als Hardware, Software oder Kombinationen aus Hardware und Software ausgeführt werden. Beispielhafte Ausführungsformen der erfinderischen Konzepte können auch als computerlesbare Codes auf einem computerlesbaren Medium ausgeführt werden. Das computerlesbare Aufzeichnungsmedium ist jede Datenspeichervorrichtung, die Daten, die danach durch ein Computersystem gelesen werden können, speichern kann. Beispiele für das computerlesbare Aufzeichnungsmedium gehören Nur-Lese-Speicher (ROM), ein Direktzugriffsspeicher (RAM), CD-ROMs, Magnetbänder, Disketten und optische Datenspeicher. Das computerlesbare Aufzeichnungsmedium kann auch über ein Netzwerk gekoppeltes Computersystem verteilt werden, so dass die computerlesbaren Codes in einer verteilten Weise gespeichert und ausgeführt werden. Außerdem können funktionelle Programme, Codes und Code-Segmente gemäß einer vorteilhaften Ausgestaltung der erfinderischen Konzepte von Programmierern mit gewöhnlichen Kenntnissen auf dem Gebiet, zu dem Ausführungsbeispiele der erfinderischen Konzepte gehören ausgelegt werden.
  • Einige beispielhafte Ausführungsformen, wie sie hierin offenbart sind, können Programmcodes mit Programmanweisungen, Software-Komponenten, Softwaremodule, Dateien, Datenstrukturen und/oder dergleichen umfassen, die durch eine oder mehrere physikalische Hardwarevorrichtungen implementiert werden. Beispiele von Programmcode umfassen sowohl Maschinencode, der durch einen Compiler erzeugt wird, als auch höherer Programmcode, der unter Verwendung eines Interpreters ausgeführt wird. Die Hardware-Vorrichtungen umfassen einen oder mehrere Prozessoren. Der eine oder die mehreren Prozessoren sind Computerverarbeitungsvorrichtungen, die konfiguriert sind zum Ausführen der arithmetischen, logischen und Eingabe/Ausgabeoperationen. Sobald der Programmcode in den einen oder die mehreren Prozessoren geladen wird, können der eine oder die mehreren Prozessoren programmiert werden, um den Programmcode auszuführen, um dadurch den einen oder die mehreren Prozessoren in Spezialprozessoren umzuwandeln.
  • Im Folgenden werden einige beispielhafte Ausführungsformen in weiteren Einzelheiten unter Bezugnahme auf die beigefügten Zeichnungen erläutert.
  • 1 ist ein Blockdiagramm eines Datenverarbeitungssystems 100, gemäß einer beispielhaften Ausführungsform der erfinderischen Ideen. Das Datenverarbeitungssystem 100 kann einen Prozessor 200, eine Vielzahl von Abbildungsvorrichtungen 310 und 320, einen externen Speicher 330 und eine Anzeige 340 umfassen. Das Datenverarbeitungssystem 100 kann beispielsweise als ein Personalcomputer (PC) oder als eine mobile Computervorrichtung zur Anwendung gebracht werden. Die mobile Computervorrichtung kann beispielsweise ein Laptop-Computer, ein Mobiltelefon, ein Smartphone, einen Tablet-PC, ein persönlicher digitaler Assistenten (PDA), ein Unternehmens-Digital-Assistent (EDA), eine Digitalkamera, eine digitale Videokamera, ein tragbarer Multimedia-Player (PMP), ein persönliches Navigationsgerät oder ein tragbares Navigationsgerät (PND), eine Handheld-Konsole, ein mobiles Internetgerät (MID), ein tragbarer Computer, ein Internet-der-Dinge-(IoT-)Gerät, eine Internet-von-Allem-(IOE-)Vorrichtung oder eine E-Buch sein, jedoch sind die erfinderischen Konzepte nicht auf diese Ausführungsbeispiele beschränkt.
  • Der Prozessor 200 kann als eine integrierte Schaltung (IC), eine Hauptplatine, ein Ein-Chip-System (SoC), ein Anwendungsprozessor (AP), ein Mobil-AP implementiert werden. Der Prozessor 200 kann Bus-Architektur (oder einen Bus) 201, eine zentrale Verarbeitungseinheit (CPU) 210, eine Vielzahl von Schnittstellen 220-1 und 220-2, einen Bildsignalprozessor (ISP) 230, eine Speichersteuerung 250 und eine Anzeigesteuerung 270 umfassen. Die CPU 210, der ISP 230, die Speichersteuerung 250 und die Anzeigesteuerung 270 können einen Befehl und/oder Daten miteinander durch die Busarchitektur 201 kommunizieren. Die Bus-Architektur 201 kann wie zum Beispiel durch einen Bus unter Verwendung eines Advanced-Microcontroller-Bus-Architecture-(AMBA-)Protokolls, einem Bus unter Verwendung eines Advanced-High-Performance-Bus(AHB-)Protokolls, einen Bus unter Verwendung eines Advanced-Peripheral-Bus-(APB-)Protokolls, einen Bus unter Verwendung eines AMBA-erweiterbaren Interconnect-(AXI-)Protokolls, oder einer Kombination davon implementiert werden.
  • Die CPU 210 kann den Gesamtbetrieb des Prozessors 200 steuern. Zum Beispiel kann die CPU 210 die Schnittstellen 220-1 und 220-2, den ISP 230, die Speichersteuerung 250 und die Anzeigesteuerung 270 steuern. Die CPU 210 kann wenigstens einen Kern umfassen.
  • Die erste Schnittstelle 220-1 kann zum Beispiel ein erstes Bild und erste Steuersignale von der ersten Abbildungsvorrichtung 310 empfangen und sie an den ISP 230 übertragen. Die zweite Schnittstelle 220-2 kann zum Beispiel ein zweites Bild und zweite Steuersignale von der zweiten Abbildungsvorrichtung 320 empfangen und sie an den ISP 230 übertragen. Das erste Bild kann sich beispielsweise auf das erste Bild, erste Bilddaten, ersten Datenstrom oder erste Frame-Daten beziehen. Das zweite Bild kann sich beispielsweise auf das zweite Bild, zweite Bilddaten, zweiten Datenstrom oder zweite Frame-Daten beziehen.
  • Die erste Abbildungsvorrichtung 310 kann beispielsweise als einen komplementären Metalloxid-Halbleiter-(CMOS-)Bildsensor-Chip oder als ein Kameramodul implementiert werden. Die erste Abbildungsvorrichtung 310 kann das erste Bild und die ersten Steuersignale an die erste Schnittstelle 220-1 unter Verwendung von beispielsweise eines mobilen Industrie-Prozessorschnittstelle-(MIPI-)Kamera-seriellen-Schnittstelle (CSI) übertragen. Die zweite Abbildungsvorrichtung 320 kann auch als ein CMOS-Bildsensor-Chip oder ein Kameramodul implementiert werden. Die zweite Abbildungsvorrichtung 320 kann das zweite Bild und die zweiten Steuersignale an die zweite Schnittstelle 220-2 unter Verwendung von beispielsweise einem MIPI-CSI übertragen. Die Auflösung des ersten Bildes kann sich von der des zweiten Bildes unterscheiden.
  • Der ISP 230 kann Zeitmultiplexverfahren (time-division multiplexing, TDM) auf dem ersten Bild und/oder dem zweiten Bild durchführen. Das TDM kann möglicherweise nicht in Einheiten von Frame-Daten durchgeführt werden. Stattdessen kann das TDM in Einheiten von Liniendaten ohne Verwendung des externen Speichers 330 durchgeführt werden. Der ISP 230 kann eine Vielzahl von Kernen aufweisen, um Bilder, die von den Abbildungsvorrichtungen 310 und 320 ausgegeben werden, in Einheiten von Liniendaten im TDM-Modus gleichzeitig, parallel oder im laufenden Betrieb zu verarbeiten. Dementsprechend kann der ISP 230 als Mehrkern-ISP implementiert werden.
  • Jeder der ISP-Kerne kann wenigstens Auto-Dunkel-Niveau-Kompensation, Schlechter-Pixel-Ersatz, Rauschreduzierung, Linsenschattierungskompensation, Farbkorrektur, RGB-Gammakorrektur, Kantenverbesserung, Farbton-Kontrolle und/oder Farbunterdrückung durchführen. Jedem der Blöcke 500-1, 500-3 und 500-4, die mit Bezug auf 10 später beschrieben werden, kann zum Beispiel wenigstens eine der vorhergehenden Operationen durchführen.
  • Um beispielsweise die ausgegebenen Bilder aus den Abbildungsvorrichtungen 310 und 320 in Einheiten von Liniendaten in TDM-Modus gleichzeitig, parallel, oder im laufenden Betrieb zu verarbeiten, kann ein ISP 230B, der in 11 gezeigt wird, eine Vielzahl von ISP-Kerne 601 und 603 und eine Vielzahl von Skalierern 609 und 611 enthalten.
  • Die Speichersteuerung 250 kann Liniendaten, die von dem ISP 230 in TDM-Modus verarbeitet wurden, in dem externen Speicher 330 speichern, gemäß der Steuerung der CPU 210. Die Anzeigesteuerung 270 kann Daten (z. B. Frame-Daten) von dem externen Speicher 330 zu der Anzeige 340 übertragen, gemäß der Steuerung der CPU 210. Zum Beispiel kann die Anzeigesteuerung 270 Daten (z. B. Rahmendaten) aus dem externen Speicher 330 an die Anzeige 340 unter Verwendung von beispielsweise einer seriellen MIPI-Anzeige-Schnittstelle (DSI) oder einem eingebettetem Display-Port (EDP) übertragen.
  • 2 ist ein Blockdiagramm, das ein Beispiel des ISP 230 aus 1 zeigt. Obwohl zwei Abbildungsvorrichtungen 310 und 320 und zwei ISP-Kerne 233-1 und 233-2 in der beispielhaften Ausführungsform aus 2 dargestellt sind, sind die erfinderischen Konzepte nicht auf die Anzahl von Abbildungsvorrichtungen und ISP-Kerne beschränkt. Wenn das Datenverarbeitungssystem 100 einen Dual-Kamera (einschließlich der Abbildungsvorrichtungen 310 und 320) umfasst, kann die erste Abbildungsvorrichtung 310 eine hintere Kamera sein und die zweite Abbildungsvorrichtung 320 kann eine vordere Kamera sein.
  • Ein ISP 230A-1 kann eine Multiplex-Steuerschaltung 231, die ISP-Kerne 233-1 und 233-2, eine Skalierungs-/Formatierungsschaltung 235, eine erste direkte Speicherzugriffs-(DMA)Steuerung 237, eine Multimedia-Verarbeitungsschaltung 239 und eine zweite DMA-Steuerung 241 umfassen. Die Multimedia-Verarbeitungsschaltung 239 kann beispielsweise als eine Joint-Photographic-Experts-Group-(JPEG-)Schaltung oder als eine Moving-Picture-Experts-Group-(MPEG-)Schaltung implementiert werden.
  • Die erste Schnittstelle 220-1 kann ein erstes Bild DATA1 und erste Steuersignale SYNC1 von der ersten Abbildungsvorrichtung 310 an die Multiplex-Steuerschaltung 231 übertragen. Die zweite Schnittstelle 220-2 kann ein zweites Bild DATA2 und zweite Steuersignale SYNC2 von der zweiten Abbildungsvorrichtung 320 an die Multiplex-Steuerschaltung 231 übertragen.
  • 4 ist ein Diagramm von Bildern, die von Abbildungsvorrichtungen nach einer beispielhaften Ausführungsform der erfinderischen Konzepte ausgegeben werden. Unter Bezugnahme auf 4 kann das erste Bild DATA1 eine Vielzahl von Liniendaten LA1 bis LAn umfassen. Das zweite Bild DATA2 kann eine Vielzahl von Liniendaten LB1 bis LBm umfassen. Hier sind ”n” und ”m” natürliche Zahlen von mindestens 4. Wenn die Auflösung des ersten Bildes DATA1 höher als die des zweiten Bildes DATA2 ist, kann ”n” größer als ”m” sein.
  • Die ersten Steuersignale SYNC1 sind bei der Verarbeitung des ersten Bildes DATA1 beteiligt und können ein erstes vertikales Synchronisationssignal (sync signal), ein erstes horizontales Synchronisationssignal, ein erstes Taktsignal, und ein erstes Datenfreigabesignal umfassen. Die zweiten Steuersignale SYNC2 sind bei der Verarbeitung des zweiten Bildes DATA2 beteiligt und können ein zweites vertikales Synchronisationssignal, ein zweites horizontales Synchronisationssignal, ein zweites Taktsignal, und ein zweites Datenfreigabesignal umfassen. Nachstehend können die ersten Steuersignale SYNC1 als ein erstes Synchronisationssignal SYNC1 bezeichnet werden und die zweiten Steuersignale SYNC2 können als ein zweites Synchronisationssignal SYNC2 bezeichnet werden.
  • Die Multiplex-Steuerschaltung 231 kann jede der Liniendaten LA1 bis LAn, die in dem ersten Bild DATA1 enthalten sind, an entweder den ersten ISP-Kern 233-1 oder den zweiten ISP-Kern 233-2 übertragen, basierend auf einem ersten Modus-Steuersignal SCS1, dem ersten Synchronisationssignal SYNC1, und dem zweiten Synchronisationssignal SYNC2. Die Multiplex-Steuerschaltung 231 kann auch jede der Liniendaten LB1 bis LBm, die in dem zweiten Bild DATA2 enthalten sind, an entweder den ersten ISP-Kern 233-1 oder den zweiten ISP-Kern 233-2 übertragen, basierend auf dem ersten Modus-Steuersignal SCS1, dem ersten Synchronisationssignal SYNC1, und dem zweiten Synchronisationssignal SYNC2.
  • Die Multiplex-Steuerschaltung 231 kann erste Ausgabedaten LD1 an den ersten ISP-Kern 233-1 gemäß dem ersten Modus-Steuersignal SCS1 ausgeben. Die ersten Ausgabedaten LD1 können beispielsweise die Liniendaten LA1 bis LAn des ersten Bildes DATA1, die Zeilendaten LB1 bis LBm des zweiten Bildes DATA2, oder wenigstens eine Liniendaten unter den Liniendaten LA1 bis LAn des ersten Bildes DATA1 und wenigstens eine Liniendaten unter den Liniendaten LB1 bis LBm des zweiten Bildes DATA2 umfassen, gemäß einem Betriebsmodus von jeder der Abbildungsvorrichtungen 310 und 320.
  • Wenn der erste ISP-Kern 233-1 ein aufgenommenes Bild verarbeitet, kann die erste Abbildungsvorrichtung 310 eine erste Operation (z. B. ein Bildaufnahmeoperation) durchführen, und die zweite Abbildungsvorrichtung 320 kann eine zweite Operation durchführen (z. B. eine Vorschauoperation), gemäß den Betriebsmodi der Abbildungsvorrichtungen 310 und 320. Dann kann die Multiplex-Steuerschaltung 231 die ersten Ausgabedaten 101, die das erste Bild DATA1 sind, das von der ersten Abbildungsvorrichtung 310 ausgegeben wird, an den ersten ISP-Kern 233-1 übertragen und kann zweite Ausgabedaten LD2, die das zweite Bild DATA2 sind, das von der zweiten Abbildungsvorrichtung 320 ausgegeben wird, an den zweiten ISP-Kern 233-2 übertragen. Die zweite Operation kann eine Operation sein, wie beispielsweise eine Aufnahmeoperation oder eine Vorschauoperation, die sich von der Bildaufnahmeoperation unterscheidet. Zu diesem Zeitpunkt kann die Multiplex-Steuerschaltung 231 ein drittes Synchronisationssignal SYNC1 zusammen mit den ersten Ausgabedaten 101 (= DATA1) an den ersten ISP-Kern 233-1 übertragen und kann auch zu dem ersten ISP-Kern 233-1 ein erstes Umschaltsteuersignal CSF1 übertragen, das anzeigt, dass jede Liniendaten in der ersten Ausgabedaten 101 (= DATA1) in dem ersten Bild DATA1 beteiligt sind. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem ersten Synchronisationssignal SYNC1 erzeugt werden. Des Weiteren kann die Multiplex-Steuerschaltung 231 ein viertes Synchronisationssignal SYNC2' zusammen mit den zweiten Ausgabedaten LD2 (= DATA2) an den zweiten ISP-Kern 233-n übertragen und kann auch zu dem zweiten ISP-Kern 233-n ein zweites Umschaltsteuersignal CSF2 übertragen, das anzeigt, dass jede Liniendaten in der zweiten Ausgabedaten LD2 (= DATA2) in dem zweiten Bild DATA2 beteiligt sind. Das vierte Synchronisationssignal SYNC2' kann basierend auf dem zweiten Synchronisationssignal SYNC2 erzeugt werden.
  • Der erste ISP-Kern 233-1 kann Elemente oder Komponenten (z. B. 500-1 bis 500-4 in 10) konfigurieren zum Verarbeiten aller Liniendaten, die in den ersten Ausgabedaten 101 (= DATA1) enthalten sind, gemäß dem ersten Umschaltsteuersignal CSF1. Der zweite ISP-Kern 233-2 kann seine Elemente oder Komponenten (oder Hardware-Komponenten) konfigurieren zum Verarbeiten aller Liniendaten, die in den zweiten Ausgabedaten LD2 (= DATA2) enthalten sind, gemäß dem zweiten Umschaltsteuersignal CSF2.
  • Wenn der erste ISP-Kern 233-1 ein aufgenommenes Bild verarbeitet, kann die erste Abbildungsvorrichtung 310 die zweite Operation (z. B. die Vorschauoperation) durchführen, und die zweite Abbildungsvorrichtung 320 kann die erste Operation durchführen (z. B. eine Bildaufnahmeoperation), gemäß den Betriebsmodi der Abbildungsvorrichtungen 310 und 320. Dann kann die Multiplex-Steuerschaltung 231 die zweiten Ausgabedaten LD2, die von der zweiten Abbildungsvorrichtung 320 ausgegeben werden, an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten LD1 übertragen und kann die ersten Ausgabedaten LD1, die von der ersten Abbildungsvorrichtung 310 ausgegeben werden, an den zweiten ISP-Kern 233-2 als die zweiten Ausgabedaten LD2 übertragen. Zu diesem Zeitpunkt kann die Multiplex-Steuerschaltung 231 das dritte Synchronisationssignal SYNC1' zusammen mit den ersten Ausgabedaten LD1 (= DATA2) an den ersten ISP-Kern 233-1 übertragen und kann auch das erste Umschaltsteuersignal CSF1, welches anzeigt, dass alle Liniendaten in den ersten Ausgabedaten LD1 (= DATA2) in dem zweiten Bild DATA2 beteiligt sind, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem zweiten Synchronisationssignal SYNC2 erzeugt werden. Des Weiteren kann die Multiplex-Steuerschaltung 231 das vierte Synchronisationssignal SYNC2' zusammen mit den zweiten Ausgabedaten LD2 (= DATA1) an den zweiten ISP-Kern 233-2 übertragen und kann auch das zweite Umschaltsteuersignal CSF2, welches anzeigt, dass alle Liniendaten in den zweiten Ausgabedaten LD2 (= DATA1) in dem ersten Bild DATA1 beteiligt sind, an den zweiten ISP-Kern 233-2 übertragen. Das vierte Synchronisationssignal SYNC2 kann basierend auf dem ersten Synchronisationssignal SYNC1 erzeugt werden.
  • Der erste ISP-Kern 233-1 kann seine Elemente (oder Komponenten) konfigurieren zum Verarbeiten aller Liniendaten, die in den ersten Ausgabedaten 101 (= DATA2) enthalten sind, gemäß dem ersten Umschaltsteuersignal CSF1. Der zweite ISP-Kern 233-2 kann seine Elemente konfigurieren zum Verarbeiten aller Liniendaten, die in den zweiten Ausgabedaten LD2 (= DATA1) enthalten sind, gemäß dem zweiten Umschaltsteuersignal CSF2.
  • Wenn der erste ISP-Kern 233-1 ein aufgenommenes Bild verarbeitet, können die erste Abbildungsvorrichtung 310 und die zweite Abbildungsvorrichtung 320 die erste Operation (z. B. die Bildaufnahmeoperation) durchführen, gemäß den Betriebsmodi der Abbildungsvorrichtungen 310 und 320. Dann kann die Multiplex-Steuerschaltung 231 das erste Bild DATA1, das von der ersten Abbildungsvorrichtung 310 ausgegeben wird, an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten 101 übertragen und kann das zweite Bild DATA2, das von der ersten Abbildungsvorrichtung 310 ausgegeben wird, an den zweiten ISP-Kern 233-2 als die ersten Ausgabedaten LD1 übertragen. Zum Beispiel, wie in gezeigt in 7 oder 8 oder 13A bis 13C, kann die Multiplex-Steuerschaltung 231 Liniendaten unter Verwendung von Zeitmultiplexing verschachteln (interleave).
  • Zu diesem Zeitpunkt kann die Multiplex-Steuerschaltung 231 das dritte Synchronisationssignal SYNC1' zusammen mit den ersten Ausgabedaten LD1 an den ersten ISP-Kern 233-1 übertragen und kann auch das erste Umschaltsteuersignal CSF1, welches anzeigt, dass alle Liniendaten in den ersten Ausgabedaten 101 in dem ersten oder zweiten Bild DATA1 oder DATA2 beteiligt sind, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem ersten Synchronisationssignal SYNC1 und dem zweiten Synchronisationssignal SYNC2 erzeugt werden.
  • Die ersten Ausgabedaten 101 können wenigstens eine Liniendaten unter den Liniendaten LA1 bis LAn des ersten Bildes DATA1 und wenigstens eine Liniendaten unter den Liniendaten LB1 bis LBm des zweiten Bildes DATA2 umfassen. Mit anderen Worten kann die Multiplex-Steuerschaltung 231 zeitgemultiplexte Liniendaten an den ersten ISP-Kern 233-1 unter Verwendung eines Daten-Interleaving-Verfahrens übertragen. Der erste ISP-Kern 233-1 kann die Konfiguration seiner Elemente entsprechend dem ersten Umschaltsteuersignal CSF1 ändern, das anzeigt, ob alle Liniendaten in den ersten Ausgabedaten 101 in dem ersten Bild DATA1 oder dem zweiten Bild DATA2 beteiligt sind.
  • Die Skalierungs-/Formatierungsschaltung 235 kann eine Skalierungsoperation auf Daten ausüben, die von dem ersten ISP-Kern 233-1 und/oder dem zweiten ISP-Kern 233-2 ausgegeben werden und kann das Format der skalierten Daten ändern, um die Daten in einem geänderten Format zu erzeugen. Zu diesem Zeitpunkt kann die Skalierungsoperation eine Hochskalierungsoperation oder eine Runterskalierungsoperation umfassen.
  • Die erste DMA-Steuerung 237 kann bearbeitete Bilder DATA1' und DATA2', die von der Skalierungs-/Formatierungsschaltung 235 in dem externen Speicher 330 über die Bus-Architektur 201 speichern. Das erste verarbeitete Bild DATA1 kann in einem ersten Speicherbereich 331 des externen Speichers 330 gespeichert werden, und des zweiten verarbeiteten Bild DATA2' kann in einem zweiten Speicherbereich 333 des externen Speichers 330 gespeichert werden. Der externe Speicher 330 kann zum Beispiel einen Direktzugriffsspeicher (RAM) oder einen dynamischen RAM (DRAM) umfassen.
  • Die Skalierungs-/Formatierungsschaltung 235 kann verarbeitet Daten an die Multimedia-Verarbeitungsschaltung 239 übertragen. Die Multimedia-Verarbeitungsschaltung 239 kann das erste verarbeitete Bild DATA1' aus dem externen Speicher 330 unter Verwendung der zweiten DMA-Steuerung 241 lesen oder abrufen, kann das erste verarbeitete Bild DATA1' verarbeiten und kann ein verarbeitetes Bild in den externen Speicher 330 unter Verwendung von der zweiten DMA-Steuerung 241 schreiben. Des Weiteren kann die Multimedia-Verarbeitungsschaltung 239 das zweite verarbeitete Bild DATA2' aus dem externen Speicher 330 unter Verwendung der zweiten DMA-Steuerung 241 lesen oder abrufen, kann das zweite verarbeitete Bild DATA2' verarbeiten und kann ein verarbeitetes Bild in den externen Speicher 330 unter Verwendung von der zweiten DMA-Steuerung 241 schreiben.
  • 3 ist ein Blockdiagramm, das ein anderes Beispiel des ISP 230 aus 1 zeigt. Bezugnehmend auf 2 und 3, enthält ein ISP 230A-2 die erste DMA-Steuerung 237 nicht. Die Struktur und die Operationen des ISP 230A-2 aus 3 sind im Wesentlichen die gleichen oder ähnlich zu denjenigen des ISP 230A-1 aus 2. Daher werden detaillierte Beschreibungen der Struktur und Operationen des ISP 230A-2 weggelassen.
  • In der beispielhaften Ausführungsform aus 3 kann die Skalierungs-/Formatierungsschaltung 235 verarbeitete Daten an die Multimedia-Verarbeitungsschaltung 239 übertragen. Die Multimedia-Verarbeitungsschaltung 239 kann die Daten verarbeiten, die von der Skalierungs-/Formatierungsschaltung 235 ausgegeben werden, und die verarbeiteten Bilder DATA1 und DATA2 in dem externen Speicher 330 durch die Bus-Architektur 201 unter Verwendung der zweiten DMA-Steuerung 241 speichern. Das erste verarbeitete Bild DATA1' kann in dem ersten Speicherbereich 331 des externen Speichers 330 gespeichert werden, und die zweiten verarbeiteten Bild DATA2' kann in dem zweiten Speicherbereich 333 des externen Speichers 330 gespeichert werden.
  • Die Multimedia-Verarbeitungsschaltung 239 aus 3 kann Liniendaten-Interleaving unterstützen. Wie gezeigt in 2 und 3 greift der ISP 230A-1 bzw. 230a-2 nicht auf einen externen Bildspeicher zu, bis ein Bild durch die ISP-Kerne 233-1 und 233-3 verarbeitet wird.
  • 5 ist ein Diagramm der Betriebsmodi der Abbildungsvorrichtungen 310 und 320, gemäß einer beispielhaften Ausführungsform der erfinderischen Konzepte. Bezugnehmend auf 2 und 5, arbeiten die beiden Abbildungsvorrichtungen 310 und 320 in einem Aufnahmemodus in einem ersten Fall CASE1. Die erste Abbildungsvorrichtung 310 arbeitet in dem Aufnahmemodus und die zweite Abbildungsvorrichtung 320 arbeitet in einem Vorschaumodus in einem zweiten Fall CASE2. Die Abbildungsvorrichtungen 310 und 320 können eine Bildaufnahmeoperation oder eine erste Operation in dem Aufnahmemodus ausführen.
  • Ein erstes Modus-Steuersignal SCS1 kann mit Informationen (oder Daten) über den Betriebsmodus jeder der Abbildungsvorrichtungen 310 und 320 in Verbindung stehen. Das erste Modus-Steuersignal SCS1 kann beispielsweise in einem Register, z. B. einem Register für spezielle Funktionen (SFR) programmiert oder gespeichert werden. Die CPU 210 kann das erste Modus-Steuersignal SCS1 in das Register programmieren oder setzen. Das erste Modus-Steuersignal SCS1 kann ein digitales Signal oder ein digitaler Code sein.
  • In dem ersten Fall CASE1 kann die Multiplex-Steuerschaltung 231 Liniendaten mittels Liniendaten-Interleaving verarbeiten. Im zweiten Fall CASE2, wird das erste Bild DATA1 durch den ersten ISP-Kern 233-1 verarbeitet und das zweite Bild DATA2 wird von dem zweiten ISP-Kern 233-2 verarbeitet. In einem dritten Fall Case3, in dem die erste Abbildungsvorrichtung 310 in dem Vorschaumodus arbeitet und die zweite Abbildungsvorrichtung 320 in dem Aufnahmemodus arbeitet, wird das erste Bild DATA1 von dem zweiten ISP-Kern 233-2 verarbeitet und das zweite Bild DATA2 durch den ersten ISP-Kern 233-1 verarbeitet.
  • 6 ist ein Blockdiagramm, das ein Beispiel für die Multiplex-Steuerschaltung 231 aus 2 oder 3 zeigt. 7 ist ein Zeitdiagramm, das das Zeitmultiplexverfahren von Liniendaten zeigt, das durch die Multiplex-Steuerschaltung 231A aus 6 ausgeführt wird, gemäß einer beispielhaften Ausführungsform der erfinderischen Idee.
  • Es wird angenommen, dass die Abbildungsvorrichtungen 310 und 320 in dem Aufnahmemodus betrieben werden und der erste ISP-Kern 233-1 ausschließlich die Bilder DATA1 und DATA2 von den jeweiligen Abbildungsvorrichtungen 310 und 320 verarbeitet. Zu diesem Zeitpunkt kann das erste Modus-Steuersignal SCS1 ein Signal sein, das anzeigt, dass beide Abbildungsvorrichtungen 310 und 320 in dem Aufnahmemodus arbeiten. Mit anderen Worten kann das erste Modus-Steuersignal SCS1 anzeigen, dass die Bilder DATA1 und DATA2 durch den ersten ISP-Kern 233-1 verarbeitet werden.
  • Mit Bezug auf 6 kann eine Multiplex-Steuerschaltung 231A eine Schaltbestimmungsschaltung 410, eine erste Auswahlschaltung 412, einen Linienspeicher 414, eine zweite Auswahlschaltung 416 und einen Synchronisationssignalgenerator 418 umfassen. Der Linienspeicher 414 kann als First-in-First-out-(FIFO-)Speicher implementiert werden. Der Linienspeicher 414 kann ein 1-Liniendatenspeicher sein.
  • Die Schaltbestimmungsschaltung 410 kann ein erstes Auswahlsignal SEL1, und ein zweites Auswahlsignal SEL2 auf Grundlage des ersten Modus-Steuersignals SCS1, des ersten Synchronisationssignals SYNC1 und des zweiten Synchronisationssignals SYNC2 erzeugen und kann auch das erste und das zweite Umschaltsteuersignal CSF1 und CSF2 erzeugen. Das erste Auswahlsignal SEL1 kann ein Signal zum Steuern der Auswahloperation der ersten Auswahlschaltung 412 sein. Wenn das erste Auswahlsignal SEL1 bei einem ersten Pegel (z. B. einem niedrigen Pegel oder logischen 0) ist, kann die erste Auswahlschaltung 412 Liniendaten an den Linienspeicher 414 übertragen, die in dem ersten Bild DATA1 gespeichert sind. Wenn das erste Auswahlsignal SEL1 bei einem zweiten Pegel (z. B. einem hohen Pegel oder logischen 1) ist, kann die erste Auswahlschaltung 412 Liniendaten an den Linienspeicher 414 übertragen, die in dem zweiten Bild DATA2 gespeichert sind. Mit anderen Worten, die erste Auswahlschaltung 412 kann als Ausgabe-Liniendaten SOUT Liniendaten an den Linienspeicher 414 ausgeben, die in dem ersten Bild DATA1 enthalten sind, oder Liniendaten ausgeben, die in dem zweiten Bild DATA2 enthalten sind.
  • Das zweite Auswahlsignal SEL2 kann ein Signal zum Steuern der Auswahloperation der zweiten Auswahlschaltung 416 sein. Die zweite Auswahlschaltung 416 kann Liniendaten ausgeben, die über eine erste Übertragungsleitung TL1 empfangen werden, Liniendaten LOUT, die aus dem Linienspeicher 414 empfangen werden, oder Liniendaten, die über eine zweite Übertragungsleitung TL2 durch einen ersten Ausgangsanschluss OUT oder einen zweiten Ausgangsanschluss OUT2 empfangen werden, als Reaktion auf das zweite Auswahlsignal SEL2. Die zweite Auswahlschaltung 416 kann Liniendaten ausgeben, die über die erste Übertragungsleitung TL1 durch den ersten Ausgangsanschluss OUT1 empfangen werden, und die Liniendaten, die über die zweite Übertragungsleitung TL2 über den zweiten Ausgangsanschluss OUT2 in Reaktion auf das zweite Auswahlsignal SEL empfangen werden. Die zweite Auswahlschaltung 416 kann auch die Liniendaten ausgeben, die über die erste Übertragungsleitung TL1 durch den zweiten Ausgangsanschluss OUT2 empfangen werden, und die Liniendaten, die über die zweite Übertragungsleitung TL2 über den ersten Ausgangsanschluss OUT1 in Reaktion auf das zweite Auswahlsignal SEL empfangen werden.
  • Jedes der ersten und zweiten Umschaltsteuersignale CSF1 und CSF2 können anzeigen, ob aktuell übertragene Liniendaten in dem ersten Bild DATA1 oder in dem zweiten Bild DATA2 enthalten ist.
  • Der Synchronisationssignalgenerator 418 kann das dritte Synchronisationssignal SYNC1' erzeugen, das in der Verarbeitung der ersten Ausgabedaten LD1 beteiligt ist, und das vierte Synchronisationssignal SYNC2' erzeugen, das in der Verarbeitung der zweiten Ausgabedaten LD2 beteiligt ist. Das dritte Synchronisationssignal SYNC1 kann basierend auf beiden oder auf einem des ersten und zweiten Synchronisationssignals SYNC1 und SYNC2 erzeugt werden. Das vierte Synchronisationssignal SYNC2' kann basierend auf beiden oder auf einem des ersten und zweiten Synchronisationssignals SYNC1 und SYNC2 erzeugt werden.
  • Es wird angenommen, dass die Abbildungsvorrichtungen 310 und 320 in dem Aufnahmemodus betrieben werden und der erste ISP-Kern 233-1 die Bilder DATA1 und DATA2 von den jeweiligen Abbildungsvorrichtungen 310 und 320 verarbeitet.
  • Wie in 7 gezeigt, wenn die Phase des ersten Synchronisationssignal SYNC1, das an einem ersten Zeitpunkt T11 eingegeben wird, die Phase des zweiten Synchronisationssignals SYNC2 anführt, das an einem zweiten Zeitpunkt T12 eingegeben wird, kann die Schaltbestimmungsschaltung 410 das zweite Auswahlsignal SEL2 zum Ausgeben der ersten Liniendaten LA1 des ersten Bildes DATA1 erzeugen, das durch die erste Übertragungsleitung TL1 an den ersten ISP-Kern 233-1 übertragen wird. Zu diesem Zeitpunkt kann die Schaltbestimmungsschaltung 410 das erste Auswahlsignal SEL1 auf dem zweiten Pegel erzeugen.
  • Die zweite Auswahlschaltung 416 kann die ersten Liniendaten LA1 des ersten Bildes DATA1 an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten LD1 übertragen, die durch die erste Übertragungsleitung TL1 empfangen werden. Zu diesem Zeitpunkt kann der Synchronisationssignalgenerator 418 das dritte Synchronisationssignal SYNC1', das bei der Übertragung (oder Verarbeitung) der ersten Ausgabedaten LD1 (= LA1) beteiligt ist, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem ersten Synchronisationssignal SYNC1 erzeugt werden.
  • Wenn die ersten Liniendaten LB1 des zweiten Bildes DATA2 in die Multiplex-Steuerschaltung 231A gegeben wird, während die ersten Liniendaten LA1 des ersten Bildes DATA1 an den ersten ISP-Kern 233-1 übertragen werden, kann die Schaltbestimmungsschaltung 410 das erste Auswahlsignal SEL1 auf dem zweiten Pegel erzeugen, so dass die ersten Liniendaten LB1 des zweiten Bildes DATA2 zu dem Linienspeicher 414 übertragen werden. Dementsprechend können die Ausgabe-Liniendaten SOUT von der ersten Auswahlschaltung 412, beispielsweise die ersten Liniendaten LB1 des zweiten Bildes DATA2 in den Linienspeicher 414 gespeichert werden.
  • Wenn die ersten Liniendaten LA1 des ersten Bildes DATA1 vollständig zu dem ersten ISP-Kern 233-1 übertragen werden, kann die Schaltbestimmungsschaltung 410 das zweite Auswahlsignal SEL2 zum Ausgeben an den ersten ISP-Kern 233-1 der ersten Liniendaten LB1 des zweiten Bildes DATA2 erzeugen, das in dem Linienspeicher 414 gespeichert ist. Die zweite Auswahlschaltung 416 kann die Ausgabe-Liniendaten LOUT des Linienspeichers 414, beispielsweise der ersten Liniendaten LB1 des zweiten Bildes DATA2 an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten LD1 übertragen. Zu diesem Zeitpunkt kann der Synchronisationssignalgenerator 418 das dritte Synchronisationssignal SYNC1', das bei der Übertragung (oder Verarbeitung) der ersten Ausgabedaten LD1 (= LB1) beteiligt ist, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem zweiten Synchronisationssignal SYNC2 erzeugt werden.
  • Wenn die Phase des ersten Synchronisationssignals SYNC1 die Phase des zweiten Synchronsignals SYNC2 führt, kann die Schaltbestimmungsschaltung 410 das zweite Auswahlsignal SEL2 zum Ausgeben der zweiten Liniendaten LA2 des ersten Bildes DATA1 an den ersten ISP-Kern 233-1 erzeugen. Die zweite Auswahlschaltung 416 kann die zweiten Liniendaten LA2 des ersten Bildes DATA1 an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten LD1 übertragen, die durch die erste Übertragungsleitung TL1 empfangen werden. Zu diesem Zeitpunkt kann der Synchronisationssignalgenerator 418 das dritte Synchronisationssignal SYNC1', das bei der Übertragung (oder Verarbeitung) der ersten Ausgabedaten LD1 (= LA2) beteiligt ist, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1 kann basierend auf dem ersten Synchronisationssignal SYNC1 erzeugt werden.
  • Wenn die zweiten Liniendaten LB2 des zweiten Bildes DATA2 in die Multiplex-Steuerschaltung 231A gegeben wird, während die zweiten Liniendaten LA2 des ersten Bildes DATA1 an den ersten ISP-Kern 233-1 übertragen werden, kann das Schaltbestimmungsschaltung 410 das erste Auswahlsignal SEL1 auf dem zweiten Pegel erzeugen, so dass die zweiten Liniendaten LB2 des zweiten Bildes DATA2 zu dem Linienspeicher 414 übertragen werden. Dementsprechend können die zweiten Liniendaten LB2 des zweiten Bildes DATA2 zu dem Linienspeicher 414 durch die erste Auswahlschaltung 412 übertragen werden.
  • Wenn die zweiten Liniendaten LA2 des ersten Bildes DATA1 vollständig zu dem ersten ISP-Kern 233-1 übertragen werden, kann die Schaltbestimmungsschaltung 410 das zweite Auswahlsignal SEL2 zum Ausgeben an den ersten ISP-Kern 233-1 der zweiten Liniendaten LOUT (= LB2) des zweiten Bildes DATA2 erzeugen, das in dem Linienspeicher 414 gespeichert ist. Die zweite Auswahlschaltung 416 kann die zweiten Liniendaten LOUT, beispielsweise die ersten Liniendaten LB2 des zweiten Bildes DATA2, das von dem Linienspeicher 414 empfangen wird, an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten LD1 übertragen. Zu diesem Zeitpunkt kann der Synchronisationssignalgenerator 418 das dritte Synchronisationssignal SYNC1', das bei der Übertragung (oder Verarbeitung) der ersten Ausgabedaten LD1 (= LB1) beteiligt ist, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem zweiten Synchronisationssignal SYNC2 erzeugt werden.
  • Die dritten Liniendaten LA3 des ersten Bildes DATA1 und die dritten Liniendaten LB3 des zweiten Bildes DATA2 können auch sequentiell zu dem ersten ISP-Kern 233-1 in dem TDM-Modus übertragen werden. Mit anderen Worten, die Liniendaten LA1 bis LAn des ersten Bildes DATA1 und die Liniendaten LB1 bis LBm des zweiten Bildes DATA2 können TDM gemäß Liniendaten-Interleaving unterworfen werden.
  • Wie in 7 gezeigt, können die Liniendaten LA1, LB1, LA2, LB2, LA3 und LB3, die von verschiedenen Abbildungsvorrichtungen 310 und 320 ausgegeben werden, in einem einzigen Strom oder in einem einzigen Bitstrom an den ersten ISP-Kern 233-1 übertragen werden. Alternativ, wie in 8 gezeigt, können die Liniendaten LB1, LA1, LB2, LA2, LB3 und LA3, die von verschiedenen Abbildungsvorrichtungen 310 und 320 ausgegeben werden, in einem einzigen Strom oder in einem einzigen Bitstrom an den ersten ISP-Kern 233-1 übertragen werden. Die Ausführungsformen aus 7 und 8 werden nur geliefert, um die erfinderischen Konzepte zu erläutern und die Reihenfolge und die Anzahl der Liniendaten, die in einem einzigen Datenstrom enthalten sind, können auf verschiedene Weise modifiziert werden.
  • 10 ist ein detailliertes Blockdiagramm des ersten ISP-Kerns 233-1 aus 2 oder 3, gemäß einer beispielhaften Ausführungsform der erfinderischen Konzepte. Die Struktur des ersten ISP-Kerns 233-1 ist im wesentlichen gleich oder ähnlich wie die des zweiten ISP-Kerns 233-2. Somit wird nur der Aufbau und Betrieb der ersten ISP-Kerns 233-1 beschrieben mit Bezug auf 10.
  • Unter Bezugnahme auf 10, kann der erste ISP-Kern 233-1 kann Elemente 500-1 bis 500-4 umfassen, die in Reihe geschaltet sind. Die Elemente 500-1 bis 500-4 können eine Kette oder eine Pipeline bilden. Die Elemente 500-1, 500-2 und 500-4 können Verarbeitungs-Schaltungen sein, die Liniendaten verarbeiten. Zum Beispiel können die Elemente 500-1, 500-2 und 500-4 wenigstens eines von Auto-Dunkel-Niveau-Kompensation, Schlechter-Pixel-Ersatz, Rauschreduzierung, Linsenschattierungskompensation, Farbkorrektur, RGB-Gammakorrektur, Kantenverbesserung, Farbton-Kontrolle und Farbeunterdrückung durchführen.
  • Das erste Umschaltsteuersignal CSF1 kann den Betrieb der Elemente 500-1 bis 500-4 steuern. Der erste Block 500-1 kann das erste Umschaltsteuersignal CSF1, die ersten Ausgabedaten LD1 und das dritte Synchronisationssignal SYNC1' empfangen und kann die ersten Ausgabedaten LD1 auf Basis des ersten Umschaltsteuersignals CSF1 und des dritten Synchronisationssignals SYNC1 verarbeiten.
  • Die Speichersteuerung 500-2 kann die Liniendaten, die von einem vorhergehenden Element ausgegeben werden, in einem ersten Puffer 510 oder einem zweiten Puffer 520 in Reaktion auf das erste Schaltsteuersignal CSF1 speichern. Der erste Puffer 510 kann verwendet werden, um die Liniendaten LA1 bis LAn zu speichern, die in dem ersten Bild DATA1 beinhaltet sind und der zweite Puffer 520 kann verwendet werden, um die Liniendaten LB1 bis LBn zu speichern, die in dem zweiten Bild DATA2 beinhaltet sind.
  • Der i-te Block 500-3 kann ein erstes Register REG1 und ein zweites Register REG2 enthalten. Das erste Register REG1 kann erste Parameter speichern, die verwendet werden, um die Liniendaten LA1 bis LAn zu verarbeiten, die in dem ersten Bild DATA1 enthalten sind. Das zweite Register REG2 kann zweite Parameter speichern, die verwendet werden, um die Liniendaten LB1 bis LBn zu verarbeiten, die in dem zweiten Bild DATA2 enthalten sind. Das erste Umschaltsteuersignal CSF1 kann benutzt werden, um die ersten Parameter in dem ersten Register REG1 einzustellen oder zu programmieren, und um die zweiten Parameter in dem zweiten Register REG2 zu programmieren oder einzustellen. Wenigstens eines der Elemente 500-1, 500-2 und/oder 500-4 kann die Liniendaten LA1 bis LAn verarbeiten, die in dem ersten Bild DATA1 enthalten sind, mittels dem ersten Parameter, verwendet und kann die Liniendaten LB1 bis LBn verarbeiten, die in dem zweiten Bild DATA2 enthalten sind, mittels dem zweiten Parameter.
  • Die k-te Block 500-4 kann Daten verarbeiten, die von einem vorhergehenden Element ausgegeben werden, basierend auf dem ersten Umschaltsteuersignal CSF1 und kann verarbeitete Daten an die Skalierungs-/Formatierungsschaltung 235 ausgeben.
  • Wenn beispielsweise die ersten Liniendaten LA1 des ersten Bildes DATA1 als erstes in den ersten ISP-Kern 233-1 eingegeben wird, wie in 7 gezeigt, kann der erste ISP-Kern 233-1 die Konfiguration der Elemente 500-1 bis 500-4 ändern, um die ersten Liniendaten LA1 in Reaktion auf das erste Umschaltsteuersignal CSF1 zu verarbeiten, das die Verarbeitung der ersten Liniendaten LA1 anweist. Wenn die ersten Liniendaten LB1 des zweiten Bildes DATA2 als zweites in den ersten ISP-Kern 233-1 eingegeben wird, kann der erste ISP-Kern 233-1 die Konfiguration der Elemente 500-1 bis 500-4 ändern, um die ersten Liniendaten LB1 in Reaktion auf das erste Umschaltsteuersignal CSF1 zu verarbeiten, das die Verarbeitung der ersten Liniendaten LB1 anweist. Wenn die zweiten Liniendaten LA2 des ersten Bildes DATA1 als drittes in den ersten ISP-Kern 233-1 eingegeben wird, kann der erste ISP-Kern 233-1 die Konfiguration der Elemente 500-1 bis 500-4 ändern, um die zweiten Liniendaten LA2 in Reaktion auf das erste Umschaltsteuersignal CSF1 zu verarbeiten, das die Verarbeitung der zweiten Liniendaten LA2 anweist.
  • Mit anderen Worten, der erste ISP-Kern 233-1 kann die Konfiguration der Elemente 500-1 bis 500-4 ändern, um momentane Liniendaten in Reaktion auf das erste Umschaltsteuersignal CSF1 zu ändern, das anzeigt, ob die aktuelle Liniendaten solche sind, die in dem ersten Bild DATA1, oder solche, die in dem zweiten Bild DATA2 enthalten sind. Zum Beispiel, wenn die aktuellen Liniendaten welche sind, die in dem ersten Bild DATA1 enthalten sind, können die Elemente 500-1 bis 500-4 des ersten ISP-Kerns 233-1 eingestellten werden, um eine erste Konfiguration zu haben. Wenn die aktuellen Liniendaten welche sind, die in dem zweiten Bild DATA2 enthalten sind, können die Elemente 500-1 bis 500-4 des ersten ISP-Kerns 233-1 eingestellten werden, um eine zweite Konfiguration zu haben.
  • Es wird angenommen, dass die Abbildungsvorrichtungen 310 und 320 in dem Aufnahmemodus betrieben werden und der erste ISP-Kern 233-1 ausschließlich die Bilder DATA1 und DATA2 von den jeweiligen Abbildungsvorrichtungen 310 und 320 verarbeitet. Wenn die Phase des ersten Synchronisationssignals SYNC1, das an einem vierten Zeitpunkt T22 eingegeben wird, hinter der Phase des zweiten Synchronisationssignals SYNC2 ist, das an einem dritten Zeitpunkt T21 eingegeben wird, wie in 8 gezeigt, kann die Multiplex-Steuerschaltung 231A die ersten Liniendaten LB1 des zweiten Bildes DATA2 an den ersten ISP-Kern 233-1 vor den ersten Liniendaten LA1 des ersten Bildes DATA1 übertragen.
  • Die Schaltbestimmungsschaltung 41 kann das zweite Auswahlsignal SEL2 zum Ausgeben der ersten Liniendaten LB1 des zweiten Bildes DATA2 an den ersten ISP-Kern 233-1 erzeugen. Zu diesem Zeitpunkt kann die Schaltbestimmungsschaltung 410 das erste Auswahlsignal SEL1 auf dem ersten Pegel erzeugen.
  • Die zweite Auswahlschaltung 416 kann die ersten Liniendaten LB1 des zweiten Bildes DATA2 an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten 101 übertragen, die durch die zweite Übertragungsleitung TL2 empfangen werden. Zu diesem Zeitpunkt kann der Synchronisationssignalgenerator 418 das dritte Synchronisationssignal SYNC1', das bei der Verarbeitung der ersten Ausgabedaten 101, wie beispielsweise LB1, beteiligt ist, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem zweiten Synchronisationssignal SYNC2 erzeugt werden.
  • Wenn die ersten Liniendaten LA1 des ersten Bildes DATA1 in die Multiplex-Steuerschaltung 231A gegeben wird, während die ersten Liniendaten LB1 des zweiten Bildes DATA2 an den ersten ISP-Kern 233-1 übertragen werden, kann die Schaltbestimmungsschaltung 410 das erste Auswahlsignal SEL1 auf dem ersten Pegel erzeugen, so dass die ersten Liniendaten LA1 des ersten Bildes DATA1 zu dem Linienspeicher 414 übertragen werden. Die erste Auswahlschaltung 412 kann die ersten Liniendaten LA1 des ersten Bildes DATA1 an den Linienspeicher 414 in Reaktion auf das erste Auswahlsignal SEL1 in dem ersten Pegel übertragen. Dementsprechend kann der Zeilenspeicher 414 die ersten Liniendaten LA1 des ersten Bildes DATA1 speichern.
  • Wenn die ersten Liniendaten LB1 des zweiten Bildes DATA2 vollständig zu dem ersten ISP-Kern 233-1 übertragen werden, kann die Schaltbestimmungsschaltung 410 das zweite Auswahlsignal SEL2 zum Ausgeben an den ersten ISP-Kern 233-1 der ersten Liniendaten LA1 des ersten Bildes DATA1 erzeugen, das in dem Linienspeicher 414 gespeichert ist. Die zweite Auswahlschaltung 416 kann die ersten Liniendaten LOUT, beispielsweise LA1 des ersten Bildes DATA1 von dem Linienspeicher 414 an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten 101 übertragen. Zu diesem Zeitpunkt kann der Synchronisationssignalgenerator 418 das dritte Synchronisationssignal SYNC1', das bei der Verarbeitung der ersten Ausgabedaten 101, wie beispielsweise LA1, beteiligt ist, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem ersten Synchronisationssignal SYNC1 erzeugt werden.
  • Wenn die Phase des ersten Synchronisationssignals SYNC1 der Phase des zweiten Synchronsignals SYNC2 nachläuft, kann die Schaltbestimmungsschaltung 410 das zweite Auswahlsignal SEL2 zum Ausgeben der zweiten Liniendaten LB2 des ersten Bildes DATA2 an den ersten ISP-Kern 233-1 erzeugen. Zu diesem Zeitpunkt kann die Schaltbestimmungsschaltung 410 das erste Auswahlsignal SEL1 auf dem ersten Pegel erzeugen.
  • Die zweite Auswahlschaltung 416 kann die zweiten Liniendaten LB1 des zweiten Bildes DATA2 an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten LD1 übertragen, die durch die zweite Übertragungsleitung TL2 empfangen werden. Zu diesem Zeitpunkt kann der Synchronisationssignalgenerator 418 das dritte Synchronisationssignal SYNC1', das bei der Verarbeitung der ersten Ausgabedaten LD1 (= LB2) beteiligt ist, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem zweiten Synchronisationssignal SYNC2 erzeugt werden.
  • Wenn die zweiten Liniendaten LA2 des ersten Bildes DATA1 in die Multiplex-Steuerschaltung 231A gegeben wird, während die zweiten Liniendaten LB2 des zweiten Bildes DATA2 an den ersten ISP-Kern 233-1 übertragen werden, kann die Schaltbestimmungsschaltung 410 das erste Auswahlsignal SEL1 auf dem ersten Pegel erzeugen, so dass die zweiten Liniendaten LA2 des ersten Bildes DATA1 zu dem Linienspeicher 414 übertragen werden. Zu diesem Zeitpunkt kann die erste Auswahlschaltung 412 die zweiten Liniendaten LA2 des ersten Bildes DATA1 an den Linienspeicher 414 in Reaktion auf das erste Auswahlsignal SEL1 in dem ersten Pegel übertragen. Dementsprechend kann der Zeilenspeicher 414 die zweiten Liniendaten LA2 des ersten Bildes DATA1 speichern.
  • Wenn die zweiten Liniendaten LB2 des zweiten Bildes DATA2 vollständig zu dem ersten ISP-Kern 233-1 übertragen werden, kann die Schaltbestimmungsschaltung 410 das zweite Auswahlsignal SEL2 zum Ausgeben an den ersten ISP-Kern 233-1 der zweiten Liniendaten LA2 des ersten Bildes DATA1 erzeugen, das in dem Linienspeicher 414 gespeichert ist. Die zweite Auswahlschaltung 416 kann die zweiten Liniendaten LOUT, beispielsweise LA2 des ersten Bildes DATA1, die von dem Linienspeicher 414 empfangen werden, an den ersten ISP-Kern 233-1 als die ersten Ausgabedaten LD1 übertragen. Zu diesem Zeitpunkt kann der Synchronisationssignalgenerator 418 das dritte Synchronisationssignal SYNC1', das bei der Verarbeitung der ersten Ausgabedaten LD1, wie beispielsweise LA2, beteiligt ist, an den ersten ISP-Kern 233-1 übertragen. Das dritte Synchronisationssignal SYNC1 kann basierend auf dem ersten Synchronisationssignal SYNC1 erzeugt werden.
  • Die dritten Liniendaten LB3 des zweiten Bildes DATA2 und die dritten Liniendaten LA3 des ersten Bildes DATA1 können auch sequentiell zu dem ersten ISP-Kern 233-1 in dem TDM-Modus übertragen werden. Mit anderen Worten, die Liniendaten LB1 bis LBm des zweiten Bildes DATA2 und die Liniendaten LA1 bis LAn des ersten Bildes DATA1 können TDM, gemäß Liniendaten-Interleaving unterworfen werden.
  • Die Speichersteuerung 500-2 kann Daten, die von einem vorhergehenden Element ausgegeben werden, in einem ersten Puffer 510 oder einem zweiten Puffer 520 in Reaktion auf das erste Schaltsteuersignal CSF1 speichern. Wenn beispielsweise die ersten Liniendaten LB1 des zweiten Bildes DATA2 als erstes in den ersten ISP-Kern 233-1 eingegeben wird, wie in 8 gezeigt, kann der erste ISP-Kern 233-1 die Konfiguration der Elemente 500-1 bis 500-4 ändern, um die ersten Liniendaten LB1 in Reaktion auf das erste Umschaltsteuersignal CSF1 zu verarbeiten, das die Verarbeitung der ersten Liniendaten LB1 anweist.
  • Wenn die ersten Liniendaten LA1 des ersten Bildes DATA1 als zweites in den ersten ISP-Kern 233-1 eingegeben wird, kann der erste ISP-Kern 233-1 die Konfiguration der Elemente 500-1 bis 500-4 ändern, um die ersten Liniendaten LA1 in Reaktion auf das erste Umschaltsteuersignal CSF1 zu verarbeiten, das die Verarbeitung der ersten Liniendaten LA1 anweist. Wenn die zweiten Liniendaten LB2 des zweiten Bildes DATA2 als drittes in den ersten ISP-Kern 233-1 eingegeben wird, kann der erste ISP-Kern 233-1 die Konfiguration der Elemente 500-1 bis 500-4 ändern, um die zweiten Liniendaten LB2 in Reaktion auf das erste Umschaltsteuersignal CSF1 zu verarbeiten, das die Verarbeitung der zweiten Liniendaten LB2 anweist.
  • Mit anderen Worten, der erste ISP-Kern 233-1 kann die Konfiguration der Elemente 500-1 bis 500-4 in Hinsicht auf alle Liniendaten ändern, um momentane Liniendaten in Reaktion auf das erste Umschaltsteuersignal CSF1 zu ändern, das anzeigt, ob die aktuelle Liniendaten solche sind, die in dem ersten Bild DATA1, oder solche, die in dem zweiten Bild DATA2 enthalten sind.
  • 9 ist ein Blockdiagramm, das ein weiteres Beispiel für die Multiplex-Steuerschaltung 231 aus 2 oder 3 zeigt. Unter Bezugnahme auf 9, kann eine Multiplex-Steuerschaltung 231B eine Schaltbestimmungsschaltung 410A, einen ersten Linienspeicher 420-1, einen zweiten Linienspeicher 420-2, eine Auswahlschaltung 422 und einen Synchronisationssignalgenerator 424 enthalten.
  • Der erste Linienspeicher 420-1 kann Liniendaten speichern, die in dem ersten Bild DATA1 enthalten sind und kann gespeicherte Liniendaten LOUT1 an die Auswahlschaltung 422 übertragen. Der zweite Linienspeicher 420-2 kann Liniendaten speichern, die in dem zweiten Bild DATA2 enthalten sind und kann gespeicherte Liniendaten LOUT2 an die Auswahlschaltung 422 übertragen. Jeder des ersten Linienspeichers 420-1 und des zweiten Linienspeichers 420-2 kann als beispielsweise ein FIFO-Speicher realisiert werden.
  • Der Synchronisationssignalgenerator 424 kann das dritte Synchronisationssignal SYNC1' basierend auf dem ersten Synchronisationssignal SYNC1 erzeugen und kann das vierte Synchronisationssignal SYNC2 basierend auf dem zweiten Synchronisationssignal SYNC2 erzeugen. Gemäß einigen beispielhaften Ausführungsformen kann der Synchronisationssignalgenerator 424 das dritte Synchronisationssignal SYNC1' basierend auf sowohl dem ersten und zweiten Synchronisationssignal SYNC1 und SYNC2 erzeugen.
  • Die Schaltbestimmungsschaltung 410 kann ein Auswahlsignal SEL auf Grundlage des ersten Modus-Steuersignals SCS1, des ersten Synchronisationssignals SYNC1 und des zweiten Synchronisationssignals SYNC2 erzeugen und kann auch das erste und das zweite Umschaltsteuersignal CSF1 und CSF2 erzeugen.
  • Wenn die Phase des ersten Synchronisationssignals SYNC1 vor der Phase des zweiten Synchronisationssignals SYNC2 führt, wie in 7 gezeigt, können jede Liniendaten, die in dem ersten Bild DATA enthalten sind, als die ersten Ausgabedaten LD1 zu dem ersten ISP-Kern 233-1 durch eine dritte Übertragungsleitung TL3 und den ersten Ausgangsanschluss OUT1 der Auswahlschaltung 422 übertragen werden und alle Liniendaten, die in dem zweiten Bild DATA2 enthalten sind, können als erste Ausgabedaten LD1 an den ersten ISP-Kern 233-1 durch den zweiten Linienspeicher 420-2 und den ersten Ausgangsanschluss OUT1 der Auswahlschaltung 422 übertragen werden.
  • Folglich kann die Multiplex-Steuerschaltung 231B die Liniendaten LA1, LB1, LA2, LB2, LA3 und LB3 an den ersten ISP-Kern 233-1 in TDM-Modus nacheinander übertragen. Des Weiteren kann die Multiplex-Steuerschaltung 231B auch das dritte Synchronisationssignal SYNC1' zu dem ersten ISP-Kern 233-1 zusammen mit jedem der Liniendaten LA1, LB1, LA2, LB2, LA3 und LB3 übertragen. Das dritte Synchronisationssignal SYNC1' kann basierend auf dem ersten und zweiten Synchronisationssignal SYNC1 und SYNC2 erzeugt werden.
  • Wenn die Phase des ersten Synchronisationssignals SYNC1 hinter der Phase des zweiten Synchronisationssignal SYNC2 her hinkt, wie gezeigt in 8; können jede Liniendaten, die in dem zweiten Bild DATA2 enthalten sind, als die ersten Ausgabedaten LD1 zu dem ersten ISP-Kern 233-1 durch eine vierte Übertragungsleitung TL4 und den ersten Ausgangsanschluss OUT1 der Auswahlschaltung 422 übertragen werden und alle Liniendaten, die in dem ersten Bild DATA1 enthalten sind, können als erste Ausgabedaten LD1 an den ersten ISP-Kern 233-1 durch den zweiten Linienspeicher 420-2 und den ersten Ausgangsanschluss OUT1 der Auswahlschaltung 422 übertragen werden.
  • Folglich kann die Multiplex-Steuerschaltung 231B die Liniendaten LB1, LA1, LB2, LA2, LB3 und LA3 an den ersten ISP-Kern 233-1 in TDM-Modus nacheinander übertragen. Des Weiteren kann die Multiplex-Steuerschaltung 231B auch das dritte Synchronisationssignal SYNC1' zu dem ersten ISP-Kern 233-1 zusammen mit jedem der Liniendaten LB1, LA1, LB2, LA2, LB3 und LA3 übertragen. Das dritte Synchronisationssignal SYNC1 kann basierend auf dem ersten und zweiten Synchronisationssignal SYNC1 und SYNC2 erzeugt werden.
  • 11 ist ein Blockdiagramm, das noch ein anderes Beispiel des ISP 230 aus 1 zeigt. Unter Bezugnahme auf 11, kann ein ISP 230B einen ersten ISP-Kern 601, einen zweiten ISP-Kern 603 und eine Skalierungs-/Formatierungsschaltung 605 umfassen.
  • Der erste ISP-Kern 601 kann das erste Synchronisationssignal SYNC1 und das erste Bild DATA1 aus der ersten Abbildungsvorrichtung 310 empfangen, das erste Bild DATA1 verarbeiten, und ein drittes Bild PDATA1 und das erste Synchronisationssignal SYNC1 erzeugen. Obwohl es in 11 dargestellt ist, dass das erste Synchronisationssignal SYNC1, das in den ersten ISP-Kern 601 eingegeben wird, das gleiche wie das erste Synchronisationssignal SYNC1 ist, das von dem ersten ISP-Kern 601 ausgegeben wird, kann das erste Synchronisationssignal SYNC1, das in dem ersten ISP-Kern 601 eingegeben wird, sich von dem ersten Synchronisationssignal SYNC1 unterscheiden, das von dem ersten ISP-Kern 601 ausgegeben wird.
  • Der zweite ISP-Kern 602 kann das zweite Synchronisationssignal SYNC2 und das zweite Bild DATA2 aus der zweiten Abbildungsvorrichtung 320 empfangen, das zweite Bild DATA2 verarbeiten, und ein viertes Bild PDATA2 und das zweite Synchronisationssignal SYNC2 erzeugen. Obwohl es in 11 dargestellt ist, dass das zweite Synchronisationssignal SYNC2, das in den zweiten ISP-Kern 602 eingegeben wird, das gleiche wie das zweite Synchronisationssignal SYNC2 ist, das von dem zweiten ISP-Kern 602 ausgegeben wird, kann das zweite Synchronisationssignal SYNC2, das in den zweiten ISP-Kern 602 eingegeben wird, sich von dem zweiten Synchronisationssignal SYNC2 unterscheiden, das von dem zweiten ISP-Kern 602 ausgegeben wird.
  • Die Skalierungs-/Formatierungsschaltung 605 kann eine Multiplex-Steuerschaltung 607, einen ersten Skalierer 609, einen zweiten Skalierer 611 und eine Formatierungsschaltung 613 umfassen. Ein erstes Skalierungsverhältnis des ersten Skalierers 609 kann das gleiche sein wie das Skalierungsverhältnis von dem zweiten Skalierer 611, oder kann sich davon unterscheiden. Das erste Skalierungsverhältnis und das zweite Skalierungsverhältnis kann geändert werden.
  • Die Multiplex-Steuerschaltung 607 kann jede der Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, zu dem ersten Skalierer 609 oder dem zweiten Skalierer 611 übertragen, basierend auf einem zweiten Modus-Steuersignal SCS2 und dem ersten und zweiten Synchronisationssignal SYNC1 und SYNC2. Die Multiplex-Steuerschaltung 607 kann auch jede der Liniendaten, die in dem vierte Bild PDATA2 enthalten sind, zu dem ersten Skalierer 609 oder dem zweiten Skalierer 611 übertragen, basierend auf dem zweiten Modus-Steuersignal SCS2 und dem ersten und zweiten Synchronisationssignal SYNC1 und SYNC2.
  • Die Multiplex-Steuerschaltung 607 kann erste Ausgabedaten SDATA1 an den ersten Skalierer 609 gemäß dem zweiten Modus-Steuersignal SCS2 ausgeben. Entsprechend den Betriebsmodi der Abbildungsvorrichtungen 310 und 320, können die ersten Ausgabedaten SDATA1 alle Liniendaten umfassen, die in dem vierten Bild PDATA2 enthalten sind, oder kann wenigstens eine Liniendaten unter einer Vielzahl von Liniendaten enthalten, die in dem dritten Bild PDATA1 enthalten sind und/oder wenigstens eine Liniendaten unter einer Vielzahl von Liniendaten, die in dem vierten Bild PDATA2 enthalten sind.
  • Wenn der erste Skalierer 609 ausschließlich ein aufgenommenes Bild verarbeitet, kann die erste Abbildungsvorrichtung 310 eine erste Operation (z. B. ein Bildaufnahmeoperation) durchführen, und die zweite Abbildungsvorrichtung 320 kann eine zweite Operation durchführen (z. B. eine Vorschauoperation), gemäß den Betriebsmodi der Abbildungsvorrichtungen 310 und 320. Die Multiplex-Steuerschaltung 607 kann das dritte Bild PDATA1, das von dem ersten ISP-Kern 601 empfangen wird, an den ersten Skalierer 609 als erste Ausgabedaten SDATA1 übertragen und kann das vierte Bild PDATA2, das von dem zweiten ISP-Kern 603 empfangen wird, zu dem zweiten Skalierer 611 als zweite Ausgangsdaten SDATA2 übertragen. Zu diesem Zeitpunkt kann die Multiplex-Steuerschaltung 607 ein Synchronisationssignal zusammen mit den ersten Ausgabedaten SDATA1 an den ersten Skalierer 609 übertragen und kann des Weiteren an den ersten Skalierer 609 ein erstes Skalierer-Steuersignal CTRL1 übertragen, das anzeigt, dass Liniendaten, die in den ersten Ausgabedaten SDATA1 enthalten sind, von dem dritten Bild PDATA1 sind. Zu diesem Zeitpunkt kann das Synchronisationssignal auf Basis des ersten Synchronisationssignals SYNC1 erzeugt werden. Des Weiteren kann die Multiplex-Steuerschaltung 607 ein Synchronisationssignal zusammen mit den zweiten Ausgabedaten SDATA2 an den zweiten Skalierer 611 übertragen und kann des Weiteren an den zweiten Skalierer 611 ein zweites Skalierer-Steuersignal CTRL2 übertragen, das anzeigt, dass Liniendaten, die in den zweiten Ausgabedaten SDATA3 enthalten sind, von dem vierten Bild PDATA2 sind. Zu diesem Zeitpunkt kann das Synchronisationssignal auf Basis des zweiten Synchronisationssignals SYNCs erzeugt werden.
  • Der erste Skalierer 609 kann seine Elemente einstellen zum Verarbeiten aller Liniendaten, die in den ersten Ausgabedaten SDATA1 enthalten sind, gemäß dem ersten Skalierer-Steuersignal CTRL1. Der zweite Skalierer 611 kann seine Elemente einstellen zum Verarbeiten aller Liniendaten, die in den zweiten Ausgabedaten SDATA2 enthalten sind, gemäß dem zweiten Skalierer-Steuersignal CTRL2.
  • Wenn der erste Skalierer 609 ausschließlich ein aufgenommenes Bild verarbeitet, kann die erste Abbildungsvorrichtung 310 die zweite Operation (z. B. die Vorschauoperation) durchführen, und die zweite Abbildungsvorrichtung 320 kann die erste Operation durchführen (z. B. eine Bildaufnahmeoperation), gemäß den Betriebsmodi der Abbildungsvorrichtungen 310 und 320. Die Multiplex-Steuerschaltung 607 kann das vierte Bild PDATA2, das von dem zweiten ISP-Kern 603 empfangen wird, an den ersten Skalierer 609 als erste Ausgabedaten SDATA1 übertragen und kann das dritte Bild PDATA1, das von dem ersten ISP-Kern 601 empfangen wird, zu dem zweiten Skalierer 611 als zweite Ausgangsdaten SDATA2 übertragen. Zu diesem Zeitpunkt kann die Multiplex-Steuerschaltung 607 ein Synchronisationssignal zusammen mit den ersten Ausgabedaten SDATA1 (z. B. PDATA2) an den ersten Skalierer 609 übertragen und kann des Weiteren an den ersten Skalierer 609 das erste Skalierer-Steuersignal CTRL1 übertragen, das anzeigt, dass Liniendaten, die in den ersten Ausgabedaten SDATA1 (z. B. PDATA2) enthalten sind, von dem vierten Bild PDATA2 sind. Zu diesem Zeitpunkt kann das Synchronisationssignal auf Basis des zweiten Synchronisationssignals SYNCs erzeugt werden. Des Weiteren kann die Multiplex-Steuerschaltung 607 ein Synchronisationssignal zusammen mit den zweiten Ausgabedaten SDATA2 (z. B. PDAT1) an den zweiten Skalierer 611 übertragen und kann des Weiteren an den zweiten Skalierer 611 das zweite Skalierer-Steuersignal CTRL2 übertragen, das anzeigt, dass Liniendaten, die in den zweiten Ausgabedaten SDATA2 (= PDAT1) enthalten sind, von dem dritten Bild PDATA1 sind. Zu diesem Zeitpunkt kann das Synchronisationssignal auf Basis des ersten Synchronisationssignals SYNC1 erzeugt werden.
  • Der erste Skalierer 609 kann seine Elemente einstellen zum Verarbeiten aller Liniendaten, die in den ersten Ausgabedaten SDATA1 (z. B. PDAT2) enthalten sind, gemäß dem ersten Skalierer-Steuersignal CTRL1. Der zweite Skalierer 611 kann seine Elemente einstellen zum Verarbeiten aller Liniendaten, die in den zweiten Ausgabedaten SDATA2 (z. B. PDAT1) enthalten sind, gemäß dem zweiten Skalierer-Steuersignal CTRL2.
  • Wenn der erste Skalierer 609 ausschließlich ein erfasstes Bild verarbeitet und die beiden ersten und zweiten Abbildungsvorrichtungen 310 und 320 entsprechend den Betriebsarten der Abbildungsvorrichtungen 310 und 320 die erste Operation (z. B. eine Bildaufnahmeoperation) ausführen, kann die Multiplex-Steuerschaltung 607 das dritte Bild PDATA1, das von dem ersten ISP-Kern 601 empfangen wird, an den ersten Skalierer 609 als die ersten Ausgabedaten SDATA1 (z. B. PDATA1) übertragen und kann des Weiteren das vierte Bild PDATA2, das von dem zweiten ISP-Kern 603 empfangen wird, an den ersten Skalierer 609 als die ersten Ausgabedaten SDATA1 (= PDATA2) übertragen. Zu diesem Zeitpunkt kann die Multiplex-Steuerschaltung 607 ein Synchronisationssignal zusammen mit den ersten Ausgabedaten SDATA1 an den ersten Skalierer 609 übertragen und kann des Weiteren an den ersten Skalierer 609 das erste Skalierer-Steuersignal CTRL1 übertragen, das anzeigt, dass Liniendaten, die in den ersten Ausgabedaten SDATA1 enthalten sind, entweder von dem dritten Bild PDATA1 oder dem vierten Bild PDATA2 sind. Zu diesem Zeitpunkt kann das Synchronisationssignal basierend auf dem ersten und zweiten Synchronisationssignal SYNC1 und SYNC2 erzeugt werden.
  • Zu diesem Zeitpunkt können die ersten Ausgabedaten SDATA1 kann wenigstens eine Liniendaten unter den Liniendaten umfassen, die in dem dritten Bild PDATA1 enthalten sind und wenigstens eine Liniendaten unter den Zeilendaten umfassen, die in dem vierten Bild PDATA2 enthalten sind. Mit anderen Worten kann die Multiplex-Steuerschaltung 607 zeitgemultiplexte Liniendaten an den ersten Skalierer 609 mittels Liniendaten-Interleaving übertragen.
  • Der erste Skalierer 609 kann eine Skalierungsoperation auf den ersten Ausgabedaten SDATA1 ausführen, entsprechend dem ersten Skalierer-Steuersignal CTRL1 und ein erstes skaliertes Bild SDATA3 ausgeben. Der zweite Skalierer 609 kann eine Skalierungsoperation auf den zweiten Ausgabedaten SDATA3 ausführen, entsprechend dem zweiten Skalierer-Steuersignal CTRL2 und ein zweites skaliertes Bild SDATA4 ausgeben. Die Skalierungsoperation, die von jedem der Skalierer 609 und 611 ausgeführt wird, kann eine Hochskalierungsoperation oder eine Runterskalierungsoperation sein. Die Hochskalierungsoperation kann sich auf eine Hochskalierung oder Up-Sampling beziehen und die Runterskalierungsoperation kann sich auf eine Runterskalierung oder Down-Sampling beziehen.
  • Jeder der Skalierer 620 und 611 kann die ersten Ausgabedaten SDATA1 und/oder die zweiten Ausgabedaten SDATA2 in einem Puffer 620 speichern Die ersten Ausgabedaten SDATA1 können in einem ersten Speicherbereich 621 des Puffers 620 gespeichert werden und die zweiten Ausgabedaten SDATA2 können in einem zweiten Speicherbereich 622 des Puffers 620 gespeichert werden.
  • Jeder der Skalierer 609 und 611 kann Skalierung unter Verwendung einer Vielzahl von Liniendaten LA1, LA2, ... durchführen, die in den ersten Ausgabedaten SDATA1 enthalten sind, die in dem Puffer 620 gespeichert sind und/oder einer Vielzahl von Liniendaten LB1, LB2, ..., die in den zweiten Ausgabedaten SDATA2 enthalten sind, die in dem Puffer 620 gespeichert sind. Die Formatierungsschaltung 613 kann Formate der skalierten Bilder SDATA3 und SDATA4 bestimmen, die jeweils von den Skalierern 609 und 611 ausgegeben werden.
  • 12 ist ein Blockdiagramm, das ein Beispiel für die Multiplex-Steuerschaltung 607 aus 11 zeigt. Mit Bezug auf 12 kann eine Multiplex-Steuerschaltung 607A eine Schaltbestimmungsschaltung 630, eine erste Auswahlschaltung 632, einen Linienspeicher 634, eine zweite Auswahlschaltung 636 umfassen.
  • Das zweite Modus-Steuersignal SCS2 kann ein Anzeigesignal sein, das einen Betrieb von jedem der Skalierer 609 und 611 anzeigt. Es wird angenommen, dass der erste Skalierer 609 einer ist, der konfiguriert ist zum Skalieren eines aufgenommenen Bildes und die erste und zweite Abbildungsvorrichtung 310 und 320 arbeiten in Aufnahmemodus.
  • Wenn die Phase des ersten Synchronisationssignals SYNC1 vor der Phase des zweiten Synchronsignals SYNC2 in CASE4 führt, verarbeitet die Multiplex-Steuerschaltung 607A Liniendaten, die in dem dritten Bild PDATA1 enthalten sind und Liniendaten, die in dem vierten Bild PDATA2 enthalten sind, zu im Wesentlichen gleichen oder ähnlichen Zeiten zu denen, die in dem Zeitdiagramm aus 7 gezeigt sind. Jede der Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, das mit dem ersten Synchronisationssignal SYNC1 zusammenhängt, kann als erste Ausgabedaten SDATA1 an den ersten Skalierer 609 durch eine fünfte Übertragungsleitung TL5 und die zweite Auswahlschaltung 636 übertragen werden. Jede der Liniendaten, die in dem vierten Bild PDATA2 enthalten sind, das mit dem zweiten Synchronisationssignal SYNC2 zusammenhängt, kann als erste Ausgabedaten SDATA1 an den ersten Skalierer 609 durch eine erste Auswahlschaltung 632, den Linienspeicher 634 und die zweite Auswahlschaltung 636 übertragen werden.
  • Die Schaltbestimmungsschaltung 630 kann das erste Auswahlsignal SEL1 auf dem zweiten Pegel ausgeben. Die erste Auswahlschaltung 632 kann die ersten Liniendaten LA1, die in dem vierten Bild PDATA2 als ein Ausgangssignal MOUT in Reaktion auf das erste Auswahlsignal SEL1 auf dem zweiten Pegel ausgeben. Der Linienspeicher 634 kann die Liniendaten MOUT, die von der ersten Auswahlschaltung 632 empfangen werden, an die zweite Auswahlschaltung 636 als Ausgabedaten MOUT ausgeben. Die zweite Auswahlschaltung 636 kann als erste Ausgabedaten SDATA1, entweder Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, das durch die fünfte Übertragungsleitung TL5 empfangen wird, oder Liniendaten, die in dem vierten Bild PDATA2, das von dem Zeilenspeicher 634 empfangen wird ausgeben.
  • Wenn die Phase des ersten Synchronisationssignals SYNC1 hinter der Phase des zweiten Synchronsignals SYNC2 in CASE5 nach läuft, kann die Multiplex-Steuerschaltung 607A Liniendaten verarbeiten, die in dem vierten Bild PDATA2 enthalten sind und Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, zu im Wesentlichen gleichen oder ähnlichen Zeiten zu denen, die in dem Zeitdiagramm aus 8 gezeigt sind. Jede der Liniendaten, die in dem vierten Bild PDATA2 enthalten sind, das mit dem zweiten Synchronisationssignal SYNC2 zusammenhängt, kann als erste Ausgabedaten SDATA1 an den ersten Skalierer 609 durch eine sechste Übertragungsleitung TL6 und die zweite Auswahlschaltung 636 übertragen werden. Jede der Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, das mit dem ersten Synchronisationssignal SYNC1 zusammenhängt, kann als die ersten Ausgabedaten SDATA1 an den ersten Skalierer 609 durch die erste Auswahlschaltung 632, den Linienspeicher 634 und die zweite Auswahlschaltung 636 übertragen werden.
  • Die Schaltbestimmungsschaltung 630 kann das erste Auswahlsignal SEL1 auf dem ersten Pegel ausgeben. Die erste Auswahlschaltung 632 kann Liniendaten, die in dem dritten Bild PDATA1 als das Ausgangssignal MOUT in Reaktion auf das erste Auswahlsignal SEL1 auf dem ersten Pegel ausgeben. Der Linienspeicher 634 kann die Liniendaten MOUT, die von der ersten Auswahlschaltung 632 empfangen werden, an die zweite Auswahlschaltung 636 als Ausgabedaten MOUT ausgeben. Die zweite Auswahlschaltung 636 kann als die ersten Ausgabedaten SDATA1, entweder Liniendaten, die in dem vierten Bild PDATA2 enthalten sind, das durch die sechste Übertragungsleitung TL6 empfangen wird, oder Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, das von dem Linienspeicher 634 empfangen wird ausgeben.
  • FIGs. sind Zeitdiagramme, die TDM von Liniendaten zeigen, das durch die Multiplex-Steuerschaltung 607A aus 12 ausgeführt wird, gemäß einer beispielhaften Ausführungsform der erfinderischen Idee. Unter Bezugnahme auf 13A, kann die Multiplex-Steuerschaltung 607A, die ersten Liniendaten LA1, die in dem dritten Bild PDATA1 enthalten sind, die ersten Liniendaten LB1, die in dem vierten Bild PDATA2 enthalten sind, die zweiten Liniendaten LA2, die in dem dritten Bild PDATA1 enthalten sind, und die zweiten Liniendaten LB2, die in dem vierten Bild PDATA2 enthalten sind, an den ersten Skalierer 609 als die ersten Ausgabedaten SDATA1 ausgeben. Wie in 13A gezeigt, können die Liniendaten LA1, LB1, LA2, LB2, ... die abwechselnd von den Abbildungsvorrichtungen 310 und 320 ausgegeben werden, in einem einzigen Stream oder in einem einzigen Bitstrom an den ersten Skalierer 609 übertragen werden.
  • Unter Bezugnahme auf 13B, kann die Multiplex-Steuerschaltung 607A zwei Liniendaten LA1 und LA2, die in dem dritten Bild PDATA1 enthalten sind, und eine Liniendaten LB1, die in dem vierten Bild PDATA2 enthalten sind, an den ersten Skalierer 609 als erste Ausgabedaten SDATA1 übertragen. Wie in gezeigt in 13B, können die Zeilendaten LA1, LA2, LB1, LA3, ..., die von den Abbildungsvorrichtungen 310 und 320 ausgegeben werden, in einem einzelnen Strom oder einem einzigen Bitstrom zu dem ersten Skalierer 609 in einer Weise übertragen werden, dass eine Liniendaten, die aus der zweiten Abbildungsvorrichtung 320 ausgegeben werden, nach zwei Liniendaten übertragen werden, die von der ersten Abbildungsvorrichtung 310 übertragen werden.
  • Unter Bezugnahme auf 13C, kann die Multiplex-Steuerschaltung 607A drei Liniendaten LA1, LA2 und LA3, die in dem dritten Bild PDATA1 enthalten sind, und eine Liniendaten LB1, die in dem vierten Bild PDATA2 enthalten sind, an den ersten Skalierer 609 als die ersten Ausgabedaten SDATA1 übertragen. Wie in gezeigt in 13C, können die Zeilendaten LA1, LA2, LA3, LB1, ..., die von den Abbildungsvorrichtungen 310 und 320 ausgegeben werden, in einem einzelnen Strom oder einem einzigen Bitstrom zu dem ersten Skalierer 609 in einer Weise übertragen werden, dass eine Liniendaten, die aus der zweiten Abbildungsvorrichtung 320 ausgegeben werden, nach drei Liniendaten übertragen werden, die von der ersten Abbildungsvorrichtung 310 übertragen werden. Die Anzahl und Reihenfolge der Liniendaten, die in einem einzigen Strom oder einem einzigen Bitstrom enthalten sind, können auf verschiedene Weise geändert werden.
  • 14 ist ein Blockdiagramm, das ein weiteres Beispiel für die Multiplex-Steuerschaltung 607 aus 11 zeigt. Mit Bezug auf 14 kann eine Multiplex-Steuerschaltung 607B eine Schaltbestimmungsschaltung 640, einen ersten Linienspeicher 642, einen zweiten Linienspeicher 644 und eine Auswahlschaltung 646 umfassen.
  • Das zweite Modus-Steuersignal SCS2 kann ein Anzeigesignal sein, das einen Betrieb von jedem der Skalierer 609 und 611 anzeigt. Es wird angenommen, dass der erste Skalierer 609 einer ist, der konfiguriert ist zum Skalieren eines aufgenommenen Bildes und die erste und zweite Abbildungsvorrichtung 310 und 320 arbeiten in Aufnahmemodus.
  • Wenn die Phase des ersten Synchronisationssignals SYNC1 vor der Phase des zweiten Synchronsignals SYNC2 in CASE4 führt, verarbeitet die Multiplex-Steuerschaltung 607B Liniendaten, die in dem dritten Bild PDATA1 enthalten sind und Liniendaten, die in dem vierten Bild PDATA2 enthalten sind, zu im Wesentlichen gleichen oder ähnlichen Zeiten zu denen, die in dem Zeitdiagramm aus 7 gezeigt sind. Jede der Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, das mit dem ersten Synchronisationssignal SYNC1 zusammenhängt, kann als erste Ausgabedaten SDATA1 an den ersten Skalierer 609 durch eine siebte Übertragungsleitung TL7 und die Auswahlschaltung 646 übertragen werden. Jede der Liniendaten, die in dem vierten Bild PDATA2 enthalten sind, das mit dem zweiten Synchronisationssignal SYNC2 zusammenhängt, kann als erste Ausgabedaten SDATA1 an den ersten Skalierer 609 durch eine zweite Auswahlschaltung 644 und die zweite Auswahlschaltung 646 übertragen werden.
  • Die zweite Auswahlschaltung 636 kann als die ersten Ausgabedaten SDATA1, entweder Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, das durch die siebte Übertragungsleitung TL7 empfangen wird, oder Liniendaten MOUT2, die in dem vierten Bild PDATA2 enthalten sind, das von dem Zeilenspeicher 644 empfangen wird ausgeben.
  • Wenn die Phase des ersten Synchronisationssignals SYNC1 hinter der Phase des zweiten Synchronsignals SYNC2 in CASE5 nach läuft, kann die Multiplex-Steuerschaltung 607B Liniendaten verarbeiten, die in dem vierten Bild PDATA2 enthalten sind und Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, zu im Wesentlichen gleichen oder ähnlichen Zeiten zu denen, die in dem Zeitdiagramm aus 8 gezeigt sind. Jede der Liniendaten, die in dem vierten Bild PDATA2 enthalten sind, das mit dem zweiten Synchronisationssignal SYNC2 zusammenhängt, kann als die ersten Ausgabedaten SDATA1 an den ersten Skalierer 609 durch eine achte Übertragungsleitung TL8 und die zweite Auswahlschaltung 646 übertragen werden. Jede der Liniendaten, die in dem dritten Bild PDATA1 enthalten sind, das mit dem ersten Synchronisationssignal SYNC1 zusammenhängt, kann als die ersten Ausgabedaten SDATA1 an den ersten Skalierer 609 durch den ersten Linienspeicher 642 und die Auswahlschaltung 646 übertragen werden.
  • Die Auswahlschaltung 646 kann als die ersten Ausgabedaten SDATA1, entweder Liniendaten, die in dem vierten Bild PDATA2 enthalten sind, das durch die achte Übertragungsleitung TL8 empfangen wird, oder Liniendaten MOUT1, die in dem dritten Bild PDATA1 enthalten sind, das von dem ersten Linienspeicher 642 empfangen wird ausgeben. Die Auswahlschaltung 646 kann als erste Ausgangsdaten SDATA1, Liniendaten, die in dem Bild PDATA1 oder PDATA2 enthalten sind zu dem ersten Skalierer 609 gemäß Liniendaten-Interleaving übertragen werden, wie in 13A, 13B oder 13C gezeigt.
  • 15 ist ein Blockdiagramm, das noch ein anderes Beispiel des ISP 230 aus 1 zeigt. Unter Bezugnahme auf 15, kann ein ISP 230C einen ersten ISP-Kern 701, einen zweiten ISP-Kern 703, eine Skalierungs-/Formatierungsschaltung 705 und eine DMA-Steuerung 707 umfassen.
  • Der erste ISP-Kern 701 kann ein erstes Bild von der ersten Abbildungsvorrichtung 310 durch eine erste Schnittstelle 220-1 empfangen, das erste Bild verarbeiten, und das verarbeitete erste Bild an die Skalierungs-/Formatierungsschaltung 705 übertragen. Der zweite ISP-Kern 702 kann ein zweites Bild von der zweiten Abbildungsvorrichtung 320 durch eine zweite Schnittstelle 220-2 empfangen, das zweite Bild verarbeiten, und das verarbeitete zweite Bild an die Skalierungs-/Formatierungsschaltung 705 übertragen.
  • Es wird angenommen, dass das erste Bild ein aufgenommenes Bild ist und das zweite Bild ist für die Vorschau ist. Zu diesem Zeitpunkt kann die Skalierungs-/Formatierungsschaltung 705 des erste Bildes in ein erstes Format umwandeln, um einen ersten Bild CAPTURE1 in dem ersten Format zu erzeugen, und kann das zweite Bild in ein zweites Format umwandeln, um ein zweites Bild CAPTURE2 im zweiten Format zu erzeugen. Die Skalierungs-/Formatierungsschaltung 705 kann das erste Bild CAPTURE1 in dem ersten Format und das zweite Bild CAPTURE2 in dem zweiten Format an die Bus-Architektur 201 mittels der DMA-Steuerung 707 übertragen.
  • 16 ist ein Flussdiagramm eines Verfahrens zum Betreiben des ISP 230 aus 1 gemäß einer beispielhaften Ausgestaltung der erfinderischen Konzepte. Der ISP 230 kann TDM auf einer Vielzahl von Frame-Daten DATA1 und DATA2 ausführen, die jeweils von den Abbildungsvorrichtungen 310 und 320 in Einheiten von Liniendaten in Operation S110 ausgegeben werden.
  • Der ISP 230 kann jede der Zeitmultiplex-Liniendaten an eine von einer Vielzahl von Verarbeitungs-Schaltungen in Operation S120 übertragen. Die Daten-Verarbeitungs-Schaltungen können ISP-Kerne oder Skalierer sein.
  • Der ISP 230 kann jede der Zeitmultiplex-Liniendaten mittels einer Datenverarbeitungsschaltung in Operation S130 verarbeiten. Der ISP 230 kann alle Liniendaten, die durch die Datenverarbeitungsschaltung verarbeitet werden, in dem externen Speicher 330 in Einheiten von Frame-Daten mittels einer DMA-Steuerung in Operation S140 speichern.
  • Wie vorstehend beschrieben, gemäß einigen beispielhaften Ausführungsformen der erfinderischen Konzepte minimiert ein ISP mit einem Linienspeicher die Benutzung einer Speicherressource (z. B. externen Bildspeicher oder Systemspeicher, wie DRAM), der von dem ISP zugegriffen wird. Der ISP kann jede Zeile in Frame-Daten verarbeiten, die von jeder der Verarbeitungsschaltungen in einem Zeitmultiplex-Modus ausgegeben werden, mittels dem Linienspeicher ohne, die Verwendung externer Speicher oder Systemspeicher. Der ISP kann den internen Linienspeicher anstelle des externen Bildspeichers verwenden. Somit kann der Verbrauch des externen Bildspeichers und/oder übermäßige Nutzung des Systems aufgrund des Speicherplatzbedarfs reduziert werden. des Weiteren löst der ISP mit dem Linienspeicher das Problem des übermäßigen Gebrauchs von einer Systemressource (z. B. Bus, externer Bildspeicher und/oder dem Systemspeicher), der von Bustransaktionen verursacht wird, um auf den externen Bildspeicher und/oder den Systemspeicher zuzugreifen. Darüber hinaus kann der ISP den Stromverbrauch für die vorgenannten Bus-Transaktionen reduzieren. Noch weiter muss Zeitmultiplexing-Leistung des ISP nicht durch die Bandbreite des externen Bildspeichers und/oder des Systemspeichers beschränkt werden.
  • Während die erfinderischen Ideen gezeigt und geschrieben wurden, mit Bezug auf beispielhafte Ausführungsformen davon, versteht der Fachmann, dass vielerlei Veränderungen in der Form und den Details gemacht werden können, ohne von dem Geiste und dem Umfang der vorliegenden Erfindung abzuweichen, wie sie in den anhängigen Ansprüchen festgelegt ist.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • KR 10-2015-0025390 [0001]

Claims (25)

  1. Bildsignalprozessor, der umfasst: eine erste Datenverarbeitungsschaltung; eine zweite Datenverarbeitungsschaltung; und eine Multiplex-Steuerschaltung, die konfiguriert ist zum Übertragen erster Liniendaten, die in ersten Frame-Daten enthalten sind und zweiter Liniendaten, die in zweiten Frame-Daten enthalten sind, an die erste Datenverarbeitungsschaltung in einem Zeitmultiplex-Modus, wobei die Multiplex-Steuerschaltung des Weiteren konfiguriert ist zum Übertragen eines Umschaltsteuersignals an die erste Datenverarbeitungsschaltung, wobei das Umschaltsteuersignal anzeigt, ob aktuelle Liniendaten, die an die erste Datenverarbeitungsschaltung übertragen werden sollen, die ersten Liniendaten oder die zweiten Liniendaten sind.
  2. Bildsignalprozessor nach Anspruch 1, wobei die ersten Frame-Daten Daten sind, die von einer ersten Abbildungsvorrichtung mit einer ersten Auflösung erfasst werden und die zweiten Frame-Daten Daten sind, die von einer zweiten Abbildungsvorrichtung mit einer zweiten Auflösung erfasst werden.
  3. Bildsignalprozessor nach Anspruch 1, des Weiteren mit: einen ersten Puffer; und einen zweiten Puffer, wobei die erste Datenverarbeitungsschaltung eine Speichersteuerung umfasst, die konfiguriert ist zum Speichern der ersten Liniendaten und der zweiten Liniendaten in jeweils dem ersten Puffer und dem zweiten Puffer.
  4. Bildsignalprozessor nach Anspruch 1, wobei: die erste Datenverarbeitungsschaltung konfiguriert Elemente zum Verarbeiten der ersten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuellen Liniendaten die ersten Liniendaten sind, und die erste Datenverarbeitungsschaltung konfiguriert die Elemente zum Verarbeiten der zweiten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuellen Liniendaten die zweiten Liniendaten sind.
  5. Bildsignalprozessor nach Anspruch 1, wobei die erste Datenverarbeitungsschaltung ein erster Bildsignalprozessor-Kern ist und die zweite Datenverarbeitungsschaltung ein zweiter Bildsignalprozessor-Kern ist.
  6. Bildsignalprozessor nach Anspruch 1, wobei die erste Datenverarbeitungsschaltung ein erster Skalierer ist und die zweite Datenverarbeitungsschaltung ein zweiter Skalierer ist.
  7. Bildsignalprozessor nach Anspruch 1, wobei die Multiplex-Steuerschaltung konfiguriert ist zum ersten Übertragen der ersten Liniendaten oder der zweiten Liniendaten an die erste Datenverarbeitungsschaltung basierend auf einer Phase eines ersten Synchronisationssignals, das sich auf die ersten Frame-Daten beziehen und auf einer Phase des zweiten Synchronisationssignal, das sich auf die zweiten Frame-Daten beziehen.
  8. Bildsignalprozessor nach Anspruch 7, wobei die Multiplex-Steuerschaltung einen Linienspeicher umfasst, der konfiguriert ist zum Speichern der anderen von den ersten Liniendaten oder den zweiten Liniendaten.
  9. Bildsignalprozessor nach Anspruch 1, wobei die Multiplex-Steuerschaltung konfiguriert ist zum Übertragen der ersten Liniendaten und der zweiten Liniendaten in einem einzigen Strom an die erste Datenverarbeitungsschaltung.
  10. Anwendungsprozessor, der umfasst: einen Bus; einen Bildsignalprozessor, der mit dem Bus verbunden ist, wobei der Bildsignalprozessor umfasst, eine erste Datenverarbeitungsschaltung, eine zweite Datenverarbeitungsschaltung, und eine Multiplex-Steuerschaltung, die konfiguriert ist zum Übertragen erster Liniendaten, die in ersten Frame-Daten enthalten sind und zweiter Liniendaten, die in zweiten Frame-Daten enthalten sind, an die erste Datenverarbeitungsschaltung in einem Zeitmultiplex-Modus, wobei die ersten Frame-Daten und die zweiten Frame-Daten jeweils eine erste Auflösung und eine zweite Auflösung aufweisen, und wobei die Multiplex-Steuerschaltung des Weiteren konfiguriert ist zum Übertragen eines Umschaltsteuersignals an die erste Datenverarbeitungsschaltung, wobei das Umschaltsteuersignal anzeigt, ob aktuelle Liniendaten, die an die erste Datenverarbeitungsschaltung übertragen werden sollen, die ersten Liniendaten oder die zweiten Liniendaten sind; und eine zentrale Verarbeitungseinheit (CPU), die mit dem Bus verbunden ist und konfiguriert ist zum Steuern des Bildsignalprozessors.
  11. Anwendungsprozessor nach Anspruch 10, wobei die Multiplex-Steuerschaltung konfiguriert ist zum Übertragen der ersten Liniendaten und der zweiten Liniendaten in einem einzigen Strom an die erste Datenverarbeitungsschaltung.
  12. Anwendungsprozessor nach Anspruch 10, wobei der Bildsignalprozessor des Weiteren einen ersten Puffer und einen zweiten Puffer umfasst, wobei die erste Datenverarbeitungsschaltung eine Speichersteuerung umfasst, die konfiguriert ist zum Speichern der ersten Liniendaten und der zweiten Liniendaten in jeweils dem ersten Puffer und dem zweiten Puffer.
  13. Anwendungsprozessor nach Anspruch 10, wobei die erste Datenverarbeitungsschaltung Elemente konfiguriert zum Verarbeiten der ersten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuelle Liniendaten die ersten Liniendaten sind, und die Elemente konfiguriert zum Verarbeiten der zweiten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuellen Liniendaten die zweiten Liniendaten sind.
  14. Anwendungsprozessor nach Anspruch 10, wobei die erste Datenverarbeitungsschaltung ein erster Bildsignalprozessor-Kern ist und die zweite Datenverarbeitungsschaltung ein zweiter Bildsignalprozessor-Kern ist.
  15. Anwendungsprozessor nach Anspruch 10, wobei die erste Datenverarbeitungsschaltung ein erster Skalierer ist und die zweite Datenverarbeitungsschaltung ein zweiter Skalierer ist.
  16. Anwendungsprozessor nach Anspruch 10, wobei die Multiplex-Steuerschaltung konfiguriert ist zum ersten Übertragen der ersten Liniendaten oder der zweiten Liniendaten an die erste Datenverarbeitungsschaltung basierend auf einer Phase eines ersten Synchronisationssignals, das sich auf die ersten Frame-Daten beziehen und auf einer Phase des zweiten Synchronisationssignal, das sich auf die zweiten Frame-Daten beziehen.
  17. Anwendungsprozessor nach Anspruch 16, wobei die Multiplex-Steuerschaltung einen Linienspeicher umfasst, der konfiguriert ist zum Speichern der ersten Liniendaten oder der zweiten Liniendaten, die nicht übertragen werden.
  18. Mobile Computervorrichtung, die umfasst: eine erste Abbildungsvorrichtung mit einer ersten Auflösung; eine zweite Abbildungsvorrichtung mit einer zweiten Auflösung; und ein Anwendungsprozessor, der mit der ersten Abbildungsvorrichtung und der zweiten Abbildungsvorrichtung verbunden ist, wobei der Anwendungsprozessor umfasst, einen Bus, einen Bildsignalprozessor, der mit dem Bus verbunden ist, wobei der Bildsignalprozessor umfasst, eine erste Datenverarbeitungsschaltung, eine zweite Datenverarbeitungsschaltung, und eine Multiplex-Steuerschaltung, die konfiguriert ist zum Übertragen erster Liniendaten und zweiter Liniendaten an die Datenverarbeitungsschaltung in einem Zeitmultiplex-Modus, wobei die ersten Liniendaten in ersten Frame-Daten enthalten sind und die zweiten Liniendaten in zweiten Frame-Daten enthalten sind, wobei die ersten Frame-Daten und die zweiten Frame-Daten jeweils eine erste Auflösung und eine zweite Auflösung aufweisen, und wobei die Multiplex-Steuerschaltung des Weiteren konfiguriert ist zum Übertragen eines Umschaltsteuersignals an die erste Datenverarbeitungsschaltung, wobei das Umschaltsteuersignal anzeigt, ob aktuelle Liniendaten, die an die erste Datenverarbeitungsschaltung übertragen werden sollen, die ersten Liniendaten oder die zweiten Liniendaten sind, und eine zentrale Verarbeitungseinheit (CPU), die mit dem Bus verbunden ist und konfiguriert ist zum Steuern des Bildsignalprozessors.
  19. Mobile Computervorrichtung nach Anspruch 18, wobei die erste Datenverarbeitungsschaltung Elemente konfiguriert zum Verarbeiten der ersten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuelle Liniendaten die ersten Liniendaten sind, und die Elemente konfiguriert zum Verarbeiten der zweiten Liniendaten, wenn das Umschaltsteuersignal anzeigt, dass die aktuellen Liniendaten die zweiten Liniendaten sind.
  20. Mobile Computervorrichtung nach Anspruch 18, wobei die Multiplex-Steuerschaltung konfiguriert ist zum Übertragen von entweder den ersten Liniendaten oder den zweiten Liniendaten, als erstes zu der ersten Datenverarbeitungsschaltung, basierend auf einer Phase eines ersten Synchronisationssignals bezogen auf die ersten Frame-Daten und auf einer Phase des zweiten Synchronisationssignals bezogen auf die zweiten Frame-Daten und die Multiplex-Steuerschaltung kann einen Linienspeicher umfassen, der konfiguriert ist zum Speichern der anderen von den ersten Liniendaten oder den zweiten Liniendaten.
  21. Bildsignalprozessor, der umfasst: eine erste Datenverarbeitungsschaltung; eine zweite Datenverarbeitungsschaltung; und eine Multiplex-Steuerschaltung, die eine Schaltbestimmungsschaltung, einen ersten Linienspeicher, und eine erste Auswahlschaltung umfasst, wobei die erste Auswahlschaltung konfiguriert ist zum Erzeugen eines ersten Auswahlsignals, wobei die erste Auswahlschaltung ist konfiguriert zum Übertragen von einen Liniendaten, die unter den ersten Liniendaten und den zweiten Liniendaten zu einem ersten Zeitpunkt ausgewählt werden, durch eine Übertragungsleitung und zum Übertragen der nicht-gewählten einen der ersten Liniendaten oder der zweiten Liniendaten, die in dem ersten Linienspeicher zu einem zweiten Zeitpunkt gespeichert werden, basieren auf dem ersten Auswahlsignal und der zweite Zeitpunkt kann später sein, als der erste Zeitpunkt.
  22. Bildsignalprozessor nach Anspruch 21, wobei die Schaltbestimmungsschaltung des Weiteren konfiguriert ist zum Übertragen eines Umschaltsteuersignals an die erste Datenverarbeitungsschaltung und das Umschaltsteuersignal anzeigt, ob aktuelle Liniendaten, die an die erste Datenverarbeitungsschaltung übertragen werden sollen, die ersten Liniendaten oder die zweiten Liniendaten sind.
  23. Bildsignalprozessor nach Anspruch 21, wobei: die Schaltbestimmungsschaltung des Weiteren konfiguriert zum Erzeugen eines zweiten Auswahlsignals ist, und die Multiplex-Steuerschaltung des Weiteren eine zweite Auswahlschaltung umfasst, wobei die zweite Auswahlschaltung konfiguriert ist zum Übertragen von einen Liniendaten unter den ersten Liniendaten und den zweiten Liniendaten, um Daten in dem Linienspeicher auf Basis des zweiten Auswahlsignals gespeichert zu werden.
  24. Bildsignalprozessor nach Anspruch 21, wobei die erste Datenverarbeitungsschaltung ein erster Bildsignalprozessor-Kern ist und die zweite Datenverarbeitungsschaltung ein zweiter Bildsignalprozessor-Kern ist.
  25. Bildsignalprozessor nach Anspruch 21, wobei die erste Datenverarbeitungsschaltung ein erster Skalierer ist und die zweite Datenverarbeitungsschaltung ein zweiter Skalierer ist.
DE102016201686.5A 2015-02-23 2016-02-04 Bildsignalprozessor und vorrichtungen, die diesen umfassen Pending DE102016201686A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0025390 2015-02-03
KR1020150025390A KR102459917B1 (ko) 2015-02-23 2015-02-23 이미지 신호 프로세서와 이를 포함하는 장치들

Publications (1)

Publication Number Publication Date
DE102016201686A1 true DE102016201686A1 (de) 2016-08-25

Family

ID=56553531

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016201686.5A Pending DE102016201686A1 (de) 2015-02-23 2016-02-04 Bildsignalprozessor und vorrichtungen, die diesen umfassen

Country Status (5)

Country Link
US (1) US10282805B2 (de)
KR (1) KR102459917B1 (de)
CN (1) CN105915780B (de)
DE (1) DE102016201686A1 (de)
TW (1) TWI700633B (de)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557662B1 (ko) 2017-02-09 2023-07-19 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 전자 장치
US10334149B2 (en) * 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
TWI622810B (zh) * 2017-04-26 2018-05-01 和碩聯合科技股份有限公司 成像裝置及成像方法
KR102204596B1 (ko) * 2017-06-02 2021-01-19 삼성전자주식회사 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법
TWI640957B (zh) 2017-07-26 2018-11-11 聚晶半導體股份有限公司 影像處理晶片與影像處理系統
CN107645647A (zh) * 2017-09-21 2018-01-30 京信通信系统（中国）有限公司 一种多路音视频传输方法及装置
CN108540689B (zh) * 2018-04-09 2020-10-02 珠海全志科技股份有限公司 图像信号处理器、应用处理器及移动装置
US11176386B2 (en) * 2019-07-08 2021-11-16 Nxp Usa, Inc. System and method for continuous operation of vision/radar systems in presence of bit errors
CN110988661B (zh) * 2019-12-09 2022-11-11 上海思尔芯技术股份有限公司 一种fpga原型验证开发板时分分析系统、方法、介质及终端
CN111372048B (zh) * 2020-03-04 2022-03-25 深圳市迈普视通科技有限公司 图像预监处理设备及其方法、现场可编程逻辑门阵列
KR20210150704A (ko) * 2020-06-04 2021-12-13 삼성전자주식회사 라인 인터리빙 컨트롤러 및 이를 포함하는 이미지 신호 프로세서
CN112165560B (zh) * 2020-09-09 2023-07-04 广州安凯微电子股份有限公司 一种图像信号处理方法、系统、计算机设备和存储介质
US11729318B2 (en) 2020-11-18 2023-08-15 Micron Technology, Inc. Directing communication of data from an image sensor
KR102258501B1 (ko) * 2021-03-10 2021-05-31 주봉정보시스템 주식회사 Fpga 기반의 다 채널 영상 조합 출력 장치
US11562460B1 (en) * 2021-06-25 2023-01-24 Meta Platforms, Inc. High performance hardware scaler

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025390A (ko) 2013-08-29 2015-03-10 주식회사 현대케피코 이중화 센서의 고장 분리 장치 및 그 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493878B1 (en) * 1988-10-17 2002-12-10 Lord Samuel A Kassatly Method and apparatus for tv broadcasting and reception
JPH0676051A (ja) 1992-08-26 1994-03-18 Olympus Optical Co Ltd 並列画像処理装置
US6567564B1 (en) 1996-04-17 2003-05-20 Sarnoff Corporation Pipelined pyramid processor for image processing systems
US6597810B1 (en) 1998-06-25 2003-07-22 Matsushita Electrical Industrial Co., Ltd. Image processor
JP3586131B2 (ja) 1999-03-05 2004-11-10 Ｔｄｋ株式会社 高速画像処理装置
US7064778B1 (en) * 1999-09-10 2006-06-20 Pelco Incorporated Multi-camera system for implementing digital slow shutter video processing using shared video memory
JP2004173118A (ja) * 2002-11-22 2004-06-17 Matsushita Electric Ind Co Ltd 音声画像多重化データ生成装置と再生装置および動画像復号化装置
TWI289992B (en) * 2003-12-03 2007-11-11 Via Tech Inc Method and device for sharing MPEG frame buffers
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
JP2008131498A (ja) 2006-11-22 2008-06-05 Matsushita Electric Ind Co Ltd 映像処理装置
KR101221914B1 (ko) * 2007-04-06 2013-01-15 엘지전자 주식회사 디지털 방송 신호 송신 장치 및 방법
KR100985003B1 (ko) 2008-03-10 2010-10-04 (주)세미솔루션 멀티 ｃｃｄ 센서의 영상처리 장치 및 그 영상처리 방법
JP5469911B2 (ja) * 2009-04-22 2014-04-16 ソニー株式会社 送信装置および立体画像データの送信方法
US8897602B2 (en) 2009-07-22 2014-11-25 Aptina Imaging Corporation Imaging system with multiframe scaler
KR101069378B1 (ko) * 2009-11-06 2011-09-30 연세대학교 산학협력단 스케일러블 비디오 스트림 다중화 장치 및 방법
CN102131119A (zh) * 2010-01-14 2011-07-20 索尼公司 信息处理设备、信息处理方法和程序
US20110317034A1 (en) * 2010-06-28 2011-12-29 Athreya Madhu S Image signal processor multiplexing
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
JP5658548B2 (ja) * 2010-12-08 2015-01-28 キヤノン株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
US20120251085A1 (en) * 2011-03-31 2012-10-04 Hown Cheng Video multiplexing
US8988558B2 (en) * 2011-04-26 2015-03-24 Omnivision Technologies, Inc. Image overlay in a mobile device
JP5907687B2 (ja) 2011-09-14 2016-04-26 オリンパス株式会社 撮像装置および信号転送装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150025390A (ko) 2013-08-29 2015-03-10 주식회사 현대케피코 이중화 센서의 고장 분리 장치 및 그 방법

Also Published As

Publication number Publication date
CN105915780A (zh) 2016-08-31
US10282805B2 (en) 2019-05-07
CN105915780B (zh) 2020-10-23
TWI700633B (zh) 2020-08-01
KR20160102823A (ko) 2016-08-31
TW201631466A (zh) 2016-09-01
KR102459917B1 (ko) 2022-10-27
US20160227160A1 (en) 2016-08-04

Similar Documents

Publication Publication Date Title
DE102016201686A1 (de) Bildsignalprozessor und vorrichtungen, die diesen umfassen
DE102009004257B4 (de) GPI-Controller eines betriebsmittellimitierten Systems
DE102004063847B4 (de) Schaltungsanordnung zur DMA-Bilddatenverarbeitung und Kameraschnittstelle
DE69933496T2 (de) Bildverarbeitungsvorrichtung und -verfahren
DE102012107954A1 (de) Anzeigetreiber, Betriebsverfahren davon, Host zum Steuern des Anzeigetreibers und System mit dem Anzeigetreiber und dem Host
DE102015117019B4 (de) Serielle Peripherieschnittstellen-Kettenkommunikation mit rahmengebundener Antwort
DE102007060805B4 (de) Speichersteuerung und Computersystem mit derselben sowie Verfahren zur Steuerung eines Speichers
DE3110196A1 (de) Datenverarbeitungssystem
DE102019119746A1 (de) Bildsignalprozessor, Verfahren zum Betreiben des Bildsignalprozessors und Anwendungsprozessor mit dem Bildsignalprozessor
CN104902193A (zh) 一种基于fpga对图像数据进行分割处理和显示的方法
DE60129448T2 (de) Busbrücke mit einem Burst-Übertragungsmodebus und einem Einzel-Übertragungsmodebus
DE102013020277A1 (de) Bit-timing-symmetrisierung
DE102015218719A1 (de) System-auf-Chip zur Unterstützung einer vollständigen Übergabebestätigung und Mobilgerät mit dem Chip
DE112018002334T5 (de) Vorrichtungen und verfahren zur übertragung von ereignissen mit einer gleichförmigen latenz auf seriellen kommunikationsverbindungen
DE4408522C2 (de) Vorrichtung zur Bilddatenverarbeitung und Verfahren zur Verarbeitung von Bilddaten
DE60028280T2 (de) Bildprozessor zum Drucken
DE60125673T2 (de) Verfahren und Vorrichtung zur Ausführung einer kryptographischen Funktion
DE112011102166T5 (de) Bildsignalprozessor-Multiplexen
DE112016005989T5 (de) Zuverlässiges, ausserhalb der reihenfolge liegendes end-to-end-protokoll mit robustem fensterstatusüberlaufmanagement und einem mehrknotensystem durch verwenden desselben
DE112011102167T5 (de) Stereobilderfassung mit einer Pipeline
CN105657293B (zh) 多层信号叠加的多屏拼接处理器及其多层信号叠加方法
DE2707820C3 (de) Datenverarbeitungsanlage
JP2012028997A (ja) 画像処理装置およびカメラ
DE112016002105T5 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren
DE102014103272A1 (de) Ein-Chip-System und Verfahren zum Betreiben desselben

Legal Events

Date Code Title Description
R012 Request for examination validly filed