DE102020118510A1

DE102020118510A1 - Electronic apparatus for performing video HDR processing on the basis of image data obtained by a plurality of image sensors

Info

Publication number: DE102020118510A1
Application number: DE102020118510.3A
Authority: DE
Inventors: Su-Young Lee; Jeongwook LEE; Daejung Kim; Hwansun Sung; Hyunseok Yang; Eunjik Yi; Joohyoung Lee; Sooman JEONG
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2019-09-23
Filing date: 2020-07-14
Publication date: 2021-03-25

Abstract

Eine Elektronische Vorrichtung führt eine HDR-Verarbeitung durch, indem sie eine Vielzahl von Bildsensorblöcken verwendet, einschließlich eines ersten Bildsensorblocks, der ein Objekt in einem ersten Sichtfeld fotografiert, und eines zweiten Bildsensorblocks, der das Objekt in einem zweiten Sichtfeld fotografiert, das größer als das erste Sichtfeld ist. Ein Bildsignalprozessor erzeugt erste Bilddaten und zweite Bilddaten auf der Grundlage des fotografierten Objekts. Ein Hauptprozessor schneidet Bilddaten unter den Bilddaten des zweiten Sensors, die den Bilddaten des ersten Sensors entsprechen, zu und führt eine HDR-Verarbeitung auf der Grundlage der ersten Bilddaten und der zugeschnittenen zweiten Bilddaten durch.An electronic device performs HDR processing using a plurality of image sensor blocks, including a first image sensor block that photographs an object in a first field of view and a second image sensor block that photographs the object in a second field of view that is larger than that first field of view is. An image signal processor generates first image data and second image data based on the photographed object. A main processor trims image data among the image data of the second sensor corresponding to the image data of the first sensor, and performs HDR processing on the basis of the first image data and the trimmed second image data.

Description

QUERVERWEISE AUF VERWANDTE ANMELDUNGENCROSS REFERENCES TO RELATED APPLICATIONS

Diese Anmeldung beansprucht die Priorität der koreanischen Patentanmeldung Nr. 10-2019-0116781 , die am 23. September 2019 beim koreanischen Amt für geistiges Eigentum eingereicht wurde und deren Offenlegung durch Verweis hierauf hierin in ihrer Gesamtheit aufgenommen wurde.This application claims priority from Korean Patent Application No. 10-2019-0116781 filed with the Korean Intellectual Property Office on September 23, 2019, the disclosure of which is incorporated herein by reference in its entirety.

HINTERGRUNDBACKGROUND

Ausführungsformen des hier beschriebenen erfinderischen Konzepts beziehen sich auf eine elektronische Vorrichtung und insbesondere auf eine elektronische Vorrichtung zur Implementierung der Video-HDR-Verarbeitung (HDR = Video High Dynamic Range) auf der Grundlage einer Vielzahl von Bildsensoren.Embodiments of the inventive concept described here relate to an electronic device and in particular to an electronic device for implementing video HDR processing (HDR = Video High Dynamic Range) based on a plurality of image sensors.

Eine Bildfotografievorrichtung wird verwendet, um ein Foto eines Bildes aufzunehmen, von dem ein Benutzer beabsichtigt, dass es ein Objekt, auf das der Benutzer fokussiert, und einen Hintergrund enthält. Die Bildfotografievorrichtung enthält verschiedene elektronische Schaltungen zum Sammeln von Licht und zum Erzeugen eines einem Bild zugeordneten Signals und bietet dem Benutzer einen Dienst zum Fotografieren des Bildes in Abhängigkeit von den Operationen der elektronischen Schaltungen.An image photography device is used to take a picture of an image that a user intends to include an object on which the user focuses and a background. The image photographing apparatus includes various electronic circuits for collecting light and generating a signal associated with an image, and provides the user with a service for photographing the image in accordance with the operations of the electronic circuits.

Die Vorrichtung zum Fotografieren von Bildern ist beliebt und wird von vielen Benutzern verwendet. Dementsprechend besteht die Notwendigkeit, verschiedene Anforderungen der Benutzer hinsichtlich der Leistung und Funktionalität der Bildfotografievorrichtung zu erfüllen.The picture taking device is popular and used by many users. Accordingly, there is a need to meet various user demands for the performance and functionality of the image photography apparatus.

Eine Erhöhung der Verarbeitungsleistung und der Betriebsgeschwindigkeit der Bildfotografievorrichtung kann z.B. wünschenswert sein, um die Benutzererfahrung bei der Operation der Bildfotografievorrichtung zu verbessern. Die Verfahren zum Betreiben der Bildfotografievorrichtung müssen beispielsweise möglicherweise angemessen gesteuert werden, um die Leistungsaufnahme der Bildfotografievorrichtung zu reduzieren. Daher werden Schemata zur Verbesserung der Struktur und des Betriebs der Bildfotografievorrichtung vorgeschlagen, um verschiedene Anforderungen der Benutzer zu erfüllen.For example, an increase in the processing power and the operating speed of the image photography apparatus may be desirable in order to improve the user experience in operating the image photography apparatus. For example, the methods of operating the image photography apparatus may need to be appropriately controlled in order to reduce the power consumption of the image photography apparatus. Therefore, schemes for improving the structure and operation of the image photography apparatus are proposed to meet various needs of users.

ZUSAMMENFASSUNGSUMMARY

Ausführungsformen des erfinderischen Konzepts sehen eine elektronische Vorrichtung vor, die eingerichtet ist, um eine Video-HDR-Verarbeitung (HDR = High Dynamic Range) auf der Grundlage von Bilddaten durchzuführen, die von einer Vielzahl von Bildsensoren erhalten werden.Embodiments of the inventive concept provide an electronic device that is configured to perform video HDR (HDR = High Dynamic Range) processing on the basis of image data obtained from a plurality of image sensors.

Nach einer Ausführungsform ist eine elektronische Vorrichtung vorgesehen, enthaltend einen ersten Bildsensorblock, der eingerichtet ist, um ein Objekt in einem ersten Sichtfeld zu fotografieren und ein erstes Datensignal zu erzeugen, das dem im ersten Sichtfeld fotografierten Objekt entspricht, sowie einen zweiten Bildsensorblock, der eingerichtet ist, um das Objekt in einem zweiten Sichtfeld zu fotografieren, das größer als das erste Sichtfeld ist, und ein zweites Datensignal zu erzeugen, das dem im zweiten Sichtfeld fotografierten Objekt entspricht, einen Bildsignalprozessor, der eingerichtet ist, um erste Bilddaten mit einer ersten Auflösung auf der Grundlage des ersten Datensignals zu erzeugen und zweite Bilddaten mit einer zweiten Auflösung auf der Grundlage des zweiten Datensignals zu erzeugen, und einen Hauptprozessor, der eingerichtet ist, um aus den zweiten Bilddaten, die den ersten Bilddaten entsprechen, zugeschnittene Bilddaten zu erhalten und auf der Grundlage der ersten Bilddaten und der zugeschnittenen Bilddaten eine HDR-Verarbeitung (HDR = High Dynamic Range) durchzuführen.According to one embodiment, an electronic device is provided containing a first image sensor block which is set up to photograph an object in a first field of view and to generate a first data signal which corresponds to the object photographed in the first field of view, and a second image sensor block which is set up is, in order to photograph the object in a second field of view, which is larger than the first field of view, and to generate a second data signal which corresponds to the object photographed in the second field of view, an image signal processor which is set up to process first image data with a first resolution on the basis of the first data signal and to generate second image data with a second resolution on the basis of the second data signal, and a main processor which is arranged to obtain cropped image data from the second image data corresponding to the first image data and on the basis of the first bi lddaten and the cropped image data to carry out HDR processing (HDR = High Dynamic Range).

Nach einer Ausführungsform ist eine elektronische Vorrichtung, die einen ersten Bildsensorblock enthält, vorgesehen, der eingerichtet ist, um ein Objekt in einem ersten Sichtfeld zu fotografieren und ein erstes Datensignal zu erzeugen, das dem im ersten Sichtfeld fotografierten Objekt entspricht, einen zweiten Bildsensorblock, der eingerichtet ist, um das Objekt in einem zweiten Sichtfeld zu fotografieren, das größer als das erste Sichtfeld ist, und um ein zweites Datensignal zu erzeugen, das dem im zweiten Sichtfeld fotografierten Objekt entspricht, einen dritten Bildsensorblock, der eingerichtet ist, um das Objekt in einem dritten Sichtfeld zu fotografieren, das größer als das zweite Sichtfeld ist, und um ein drittes Datensignal zu erzeugen, das dem im dritten Sichtfeld fotografierten Objekt entspricht, einen Bildsignalprozessor, der eingerichtet ist, um erste Bilddaten einer ersten Auflösung auf der Grundlage des ersten Datensignals zu erzeugen, um zweite Bilddaten einer zweiten Auflösung auf der Grundlage des zweiten Datensignals zu erzeugen und um dritte Bilddaten einer dritten Auflösung auf der Grundlage des dritten Datensignals zu erzeugen, und einen Hauptprozessor, der eingerichtet ist, um eine HDR-Verarbeitung (HDR = High Dynamic Range) auf der Grundlage der ersten Bilddaten, der zweiten Bilddaten und der dritten Bilddaten durchzuführen und in einer ersten Zoom-Faktorperiode aus den dritten Bilddaten, die den zweiten Bilddaten entsprechen, zugeschnittene Bilddaten zu erhalten und eine HDR-Verarbeitung auf der Grundlage der zweiten Bilddaten und der zugeschnittenen Bilddaten durchzuführen.According to one embodiment, an electronic device containing a first image sensor block is provided which is configured to photograph an object in a first field of view and to generate a first data signal that corresponds to the object photographed in the first field of view, a second image sensor block that is set up to photograph the object in a second field of view that is larger than the first field of view, and to generate a second data signal that corresponds to the object photographed in the second field of view, a third image sensor block that is set up to the object in photograph a third field of view that is larger than the second field of view, and in order to generate a third data signal corresponding to the object photographed in the third field of view, an image signal processor which is configured to process first image data of a first resolution on the basis of the first data signal to generate second image data of a second up Solution on the basis of the second data signal and to generate third image data of a third resolution on the basis of the third data signal, and a main processor which is arranged to perform HDR processing (HDR = High Dynamic Range) on the basis of the first Image data, the second image data and the third image data and, in a first zoom factor period, to obtain cropped image data from the third image data corresponding to the second image data, and to perform HDR processing on the basis of the second image data and the cropped image data.

Nach einer Ausführungsform ist ein Verfahren zur Verarbeitung eines Bildes unter Verwendung eines ersten Bildsensorblocks, der ein erstes Sichtfeld aufweist, und eines zweiten Bildsensorblocks, der ein zweites Sichtfeld aufweist, das größer als das erste Sichtfeld ist, vorgesehen, wobei das Verfahren das Fotografieren eines Objekts durch den ersten Bildsensorblock, um ein erstes Datensignal zu erzeugen, das dem Objekt entspricht, das bei dem ersten Sichtfeld fotografiert wurde, das Fotografieren durch den zweiten Bildsensorblock des Objekts, um ein zweites Datensignal zu erzeugen, das dem im zweiten Sichtfeld fotografierten Objekt entspricht, das Erzeugen erster Bilddaten einer ersten Auflösung auf der Grundlage des ersten Datensignals, das Erzeugen zweiter Bilddaten einer zweiten Auflösung auf der Grundlage des zweiten Datensignals, das Erzeugen zugeschnittener Bilddaten aus den zweiten Bilddaten, die den ersten Bilddaten entsprechen, und das Durchführen einer HDR-Verarbeitung (HDR = High Dynamic Range) auf der Grundlage der ersten Bilddaten und der zugeschnittenen Bilddaten enthält.According to one embodiment, a method for processing an image using a first image sensor block having a first field of view and a second image sensor block having a second field of view that is larger than the first field of view is provided, the method being photographing an object by the first image sensor block to generate a first data signal corresponding to the object photographed in the first field of view, photographing by the second image sensor block of the object to generate a second data signal corresponding to the object photographed in the second field of view, generating first image data of a first resolution based on the first data signal, generating second image data of a second resolution based on the second data signal, generating cropped image data from the second image data corresponding to the first image data, and performing HDR processing (HDR = High Dynamic Range) based on the first image data and the cropped image data.

FigurenlisteFigure list

Die vorstehenden und andere Gegenstände und Merkmale des erfinderischen Konzepts werden deutlich, indem beispielhafte Ausführungsformen davon unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben werden.

1 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer elektronischen Vorrichtung veranschaulicht, die eine elektronische Schaltung nach einer Ausführungsform enthält.
2 ist ein Diagramm, das eine beispielhafte Konfiguration eines Bildverarbeitungsblocks aus 1 veranschaulicht.
3 ist ein Blockdiagramm, das beispielhafte Funktionsweise von Bildsensorblöcken aus 2 veranschaulicht.
4 ist ein konzeptionelles Diagramm, das beispielhaft Eigenschaften von Bildsensorblöcken aus 3 veranschaulicht.
5 ist ein Zeitdiagramm, das die Funktionsweise von Bildsensorblöcken und eines Hauptprozessors von 2 veranschaulicht.
6 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht.
7 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht.
8 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht.
9 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht.
10 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht.
11 ist ein Diagramm, das die Operationen für die HDR-Verarbeitung nach einer Ausführungsform veranschaulicht.
12 ist ein Ablaufdiagramm, das ein Bildverarbeitungsverfahren nach einer Ausführungsform veranschaulicht.
13 ist ein Blockdiagramm, das eine beispielhafte Konfiguration eines Bildverarbeitungsblocks aus 1 veranschaulicht.
14 ist ein Blockdiagramm, das beispielhafte Funktionsweise von Bildsensorblöcken aus 13 veranschaulicht.
15 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht.
16 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht.
17 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken in Abhängigkeit von einem Zoom-Faktor veranschaulicht.
18 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken in einem ersten Zoom-Modus veranschaulicht.
19 ist ein Diagramm, das eine Operation von Bildsensorblöcken in einem zweiten Zoom-Modus veranschaulicht.
20 ist ein Blockdiagramm, das beispielhafte Funktionsweise von Bildsensorblöcken aus 13 veranschaulicht.
21 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken entsprechend einem Zoom-Faktor veranschaulicht.
22 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken entsprechend einem Zoom-Faktor veranschaulicht.
23 ist ein konzeptionelles Diagramm, das ein beispielhaftes Verfahren veranschaulicht, bei dem eine Vergrößerung in Abhängigkeit von einem über eine Benutzerschnittstelle von 13 empfangenen Befehl eingestellt wird.

The foregoing and other objects and features of the inventive concept will become apparent by detailed description of exemplary embodiments thereof with reference to the accompanying drawings.

1 FIG. 13 is a block diagram illustrating an exemplary configuration of an electronic device including an electronic circuit according to an embodiment.
2 Fig. 13 is a diagram showing an exemplary configuration of an image processing block 1 illustrated.
3rd Figure 3 is a block diagram depicting exemplary operation of image sensor blocks 2 illustrated.
4th Fig. 3 is a conceptual diagram showing exemplary properties of image sensor blocks 3rd illustrated.
5 FIG. 13 is a timing diagram showing the operation of image sensor blocks and a main processor of FIG 2 illustrated.
6th Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.
7th Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.
8th Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.
9 Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.
10 Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.
11 Figure 13 is a diagram illustrating the operations for HDR processing according to one embodiment.
12th Figure 13 is a flow diagram illustrating an image processing method according to an embodiment.
13th Fig. 13 is a block diagram showing an exemplary configuration of an image processing block 1 illustrated.
14th Figure 3 is a block diagram depicting exemplary operation of image sensor blocks 13th illustrated.
15th Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.
16 Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.
17th Fig. 3 is a diagram illustrating the operation of image sensor blocks depending on a zoom factor.
18th Figure 13 is a diagram illustrating the operation of image sensor blocks in a first zoom mode.
19th Fig. 13 is a diagram illustrating an operation of image sensor blocks in a second zoom mode.
20th Figure 3 is a block diagram depicting exemplary operation of image sensor blocks 13th illustrated.
21 Fig. 13 is a diagram illustrating the operation of image sensor blocks according to a zoom factor.
22nd Fig. 13 is a diagram illustrating the operation of image sensor blocks according to a zoom factor.
23 FIG. 13 is a conceptual diagram illustrating an example method in which a magnification is dependent on a via a user interface of FIG 13th received command is set.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

Im Folgenden können Ausführungsformen des erfinderischen Konzepts ausführlich und klar in einem solchen Umfang beschrieben werden, dass ein Fachmann das erfinderische Konzept leicht umsetzen kann. In der Spezifikation kann ein „Gegenstand“, ein „Hintergrund“, eine „Szenerie“ usw. ein Bild bedeuten, das für Bilddaten bestimmt ist, die durch eine elektronische Vorrichtung erhalten werden sollen, die unter Bezugnahme auf die 1 bis 18 beschrieben werden soll.In the following, embodiments of the inventive concept can be described in detail and clearly to the extent that a person skilled in the art can easily implement the inventive concept. In the specification, an “object”, a “background”, a “scenery”, etc. may mean an image intended for image data to be obtained by an electronic device described with reference to the 1 to 18th should be described.

1 ist ein Blockdiagramm, das eine beispielhafte Konfiguration einer elektronischen Vorrichtung, die eine elektronische Schaltung nach einer Ausführungsform enthält, veranschaulicht. 1 FIG. 13 is a block diagram illustrating an exemplary configuration of an electronic device including an electronic circuit according to an embodiment.

Eine Elektronische Vorrichtung 1000 kann verschiedene elektronische Schaltungen enthalten. Zum Beispiel können die elektronischen Schaltungen der elektronischen Vorrichtung 1000 einen Bildverarbeitungsblock 1100, einen Kommunikationsblock 1200, einen Audioverarbeitungsblock 1300, einen Pufferspeicher 1400, einen nichtflüchtigen Speicher 1500, eine Benutzerschnittstelle 1600, einen Sensor 1700, einen Hauptprozessor 1800 und einen Leistungsmanager 1900 enthalten.An electronic device 1000 may contain various electronic circuits. For example, the electronic circuits of the electronic device 1000 an image processing block 1100 , a communication block 1200 , an audio processing block 1300 , a buffer tank 1400 , a non-volatile memory 1500 , a user interface 1600 , a sensor 1700 , a main processor 1800 and a performance manager 1900 contain.

Der Bildverarbeitungsblock 1100 kann ein Objektiv 1110, einen Bildsensor 1120 und einen Bildsignalprozessor 1150 enthalten. Ein Licht kann beispielsweise von einem externen Objekt, einem Hintergrund und einer Szenerie reflektiert werden, die von einem Benutzer aufgenommen werden sollen, und das Objektiv 1110 kann das reflektierte Licht empfangen. Der Bildsensor 1120 kann auf der Grundlage des durch das Objektiv 1110 empfangenen Lichts ein elektrisches Signal erzeugen. Der Bildsignalprozessor 1150 kann Bilddaten erzeugen, die mit einem Bild des externen Objekts, des Hintergrunds und der Szenerie verknüpft sind, indem er das vom Bildsensor 1120 erzeugte elektrische Signal entsprechend verarbeitet. Zur Vereinfachung der Beschreibung kann der Begriff „Objekt“ verwendet werden, um einen Hintergrund, eine Szenerie usw. sowie ein Objekt zu bezeichnen, das für die Fotografie anvisierte oder spezifisch fokussiert wird.The image processing block 1100 can be a lens 1110 , an image sensor 1120 and an image signal processor 1150 contain. For example, light can be reflected from an external object, a background and a scene to be captured by a user, and the lens 1110 can receive the reflected light. The image sensor 1120 can be based on the through the lens 1110 generated light received an electrical signal. The image signal processor 1150 can generate image data associated with an image of the external object, the background and the scenery by receiving that from the image sensor 1120 generated electrical signal processed accordingly. For convenience of description, the term "object" may be used to refer to a background, scenery, etc., as well as an object that is targeted or specifically focused for photography.

Der Bildsensor 1120 kann Pixel enthalten, die in einer Konfiguration entlang von Zeilen und Spalten angeordnet sind, und der Bildsensor 1120 kann auf die Pixel einfallendes Licht in ein elektrisches Signal umwandeln. Die Eigenschaften (z. B. die Leistungsstärke und die Spannungshöhe) des elektrischen Signals können mit einer Eigenschaft (z. B. der Intensität) des empfangenen Lichts variieren. Der Bildsensor 1120 kann z. B. ein CCD-Sensor (CCD = Charge Coupled Device), ein CMOS-Sensor (CMOS Complementary Metal-Oxide Semiconductor) usw. sein.The image sensor 1120 may include pixels arranged in a configuration along rows and columns, and the image sensor 1120 can convert light incident on the pixels into an electrical signal. The properties (e.g. power and voltage level) of the electrical signal can vary with a property (e.g. intensity) of the received light. The image sensor 1120 can e.g. B. a CCD sensor (CCD = Charge Coupled Device), a CMOS sensor (CMOS Complementary Metal-Oxide Semiconductor), etc. be.

Ein Objektiv 1110 und ein Bildsensor 1120 sind in 1 dargestellt. In einigen Ausführungsformen kann der Bildverarbeitungsblock 1100 jedoch eine Vielzahl von Objektiven und eine Vielzahl von Bildsensoren enthalten. Die Vielzahl der Bildsensoren kann so ausgelegt sein, dass sie unterschiedliche Funktionen, unterschiedliche Leistungen und/oder unterschiedliche Eigenschaften aufweisen. Jeder der Vielzahl von Bildsensoren kann z. B. eine Vielzahl von Objektiven mit unterschiedlichen Sichtfeldern (FOV) enthalten.One lens 1110 and an image sensor 1120 are in 1 shown. In some embodiments, the image processing block 1100 however, contain a variety of lenses and a variety of image sensors. The multiplicity of image sensors can be designed in such a way that they have different functions, different outputs and / or different properties. Each of the plurality of image sensors can e.g. B. contain a variety of lenses with different fields of view (FOV).

Der Bildsignalprozessor 1150 kann Hardwareschaltungen (z. B. eine analoge Schaltung und eine logische Schaltung) enthalten, die eingerichtet sind, um die in der vorliegenden Offenlegung zu beschreibenden Operationen durchzuführen. Zusätzlich oder alternativ dazu kann der Bildsignalprozessor 1150 einen oder mehrere Prozessorkerne enthalten und einen Programmcode ausführen, der eingerichtet ist, um Operationen vorzusehen, die in der vorliegenden Offenlegung zu beschreiben sind.The image signal processor 1150 may include hardware circuitry (e.g., analog circuitry and logic circuitry) configured to perform the operations to be described in the present disclosure. Additionally or alternatively, the image signal processor 1150 contain one or more processor cores and execute program code arranged to provide operations to be described in the present disclosure.

Ein Beispiel ist in 1 dargestellt, da der Bildsignalprozessor 1150 im Bildverarbeitungsblock 1100 enthalten ist. In einigen Ausführungsformen kann der Bildsignalprozessor 1150 jedoch als Teil des Bildsensors 1120 vorgesehen sein, auf einem vom Bildverarbeitungsblock 1100 unabhängigen Schaltkreis oder Chip und/oder als Teil des Hauptprozessors 1800 vorgesehen sein. Es versteht sich von selbst, dass die vorliegende Offenlegung in Bezug auf Hardware- und Software-Konfigurationen und Anordnungen der darin enthaltenen Komponenten ohne Beschränkung auf das Beispiel von 1 auf verschiedene Weise geändert oder modifiziert werden kann.An example is in 1 shown as the image signal processor 1150 in the image processing block 1100 is included. In some embodiments, the image signal processor 1150 but as part of the image sensor 1120 be provided on one of the image processing block 1100 independent circuit or chip and / or as part of the main processor 1800 be provided. It goes without saying that the present disclosure relates to hardware and software configurations and arrangements of the components contained therein without being limited to the example of FIG 1 can be changed or modified in various ways.

Der Kommunikationsblock 1200 kann über eine Antenne 1210 Signale mit einer externen Vorrichtung/einem externen System austauschen. Ein Sender/Empfänger 1220 und ein MODEM (Modulator/Demodulator) 1230 des Kommunikationsblocks 1200 können die ausgetauschten Signale in Übereinstimmung mit verschiedenen Kommunikationsprotokollen verarbeiten. Der Sender/Empfänger 1220 und das MODEM 1230 des Kommunikationsblocks 1200 können zum Beispiel Signale, die mit der externen Vorrichtung/dem externen System ausgetauscht werden, in Übereinstimmung mit einem Drahtlos-Kommunikationsprotokoll, wie LTE (LTE = Long Term Evolution), WiMax (WiMax = Worldwide Interoperability for Microwave Access), GSM (GSM = Global System for Mobile Communication), CDMA (CDMA = Code Division Multiple Access), Bluetooth, Nahfeldkommunikation (NFC = Near Field Communication), WiFi (Wi-Fi = Wireless Fidelity) oder RFID (RFID = Radio Frequency Identification) verarbeiten.The communication block 1200 can have an antenna 1210 Exchange signals with an external device / system. A transmitter / receiver 1220 and a MODEM (modulator / demodulator) 1230 of the communication block 1200 can process the exchanged signals in accordance with various communication protocols. The sender / receiver 1220 and the MODEM 1230 of the communication block 1200 For example, signals exchanged with the external device / system can be in accordance with a wireless communication protocol such as LTE (LTE = Long Term Evolution), WiMax (WiMax = Worldwide Interoperability for Microwave Access), GSM (GSM = Global System for Mobile Communication), CDMA (CDMA = Code Division Multiple Access), Bluetooth, near field communication (NFC = Near Field Communication), WiFi (Wi-Fi = Wireless Fidelity) or RFID (RFID = Radio Frequency Identification).

Der Audioverarbeitungsblock 1300 kann (eine) Toninformation(en) unter Verwendung eines Audiosignalprozessors 1310 verarbeiten. Der Audioverarbeitungsblock 1300 kann einen Toneingang über ein Mikrofon 1320 empfangen oder einen Ton über einen Lautsprecher 1330 ausgeben.The audio processing block 1300 can sound information (s) using an audio signal processor 1310 to process. The audio processing block 1300 can have a sound input a microphone 1320 received or a sound through a loudspeaker 1330 output.

Der Pufferspeicher 1400 kann Daten zwischenspeichern (z. B. vom Hauptprozessor 1800 verarbeitete oder zu verarbeitende Daten), die für einen Betrieb der elektronischen Vorrichtung 1000 verwendet werden. Der Pufferspeicher 1400 kann zum Beispiel einen flüchtigen/nichtflüchtigen Speicher, wie z. B. einen statischen Speicher mit wahlfreiem Zugriff (SRAM), ein dynamisches RAM (DRAM), ein synchrones DRAM (SDRAM), ein Phasenänderungs-RAM (PRAM), ein magnetoresistives RAM (MRAM), ein resistives RAM (ReRAM) oder ein ferroelektrisches RAM (FRAM) enthalten. Ein vom Bildverarbeitungsblock 1100 fotografiertes Bild oder ein Video, das aus vom Bildverarbeitungsblock 1100 fotografierten Bildern besteht, kann beispielsweise im Pufferspeicher 1400 gespeichert werden. Der Hauptprozessor 1800 kann eine HDR-Verarbeitung an dem Bild oder den Bildern durchführen, die im Pufferspeicher 1400 gespeichert sind.The buffer storage 1400 can temporarily store data (e.g. from the main processor 1800 processed or to be processed data) necessary for an operation of the electronic device 1000 be used. The buffer storage 1400 for example, a volatile / non-volatile memory, such as e.g. B. a static random access memory (SRAM), a dynamic RAM (DRAM), a synchronous DRAM (SDRAM), a phase change RAM (PRAM), a magnetoresistive RAM (MRAM), a resistive RAM (ReRAM) or a ferroelectric RAM (FRAM) included. One from the image processing block 1100 a photographed image or a video taken from the image processing block 1100 photographed images, for example in the buffer memory 1400 get saved. The main processor 1800 can perform HDR processing on the image or images that are in the buffer memory 1400 are stored.

Der nichtflüchtige Speicher 1500 kann Daten speichern, unabhängig davon, ob eine Leistungsversorgung vorhanden ist. Der nichtflüchtige Speicher 1500 kann zum Beispiel einen nichtflüchtigen Speicher, wie z. B. einen Flash-Speicher, ein PRAM, ein MRAM, ein ReRAM und ein FRAM enthalten. Der nichtflüchtige Speicher 1500 kann z. B. einen austauschbaren Speicher, wie z. B. ein Festplattenlaufwerk (HDD), ein Festkörperlaufwerk (SSD, Solid-State-Laufwerk), eine sichere digitale Karte (SD), einen universellen Flash-Speicher (UFS) und/oder einen eingebetteten Speicher, wie z. B. eine eingebettete Multimediakarte (eMMC) enthalten.The non-volatile memory 1500 can store data regardless of the presence of a power supply. The non-volatile memory 1500 for example, a non-volatile memory, such as. B. Flash memory, PRAM, MRAM, ReRAM and FRAM included. The non-volatile memory 1500 can e.g. B. a removable memory such. B. a hard disk drive (HDD), a solid state drive (SSD, solid-state drive), a secure digital card (SD), a universal flash memory (UFS) and / or an embedded storage such as e. B. contain an embedded multimedia card (eMMC).

Die Benutzerschnittstelle 1600 kann die Kommunikation zwischen einem Benutzer und der elektronischen Vorrichtung 1000 ermöglichen, so dass der Benutzer die elektronische Vorrichtung 1000 durch Eingabe von Befehlen über die Benutzerschnittstelle 1600 steuern kann. Die Benutzerschnittstelle 1600 kann beispielsweise Eingabeschnittstellen, wie etwa ein Tastenfeld, eine Taste, einen Berührungsbildschirm, ein Berührungsfeld, einen Sicht-Sensor, einen Bewegungssensor und einen Gyroskopsensor enthalten. Die Benutzerschnittstelle 1600 kann auch Ausgabeschnittstellen, wie z. B. eine Flüssigkristallanzeige (LCD)-Vorrichtung, eine Leuchtdiodenanzeige (LED)-Vorrichtung, eine organische LED (OLED)-Anzeigevorrichtung, eine Aktivmatrix-OLED (AMOLED)-Anzeigevorrichtung, einen Motor und eine LED-Lampe, die dem Benutzer (eine) Information(en) über den Betrieb der elektronischen Vorrichtung 1000 liefert, enthalten.The user interface 1600 can facilitate communication between a user and the electronic device 1000 enable so that the user can use the electronic device 1000 by entering commands through the user interface 1600 can control. The user interface 1600 For example, it may include input interfaces such as a keypad, a button, a touch screen, a touch panel, a vision sensor, a motion sensor, and a gyroscope sensor. The user interface 1600 can also output interfaces such as B. a liquid crystal display (LCD) device, a light emitting diode display (LED) device, an organic LED (OLED) display device, an active matrix OLED (AMOLED) display device, a motor and an LED lamp that the user (a ) Information (s) about the operation of the electronic device 1000 supplies, included.

Der Sensor 1700 kann verschiedene Arten von physikalischer Energie erfassen, die von der Außenseite der elektronischen Vorrichtung 1000 geliefert wird. Der Sensor 1700 kann z. B. ein Übertragungsmedium physikalischer Energie, wie etwa eine Temperatur, eine Stimme und ein Licht erfassen. Der Sensor 1700 kann beispielsweise die Beleuchtungsstärke erfassen und Daten, die die erfasste Beleuchtungsstärke angeben, an den Hauptprozessor 1800 übertragen.The sensor 1700 can capture various types of physical energy emitted from the outside of the electronic device 1000 is delivered. The sensor 1700 can e.g. B. detect a transmission medium of physical energy such as temperature, voice and light. The sensor 1700 can, for example, record the illuminance and send data indicating the acquired illuminance to the main processor 1800 transfer.

Der Hauptprozessor 1800 kann verschiedene Operationen zur Steuerung des gesamten Betriebs der elektronischen Vorrichtung 1000 durchführen. Der Hauptprozessor 1800 kann z. B. mit einem Allzweckprozessor, einem dedizierten Prozessor oder einem Anwendungsprozessor implementiert werden und kann einen oder mehrere Prozessorkerne enthalten. Der Hauptprozessor 1800 kann den Bildverarbeitungsblock 1100 steuern, um Bilddaten zu erhalten, die mit einem Objekt außerhalb der elektronischen Vorrichtung 1000 verbunden sind. Der Hauptprozessor 1800 kann beispielsweise den Bildverarbeitungsblock 1100 auf der Grundlage der vom Sensor 1700 gelieferten Information(en) steuern.The main processor 1800 can perform various operations to control the entire operation of the electronic device 1000 carry out. The main processor 1800 can e.g. Be implemented with a general purpose processor, a dedicated processor, or an application processor and may contain one or more processor cores. The main processor 1800 can use the image processing block 1100 control to obtain image data associated with an object outside the electronic device 1000 are connected. The main processor 1800 for example the image processing block 1100 based on that from the sensor 1700 control supplied information (s).

Der Leistungsmanager 1900 kann die von einer Batterie oder einer externen Leistungsquelle empfangene Leistung in geeigneter Weise umwandeln. Der Leistungsmanager 1900 kann die umgewandelte Leistung Komponenten der elektronischen Vorrichtung 1000 zuführen.The performance manager 1900 can appropriately convert the power received from a battery or an external power source. The performance manager 1900 can be the converted power components of the electronic device 1000 respectively.

Die in 1 dargestellten beispielhaften Bestandteile dienen dem besseren Verständnis und sollen die vorliegende Offenlegung nicht einschränken. Die elektronische Vorrichtung 1000 darf eine oder mehrere der in 1 dargestellten Komponenten nicht enthalten oder kann darüber hinaus mindestens eine in 1 nicht dargestellte Komponente enthalten.In the 1 The exemplary components shown serve for better understanding and are not intended to restrict the present disclosure. The electronic device 1000 one or more of the in 1 components shown are not included or may also contain at least one in 1 Component not shown included.

2 ist ein Diagramm, das eine beispielhafte Konfiguration eines Bildverarbeitungsblocks aus 1 veranschaulicht. 2 Fig. 13 is a diagram showing an exemplary configuration of an image processing block 1 illustrated.

Der Bildverarbeitungsblock 1100 kann die Bildsensorblöcke 1101 und 1102 und den Bildsignalprozessor 1150 enthalten. Die Benutzerschnittstelle 1600, ein Beleuchtungsstärkensensor 1710 und der Hauptprozessor 1800 werden zusammen dargestellt, um eine Bedienung des Bildverarbeitungsblocks 1100 vollständiger zu beschreiben. Der Beleuchtungsstärkesensor 1710 kann zum Beispiel mit einem Teil des Sensors 1700 aus 1 implementiert werden.The image processing block 1100 can use the image sensor blocks 1101 and 1102 and the image signal processor 1150 contain. The user interface 1600 , an illuminance sensor 1710 and the main processor 1800 are shown together to operate the image processing block 1100 to describe more fully. The illuminance sensor 1710 can for example with part of the sensor 1700 out 1 implemented.

Der Bildverarbeitungsblock 1100 kann durch eine Dualsensorstruktur, die zwei Bildsensoren 1121 und 1122 enthält, implementiert werden. Der erste Bildsensorblock 1101 kann zum Beispiel ein erstes Objektiv 1111, ein erstes Stellglied 1141 und einen ersten Bildsensor 1121 enthalten. In ähnlicher Weise kann der zweite Bildsensorblock 1102 ein zweites Objektiv 1112, ein zweites Stellglied 1142 und einen zweiten Bildsensor 1122 enthalten.The image processing block 1100 can through a dual sensor structure, the two image sensors 1121 and 1122 contains, be implemented. The first image sensor block 1101 can for example be a first lens 1111 , a first actuator 1141 and a first image sensor 1121 contain. In a similar way Way can the second image sensor block 1102 a second lens 1112 , a second actuator 1142 and a second image sensor 1122 contain.

Ein Objekt 10 kann z. B. ein Ziel sein, das ein Benutzer der elektronischen Vorrichtung 1000 zu fotografieren beabsichtigt. Als Reaktion auf eine Anforderung des Benutzers kann der Bildverarbeitungsblock 1100 unter der Steuerung des Hauptprozessors 1800 ein Signal und Daten erzeugen, die mit einem Bild des Objekts 10 verbunden sind. Ein Licht kann von dem Objekt 10 reflektiert werden, und das reflektierte Licht kann durch die Objektive 1111 und 1112 empfangen werden. Das von dem ersten Objektiv 1111 gesammelte Licht kann z. B. dem ersten Bildsensor 1121 zugeführt werden, und das von dem zweiten Objektiv 1112 gesammelte Licht kann dem zweiten Bildsensor 1122 zugeführt werden.An object 10 can e.g. B. be a target that a user of the electronic device 1000 Intended to photograph. In response to a request from the user, the image processing block 1100 under the control of the main processor 1800 generate a signal and data with an image of the object 10 are connected. A light can come from the object 10 be reflected, and the reflected light can pass through the lenses 1111 and 1112 be received. The one from the first lens 1111 collected light can e.g. B. the first image sensor 1121 are fed, and that from the second lens 1112 The collected light can be sent to the second image sensor 1122 are fed.

Die Objektive 1111 und 1112 können eingerichtet werden, um das Licht eines zum Fotografieren in verschiedenen Sichtfeldern anvisierten Objekts zu sammeln. Das Sichtfeld, bei dem das Licht von dem ersten Objektiv 1111 empfangen wird, kann sich z. B. von dem Sichtfeld unterscheiden, bei dem das Licht von dem zweiten Objektiv 1112 empfangen wird. Das erste Objektiv 1111 kann das Licht in einem Sichtfeld empfangen, das schmaler als das Sichtfeld des zweiten Objektivs 1112 ist. Im Gegensatz dazu kann das zweite Objektiv 1112 das Licht in einem Sichtfeld empfangen, das breiter als das Sichtfeld des ersten Objektivs 1111 ist.The lenses 1111 and 1112 can be set up to collect the light of an object aimed at in different fields of view for photography. The field of view at which the light from the first lens 1111 is received, z. B. differ from the field of view in which the light from the second lens 1112 Will be received. The first lens 1111 can receive the light in a field of view that is narrower than the field of view of the second lens 1112 is. In contrast, the second lens can 1112 receive the light in a field of view that is wider than the field of view of the first lens 1111 is.

Der erste Bildsensor 1121 kann ein erstes Signal D1 erzeugen, das auf dem von dem ersten Objektiv 1111 empfangenen Licht basiert, und der zweite Bildsensor 1122 kann ein zweites Signal D2 erzeugen, das auf dem von dem zweiten Objektiv 1112 empfangenen Licht basiert. Ein erstes Bild, das auf dem ersten Signal D1 basiert, kann beispielsweise einem Bild mit einem relativ engen Sichtfeld, das das Objekt 10 enthält, zugeordnet werden, und das zweite Signal D2 kann einem Bild mit einem relativ weiten Sichtfeld zugeordnet werden.The first image sensor 1121 can be a first signal D1 generate that on the one from the first lens 1111 received light based, and the second image sensor 1122 can get a second signal D2 generate that on that of the second lens 1112 received light based. A first picture that is on the first signal D1 based, for example, an image with a relatively narrow field of view showing the object 10 contains, are assigned, and the second signal D2 can be assigned to an image with a relatively wide field of view.

Die Bildsensoren 1121 und 1122 können mit unterschiedlichen Funktionen, unterschiedlichen Leistungen und/oder unterschiedlichen Eigenschaften vorgesehen werden. Der erste Bildsensor 1121 kann z. B. ein Pixelarray mit einer relativ niedrigen Auflösung enthalten, um das von dem ersten Objektiv 1111, das ein relativ enges Sichtfeld aufweist, empfangene Licht zu verarbeiten. Im Gegensatz dazu kann der zweite Bildsensor 1122 ein Pixelarray mit einer relativ hohen Auflösung enthalten, um das von dem zweiten Objektiv 1112, das ein relativ weites Sichtfeld aufweist, empfangene Licht zu verarbeiten. Alternativ können die Auflösung des Pixelarrays des ersten Bildsensors 1121 und die Auflösung des Pixelarrays des zweiten Bildsensors 1122 gleich sein.The image sensors 1121 and 1122 can be provided with different functions, different performances and / or different properties. The first image sensor 1121 can e.g. B. contain a pixel array with a relatively low resolution to that of the first lens 1111 , which has a relatively narrow field of view, to process received light. In contrast, the second image sensor 1122 contain an array of pixels with a relatively high resolution to that of the second lens 1112 , which has a relatively wide field of view, to process received light. Alternatively, the resolution of the pixel array of the first image sensor 1121 and the resolution of the pixel array of the second image sensor 1122 be equal.

Infolgedessen kann sich ein Dynamikbereich des ersten Bildes, das auf dem ersten Signal D1 basiert, das vom ersten Bildsensor 1121 ausgegeben wird, von einem Dynamikbereich des zweiten Bildes unterscheiden, das auf dem zweiten Signal D2 basiert, das vom zweiten Bildsensor 1122 ausgegeben wird. Das erste Bild, das auf dem ersten Signal D1 basiert, kann z. B. eine große Menge eines relativ dunklen Bereichs enthalten, und das zweite Bild, das auf dem zweiten Signal D2 basiert, kann eine große Menge eines relativ hellen Bereichs enthalten. Die Attribute der dynamischen Bereiche des ersten Bildes und des zweiten Bildes sind jedoch nicht darauf beschränkt, und die Attribute der dynamischen Bereiche können von verschiedenen Faktoren der Bildsensoren 1121 und 1122 abhängen, wie z. B. der Beleuchtungsstärke und einer Belichtungszeit.As a result, a dynamic range of the first image based on the first signal D1 based on that from the first image sensor 1121 is output, differ from a dynamic range of the second image that is on the second signal D2 based on that from the second image sensor 1122 is issued. The first picture that is on the first signal D1 based, can e.g. B. contain a large amount of a relatively dark area, and the second image that is on the second signal D2 may contain a large amount of a relatively bright area. However, the attributes of the dynamic ranges of the first image and the second image are not limited thereto, and the attributes of the dynamic ranges can vary from various factors of the image sensors 1121 and 1122 depend, such as B. the illuminance and an exposure time.

In einigen Ausführungsformen kann der Bildverarbeitungsblock 1100 darüber hinaus die Stellglieder 1141 und 1142 zur Einstellung der Brennweiten der Objektive 1111 und 1112 enthalten. Das erste Stellglied 1141 kann eine Position des ersten Objektivs 1111 verschieben, und somit kann ein Brennweitenwert des ersten Objektivs 1111 eingestellt werden. Das zweite Stellglied 1142 kann eine Position des zweiten Objektivs 1112 bewegen, und somit kann eine Brennweite des zweiten Objektivs 1112 eingestellt werden. Jedes der Stellglieder 1141 und 1142 kann z. B. ein bewegliches Stellglied sein.In some embodiments, the image processing block 1100 in addition, the actuators 1141 and 1142 for setting the focal lengths of the lenses 1111 and 1112 contain. The first actuator 1141 can be a position of the first lens 1111 shift, and thus a focal length value of the first lens 1111 can be set. The second actuator 1142 can be a position of the second lens 1112 move, and thus a focal length of the second lens 1112 can be set. Each of the actuators 1141 and 1142 can e.g. B. be a movable actuator.

Die Brennweiten der Objektive 1111 und 1112 können zum Beispiel durch die Stellglieder 1141 und 1142 so eingestellt werden, dass die Brennweiten der Objektive 1111 und 1112 unterschiedlich sind. Die Stellantriebe 1141 und 1142 können beispielsweise jeweils physikalische Vorrichtungen, wie etwa einen Motor zum Bewegen der Objektive 1111 und 1112, enthalten.The focal lengths of the lenses 1111 and 1112 can for example through the actuators 1141 and 1142 be adjusted so that the focal lengths of the lenses 1111 and 1112 are different. The actuators 1141 and 1142 For example, each can be physical devices, such as a motor for moving the lenses 1111 and 1112 , contain.

Außerdem kann der Bildsignalprozessor 1150 die Signale D1 und D2 unterschiedlich verarbeiten. Der Bildsignalprozessor 1150 kann beispielsweise verschiedene Signalverarbeitungen, wie Pixelkorrektur, Demosaik, Rauschunterdrückung, Objektivverschattungskorrektur, Gammakorrektur und Kantenverbesserung, durchführen. Die vom Bildsignalprozessor 1150 verarbeiteten Signale können an den Hauptprozessor 1800 ausgegeben werden.In addition, the image signal processor 1150 the signals D1 and D2 process differently. The image signal processor 1150 can, for example, perform various signal processing such as pixel correction, demosaic, noise reduction, lens shading correction, gamma correction and edge enhancement. The ones from the image signal processor 1150 processed signals can be sent to the main processor 1800 are issued.

Der Hauptprozessor 1800 kann auf der Grundlage der vom Bildsignalprozessor 1150 empfangenen Signale eine HDR-Verarbeitung durchführen. Auf diese Weise können endgültige Bilddaten erzeugt werden. Eine beispielhafte HDR-Verarbeitung durch den Hauptprozessor 1800 wird im Hinblick auf spätere Ausführungsformen ausführlicher beschrieben.The main processor 1800 can be based on the information provided by the image signal processor 1150 perform HDR processing on the received signals. In this way, final image data can be generated. Exemplary HDR processing by the main processor 1800 will be described in more detail with respect to later embodiments.

Die HDR-verarbeiteten Bilddaten können in einem internen Speicher des Hauptprozessors 1800, dem Pufferspeicher 1400 und/oder dem nichtflüchtigen Speicher 1500 gespeichert werden. Die HDR-verarbeiteten Bilddaten können Attribute, wie etwa eine Form, eine Farbe und eine Bewegung des Objekts 10 anzeigen. Die HDR-verarbeiteten Bilddaten können dem Benutzer über eine Ausgabeschnittstelle (z. B. eine Anzeigevorrichtung) der Benutzerschnittstelle 1600 vorgesehen werden.The HDR-processed image data can be stored in an internal memory of the main processor 1800 , the buffer storage 1400 and / or the non-volatile memory 1500 get saved. The HDR-processed image data can have attributes such as a shape, a color and a movement of the object 10 Show. The HDR-processed image data can be made available to the user via an output interface (for example a display device) of the user interface 1600 are provided.

Der Hauptprozessor 1800 kann den Betrieb der Bildsensoren 1121 und 1122, des Bildsignalprozessors 1150 und der Stellglieder 1141 und 1142 steuern. Der Hauptprozessor 1800 kann z. B. den verschiedenen Komponenten signalisieren, die Betriebszeiten der Bildsensoren 1121 und 1122, des Bildsignalprozessors 1150 und der Stellglieder 1141 und 1142 als Reaktion auf eine Benutzeranforderung (z. B. einen Tastendruck, eine Bildschirmberührung, eine Bewegung oder eine Geste) zu steuern, die über die Benutzeroberfläche 1600 erkannt wird.The main processor 1800 can operate the image sensors 1121 and 1122 , the image signal processor 1150 and the actuators 1141 and 1142 Taxes. The main processor 1800 can e.g. B. signal the various components, the operating times of the image sensors 1121 and 1122 , the image signal processor 1150 and the actuators 1141 and 1142 in response to a user request (e.g., a button press, a screen touch, a movement, or a gesture) to control the user interface 1600 is recognized.

Die Beleuchtungsstärke einer fotografischen Umgebung kann z. B. durch den Beleuchtungsstärkesensor 1710 erfasst werden. Der Hauptprozessor 1800 kann mit Daten versorgt werden, die mit der Beleuchtungsstärke vom Beleuchtungsstärkesensor 1710 verknüpft sind, und kann die Bildsensorblöcke 1101 und 1102 steuern, indem er die Steuersignale FB1 und FB2 verwendet, die auf den bereitgestellten Daten basieren.The illuminance of a photographic environment can e.g. B. by the illuminance sensor 1710 are recorded. The main processor 1800 can be supplied with data related to the illuminance from the illuminance sensor 1710 are linked, and can use the image sensor blocks 1101 and 1102 control by using the control signals FB1 and FB2 based on the data provided.

Der Benutzer kann beispielsweise über die Eingabeschnittstelle der Benutzerschnittstelle 1600 „Hineinzoomen-“ oder „Herauszoomen“-Befehle eingeben, um ein Bild zu fotografieren. Der Hineinzoomen-Befehl kann mit dem Fotografieren eines Objekts in einem engen Sichtfeld und der Herauszoomen-Befehl mit dem Fotografieren des Objekts in einem weiten Sichtfeld verknüpft sein.The user can, for example, via the input interface of the user interface 1600 Enter “zoom in” or “zoom out” commands to take a picture. The zoom in command can be linked to photographing an object in a narrow field of view and the zoom out command can be linked to photographing the object in a wide field of view.

Der Hineinzoomen- oder Herauszoomen-Befehl kann beispielsweise (eine) Information(en) über eine höhere oder niedrigere Zoom-Vergrößerung enthalten. Bei der Zoom-Vergrößerung kann es sich um einen Wert handeln, der die Tiefe eines von der elektronischen Vorrichtung aus zu fotografierenden Objekts oder die Breite eines Bereichs, der das zu fotografierende Objekt enthält, angibt. Der Hauptprozessor 1800 kann die Stellglieder 1141 und 1142 auf der Grundlage der durch die Zoom-Vergrößerung angezeigten Information(en) steuern.The zoom in or zoom out command can contain information (s) about a higher or lower zoom magnification, for example. The zoom magnification may be a value indicating the depth of an object to be photographed from the electronic device or the width of an area containing the object to be photographed. The main processor 1800 can the actuators 1141 and 1142 based on the information (s) displayed by the zoom magnification.

Der Benutzer kann beispielsweise eine Zoom-Bedingung für das Fotografieren eines beabsichtigten Bildes festlegen, indem er einen Wert der Zoom-Vergrößerung langsam oder schrittweise (z. B. schrittweise oder stufenweise) erhöht oder verringert oder einen bestimmten Wert der Zoom-Vergrößerung auswählt. Zu diesem Zweck kann die Eingabeschnittstelle der Benutzerschnittstelle 1600 die Zoom-Vergrößerung vom Benutzer erhalten. Die HDR-Verarbeitung auf der Grundlage dieses Benutzerzoomfaktors wird im Hinblick auf spätere Ausführungsformen ausführlicher beschrieben.For example, the user can set a zoom condition for photographing an intended picture by slowly or gradually increasing or decreasing a value of the zoom magnification (e.g., stepwise or stepwise) or by selecting a specific value of the zoom magnification. For this purpose, the input interface of the user interface 1600 get the zoom magnification from the user. HDR processing based on this user zoom factor will be described in more detail with respect to later embodiments.

Der Hauptprozessor 1800 kann Befehlssätze verschiedener Programmcodes ausführen. Der Hauptprozessor 1800 kann beispielsweise Befehlssätze einer Anwendung (AP), einer Kamera-Hardware-Abstraktionsschicht (HAL), eines Kameratreibers (DRV), einer Bildverarbeitungsbibliothek (LIB) usw. ausführen. Die Anwendung kann als Antwort auf eine Anforderung des Benutzers ausgeführt werden und kann z. B. eine Kameraanwendung, eine Filmemacheranwendung usw. sein.The main processor 1800 can execute instruction sets of various program codes. The main processor 1800 can for example execute instruction sets of an application (AP), a camera hardware abstraction layer (HAL), a camera driver (DRV), an image processing library (LIB) etc. The application can be executed in response to a request from the user and can e.g. Be a camera application, a filmmaker application, etc.

3 ist ein Blockdiagramm, das beispielhafte Funktionsweise von Bildsensorblöcken aus 2 veranschaulicht. 3rd Figure 3 is a block diagram depicting exemplary operation of image sensor blocks 2 illustrated.

Unter Bezugnahme auf 2 und 3 kann der erste Bildsensorblock 1101 den ersten Bildsensor 1121 zur Erzeugung eines Bildes, das in einem ersten Sichtfeld FOV1 fotografiert wurde, und den zweiten Bildsensor 1122 zur Erzeugung eines Bildes, das in einem zweiten Sichtfeld FOV2 fotografiert wurde, enthalten. Darüber hinaus kann in dieser Spezifikation „ein Bild oder Bilddaten mit einem bestimmten Sichtfeld (oder eines bestimmten Sichtfeldes)“ bedeuten: „Bilddaten oder eine Bildausgabe von einem Bildsensor, der ein Objektiv enthält, das ein bestimmtes Sichtfeld aufweist“.With reference to 2 and 3rd can the first image sensor block 1101 the first image sensor 1121 for generating an image that was photographed in a first field of view FOV1, and the second image sensor 1122 for generating an image photographed in a second field of view FOV2. Additionally, in this specification, “an image or image data having a specific field of view (or field of view)” may mean “image data or an image output from an image sensor that includes a lens that has a specific field of view”.

In einer Ausführungsform kann das zweite Sichtfeld FOV2 größer als das erste Sichtfeld FOV1 sein. Dementsprechend kann der erste Bildsensorblock 1101 arbeiten, um ein Bild mit einem relativ schmalen Sichtfeld zu erfassen, und der zweite Bildsensorblock 1102 kann arbeiten, um ein Bild mit einem relativ breiten Sichtfeld zu erfassen. Das erste Objektiv 1111 kann z.B. ein Weitwinkelobjektiv und das zweite Objektiv 1112 ein Ultraweitwinkelobjektiv sein. Alternativ kann das erste Objektiv 1111 ein Teleobjektiv und das zweite Objektiv 1112 ein Weitwinkelobjektiv sein.In one embodiment, the second field of view FOV2 can be larger than the first field of view FOV1. Accordingly, the first image sensor block 1101 work to capture an image with a relatively narrow field of view, and the second image sensor block 1102 can work to capture an image with a relatively wide field of view. The first lens 1111 can for example a wide-angle lens and the second lens 1112 be an ultra wide angle lens. Alternatively, the first lens 1111 a telephoto lens and the second lens 1112 be a wide angle lens.

Der erste Bildsensorblock 1101 kann beispielsweise ein von einem Objekt in einer Region R1, die dem ersten Sichtfeld FOV1 entspricht, reflektiertes Licht empfangen und auf der Grundlage des empfangenen Lichts das erste Signal D1 erzeugen. Der zweite Bildsensorblock 1102 kann ein Licht empfangen, das von einem Objekt in einer Region R2, die dem zweiten Sichtfeld FOV2 entspricht, reflektiert wird, und kann das zweite Signal D2 auf der Grundlage des empfangenen Lichts erzeugen.The first image sensor block 1101 for example, one of an object in a region R1 corresponding to the first field of view FOV1 receive reflected light and based on the received light the first signal D1 produce. The second image sensor block 1102 can receive a light emanating from an object in a region R2 which corresponds to the second field of view FOV2 is reflected, and can use the second signal D2 generate based on the received light.

Der Bildsignalprozessor 1150 kann jeweils erste Bilddaten IDAT1 und zweite Bilddaten IDAT2 basierend auf dem ersten Signal D1 und dem zweiten Signal D2 erzeugen. Ein Dynamikbereich der ersten Bilddaten IDAT1 und ein Dynamikbereich der zweiten Bilddaten IDAT2 können sich voneinander unterscheiden. Die ersten Bilddaten IDAT1 können beispielsweise relativ dunkle Helligkeitswerte und die zweiten Bilddaten IDAT2 relativ helle Helligkeitswerte enthalten.The image signal processor 1150 can each have first image data IDAT1 and second image data IDAT2 based on the first signal D1 and the second signal D2 produce. A dynamic range of the first image data IDAT1 and a dynamic range of the second image data IDAT2 can differ from one another. The first image data IDAT1 can contain, for example, relatively dark brightness values and the second image data IDAT2 can contain relatively light brightness values.

Danach kann der Hauptprozessor 1800 die HDR-Verarbeitung auf der Grundlage der ersten Bilddaten IDAT1 und der zweiten Bilddaten IDAT2, die unterschiedliche Helligkeitswerte aufweisen, durchführen. Da durch die HDR-Verarbeitung ein Bild, das einen größeren Dynamikbereich aufweist, erhalten wird, kann die Qualität eines Bildes oder die Qualität eines aus Bildern zusammengesetzten Videos verbessert werden.Then the main processor can 1800 perform the HDR processing on the basis of the first image data IDAT1 and the second image data IDAT2 having different brightness values. Since an image having a wider dynamic range is obtained by the HDR processing, the quality of an image or the quality of a video composed of images can be improved.

Die Bildsensorblöcke 1101 und 1102 können beispielsweise unter der Steuerung des Hauptprozessors 1800 die von der äußeren Umgebung der elektronischen Vorrichtung 1000 empfangene Lichtmenge anpassen. In einer Ausführungsform kann der Hauptprozessor 1800 die Verschlussgeschwindigkeit der Bildsensoren 1121 und 1122 einstellen, um die von der Umgebung der elektronischen Vorrichtung 1000 gesammelte Lichtmenge einzustellen. In einer anderen Ausführungsform kann der Hauptprozessor 1800 die Blendenwerte der Bildsensoren 1121 und 1122 einstellen, um die Lichtmenge einzustellen, die aus der Umgebung der elektronischen Vorrichtung 1000 gesammelt wird.The image sensor blocks 1101 and 1102 can for example be under the control of the main processor 1800 that of the external environment of the electronic device 1000 Adjust the amount of light received. In one embodiment, the main processor 1800 the shutter speed of the image sensors 1121 and 1122 adjust to that of the environment of the electronic device 1000 to adjust the amount of light collected. In another embodiment, the main processor 1800 the aperture values of the image sensors 1121 and 1122 Adjust to adjust the amount of light emitted from the environment of the electronic device 1000 is collected.

Um die Verschlusszeiten und/oder Blendenwerte der Bildsensoren 1121 und 1122 einzustellen, kann der Hauptprozessor 1800 Signale zur Steuerung mechanischer Vorrichtungen in den Bildsensoren 1121 und 1122 oder Signale zur Steuerung von Pixeln in den Bildsensoren 1121 und 1122 ausgeben. Der Hauptprozessor 1800 kann z. B. Operationen von Transistoren steuern, die in den Pixeln der Bildsensoren 1121 und 1122 enthalten sind.About the shutter speeds and / or aperture values of the image sensors 1121 and 1122 can be set by the main processor 1800 Signals for controlling mechanical devices in the image sensors 1121 and 1122 or signals to control pixels in the image sensors 1121 and 1122 output. The main processor 1800 can e.g. B. Control operations of transistors in the pixels of the image sensors 1121 and 1122 are included.

4 ist ein konzeptionelles Diagramm, das beispielhaft Eigenschaften von Bildsensorblöcken aus 3 veranschaulicht. Nachfolgend wird der Betrieb der Bildsensorblöcke 1101 und 1102, die unterschiedliche Betriebseigenschaften aufweisen, unter Bezugnahme auf 2 und 4 beschrieben. Im Beispiel von 4 stellt eine x-Achse einen charakteristischen Wert dar. 4th Fig. 3 is a conceptual diagram showing exemplary properties of image sensor blocks 3rd illustrated. The following is the operation of the image sensor blocks 1101 and 1102 having different operating characteristics, referring to FIG 2 and 4th described. In the example of 4th an x-axis represents a characteristic value.

Der charakteristische Wert kann mit einem Helligkeitswert von Bilddaten verbunden sein, der auf einem von einem Bildsensor ausgegebenen Signal basiert. Als Beispiel für den charakteristischen Wert kann sich ein Leuchtdichtebereich von ersten Bilddaten, die auf dem ersten Signal D1 basieren, das vom ersten Bildsensorblock 1101 ausgegeben wird, von einem Leuchtdichtebereich von zweiten Bilddaten unterscheiden, die auf dem zweiten Signal D2 basieren, das vom zweiten Bildsensorblock 1102 ausgegeben wird. Ein Maximalwert (d. h. der Wert „c“) des Leuchtdichtebereichs der ersten Bilddaten kann beispielsweise kleiner als ein Maximalwert (d. h. der Wert „d“) des Leuchtdichtebereichs der zweiten Bilddaten sein. Mindestens ein Teil des Leuchtdichtebereichs der ersten Bilddaten kann beispielsweise mindestens einen Teil des Leuchtdichtebereichs der zweiten Bilddaten überlappen oder mindestens einen Teil des Leuchtdichtebereichs der zweiten Bilddaten nicht überlappen.The characteristic value can be linked to a brightness value of image data that is based on a signal output by an image sensor. As an example of the characteristic value, a luminance range of first image data that is based on the first signal can be used D1 based on that from the first image sensor block 1101 is output, differ from a luminance range of second image data on the second signal D2 based on that from the second image sensor block 1102 is issued. A maximum value (ie the value “c”) of the luminance range of the first image data can, for example, be smaller than a maximum value (ie the value “d”) of the luminance range of the second image data. At least part of the luminance range of the first image data can, for example, overlap at least part of the luminance range of the second image data or not overlap at least part of the luminance range of the second image data.

Als weiteres Beispiel für den charakteristischen Wert kann sich ein Dynamikbereich der ersten Bilddaten, die auf dem ersten Signal D1 basieren, das vom ersten Bildsensorblock 1101 ausgegeben wird, von einem Dynamikbereich der zweiten Bilddaten unterscheiden, die auf dem zweiten Signal D2 basieren, das vom zweiten Bildsensorblock 1102 ausgegeben wird. Ein Maximalwert (d. h. der Wert „c“) des Dynamikbereichs der ersten Bilddaten kann beispielsweise kleiner als ein Maximalwert (d. h. der Wert „d“) des Dynamikbereichs der zweiten Bilddaten sein. Dass ein Wert des Dynamikbereichs relativ groß ist, kann bedeuten, dass das Verhältnis eines hellen Bereichs in einem Bild entsprechend groß ist. Zumindest ein Teil des Dynamikbereichs der ersten Bilddaten kann beispielsweise zumindest einen Teil des Dynamikbereichs der zweiten Bilddaten überlappen oder zumindest einen Teil des Dynamikbereichs der zweiten Bilddaten nicht überlappen.A dynamic range of the first image data which is based on the first signal can be used as a further example for the characteristic value D1 based on that from the first image sensor block 1101 is output, differ from a dynamic range of the second image data on the second signal D2 based on that from the second image sensor block 1102 is issued. A maximum value (ie the value “c”) of the dynamic range of the first image data can, for example, be smaller than a maximum value (ie the value “d”) of the dynamic range of the second image data. That a value of the dynamic range is relatively large can mean that the ratio of a bright area in an image is correspondingly large. At least part of the dynamic range of the first image data can, for example, overlap at least part of the dynamic range of the second image data or at least not overlap part of the dynamic range of the second image data.

Als weiteres Beispiel für den Merkmalswert kann der Merkmalswert ein Wert sein, der mit einer physikalischen Eigenschaft eines Bildsensors selbst verbunden ist. Der Merkmalswert kann beispielsweise mit der Anzahl der physikalischen Pixel verbunden sein, die ein Pixelarray bilden. In dieser Konfiguration kann der Merkmalswert im Gegensatz zum Beispiel von 4, in dem ein Merkmalswert durch einen Bereich ausgedrückt wird, ein einzelner fester Wert sein. Die Auflösung des Pixelarrays des ersten Bildsensorblocks 1101 und die Auflösung des Pixelarrays des zweiten Bildsensorblocks 1102 können sich beispielsweise voneinander unterscheiden. Der erste Bildsensorblock 1101 kann beispielsweise ein Pixelarray enthalten, das geeignet ist, das von dem ersten Objektiv 1111 mit einem relativ engen Sichtfeld empfangene Licht zu verarbeiten. Der zweite Bildsensorblock 1102 kann ein Pixelarray enthalten, das geeignet ist, das von dem zweiten Objektiv 1112, das ein relativ weites Sichtfeld aufweist, empfangene Licht zu verarbeiten.As a further example of the feature value, the feature value can be a value that is associated with a physical property of an image sensor itself. The feature value can, for example, be linked to the number of physical pixels that form a pixel array. In this configuration, in contrast to for example of 4th in which a feature value is expressed by a range can be a single fixed value. The resolution of the pixel array of the first image sensor block 1101 and the resolution of the pixel array of the second image sensor block 1102 can differ from one another, for example. The first image sensor block 1101 may for example contain a pixel array suitable for that of the first objective 1111 to process light received with a relatively narrow field of view. The second image sensor block 1102 may contain an array of pixels appropriate to that of the second objective 1112 , which has a relatively wide field of view, to process received light.

5 ist ein Zeitdiagramm, das die Funktionsweise von Bildsensorblöcken und eines Hauptprozessors von 2 veranschaulicht. 5 FIG. 13 is a timing diagram showing the operation of image sensor blocks and a main processor of FIG 2 illustrated.

Zwischen einem ersten Zeitpunkt t1 und einem dritten Zeitpunkt t3 können die Bildsensorblöcke 1101 und 1102 arbeiten, um Bilddaten zu erhalten, die einem aktuellen Video-Frame entsprechen. Die Bildsensorblöcke 1101 und 1102 können jeweils die Signale D1 und D2 ausgeben, die die erhaltenen Bilddaten anzeigen.Between a first point in time t1 and a third point in time t3, the image sensor blocks can 1101 and 1102 work to obtain image data corresponding to a current video frame. The image sensor blocks 1101 and 1102 can each use the signals D1 and D2 that display the received image data.

Nach dem ersten Zeitpunkt t1 kann der digitale Bildsignalprozessor 1150 die Signale D1 und D2 von den Bildsensorblöcken 1101 und 1102 empfangen. Der Bildsignalprozessor 1150 kann auf der Grundlage der Signale D1 und D2 erste Bilddaten und zweite Bilddaten erhalten. Zwischen einem zweiten Zeitpunkt t2 und einem vierten Zeitpunkt t4 kann der Hauptprozessor 1800 die HDR-Verarbeitung auf der Grundlage der ersten Bilddaten und der zweiten Bilddaten durchführen, die jeweils unterschiedlichen Sichtfeldern entsprechen.After the first point in time t1, the digital image signal processor 1150 the signals D1 and D2 from the image sensor blocks 1101 and 1102 receive. The image signal processor 1150 can be based on the signals D1 and D2 receive first image data and second image data. Between a second point in time t2 and a fourth point in time t4, the main processor 1800 perform the HDR processing based on the first image data and the second image data each corresponding to different fields of view.

Im Beispiel von 5 können die Bildsensorblöcke 1101 und 1102 während desselben Zeitraums arbeiten, um Bilddaten mit unterschiedlichen Helligkeitswerten zu erhalten, die für die HDR-Verarbeitung verwendet werden. Da die Bildsensorblöcke 1101 und 1102 während desselben Zeitraums arbeiten, können die für die HDR-Verarbeitung zu verwendenden Bilddaten schneller in Echtzeit gewonnen werden. Dementsprechend kann die elektronische Vorrichtung 1000 durch die Operationen der Bildsensorblöcke 1101 und 1102 und des Bildsignalprozessors 1150 in Echtzeit HDR-verarbeitete Bilddaten erhalten.In the example of 5 can use the image sensor blocks 1101 and 1102 work during the same period to obtain image data with different brightness values that are used for HDR processing. As the image sensor blocks 1101 and 1102 work during the same period of time, the image data to be used for HDR processing can be obtained more quickly in real time. Accordingly, the electronic device 1000 through the operations of the image sensor blocks 1101 and 1102 and the image signal processor 1150 Receive HDR processed image data in real time.

6 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht. 6th Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.

Wie die HDR-Verarbeitung an zwei Bildern mit unterschiedlichen Sichtfeldern durchgeführt wird, wird unter Bezugnahme auf 2, 4 und 6 beschrieben. Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 auf der Grundlage des ersten Signals D1, das vom ersten Bildsensorblock 1101 empfangen wird, und die zweiten Bilddaten IDAT2 auf der Grundlage des zweiten Signals D2, das vom zweiten Bildsensorblock 1102 empfangen wird, erhalten. Die Bildsensorblöcke 1101 und 1102 können beispielsweise die ersten Bilddaten IDAT1 bzw. die zweiten Bilddaten IDAT2 erhalten, indem sie das von Objektiven, die unterschiedliche Sichtfelder aufweisen, empfangene Licht erfassen.How the HDR processing is performed on two images with different fields of view is illustrated with reference to FIG 2 , 4th and 6th described. The image signal processor 1150 can convert the first image data IDAT1 based on the first signal D1 that from the first image sensor block 1101 is received, and the second image data IDAT2 based on the second signal D2 from the second image sensor block 1102 is received, received. The image sensor blocks 1101 and 1102 For example, the first image data IDAT1 and the second image data IDAT2 can be obtained by capturing the light received from lenses which have different fields of view.

Der erste Bildsensor 1121 kann beispielsweise ein Pixelarray aus „N“ Spalten mit jeweils „M“ Pixeln (oder aus „M“ Zeilen mit jeweils „N“ Pixeln) enthalten. Dementsprechend kann die Größe der ersten Bilddaten IDAT1 „M Pixel × N Pixel“ sein. In ähnlicher Weise kann der zweite Bildsensor 1122 ein Pixelarray enthalten, das aus „P“-Spalten besteht, die jeweils „Q“-Pixel enthalten (oder aus „Q“-Zeilen besteht, die jeweils „P“-Pixel enthalten). Dementsprechend kann die Größe der zweiten Bilddaten IDAT2 „P Pixel × Q Pixel“ sein. In einer Ausführungsform kann „P“ größer als „M“ und „Q“ größer als „N“ sein. Das heißt, die Auflösung der zweiten Bilddaten IDAT2 kann größer als die Auflösung der ersten Bilddaten IDAT1 sein. Dementsprechend können sich ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der ersten Bilddaten IDAT1 und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der zweiten Bilddaten IDAT2 voneinander unterscheiden.The first image sensor 1121 For example, a pixel array can contain “N” columns with “M” pixels each (or “M” rows with “N” pixels each). Accordingly, the size of the first image data IDAT1 can be “M pixels × N pixels”. The second image sensor 1122 Contain an array of pixels made up of “P” columns, each containing “Q” pixels (or made up of “Q” rows, each containing “P” pixels). Accordingly, the size of the second image data IDAT2 can be “P pixels × Q pixels”. In one embodiment, “P” can be greater than “M” and “Q” can be greater than “N”. That is to say, the resolution of the second image data IDAT2 can be greater than the resolution of the first image data IDAT1. Accordingly, a brightness value (or a range of brightness values) of the first image data IDAT1 and a brightness value (or a range of brightness values) of the second image data IDAT2 can differ from one another.

In einer anderen Ausführungsform können „P“ und „M“ jedoch gleich sein, und „Q“ und „N“ können gleich sein. In dieser Konfiguration kann eine Auflösung der ersten Bilddaten IDAT1 gleich einer Auflösung der zweiten Bilddaten IDAT2 sein, und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der ersten Bilddaten IDAT1 und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der zweiten Bilddaten IDAT2 können sich voneinander unterscheiden. Zur Vereinfachung der Beschreibung wird die Beschreibung in der Spezifikation jedoch unter der Annahme gegeben, dass die Auflösungen der Bilddaten bzw. der von den Bildsensorblöcken ausgegebenen Bilddaten unterschiedlich sind. Darüber hinaus werden als Annahme der HDR-Verarbeitung zur Erzielung eines größeren Dynamikbereichs Ausführungsformen unter der Annahme beschrieben, dass die Helligkeitswerte (oder Bereiche von Helligkeitswerten) der Bilddaten bzw. der von Bildsensorblöcken ausgegebenen Bilddaten unterschiedlich sind.However, in another embodiment, “P” and “M” can be the same, and “Q” and “N” can be the same. In this configuration, a resolution of the first image data IDAT1 may be equal to a resolution of the second image data IDAT2, and a brightness value (or a range of brightness values) of the first image data IDAT1 and a brightness value (or a range of brightness values) of the second image data IDAT2 may differ from each other distinguish. To simplify the description, however, the description in the specification is given on the assumption that the resolutions of the image data or of the image data output by the image sensor blocks are different. In addition, as an assumption of HDR processing to achieve a larger dynamic range, embodiments are described on the assumption that the brightness values (or ranges of brightness values) of the image data or of the image data output by image sensor blocks are different.

Im Folgenden wird der Einfachheit halber „M Pixel × N Pixel“ als Größe der Bilddaten als „M×N“ bezeichnet. In der Spezifikation bedeutet der Fall, dass die Größe der Bilddaten durch „M×N“ ausgedrückt wird, dass die Bilddaten Daten angeben, die durch eine diskontinuierliche Einheit (z. B. ein Pixel) ausgedrückt werden, die in M Zeilen und N Spalten enthalten ist.In the following, for the sake of simplicity, “M pixels × N pixels” will be referred to as the size of the image data as “M × N”. In the specification, the case that the size of the image data is expressed by “M × N” means that the image data indicates data expressed by a discontinuous unit (e.g., one pixel) expressed in M rows and N columns is included.

Wie in der vorstehenden Beschreibung kann der zweite Bildsensor 1122 ein Pixelarray enthalten, das aus „Q“-Spalten besteht, die jeweils „P“-Pixel enthalten (oder aus „P“-Zeilen, die jeweils „Q“-Pixel enthalten). Das heißt, die Größe der zweiten Bilddaten IDAT2 kann „P×Q“ sein.As in the above description, the second image sensor 1122 Contain an array of pixels made up of “Q” columns, each containing “P” pixels (or “P” rows, each containing “Q” pixels). That is, the size of the second image data IDAT2 can be “P × Q”.

Der Hauptprozessor 1800 kann einen Teil der zweiten Bilddaten IDAT2 zuschneiden. Der Hauptprozessor 1800 kann einen Teil, der den ersten Bilddaten IDAT1 entspricht, aus den zweiten Bilddaten IDAT2 zuschneiden. Die Größe der Bilddaten, die zu einem Bereich gehören, der den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 kann „M×N“ sein. Die Größe der zugeschnittenen Region, die „M×N“ ist, kann beispielsweise die Hälfte oder weniger der Größe der zweiten Bilddaten IDAT2 sein, die „P×Q“ ist, ist aber nicht darauf beschränkt. Die dritten Bilddaten IDAT3 von „M×N“ können als Zuschnittsergebnis erzeugt werden.The main processor 1800 can crop part of the second image data IDAT2. The main processor 1800 can trim a part corresponding to the first image data IDAT1 from the second image data IDAT2. The size of the image data that belong to an area which corresponds to the first image data IDAT1; the second image data IDAT2 can be “M × N”. The size of the cropped region that is “M × N” may be, for example, half or less of the size of the second image data IDAT2 that is “P × Q”, but is not limited thereto. The third image data IDAT3 of “M × N” can be generated as a cutting result.

Wie mit Bezug auf 4 beschrieben, können die Bildsensorblöcke 1101 und 1102 durch eine Eigenschaft eines Bildsensorblocks selbst die ersten Bilddaten IDAT1 und die zweiten Bilddaten IDAT2, die unterschiedliche Helligkeitswerte aufweisen, erhalten. Infolgedessen können ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der ersten Bilddaten IDAT1 und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der dritten Bilddaten IDAT3 voneinander verschieden sein. Der Hauptprozessor 1800 kann die ersten Bilddaten IDAT1 und die dritten Bilddaten IDAT3 vom Bildsignalprozessor 1150 empfangen und auf der Grundlage der empfangenen Bilddaten eine HDR-Verarbeitung durchführen. Der Hauptprozessor 1800 kann durch die HDR-Verarbeitung Bilddaten IOUT erhalten, die dem aktuellen Video-Frame entsprechen.As with reference to 4th described, the image sensor blocks 1101 and 1102 the first image data IDAT1 and the second image data IDAT2 having different brightness values are obtained by a property of an image sensor block itself. As a result, a brightness value (or a range of brightness values) of the first image data IDAT1 and a brightness value (or a range of brightness values) of the third image data IDAT3 may be different from each other. The main processor 1800 can receive the first image data IDAT1 and the third image data IDAT3 from the image signal processor 1150 and perform HDR processing based on the received image data. The main processor 1800 can obtain image data IOUT corresponding to the current video frame by the HDR processing.

Ein Bild, das durch die HDR-verarbeiteten Bilddaten IOUT angezeigt wird, kann einen dynamischen Bereich der ersten Bilddaten IDAT1 und einen dynamischen Bereich der dritten Bilddaten IDAT3 enthalten. Mit anderen Worten, ein Bild, das einen Dynamikbereich (d. h. „a“ bis „d“), der breiter als der Dynamikbereich (d. h. „a“ bis „c“ der ersten Bilddaten IDAT1 oder der Dynamikbereich (d. h. „b“ bis „d“) der dritten Bilddaten IDAT3 ist, kann durch die HDR-Verarbeitung erhalten werden.An image displayed by the HDR processed image data IOUT may include a dynamic range of the first image data IDAT1 and a dynamic range of the third image data IDAT3. In other words, an image that has a dynamic range (ie, “a” to “d”) wider than the dynamic range (ie, “a” to “c” of the first image data IDAT1 or the dynamic range (ie, “b” to “d “) Of the third image data is IDAT3 can be obtained by the HDR processing.

In der Zwischenzeit kann sich die Ausführungsform von 6 auf die HDR-Verarbeitung für ein Video beziehen. Im Falle der Anwendung der HDR-Verarbeitungsverfahren der vorliegenden Offenlegung auf Fotografien kann jedoch ein Helligkeitswert der Bilddaten durch Einstellen eines Belichtungswertes künstlich eingestellt werden. Der Beleuchtungsstärkesensor 1710 (siehe 2) kann z. B. bei sehr heller Umgebungshelligkeit die Umgebungshelligkeit erfassen und (eine) Information(en) über die Umgebungshelligkeit an den Hauptprozessor 1800 übertragen. Der Hauptprozessor 1800 kann einen Belichtungswert von mindestens einem der Bildsensorblöcke 1101 und 1102 auf der Grundlage der Information(en) über die Umgebungshelligkeit einstellen. Infolgedessen kann durch die HDR-Verarbeitung ein Bild, das einen größeren Dynamikbereich aufweist, erhalten werden.In the meantime, the embodiment of 6th refer to the HDR processing for a video. However, in the case of applying the HDR processing methods of the present disclosure to photographs, a brightness value of the image data can be artificially adjusted by adjusting an exposure value. The illuminance sensor 1710 (please refer 2 ) can e.g. B. detect the ambient brightness in very bright ambient brightness and (a) information about the ambient brightness to the main processor 1800 transfer. The main processor 1800 can an exposure value of at least one of the image sensor blocks 1101 and 1102 based on the information (s) about the ambient brightness. As a result, an image having a wider dynamic range can be obtained by the HDR processing.

7 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht. 7th Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.

Wie die HDR-Verarbeitung an zwei Bildern, die unterschiedliche Sichtfelder aufweisen, durchgeführt wird, wird unter Bezugnahme auf 2 und 7 beschrieben. Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 auf der Grundlage des ersten Signals D1, das vom ersten Bildsensorblock 1101 empfangen wird, und die zweiten Bilddaten IDAT2 auf der Grundlage des zweiten Signals D2, das vom zweiten Bildsensorblock 1102 empfangen wird, erhalten. Die Größe der ersten Bilddaten IDAT1 kann M'×N' sein, und die Größe der zweiten Bilddaten IDAT2 kann „P×Q“ sein. In einer Ausführungsform kann „P“ größer als M' und „Q“ größer als N' sein. Das heißt, die Auflösung der zweiten Bilddaten IDAT2 kann größer als die Auflösung der ersten Bilddaten IDAT1 sein. Ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der ersten Bilddaten IDAT1 und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der zweiten Bilddaten IDAT2 können sich beispielsweise voneinander unterscheiden.How HDR processing is performed on two images that have different fields of view is illustrated with reference to FIG 2 and 7th described. The image signal processor 1150 can convert the first image data IDAT1 based on the first signal D1 that from the first image sensor block 1101 is received, and the second image data IDAT2 based on the second signal D2 from the second image sensor block 1102 is received, received. The size of the first image data IDAT1 can be M '× N', and the size of the second image data IDAT2 can be "P × Q". In one embodiment, “P” can be greater than M 'and “Q” can be greater than N'. That is to say, the resolution of the second image data IDAT2 can be greater than the resolution of the first image data IDAT1. A brightness value (or a range of brightness values) of the first image data IDAT1 and a brightness value (or a range of brightness values) of the second image data IDAT2 can differ from one another, for example.

In einer Ausführungsform kann die Auflösung der ersten Bilddaten IDAT1, die M'×N' entspricht, größer als die Auflösung (d. h. M×N) einer Region, die den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 sein. Das heißt, „M“ kann kleiner als M' und „N“ kann kleiner als N' sein. In dieser Konfiguration ist es nicht erforderlich, vor der Durchführung der HDR-Verarbeitung die Auflösung der Bilddaten, die die Grundlage der HDR-Verarbeitung bilden, einzustellen.In one embodiment, the resolution of the first image data IDAT1 corresponding to M '× N' may be greater than the resolution (i.e., M × N) of a region corresponding to the first image data IDAT1 of the second image data IDAT2. That is, "M" can be smaller than M 'and "N" can be smaller than N'. In this configuration, it is not necessary to set the resolution of the image data on which the HDR processing is based before performing HDR processing.

Der Hauptprozessor 1800 kann beispielsweise das Binning an den ersten Bilddaten IDAT1 durchführen. Der Hauptprozessor 1800 kann das Binning in Abhängigkeit von verschiedenen Arten von Algorithmen durchführen. Der Hauptprozessor 1800 kann die dritten Bilddaten IDAT3 von „M×N“ erhalten, indem er das Binning an den ersten Bilddaten IDAT1 von M'×N' durchführt.The main processor 1800 can, for example, carry out the binning on the first image data IDAT1. The main processor 1800 can perform binning depending on different types of algorithms. The main processor 1800 can obtain the third image data IDAT3 of “M × N” by performing the binning on the first image data IDAT1 of M '× N'.

Der Hauptprozessor 1800 kann einen Teil der zweiten Bilddaten IDAT2 zuschneiden. Der Hauptprozessor 1800 kann Bilddaten, die den dritten Bilddaten IDAT3 entsprechen, aus den zweiten Bilddaten IDAT2 zuschneiden. Der unter Bezugnahme auf 7 beschriebene Zuschnitt ist ähnlich dem unter Bezugnahme auf 6 beschriebenen Zuschnitt, und daher wird auf eine zusätzliche Beschreibung verzichtet, um Redundanz zu vermeiden. Die vierten Bilddaten IDAT4 von „M×N“ können als Zuschnittsergebnis erzeugt werden.The main processor 1800 can crop part of the second image data IDAT2. The main processor 1800 can crop image data corresponding to the third image data IDAT3 from the second image data IDAT2. The one with reference to 7th The blank described is similar to that with reference to FIG 6th and therefore an additional description is dispensed with in order to avoid redundancy. The fourth image data IDAT4 of “M × N” can be generated as a cutting result.

Da die dritten Bilddaten IDAT3 durch Binning einer Region erhalten werden, die den ersten Bilddaten IDAT1 entspricht, und die vierten Bilddaten IDAT4 durch Zuschneiden der zweiten Bilddaten IDAT2 erhalten werden, können ein durch die dritten Bilddaten IDAT3 angezeigtes Bild und ein durch die vierten Bilddaten IDAT4 angezeigtes Bild einander entsprechen. Das durch die dritten Bilddaten IDAT3 angezeigte Bild und das durch die vierten Bilddaten IDAT4 angezeigte Bild können beispielsweise bis auf einen Helligkeitswert weitgehend ähnlich sein.Since the third image data IDAT3 is obtained by binning a region corresponding to the first image data IDAT1 and the fourth image data IDAT4 is obtained by trimming the second image data IDAT2, an image displayed by the third image data IDAT3 and an image displayed by the fourth image data IDAT4 can be obtained Picture each other correspond. The image displayed by the third image data IDAT3 and the image displayed by the fourth image data IDAT4 can be largely similar except for a brightness value, for example.

Da sich ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der ersten Bilddaten IDAT1 und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der zweiten Bilddaten IDAT2 voneinander unterscheiden, können sich ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der dritten Bilddaten IDAT3 und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der vierten Bilddaten IDAT4 voneinander unterscheiden. Der Hauptprozessor 1800 kann die HDR-Verarbeitung auf der Grundlage der dritten Bilddaten IDAT3 und der vierten Bilddaten IDAT4, die unterschiedliche Helligkeitswerte aufweisen, durchführen. Der Hauptprozessor 1800 kann die Bilddaten IOUT durch die HDR-Verarbeitung erhalten.Since a brightness value (or a range of brightness values) of the first image data IDAT1 and a brightness value (or a range of brightness values) of the second image data IDAT2 differ from each other, a brightness value (or a range of brightness values) of the third image data IDAT3 and a brightness value can differ (or a range of brightness values) of the fourth image data IDAT4 differ from one another. The main processor 1800 can perform the HDR processing on the basis of the third image data IDAT3 and the fourth image data IDAT4 having different brightness values. The main processor 1800 can obtain the image data IOUT through the HDR processing.

Nach der Ausführungsform von 7 nimmt die Menge der zu verarbeitenden HDR-Daten ab, da das Binning an den ersten Bilddaten IDAT1 vor der HDR-Verarbeitung durchgeführt wird. Dementsprechend kann die Geschwindigkeit, mit der die HDR-Verarbeitung durchgeführt wird, entsprechend erhöht und der Leistungsverbrauch des Hauptprozessors 1800 entsprechend verringert werden.According to the embodiment of 7th the amount of HDR data to be processed decreases, since the binning is carried out on the first image data IDAT1 before the HDR processing. Accordingly, the speed at which the HDR processing is performed can be increased and the power consumption of the main processor can be increased accordingly 1800 be reduced accordingly.

8 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht. 8th Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.

In der Ausführungsform von 7 wird die HDR-Verarbeitung im Zusammenhang mit einer Konfiguration beschrieben, in der die Auflösung der ersten Bilddaten IDAT1 größer als die Auflösung (d. h. M×N) einer Region, die den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 ist. Im Gegensatz dazu bezieht sich die Ausführungsform von 8 auf die HDR-Verarbeitung, die mit der Konfiguration verbunden ist, in der die Auflösung (d. h. M×N) der ersten Bilddaten IDAT1 kleiner als die Auflösung (d. h. M'×N') einer Region, die den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 (d. h. M < M' und N < N') ist.In the embodiment of 7th the HDR processing will be described in connection with a configuration in which the resolution of the first image data IDAT1 is larger than the resolution (ie, M × N) of a region corresponding to the first image data IDAT1 of the second image data IDAT2. In contrast, the embodiment of FIG 8th to the HDR processing associated with the configuration in which the resolution (ie, M × N) of the first image data IDAT1 is smaller than the resolution (ie, M '× N') of a region corresponding to the first image data IDAT1, the second image data IDAT2 (ie, M <M 'and N <N').

Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 von „M×N“ basierend auf dem ersten Signal D1 erzeugen, das vom ersten Bildsensorblock 1101 ausgegeben wird. Der Bildsignalprozessor 1150 kann die zweiten Bilddaten IDAT2 von „P×Q“ auf der Grundlage des zweiten Signals D2 erzeugen, das vom zweiten Bildsensorblock 1102 ausgegeben wird.The image signal processor 1150 can convert the first image data IDAT1 of “M × N” based on the first signal D1 generate that from the first image sensor block 1101 is issued. The image signal processor 1150 can convert the second image data IDAT2 of “P × Q” based on the second signal D2 generate that from the second image sensor block 1102 is issued.

Der Hauptprozessor 1800 kann Bilddaten, die den ersten Bilddaten IDAT1 entsprechen, der zweiten Bilddaten IDAT2 zuschneiden. Die dritten Bilddaten IDAT3 von M'×N' können als Zuschnittsergebnis erzeugt werden. Da sich jedoch die Auflösung der ersten Bilddaten IDAT1 und die Auflösung der dritten Bilddaten IDAT3 voneinander unterscheiden, sollte die sofortige Durchführung der HDR-Verarbeitung verzögert werden. Dementsprechend kann eine zusätzliche Operation für die dritten Bilddaten IDAT3 erforderlich sein. Der Hauptprozessor 1800 kann beispielsweise die vierten Bilddaten IDAT4 von „M×N“ erhalten, indem er Binning für die dritten Bilddaten IDAT3 von M'×N' durchführt. Als Ergebnis des Zuschneidens und Binnings kann die Größe der ersten Bilddaten IDAT1 und die Größe der vierten Bilddaten IDAT4 gleich sein, d. h. „M×N“ betragen.The main processor 1800 can trim image data corresponding to the first image data IDAT1 to the second image data IDAT2. The third image data IDAT3 of M '× N' can be generated as a cutting result. However, since the resolution of the first image data IDAT1 and the resolution of the third image data IDAT3 are different from each other, the execution of the HDR processing should be delayed immediately. Accordingly, an additional operation may be required for the third image data IDAT3. The main processor 1800 For example, it can obtain the fourth image data IDAT4 from “M × N” by performing binning for the third image data IDAT3 from M '× N'. As a result of the trimming and binning, the size of the first image data IDAT1 and the size of the fourth image data IDAT4 can be the same, that is to say “M × N”.

Da ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der ersten Bilddaten IDAT1 und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der zweiten Bilddaten IDAT2 voneinander verschieden sind, können ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der ersten Bilddaten IDAT1 und ein Helligkeitswert (oder ein Bereich von Helligkeitswerten) der vierten Bilddaten IDAT4 voneinander verschieden sein. Der Hauptprozessor 1800 kann die HDR-Verarbeitung auf der Grundlage der ersten Bilddaten IDAT1 und der vierten Bilddaten IDAT4, die unterschiedliche Helligkeitswerte aufweisen, durchführen. Der Hauptprozessor 1800 kann die Bilddaten IOUT durch die HDR-Verarbeitung erhalten.Since a brightness value (or a range of brightness values) of the first image data IDAT1 and a brightness value (or a range of brightness values) of the second image data IDAT2 are different from each other, a brightness value (or a range of brightness values) of the first image data IDAT1 and a brightness value ( or a range of brightness values) of the fourth image data IDAT4 may be different from one another. The main processor 1800 can perform the HDR processing on the basis of the first image data IDAT1 and the fourth image data IDAT4 having different brightness values. The main processor 1800 can obtain the image data IOUT through the HDR processing.

9 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht. 9 Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.

In der Ausführungsform von 8 wird eine zusätzliche Operation beschrieben, die an den zweiten Bilddaten IDAT2 durchgeführt wird, wenn die Auflösung der ersten Bilddaten IDAT1 kleiner als die Auflösung einer Region, die den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 ist. In der Ausführungsform von 9 wird jedoch eine zusätzliche Operation an den ersten Bilddaten IDAT1 durchgeführt, wenn die Auflösung der ersten Bilddaten IDAT1 kleiner als die Auflösung einer Region, die den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 (d. h. M > M' und N > N') ist.In the embodiment of 8th describes an additional operation performed on the second image data IDAT2 when the resolution of the first image data IDAT1 is smaller than the resolution of a region corresponding to the first image data IDAT1 of the second image data IDAT2. In the embodiment of 9 however, an additional operation is performed on the first image data IDAT1 when the resolution of the first image data IDAT1 is smaller than the resolution of a region corresponding to the first image data IDAT1 of the second image data IDAT2 (ie, M> M 'and N>N') .

Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 von M'×N' basierend auf dem ersten Signal D1 erzeugen, das vom ersten Bildsensorblock 1101 ausgegeben wird. Der Bildsignalprozessor 1150 kann die zweiten Bilddaten IDAT2 von ,P×Q" auf der Grundlage des zweiten Signals D2 erzeugen, das vom zweiten Bildsensorblock 1102 ausgegeben wird.The image signal processor 1150 can convert the first image data IDAT1 of M '× N' based on the first signal D1 generate that from the first image sensor block 1101 is issued. The image signal processor 1150 may convert the second image data IDAT2 of "P × Q" based on the second signal D2 generate that from the second image sensor block 1102 is issued.

Der Hauptprozessor 1800 kann die dritten Bilddaten IDAT3 von „M×N“ erhalten, indem er die Hochskalierung der ersten Bilddaten IDAT1 von M'×N' durchführt. Der Hauptprozessor 1800 kann die Hochskalierung in Abhängigkeit von verschiedenen Arten von Algorithmen durchführen. Der Hauptprozessor 1800 kann einen Teil der zweiten Bilddaten IDAT2 zuschneiden. Der Hauptprozessor 1800 kann Bilddaten, die den dritten Bilddaten IDAT3 entsprechen, aus den zweiten Bilddaten IDAT2 zuschneiden. Die vierten Bilddaten IDAT4 von „M×N“ können als Zuschnittsergebnis erzeugt werden, und die Größe der dritten Bilddaten IDAT3 und die Größe der vierten Bilddaten IDAT4 können gleich groß sein.The main processor 1800 can obtain the third image data IDAT3 of “M × N” by upscaling the first image data IDAT1 of M '× N' performs. The main processor 1800 can perform upscaling depending on different kinds of algorithms. The main processor 1800 can crop part of the second image data IDAT2. The main processor 1800 can crop image data corresponding to the third image data IDAT3 from the second image data IDAT2. The fourth image data IDAT4 of “M × N” can be generated as a cropping result, and the size of the third image data IDAT3 and the size of the fourth image data IDAT4 can be the same.

Da sich ein Helligkeitswert der ersten Bilddaten IDAT1 und ein Helligkeitswert der zweiten Bilddaten IDAT2 voneinander unterscheiden, können sich ein Helligkeitswert der dritten Bilddaten IDAT3 und ein Helligkeitswert der vierten Bilddaten IDAT4 voneinander unterscheiden. Der Hauptprozessor 1800 kann die HDR-Verarbeitung auf der Grundlage der dritten Bilddaten IDAT3 und der vierten Bilddaten IDAT4, die unterschiedliche Helligkeitswerte aufweisen, durchführen. Der Hauptprozessor 1800 kann die Bilddaten IOUT durch die HDR-Verarbeitung erhalten.Since a brightness value of the first image data IDAT1 and a brightness value of the second image data IDAT2 are different from each other, a brightness value of the third image data IDAT3 and a brightness value of the fourth image data IDAT4 may differ from each other. The main processor 1800 can perform the HDR processing on the basis of the third image data IDAT3 and the fourth image data IDAT4 having different brightness values. The main processor 1800 can obtain the image data IOUT through the HDR processing.

10 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht. 10 Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.

Die Ausführungsform von 10 ist der Ausführungsform von 7 ähnlich. Allerdings darf bei der Ausführungsform von 10 das Zuschneiden an den zweiten Bilddaten IDAT2 vor der HDR-Verarbeitung nicht durchgeführt werden. Dementsprechend kann in den Ausführungsformen von 7 bis 9 ein Ergebnis der HDR-Verarbeitung dem Benutzer über eine Benutzerschnittstelle (z. B. eine Anzeige), abhängig von der Größe eines Bildes, das vom ersten Bildsensorblock 1101 aufgenommen wurde (oder von der Größe eines Bildes, das als Ergebnis der Durchführung des Binnings des vom ersten Bildsensorblock 1101 aufgenommenen Bildes erhalten wurde), zugeführt werden. Im Gegensatz dazu kann in der Ausführungsform von 10 ein Ergebnis der HDR-Verarbeitung dem Benutzer über eine Benutzerschnittstelle, abhängig von der Größe eines vom zweiten Bildsensorblock 1102 fotografierten Bildes, zugeführt werden.The embodiment of 10 is the embodiment of 7th similar. However, in the embodiment of 10 the cropping cannot be performed on the second image data IDAT2 prior to the HDR processing. Accordingly, in the embodiments of 7th to 9 a result of the HDR processing is presented to the user via a user interface (e.g. a display), depending on the size of an image taken by the first image sensor block 1101 was captured (or the size of an image obtained as a result of performing the binning of the from the first image sensor block 1101 recorded image). In contrast, in the embodiment of 10 a result of the HDR processing to the user via a user interface, depending on the size of one of the second image sensor block 1102 photographed image.

Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 von M'×N' basierend auf dem ersten Signal D1, das vom ersten Bildsensorblock 1101 empfangen wird, und die zweiten Bilddaten IDAT2 von „P×Q“ basierend auf dem zweiten Signal D2, das vom zweiten Bildsensorblock 1102 empfangen wird, erhalten. Da sich jedoch die Größe der ersten Bilddaten IDAT1 und die Größe einer Region, die den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 voneinander unterscheiden, ist eine zusätzliche Verarbeitung in Bezug auf die ersten Bilddaten IDAT1 erforderlich.The image signal processor 1150 can convert the first image data IDAT1 of M '× N' based on the first signal D1 that from the first image sensor block 1101 is received, and the second image data IDAT2 of “P × Q” based on the second signal D2 from the second image sensor block 1102 is received, received. However, since the size of the first image data IDAT1 and the size of a region corresponding to the first image data IDAT1 of the second image data IDAT2 are different from each other, additional processing with respect to the first image data IDAT1 is required.

Der Hauptprozessor 1800 kann beispielsweise die dritten Bilddaten IDAT3 von „M×N“ erhalten, indem er Binning an den ersten Bilddaten IDAT1 von M'×N' durchführt. Der Hauptprozessor 1800 kann die HDR-Verarbeitung auf der Grundlage der dritten Bilddaten IDAT3 und der zweiten Bilddaten IDAT2 durchführen und die Bilddaten IOUT durch die HDR-Verarbeitung erhalten.The main processor 1800 For example, it can obtain the third image data IDAT3 from “M × N” by performing binning on the first image data IDAT1 from M '× N'. The main processor 1800 can perform the HDR processing based on the third image data IDAT3 and the second image data IDAT2 and obtain the image data IOUT through the HDR processing.

11 ist ein Diagramm, das die Operationen für die HDR-Verarbeitung nach einer Ausführungsform veranschaulicht. 11 Figure 13 is a diagram illustrating the operations for HDR processing according to one embodiment.

Die mit Bezug auf 6 bis 9 beschriebenen Ausführungsformen können mit der HDR-Verarbeitung jedes Einzelbildes eines in Echtzeit fotografierten Videos oder mit der HDR-Verarbeitung eines in einem Augenblick fotografierten Bildes verbunden sein. Die Ausführungsform von 11 kann jedoch mit der HDR-Verarbeitung eines in einem Augenblick fotografierten Bildes verbunden sein. Alternativ kann die Ausführungsform von 11 mit der HDR-Verarbeitung einer Vielzahl von Bildern verbunden sein, die aus einem im Voraus aufgenommenen Video extrahiert wurden.The ones related to 6th to 9 Embodiments described may be associated with HDR processing of each frame of a video photographed in real time or with HDR processing of an image photographed in an instant. The embodiment of 11 however, it may involve HDR processing of an image photographed in an instant. Alternatively, the embodiment of 11 be associated with HDR processing of a variety of images extracted from pre-recorded video.

Bei der Konfiguration einer ausreichend kurzen Differenz zwischen einer Zeitspanne zwischen einem Zeitpunkt, zu dem die ersten Bilddaten IDAT1 durch den ersten Bildsensorblock 1101 erhalten werden, und einem Zeitpunkt, zu dem die dritten Bilddaten IDAT3 erhalten werden, können ein durch die ersten Bilddaten IDAT1 angezeigtes Bild und ein durch die dritten Bilddaten IDAT3 angezeigtes Bild einander entsprechen. Wie in der vorstehenden Beschreibung können ein Bild, das durch die zweiten Bilddaten IDAT2 angezeigt wird, und ein Bild, das durch die vierten Bilddaten IDAT4 angezeigt wird, einander entsprechen.When configuring a sufficiently short difference between a period of time between a point in time when the first image data IDAT1 is passed through the first image sensor block 1101 and a timing when the third image data IDAT3 is obtained, an image displayed by the first image data IDAT1 and an image displayed by the third image data IDAT3 may correspond to each other. As in the above description, an image displayed by the second image data IDAT2 and an image displayed by the fourth image data IDAT4 may correspond to each other.

Der Bildsignalprozessor 1150 kann die Bilddaten IDAT1 und IDAT3 auf der Grundlage der Signale D1 und D3, die sequentiell vom ersten Bildsensorblock 1101 empfangen werden, sequentiell erhalten. Der Bildsignalprozessor 1150 kann sequentiell die Bilddaten IDAT2 und IDAT4 basierend auf den Signalen D2 und D4, die sequentiell vom zweiten Bildsensorblock 1102 empfangen werden, erhalten.The image signal processor 1150 can read the image data IDAT1 and IDAT3 based on the signals D1 and D3 sequentially from the first image sensor block 1101 are received sequentially. The image signal processor 1150 can sequentially view the image data IDAT2 and IDAT4 based on the signals D2 and D4 sequentially from the second image sensor block 1102 received, received.

Die Größe der ersten Bilddaten IDAT1 und die Größe der dritten Bilddaten IDAT3 kann M'×N' sein, und die Größe der zweiten Bilddaten IDAT2 und die Größe der vierten Bilddaten IDAT4 kann „P×Q“ sein. Die Helligkeitswerte der ersten Bilddaten IDAT1 bis zu den vierten Bilddaten IDAT4 können sich beispielsweise voneinander unterscheiden.The size of the first image data IDAT1 and the size of the third image data IDAT3 may be M '× N', and the size of the second image data IDAT2 and the size of the fourth image data IDAT4 may be “P × Q”. The brightness values of the first image data IDAT1 up to the fourth image data IDAT4 can differ from one another, for example.

Der Hauptprozessor 1800 kann das Binning für die ersten Bilddaten IDAT1 und die dritten Bilddaten IDAT3 durchführen. Der Hauptprozessor 1800 kann fünfte Bilddaten IDAT5 von „M×N“ erhalten, indem er ein Binning an den ersten Bilddaten IDAT1 von M'×N' durchführt, und kann siebte Bilddaten IDAT7 von „M×N“ erhalten, indem er ein Binning an den dritten Bilddaten IDAT3 von M'×N durchführt. Der Hauptprozessor 1800 kann sechste Bilddaten IDAT6 von „M×N“ erhalten, indem er Bilddaten von „M×N“, die den fünften Bilddaten IDAT5 oder den siebten Bilddaten IDAT7 entsprechen, der zweiten Bilddaten IDAT2 zuschneidet. Der Hauptprozessor 1800 kann achte Bilddaten IDAT8 von „M×N“ erhalten, indem er Bilddaten von „M×N“, die den fünften Bilddaten IDAT5 oder den siebten Bilddaten IDAT7 entsprechen, der vierten Bilddaten IDAT4 zuschneidet.The main processor 1800 can perform the binning for the first image data IDAT1 and the third image data IDAT3. The main processor 1800 can obtain fifth image data IDAT5 of “M × N” by binning the first image data IDAT1 of M '× N', and can obtain seventh image data IDAT7 of “M × N” by binning the third image data IDAT3 of M '× N performs. The main processor 1800 can obtain sixth image data IDAT6 of “M × N” by cropping image data of “M × N” corresponding to the fifth image data IDAT5 or the seventh image data IDAT7 to the second image data IDAT2. The main processor 1800 can obtain eighth image data IDAT8 of “M × N” by cropping image data of “M × N” corresponding to the fifth image data IDAT5 or the seventh image data IDAT7 to the fourth image data IDAT4.

Da sich die Helligkeitswerte der ersten Bilddaten IDAT1 bis zu den vierten Bilddaten IDAT4 voneinander unterscheiden, können sich die Helligkeitswerte der fünften Bilddaten IDAT5 bis zu den achten Bilddaten IDAT8 voneinander unterscheiden. Der Hauptprozessor 1800 kann die HDR-Verarbeitung auf der Grundlage der fünften Bilddaten IDAT5 bis zu den achten Bilddaten IDAT8 mit unterschiedlichen Helligkeitswerten durchführen. Der Hauptprozessor 1800 kann die Bilddaten IOUT durch die HDR-Verarbeitung erhalten.Since the brightness values of the first image data IDAT1 to the fourth image data IDAT4 differ from one another, the brightness values of the fifth image data IDAT5 to the eighth image data IDAT8 can differ from one another. The main processor 1800 can perform the HDR processing on the basis of the fifth image data IDAT5 to the eighth image data IDAT8 with different brightness values. The main processor 1800 can obtain the image data IOUT through the HDR processing.

Das HDR-Verarbeitungsverfahren des Hauptprozessors 1800 ist jedoch nicht darauf beschränkt. Der Hauptprozessor 1800 kann beispielsweise eine HDR-Verarbeitung auf der Grundlage einiger (z. B. IDAT5, IDAT7 und IDAT8) der fünften Bilddaten IDAT5 bis zu den achten Bilddaten IDAT8 durchführen. Der Hauptprozessor 1800 kann beispielsweise eine erste HDR-Verarbeitung auf der Grundlage der fünften Bilddaten IDAT5 und der sechsten Bilddaten IDAT6 und eine zweite HDR-Verarbeitung auf der Grundlage der siebten Bilddaten IDAT7 und der achten Bilddaten IDAT8 durchführen. Der Hauptprozessor 1800 kann eine dritte HDR-Verarbeitung auf der Grundlage eines Ergebnisses der ersten HDR-Verarbeitung und eines Ergebnisses der zweiten HDR-Verarbeitung durchführen. In einer Ausführungsform kann die HDR-Verarbeitung auf der Grundlage verschiedener Bilddaten durchgeführt werden, die aus den Bilddaten IDAT5, IDAT6, IDAT7 und IDAT8 kombiniert werden können.The main processor's HDR processing method 1800 however, it is not limited to this. The main processor 1800 For example, it may perform HDR processing based on some (e.g., IDAT5, IDAT7, and IDAT8) of the fifth image data IDAT5 to the eighth image data IDAT8. The main processor 1800 For example, it can perform first HDR processing based on the fifth image data IDAT5 and the sixth image data IDAT6 and second HDR processing based on the seventh image data IDAT7 and the eighth image data IDAT8. The main processor 1800 may perform third HDR processing based on a result of the first HDR processing and a result of the second HDR processing. In one embodiment, the HDR processing can be performed on the basis of various image data which can be combined from the image data IDAT5, IDAT6, IDAT7 and IDAT8.

Unterdessen wird die Ausführungsform von 11 beschrieben, da die HDR-Verarbeitung auf der Grundlage des unter Bezugnahme auf 7 beschriebenen Zuschneidens und Binnings durchgeführt wird, aber die Ausführungsformen sind nicht darauf beschränkt. Mindestens eines der HDR-Verarbeitungsschemata, die unter Bezugnahme auf 6 und 8 bis 10 beschrieben sind, kann z. B. auf die Ausführungsform von 11 angewandt werden.Meanwhile, the embodiment of 11 as the HDR processing is based on the with reference to 7th trimming and binning described is performed, but the embodiments are not limited thereto. At least one of the HDR processing schemes discussed with reference to 6th and 8th to 10 are described, e.g. B. to the embodiment of 11 can be applied.

12 ist ein Ablaufdiagramm, das ein Bildverarbeitungsverfahren nach einer Ausführungsform veranschaulicht. 12th Figure 13 is a flow diagram illustrating an image processing method according to an embodiment.

Unter Bezugnahme auf 2, 3 und 12 in Verbindung genommen, erzeugt der erste Bildsensorblock 1101 in der Operation S110 das erste Signal D1, das dem ersten Sichtfeld FOV1 entspricht. Das erste Signal D1 kann beispielsweise auf einem Lichteinfall durch das erste Objektiv 1111 beruhen, wobei das erste Sichtfeld FOV1 relativ schmal ist. Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 auf der Grundlage des ersten Signals D1 erzeugen.With reference to 2 , 3rd and 12th taken in connection, the first image sensor block generates 1101 in the operation S110 the first signal D1 which corresponds to the first field of view FOV1. The first signal D1 can for example be based on the incidence of light through the first lens 1111 are based, the first field of view FOV1 being relatively narrow. The image signal processor 1150 can convert the first image data IDAT1 based on the first signal D1 produce.

In der Operation S120 erzeugt der zweite Bildsensorblock 1102 das zweite Signal D2, das dem zweiten Sichtfeld FOV2 entspricht. Der Bildsignalprozessor 1150 kann die zweiten Bilddaten IDAT2 erzeugen. Das zweite Signal D2 kann beispielsweise auf einem durch das zweite Objektiv 1112 einfallenden Licht basieren, wobei das zweite Sichtfeld FOV2 relativ weit ist. Der Bildsignalprozessor 1150 kann die zweiten Bilddaten IDAT2 auf der Grundlage des zweiten Signals D2 erzeugen. Ein Bereich von Helligkeitswerten der zweiten Bilddaten IDAT2 kann sich beispielsweise von einem Bereich von Helligkeitswerten der ersten Bilddaten IDAT1 unterscheiden.In the operation S120 generates the second image sensor block 1102 the second signal D2 which corresponds to the second field of view FOV2. The image signal processor 1150 can generate the second image data IDAT2. The second signal D2 can for example on one through the second lens 1112 incident light, the second field of view FOV2 being relatively wide. The image signal processor 1150 can convert the second image data IDAT2 based on the second signal D2 produce. A range of brightness values of the second image data IDAT2 can, for example, differ from a range of brightness values of the first image data IDAT1.

In der Operation S130 wird ermittelt, ob die Auflösung der ersten Bilddaten IDAT1 gleich der Auflösung eines Teils, der den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 ist. Dass die Auflösung der ersten Bilddaten IDAT1 gleich der Auflösung des Teils ist, der den ersten Bilddaten IDAT1 entspricht (S130-Ja), bedeutet, dass keine zusätzliche Verarbeitung zur Einstellung der Auflösung durchgeführt werden muss. Dementsprechend geht das Verfahren zur Operation S140 über.In the operation S130 it is determined whether the resolution of the first image data IDAT1 is equal to the resolution of a part, which corresponds to the first image data IDAT1, of the second image data IDAT2. That the resolution of the first image data IDAT1 is equal to the resolution of the part that corresponds to the first image data IDAT1 (S130-Yes) means that no additional processing for setting the resolution needs to be performed. Accordingly, the procedure goes to surgery S140 above.

In der Operation S140 wird der Teil, der den ersten Bilddaten IDAT1 entspricht, von den zweiten Bilddaten IDAT2 zugeschnitten.In the operation S140 the part corresponding to the first image data IDAT1 is trimmed from the second image data IDAT2.

In Operation S150 wird die HDR-Verarbeitung an den ersten Bilddaten IDAT1 und dem zugeschnittenen Teil der zweiten Bilddaten IDAT2 durchgeführt. Da sich ein Dynamikbereich der ersten Bilddaten IDAT1 und ein Dynamikbereich der zweiten Bilddaten IDAT2 voneinander unterscheiden, kann durch die HDR-Verarbeitung ein größerer Dynamikbereich erzielt werden.In operation S150 the HDR processing is performed on the first image data IDAT1 and the cropped part of the second image data IDAT2. Since a dynamic range of the first image data IDAT1 and a dynamic range of the second image data IDAT2 are different from each other, a larger dynamic range can be achieved by the HDR processing.

Währenddessen ist bei der Rückkehr zu Operation S130, wenn die Auflösung der ersten Bilddaten IDAT1 nicht gleich der Auflösung des Teils (S130-Nein), der den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 ist, vor der HDR-Verarbeitung eine zusätzliche Verarbeitung zur Einstellung der Auflösung erforderlich. Dementsprechend geht das Verfahren zur Operation S160 über.Meanwhile is on the return to surgery S130 if the resolution of the first image data IDAT1 does not equal the resolution of the part ( S130 -No), which corresponds to the first image data IDAT1, which is the second image data IDAT2, additional processing for setting before the HDR processing the resolution required. Accordingly, the procedure goes to surgery S160 above.

In der Operation S160 stellt der Hauptprozessor 1800 die Auflösung der ersten Bilddaten IDAT1 ein. Wenn zum Beispiel die Auflösung der ersten Bilddaten IDAT1 größer als die Auflösung des Teils der zweiten Bilddaten IDAT2 ist, der den ersten Bilddaten IDAT1 entspricht, kann der Hauptprozessor 1800 ein Binning der ersten Bilddaten IDAT1 durchführen. Wenn dagegen die Auflösung der ersten Bilddaten IDAT1 kleiner als die Auflösung des Teils der zweiten Bilddaten IDAT2 ist, der den ersten Bilddaten IDAT1 entspricht, kann der Hauptprozessor 1800 an den ersten Bilddaten IDAT1 eine Hochskalierung durchführen. Da die Auflösung durch den Hauptprozessor 1800 eingestellt wird, kann die Auflösung der ersten Bilddaten IDAT1 gleich der Auflösung des Teils der zweiten Bilddaten IDAT2 sein, der den ersten Bilddaten IDAT1 entspricht, und die Auflösung des Teils der zweiten Bilddaten IDAT2, der den ersten Bilddaten IDAT1 entspricht.In the operation S160 represents the main processor 1800 the resolution of the first image data IDAT1. For example, if the resolution of the first image data IDAT1 is greater than the resolution of the portion of the second image data IDAT2 that corresponds to the first image data IDAT1, the main processor may 1800 carry out a binning of the first image data IDAT1. On the other hand, if the resolution of the first image data IDAT1 is smaller than the resolution of the part of the second image data IDAT2 which corresponds to the first image data IDAT1, the main processor can 1800 perform upscaling on the first image data IDAT1. Because the resolution by the main processor 1800 is set, the resolution of the first image data IDAT1 may be equal to the resolution of the part of the second image data IDAT2 that corresponds to the first image data IDAT1 and the resolution of the part of the second image data IDAT2 that corresponds to the first image data IDAT1.

In der Operation S170 wird ein Zuschneiden an dem Teil, der den in der Größe veränderten ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 durchgeführt.In the operation S170 trimming is performed on the portion corresponding to the resized first image data IDAT1 of the second image data IDAT2.

In der Operation S180 wird die HDR-Verarbeitung an den neu dimensionierten ersten Bilddaten IDAT1 und dem zugeschnittenen Teil der zweiten Bilddaten IDAT2 durchgeführt. Da sich ein Dynamikbereich der ersten Bilddaten IDAT1 und ein Dynamikbereich der zweiten Bilddaten IDAT2 voneinander unterscheiden, kann durch die HDR-Verarbeitung ein größerer Dynamikbereich erzielt werden.In the operation S180 the HDR processing is carried out on the newly dimensioned first image data IDAT1 and the cropped part of the second image data IDAT2. Since a dynamic range of the first image data IDAT1 and a dynamic range of the second image data IDAT2 are different from each other, a larger dynamic range can be achieved by the HDR processing.

Das erfinderische Konzept ist jedoch nicht auf die vorstehend genannten Ausführungsformen beschränkt. Wenn sich die Auflösung der ersten Bilddaten IDAT1 von der Auflösung des Teils, der den ersten Bilddaten IDAT1 entspricht, der zweiten Bilddaten IDAT2 unterscheidet, können die unter Bezugnahme auf 7, 8 und 9 beschriebenen Ausführungsformen auf die Ausführungsform von 13 angewandt werden.However, the inventive concept is not limited to the above-mentioned embodiments. When the resolution of the first image data IDAT1 differs from the resolution of the part corresponding to the first image data IDAT1 of the second image data IDAT2, the steps taken with reference to FIG 7th , 8th and 9 described embodiments to the embodiment of 13th can be applied.

13 ist ein Blockdiagramm, das eine beispielhafte Konfiguration eines Bildverarbeitungsblocks aus 1 veranschaulicht. 13th Fig. 13 is a block diagram showing an exemplary configuration of an image processing block 1 illustrated.

Der Bildverarbeitungsblock 1100 kann die Bildsensorblöcke 1101, 1102 bis 110n und den Bildsignalprozessor 1150 enthalten. Zur konzeptionellen Beschreibung des Bildverarbeitungsblocks 1100 werden die Benutzerschnittstelle 1600, der Beleuchtungsstärkesensor 1710 und der Hauptprozessor 1800 gemeinsam dargestellt. Der Beleuchtungsstärkesensor 1710 kann beispielsweise mit einem Teil des Sensors 1700 aus 1 implementiert werden.The image processing block 1100 can use the image sensor blocks 1101 , 1102 to 110n and the image signal processor 1150 contain. For the conceptual description of the image processing block 1100 become the user interface 1600 , the illuminance sensor 1710 and the main processor 1800 shown together. The illuminance sensor 1710 can for example with part of the sensor 1700 out 1 implemented.

Der erste Bildsensorblock 1101 kann das Objektiv 1111, das erste Stellglied 1141 und den ersten Bildsensor 1121 enthalten. Der zweite Bildsensorblock 1102 kann das zweite Objektiv 1112, das zweite Stellglied 1142 und den zweiten Bildsensor 1122 enthalten. Der n-te Bildsensorblock 110n kann ein n-tes Objektiv 111n, ein n-tes Stellglied 114n und einen n-ten Bildsensor 112n enthalten (wobei n eine ganze Zahl von 3 oder mehr ist). Die Konfigurationen und Operationen der Bildsensorblöcke 1101 bis 110n von 13 ähneln der Konfiguration und Operation jedes der Bildsensorblöcke 1101 und 1102 von 2, und daher wird auf eine zusätzliche Beschreibung verzichtet, um Redundanz zu vermeiden.The first image sensor block 1101 can the lens 1111 , the first actuator 1141 and the first image sensor 1121 contain. The second image sensor block 1102 can use the second lens 1112 , the second actuator 1142 and the second image sensor 1122 contain. The nth image sensor block 110n can be an nth lens 111n , an n-th actuator 114n and an n-th image sensor 112n (where n is an integer of 3 or more). The configurations and operations of the image sensor blocks 1101 to 110n from 13th are similar to the configuration and operation of each of the image sensor blocks 1101 and 1102 from 2 , and therefore an additional description is omitted in order to avoid redundancy.

14 ist ein Blockdiagramm, das beispielhafte Funktionsweise von Bildsensorblöcken aus 13 veranschaulicht. 14th Figure 3 is a block diagram depicting exemplary operation of image sensor blocks 13th illustrated.

In einer Ausführungsform kann der Bildverarbeitungsblock 1100 den ersten bis dritten Bildsensorblock 1101, 1102 und 1103 enthalten. Der erste Bildsensorblock 1101 kann den ersten Bildsensor 1121 zur Erzeugung eines Bildes der Region R1, die dem ersten Sichtfeld FOV1 entspricht, den zweiten Bildsensor 1122 zur Erzeugung eines Bildes der Region R2, die dem zweiten Sichtfeld FOV2 entspricht, und einen dritten Bildsensor 1123 zur Erzeugung eines Bildes einer Region R3, die einem dritten Sichtfeld FOV3 entspricht, enthalten.In one embodiment, the image processing block 1100 the first through third image sensor blocks 1101 , 1102 and 1103 contain. The first image sensor block 1101 can use the first image sensor 1121 to generate an image of the region R1 , which corresponds to the first field of view FOV1, the second image sensor 1122 to generate an image of the region R2 corresponding to the second field of view FOV2, and a third image sensor 1123 to generate an image of a region R3 corresponding to a third field of view FOV3.

Das dritte Sichtfeld FOV3 kann größer als das zweite Sichtfeld FOV2 sein, und das zweite Sichtfeld FOV2 kann größer als das erste Sichtfeld FOV1 sein. Das erste Objektiv 1111 kann z. B. ein Teleobjektiv, das zweite Objektiv 1112 ein Weitwinkelobjektiv und ein drittes Objektiv 1113 ein Ultraweitwinkelobjektiv sein. Das Sichtfeld des ersten Objektivs 1111 kann z. B. 10 Grad bis 15 Grad, das Sichtfeld des zweiten Objektivs 1112 70 Grad bis 90 Grad und das Sichtfeld des dritten Objektivs 1113 100 Grad bis 130 Grad betragen. Die Sichtfelder der Objektive 1111, 1112 und 1113 sind jedoch nicht darauf beschränkt.The third field of view FOV3 can be larger than the second field of view FOV2, and the second field of view FOV2 can be larger than the first field of view FOV1. The first lens 1111 can e.g. B. a telephoto lens, the second lens 1112 a wide angle lens and a third lens 1113 be an ultra wide angle lens. The field of view of the first lens 1111 can e.g. B. 10 degrees to 15 degrees, the field of view of the second lens 1112 70 degrees to 90 degrees and the field of view of the third lens 1113 100 degrees to 130 degrees. The fields of view of the lenses 1111 , 1112 and 1113 however, are not limited to this.

Der erste Bildsensorblock 1101 kann beispielsweise ein Pixelarray mit einer relativ niedrigen Auflösung, der dritte Bildsensorblock 1103 ein Pixelarray mit einer relativ hohen Auflösung und der zweite Bildsensorblock 1102 ein Pixelarray mit einer Auflösung zwischen der relativ niedrigen Auflösung und der relativ hohen Auflösung enthalten. Der erste Bildsensorblock 1101 kann beispielsweise ein Bild der Region R1 eines relativ schmalen Sichtfeldes, der dritte Bildsensorblock 1103 ein Bild der Region R3 eines relativ breiten Sichtfeldes und der zweite Bildsensorblock 1102 ein Bild der Region R2 eines mittleren Sichtfeldes erfassen.The first image sensor block 1101 For example, a pixel array with a relatively low resolution, the third image sensor block 1103 a pixel array with a relatively high resolution and the second image sensor block 1102 contain an array of pixels with a resolution between the relatively low resolution and the relatively high resolution. The first image sensor block 1101 for example, a picture of the region R1 a relatively narrow field of view, the third image sensor block 1103 a picture of the region R3 a relatively wide field of view and the second image sensor block 1102 a picture of the region R2 capture a medium field of view.

Wie in den vorstehenden Ausführungsformen, können die Auflösungen der Pixel-Arrays von mindestens zwei der Bildsensorblöcke 1101, 1102 und 1103 beispielsweise gleich sein, oder die Auflösungen der Pixel-Arrays der Bildsensorblöcke 1101, 1102 und 1103 können sich voneinander unterscheiden. Zur Vereinfachung der Beschreibung wird die Beschreibung jedoch unter der Annahme gegeben, dass die Auflösungen der Pixel-Arrays der Bildsensorblöcke 1101, 1102 und 1103 voneinander verschieden sind. Darüber hinaus kann als Annahme der HDR-Verarbeitung zur Erzielung eines größeren Dynamikbereichs die entsprechende Annahme getroffen werden, dass sich die Helligkeitswerte (oder Bereiche von Helligkeitswerten) der Bilddaten, die jeweils von den Bildsensorblöcken ausgegeben werden, voneinander unterscheiden.As in the previous embodiments, the resolutions of the pixel arrays can be from at least two of the image sensor blocks 1101 , 1102 and 1103 be the same, for example, or the resolutions of the pixel arrays of the image sensor blocks 1101 , 1102 and 1103 can differ from each other. To simplify the description, however, the description is given on the assumption that the resolutions of the pixel arrays of the image sensor blocks 1101 , 1102 and 1103 are different from each other. Furthermore, as an assumption of the HDR processing to achieve a larger dynamic range, the corresponding assumption can be made that the brightness values (or ranges of brightness values) of the image data which are respectively output by the image sensor blocks differ from one another.

Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 auf der Grundlage des vom ersten Bildsensorblock 1101 empfangenen ersten Signals D1 erhalten, kann die zweiten Bilddaten IDAT2 auf der Grundlage des vom zweiten Bildsensorblock 1102 empfangenen zweiten Signals D2 erhalten und kann die dritten Bilddaten IDAT3 auf der Grundlage des vom dritten Bildsensorblock 1103 empfangenen dritten Signals D3 erhalten. Die Bildsensorblöcke 1101, 1102 und 1103 können jeweils die Bilddaten IDAT1, IDAT2 und IDAT3 erhalten.The image signal processor 1150 may convert the first image data IDAT1 based on the data from the first image sensor block 1101 received first signal D1 can obtain the second image data IDAT2 based on the data from the second image sensor block 1102 received second signal D2 and can obtain the third image data IDAT3 based on the data from the third image sensor block 1103 received third signal D3 receive. The image sensor blocks 1101 , 1102 and 1103 can receive the image data IDAT1, IDAT2 and IDAT3, respectively.

Unterdessen ähnelt die Ausführungsform von 14 der Ausführungsform von 3, außer dass ein Bildverarbeitungsblock drei Bildsensorblöcke enthält. Daher wird auf eine zusätzliche Beschreibung verzichtet, um Redundanz zu vermeiden.Meanwhile, the embodiment of FIG 14th the embodiment of 3rd except that an image processing block contains three image sensor blocks. An additional description is therefore omitted in order to avoid redundancy.

15 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht. 15th Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.

Wie die HDR-Verarbeitung an drei Bildern, die unterschiedliche Sichtfelder aufweisen, durchgeführt wird, wird unter Bezugnahme auf die 13, 14 und 15 beschrieben. Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 von „J×K“, die zweiten Bilddaten IDAT2 von „M×N“ und die dritten Bilddaten IDAT3 von „P×Q" basierend auf den Signalen D1, D2 und D3 erzeugen, die von den Bildsensorblöcken 1101, 1102 und 1103 ausgegeben werden.How the HDR processing is performed on three images that have different fields of view is explained with reference to FIG 13th , 14th and 15th described. The image signal processor 1150 may include the first image data IDAT1 of “J × K”, the second image data IDAT2 of “M × N”, and the third image data IDAT3 of “P × Q” based on the signals D1 , D2 and D3 generate by the image sensor blocks 1101 , 1102 and 1103 are issued.

Der Hauptprozessor 1800 kann die vierten Bilddaten IDAT4 von „J×K“ erzeugen, indem er ein Zuschneiden einer Region der zweiten Bilddaten IDAT2, die den ersten Bilddaten IDAT1 entspricht, durchführt. Der Hauptprozessor 1800 kann die fünften Bilddaten IDAT5 von „J×K“ erzeugen, indem er ein Zuschneiden einer Region der dritten Bilddaten IDAT3, die den ersten Bilddaten IDAT1 entspricht, durchführt.The main processor 1800 can generate the fourth image data IDAT4 of “J × K” by performing trimming of a region of the second image data IDAT2 that corresponds to the first image data IDAT1. The main processor 1800 can generate the fifth image data IDAT5 of “J × K” by performing trimming of a region of the third image data IDAT3 that corresponds to the first image data IDAT1.

Da sich ein Helligkeitswert der ersten Bilddaten IDAT1, ein Helligkeitswert der zweiten Bilddaten IDAT2 und ein Helligkeitswert der dritten Bilddaten IDAT3 voneinander unterscheiden, können sich ein Helligkeitswert der ersten Bilddaten IDAT1, ein Helligkeitswert der vierten Bilddaten IDAT4 und ein Helligkeitswert der fünften Bilddaten IDAT5 voneinander unterscheiden. Der Hauptprozessor 1800 kann die HDR-Verarbeitung auf der Grundlage der ersten Bilddaten IDAT1, der vierten Bilddaten IDAT4 und der fünften Bilddaten IDAT5, die unterschiedliche Helligkeitswerte aufweisen, durchführen. Der Hauptprozessor 1800 kann die Bilddaten IOUT durch die HDR-Verarbeitung erhalten.Since a brightness value of the first image data IDAT1, a brightness value of the second image data IDAT2 and a brightness value of the third image data IDAT3 differ from one another, a brightness value of the first image data IDAT1, a brightness value of the fourth image data IDAT4 and a brightness value of the fifth image data IDAT5 can differ from one another. The main processor 1800 can perform the HDR processing on the basis of the first image data IDAT1, the fourth image data IDAT4, and the fifth image data IDAT5 having different brightness values. The main processor 1800 can obtain the image data IOUT through the HDR processing.

Unterdessen weisen in der Ausführungsform von 15 die ersten Bilddaten IDAT1, die zugeschnittenen vierten Bilddaten IDAT4 und die zugeschnittenen fünften Bilddaten IDAT5 die gleiche Auflösung von „J×K“ auf. In der Konfiguration, in der sich die Auflösungen der ersten Bilddaten IDAT1, der vierten Bilddaten IDAT4 und der fünften Bilddaten IDAT5 voneinander unterscheiden, kann jedoch vor der HDR-Verarbeitung eine zusätzliche Verarbeitung erforderlich sein. Diese zusätzliche Verarbeitung wird unter Bezugnahme auf 16 beschrieben.Meanwhile, in the embodiment of 15th the first image data IDAT1, the cropped fourth image data IDAT4 and the cropped fifth image data IDAT5 have the same resolution of “J × K”. However, in the configuration in which the resolutions of the first image data IDAT1, the fourth image data IDAT4, and the fifth image data IDAT5 are different from each other, additional processing may be required before the HDR processing. This additional processing is referring to FIG 16 described.

16 ist ein Diagramm, das eine Operation zur HDR-Verarbeitung nach einer Ausführungsform veranschaulicht. 16 Figure 13 is a diagram illustrating an operation for HDR processing according to an embodiment.

Wenn zum Beispiel die Auflösung der ersten Bilddaten IDAT1 größer als die Auflösung der fünften Bilddaten IDAT5 und/oder die Auflösung der sechsten Bilddaten IDAT6 ist, kann der Hauptprozessor 1800 eine zusätzliche Verarbeitung der ersten Bilddaten IDAT1 durchführen. Der Hauptprozessor 1800 kann z. B. die vierten Bilddaten IDAT4 von „G×H“ erhalten, indem er ein Binning an den ersten Bilddaten IDAT1 von „J×K“ durchführt. Dementsprechend können die Auflösung der vierten Bilddaten IDAT4, die Auflösung der fünften Bilddaten IDAT5 und die Auflösung der sechsten Bilddaten IDAT6 gleich sein.For example, if the resolution of the first image data IDAT1 is greater than the resolution of the fifth image data IDAT5 and / or the resolution of the sixth image data IDAT6, the main processor may 1800 carry out additional processing of the first image data IDAT1. The main processor 1800 can e.g. B. obtain the fourth image data IDAT4 from “G × H” by performing a binning on the first image data IDAT1 from “J × K”. Accordingly, the resolution of the fourth image data IDAT4, the resolution of the fifth image data IDAT5 and the resolution of the sixth image data IDAT6 can be the same.

Unterdessen kann es neben dem in 16 beschriebenen Fall verschiedene Fälle geben, in denen sich die Auflösung der ersten Bilddaten IDAT1, die Auflösung der vierten Bilddaten IDAT4 und die Auflösung der fünften Bilddaten IDAT5 voneinander unterscheiden, und es können verschiedene Verarbeitungsschemata zur gleichmäßigen Einstellung der Auflösungen auf die jeweiligen Fälle angewandt werden. In verschiedenen Fällen, in denen sich die Auflösungen der Bilddaten voneinander unterscheiden, können jedoch verschiedene Verarbeitungsschemata zur gleichmäßigen Einstellung der Auflösungen durch die Ausführungsformen der 7 bis 9 oder durch eine Kombination davon ausreichend implementiert werden. Daher wird auf eine zusätzliche Beschreibung verzichtet, um Redundanz zu vermeiden. Meanwhile, besides the in 16 In the case described, there are various cases in which the resolution of the first image data IDAT1, the resolution of the fourth image data IDAT4 and the resolution of the fifth image data IDAT5 are different from each other, and various processing schemes for setting the resolutions uniformly may be applied to the respective cases. However, in various cases where the resolutions of the image data are different from each other, various processing schemes for uniformly adjusting the resolutions may be made by the embodiments of FIG 7th to 9 or a combination thereof can be sufficiently implemented. Therefore, on an additional Description omitted to avoid redundancy.

17 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken in Abhängigkeit von einem Zoom-Faktor veranschaulicht. 18 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken in einem ersten Zoom-Modus veranschaulicht. 19 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken in einem zweiten Zoom-Modus veranschaulicht. 17th Fig. 3 is a diagram illustrating the operation of image sensor blocks depending on a zoom factor. 18th Figure 13 is a diagram illustrating the operation of image sensor blocks in a first zoom mode. 19th Figure 13 is a diagram illustrating the operation of image sensor blocks in a second zoom mode.

Die Ausführungsform von 17 hängt mit der Konfiguration zusammen, in der die Anzahl der Bildsensorblöcke von 13 „3“ ist (d. h. n = 3). Der Zoom-Faktor kann mit dem Hineinzoomen oder Herauszoomen (bzw. Vergrößerung oder Verkleinerung) eines Objekts verbunden sein. Der Benutzer kann beispielsweise eine Zoom-Bedingung für das Fotografieren eines beabsichtigten Bildes festlegen, indem er einen Wert des Zoom-Faktors langsam oder inkrementell vergrößert/verkleinert oder einen bestimmten Wert auswählt. Im Beispiel von 15 kann der durch eine x-Achse angezeigte Zoom-Faktor eine vom Benutzer beabsichtigte Zoom-Größe bedeuten. Der Zoom-Faktor kann beispielsweise zwischen einem Minimalwert ZF_min und einem Maximalwert ZF_max wechseln. Der minimale Wert ZF_min kann „1“ sein, aber das erfinderische Konzept ist nicht darauf beschränkt. Der Mindestwert ZF_min kann beispielsweise eine reelle Zahl sein, die größer als „0“ und kleiner als „1“ ist. Der maximale Wert ZF_max kann eine reelle Zahl sein, die größer als „1“ ist. Der Bereich des Zoom-Faktors kann einen Schwellenwert ZF_th enthalten, der eine Änderung des Zoom-Modus bewirkt.The embodiment of 17th depends on the configuration in which the number of image sensor blocks is from 13th "3" is (i.e. n = 3). The zoom factor can be linked to zooming in or out (or enlarging or reducing) an object. For example, the user can set a zoom condition for photographing an intended image by slowly or incrementally enlarging / reducing a value of the zoom factor or by selecting a specific value. In the example of 15th the zoom factor indicated by an x-axis can mean a zoom size intended by the user. The zoom factor can change, for example, between a minimum value ZF_min and a maximum value ZF_max. The minimum value ZF_min can be “1”, but the inventive concept is not limited to this. The minimum value ZF_min can, for example, be a real number that is greater than “0” and less than “1”. The maximum value ZF_max can be a real number that is greater than "1". The range of the zoom factor can contain a threshold value ZF_th which causes a change in the zoom mode.

Der Benutzer kann über die Benutzerschnittstelle 1600 (siehe 13) einen Befehl zur Änderung der Zoom-Größe eingeben, um ein Objekt zu fotografieren, das sich in Entfernungen verschiedener Größenordnungen befindet. Der Hauptprozessor 1800 (siehe 13) kann die Operationen der Bildsensorblöcke 1101 bis 1103 (siehe 13) als Reaktion auf einen Befehl des Benutzers steuern.The user can use the user interface 1600 (please refer 13th ) Enter a command to change the zoom size to take a picture of an object that is at distances of various sizes. The main processor 1800 (please refer 13th ) can do the operations of the image sensor blocks 1101 to 1103 (please refer 13th ) in response to a command from the user.

Eine Bedienung des Bildverarbeitungsblocks 1100 im ersten Zoom-Modus wird unter Bezugnahme auf 17 und 18 beschrieben. In der Konfiguration, dass der vom Benutzer einstellbare Zoom-Faktor zwischen dem Mindestwert ZF min und dem Schwellenwert ZF_th liegt, arbeitet der Bildverarbeitungsblock 1100 im ersten Zoom-Modus. Im ersten Zoom-Modus arbeitet der erste Bildsensorblock 1101 möglicherweise nicht, und der zweite Bildsensorblock 1102 und der dritte Bildsensorblock 1103 können arbeiten. Der zweite Bildsensorblock 1102 kann beispielsweise ein Objekt fotografieren, das dem Bereich R2 entspricht, und das zweite Signal D2 ausgeben. Der dritte Bildsensorblock 1103 kann ein Objekt der Region R3 fotografieren und das dritte Signal D3 ausgeben.An operation of the image processing block 1100 in the first zoom mode is referred to 17th and 18th described. The image processing block works in the configuration that the zoom factor that can be set by the user is between the minimum value ZF min and the threshold value ZF_th 1100 in the first zoom mode. The first image sensor block works in the first zoom mode 1101 possibly not, and the second image sensor block 1102 and the third image sensor block 1103 can work. The second image sensor block 1102 for example, take a picture of an object belonging to the area R2 and the second signal D2 output. The third image sensor block 1103 can be an object of the region R3 take a picture and the third signal D3 output.

Der Bildsignalprozessor 1150 kann die zweiten Bilddaten IDAT2 auf der Grundlage des zweiten Signals D2 erzeugen und kann die dritten Bilddaten IDAT3 auf der Grundlage des dritten Signals D3 erzeugen. Ein Bild, das den dritten Bilddaten IDAT3 entspricht, kann beispielsweise ein Bild enthalten, das den zweiten Bilddaten IDAT2 entspricht. Die dritten Bilddaten IDAT3 können beispielsweise mit einer relativ hohen Auflösung einem Pixelarray mit einer relativ hohen Auflösung zugeordnet werden, und die zweiten Bilddaten IDAT2 mit einer relativ mittleren Auflösung können einem Pixelarray mit einer relativ mittleren Auflösung zugeordnet werden. Ein Helligkeitswert der dritten Bilddaten IDAT3 kann beispielsweise größer als ein Helligkeitswert der zweiten Bilddaten IDAT2 sein.The image signal processor 1150 can convert the second image data IDAT2 based on the second signal D2 and can generate the third image data IDAT3 based on the third signal D3 produce. An image that corresponds to the third image data IDAT3 can contain, for example, an image that corresponds to the second image data IDAT2. The third image data IDAT3 can, for example, be assigned with a relatively high resolution to a pixel array with a relatively high resolution, and the second image data IDAT2 with a relatively medium resolution can be assigned to a pixel array with a relatively medium resolution. A brightness value of the third image data IDAT3 can, for example, be greater than a brightness value of the second image data IDAT2.

Der Hauptprozessor 1800 kann die HDR-Verarbeitung für die zweiten Bilddaten IDAT2 und die dritten Bilddaten IDAT3 durchführen. Die HDR-Verarbeitung kann mindestens eine der unter Bezugnahme auf 6 bis 11 beschriebenen Ausführungsformen enthalten.The main processor 1800 can perform the HDR processing for the second image data IDAT2 and the third image data IDAT3. The HDR processing can do at least one of the things referring to 6th to 11 described embodiments included.

Während der Benutzer der elektronischen Vorrichtung 1000 (siehe 13) ein Video in Bezug auf ein Objekt aufnimmt, kann der Benutzer unterdessen eine Zoom-Größe zur Vergrößerung des Objekts erhöhen. Der Zoom-Faktor kann durch Vergrößerung der Zoom-Größe erhöht werden. Die Erhöhung des Zoom-Faktors ist konzeptionell als Pfeil in 18 dargestellt. Wenn der Zoom-Faktor einen bestimmten Schwellenwert erreicht, kann der Zoom-Modus des Bildverarbeitungsblocks 1100 vom ersten Zoom-Modus in den zweiten Zoom-Modus geändert werden.While the user of the electronic device 1000 (please refer 13th ) records a video related to an object, meanwhile, the user can increase a zoom size to enlarge the object. The zoom factor can be increased by increasing the zoom size. The increase in the zoom factor is conceptual as an arrow in 18th shown. When the zoom factor reaches a certain threshold value, the zoom mode of the image processing block 1100 can be changed from the first zoom mode to the second zoom mode.

Eine Bedienung des Bildverarbeitungsblocks 1100 im zweiten Zoom-Modus wird unter Bezugnahme auf 17 und 19 beschrieben. In der Konfiguration, dass der vom Benutzer einstellbare Zoom-Faktor zwischen dem Schwellenwert ZF_th und dem Maximalwert ZF_max liegt, arbeitet der Bildverarbeitungsblock 1100 im zweiten Zoom-Modus. Im zweiten Zoom-Modus arbeitet der dritte Bildsensorblock 1103 möglicherweise nicht, und der erste Bildsensorblock 1101 und der zweite Bildsensorblock 1102 können arbeiten. Der erste Bildsensorblock 1101 kann beispielsweise das Objekt der Region R1 fotografieren und das erste Signal D1 ausgeben. Der zweite Bildsensorblock 1102 kann das Objekt der Region R2 fotografieren und das zweite Signal D2 ausgeben.An operation of the image processing block 1100 in the second zoom mode, reference is made to FIG 17th and 19th described. The image processing block works in the configuration that the zoom factor that can be set by the user is between the threshold value ZF_th and the maximum value ZF_max 1100 in the second zoom mode. The third image sensor block works in the second zoom mode 1103 possibly not, and the first image sensor block 1101 and the second image sensor block 1102 can work. The first image sensor block 1101 can for example be the object of the region R1 take a picture and the first signal D1 output. The second image sensor block 1102 can be the object of the region R2 take a picture and the second signal D2 output.

Der Bildsignalprozessor 1150 kann die ersten Bilddaten IDAT1 auf der Grundlage des ersten Signals D1 erzeugen und kann die zweiten Bilddaten IDAT2 auf der Grundlage des zweiten Signals D2 erzeugen. Ein Bild, das den zweiten Bilddaten IDAT2 entspricht, kann beispielsweise ein Bild enthalten, das den ersten Bilddaten IDAT1 entspricht. Die zweiten Bilddaten IDAT2 sind beispielsweise mit einer relativ mittleren Auflösung einem Pixelarray mit einer relativ mittleren Auflösung zugeordnet, und die ersten Bilddaten IDAT1 mit einer relativ niedrigen Auflösung sind einem Pixelarray mit einer relativ niedrigen Auflösung zugeordnet. Ein Helligkeitswert der zweiten Bilddaten IDAT2 kann beispielsweise größer als ein Helligkeitswert der ersten Bilddaten IDAT1 sein.The image signal processor 1150 can convert the first image data IDAT1 based on the first signal D1 and can generate the second image data IDAT2 based on the second signal D2 produce. An image that corresponds to the second image data IDAT2 can contain, for example, an image that corresponds to the first image data IDAT1. The second image data IDAT2 are assigned, for example, with a relatively medium resolution to a pixel array with a relatively medium resolution, and the first image data IDAT1 with a relatively low resolution are assigned to a pixel array with a relatively low resolution. A brightness value of the second image data IDAT2 can, for example, be greater than a brightness value of the first image data IDAT1.

Der Hauptprozessor 1800 kann die HDR-Verarbeitung für die ersten Bilddaten IDAT1 und die zweiten Bilddaten IDAT2 durchführen. Die HDR-Verarbeitung kann mindestens eine der unter Bezugnahme auf 6 bis 11 beschriebenen Ausführungsformen enthalten.The main processor 1800 can perform the HDR processing for the first image data IDAT1 and the second image data IDAT2. The HDR processing can do at least one of the things referring to 6th to 11 described embodiments included.

20 ist ein Blockdiagramm, das beispielhafte Funktionsweise von Bildsensorblöcken aus 13 veranschaulicht. 20th Figure 3 is a block diagram depicting exemplary operation of image sensor blocks 13th illustrated.

Der Bildverarbeitungsblock 1100 kann die ersten bis fünften Bildsensorblöcke 1101, 1102, 1103, 1104 und 1105 enthalten. Der erste Bildsensorblock 1101 bis zum fünften Bildsensorblock 1105 kann ein erstes Objektiv des ersten Sichtfeldes FOV1 bis zu einem fünften Objektiv des fünften Sichtfeldes FOV5 enthalten. Das Sichtfeld des ersten Objektivs kann das kleinste und das Sichtfeld des fünften Objektivs das größte sein, so dass ein Sichtfeld über die Objektive hinweg zunehmen kann (d. h. FOV1 < FOV2 < FOV3 < FOV4 < FOV5). Das erste Objektiv kann z. B. ein Teleobjektiv sein. Das zweite Objektiv und das dritte Objektiv können Weitwinkelobjektive, die unterschiedliche Sichtfelder aufweisen, sein. Das vierte Objektiv und das fünfte Objektiv können Ultraweitwinkelobjektive, die unterschiedliche Sichtfelder aufweisen, sein.The image processing block 1100 can use the first to fifth image sensor blocks 1101 , 1102 , 1103 , 1104 and 1105 contain. The first image sensor block 1101 up to the fifth image sensor block 1105 can contain a first objective of the first field of view FOV1 up to a fifth objective of the fifth field of view FOV5. The field of view of the first lens can be the smallest and the field of view of the fifth lens the largest, so that a field of view can increase across the lenses (ie FOV1 <FOV2 <FOV3 <FOV4 <FOV5). The first lens can, for. B. be a telephoto lens. The second lens and the third lens can be wide-angle lenses that have different fields of view. The fourth lens and the fifth lens can be ultra-wide-angle lenses that have different fields of view.

Der erste Bildsensorblock 1101 kann ein erstes Signal D1 erzeugen, das einem Bild einer Region R1 zugeordnet ist, das dem ersten Sichtfeld FOV1 entspricht, kann ein zweites Signal D2 erzeugen, das einem Bild einer Region R2 zugeordnet ist, das dem zweiten Sichtfeld FOV2 entspricht, kann ein drittes Signal D3 erzeugen, das einem Bild einer Region R3 zugeordnet ist, das dem dritten Sichtfeld FOV3 entspricht, kann ein viertes Signal D4 erzeugen, das einem Bild einer Region R4 zugeordnet ist, das dem vierten Sichtfeld FOV4 entspricht, und kann ein fünftes Signal D5 erzeugen, das einem Bild einer Region R5 zugeordnet ist, das dem fünften Sichtfeld FOV5 entspricht.The first image sensor block 1101 can be a first signal D1 generate an image of a region R1 is assigned, which corresponds to the first field of view FOV1, a second signal D2 generate an image of a region R2 is assigned, which corresponds to the second field of view FOV2, a third signal D3 generate an image of a region R3 is assigned, which corresponds to the third field of view FOV3, a fourth signal D4 generate an image of a region R4 is assigned, which corresponds to the fourth field of view FOV4, and can be a fifth signal D5 generate an image of a region R5 is assigned, which corresponds to the fifth field of view FOV5.

Unterdessen ähnelt die Ausführungsform von 20 der Ausführungsform von 5, außer dass ein Bildverarbeitungsblock fünf Bildsensorblöcke enthält. Daher wird auf eine zusätzliche Beschreibung verzichtet, um Redundanz zu vermeiden.Meanwhile, the embodiment of FIG 20th the embodiment of 5 except that one image processing block contains five image sensor blocks. An additional description is therefore omitted in order to avoid redundancy.

21 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken in Abhängigkeit von einem Zoom-Faktor veranschaulicht. Ein Bildverarbeitungsblock, der in einer Vielzahl von Zoom-Modi arbeitet, wird unter Bezugnahme auf 20 und 21 beschrieben. 21 Fig. 3 is a diagram illustrating the operation of image sensor blocks depending on a zoom factor. An image processing block operating in a variety of zoom modes is described with reference to FIG 20th and 21 described.

In der Konfiguration, dass der vom Benutzer einstellbare Zoom-Faktor zwischen dem Minimalwert ZF_min und einem ersten Wert ZF1 liegt, arbeitet der Bildverarbeitungsblock 1100 in einem ersten Zoom-Modus. Im ersten Zoom-Modus arbeiten die Bildsensorblöcke 1104 und 1105, und die übrigen Bildsensorblöcke 1101, 1102 und 1103 arbeiten nicht. Der Bildsignalprozessor 1150 erzeugt Bilddaten auf der Grundlage von Signalen, die von den Bildsensorblöcken 1104 und 1105 ausgegeben werden. Der Hauptprozessor 1800 kann die unter Bezugnahme auf 6 bis 11 beschriebene HDR-Verarbeitung basierend auf den vom Bildsignalprozessor 1150 ausgegebenen Bilddaten durchführen.The image processing block works in the configuration that the zoom factor that can be set by the user is between the minimum value ZF_min and a first value ZF1 1100 in a first zoom mode. The image sensor blocks work in the first zoom mode 1104 and 1105 , and the remaining image sensor blocks 1101 , 1102 and 1103 do not work. The image signal processor 1150 generates image data based on signals received from the image sensor blocks 1104 and 1105 are issued. The main processor 1800 can that referring to 6th to 11 HDR processing described based on that from the image signal processor 1150 perform output image data.

In der Konfiguration, dass der Zoom-Faktor einen Wert zwischen dem ersten Wert ZF1 und einem zweiten Wert ZF2 aufweist, wenn der Benutzer die Zoom-Vergrößerung erhöht, arbeitet der Bildverarbeitungsblock 1100 in einem zweiten Zoom-Modus. Im zweiten Zoom-Modus arbeiten die Bildsensorblöcke 1103 und 1104, und die übrigen Bildsensorblöcke 1101, 1102 und 1105 arbeiten nicht. Der Bildsignalprozessor 1150 erzeugt Bilddaten auf der Grundlage von Signalen, die von den Bildsensorblöcken 1103 und 1104 ausgegeben werden. Der Hauptprozessor 1800 kann die unter Bezugnahme auf 6 bis 11 beschriebene HDR-Verarbeitung basierend auf den vom Bildsignalprozessor 1150 ausgegebenen Bilddaten durchführen.In the configuration that the zoom factor has a value between the first value ZF1 and a second value ZF2 when the user increases the zoom magnification, the image processing block operates 1100 in a second zoom mode. The image sensor blocks work in the second zoom mode 1103 and 1104 , and the remaining image sensor blocks 1101 , 1102 and 1105 do not work. The image signal processor 1150 generates image data based on signals received from the image sensor blocks 1103 and 1104 are issued. The main processor 1800 can that referring to 6th to 11 HDR processing described based on that from the image signal processor 1150 perform output image data.

Unterdessen arbeitet der Bildverarbeitungsblock 1100 in der Konfiguration, dass der Zoom-Faktor einen Wert zwischen dem zweiten Wert ZF2 und einem dritten Wert ZF3 aufweist, wenn der Benutzer die Zoom-Vergrößerung ferner erhöht, in einem dritten Zoom-Modus. Im dritten Zoom-Modus arbeiten die Bildsensorblöcke 1102 und 1103, und die übrigen Bildsensorblöcke 1101, 1104 und 1105 arbeiten nicht. Im dritten Zoom-Modus führt der Hauptprozessor 1800 die HDR-Verarbeitung auf der Grundlage der entsprechenden Bilddaten durch. Wenn der Zoom-Faktor ferner zunimmt, kann der Bildverarbeitungsblock 1100 im dritten Zoom-Modus oder in einem vierten Zoom-Modus arbeiten. In den vorstehend genannten Fällen führt der Hauptprozessor 1800 die HDR-Verarbeitung auf der Grundlage der entsprechenden Bilddaten durch.Meanwhile, the image processing block is working 1100 in the configuration that the zoom factor has a value between the second value ZF2 and a third value ZF3 when the user further increases the zoom magnification, in a third zoom mode. The image sensor blocks work in the third zoom mode 1102 and 1103 , and the remaining image sensor blocks 1101 , 1104 and 1105 do not work. The main processor performs in the third zoom mode 1800 performs the HDR processing on the basis of the corresponding image data. If the zoom factor further increases, the image processing block can 1100 work in the third zoom mode or in a fourth zoom mode. In the above cases, the main processor performs 1800 performs the HDR processing on the basis of the corresponding image data.

22 ist ein Diagramm, das die Funktionsweise von Bildsensorblöcken in Abhängigkeit von einem Zoom-Faktor veranschaulicht. Ein Bildverarbeitungsblock, der in einer Vielzahl von Zoom-Modi arbeitet, wird unter Bezugnahme auf 20 und 22 beschrieben. 22nd Fig. 3 is a diagram illustrating the operation of image sensor blocks depending on a zoom factor. An image processing block operating in a variety of zoom modes is described with reference to FIG 20th and 22nd described.

In der Konfiguration, dass der vom Benutzer einstellbare Zoom-Faktor zwischen dem Minimalwert ZF_min und dem ersten Wert ZF1 liegt, arbeitet der Bildverarbeitungsblock 1100 in einem ersten Zoom-Modus. Im ersten Zoom-Modus arbeiten die Bildsensorblöcke 1103, 1104 und 1105, und die übrigen Bildsensorblöcke 1101 und 1102 arbeiten nicht. Der Bildsignalprozessor 1150 erzeugt Bilddaten auf der Grundlage von Signalen, die von den Bildsensorblöcken 1103, 1104 und 1105 ausgegeben werden. Der Hauptprozessor 1800 kann mindestens eine von mehreren HDR-Verarbeitungen durchführen, die unter Bezugnahme auf 15 und 16 beschrieben sind und auf den vom Bildsignalprozessor 1150 ausgegebenen Bilddaten basieren.The image processing block works in the configuration that the zoom factor that can be set by the user is between the minimum value ZF_min and the first value ZF1 1100 in a first zoom mode. The image sensor blocks work in the first zoom mode 1103 , 1104 and 1105 , and the remaining image sensor blocks 1101 and 1102 do not work. The image signal processor 1150 generates image data based on signals received from the image sensor blocks 1103 , 1104 and 1105 are issued. The main processor 1800 can perform at least one of several HDR processing described with reference to 15th and 16 and to that of the image signal processor 1150 output image data are based.

In der Konfiguration, dass der Zoom-Faktor einen Wert zwischen dem ersten Wert ZF1 und dem zweiten Wert ZF2 aufweist, wenn der Benutzer die Zoom-Vergrößerung erhöht, arbeitet der Bildverarbeitungsblock 1100 in einem zweiten Zoom-Modus. Im zweiten Zoom-Modus arbeiten die Bildsensorblöcke 1102, 1103 und 1104, und die übrigen Bildsensorblöcke 1101 und 1105 arbeiten nicht. Der Bildsignalprozessor 1150 erzeugt Bilddaten auf der Grundlage von Signalen, die von den Bildsensorblöcken 1102, 1103 und 1104 ausgegeben werden. Der Hauptprozessor 1800 kann die HDR-Verarbeitung auf der Grundlage der vom Bildsignalprozessor 1150 ausgegebenen Bilddaten durchführen.In the configuration that the zoom factor has a value between the first value ZF1 and the second value ZF2 when the user increases the zoom magnification, the image processing block operates 1100 in a second zoom mode. The image sensor blocks work in the second zoom mode 1102 , 1103 and 1104 , and the remaining image sensor blocks 1101 and 1105 do not work. The image signal processor 1150 generates image data based on signals received from the image sensor blocks 1102 , 1103 and 1104 are issued. The main processor 1800 can perform HDR processing based on that from the image signal processor 1150 perform output image data.

In der Konfiguration, dass der Zoom-Faktor einen Wert zwischen dem zweiten Wert ZF2 und dem dritten Wert ZF3 aufweist, wenn der Benutzer die Zoom-Vergrößerung ferner erhöht, arbeitet der Bildverarbeitungsblock 1100 in einem dritten Zoom-Modus. Im dritten Zoom-Modus arbeiten die Bildsensorblöcke 1101, 1102 und 1103, und die übrigen Bildsensorblöcke 1104 und 1105 arbeiten nicht. Im dritten Zoom-Modus führt der Hauptprozessor 1800 die HDR-Verarbeitung auf der Grundlage der entsprechenden Bilddaten durch.In the configuration that the zoom factor has a value between the second value ZF2 and the third value ZF3 when the user further increases the zoom magnification, the image processing block operates 1100 in a third zoom mode. The image sensor blocks work in the third zoom mode 1101 , 1102 and 1103 , and the remaining image sensor blocks 1104 and 1105 do not work. The main processor performs in the third zoom mode 1800 performs the HDR processing on the basis of the corresponding image data.

Unterdessen werden die Ausführungsformen der 20 bis 22 unter der Annahme beschrieben, dass die Anzahl der Bildsensorblöcke 5 beträgt, aber das erfinderische Konzept ist nicht darauf beschränkt. Das heißt, es können zusätzliche Bildsensorblöcke übernommen werden, und die Technologien, die mit Bezug auf 20 bis 22 beschrieben werden, können identisch auf Konfigurationen angewandt werden, in denen sechs oder mehr Bildsensorblöcke übernommen werden.Meanwhile, the embodiments of the 20th to 22nd described assuming that the number of image sensor blocks 5 is, but the inventive concept is not limited to this. That is, additional image sensor blocks and the technologies related to 20th to 22nd can be applied identically to configurations in which six or more image sensor blocks are adopted.

23 ist ein konzeptionelles Diagramm, das ein beispielhaftes Verfahren veranschaulicht, bei dem eine Vergrößerung in Abhängigkeit von einem über eine Benutzerschnittstelle von 13 empfangenen Befehl eingestellt wird. 23 FIG. 13 is a conceptual diagram illustrating an example method in which a magnification is dependent on a via a user interface of FIG 13th received command is set.

In einigen Fällen kann ein Benutzer 30 beabsichtigen, eine Zoom-Vergrößerung in die Benutzeroberfläche 1600 einzugeben, während er einen Wert der Zoom-Vergrößerung langsam erhöht oder verringert. Der Benutzer 30 kann beispielsweise mit seinen beiden Fingern einen Berührungsbildschirm 1610 der Benutzeroberfläche 1600 berühren. Als nächstes kann der Benutzer 30 einen Abstand zwischen den beiden Fingern vergrößern oder verkleinern, um einen Wert der Zoom-Vergrößerung langsam einzustellen (z. B. durch ein Kneif-Hineinzoomen oder ein Kneif-Herauszoomen kneifen).In some cases, a user can 30th intend to zoom in on the user interface 1600 while slowly increasing or decreasing a zoom magnification value. The user 30th For example, he can use his two fingers on a touch screen 1610 the user interface 1600 touch. Next, the user can 30th Increase or decrease a distance between the two fingers in order to slowly adjust a value of the zoom magnification (e.g. by pinching-in or pinching-out).

Als weiteres Beispiel kann der Benutzer 30 eine grafische Schnittstelle B1, die auf einer Anzeigevorrichtung der Benutzeroberfläche 1600 angezeigt wird, zur Einstellung eines Wertes der Zoom-Vergrößerung verwenden. Der Benutzer 30 kann einen Wert der Zoom-Vergrößerung langsam einstellen, indem er mit dem Finger an einem Schieberegler der grafischen Oberfläche B1 entlang gleitet. In einem anderen Beispiel kann der Benutzer 30 die Tasten 1620 der Benutzeroberfläche 1600 drücken, um einen Wert der Zoom-Vergrößerung langsam zu erhöhen oder zu verringern.As another example, the user can 30th a graphical interface B1 pointing to a user interface display 1600 is displayed, use it to set a zoom magnification value. The user 30th can slowly adjust a value of the zoom magnification by moving your finger on a slide control of the graphical user interface B1 slides along. In another example, the user can 30th the button's 1620 the user interface 1600 Press to slowly increase or decrease a value of the zoom magnification.

Eine Operation zur Einstellung einer Zoom-Vergrößerung durch Berührung ist jedoch beispielhaft und soll das erfinderische Konzept nicht einschränken. Die Eingabe eines Befehls zur Einstellung einer Zoom-Vergrößerung kann beispielsweise durch eine Stimme, eine Geste eines Benutzers, eine Geste mit einem Stift usw. übernommen werden.However, an operation to adjust a zoom magnification by touch is exemplary and is not intended to limit the inventive concept. The input of a command for setting a zoom magnification can be taken over, for example, by a voice, a gesture by a user, a gesture with a pen, etc.

Nach einer Ausführungsform kann die HDR-Verarbeitung (HDR = High Dynamic Range) effizient durchgeführt werden, indem die für die HDR-Verarbeitung zu verwendenden Bilddaten durch eine Vielzahl von Bildsensoren gewonnen werden.According to one embodiment, the HDR processing (HDR = High Dynamic Range) can be carried out efficiently in that the image data to be used for the HDR processing are obtained by a plurality of image sensors.

Während das erfinderische Konzept unter Bezugnahme auf beispielhafte Ausführungsformen davon beschrieben wurde, wird es für einen Fachmann offensichtlich sein, dass verschiedene Änderungen und Modifikationen daran vorgenommen werden können, ohne vom Geist und Umfang des erfinderischen Konzepts, wie es in den folgenden Ansprüchen dargelegt wird, abzuweichen.While the inventive concept has been described with reference to exemplary embodiments thereof, it will be apparent to one skilled in the art that various changes and modifications can be made therein without departing from the spirit and scope of the inventive concept as set forth in the following claims .

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

KR 1020190116781 [0001]

Claims

An electronic device for processing a plurality of video frames, comprising a first image sensor block configured to photograph an object in a first field of view and to generate a first data signal corresponding to the object that was photographed in the first field of view; a second image sensor block which is set up to photograph the object in a second field of view which is larger than the first field of view and to generate a second data signal which corresponds to the object photographed in the second field of view; an image signal processor configured to generate first image data with a first resolution based on the first data signal and to generate second image data with a second resolution based on the second data signal; and a main processor which is set up to obtain cropped image data from the second image data which correspond to the first image data and to carry out HDR processing (HDR = High Dynamic Range) on the basis of the first image data and the cropped image data, wherein the HDR processed image is a first video frame of the plurality of video frames.

Electronic device according to Claim 1 wherein, if the first resolution is greater than a cropped resolution of the cropped image data, the main processor is further configured to perform binning on the first image data in order to obtain binned image data.

Electronic device according to Claim 2 , where the binned resolution of the binned image data is equal to the cropped resolution.

Electronic device according to Claim 1 wherein, if the first resolution is less than a cropped resolution of the cropped image data, the main processor is further configured to perform the binning of the cropped image data to obtain binned image data.

Electronic device according to Claim 4 , wherein the first resolution is equal to a binned resolution of the binned image data.

Electronic device according to Claim 1 wherein, if the first resolution is less than a cropped resolution of the cropped image data, the main processor is further configured to perform upscaling of the first image data in order to obtain upscaled image data.

Electronic device according to Claim 6 , wherein an upscaled resolution of the upscaled image data is equal to the cropped resolution.

Electronic device according to Claim 1 , wherein the HDR-processed image is a first HDR-processed image, wherein, after photographing the object, the first image sensor block is further configured to photograph the object in the first field of view and to generate a third signal that corresponds to that in the first field of view corresponding to the photographed object, wherein after the photographing of the object, the second image sensor block is further configured to photograph the object in the second field of view and to generate a fourth signal that corresponds to the object photographed in the second field of view, the image signal processor having third image data with a third resolution generated based on the third signal and generated fourth image data with a fourth resolution based on the fourth signal, wherein the main processor is further configured to obtain second cropped image data from the fourth image data, which corresponds to the first image data or the third image data, and a second HDR Vera perform processing based on the first image data, the second image data, the third image data and the fourth image data, and wherein the second HDR processed image is a second video frame from the plurality of video frames.

Electronic device according to Claim 8 , wherein if the first resolution and the third resolution are greater than a cropped resolution of the cropped image data and a second cropped resolution of the second cropped image data, the main processor is further configured to binning the first image data and the third image data to receive binned image data.

Electronic device according to Claim 1 wherein the first image sensor block comprises a first pixel array of a first plurality of pixels, wherein the second image sensor block comprises a second pixel array of a second plurality of pixels, and wherein a second number of the second plurality of pixels is greater than a first number of the first plurality of Pixels is.

Electronic device according to Claim 1 , wherein a cropped resolution of the cropped image data is half or less of the second resolution.