DE102015003532A1

DE102015003532A1 - Image synchronization method for cameras and electronic devices with cameras

Info

Publication number: DE102015003532A1
Application number: DE102015003532.0A
Authority: DE
Inventors: Chung-Hsien Hsieh; Ming-Che KANG
Original assignee: HTC Corp
Current assignee: HTC Corp
Priority date: 2014-03-19
Filing date: 2015-03-18
Publication date: 2015-09-24
Anticipated expiration: 2035-03-19
Also published as: CN104935914A; DE102015003532B4; CN104935914B

Abstract

Ein Verfahren, das für eine elektronische Vorrichtung mit einer ersten Kamera und einer zweiten Kamera geeignet ist, wird offenbart. Das Verfahren beinhaltet folgende Schritte. Eine Serie von ersten Bildrahmen bzw. Frames, die von der ersten Kamera erzeugt werden, wird in der ersten Reihe gespeichert und eine Serie von zweiten Frames, die von der zweiten Kamera erzeugt werden, wird in einer zweiten Reihe gespeichert. Ansprechend darauf, dass die erste Kamera ausgelöst wird, um ein erstes Bild zu erfassen, wird einer der ersten Frames, der mit einem ersten Zeitstempel aufgezeichnet wurde, als das erste Bild abgelegt. Es durchsucht die zweite Reihe nach einem der zweiten Frames, der mit einem zweiten Zeitstempel aufgezeichnet wurde, der dem ersten Zeitstempel entspricht. Der entsprechende eine der zweiten Frames wird als ein zweites Bild abgelegt.A method suitable for an electronic device having a first camera and a second camera is disclosed. The procedure includes the following steps. A series of first frames generated by the first camera is stored in the first row and a series of second frames generated by the second camera is stored in a second row. In response to the first camera being triggered to capture a first image, one of the first frames recorded with a first time stamp is stored as the first image. It searches the second row for one of the second frames recorded with a second timestamp corresponding to the first timestamp. The corresponding one of the second frames is stored as a second image.

Description

QUERBEZUG ZU VERWANDTER ANMELDUNGCROSS-REFERENCE TO RELATED APPLICATION

Diese Anmeldung beansprucht die Priorität der vorläufigen US-Patentanmeldung Seriennr. 61/955,219, die am 19. März 2014 eingereicht wurde, deren vollständige Offenbarungen hierin durch Bezugnahme aufgenommen sind.This application claims the benefit of US Provisional Patent Application Ser. No. 61 / 955,219 filed Mar. 19, 2014, the entire disclosures of which are incorporated herein by reference.

GEBIET DER ERFINDUNGFIELD OF THE INVENTION

Die Offenbarung bezieht sich auf ein Fotografieverfahren/eine Fotografieeinrichtung. Insbesondere bezieht sich die Offenbarung auf ein Verfahren zum Synchronisieren von Bildern, die mit unterschiedlichen Kameras erfasst wurden.The disclosure relates to a photography method / apparatus. In particular, the disclosure relates to a method of synchronizing images acquired with different cameras.

HINTERGRUNDBACKGROUND

Die Fotografie war früher ein professioneller Beruf, da sie viele Kenntnisse erfordert, um geeignete Konfigurationen (z. B. Steuern einer Belichtungszeit, eines Weißabgleichs, einer Brennweite) zum richtigen Aufnehmen eines Fotos zu bestimmen. Da die Komplexität manueller Konfigurationen der Fotografie zugenommen hat, haben die erforderlichen Handlungen und Hintergrundkenntnisse von Nutzern zugenommen.Photography used to be a professional profession, as it requires a lot of knowledge to determine appropriate configurations (eg, controlling an exposure time, white balance, focal length) to properly capture a photograph. As the complexity of manual configurations of photography has increased, the necessary actions and background knowledge of users have increased.

Eine stereoskopische Abbildung basiert auf dem Prinzip der menschlichen Sicht mit zwei Augen. Ein Weg, um ein stereoskopes Bild zu erhalten, ist das Verwenden von zwei Kameras, die um einen bestimmten Abstand bzw. eine bestimmte Lücke getrennt sind, um zwei Bilder aufzunehmen, welche demselben (denselben) Objekt(en) in einer Szene aus leicht unterschiedlichen Positionen/Winkeln entsprechen. Die X-dimensionale Information und die Y-dimensionale Information der Objekte in der Szene kann aus einem Bild erlangt werden. Für die Z-dimensionale Information werden diese beiden Bilder an einen Prozessor transferiert, der die Z-dimensionale Information (d. h. eine Tiefeninformation) der Objekte der Szene berechnet. Die Tiefeninformation ist wichtig und für Anwendungen notwendig, wie beispielsweise die dreidimensionale (3D) Sicht, die Objekterkennung, die Bildverarbeitung, die Bildbewegungsdetektion und so weiter. Um weitere Bildverarbeitungsvorgänge durchzuführen (z. B. die Tiefenberechnung oder andere dreidimensionale Anwendungen), ist ein Paar von Bildern erforderlich, das von zwei Kameras erfasst wird. Zudem muss das Paar von Bildern synchron durch zwei Kameras erfasst werden. Anderenfalls kann jede Nicht-Übereinstimmung zwischen zwei Bildern in den Bildverarbeitungsvorgängen Fehler (z. B. Geisterschatten) einführen.A stereoscopic image is based on the principle of two-eyed human vision. One way to get a stereoscopic image is to use two cameras separated by a certain distance or gap to take two images that are slightly different from the same object (s) in a scene Correspond to positions / angles. The X-dimensional information and the Y-dimensional information of the objects in the scene can be obtained from an image. For the Z-dimensional information, these two images are transferred to a processor which computes the Z-dimensional information (i.e., depth information) of the objects of the scene. The depth information is important and necessary for applications such as three-dimensional (3D) vision, object recognition, image processing, image motion detection and so on. To perform additional image processing operations (eg, depth calculation or other three-dimensional applications) requires a pair of images captured by two cameras. In addition, the pair of images must be synchronously captured by two cameras. Otherwise, any mismatch between two images in the image processing operations may introduce errors (eg, ghost shadows).

ZUSAMMENFASSUNGSUMMARY

Es wird ein Aspekt der Offenbarung offenbart der ist, ein Verfahren vorzusehen, das für eine elektronische Einrichtung mit einer ersten Kamera und einer zweiten Kamera geeignet ist. Das Verfahren beinhaltet die folgenden Schritte. Eine Serie von ersten Bildrahmen bzw. Frames, die durch erste Kamera erzeugt werden, wird in einer ersten Reihe bzw. Warteschlange gespeichert und eine Serie von zweiten Frames, die von der zweiten Kamera erzeugt werden, wird in einer zweiten Reihe bzw. Warteschlange gespeichert. Ansprechend darauf, dass die erste Kamera ausgelöst wird, um ein erstes Bild zu erfassen, wird einer der ersten Frames, der mit einem ersten Zeitstempel aufgenommen wird, als das erste Bild abgelegt. Es durchsucht die zweite Reihe nach einem der zweiten Frames, der mit einem zweiten Zeitstempel aufgenommen wurde, der dem ersten Zeitstempel entspricht. Der entsprechende eine der zweiten Frames wird als ein zweites Bild abgelegt.An aspect of the disclosure is disclosed which is to provide a method suitable for an electronic device having a first camera and a second camera. The procedure includes the following steps. A series of first frames generated by the first camera is stored in a first queue and a series of second frames generated by the second camera is stored in a second queue. In response to the first camera being triggered to capture a first image, one of the first frames captured with a first time stamp is deposited as the first image. It searches the second row for one of the second frames captured with a second timestamp corresponding to the first timestamp. The corresponding one of the second frames is stored as a second image.

Es ist ein weiterer Aspekt dieser Offenbarung, eine elektronische Vorrichtung vorzusehen, die ein erste Kamera, eine zweite Kamera, ein Verarbeitungsmodul und ein nicht transitorisches, computerlesbares Medium beinhaltet. Die erste Kamera ist konfiguriert, um sequenziell eine Serie von ersten Frames zu erzeugen. Der erste Frame wird temporär in der ersten Reihe gespeichert. Die zweite Kamera ist konfiguriert, um sequenziell eine Serie von zweiten Frames zu erzeugen. Die zweiten Frames werden temporär in einer zweiten Reihe gespeichert. Das Verarbeitungsmodul wird mit der ersten Kamera und der zweiten Kamera gekoppelt.It is another aspect of this disclosure to provide an electronic device that includes a first camera, a second camera, a processing module, and a non-transitory computer-readable medium. The first camera is configured to sequentially generate a series of first frames. The first frame is temporarily stored in the first row. The second camera is configured to sequentially generate a series of second frames. The second frames are temporarily stored in a second row. The processing module is coupled to the first camera and the second camera.

Das nicht transitorische, computerlesbare Medium weist eine oder mehrere Sequenzen von Instruktionen auf, die von dem Verarbeitungsmodul zum Durchführen eines Verfahrens ausgeführt werden sollen. Das Verfahren beinhaltet die folgenden Schritte. Ansprechend darauf, dass die erste Kamera ausgelöst wird, um ein erstes Bild zu erfassen, wird einer der ersten Frames, der mit einem Zeitstempel aufgezeichnet wurde, als das erste Bild abgelegt. Es durchsucht die zweite Reihe nach einem zweiten Frame, der mit einem zweiten Zeitstempel aufgenommen wurde, der dem ersten Zeitstempel entspricht. Der entsprechende eine der zweiten Frames wird als ein zweites Bild abgelegt.The non-transitory computer-readable medium includes one or more sequences of instructions to be executed by the processing module to perform a method. The procedure includes the following steps. In response to the first camera being triggered to capture a first image, one of the first frames recorded with a time stamp is stored as the first image. It searches the second row for a second frame that was taken with a second timestamp that corresponds to the first timestamp. The corresponding one of the second frames is stored as a second image.

KURZE BESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS

Aspekte der vorliegenden Offenbarung werden am besten aus der folgenden detaillierten Beschreibung verständlich, wenn diese mit den begleitenden Figuren gelesen wird. Es sei bemerkt, dass gemäß der Standardpraxis in der Branche die verschiedenen Merkmale nicht maßstabsgetreu gezeichnet sind. Tatsächlich können die Abmessungen der verschiedenen Merkmale aus Gründen der Übersichtlichkeit beliebig vergrößert oder verkleinert werden.Aspects of the present disclosure are best understood from the following detailed description when read with the accompanying figures. It should be noted that according to standard practice in the industry, the various features are not drawn to scale. In fact, the dimensions can the various features are arbitrarily increased or decreased for reasons of clarity.

1 ist eine Ansicht einer elektronischen Vorrichtung gemäß einem Ausführungsbeispiel der Offenbarung. 1 FIG. 10 is a view of an electronic device according to an embodiment of the disclosure. FIG.

2 ist ein funktionales Blockdiagramm, das die elektronische Vorrichtung, die in 1 gezeigt ist, veranschaulicht. 2 is a functional block diagram showing the electronic device used in 1 shown is illustrated.

3 ist ein Flussdiagramm, das ein Verfahren zum Sicherstellen der zeitlichen Synchronisierung zwischen den Bildern, die von zwei Kameras erfasst werden, veranschaulicht. 3 FIG. 10 is a flow chart illustrating a method of ensuring temporal synchronization between the images captured by two cameras.

4A und 4B sind schematische Diagramme, die Inhalte der erste Reihe und der zweiten Reihe in einem ersten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung veranschaulichen. 4A and 4B 13 are schematic diagrams illustrating contents of the first row and the second row in a first functional example according to an embodiment of the disclosure.

5 ist ein schematisches Diagramm, das die Inhalte der ersten Reihe und der zweiten Reihe in einem zweiten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung veranschaulicht. 5 FIG. 10 is a schematic diagram illustrating the contents of the first row and the second row in a second functional example according to an embodiment of the disclosure. FIG.

6 ist ein schematisches Diagramm, das Inhalte der ersten Reihe und der zweiten Reihe in einem dritten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung veranschaulicht. 6 FIG. 10 is a schematic diagram illustrating first row and second row contents in a third functional example according to one embodiment of the disclosure. FIG.

7 ist ein schematisches Diagramm, das Inhalte der ersten Reihe und der zweiten Reihe in einem vierten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung veranschaulicht. 7 FIG. 10 is a schematic diagram illustrating contents of the first row and the second row in a fourth functional example according to an embodiment of the disclosure. FIG.

DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION

Die folgende Offenbarung sieht viele unterschiedliche Ausführungsbeispiele oder Beispiele zum Implementieren der unterschiedlichen Merkmale der Erfindung vor. Spezifische Beispiele von Komponenten und Anordnungen werden unten beschrieben, um die vorliegende Offenbarung zu vereinfachen. Dies sind natürlich lediglich Beispiele und sie sollen nicht einschränkend sein. Zudem kann die vorliegende Offenbarung Bezugszeichen und/oder Buchstaben in verschiedenen Beispielen wiederholen. Diese Wiederholung dient dem Zweck der Einfachheit und Übersichtlichkeit und soll selbst keine Beziehung zwischen den verschiedenen Ausführungsbeispielen und/oder Konfigurationen, die hierin diskutiert werden, vorgeben.The following disclosure provides many different embodiments or examples for implementing the various features of the invention. Specific examples of components and arrangements are described below to simplify the present disclosure. Of course, these are just examples and should not be limiting. In addition, the present disclosure may repeat reference characters and / or letters in various examples. This repetition is for the purpose of simplicity and clarity, and in itself is not intended to suggest any relationship between the various embodiments and / or configurations discussed herein.

Es wird hingewiesen auf 1 und 2. 1 ist eine Ansicht einer elektronischen Vorrichtung 100 gemäß einem Ausführungsbeispiel der Offenbarung. 2 ist ein funktionales Blockdiagramm, das die elektronische Vorrichtung 100 veranschaulicht, die in 1 gezeigt ist. Wie in den Figuren gezeigt, beinhaltet die elektronische Vorrichtung 100 in dem Ausführungsbeispiel eine erste Kamera 110, eine zweite Kamera 120, einen Prozessor 130, eine Speichereinheit 140 und einen Speicher 150. Die Offenbarung sieht ein Verfahren vor, um sicherzustellen, dass ein Paar von Bildern, das von zwei individuellen Kameras erfasst wird (d. h. der ersten Kamera 110 und der zweiten Kamera 120) zeitlich synchronisiert wird, z. B. zu der gleichen Zeit oder ungefähr der gleichen Zeit erfasst wird.It is pointed out 1 and 2 , 1 is a view of an electronic device 100 according to an embodiment of the disclosure. 2 is a functional block diagram showing the electronic device 100 illustrated in 1 is shown. As shown in the figures, the electronic device includes 100 in the embodiment, a first camera 110 , a second camera 120 , a processor 130 , a storage unit 140 and a memory 150 , The disclosure provides a method to ensure that a pair of images captured by two individual cameras (ie, the first camera 110 and the second camera 120 ) is synchronized in time, z. B. at the same time or about the same time is detected.

In diesem Ausführungsbeispiel gibt es eine Funktionstaste 160, die auf dem Gehäuse der elektronischen Vorrichtung 100 angeordnet ist. Der Nutzer ist in der Lage, die Funktionstaste 150 zu drücken, um eine Bilderfassungsfunktion der ersten Kamera 110 und der zweiten Kamera 120 zu aktivieren. In anderen Ausführungsbeispielen ist der Nutzer in der Lage, die Bilderfassungsfunktion auszulösen durch Betätigen eines Touchpanels, Aussprechen eines Sprachbefehls, Bewegen der Elektronikeinrichtung 100 entlang einem spezifischen Muster oder über jegliche äquivalenten Auslöseweisen.In this embodiment, there is a function key 160 on the housing of the electronic device 100 is arranged. The user is able to press the function key 150 to press an image capture function of the first camera 110 and the second camera 120 to activate. In other embodiments, the user is able to trigger the image capture function by operating a touch panel, speaking a voice command, moving the electronics 100 along a specific pattern or via any equivalent triggering modes.

In dem Ausführungsbeispiel, das in 1 gezeigt ist, ist die erste Kamera 110 eine Hauptkamera in einer dualen Kamerakonfiguration und die zweite Kamera 120 ist eine untergeordnete Kamera (d. h. Subkamera) in der dualen Kamerakonfiguration. Wie in 1 gezeigt, sind sowohl die erste Kamera 110 als auch die zweite Kamera 120 innerhalb der dualen Kamerakonfiguration in diesem Ausführungsbeispiel beide auf derselben Oberfläche (z. B. der Rückseite) der elektronischen Vorrichtung 100 angeordnet und durch einen interaxiale Distanz beabstandet. Die erste Kamera 110 ist konfiguriert, um in eine Richtung zu zeigen und ein erstes Bild entsprechend einer Szene aufzunehmen. Die zweite Kamera 120 zeigt in dieselbe Richtung und nimmt ein zweites Bild im Wesentlichen entsprechend derselben Szene auf, wie dies die erste Kamera 110 macht. Mit anderen Worten sind die erste Kamera 110 und die zweite Kamera 120 in der Lage, ein Paar von Bildern von derselben Szene von leicht unterschiedlichen Betrachtungspositionen (aufgrund der interaxialen Distanz) aus zu erfassen, so. dass das Paar von Bildern bei der Berechnung von Tiefeninformation, Simulation oder Wiedererlangung einer dreidimensionalen (3D) Sicht, parallaxer (2,5D) Bildverarbeitung, Objekterkennung, Bewegungsdetektion oder jeglichen anderen Anwendungen genutzt werden kann.In the embodiment shown in FIG 1 shown is the first camera 110 a main camera in a dual camera configuration and the second camera 120 is a subordinate camera (ie subcamera) in the dual camera configuration. As in 1 shown are both the first camera 110 as well as the second camera 120 within the dual camera configuration in this embodiment, both on the same surface (eg, the back side) of the electronic device 100 arranged and spaced by an interaxial distance. The first camera 110 is configured to point in one direction and to capture a first image corresponding to a scene. The second camera 120 points in the same direction and captures a second image substantially corresponding to the same scene as the first camera 110 power. In other words, the first camera 110 and the second camera 120 able to capture a pair of images of the same scene from slightly different viewing positions (due to the interaxial distance), so. that the pair of images can be used in computing depth information, simulating or recovering a three dimensional (3D) view, parallax (2.5D) image processing, object recognition, motion detection, or any other application.

In einigen Ausführungsbeispielen setzen die erste Kamera 110 und die zweite Kamera 120 dasselbe Kameramodell ein. In diesem Ausführungsbeispiel, das in 1A gezeigt ist, setzen die erste Kamera 110 und die zweite Kamera 120 der dualen Kamerakonfiguration unterschiedliche Modelle von Kameras ein. Im Allgemeinen kann die erste Kamera 110, die die Hauptkamera ist, bessere optische Leistungen besitzen und das erste Bild, das von der ersten Kamera 110 aufgenommen wird, wird üblicherweise als ein erfasstes Bild aufgezeichnet. Auf der anderen Seite kann die zweite Kamera 120, die die untergeordnete Kamera ist, die gleichen oder geringere optische Leistungen haben, und das zweite Bild, das von der zweiten Kamera 120 aufgenommen wird, wird üblicherweise als Hilfsdaten oder zusätzliche Daten genutzt.In some embodiments put the first camera 110 and the second camera 120 the same camera model. In this embodiment, the in 1A shown, put the first camera 110 and the second camera 120 the dual camera configuration different models of Cameras on. In general, the first camera 110 , which is the main camera, have better optical performance and the first picture taken by the first camera 110 is usually recorded as a captured image. On the other side may be the second camera 120 which is the subordinate camera, have the same or lower optical powers, and the second image, that of the second camera 120 is usually used as auxiliary data or additional data.

Die erste Kamera 110 und die zweite Kamera 120 in der Offenbarung sind jedoch nicht darauf eingeschränkt, dass sie die Hauptkamera und die untergeordnete Kamera in der dualen Kamerakonfiguration sind, die in 1 gezeigt ist. Die Offenbarung ist für jegliche elektronische Einrichtung 100 mit zwei Kameras zum synchronen Erfassen eines Paars von Bildern geeignet.The first camera 110 and the second camera 120 in the disclosure, however, are not limited to being the main camera and the sub camera in the dual camera configuration shown in FIG 1 is shown. The disclosure is for any electronic device 100 with two cameras for synchronously capturing a pair of images.

Es wird auch auf 3 Bezug genommen, die ein Flussdiagramm ist, das das Verfahren 300 veranschaulicht, das für die elektronische Einrichtung 100 geeignet ist, die die erste Kamera 110 und die zweite Kamera 120 aufweist, zum Sicherstellen der zeitlichen Synchronisierung zwischen den Bildern, die von den zwei Kameras erfasst werden. Wie in 3 gezeigt, führt das Verfahren 300 den Schritt S302 aus zum Speichern einer Serie von ersten Frames, die von der ersten Kamera 110 erzeugt werden in eine erste Reihe Q1 und einer Serie von zweiten Frames, die von der zweiten Kamera 120 erzeugt werden, in eine Reihe Q2.It will also open 3 Reference is made to a flow chart illustrating the procedure 300 illustrates that for the electronic device 100 suitable for the first camera 110 and the second camera 120 for ensuring temporal synchronization between the images captured by the two cameras. As in 3 shown, the procedure performs 300 Step S302 of storing a series of first frames received from the first camera 110 are generated in a first row Q1 and a series of second frames taken by the second camera 120 be generated in a series Q2.

Die elektronische Einrichtung 100 in 1 und 2 weist weiter ein nicht transitorisches, computerlesbares Medium auf, das eine oder mehrere Sequenzen von Instruktionen aufweist, die von dem Prozessor 130 zum Durchführen des Verfahrens 300 ausgeführt werden, das im Folgenden erklärt wird.The electronic device 100 in 1 and 2 further comprises a non-transitory computer-readable medium having one or more sequences of instructions issued by the processor 130 for carrying out the method 300 which will be explained below.

In herkömmlichen Kameras wird, nachdem der Nutzer eine auslösende Taste (z. B. einen Auslöseknopf oder eine Aufnahmefunktionstaste auf einem Touchpanel) gedrückt hat, ein Bildsensor innerhalb der herkömmlichen Kamera aktiviert, um ein Bild aufzunehmen. Eine Verschlussreaktionszeit beinhaltet das das Einstellen des Bildsensors, das Sammeln von Daten durch den Bildsensor und das Ablegen der Daten als ein neu erfasstes Bild. Es kann ungefähr 1–3 Sekunden dauern, eine Aufnahme aufzunehmen. Das Aufnehmen einer Serie von Bildern in einer kurzen Periode (z. B. im beschleunigten Aufnahmemodus bzw. Serienmodus) ist mit herkömmlichen Kameras nicht möglich.In conventional cameras, after the user presses a triggering button (eg, a shutter button or a shooting function button on a touch panel), an image sensor within the conventional camera is activated to take a picture. A shutter reaction time includes adjusting the image sensor, collecting data by the image sensor, and storing the data as a newly acquired image. It may take about 1-3 seconds to take a picture. Recording a series of pictures in a short period (for example, in the accelerated recording mode or in the series mode) is not possible with conventional cameras.

Um die Verschlussreaktionszeit zu beschleunigen (d. h. um die Verschlussreaktionszeit zu verringern) wenn eine mit einem Foto in Beziehung stehende Funktion gestartet wird, erzeugt die erste Kamera 110 kontinuierlich und periodisch eine Serie von ersten Frames, und die zweite Kamera 120 erzeugt kontinuierlich und periodisch eine Serie von zweiten Frames. Zum Beispiel erzeugt die erste Kamera 110 30 Frames pro Sekunde (z. B. 30 fps). Die ersten Frames und die zweiten Frames werden sequenziell in der ersten Reihe Q1 bzw. der zweiten Reihe Q2 gespeichert.To speed up the shutter response time (ie, to reduce the shutter response time) when a photo-related function is started, the first camera generates 110 continuously and periodically a series of first frames, and the second camera 120 continuously and periodically generates a series of second frames. For example, the first camera produces 110 30 frames per second (eg 30 fps). The first frames and the second frames are stored sequentially in the first row Q1 and the second row Q2, respectively.

Wie im Ausführungsbeispiel, das in 2 gezeigt ist, werden die erste Reihe Q1 und die zweite Reihe Q2 im Speicher 150 der elektronischen Vorrichtung 100 gebildet. In einigen Ausführungsbeispielen sind die erste Reihe Q1 und die zweite Reihe Q2 jeweils ein Ringpuffer (auch bekannt als Circular Buffer), was eine Datenstruktur ist, die einen einzelnen Puffer mit fester Größe verwendet, so als wäre ein Ende mit dem anderen verbunden. Diese Ringstruktur ist zum Puffern von Datenströmen geeignet. Sowohl die erste Reihe Q1 als auch die zweite Reihe Q2 hat jeweils mehrere Schlitze. Zur Veranschaulichung beinhaltet die erste Reihe Q1, die in 2 veranschaulicht ist, acht Schlitze QS10~QS17 und die zweite Reihe Q2, die in 2 veranschaulicht ist, beinhaltet acht Schlitze QS20~QS27, aber die Offenbarung ist nicht auf eine bestimmte Anzahl von Schlitzen eingeschränkt.As in the embodiment, the in 2 is shown, the first row Q1 and the second row Q2 are in memory 150 the electronic device 100 educated. In some embodiments, the first row Q1 and the second row Q2 are each a ring buffer (also known as circular buffer), which is a data structure that uses a single fixed size buffer as if one end was connected to the other. This ring structure is suitable for buffering data streams. Both the first row Q1 and the second row Q2 each have several slots. By way of illustration, the first row Q1 included in 2 is illustrated, eight slots QS10 ~ QS17 and the second row Q2, which in 2 includes eight slots QS20~QS27, but the disclosure is not limited to any particular number of slots.

Jeder der Schlitze QS10~QS17 der ersten Reihe Q1 enthält einen der ersten Frames, die von der ersten Kamera 110 erzeugt wurden. Wenn die Fotofunktion gestartet wird, fährt die erste Kamera 110 damit fort, während des Schrittes S302 erste Frames zu jeweils unterschiedlichen Zeitpunkten zu erzeugen und die ersten Frames sequenziell in der ersten Reihe Q1 zu speichern. Jeder der ersten Frames wird mit einem individuellen Zeitstempel aufgezeichnet, der jeweils einen Zeitpunkt anzeigt, zu dem der erste Frame erzeugt wird.Each of the slots QS10 ~ QS17 of the first row Q1 includes one of the first frames received from the first camera 110 were generated. When the photo function is started, the first camera moves 110 thus continuing to generate first frames at different times during the step S302 and to store the first frames sequentially in the first row Q1. Each of the first frames is recorded with an individual timestamp, each indicating a time at which the first frame is generated.

Jeder der Schlitze QS20~QS27 der zweiten Reihe Q2 enthält einen der zweiten Frames, der von der zweiten Kamera 120 erzeugt wurde. Wenn die Fotofunktion gestartet wird, fährt die zweite Kamera 120 während Schritt S302 damit fort, zweite Frames zu jeweils unterschiedlichen Zeitpunkten zu erzeugen und die zweiten Frames sequenziell in der zweiten Reihe Q2 zu speichern. Jeder der. zweiten Frames wird mit einem individuellen Zeitstempel aufgezeichnet, der jeweils einen Zeitpunkt anzeigt, zu dem der zweite Frame erzeugt wird.Each of the slots QS20 ~ QS27 of the second row Q2 contains one of the second frames provided by the second camera 120 was generated. When the photo function starts, the second camera moves 120 during step S302, to generate second frames at different times and store the second frames sequentially in the second row Q2. Everyone who. second frame is recorded with an individual timestamp, each indicating a time at which the second frame is generated.

Zudem werden die erste Reihe Q1 und die zweite Reihe Q2 dynamisch aktualisiert/erneuert während die Fotofunktion gestartet wird; wenn es einen neu eintreffenden ersten Frame gibt und die erste Reihe bereits voll ist, wird der neu eintreffende erste Frame den Schlitz in der ersten Reihe mit dem ältesten ersten Frame darin überschreiben. Daher sind die erste Reihe Q1 und die zweite Reihe Q2 in der Lage, die aktuellsten Frames dynamisch beizubehalten.In addition, the first row Q1 and second row Q2 are dynamically updated / renewed while the photo function is started; if there is a new incoming first frame and the first row is already full, the newly arriving first frame will overwrite the slot in the first row with the oldest first frame therein. Therefore, the first row Q1 and the second row Q2 are able to dynamically maintain the most recent frames.

Es wird auch Bezug auf die 4A und 4B genommen, die schematische Diagramme sind, die Inhalte der ersten Reihe Q1 und der zweiten Reihe Q2 in einem ersten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung zeigen.It will also relate to the 4A and 4B 4, which are schematic diagrams showing contents of the first row Q1 and the second row Q2 in a first functional example according to an embodiment of the disclosure.

Wie in 4A gezeigt, werden die ersten Frames F1a~F1h in Serie in der ersten Reihe Q1 gespeichert. Der erste Frame F1a wird mit einem Zeitstempel T1004 aufgezeichnet der anzeigt, dass der erste Frame F1a bei der 1004-ten Mikrosekunde gemäß einer Systemuhr erzeugt wird. Der erste Frame F1b wird mit einem weiteren Zeitstempel T1008 aufgezeichnet, der anzeigt, dass der erste Frame F1b bei der 1008-ten Mikrosekunde gemäß der Systemuhr erzeugt wird. Der erste Frame F1c wird mit einem weiteren Zeitstempel T1012 aufgezeichnet, der anzeigt, dass der erste Frame F1c bei der 1012-ten Mikrosekunde gemäß der Systemuhr erzeugt wird, und so weiter.As in 4A As shown, the first frames F1a~F1h are stored in series in the first row Q1. The first frame F1a is recorded with a time stamp T1004 indicating that the first frame F1a is generated at the 1004th microsecond according to a system clock. The first frame F1b is recorded with another timestamp T1008 indicating that the first frame F1b is generated at the 1008th microsecond according to the system clock. The first frame F1c is recorded with another timestamp T1012 indicating that the first frame F1c is generated at the 1012th microsecond according to the system clock, and so on.

In dem Beispiel, das in 4A gezeigt ist, sind ein erster Frame und der folgende erste Frame um vier Mikrosekunden beabstandet. Das bedeutet in diesem Beispiel, dass die erste Kamera 110 alle vier Mikrosekunden einen neuen Frame erzeugt (d. h. 15 Frames pro Sekunde, 15 fps), und die zweite Kamera 120 erzeugt bzw. arbeitet ebenfalls mit 15 fps.In the example that is in 4A 2, a first frame and the following first frame are spaced by four microseconds. That means in this example that the first camera 110 generates a new frame every four microseconds (ie 15 frames per second, 15 fps), and the second camera 120 also generates or works with 15 fps.

Auf der anderen Seite werden die zweiten Frames F2a~F2h in einer Serie in der zweiten Reihe Q2 gespeichert. Der zweite Frame F2a wird mit einem Zeitstempel T1004 aufgezeichnet, der anzeigt, dass der zweite Frame F2a bei der 1004-ten Mikrosekunde gemäß der Systemuhr erzeugt wird. Der zweite Frame F2b wird mit einem weiteren Zeitstempel T1008 aufgezeichnet, der anzeigt, dass der zweite Frame F2b bei der 1008-ten Mikrosekunde gemäß der Systemzeit erzeugt wird. Der zweite Frame F2c wird mit einem weiteren Zeitstempel T1012 aufgezeichnet, der anzeigt, dass der zweite Frame F2c bei der 1012-ten Mikrosekunde gemäß der Systemzeit erzeugt wird, und so weiter.On the other hand, the second frames F2a~F2h are stored in a series in the second row Q2. The second frame F2a is recorded with a time stamp T1004 indicating that the second frame F2a is generated at the 1004th microsecond according to the system clock. The second frame F2b is recorded with another timestamp T1008 indicating that the second frame F2b is generated at the 1008th microsecond according to the system time. The second frame F2c is recorded with another timestamp T1012 indicating that the second frame F2c is generated at the 1012th microsecond according to the system time, and so on.

Das Verfahren 300 führt den Schritt S304 aus, um zu bestimmen, ob die Bilderfassungsfunktion ausgelöst wird. Wenn eine Bilderfassungsfunktion ausgelöst wird (z. B. indem der Nutzer die Funktionstaste 160 herunterdrückt oder durch irgendwelche äquivalenten Auslösearten), wird die erste Kamera 110 ausgelöst, um ein erstes Bild IMG1 zu erfassen und die zweite Kamera 120 wird ausgelöst, um ein zweites Bild IMG2 zu erfassen (wie in 4B gezeigt ist), und zwar in zeitlicher Synchronisation gepaart mit dem ersten Bild IMG1.The procedure 300 executes step S304 to determine if the image capture function is triggered. When an image capture function is triggered (for example, by the user pressing the function key 160 depressing or by any equivalent triggering modes) becomes the first camera 110 triggered to capture a first image IMG1 and the second camera 120 is triggered to capture a second image IMG2 (as in 4B is shown), in time synchronization paired with the first image IMG1.

In der Offenbarung ist es für die erste Kamera 110 und die zweite Kamera 120 nicht erforderlich, sich einzustellen, aufzunehmen, Daten zu sammeln und die Ausgabedaten als das Ausgabebild auszugeben, nachdem die Bilderfassungsfunktion aktiviert worden ist. Wie in 3 und 4A gezeigt, wird, ansprechend darauf, dass die erste Kamera 110 ausgelöst wird, ein erstes Bild IMG1 zu erfassen (d. h. die Bilderfassungsfunktion wird ausgelöst), der Schritt S306 ausgeführt, um einen der ersten Frames F1a~F1h mit einem ersten Zeitstempel in der ersten Reihe Q1 als das erste Bild IMG1 abzulegen. Wie in 4A gezeigt, gibt es acht erste Frames F1a~F1h, die mit den Zeitstempeln T1004, T1008, T1012, T1016, T1020, T1024, T1028 und T1032 aufgezeichnet wurden. Während des Schrittes S306 in dem Ausführungsbeispiel wird der letzte erste Frame F1h, der mit dem letzten Zeitstempel T1032 aufgezeichnet wurde (d. h. der erste Zeitstempel ist in diesem Beispiel T1032), als das erste Bild IMG1 abgelegt. Daher wird der erste Frame F1h, der in dem Schlitz QS13 in der ersten Reihe gespeichert ist, als das erste Bild IMG1 abgelegt. In einem Ausführungsbeispiel wird das erste Bild IMG1 in der Speichereinheit 140 durch den Prozessor 130 gespeichert.In Revelation it is for the first camera 110 and the second camera 120 It is not necessary to adjust, record, collect data and output the output data as the output image after the image capture function has been activated. As in 3 and 4A shown, in response, that the first camera 110 is triggered to acquire a first image IMG1 (ie, the image capture function is triggered), step S306 is executed to place one of the first frames F1a~F1h with a first timestamp in the first row Q1 as the first image IMG1. As in 4A 8, there are eight first frames F1a~F1h recorded with the timestamps T1004, T1008, T1012, T1016, T1020, T1024, T1028 and T1032. During step S306 in the embodiment, the last first frame F1h recorded with the last time stamp T1032 (ie, the first time stamp is T1032 in this example) is stored as the first image IMG1. Therefore, the first frame F1h stored in the slot QS13 in the first row is stored as the first frame IMG1. In one embodiment, the first image IMG1 is in the storage unit 140 through the processor 130 saved.

Danach führt das Verfahren den Schritt S308 zum Durchsuchen der zweiten Reihe Q2 nach einem der zweiten Frames F2a~F2h aus, der mit einem zweiten Zeitstempel aufgezeichnet wurde, der dem ersten Zeitstempel (T1032) entspricht. In dem Ausführungsbeispiel wird der Schritt S308 ausgeführt, um nach einem der zweiten Frames F2a~F2h in der zweiten Reihe Q2 mit dem zweiten Zeitstempel zu suchen, der dem ersten Zeitstempel (T1032) am nächsten ist. Der zweite Zeitstempel (T1032) des zweiten Frames F2h ist dem ersten Zeitstempel des ersten Frames F1h am nächsten.Thereafter, the method executes step S308 of searching the second row Q2 for one of the second frames F2a~F2h recorded with a second time stamp corresponding to the first time stamp (T1032). In the embodiment, step S308 is executed to search for one of the second frames F2a~F2h in the second row Q2 with the second timestamp closest to the first timestamp (T1032). The second time stamp (T1032) of the second frame F2h is closest to the first time stamp of the first frame F1h.

Daher führt das Verfahren den Schritt S310 zum Ablegen des entsprechenden zweiten Frames F2h, der mit dem zweiten Zeitstempel (T1032) aufgezeichnet worden ist, als das zweite Bild IMG2 aus. In einem Ausführungsbeispiel wird das zweite Bild IMG2 in der Speichereinheit 140 von Prozessor 130 gespeichert.Therefore, the process executes the step S310 of storing the corresponding second frame F2h recorded with the second time stamp (T1032) as the second image IMG2. In one embodiment, the second image IMG2 is in the storage unit 140 from processor 130 saved.

Das erste Bild IMG1 und das zweite Bild IMG2 liegen bereits als registrierte Frames in der ersten Reihe Q1 und der zweiten Reihe Q2 vor, wenn die Bilderfassungsfunktion ausgelöst wird, so dass das erste Bild IMG1 und das zweite Bild IMG2 schneller erzeugt werden können. Daher erfährt der Nutzer eine schnelle Reaktionszeit auf den Fotoaufnahmebefehl (z. B. Herunterdrücken der Funktionstaste 160) in Echtzeit.The first image IMG1 and the second image IMG2 are already present as registered frames in the first row Q1 and the second row Q2 when the image capture function is triggered, so that the first image IMG1 and the second image IMG2 can be generated more quickly. Therefore, the user experiences a quick response time to the photographing command (eg, press down the function key 160 ) Real time.

Wie in 4A gezeigt, werden der erste Frame F1h und das zweite Bild IMG2 jeweils in dem vierten Schlitz QS13 in der ersten Reihe Q1 und dem sechsten Schlitz QS25 in der zweiten Reihe Q2 gespeichert. Sogar dann, wenn die erste Reihe Q1 und die zweite Reihe Q2 zeitlich nicht synchronisiert sind, so dass sie die Frames innerhalb desselben Schlitzes in der gleichen Reihenfolge halten, ist das Verfahren 300 in der Lage, das Paar der von Frames in der ersten Reihe Q1 und der zweiten Reihe Q2 gemäß den Zeitstempeln, die mit jedem Frame aufgezeichnet sind, zu lokalisieren.As in 4A The first frame F1h and the second frame IMG2 are respectively shown in the fourth slot QS13 in the first row Q1 and the first row sixth slot QS25 stored in the second row Q2. Even if the first row Q1 and the second row Q2 are not synchronized in time so that they hold the frames within the same slot in the same order, the method is 300 capable of locating the pair of frames in the first row Q1 and the second row Q2 according to the timestamps recorded with each frame.

In dem zuvor genannten Ausführungsbeispiel, das in 4A gezeigt ist, liegt der Idealfall vor, dass die Inhalte der erste Reihe Q1 und der zweiten Reihe Q2 die gleichen bleiben während der Schritte S306~S310. Die elektronische Vorrichtung 100 führt in praktischen Anwendungen die Schritte S306~S310 möglicherweise nicht schnell genug aus vor einer Veränderung der Inhalte in der ersten Reihe Q1 und der zweiten Reihe Q2, da die Inhalte der ersten Reihe Q1 und der zweiten Reihe Q2 innerhalb einer kurzen Periode dynamisch aktualisiert/erneuert werden (z. B. alle 4 Mikrosekunden in dem Ausführungsbeispiel).In the aforementioned embodiment, which is in 4A is shown, the ideal case is that the contents of the first row Q1 and the second row Q2 remain the same during the steps S306 ~ S310. The electronic device 100 In practical applications, steps S306 ~ S310 may not perform fast enough before changing the contents in the first row Q1 and the second row Q2 because the contents of the first row Q1 and the second row Q2 are dynamically updated / renewed within a short period (for example, every 4 microseconds in the embodiment).

4B veranschaulicht Inhalte der ersten Reihe Q1 und der zweiten Reihe Q2 in einem zweiten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung. Wie in 1A und im zuvor genannten Ausführungsbeispiel gezeigt, wird der erste Frame F1h in der ersten Reihe Q1, der mit dem ersten Zeitstempel (T1032) aufgezeichnet worden ist, als das erste Bild IMG1 abgelegt. Während Berechnungen durchgeführt werden (z. B. Ausführen von Schritt S306, Speichern des ersten Bildes IMG1 und Registrieren des erste Zeitstempels usw.) durch den Prozessor 130, fahren die erste Kamera 110 und die zweite Kamera 120 damit fort, neue Frames in der ersten Reihe Q1 und der zweiten Reihe Q2 zu erzeugen, so dass die erste Reihe Q1 und die zweite Reihe Q2 acht Mikrosekunden später so sind, wie in 4B dargestellt ist. 4B illustrates contents of the first row Q1 and the second row Q2 in a second functional example according to an embodiment of the disclosure. As in 1A and in the aforementioned embodiment, the first frame F1h in the first row Q1 recorded with the first time stamp (T1032) is stored as the first frame IMG1. While calculations are performed (eg, executing step S306, storing the first image IMG1 and registering the first timestamp, etc.) by the processor 130 , drive the first camera 110 and the second camera 120 to generate new frames in the first row Q1 and the second row Q2 such that the first row Q1 and the second row Q2 are eight microseconds later than in 4B is shown.

Bei Schritt S306 entsprechend 4A wird der aktuellste erste Frame F1h, der mit dem ersten Zeitstempel (T1032) aufgezeichnet wurde, als das erste Bild IMG1 abgelegt. Der erste Zeitstempel (T1032) wird durch Schritt S308 zum Durchsuchen der zweiten Reihe Q2 genutzt. Beim Schritt S308, der der 4B entspricht (die z. B. 8 Mikrosekunden später ausgeführt wird als 4A), ist der zweite Frame F2h, der mit dem zweiten Zeitstempel (T1032) aufgezeichnet wird, nicht der aktuellste Frame. Es gibt neu eintreffende Frames F2i und F2j, die in der zweiten Reihe Q2 gespeichert sind. Basierend auf Schritt S308 zum Suchen nach einer Entsprechung für den ersten Zeitstempel (T1032) hat der zweite Frame F2h den zweiten Zeitstempel (T1032), der am nächsten zum ersten Zeitstempel (T1032) ist. Daher wird der zweite Frame F2h als das zweite Bild IMG2 durch Schritt S310 abgelegt.Corresponding to step S306 4A For example, the most recent first frame F1h recorded with the first time stamp (T1032) is stored as the first frame IMG1. The first timestamp (T1032) is used by step S308 to search the second row Q2. In step S308, which is the 4B (for example, 8 microseconds later than 4A ), the second frame F2h recorded with the second time stamp (T1032) is not the most recent frame. There are newly arriving frames F2i and F2j stored in the second row Q2. Based on step S308 for searching for a correspondence for the first timestamp (T1032), the second frame F2h has the second timestamp (T1032) closest to the first timestamp (T1032). Therefore, the second frame F2h is filed as the second image IMG2 through step S310.

43 Mit anderen Worten, wird das zweite Bild IMG2 mittels des Frames aus der zweiten Reihe Q2 ausgewählt, der am synchronsten ist relativ zu dem ersten Bild IMG1 gemäß der Information des Zeitstempels, und nicht mittels des aktuellsten Frames aus der zweiten Reihe Q2. Das zweite Bild IMG2, das von der zweiten Kamera 120 erfasst wurde, wird mit dem ersten Bild IMG1 gepaart, das von der ersten Kamera 110 in zeitlicher Synchronisation erfasst wurde. Eine mangelnde Übereinstimmung der beiden Bilder aufgrund der Erfassungszeitlücke kann durch das Verfahren 300 verringert werden.In other words, the second image IMG2 is selected by means of the frame from the second row Q2, which is most synchronous relative to the first image IMG1 according to the information of the time stamp, and not by means of the most recent frame from the second row Q2. The second image IMG2, that of the second camera 120 is paired with the first image IMG1, that of the first camera 110 was recorded in temporal synchronization. A mismatch of the two images due to the acquisition time gap may be due to the process 300 be reduced.

In den zuvor erwähnten Ausführungsbeispielen haben die erste Reihe Q1 und die zweite Reihe Q2 die gleiche Anzahl von Schlitzen zum Erfassen der ersten/zweiten Frames. Die Offenbarung ist darauf jedoch nicht eingeschränkt.In the aforementioned embodiments, the first row Q1 and the second row Q2 have the same number of slots for detecting the first / second frames. However, the disclosure is not limited thereto.

Es wird auch Bezug genommen auf 5, die ein schematisches Diagramm ist, das die Inhalte der ersten Reihe Q1 und der zweiten Reihe Q2 in einem zweiten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung veranschaulicht. In dem zweiten Funktionsbeispiel, das in 5 gezeigt ist, hat die erste Reihe Q1 acht Schlitze und die zweite Reihe Q2 hat sechs Schlitze. Die erste Reihe Q1 und die zweite Reihe Q2 stimmen in der Anzahl der Schlitze nicht überein. Basierend auf dem zuvor erwähnten Verfahren 300 wird der aktuellste erste Frame F1h, der mit dem ersten Zeitstempel (T1032) aufgezeichnet worden ist, als das erste Bild IMG1 in dem Schritt S306 abgelegt. Gemäß dem Suchergebnis entsprechend dem ersten Zeitstempel (T1032) wird der zweite Frame F2f, der mit dem zweiten Zeitstempel (T1032) aufgezeichnet worden ist, als das zweite Bild IMG2 im Schritt S310 abgelegt. Das Verfahren 300 kann immer noch so arbeiten, dass es die zeitlich synchronisierten Bilder von zwei Kameras lokalisiert, auch wenn die erste und die zweite Reihe Q1 und Q2 in der Anzahl der Schlitze nicht übereinstimmen. Andere Details des zweiten Funktionsbeispiels, die in 5 gezeigt sind, wurden bereits in den zuvor erwähnten Ausführungsbeispielen beschrieben und werden hier nicht wiederholt.It is also referred to 5 12 is a schematic diagram illustrating the contents of the first row Q1 and the second row Q2 in a second functional example according to an embodiment of the disclosure. In the second functional example, which is in 5 is shown, the first row Q1 has eight slots and the second row Q2 has six slots. The first row Q1 and the second row Q2 do not match in the number of slots. Based on the aforementioned method 300 For example, the most recent first frame F1h recorded with the first time stamp (T1032) is stored as the first image IMG1 in step S306. According to the search result corresponding to the first time stamp (T1032), the second frame F2f recorded with the second time stamp (T1032) is stored as the second image IMG2 in step S310. The procedure 300 can still work to locate the temporally synchronized images from two cameras, even though the first and second rows Q1 and Q2 do not match in the number of slots. Other details of the second working example, which are in 5 have been described in the aforementioned embodiments and will not be repeated here.

In den zuvor genannten Ausführungsbeispielen nutzen die ersten Kamera 110 und die zweite Kamera 120 dieselbe Framerate zum Aktualisieren der ersten Reihe Q1 und der zweiten Reihe Q2 im Schritt S302. Die Offenbarung ist jedoch nicht darauf eingeschränkt.In the aforementioned embodiments use the first camera 110 and the second camera 120 the same frame rate for updating the first row Q1 and the second row Q2 in step S302. However, the disclosure is not limited thereto.

Es wird auch Bezug genommen auf 6, die ein schematisches Diagramm ist, das die Inhalte der ersten Reihe Q1 und der zweiten Reihe Q2 in einem dritten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung veranschaulicht. In dem Funktionsbeispiel, das in 6 gezeigt ist, aktualisiert die erste Kamera 110 die erste Reihe Q1 alle vier Mikrosekunden (15 fps) und die zweite Kamera 120 aktualisiert die zweite Reihe Q2 alle zwei Mikrosekunden (30 fps). In diesem Fall wird das erste Bild IMG1 vom ersten Frame F1h, der mit dem ersten Zeitstempel (T1032) aufgezeichnet wurde, abgelegt. Daher wird der zweite Frame F2h, der mit dem zweiten Zeitstempel (T1032) aufgezeichnet wurde, als das zweite Bild IMG2 abgelegt. Das Verfahren 300 kann immer noch so arbeiten, dass es die zeitlich synchronisierten Bilder von zwei Kameras lokalisiert, auch wenn die erste und die zweite Reihe Q1 und Q2 in der Anzahl der Schlitze nicht übereinstimmen. Andere Details des dritten Funktionsbeispiels, die in 6 gezeigt sind, wurden bereits in den zuvor erwähnten Ausführungsbeispielen beschrieben und werden hier nicht wiederholt.It is also referred to 6 12 is a schematic diagram illustrating the contents of the first row Q1 and the second row Q2 in a third functional example according to an embodiment of the disclosure. In the functional example that is in 6 is shown updates the first camera 110 the first row Q1 every four microseconds (15 fps) and the second camera 120 The second row Q2 updates every two microseconds (30 fps). In this case, the first image IMG1 is stored from the first frame F1h recorded with the first time stamp (T1032). Therefore, the second frame F2h recorded with the second time stamp (T1032) is stored as the second image IMG2. The procedure 300 can still work to locate the temporally synchronized images from two cameras, even though the first and second rows Q1 and Q2 do not match in the number of slots. Other details of the third working example, which are in 6 have been described in the aforementioned embodiments and will not be repeated here.

Es wird auch Bezug genommen auf 7, die ein schematisches Diagramm ist, das die Inhalte der ersten Reihe Q1 und der zweiten Reihe Q2 in einem vierten Funktionsbeispiel gemäß einem Ausführungsbeispiel der Offenbarung veranschaulicht. In dem Funktionsbeispiel, das in 7 gezeigt ist, aktualisiert die erste Kamera 110 die erste Reihe Q1 jede Mikrosekunde (60 fps) und die zweite Kamera 120 aktualisiert die zweite Reihe Q2 alle zwei Mikrosekunden (30 fps).It is also referred to 7 12 which is a schematic diagram illustrating the contents of the first row Q1 and the second row Q2 in a fourth functional example according to an embodiment of the disclosure. In the functional example that is in 7 is shown updates the first camera 110 the first row Q1 every microsecond (60 fps) and the second camera 120 The second row Q2 updates every two microseconds (30 fps).

In diesem Fall wird das erste Bild IMG1 vom ersten Frame F1h, der mit dem ersten Zeitstempel (T1031) aufgezeichnet wurde, abgelegt, da der erste Zeitstempel (T1031) der aktuellste Zeitstempel in diesem Funktionsbeispiel ist. Auf der anderen Seite wird der zweite Frame F2h, der mit dem zweiten Zeitstempel (T1030) aufgezeichnet wurde, als das zweite Bild IMG2 abgelegt, weil der zweite Zeitstempel (T1030) der Zeitstempel in der zweiten Reihe ist, der am nächsten zu dem ersten Zeitstempel (T1031) ist. In diesem Fall ist der zweite Frame F2h möglicherweise nicht perfekt synchronisiert mit dem ersten Frame F1h aufgrund der nicht vorhandenen Übereinstimmung des ersten Zeitstempels (T1031) mit dem zweiten Zeitstempel (T1030). Das Verfahren 300 kann jedoch den zweiten Frame F2h mit dem zweiten Zeitstempel (T1030) erfassen, der am nächsten zu dem ersten Frame F1h ist. Daher sind das erste Bild IMG1 und das zweite Bild IMG2 ein optimales Paar in zeitlicher Synchronisation aus den beiden Reihen Q1/Q2. Andere Details des vierten Funktionsbeispiels, die in 7 gezeigt sind, wurden in den zuvor erwähnten Ausführungsbeispielen bereits erklärt und werden hier nicht wiederholt.In this case, since the first time stamp (T1031) is the most recent time stamp in this functional example, the first image IMG1 is stored from the first frame F1h recorded with the first time stamp (T1031). On the other hand, the second frame F2h recorded with the second timestamp (T1030) is filed as the second image IMG2 because the second timestamp (T1030) is the timestamp in the second row closest to the first timestamp (T1031) is. In this case, the second frame F2h may not be perfectly synchronized with the first frame F1h due to the non-existence coincidence of the first time stamp (T1031) with the second time stamp (T1030). The procedure 300 however, can detect the second frame F2h with the second time stamp (T1030) closest to the first frame F1h. Therefore, the first image IMG1 and the second image IMG2 are an optimal pair in time synchronization from the two rows Q1 / Q2. Other details of the fourth working example, which are in 7 have already been explained in the aforementioned embodiments and will not be repeated here.

In diesem Dokument kann der Ausdruck ”gekoppelt” auch als ”elektrisch gekoppelt” bezeichnet werden und der Ausdruck ”verbunden” kann auch als ”elektrisch verbunden” bezeichnet werden. ”Gekoppelt” und ”verbunden” können auch verwendet werden um anzuzeigen, dass zwei oder mehr Elemente zusammenwirken oder miteinander interagieren. Es wird klar sein, dass obwohl die Ausdrücke ”erste”, ”zweite” usw. hierin verwendet werden können, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Ausdrücke eingeschränkt werden sollten. Diese Ausdrücke werden verwendet, um ein Element vom anderen zu unterscheiden. Zum Beispiel könnte das erste Element als zweites Element bezeichnet werden, und auf ähnliche Weise könnte das zweite Element als erstes Element bezeichnet werden, ohne vom Umfang der Ausführungsbeispiele abzuweichen. So wie er hierin verwendet wird, kann der Ausdruck ”und/oder” jegliche einzelnen und alle Kombinationen von einem oder mehreren der damit verbundenen, aufgezählten Gegenstände beinhalten.In this document, the term "coupled" may also be referred to as "electrically coupled" and the term "connected" may also be referred to as being "electrically connected". "Coupled" and "connected" can also be used to indicate that two or more elements interact or interact with each other. It will be understood that although the terms "first," "second," etc. may be used herein to describe various elements, these elements should not be limited by these terms. These expressions are used to distinguish one element from the other. For example, the first element could be termed a second element, and similarly the second element could be termed the first element without departing from the scope of the embodiments. As used herein, the term "and / or" may include any and all combinations of one or more of the enumerated enumerated items associated therewith.

Das Vorhergehende umreißt Merkmale mehrerer Ausführungsbeispiele, so dass der Fachmann die Aspekte der vorliegenden Offenbarung besser verstehen wird. Dem Fachmann sollte klar sein, dass er die vorliegende Offenbarung leicht als eine Grundlage nutzen kann zum Konstruieren und Modifizieren anderer Prozesse und Strukturen zum Durchführen derselben Zwecke und/oder zum Erreichen derselben Vorteile der Ausführungsbeispiele, die hier eingeführt wurden. Der Fachmann sollte auch erkennen, dass äquivalente Konstruktionen nicht vom Kern und Umfang der vorliegenden Offenbarung abweichen, und dass verschiedene Änderungen, Substitutionen und andere Abänderungen vorgenommen werden können, ohne vom Kern und Umfang der vorliegenden Offenbarung abzuweichen.The foregoing outlines features of several embodiments so that those skilled in the art will better understand the aspects of the present disclosure. It should be appreciated by those skilled in the art that the present disclosure may be readily utilized as a basis for constructing and modifying other processes and structures for carrying out the same purposes and / or for achieving the same advantages of the embodiments herein. It should also be understood by those skilled in the art that equivalent constructions do not depart from the spirit and scope of the present disclosure, and that various changes, substitutions, and other alterations may be made without departing from the spirit and scope of the present disclosure.

Claims

A method suitable for an electronic device having a first camera and a second camera, the method comprising: Storing a series of first frames generated by the first camera in a first queue and a series of second frames generated by the second camera in a second row; in response to the first camera being triggered to capture a first image, placing one of the first frames recorded with a first time stamp as a first image; Searching the second row for a second frame recorded with a second timestamp corresponding to the first timestamp; and Place the corresponding one of the second frames as a second image.

The method of claim 1, wherein each of the first frames and second frames is recorded with an individual timestamp, each indicating a time at which the first first frame or the second frame was generated.

The method of claim 2, wherein the step of dropping the first image further comprises: storing the most recent of the first frame recorded with the most recent time stamp in the first row as the first image.

The method of claim 2, wherein the step of searching for the second image further comprises: Searching for the second frame recorded with the second timestamp closest to the first timestamp in the second row.

The method of claim 1 wherein the second image captured by the second camera is paired with the first image captured by the first camera in temporal synchronization.

The method of claim 1, wherein each of the first row and the second row is a ring buffer having a plurality of slots, each of the slots containing one of the first frames or the second frames.

The method of claim 1, wherein the first camera is a main camera in a dual camera configuration and the second camera is a sub camera in the dual camera configuration.

The method of claim 7, wherein the first camera and the second camera respectively use asynchronous frame rates to capture the first frames and the second frames.

An electronic device comprising: a processing module; a first camera configured to sequentially generate a series of first frames, wherein the first frames are temporarily stored in a first row; a second camera configured to sequentially generate a series of second frames, wherein the second frames are temporarily stored in a second row; a non-transitory computer-readable medium having one or more sequences of instructions executable by the processing module to perform a method comprising: in response to the first camera being triggered to capture a first image, depositing one of the first frames recorded with a first time stamp as the first image; Searching the second row for one of the second frames recorded with a second time stamp corresponding to the first time stamp; and Drop one of the second frames as a second image.

The electronic device of claim 9, wherein each of the first frames and the second frames is each recorded with an individual time stamp indicating a time at which the first frame or the second frame is generated.