DE102015003537A1

DE102015003537A1 - Blockierungsdetektionsverfahren für eine kamera und eine elektronische vorrichtung mit kameras

Info

Publication number: DE102015003537A1
Application number: DE102015003537.1A
Authority: DE
Inventors: Chung-Hsien Hsieh; Ming-Che KANG
Original assignee: HTC Corp
Current assignee: HTC Corp
Priority date: 2014-03-19
Filing date: 2015-03-18
Publication date: 2015-09-24
Anticipated expiration: 2035-03-19
Also published as: DE102015003537B4

Abstract

Ein Verfahren, das für eine elektronische Vorrichtung mit einer ersten Kamera und einer zweiten Kamera geeignet ist, zum Detektieren, ob die zweite Kamera versehentlich blockiert ist, wird offenbart. Das Verfahren weist die folgenden Schritte auf. Ein erstes Bild wird durch die erste Kamera aufgenommen und ein zweites Bild wird gleichzeitig durch die zweite Kamera aufgenommen. Ein erstes Helligkeitsevaluierungsergebnis wird aus dem ersten Bild erzeugt und ein zweites Helligkeitsevaluierungsergebnis wird aus dem zweiten Bild erzeugt. Ob die zweite Kamera blockiert ist oder nicht wird gemäß einem Vergleich zwischen dem ersten Helligkeitsevaluierungsergebnis und dem zweiten Helligkeitsevaluierungsergebnis bestimmt.

Description

QUERBEZUG ZU VERWANDTER ANMELDUNG
Diese Anmeldung beansprucht die Priorität der vorläufigen US-Patentanmeldung Seriennr. 61/955,219, die am 19. März 2014 eingereicht wurde, deren vollständige Offenbarungen hierin durch Bezugnahme aufgenommen sind.
GEBIET DER ERFINDUNG
Die Offenbarung bezieht sich auf ein Fotografieverfahren/eine Fotografieeinrichtung. Insbesondere bezieht sich die Offenbarung auf ein Verfahren zum Detektieren, ob eine Kamera blockiert ist.
HINTERGRUND
Die Fotografie war früher ein professioneller Beruf, da sie viele Kenntnisse erfordert, um geeignete Konfigurationen (z. B. Steuern einer Belichtungszeit, eines Weißabgleichs, einer Brennweite) zum richtigen Aufnehmen eines Fotos zu bestimmen. Während die Komplexität manueller Konfigurationen der Fotografie zugenommen hat, haben die erforderlichen Handlungen und Hintergrundkenntnisse von Nutzern zugenommen.
Eine stereoskopische Abbildung basiert auf dem Prinzip der menschlichen Sicht mit zwei Augen. Eine Weg, um ein stereoskopes Bild zu erhalten, ist das Verwenden von zwei Kameras, die um einen bestimmten Abstand bzw. eine bestimmte Lücke getrennt sind, um zwei Bilder aufzunehmen, welche demselben (denselben) Objekt(en) in einer Szene aus leicht unterschiedlichen Positionen/Winkeln entsprechen. Die X-dimensionale Information und die Y-dimensionale Information der Objekte in der Szene kann aus einem Bild erlangt werden. Für die Z-dimensionale Information werden diese beiden Bilder an einen Prozessor transferiert, der die Z-dimensionale Information (d. h. eine Tiefeninformation) der Objekte der Szene berechnet. Die Tiefeninformation ist wichtig und für Anwendungen, wie beispielsweise die dreidimensionale (3D-)Sicht, die Objekterkennung, die Bildverarbeitung, die Bildbewegungsdetektion und so weiter, notwendig.
Um die Tiefenberechnung oder andere dreidimensionale Anwendungen auszuführen, ist die Information erforderlich, die von den beiden Kameras erfasst wird. Wenn eine dieser beiden Kameras blockiert ist (z. B. versehentlich von einem Finger des Bedieners abgedeckt ist), sind die Bilder von den beiden Kameras nicht koordiniert, so dass die folgenden Berechnungen/Anwendungen fehlschlagen werden.
ZUSAMMENFASSUNG
Ein Aspekt der Offenbarung ist das Vorsehen eines Verfahrens, das für eine elektronische Einrichtung mit einer ersten Kamera und einer zweiten Kamera geeignet ist, zum Detektieren, ob die zweite Kamera versehentlich blockiert wird. Das Verfahren beinhaltet die folgenden Schritte. Ein erstes Bild wird von der ersten Kamera aufgenommen und ein zweites Bild wird von der zweiten Kamera gleichzeitig aufgenommen. Ein erstes Helligkeitsevaluierungsergebnis wird aus dem ersten Bild erzeugt und ein zweites Helligkeitsevaluierungsergebnis wird aus dem zweiten Bild erzeugt. Ob die zweite Kamera blockiert ist oder nicht wird gemäß einem Vergleich des ersten Helligkeitsevaluierungsergebnisses mit dem zweiten Helligkeitsevaluierungsergebnis bestimmt.
Ein weiterer Aspekt der Offenbarung ist es, eine elektronische Vorrichtung vorzusehen, die ein erste Kamera, eine zweite Kamera, ein Anzeigepanel und ein Verarbeitungsmodul beinhaltet. Die erste Kamera ist konfiguriert, so dass sie in eine Richtung zeigt und ein erstes Bild aufnimmt, dass einer Szene entspricht. Die zweite Kamera ist konfiguriert, so dass sie in dieselbe Richtung zeigt und ein zweites Bild aufnimmt, das im Wesentlichen derselben Szene entspricht. Das Anzeigepanel ist konfiguriert, um das erste Bild als ein Voranzeigebild anzuzeigen. Das Verarbeitungsmodul ist mit der ersten Kamera und der zweiten Kamera gekoppelt. Das Verarbeitungsmodul ist konfiguriert, um ein erstes Helligkeitsevaluierungsergebnis aus dem ersten Bild und ein zweites Helligkeitsevaluierungsergebnis aus dem zweiten Bild zu erzeugen und um zu bestimmen, ob die zweite Kamera blockiert ist gemäß einem Vergleich zwischen dem ersten Helligkeitsevaluierungsergebnis und dem zweiten Helligkeitsevaluierungsergebnis.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Aspekte der vorliegenden Offenbarung sind am besten aus der folgenden detaillierten Beschreibung verständlich, wenn diese mit den begleitenden Figuren gelesen wird. Es sei bemerkt, dass gemäß der Standardpraxis in der Branche verschiedene Merkmale nicht maßstabsgetreu gezeichnet sind. Tatsächlich können die Abmessungen der verschiedenen Merkmale aus Gründen der Übersichtlichkeit der Diskussion beliebig vergrößert oder verkleinert werden.
1A und 1B sind eine schematische Hinteransicht und eine schematische Vorderansicht, die eine elektronische Vorrichtung gemäß einem Ausführungsbeispiel der Offenbarung veranschaulichen.
2 ist ein funktionales Blockdiagramm, das die elektronische Vorrichtung, die in 1A und 1B gezeigt ist, veranschaulicht.
3 ist ein Flussdiagramm, das ein Verfahren zum Detektieren, ob eine Kamera innerhalb einer dualen Kamerakonfiguration blockiert ist, veranschaulicht.
4A und 4B sind schematische Diagramme, die ein Paar von Bildern, das ein erstes Bild beinhaltet, das von der ersten Kamera aufgenommen wurde, und ein zweites Bild, das von der zweiten Kamera aufgenommen wurde, veranschaulichen, welches von der dualen Kamerakonfiguration gemäß einem Ausführungsbeispiel der Offenbarung in einem Szenario aufgenommen wurde, in dem die zweite Kamera nicht blockiert ist.
5A und 5B sind schematische Diagramme, die ein Paar von Bildern, das ein erstes Bild beinhaltet, das von der ersten Kamera aufgenommen wurde, und ein zweites Bild, das von der zweiten Kamera aufgenommen wurde, veranschaulichen, welches von der dualen Kamerakonfiguration gemäß einem Ausführungsbeispiel der Offenbarung in einem weiteren Szenario aufgenommen wurde, in dem die zweite Kamera blockiert ist.
6 ist ein Flussdiagramm, das ein Verfahren zum Detektieren veranschaulicht, ob eine Kamera in der dualen Kamerakonfiguration blockiert ist.
7A veranschaulicht das erste Helligkeitsverteilungshistogramm entsprechend dem ersten Bild IMG1a in 4A.
7B veranschaulicht das zweite Helligkeitsverteilungshistogramm entsprechend dem zweiten Bild in 4B, wenn die zweite Kamera nicht blockiert ist.
8A veranschaulicht das erste Helligkeitsverteilungshistogramm entsprechend dem ersten Bild in 5A.
8B veranschaulicht das zweite Helligkeitsverteilungshistogramm entsprechend dem zweiten Bild in 5B, wenn die zweite Kamera blockiert ist.
DETAILLIERTE BESCHREIBUNG
Die folgende Offenbarung sieht viele verschiedene Ausführungsbeispiele oder Beispiele vor, um die unterschiedlichen Merkmale der Erfindung zu implementieren. Spezifische Beispiele der Komponenten und Anordnungen werden unten beschrieben, um die vorliegenden Offenbarung zu vereinfachen. Dies sind natürlich lediglich Beispiele und sie sollen nicht einschränkend sein. Zudem kann die vorliegenden Offenbarung Bezugszeichen und/oder Buchstaben in verschiedenen Beispielen wiederholen. Diese Wiederholung ist zum Zweck der Einfachheit und Klarheit und soll selbst keine Beziehung zwischen den verschiedenen diskutierten Ausführungsbeispielen und/oder Konfigurationen vorgeben.
Es wird auf die 1A, 1B und 2 Bezug genommen. 1A und 1B sind eine schematische Hinteransicht und eine schematische Vorderansicht, die eine elektronische Vorrichtung 100 gemäß einem Ausführungsbeispiel der Offenbarung veranschaulichen. 2 ist ein funktionales Blockdiagramm, das die elektronische Vorrichtung 100, die in 1A und 1B gezeigt ist, veranschaulicht.
Wie in den Figuren gezeigt, beinhaltet die elektronische Vorrichtung 100 in dem Ausführungsbeispiel eine erste Kamera 110, eine zweite Kamera 120, ein Anzeigepanel 130 und ein Verarbeitungsmodul 140.
In dem Ausführungsbeispiel ist die erste Kamera 110 eine Hauptkamera in einer dualen Kamerakonfiguration und die zweite Kamera 120 ist eine untergeordnete Kamera (d. h. Subkamera) in der dualen Kamerakonfiguration. Wie in 1A gezeigt, sind die erste Kamera 110 und die zweite Kamera 120 innerhalb der dualen Kamerakonfiguration in diesem Ausführungsbeispiel beide auf derselben Oberfläche (z. B. der Rückseite) der elektronischen Vorrichtung 100 und um eine interaxiale Distanz beabstandet angeordnet. Die erste Kamera 110 ist konfiguriert, so dass sie in eine Richtung zeigt und ein erstes Bild entsprechend einer Szene abfühlt bzw. aufnimmt. Die zweite Kamera 120 zeigt in dieselbe Richtung und nimmt ein zweites Bild auf, das im Wesentlichen derselben Szene entspricht, wie dies die erste Kamera 110 macht. Mit anderen Worten sind die erste Kamera 110 und die zweite Kamera 120 in der Lage, ein Paar von Bildern derselben Szene aus leicht unterschiedlichen Sichtpositionen (aufgrund des interaxialen Abstandes) zu erfassen, so dass das Paar von Bildern bei der Berechnung von Tiefeninformation, der Simulation oder Wiederherstellung dreidimensionaler (3D) Sicht, parallaxer (2,5D) Bildverarbeitung, Objekterkennung, Bewegungsdetektion und jeglichen anderen Anwendungen genutzt werden kann.
In einigen Ausführungsbeispielen setzen die erste Kamera 110 und die zweite Kamera 120 gleiche Kameramodelle ein, wenn die Gesamtkosten vernünftig sind und der Raum in der elektronischen Vorrichtung 100 diese Konstruktion gestattet (d. h. dass identische Kameras in der dualen Kamerakonfiguration genutzt werden). In diesem Ausführungsbeispiel, das 1A gezeigt ist, setzen die erste Kamera 110 und die zweite Kamera 120 der dualen Kamerakonfiguration unterschiedliche Kameramodelle ein. Im Allgemeinen kann die erste Kamera 110, die die Hauptkamera ist, bessere optische Leistungen (z. B. größere Abmessungen des optischen Sensors, bessere Empfindlichkeit, schnellere Verschlusszeit, breiteres Sichtfeld und/oder eine höhere Auflösung) haben und das erste Bild, das von der ersten Kamera 110 aufgenommen wird, wird üblicherweise als ein aufgezeichnetes Bild aufgenommen. Auf der anderen Seite kann die zweite Kamera 120, die die untergeordnete Kamera ist, dieselben oder geringere optische Leistungen aufweisen, und das zweite Bild, das von der zweiten Kamera 120 aufgenommen wird, wird üblicherweise als Hilfsdaten oder Zusatzdaten während der Bildverarbeitung genutzt (z. B. bei der Berechnung von Tiefeninformation, der Simulation oder Herausarbeitung bzw. Wiederherstellung der dreidimensionalen Sicht, der parallaxen Bildverarbeitung, der Objekterkennung, der Bewegungsdetektion usw.).
Wenn die duale Kamerakonfiguration ausgelöst wird und arbeitet, um Bilder zu erfassen, wird üblicherweise das erste Bild, das von der ersten Kamera 110 abgefühlt wird, auf dem Anzeigepanel 130 als ein Vorschaubild angezeigt, so dass der Nutzer in Echtzeit feststellen kann, was in dem ersten Bild erfasst wird.
Im Allgemeinen wird das zweite Bild, das von der zweiten Kamera 120 abgefühlt wird, nicht auf dem Anzeigepanel 130 angezeigt. Daher wird, wenn der Nutzer versehentlich die zweite Kamera 120 blockiert (z. B. deckt der Nutzer die zweite Kamera 120 mit seinem Finger ab, während er die elektronische Vorrichtung 100 hält, und zwar durch eine nicht geeignete Geste), der Nutzer durch das Anzeigepanel 130 nicht bemerken, dass die zweite Kamera 120 aktuell blockiert ist, so dass das zweite Bild, das von der zweiten Kamera 120 aufgenommen wird, nicht koordiniert sein wird mit dem ersten Bild, das von der ersten Kamera 110 aufgenommen wird, und wird mit diesem nicht übereinstimmen wird, sogar dann, wenn die ersten/zweiten Bilder gleichzeitig durch die erste Kamera 110 und die zweite Kamera 120 aufgenommen werden.
In einigen Ausführungsbeispielen kann die elektronische Vorrichtung 100 weiter eine dritte Kamera 150 beinhalten. Wie in 1B gezeigt, ist die dritte Kamera 150 auf der Vorderseite der elektronischen Vorrichtung 100 angeordnet. Die dritte Kamera 150 ist nicht ein Teil der dualen Kamerakonfiguration. Die dritte Kamera 150 kann bei Funktionen von Webstreaming, Videoanrufen, Selbstportraitfotografie ausgelöst und genutzt werden.
In diesem Ausführungsbeispiel ist das erste Verarbeitungsmodul 140 mit der ersten Kamera und der zweiten Kamera gekoppelt. Das Verarbeitungsmodul 140 ist konfiguriert, um ein erstes Helligkeitsevaluierungsergebnis aus dem ersten Bild und ein zweites Helligkeitsevaluierungsergebnis aus dem zweiten Bild zu erzeugen. Das erste Helligkeitsevaluierungsergebnis und das zweite Helligkeitsevaluierungsergebnis werden von dem Verarbeitungsmodul 140 verglichen. Das Verarbeitungsmodul 140 ist auch konfiguriert, um zu bestimmen, ob die zweite Kamera 120 blockiert ist gemäß dem Vergleich zwischen den ersten/zweiten Helligkeitsevaluierungsergebnissen. Das detaillierte Vorgehen, wie zu evaluieren und zu bestimmen ist, ob die zweite Kamera 120 blockiert ist oder nicht, wird in den folgenden Absätzen beschrieben.
Es wird auch auf 3 Bezug genommen, welche ein Flussdiagramm ist, das ein Verfahren 300 zum Detektieren veranschaulicht, ob eine Kamera innerhalb der dualen Kamerakonfiguration blockiert ist. Das Verfahren 300 ist geeignet, um in der elektronischen Vorrichtung 100 in den zuvor erwähnten Ausführungsbeispielen, die in 1A, 1B und 2 gezeigt sind, verwendet zu werden. Wie in 3 gezeigt, führt das Verfahren 300 den Schritt S301 zum Abfühlen eines ersten Bildes durch die erste Kamera 110 und zum Abfühlen eines zweiten Bildes durch die zweite Kamera 120 gleichzeitig aus.
Es wird auch Bezug genommen auf die 4A, 4B, 5A und 5B. 4A und 4B sind schematische Diagramme, die ein Paar von Bildern veranschaulichen, das ein erstes Bild IMG1a beinhaltet, das von der ersten Kamera 110 aufgenommen wird und ein zweites Bild IMG2a, das von der zweiten Kamera 120 aufgenommen wird, das von der dualen Kamerakonfiguration gemäß einem Ausführungsbeispiel der Offenbarung in einem Szenario aufgenommen wird, in dem die zweite Kamera 120 nicht blockiert ist. Auf der anderen Seite sind 5A und 5 schematische Diagramme, die ein Paar von Bildern veranschaulichen, das ein erstes Bild IMG1b, das von der ersten Kamera 110 aufgenommen wird und ein zweites Bild IMG2b von der zweiten Kamera 120 aufweist, aufgenommen durch die duale Kamerakonfiguration gemäß einem Ausführungsbeispiel der Offenbarung in einem weiteren Szenario, in dem die zweite Kamera 120 blockiert ist.
Wie in 4A und 4B gezeigt, sind das erste Bild IMG1a, das von der ersten Kamera 110 aufgenommen und das zweite Bild IMG2a, das von der zweiten Kamera 120 aufgenommen wird, ungefähr gleich (wenn die Kameras vom selben Modell sind) oder sind wenigstens höchst ähnlich (wenn die Kameras von unterschiedlichen Modellen sind), weil das erste Bild IMG1a und das zweite Bild IMG2a gleichzeitig von der dualen Kamerakonfiguration aufgenommen werden. In der Praxis werden das erste Bild IMG1a und das zweite Bild IMG2a aufgrund des interaxialen Abstandes einen kleinen Unterschied voneinander haben.
Wie in 3 gezeigt ist, führt das Verfahren 300 den Schritt S302 zum Berechnen eines ersten durchschnittlichen Helligkeitswertes aus einer Vielzahl von Pixeldaten des ersten Bildes IMG1a/IMG1b als ein erstes Helligkeitsevaluierungsergebnis aus. Zum Beispiel haben alle Pixeldaten in dem ersten Bild IMG1a/IMG1b einen Luminanzwert. In einem Ausführungsbeispiel kann der Luminanzwert jedes Pixel in dem ersten Bild IMG1a/IMG1b aus der „Y”-Variable aus einem YUV-Farbcode (YCbCr) des ersten Bildes IMG1a/IMG1b erlangt werden. Ein Durchschnitt der Luminanzwerte aller Pixel im ersten Bild IMG1a/IMG1b wird als der erste durchschnittliche Helligkeitswert berechnet (der auch als das erste Helligkeitsevaluierungsergebnis des ersten Bildes betrachtet wird).
Das Verfahren 300 führt den Schritt S303 zum Berechnen eines zweiten durchschnittlichen Helligkeitswertes aus einer Vielzahl von Pixeldaten des zweiten Bildes IMG2a/IMG2b als zweites Helligkeitsevaluierungsergebnis aus. Zum Beispiel haben alle Pixeldaten in dem zweiten Bild IMG2a/IMG2b einen Luminanzwert. Ein Durchschnitt der Luminanzwerte aller Pixel in dem zweiten Bild IMG2a/IMG2b wird als der zweite durchschnittliche Helligkeitswert berechnet (der auch als das zweite Helligkeitsevaluierungsergebnis des zweiten Bildes betrachtet wird). Zusätzlich ist die Offenbarung nicht auf eine bestimmte Sequenz bzw. Reihenfolge jedes Schrittes, der in 3 dieses Ausführungsbeispiels gezeigt ist, eingeschränkt. Zum Beispiel kann die Reihenfolge der Schritte S302 und S303 in einigen anderen Ausführungsbeispielen getauscht werden.
Das Verfahren 300 führt den Schritt S304 zum Vergleichen des ersten durchschnittlichen Helligkeitswertes mit dem zweiten durchschnittlichen Helligkeitswert aus. In dem Szenario, in dem die zweite Kamera 120 nicht blockiert ist, sind das erste Bild IMG1a und das zweite Bild IMG2a höchst ähnlich, so dass der erste durchschnittliche Helligkeitswert sich an den zweiten durchschnittlichen Helligkeitswert annähern wird. Zum Beispiel ist der erste durchschnittliche Helligkeitswert auf einer Graustufe von 183, und der zweite durchschnittliche Helligkeitswert ist auf einer Graustufe von 186. Der erste durchschnittliche Helligkeitswert und der zweite durchschnittliche Helligkeitswert sind ähnlich.
In einem weiteren Szenario, in dem die zweite Kamera 120 blockiert ist, kann ein Teil des zweiten Bildes IMG2b von einem Finger eines Nutzers abgedeckt sein, wie in 5B gezeigt ist. In diesem Fall werden die Helligkeitswerte des zweiten Bildes IMG2b verschoben sein (z. B. eine verringerte Form der Originalwerte), so dass der zweite durchschnittliche Helligkeitswert von dem ersten durchschnittlichen Helligkeitswert verschieden sein wird. Zum Beispiel ist der erste durchschnittliche Helligkeitswert auf einer Graustufe von 183, und der zweite durchschnittliche Helligkeitswert ist auf einer Graustufe von 80.
Das Verfahren 300 wird ausgeführt zum Bestimmen, ob die zweite Kamera 120 blockiert ist gemäß einem Vergleich zwischen dem ersten Helligkeitsevaluierungsergebnis und dem zweiten Helligkeitsevaluierungsergebnis. In diesem Ausführungsbeispiel führt das Verfahren 300 den Schritt S305 zum Bestimmen durch, ob eine Differenz aus einem Vergleich zwischen dem ersten durchschnittlichen Helligkeitswert und dem zweiten durchschnittlichen Helligkeitswert eine Schwellenwertdifferenz überschreitet. Die Schwellenwertdifferenz ist eine Toleranzdifferenz (z. B. 5%, 10%, 15%, 20%, 25% usw.), um die Differenz aufgrund der interaxialen Distanz und der Abweichung anderer Charakteristika (z. B. Empfindlichkeiten) der ersten Kamera 110 und der zweiten Kamera 120 zu tolerieren.
Es wird bestimmt, dass die zweite Kamera 120 blockiert ist, wenn die Differenz des Vergleichs zwischen dem ersten durchschnittlichen Helligkeitswert und dem zweiten durchschnittlichen Helligkeitswert die Schwellenwertdifferenz (z. B. 5%, 10%, 15%, 20%, 25%, usw.) überschreitet. Die Schwellenwertdifferenz der Offenbarung ist jedoch nicht auf 5%~25% eingeschränkt, und sie kann jegliche sinnvolle Schwellenwertdifferenz sein, die die Divergenz zwischen den Kameras und damit in Beziehung stehenden Faktoren berücksichtigt. Wenn bestimmt wird, dass die zweite Kamera 120 blockiert ist (z. B. das Szenario, das in 5A und 5B gezeigt ist), dann führt das Verfahren 300 Schritt S306 zum Erzeugen eines Blockierungshinweises durch die Verarbeitungseinheit 140 durch und zeigt den Blockierungshinweis auf dem Anzeigedisplay 130, um so den Nutzer darauf hinzuweisen, seine Gesten bzw. Handhaltung anzupassen, wenn er die elektronische Vorrichtung 100 hält.
In einigen Ausführungsbeispielen kann, nach Schritt S305 (wenn die Bestimmung ”NEIN” ist) oder S306 (wenn die Bestimmung ”JA” ist), das Verfahren 300 weiter zum Schritt S301 zurückkehren (in 3 nicht gezeigt), um das nächste Paar des ersten Bildes und des zweiten Bildes aufzunehmen, so dass das Verfahren 300 (einschließlich der Schritte S301~S306, die in einer Schleife ausgeführt werden) dynamisch in Echtzeit detektieren kann, ob die zweite Kamera 120 blockiert ist.
Die erste Kamera 110 und die zweite Kamera 120 können unterschiedliche Sichtfelder bzw. FOVs (FOV = field of view) haben, insbesondere, wenn sich die Modelle der ersten Kamera 110 und der zweiten Kamera 120 unterscheiden. In dem Ausführungsbeispiel, das in 4A und 4B gezeigt ist, hat die zweite Kamera 120 ein Sichtfeld (FOV), das weiter ist als das andere Sichtfeld der ersten Kamera 110. Daher deckt das zweite Bild IMG2a ein weiteres Sichtfeld ab als das erste Bild IMG1a. Die nicht übereinstimmenden FOVs werden zu einer bestimmten Abweichung führen, wenn der erste durchschnittliche Helligkeitswert mit dem zweiten durchschnittlichen Helligkeitswert verglichen wird. Die nicht übereinstimmenden FOVs werden zu einer bestimmten Abweichung führen, wenn der erste durchschnittliche Helligkeitswert mit dem zweiten durchschnittlichen Helligkeitswert verglichen wird.
Daher wird, in einem Ausführungsbeispiel der Offenbarung, wenn die zweite Kamera ein Sichtfeld (FOV) hat, das weiter ist als das andere Sichtfeld der ersten Kamera, wie in 4A und 4B, oder 5A und 5B gezeigt ist, der Schritt S303 des Berechnens des zweiten durchschnittlichen Helligkeitswertes weiter die folgenden Unterschritte aufweisen. Als erstes wird ein Extraktionsbildrahmen bzw. Extraktionsframe ExF innerhalb des zweiten Bildes IMG2a/IMG2b zugewiesen, wie in 4B/5B gezeigt ist. Idealerweise sind eine Größe und ein Lage des Extraktionsframes ExF des zweiten Bildes IMG2a/IMG2b so konfiguriert, dass sie dem Sichtfeld der ersten Kamera 110 entsprechen. Als zweites werden die Pixeldaten innerhalb des Extraktionsframes ExF des zweiten Bildes IMG2a/IMG2b extrahiert. Als drittes wird der zweite durchschnittliche Helligkeitswert aus den extrahierten Pixeldaten innerhalb des Extraktionsframes ExF des zweiten Bildes IMG2a/IMG2b berechnet, um so die mangelnde Übereinstimmung der FOVs zwischen der ersten Kamera 110 und der zweiten Kamera 120 zu eliminieren.
Auf der anderen Seite weist, wenn die erste Kamera ein weiteres Sichtfeld (FOV) hat das unterschiedliche Sichtfeld der zweiten Kamera, das nicht in den Figuren gezeigt ist, der Schritt S302 des Berechnens des ersten durchschnittlichen Helligkeitswertes weiter die folgenden Subschritte auf. Als erstes wird ein (in den Figuren nicht gezeigter) Extraktionsframe innerhalb des ersten Bildes IMG1a/IMG1b zugewiesen. Idealerweise sind eine Größe und eine Lage des Extraktionsframes so konfiguriert, dass sie dem Sichtfeld der zweiten Kamera 120 entsprechen. Als zweites werden die Pixeldaten innerhalb des Extraktionsframes des ersten Bildes IMG1a/IMG1b extrahiert. Als drittes wird der erste durchschnittliche Helligkeitswert aus den extrahierten Pixeldaten innerhalb des Extraktionsframes des ersten Bildes IMG1a/IMG1b berechnet, um so die fehlende Übereinstimmung der FOVs zwischen der ersten Kamera 110 und der zweiten Kamera 120 zu eliminieren.
In den zuvor genannten Ausführungsbeispielen wird gemäß den durchschnittlichen Helligkeitswerten bestimmt, ob die zweite Kamera 120 (d. h. die Subkamera) blockiert ist oder nicht. Der zuvor genannte Ansatz hat einige Einschränkungen in der Genauigkeit. Zum Beispiel werden die unterschiedlichen Sichtfelder (FOVs) zwischen den ersten/zweiten Bildern den Vergleich der durchschnittlichen Helligkeitswerte beeinflussen. Auch können unterschiedliche Belichtungskonfigurationen der ersten Kamera 110 und der zweiten Kamera 120 ebenfalls den Vergleich der durchschnittlichen Helligkeitswerte beeinflussen. Das Verfahren zum Detektieren, ob eine Kamera in der dualen Kamerakonfiguration blockiert ist, ist in der Offenbarung nicht auf das Ausführungsbeispiel, das in 3 gezeigt ist, beschränkt.
Es wird auch Bezug genommen auf 6, welche ein Flussdiagramm ist, das ein Verfahren 400 zum Detektieren veranschaulicht, ob eine Kamera innerhalb der dualen Kamerakonfiguration blockiert ist. Wie in 6 gezeigt, führt das Verfahren 400 den Schritt S401 zum gleichzeitigen Aufnehmen eines ersten Bildes durch die erste Kamera 110 und eines zweiten Bildes durch die zweite Kamera 120 durch.
Wie in 6 gezeigt, führt das Verfahren 400 den Schritt S402 zum Analysieren eines ersten Helligkeitsverteilungshistogramms aus einer Vielzahl von Pixeldaten des ersten Bildes IMG1a/IMG1b aus. Das Verfahren 400 führt den Schritt S403 zum Analysieren eines zweiten Helligkeitsverteilungshistogramms aus einer Vielzahl von Pixeldaten des zweiten Bildes IMG2a/IMG2b aus. Zudem ist die Offenbarung nicht auf eine bestimmte Sequenz jedes Schrittes, der in 6 dieses Ausführungsbeispiels gezeigt ist, eingeschränkt. Zum Beispiel kann die Reihenfolge der Schritte S402 und S403 in einigen anderen Ausführungsbeispielen getauscht werden.
Es wird auch Bezug auf 7A, 7B, 8A und 8B genommen, zusammen mit 4A, 4B, 5A und 5B. 7A veranschaulicht das erste Helligkeitsverteilungshistogramm BH1a entsprechend dem ersten Bild IMG1a in 4A. 7B veranschaulicht das zweite Helligkeitsverteilungshistogramm BH2a entsprechend dem zweiten Bild IMG2a in 4B, wenn die zweite Kamera 120 nicht blockiert ist. 8A veranschaulicht das erste Helligkeitsverteilungshistogramm BH1b entsprechend dem ersten Bild IMG1b in 5A. 8B veranschaulicht das zweite Helligkeitsverteilungshistogramm BH2b entsprechend dem zweiten Bild IMG2b in 5B, wenn die zweite Kamera 120 blockiert ist.
Zum Beispiel haben alle Pixeldaten in dem ersten Bild IMG1a/IMG1b einen Luminanzwert. In einem Ausführungsbeispiel kann der Luminanzwert jedes Pixels in dem ersten Bild IMG1a/IMG1b aus der ”Y”-Variable aus einem YUV-Farbcode (YCbCr) des ersten Bildes IMG1a/IMG1b erlangt werden. Die Luminanzwerte aller Pixel in dem ersten Bild IMG1a werden durch Statistiken gezählt, um das erste Helligkeitsverteilungshistogramm BH1a zu bilden. Die Luminanzwerte aller Pixel in dem ersten Bild IMG1b werden durch Statistiken gezählt, um das erste Helligkeitsverteilungshistogramm BH1b zu bilden.
Auf ähnliche Weise haben alle Pixeldaten in dem ersten Bild IMG2a/IMG2b einen Luminanzwert. Die Luminanzwerte aller Pixel in dem zweiten Bild IMG2a werden durch Statistiken gezählt, um das zweite Helligkeitsverteilungshistogramm BH2a zu bilden. Die Luminanzwerte aller Pixel in dem zweiten Bild IMG2b werden durch Statistiken gezählt, um das zweite Helligkeitsverteilungshistogramm BH2b zu bilden.
Wenn die zweite Kamera 120 nicht blockiert ist, dann ist das erste Helligkeitsverteilungshistogramm BH1a, das in 7A gezeigt ist, ähnlich dem zweiten Helligkeitsverteilungshistogramm BH2a, das in 7B gezeigt ist. Obwohl die Details innerhalb der Histogramme BH1a/BH1b geringfügig unterschiedlich sein können, sind die wesentlichen Verteilungen von Histogramm BH1a und Histogramm BH2a ähnlich.
Wenn die zweite Kamera 120 blockiert ist, ist das erste Helligkeitsverteilungshistogramm BH1b, das in 8A gezeigt ist, immer noch ähnlich zu BH1a, das in 7A gezeigt ist, aber das zweite Helligkeitsverteilungshistogramm BH2b, das in 8B gezeigt ist, variiert signifikant. Wie in 8B gezeigt ist, ist ein proportionales Gewicht mit der niedrigsten Graustufe, z. B. der Helligkeitsbereich R1 von GL(0) bis GL(63) des zweiten Helligkeitsverteilungshistogramms BH2b signifikant erhöht. Ein anderes proportionales Gewicht, z. B. der Helligkeitsbereich R2 von GL (64) bis GL(127) ist ebenfalls erhöht. Auf der anderen Seite sind die proportionalen Gewichte, z. B. der Helligkeitsbereich R3 von GL(128) bis GL(191) und der Helligkeitsbereich R4 von GL(192) bis GL(255) verringert.
Wie in 6 gezeigt, führt das Verfahren 400 den Schritt S404 zum Berechnen einer Vielzahl erster akkumulierter Prozentsätze innerhalb unterschiedlicher Helligkeitsbereiche R1~R4 des ersten Helligkeitsverteilungshistogramms BH1a/BH1b als das erste Helligkeitsevaluierungsergebnis aus. Das Verfahren 400 führt den Schritt S405 zum Berechnen einer Vielzahl von ersten akkumulierten Prozentsätzen innerhalb unterschiedlicher Helligkeitsbereiche R1~R4 des zweiten Helligkeitsverteilungshistogramms BH2a/BH2b als das zweite Helligkeitsevaluierungsergebnis aus. Das Verfahren 400 führt den Schritt S406 zum Vergleichen der ersten akkumulieren Prozentsätze und der zweiten akkumulierten Prozentsätze aus. Zudem ist die Offenbarung nicht auf eine spezifische Sequenz jedes Schrittes beschränkt, das in 6 dieses Ausführungsbeispiels gezeigt ist. Zum Beispiel kann die Reihenfolge der Schritte S404 und S405 in einigen anderen Ausführungsbeispielen ausgetauscht werden.
In einem Beispiel, wenn die zweite Kamera 120 nicht blockiert ist, können die ersten akkumulierten Prozentsätze innerhalb der Helligkeitsbereiche R1~R4 des ersten Helligkeitsverteilungshistogramms BH1a (7A) 35%, 7%, 38% und 20% sein. Die zweiten akkumulierten Prozentsätze innerhalb der Helligkeitsbereiche R1~R4 des zweiten Helligkeitsverteilungshistogramms BH2a (7B) können 33%, 7%, 41% und 19% sein.
In einem Beispiel in dem die zweite Kamera 120 blockiert ist, können die ersten akkumulierten Prozentsätze innerhalb der Helligkeitsbereiche R1~R4 des ersten Helligkeitsverteilungshistogramms BH1b (8A) 35%, 7%, 38% und 20% sein. Die zweiten akkumulierten Prozentsätze innerhalb der Helligkeitsbereiche R1~R4 des zweiten Helligkeitsverteilungshistogramms BH2b (8B) können 55%, 20%, 11% und 14% sein.
In dem Ausführungsbeispiel führt das Verfahren 300 Schritt S407 zum Bestimmen aus, ob eine Differenz eines Vergleichs zwischen den ersten akkumulierten Prozentsätzen und den zweiten akkumulierten Prozentsätzen eine Schwellenwertdifferenz überschreitet.
In einem Beispiel, wenn die zweite Kamera 120 nicht blockiert ist (mit Bezug auf 4A, 4B, 7A und 7B), kann die Differenz des Vergleichs durch die Abstände zwischen den ersten akkumulierten Prozentsätzen und den zweiten akkumulierten Prozentsätzen als 2% + 0% + 3% + 1% = 6% berechnet werden.
In einem Beispiel, wenn die zweite Kamera 120 blockiert ist (mit Bezug auf 5A, 5B, 8A und 8B) kann die Differenz des Vergleichs durch die Abstände zwischen den ersten akkumulierten Prozentsätzen und den zweiten akkumulierten Prozentsätzen als 20% + 13% + 27% + 6% = 66% berechnet werden Es wird bestimmt, dass die zweite Kamera 120 blockiert ist, wenn die Differenz des Vergleichs zwischen den ersten akkumulierten Prozentsätzen und den zweiten akkumulierten Prozentsätzen die Schwellenwertdifferenz (z. B. 20%, 30%, 40%, usw.) überschreitet. Die Schwellenwertdifferenz der Offenbarung ist jedoch nicht auf 20%~40% eingeschränkt und sie kann jegliche sinnvolle Schwellenwertdifferenz sein, die die Divergenz zwischen den Kameras und damit in Beziehung stehende Faktoren berücksichtigt. Wenn bestimmt wird, dass die zweite Kamera 120 blockiert ist (z. B. das Szenario, das in 5A und 5B gezeigt ist), führt das Verfahren 400 den Schritt S408 aus, um einen Blockierungshinweis durch die Verarbeitungseinheit 140 zu generieren und den Blockierungshinweis auf dem Anzeigepanel 130 anzuzeigen, um so den Nutzer darüber zu benachrichtigen, seine Geste bzw. Handhaltung anzupassen, während er die elektronische Vorrichtung 100 hält.
In einigen Ausführungsbeispielen kann, nach Schritt S407 (wenn die Bestimmung ”NEIN” ist) oder Schritt S408 (wenn die Bestimmung ”JA” ist), das Verfahren 400 weiter zu Schritt S401 (nicht in 6 gezeigt) zurückkehren, um das nächste Paar von dem ersten Bild und dem zweiten Bild aufzunehmen, so dass das Verfahren 400 (einschließlich der Schritte S401~S408, die in einer Schleife ausgeführt werden) in Echtzeit dynamisch detektieren kann, ob die zweite Kamera 120 blockiert ist.
Zudem beinhaltet, in einem Ausführungsbeispiel der Offenbarung, wenn die zweite Kamera ein Sichtfeld (FOV) hat, das weiter ist als das andere Sichtfeld der ersten Kamera, das in 4A und 4B oder 5A und 5B gezeigt ist, der Schritt S403 des Analysierens des zweiten Helligkeitsverteilungshistogramms weiter die folgenden Subschritte. Als erstes wird ein Extraktionsframe ExF in dem zweiten Bild IMG2a/IMG2b zugewiesen, wie in 4B/5B gezeigt ist. Idealerweise sind eine Lage und eine Position des Extraktionsframes ExF des zweiten Bildes IMG2a/IMG2b so konfiguriert, dass sie dem Sichtfeld der ersten Kamera 110 entsprechen. Als zweites werden die Pixeldaten innerhalb des Extraktionsframes ExF des zweiten Bildes IMG2a/IMG2b extrahiert. Als drittes wird das zweite Helligkeitsverteilungshistogramm BH1a/BH1b (das in 7B oder 8B gezeigt ist) aus den extrahierten Pixeldaten innerhalb des Extraktionsframes ExF des zweiten Bildes IMG2a/IMG2b analysiert, um so eine Fehlabstimmung der FOVs zwischen der ersten Kamera 110 und der zweiten Kamera 120 zu eliminieren.
Auf der anderen Seite wird, wenn die erste Kamera ein Sichtfeld (FOV) hat, das weiter ist als das andere Sichtfeld der zweiten Kamera, ein Extraktionsframe (der in den Figuren nicht gezeigt ist), innerhalb des ersten Bildes IMG1a/IMG1b zugewiesen. Ähnliche Fälle sind in den zuvor genannten Ausführungsbeispielen erklärt und werden hier nicht nochmal wiederholt.
In diesem Dokument kann der Ausdruck ”gekoppelt” auch als ”elektrisch gekoppelt” bezeichnet werden und der Ausdruck ”verbunden” kann auch als ”elektrisch verbunden” bezeichnet werden. ”Gekoppelt” und ”verbunden” können auch verwendet werden um anzuzeigen, dass zwei oder mehr Elemente zusammenwirken oder miteinander interagieren. Es wird klar sein, dass obwohl die Ausdrücke ”erste”, ”zweite” usw. hierin verwendet werden können, um verschiedene Elemente zu beschreiben, diese Elemente nicht durch diese Ausdrücke eingeschränkt werden sollten. Diese Ausdrücke werden verwendet, um ein Element vom anderen zu unterscheiden. Zum Beispiel könnte das erste Element als zweites Element bezeichnet werden, und auf ähnliche Weise könnte das zweite Element als erstes Element bezeichnet werden, ohne vom Umfang der Ausführungsbeispiele abzuweichen. So wie er hierin verwendet wird, weist der Ausdruck ”und/oder” jegliche einzelnen und alle Kombinationen von einem oder mehreren der damit verbundenen, aufgezählten Gegenstände auf.
Das Vorhergehende umreißt Merkmale mehrerer Ausführungsbeispiele, so dass der Fachmann die Aspekte der vorliegenden Offenbarung besser verstehen wird. Dem Fachmann sollte klar sein, dass er die vorliegende Offenbarung leicht als eine Grundlage nutzen kann zum Konstruieren und Modifizieren anderer Prozesse und Strukturen zum Durchführen derselben Zwecke und/oder zum Erreichen derselben Vorteile der Ausführungsbeispiele, die hier eingeführt wurden. Der Fachmann sollte auch erkennen, dass äquivalente Konstruktionen nicht vom Kern und Umfang der vorliegenden Offenbarung abweichen, und dass verschiedene Änderungen, Substitutionen und andere Abänderungen vorgenommen werden können, ohne vom Kern und Umfang der vorliegenden Offenbarung abzuweichen.

Claims

Ein Verfahren, das für eine elektronische Vorrichtung geeignet ist, die eine erste Kamera und eine zweite Kamera aufweist, wobei das Verfahren Folgendes aufweist: gleichzeitiges Aufnehmen eines ersten Bildes mit der ersten Kamera und eines zweiten Bildes mit der zweiten Kamera; Erzeugen eines ersten Helligkeitsevaluierungsergebnisses aus dem ersten Bild und eines zweiten Helligkeitsevaluierungsergebnisses aus dem zweiten Bild; und Bestimmen, ob die zweite Kamera blockiert ist, gemäß einem Vergleich zwischen dem ersten Helligkeitsevaluierungsergebnis und dem zweiten Helligkeitsevaluierungsergebnis.
Verfahren nach Anspruch 1, wobei der Schritt des Generierens des ersten Helligkeitsevaluierungsergebnisses und des zweiten Helligkeitsevaluierungsergebnisses Folgendes aufweist: Berechnen eines ersten durchschnittlichen Helligkeitswertes aus einer Vielzahl von Pixeldaten des ersten Bildes als das erste Helligkeitsevaluierungsergebnis; und Berechnen eines zweiten durchschnittlichen Helligkeitswertes aus einer Vielzahl von Pixeldaten des zweiten Bildes als das zweite Helligkeitsevaluierungsergebnis.
Verfahren nach Anspruch 2, wobei die erste Kamera oder die zweite Kamera ein Sichtfeld bzw. FOV (FOV = field of view) hat, das weiter ist als das andere Sichtfeld der anderen Kamera, wobei der Schritt des Berechnens des ersten/zweiten Helligkeitswertes aus dem ersten/zweiten Bild mit dem weiteren Sichtfeld weiter Folgendes aufweist: Zuweisen eines Extraktionsbildrahmens bzw. Extraktionsframes innerhalb des ersten/zweiten Bildes mit dem weiteren Sichtfeld, wobei der Extraktionsframe dem engeren Sichtfeld der anderen Kamera entspricht; Extrahieren der Pixeldaten innerhalb des Extraktionsframes des ersten/zweiten Bildes mit dem weiteren Sichtfeld; und Berechnen des ersten/zweiten durchschnittlichen Helligkeitswertes aus den extrahierten Pixeldaten innerhalb des Extraktionsframes.
Verfahren nach Anspruch 1, wobei der Schritt des Erzeugens des ersten Helligkeitsevaluierungsergebnisses und des zweiten Helligkeitsevaluierungsergebnisses Folgendes aufweist: Analysieren eines ersten Helligkeitsverteilungshistogramms aus einer Vielzahl von Pixeldaten des ersten Bildes; Analysieren eines zweiten Helligkeitsverteilungshistogramms aus einer Vielzahl von Pixeldaten des ersten Bildes; Berechnen einer Vielzahl von ersten akkumulierten Prozentsätzen innerhalb unterschiedlicher Helligkeitsbereiche des ersten Helligkeitsverteilungshistogramms als das erste Helligkeitsevaluierungsergebnis; und Berechnen einer Vielzahl von zweiten akkumulierten Prozentsätzen mit unterschiedlichen Helligkeitsbereichen des zweiten Helligkeitsverteilungshistogramms als das erste Helligkeitsevaluierungsergebnis.
Verfahren nach Anspruch 4, wobei die erste Kamera oder die zweite Kamera ein Sichtfeld (FOV) hat, das weiter ist als ein anderes Sichtfeld der anderen Kamera, wobei der Schritt des Analysierens des ersten/zweiten Helligkeitsverteilungshistogramms aus dem ersten/zweiten Bild mit dem weiteren Sichtfeld weiter Folgendes aufweist: Zuweisen eines Extraktionsframes innerhalb des ersten/zweiten Bildes mit dem weiteren Sichtfeld, wobei der Extraktionsframe dem engeren Sichtfeld der anderen Kamera entspricht; Extrahieren der Pixeldaten innerhalb des Extraktionsframes des ersten/zweiten Bildes mit dem weiteren Sichtfeld; und Analysieren des ersten/zweiten Helligkeitsverteilungshistogramms aus den extrahierten Pixeldaten innerhalb des Extraktionsframes.
Verfahren nach Anspruch 1, das weiter Folgendes aufweist: Berechnen der Tiefeninformation von Objekten innerhalb des ersten Bildes gemäß einer Parallaxe zwischen dem ersten Bild und dem zweiten Bild.
Eine elektronische Vorrichtung, die Folgendes aufweist: eine erste Kamera, die konfiguriert ist, um in eine Richtung zu zeigen, die ein erstes Bild entsprechend einer Szene aufnimmt; eine zweite Kamera, die konfiguriert ist, um in dieselbe Richtung zu zeigen, die ein zweites Bild aufnimmt, das im Wesentlichen derselben Szene entspricht; ein Anzeigepanel, das konfiguriert ist, um das erste Bild als ein Vorschaubild anzuzeigen; ein Verarbeitungsmodul, das an die erste Kamera und die zweite Kamera gekoppelt ist, wobei das Verarbeitungsmodul konfiguriert ist, um ein erstes Helligkeitsevaluierungsergebnis aus dem ersten Bild zu erzeugen und ein zweites Helligkeitsevaluierungsergebnis aus dem zweiten Bild, und um zu bestimmen, ob die zweite Kamera blockiert ist gemäß einem Vergleich zwischen dem ersten Helligkeitsevaluierungsergebnis und dem zweiten Helligkeitsevaluierungsergebnis.
Elektronische Vorrichtung nach Anspruch 7, wobei die erste Kamera eine Hauptkamera in einer dualen Kamerakonfiguration ist und die zweite Kamera eine untergeordnete Kamera in der dualen Kamerakonfiguration ist, wobei das erste Bild, das von der ersten Kamera aufgenommen wird, als ein erfasstes Bild aufgezeichnet wird.
Elektronische Vorrichtung nach Anspruch 7, wobei die erste Kamera und die zweite Kamera um eine interaxiale Distanz beabstandet sind, wobei das Verarbeitungsmodul Tiefeninformation der Objekte innerhalb des ersten Bildes gemäß einer Parallaxe zwischen dem ersten Bild und dem zweiten Bild berechnet.
Elektronische Vorrichtung nach Anspruch 7, wobei das Verarbeitungsmodul konfiguriert ist zum Berechnen eines ersten durchschnittlichen Helligkeitswertes aus einer Vielzahl von Pixeldaten des ersten Bildes als das erste Helligkeitsevaluierungsergebnis, und zum Berechnen eines zweiten durchschnittlichen Helligkeitswertes aus einer Vielzahl von Pixeldaten des zweiten Bildes als das zweite Helligkeitsevaluierungsergebnis.