DE102007021537A1

DE102007021537A1 - Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion und zugehöriges Ansteuerverfahren

Info

Publication number: DE102007021537A1
Application number: DE102007021537A
Authority: DE
Inventors: Yeon Shim Shim; Hyung Uk Gwangmyeong Jang; Sang Hyuck Bae
Original assignee: LG Philips LCD Co Ltd
Current assignee: LG Display Co Ltd
Priority date: 2006-12-13
Filing date: 2007-05-08
Publication date: 2008-06-19
Anticipated expiration: 2027-05-09
Also published as: KR101374104B1; JP4787213B2; CN101206547A; JP2008152752A; DE102007021537B4; KR20080055599A; US20080143682A1; US9552105B2

Abstract

Eine Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion weist ein Einbaumodul mit einer Mehrzahl von Kameras auf, welche an einem Rand eines Displaypaneels integriert sind; sowie einen Prozessor, welcher ein Berührungsfeld unter Verwendung von mindestens einem ersten Bild bzw. einem zweiten Bild bestimmt, wobei die Bilder von der Mehrzahl von Kameras aufgenommen wurden.

Description

Die Anmeldung basiert auf der am 13. Dezember 2006 eingereichten Koreanischen Patentanmeldung Nr. 10-2006-127351 , welche hiermit mittels Bezugnahme vollinhaltlich in diese Anmeldung aufgenommen wird.
Ausführungsformen der Erfindung beziehen sich auf eine Displayeinheit und insbesondere auf eine Displayeinheit und ein zugehöriges Ansteuerverfahren. Ausführungsformen der Erfindung sind für einen breiten Anwendungsbereich geeignet. Insbesondere sind Ausführungsformen der Erfindung zum Bereitstellen von Mehrfachberührungs-Erkennungsfähigkeiten für eine Displayeinheit geeignet.
Im Allgemeinen ist ein Berührungspaneel ein Typ von Nutzerschnittstelle, welcher an einer Displayeinheit angebracht ist, mit der Eigenschaft, dass eine zugehörige elektrische Kenngröße an einem Kontaktpunkt, wo eine Hand oder ein Stift das Paneel berührt, verändert wird. Berührungspaneele sind in verschiedenen Anwendungen genutzt worden, beispielsweise in kleinen transportablen Terminalen, Büroausstattung und Ähnlichem. Wenn allerdings eine mehrfache Berührung nahezu gleichzeitig an zwei Kontaktpunkten auftritt, kann das Berührungspaneel versagen, oder eine von den Berührungen muss durch ein vorgegebenes Programm ausgewählt werden.
Um diese Beschränkung der Mehrfachberührungs-Erkennung im Berührungspaneel entsprechend des Stand der Technik zu überwinden, ist kürzlich eine Mehrfachberührungs-Erkennungseinheit entwickelt worden, welche eine Mehrzahl von Berührungen gleichzeitig erkennt. Da allerdings die Mehrfachberührungs-Erkennungseinheit in einem von der Displayeinheit getrennten Aufbau hergestellt wird, ist das Design der Displayeinheit umgestaltet, um die Mehrfachberührungs-Erkennungseinheit an der Displayeinheit anzubringen. In diesem Fall, wenn die Mehrfachberührungs-Erkennungseinheit an der Displayeinheit angebracht ist, ist ein Montageprozess kompliziert und das Volumen wird vergrößert, so dass der Platzbedarf groß ist. Da weiterhin die Displayeinheit und die Mehrfachberührungs-Erkennungseinheit keine Einheit bilden, wird die bauliche Stabilität zwischen der Displayeinheit und der Mehrfachberührungs-Erkennungseinheit vermindert. Andererseits gibt es ein Verfahren zum Einbau eines optischen Sensors der Mehrfachberührungs-Erkennungseinheit in jeden Bildpunkt der Displayeinheit, aber dieses Verfahren hat ein anderes Problem damit, dass das Öffnungsverhältnis der Displayeinheit durch den optischen Sensor verringert wird, so dass die Helligkeit der Displayeinheit verringert wird.
Folglich sind Ausführungsformen der Erfindung für eine Displayeinheit bestimmt, die eine Mehrfachberührungs-Erkennungsfunktion sowie ein zugehöriges Ansteuerverfahren aufweist, welche ein oder mehrere Probleme, die auf Beschränkungen und Nachteile des Standes der Technik zurückzuführen sind, im Wesentlichen ausschließen.
Ein Ziel der Erfindung ist, eine Displayeinheit bereitzustellen, welche eine Mehrfachberührungs-Erkennungsfunktion hat, die eine hohe bauliche Stabilität für das Berührungserkennungssystem erzielt.
Ein anderes Ziel der Erfindung besteht darin, eine Displayeinheit bereitzustellen, welche eine Mehrfachberührungs-Erkennungsfunktion hat, die das Design der Displayeinheit beibehält.
Zusätzliche Merkmale und Vorteile der Erfindung werden in der folgenden Beschreibung von Ausführungsformen dargestellt und sind zum Teil aus der Beschreibung von Ausführungsformen ersichtlich oder zeigen sich bei der Anwendung der Ausführungsformen. Diese und andere Vorteile der Erfindung werden durch den Aufbau realisiert und erzielt, welcher in der Beschreibung der beispielhaften Ausführungsformen besonders hervorgehoben ist, sowie durch die zugehörigen Ansprüche, genauso wie durch die beigefügten Zeichnungen.
Um diese und andere Vorteile entsprechend des dargestellten und grob beschriebenen Gegenstands der Erfindung zu erzielen, weist eine Displayeinheit mit einer Mehrfachberührungs-Erkennungsfunktion ein Einbaumodul mit einer Mehrzahl von an einem Rand eines Displaypaneels integrierten Kameras auf; sowie einen Prozessor, der ein Berührungsfeld unter Verwendung von mindestens einem ersten bzw. einem zweiten Bild bestimmt, welche durch die Mehrzahl von Kameras erfasst wurden.
Als weiteren Gesichtspunkt weist eine Displayeinheit ein Displaypaneel zum Anzeigen von Displaydaten auf, welche ein Displaybild repräsentieren; eine erste Erfassungseinheit und eine zweite Erfassungseinheit, wobei beide Erfassungseinheiten am Displaypaneel montiert sind und jeweils erste und zweite Bilder des Displaypaneels erfassen; sowie einen Prozessor, welcher die Displaydaten mit jedem der ersten und zweiten erfassten Bilder vergleicht, um ein Berührungsfeld auf dem Displaypaneel zu bestimmen.
Als weiteren Gesichtspunkt weist ein Verfahren, das zum Bestimmen eines Berührungsfeldes auf einer Displayeinheit dient, die ein Displaypaneel zum Anzeigen von Displaydaten, welche ein Displaybild repräsentieren, sowie eine Mehrzahl von am Displaypaneel montierten synchronisierten Erfassungseinheiten hat, nahezu gleichzeitiges Erfassen von ersten, zweiten, dritten und vierten Bildern des Berührungsdisplaypaneels unter Verwendung von zugehörigen der synchronisierten Erfassungseinheiten auf; sowie Vergleichen der Displaydaten mit jedem der ersten und zweiten erfassten Bilder, so dass ein Berührungsfeld auf dem Displaypaneel bestimmt wird.
Es ist zu bemerken, dass sowohl die vorangegangene allgemeine Beschreibung als auch die folgende detaillierte Beschreibung der Erfindung beispielhaft, erläuternd und dazu bestimmt sind, eine weitere Erklärung der beanspruchten Erfindung zu geben.
Die beigefügten Zeichnungen, welche als Teil dieser Anmeldung ein tieferes Verständnis der Erfindung ermöglichen, zeigen Ausführungsformen der Erfindung und dienen zusammen mit der Beschreibung zum Erklären des Prinzips von Ausführungsformen der Erfindung.
1 zeigt ein Blockschema einer beispielhaften Displayeinheit, welche eine Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung aufweist;
2 zeigt eine schematische Beschreibung der Displayeinheit von 1;
3 zeigt ein Schaltbild eines Teils einer Bildpunktmatrix von 2;
4 stellt einen beispielhaften Blickwinkel für Kameras dar, welche an einer Displayeinheit gemäß einer Ausführungsform der Erfindung angebracht sind;
5 ist eine Querschnittsansicht der Displayeinheit von 1, welche beispielhafte Positionen von reflektionsfreien Elementen gemäß einer Ausführungsform der Erfindung zeigt;
6 ist ein Ablaufschema, welches eine Steuersequenz von einem Mehrfachberührungs-Signalverarbeitungsprogramm gemäß einer Ausführungsform der Erfindung repräsentiert;
7 zeigt beispielhafte Berührungsfelder auf einer Displayeinheit gemäß einer Ausführungsform der Erfindung;
8 zeigt eine schematische Beschreibung von beispielhafter Berührungsfeldidentifikation gemäß einer Ausführungsform der Erfindung;
9 zeigt eine schematische Beschreibung einer Triangulationsoperation gemäß einer Ausführungsform der Erfindung; und
10 zeigt eine schematische Beschreibung einer Triangulationsoperation gemäß einer Ausführungsform der Erfindung.
Nun wird im Detail auf beispielhafte Ausführungsformen der Erfindung, von denen Beispiele in den beigefügten Zeichnungen dargestellt sind, Bezug genommen.
1 zeigt ein Blockschema einer beispielhaften Displayeinheit, welche eine Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung aufweist.
Entsprechend 1 weist eine Displayeinheit mit einer Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung ein Berührungs- und Anzeigemodul 20 auf, in welchem Kameras 21A bis 21D in vier Ecken einer Bildpunktmatrix 10A, auf welcher ein Bild dargestellt wird, angeordnet sind; eine Steuerplatine 30, welche das Berührungs- und Anzeigemodul 20 steuert und die Koordinaten eines Berührungspunkts berechnet; sowie ein System 40 zum Liefern der darzustellenden RGB-Daten an die Steuerplatine 30 zusammen mit einem Timingsignal.
2 zeigt eine schematische Beschreibung der Displayeinheit von 1. Entsprechend 2 weist das Berührungs- und Anzeigemodul 20 ein Flüssigkeitskristall-Displaypaneel 10 auf, wobei eine Bildpunktmatrix 10A gebildet wird, auf welcher ein Bild dargestellt wird; einen Source-Treiber 11 zum Liefern von Datenspannungen an Datenleitungen D1 bis Dm des Flüssigkeitskristall-Displaypaneels 10; einen Gate-Treiber 12 zum Liefern von Abtastpulsen an Gate-Leitungen G1 bis Gn des Flüssigkeitskristall-Displaypaneels 10; sowie in der Nähe der vier Ecken des Flüssigkeitskristall-Displaypaneels 10 angeordnete Kameras 21A bis 21D.
3 zeigt ein Schaltbild eines Teils einer Bildpunktmatrix aus 2. Entsprechend der 2 und 3 weist das Flüssigkeitskristall-Displaypaneel 10 ein Dünnfilmtransistor-(nachstehend als "TFT" bezeichnet) Substrat und ein Farbfiltersubstrat auf. Eine Flüssigkeitskristallschicht entsteht zwischen dem TFT-Substrat und dem Farbfiltersubstrat. In dem TFT-Substrat werden die Datenleitungen D1 bis Dm und die Gateleitungen G1 bis Gn so angeordnet, dass sie sich gegenseitig im rechten Winkel auf einem unteren Glassubstrat kreuzen, und die Flüssigkeitskristallzellen Clc werden in einer Matrixstruktur in den Zellfeldern angeordnet, welche durch die Datenleitungen D1 bis Dm und die Gate-Leitungen G1 bis Gn definiert sind. Die in den Kreuzungsbereichen der Datenleitungen D1 bis Dm und Gate-Leitungen G1 bis Gn gebildeten TFTs übertragen die Datenspannungen, welche durch die Datenleitungen D1 bis Dm geliefert werden, zu den Bildpunktelektroden der Flüssigkeitskristallzellen. Zu diesem Zweck wird eine Gate-Elektrode des TFT mit den Gate-Leitungen G1 bis Gn verbunden, und eine zugehörige Source-Elektrode wird mit den Datenleitungen D1 bis Dm verbunden. Eine Drain-Elektrode des TFT wird mit der Bildpunktelektrode der Flüssigkeitskristallzelle Clc verbunden. Eine gemeinsame Spannung Vcom liegt an einer gemeinsamen Elektrode an, welche sich gegenüber der Bildpunktelektrode befindet.
Das Farbfiltersubstrat weist einen Schwarz-Matrixfilter sowie Farbfilter auf, welche auf einem oberen Glassubstrat gebildet werden.
Hingegen wird die gemeinsame Elektrode auf einem oberen Glassubstrat in einem Ansteuerverfahren mit vertikalem elektrischen Feld gebildet, beispielsweise in einem TN-(twisted nematic)Modus und einem VA-(vertical alignment)Modus, und wird auf einem unteren Glassubstrat zusammen mit der Bildpunktelektrode in einem Ansteuerverfahren mit horizontalem elektrischen Feld gebildet, beispielsweise in einem IPS-(in-plane switching)Modus und einem FFS-(fringe field switching)Modus.
Ein Speicherkondensator Cst kann durch Überdecken der Gate-Leitung und der Bildpunktelektrode der Flüssigkeitskristallzelle Clc gebildet werden. Alternativ kann der Speicherkondensator Cst auch durch Überdecken der Bildpunktelektrode und der getrennten gemeinsamen Leitung gebildet werden.
Der Source-Treiber 11 weist eine Mehrzahl von integrierten Datenschaltkreisen (nachstehend als „IC" bezeichnet) auf. Der Source-Treiber 11 konvertiert unter Kontrolle der Steuerplatine 30 digitale RGB-Videodaten, welche von der Steuerplatine 30 zugeführt werden, in positive oder negative analoge Gamma-Kompensationsspannungen und liefert die Gamma-Kompensationsspannungen als analoge Datenspannungen zu den Datenleitungen D1 bis Dm.
Der Gate-Treiber 12 weist eine Mehrzahl von Gate-ICs auf. Der Gate-Treiber 12 liefert unter Kontrolle der Steuerplatine 30 sequenziell Abtastpulse zu den Gate-Leitungen G1 bis Gn. Die Daten-ICs des Source-Treibers 11 und die Gate-ICs des Gate-Treibers 12 können auf dem unteren Glassubstrat durch ein COG-(chip-on-glass)Verfahren oder ein TAB-(tage-automated-bonding)Verfahren unter Verwendung eines TCP(tage carrier package) gebildet werden. Die Gate-ICs des Gate-Treibers 12 können direkt auf dem unteren Glassubstrat durch das gleichen Verfahren wie das TFT-Verfahren gebildet werden, gleichzeitig mit den TFTs der Bildpunktmatrix 10A.
Die Kameras 21A bis 21D können z. B. CMOS-(complementary metal Oxide semiconductor)Sensoren sein. Die Kameras 21A bis 21D können an den vier Ecken der Bildpunktmatrix 10A am Flüssigkeitskristall-Displaypaneel 10 angeordnet sein. Jede der Kameras 21A bis 21D nimmt das Bild der Oberfläche des Displaypaneels des zugehörigen Bildpunktfelds und der Nachbarschaft davon auf. Die als die Kameras 21A bis 21D verwendeten CMOS-Sensoren können eine Auflösung von etwa 320×240 Bildpunkten bis etwa 1280×1024 Bildpunkten haben. Das Berührungsbild, welches jede Kamera 21A bis 21D aufnimmt, wird an die Steuerplatine 30 geliefert.
4 zeigt beispielhafte Blickwinkel für Kameras, welche gemäß einer Ausführungsform der Erfindung an einem Display angebracht sind. Entsprechend 4 wird für jede Kamera 21A bis 21D ein Linsenblickwinkel von etwa 90° gewählt. Der Linsenblickwinkel der Kameras 21A bis 21D kann entsprechend des Abstands zwischen dem Flüssigkeitskristall-Displaypaneel und den Kameras 21A bis 21D oder entsprechend der Größe des Flüssigkeitskristall-Displaypaneels 10 geändert werden. In einer Ausführungsform der Erfindung ist der Linsenblickwinkel von jeder der Linsen 21A bis 21D etwa 80° bis 90°. Das ist so, weil, wenn der Linsenblickwinkel der Kameras 21A bis 21D enger wird als 80°, sich die verdeckte Fläche, welche von den Kameras 21A bis 21D nicht aufgenommen wird, vergrößert, wodurch eine korrekte Bestimmung der Mehrfachberührungs-Feldes verhindert wird. Weiterhin wird, wenn der Linsenblickwinkel breiter als 90° ist, ein ungültiger Teil des Flüssigkeitskristall-Displaypaneels mit eingeschlossen, wobei ebenfalls eine korrekte Bestimmung des Mehrfachberührungs-Felds verhindert wird.
5 ist eine Querschnittsansicht der Displayeinheit aus 1, welche beispielhafte Positionen reflektionsfreier Elemente gemäß einer Ausführungsform der Erfindung zeigt. Entsprechend 5 sind reflektionsfreie Elemente 13 in der Nähe des Rands des Glassubstrats des Flüssigkeitskristall-Displaypaneels 10 installiert. Die reflektionsfreien Elemente 13 weisen irgendeinen Anti-Reflektor, eine schwarze Schicht und zwei Schichten Polarisationsfilter auf, welche so angeordnet sind, dass ihre optischen Absorptionsachsen einander kreuzen. Die reflektionsfreien Elemente 13 sind vor den Linsen der Kameras 21A bis 21D angeordnet und um eine bestimmte Höhe (h1) über die Oberfläche des Glassubstrats angehoben. Die Höhe (h1) zwischen den reflektionsfreien Elementen 13 und der Oberfläche des Glassubstrats des Flüssigkeitskristall-Displaypaneels 10 ist umgekehrt proportional zu der Größe des Flüssigkeitskristall-Displaypaneels 10 und proportional zum Abstand zwischen dem Glassubstrat und der Kameralinse. In einer Ausführungsform liegt die Höhe h1 in einem Bereich von ein paar bis zu einigen Duzend Millimetern (mm).
Die reflektionsfreien Elemente 13 und die Kameras 21A bis 21D sind am Rand einer Konsole 14 fixiert, welche das Berührungs- und Anzeigemodul 20 trägt. Die reflektionsfreien Elemente 13 absorbieren oder schirmen externes Licht ab und verhindern eine durch das in die Linsen der Kameras 21A bis 21D einfallende Licht verursachte optische Interferenz.
Die Steuerplatine 30 ist mit dem Source-Treiber 11 und dem Gate-Treiber 12 durch einen FRC (flexible printed circuit) und einen Anschlussstecker verbunden. Die Steuerplatine 30 weist einen Timing-Controller 31 und einen Mehrfachberührungs-Prozessor 32 auf. Der Timing-Controller 31 erzeugt ein Gate-Steuersignal zum Steuern des Betriebs-Timings des Gate-Treibers 12 und ein Daten-Steuersignal zum Steuern des Betriebs-Timings des Source-Treibers 11 unter Nutzung vertikal/horizontaler Signale V, H und eines Takts CLK. Weiterhin liefert der Timing-Controller 31 die vom System 40 eingegebenen digitalen RGB-Videodaten an den Source-Treiber 11. Der Timing-Controller kann die Kameras 21A bis 21D miteinander synchronisieren, so dass Bilder der Oberfläche des Displaypaneels nahezu gleichzeitig erfasst werden. Durch das Synchronisieren der Erfassung der Bilder durch die Kameras 21A bis 21D kann das Berührungsfeld mit einer besseren Genauigkeit bestimmt werden.
Dem Mehrfachberührungs-Prozessor werden periodisch digitale RGB-Videodaten des Hintergrundbilds vom Timing-Controller zugeführt, als Antwort auf die vertikalen/horizontalen Synchronisierungssignale V, H und den Takt CLK, so dass die RGB-Daten gespeichert werden. Weiterhin führt der Mehrfachberührungs-Prozessor ein Mehrfachberührungs-Signalverarbeitungsprogramm aus, so dass ein vorher erfasstes Hintergrundbild mit einem gerade von den Kameras 21A bis 21D erfassten Berührungsbild verglichen wird, wobei ein Berührungsbild extrahiert wird. Hierbei wird das vorher von den Kameras 21A bis 21D aufgenommene Hintergrundbild in einem Speicher des Mehrfachberührungs-Prozessors 32 gespeichert. Zusätzlich berechnet der Mehrfachberührungs-Prozessor 32 die Koordinaten für das Berührungsbild und liefert das zugehörige Ergebnis Txy an das System 40. Der Mehrfachberührungs-Prozessor 32 tauscht das Timing-Signal, wie beispielsweise die vertikalen/horizontalen Synchronisierungssignale V, H und den Takt CLK, mit dem Timing-Controller 31 aus, wobei der Mehrfachberührungs-Prozessor 32 synchron mit dem Timing-Controller 31 operiert. Folglich, weil der Timing-Controller 31 mit dem Mehrfachberührungs-Prozessor 32 synchronisiert ist, können die Anzeige des zusammengesetzten Bilds des Berührungsbilds und des Hintergrundbilds im Flüssigkeitskristall-Displaypaneel 10 und das Koordinatenberechnungsverfahren des Berührungspunkts synchronisiert werden.
Das System 40 weist einen Speicher auf, in welchem ein Anwendungsprogramm abgelegt ist; eine CPU(central processing unit) zum Ausführen des Anwendungsprogramms; sowie einen Graphik-Verarbeitungsschaltkreis zum Verbinden des Hintergrundbilds und des Berührungsbilds und Verarbeiten der Signalinterpolation der zusammengesetzten Daten, der Konversion der zugehörigen Auflösung, und Ähnlichem. Das System 40 empfängt die Koordinatendaten Txy von dem Mehrfachberührungs-Prozessor 32 und führt das Anwendungsprogramm in Verbindung mit dem Koordinatenwert der Koordinatendaten aus. Wenn z. B. ein Icon eines speziellen Anwendungsprogramms durch Koordinaten eines Berührungspunkts gegeben ist, lädt das System 40 das Programm in den Speicher und führt das Programm aus. Weiterhin kann das System 40 auf einem PC(personal computer) implementiert werden und Daten mit dem Mehrfachberührungs-Prozessor 32 über eine serielle Schnittstelle oder eine USB-(universal serial bus)Schnittstelle austauschen.
6 ist ein Ablaufplan, welcher eine Steuersequenz eines Mehrfachberührungs-Signalverarbeitungsprogramms gemäß einer Ausführungsform der Erfindung repräsentiert. 7 zeigt beispielhafte Berührungsgebiete auf einer Displayeinheit gemäß einer Ausführungsform der Erfindung. Entsprechend 6 empfängt das Mehrfachberührungs-Signalverarbeitungsprogramm das Berührungsbild, welches von den Kameras 21A bis 21D aufgenommen wird, und extrahiert das Bild des gültigen Berührungsfelds durch eine Bildschirmfensterverarbeitung (S1 und S2). Entsprechend 7 weist das von den Kameras 21A bis 21D aufgenommene Bild das Bild eines ungültigen Berührungsfelds entsprechend des Bereichs über der Berührungs-Oberfläche auf, genauso wie das Bild eines gültigen Berührungsfelds, aufgenommen auf der Berührungsfläche der Bildpunktmatrix. Folglich extrahiert das Mehrfachberührungs-Signalverarbeitungsprogramm mittels Bildschirmfenster-Verarbeitung das Bild (den verdeckten Teil) des gültigen Berührungsfelds), wo die Berührung stattfindet, in der Nähe der Berührungs-Oberfläche aus dem von jeder der Kameras 21A bis 21D aufgenommenen Bild. Die Bildschirmfenster-Verarbeitung verwendet eine derartige Bildextraktions-Technik, so dass für das zugeführte Bildsignal durch eine Untermatrix-Operation nur ein Zielbild extrahiert wird.
Danach konvertiert das Mehrfachberührungs-Signalverarbeitungsprogramm RGB-Daten, welche in dem Bild des gültigen Berührungsfelds enthalten sind, das durch die Bildschirmfenster-Verarbeitung extrahiert wurde, in Grauwerte oder Grauwert-Intensitäten (S3). Das von den Kameras 21A bis 21D aufgenommene Bild weist RGB-Daten auf, und das gültige Berührungsbild, welches durch die Bildschirmfenster-Verarbeitung extrahiert wurde, weist auch RGB-Daten auf. Die RGB-Daten von dem gültigen Berührungsbild werden in Grauwerte konvertiert, entsprechend der mathematischen Formel 1 in Schritt S3 unten. Zum Ermitteln der Berührungsinformation werden die Grauwerte in dem Hintergrundbild, welche im Bildpunktfeld 10A des Flüssigkeitskristall-Displaypaneels 10 gezeigt werden, und die Grauwerte des Bilds, das von den Kameras erfasst wird, verglichen.
[Mathematische Formel 1]

Grauwertintensität = pR + qG + sB

Hierbei sind p, q, und s Konstanten, von denen jede einen anderen Wert aufweist.
In einer Ausführungsform der Erfindung wird die Berührungsbildbestimmung durch Vergleich eines Hintergrundbilds, z. B. des in dem Bildpunktfeld 10A gezeigten Bilds des Flüssigkeitskristall-Displaypaneels 10 mit dem Bild, welches von einer der Kameras 21A bis 21D erfasst wurde, durchgeführt, so dass das zugehörige Berührungsbild extrahiert wird, welches die Stelle der derzeitigen Berührung zeigt. In einer anderen Ausführungsform wird die Berührungsbild-Erfassung durch Vergleich eines vorher gespeicherten Bilds, welches von einer der Kameras 21A bis 21D erfasst wurde, mit einem neuen Bild, welches von der entsprechenden der Kameras 21A bis 21D aufgenommen wurde, durchgeführt, so dass das zugehörige Berührungsbild extrahiert wird, welches die Stelle der derzeitige Berührung zeigt. Die Extrahierung des Berührungsbilds kann z. B. erreicht werden durch eine Differenzoperation zwischen dem Hintergrund (oder dem vorher gespeicherten erfassten Bild) und dem neuen erfassten Bild (S4).
Danach vergleicht das Mehrfachberührungs-Signalverarbeitungsprogramm die Grauwertintensität des Berührungsbilds, welches in S4 extrahiert wurde, mit dem voreingestellten Schwellwert. Zusätzlich konvertiert das Mehrfachberührungs-Signalverarbeitungsprogramm die Grauwertintensität des Berührungsbilds nur für die Daten, die gleich oder größer als der Schwellwert sind, in weiße Daten, und konvertiert die Daten unterhalb des Schwellwerts in schwarze Daten (S5). Die weißen Daten repräsentieren eine gültige Berührungsstelle und die schwarzen Daten repräsentieren die ungültigen Daten, welche in dem Berührungsbild überhaupt nicht berührt werden. Der Schwellwert kann experimentell bestimmt werden.
8 zeigt eine schematische Beschreibung einer beispielhaften Berührungsfeldidentifikation gemäß einer Ausführungsform der Erfindung. Entsprechend 8 identifiziert im Schritt S6 das Mehrfachberührungs-Signalverarbeitungsprogramm ermittelte Berührungsfelder unter Verwendung einer eindeutigen Bezeichnung (z. B. 1 bis 5) für jedes der weißen Daten, d. h. gültigen Berührungsstellendaten.
Danach berechnet das Mehrfachberührungs-Signalverarbeitungsprogramm den Winkel der Kamera gegenüber dem gültigen Berührungsfeld unter Verwendung eines Winkelberechungsalgorithmus, um die Stelle für jedes konvertierte gültige Berührungsfeld in der zweidimensionalen Ebene zu finden. Dann berechnet das Mehrfachberührungs-Signalverarbeitungsprogramm die zweidimensionale Stelle unter Verwendung einer Triangulationsoperation basierend auf den berechneten Winkeldaten entsprechend der unten gezeigten mathematischen Formel 2 (S7 und S8).
9 zeigt eine schematische Beschreibung einer Triangulationsoperation gemäß einer Ausführungsform der Erfindung. Die folgende mathematische Formel 2 ist eine Berechnungsformel, welche eine Berührungsstelle in den zweidimensionalen xy-Koordinatenwert umrechnet und von zwei Kameras gemessene Winkel A und B, einen Winkel C zwischen der Berührungsstelle und den Kameras, sowie Abstände a, b und c zwischen zwei Kameras und der Berührungsstelle aufweist. Hierbei wird der Winkel C zwischen der Berührungsstelle und den Kameras als C = 180 – A – B berechnet.
[Mathematische Formel 2]
Auf diese Weise, wenn die xy-Koordinatendaten (Cxy) für jede Berührungsstelle durch das Mehrfachberührungs-Signalverarbeitungsprogramm berechnet werden, erzeugt das System 40 Berührungsdaten unter Verwendung der zugehörigen Koordinatendaten und verbindet die Berührungsdaten mit dem Hintergrundbild, welches in dem Flüssigkeitskristall-Display 10 gezeigt werden soll. Die mit den Hintergrunddaten verbundenen Berührungsdaten werden zum Timing-Controller 31 übertragen, so dass sie in dem Flüssigkeitskristall-Displaypaneel 10 angezeigt werden. Die Berührungsdaten können in Kombination mit dem Hintergrundbild in verschiedenen Formen dargestellt werden.
In dem Berührungsstellen-Berechnungsverfahren von S7 und S8 kann das Ansteuerverfahren der Displayeinheit mit der Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung ein Verfahren des Überprüfens der Stellen der Berührungspunkte aufweisen, welche durch die mathematischen Formel 2 mittels Triangulation berechnet wurden.
10 zeigt eine schematische Beschreibung einer Prüfoperation gemäß einer Ausführungsform der Erfindung. Entsprechend 10 und unter der Annahme, dass es zwei Mehrfachberührungs-Punkte (X1, Y1), (X2, Y2) auf der Displayoberfläche 10A gibt, wird das Triangulationsergebnis von vier Paaren der Kameras (21C und 21D, 21A und 21B, 21B und 21D, 21A und 21C), welche für jeden der zwei Punkte zueinander benachbart sind, mittels der mathematischen Formel 3 verglichen und bestimmt.
[Mathematische Formel 3]

X1:Axcos(☐1)&&(L-Cxsin(☐3))&&(H-Excos(☐6))&&Gxsin(☐8) Y1:Axsin(☐1)&&(L-Cxcos(☐3))&&(H-Exsin(☐6))&&Gxcos(☐8) X2:Bxcos(☐2)&&(L-Dxsin(☐4))&&(H-Fxcos(☐5))&&Hxsin(☐7) Y2:Bxsin(☐2)&&(L-Dxcos(☐4))&&(H-Fxsin(☐5))&&Hxcos(☐7)

In der mathematischen Formel 3 repräsentiert "&&" die Vergleichsoperation. Das Mehrfachberührungs-Signalverarbeitungsprogramm übernimmt die Stelle nicht als die Berührungsstelle, wenn der Fehlerwert der Stelle, welcher von den benachbarten Kamerapaaren (21C und 21D, 21A und 21B, 21B und 21D, 21A und 21C) in den Prüfverfahren gemessen wird, wie in 10 und der mathematischen Formel 3 gezeigt, den voreingestellten Schwellwert überschreitet.
Die Displayeinheit und das zugehörige Ansteuerverfahren mit der Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung können nicht nur den Minderungsfaktor des Öffnungsverhältnisses durch Anordnen der Kameras im Gebiet außerhalb der Bildpunktmatrix minimieren, sondern können auch die Minderung der baulichen Stabilität, ohne dass das Design der integrierten Displayeinheit umgeformt wird, durch Integrieren des Berührungserkennungsmoduls mit dem Flüssigkeitskristall-Displaymodul minimieren. Insbesondere erkennt die Erfindung die Mehrfachberührungsstelle in der Displayeinheit und zeigt das Hintergrundbild und das Berührungsbild in der Displayeinheit in Echtzeit an, so dass die Erfindung für eine Berührungserkennung, eine Bildabtastung und eine Fingerabdruckerkennung, usw. verwendet werden kann.
Andererseits kann das Flüssigkeitskristall-Displaypaneel 10 des Berührungs- und Anzeigemoduls 20 durch andere flache Displaypaneele ersetzt werden, z. B. ein OLED-(organic light emitting diode)Displaypaneel, ein PDP(plasma display panel), ein FED-(field emitting display)Paneel oder ein Displaypaneel in Form einer dreidimensionalen Bilddisplayeinheit inklusive des Flachdisplaypaneels.
Wie oben beschrieben, können die Displayeinheit und das zugehörige Ansteuerverfahren mit der Mehrfachberührungs-Erkennungsfunktion gemäß der Ausführungsform der Erfindung nicht nur den Minderungsfaktor des Öffnungsverhältnisses durch Anordnen der Kameras in dem Gebiet außerhalb der Bildpunktmatrix minimieren, sondern können auch die Verminderung der baulichen Stabilität, ohne Umformung des Designs der integrierten Displayeinheit mittels Integrieren des Berührungserkennungsmoduls mit dem Flüssigkeitskristall-Displaymodul minimieren. Weiterhin kann die Erfindung einen Schaltkreis optimieren, welcher das Flüssigkeitskristall-Displaymodul steuert und die Berührungserkennung abarbeitet.
Es wird Fachleuten offensichtlich erscheinen, dass verschiedene Modifikationen und Variationen der Ausführungsformen der Erfindung möglich sind. Deshalb ist es vorgesehen, dass Ausführungsformen der Erfindung die Modifikationen und Variationen der hierin beschriebenen Ausführungsformen abdecken, soweit sie sich im Bereich der beigefügten Ansprüche und ihrer Equivalente befinden.

Claims

Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion, welche aufweist: ein Einbaumodul mit einer Mehrzahl von an einem Rand eines Displaypaneels integrierten Kameras; und einen Prozessor, welcher ein Berührungsfeld unter Verwendung von mindestens einem ersten bzw. zweiten Bild, welche durch die Mehrzahl von Kameras aufgenommen wurden, bestimmt.
Displayeinheit gemäß Anspruch 1, ferner aufweisend einen Controller, welcher mit dem Prozessor synchronisiert ist, zum Steuern des Darstellens eines Hintergrundbilds auf dem Displaypaneel und dem Erfassen des ersten Bilds und des zweiten Bilds durch den Prozessor.
Displayeinheit gemäß Anspruch 1, wobei ein Blickwinkel von jeder der ersten Kamera und der zweiten Kamera in einem Bereich von etwa 80 bis 90 Grad liegt.
Displayeinheit gemäß Anspruch 1, ferner aufweisend mindestens ein reflektionsfreies Element in solch einer räumlichen Beziehung mit einer zugehörigen von der ersten Kamera und der zweiten Kamera, dass eine optische Interferenz von einem einfallenden Licht vermieden wird.
Displayeinheit gemäß Anspruch 4, wobei die mindestens eine reflektionsfreie Einheit im Wesentlichen vor der zugehörigen von der ersten Kamera und zweiten Kamera angeordnet ist, in einer Höhe über der Oberfläche des Displaypaneels, welche umgekehrt proportional zu einer Größe des Displaypaneels ist.
Displayeinheit gemäß Anspruch 4, wobei die Höhe der mindestens einen reflektionsfreien Einheit über der Oberfläche des Displaypaneels proportional ist zu einem Abstand zwischen der Oberfläche des Displaypaneels und der zugehörigen von den Kameras.
Displayeinheit gemäß Anspruch 4, wobei das mindestens eine reflektionsfreie Element erste und zweite Polarisationsfilter aufweist, wobei die optischen Absorptionsachsen der Polarisationsfilter einander kreuzen.
Displayeinheit gemäß Anspruch 4, wobei das mindestens eine reflektionsfreie Element eins von einer schwarzen Schicht und einem Anti-Reflektor aufweist.
Displayeinheit gemäß Anspruch 1, wobei die Mehrzahl von Kameras erste bzw. zweite Kameras aufweist, welche die ersten bzw. zweiten Bilder des Displaypaneels aufnehmen, sowie den Prozessor, welcher jedes der ersten und zweiten erfassten Bilder mit einem gezeigten Bild vergleicht, so dass das Berührungsfeld bestimmt wird.
Displayeinheit gemäß Anspruch 9, wobei ein Controller die erste Kamera und die zweite Kamera synchronisiert, so dass das erste Bild und das zweite Bild im Wesentlichen gleichzeitig erfasst werden.
Displayeinheit gemäß Anspruch 9, wobei die Mehrzahl von Kameras weiterhin eine dritte Kamera bzw. eine vierte Kamera aufweist, welche ein drittes bzw. ein viertes Bild des Displaypaneels erfasst, und wobei der Prozessor das Berührungsfeld, welches durch die erste Kamera und die zweite Kamera bestimmt wurde, mittels des Berührungsfelds, welches durch die dritte Kamera und die vierte Kamera bestimmt wurde, überprüft.
Displayeinheit, aufweisend: ein Displaypaneel zum Anzeigen von Displaydaten, welche ein Displaybild repräsentieren; eine erste Erfassungseinheit und eine zweite Erfassungseinheit, welche an dem Displaypaneel montiert sind, wobei jede von der ersten Erfassungseinheit und der zweiten Erfassungseinheit ein erstes Bild und ein zweites Bild des Displaypaneels erfasst; sowie einen Prozessor, welcher die Displaydaten mit jedem von dem ersten erfassten Bild und dem zweiten erfassten Bild vergleicht, so dass ein Berührungsfeld auf dem Displaypaneel bestimmt wird.
Displayeinheit gemäß Anspruch 12, ferner aufweisend mindestens ein reflektionsfreies Element in solch einer räumlichen Beziehung zu einer zugehörigen von der ersten Erfassungseinheit und der zweiten Erfassungseinheit, dass eine optische Interferenz von einfallendem Licht vermieden wird.
Displayeinheit gemäß Anspruch 13, wobei die mindestens eine reflektionsfreie Einheit im Wesentlichen vor der zugehörigen der ersten Erfassungseinheit und der zweiten Erfassungseinheit angeordnet ist, in einer Höhe über der Oberfläche des Displaypaneels, welche umgekehrt proportional zu einer Größe des Displaypaneels ist.
Displayeinheit gemäß Anspruch 14, wobei die Höhe der mindestens einen reflektionsfreien Einheit über der Oberfläche des Displaypaneels proportional zu einem Abstand zwischen der Oberfläche des Displaypaneels und der zugehörigen der Erfassungseinheiten ist.
Displayeinheit gemäß Anspruch 12, wobei ein Blickwinkel von jeder der ersten Erfassungseinheit und der zweiten Erfassungseinheit klein genug ist, so dass ein Erfassen von einem unerwünschten Anteil des Displaypaneels vermieden wird, aber groß genug, so dass ein von dem ersten erfassten Bild ausgeschlossenes verdecktes Gebiet reduziert wird.
Displayeinheit gemäß Anspruch 16, wobei der Blickwinkel von jeder der ersten Erfassungseinheit und der zweiten Erfassungseinheit in einem Bereich von etwa 80 bis etwa 90° liegt.
Displayeinheit gemäß Anspruch 7, ferner aufweisend eine dritte Erfassungseinheit und eine vierte Erfassungseinheit, welche an dem Displaypaneel montiert sind, wobei jede von der dritten Erfassungseinheit und der vierten Erfassungseinheit dritte Bilder und vierte Bilder des Displaypaneels erfasst.
Displayeinheit gemäß Anspruch 18, wobei der Prozessor die Displaydaten mit jeder von dem dritten erfassten Bild und vierten erfassten Bild vergleicht, so dass das Berührungsfeld auf dem Displaypaneel bestimmt wird.
Displayeinheit gemäß Anspruch 19, wobei der Prozessor das Berührungsfeld, welches durch die erste Erfassungseinheit und die zweite Erfassungseinheit bestimmt wurde, mittels des Berührungsfelds überprüft, welches durch die dritte Erfassungseinheit und die vierte Erfassungseinheit bestimmt wurde.
Verfahren zum Bestimmen eines Berührungsfelds auf einer Displayeinheit aufweisend ein Displaypaneel zum Anzeigen von Displaydaten, welche ein Displaybild repräsentieren, sowie eine Mehrzahl von synchronisierten Erfassungseinheiten, welche an dem Displaypaneel montiert sind, wobei das Verfahren aufweist: nahezu gleichzeitiges Erfassen des ersten, zweiten, dritten und vierten Bilds des berührten Displaypaneels unter Verwendung zugehöriger der synchronisierten Erfassungseinheiten; und Vergleichen der Displaydaten mit jedem von dem ersten erfassten Bild und dem zweiten erfassten Bild, um ein Berührungsfeld auf dem Displaypaneel zu bestimmen.