DE102007021537B4

DE102007021537B4 - Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion

Info

Publication number: DE102007021537B4
Application number: DE102007021537.3A
Authority: DE
Inventors: Yeon Shim Shim; Hyung Uk Jang; Sang Hyuck Bae
Original assignee: LG Display Co Ltd
Current assignee: LG Display Co Ltd
Priority date: 2006-12-13
Filing date: 2007-05-08
Publication date: 2020-01-02
Anticipated expiration: 2027-05-09
Also published as: KR101374104B1; DE102007021537A1; JP4787213B2; CN101206547A; US9552105B2; US20080143682A1; JP2008152752A; KR20080055599A

Abstract

Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion, welche aufweist:ein Einbaumodul (20), das ein Displaypaneel (10) und eine Mehrzahl von an einem Rand des Displaypaneels (10) integrierten Kameras (21A bis 21D) aufweist;einen Prozessor (32), welcher ein Berührungsfeld unter Verwendung von mindestens einem ersten und einem zweiten Bild, welche durch die Mehrzahl von Kameras (21A bis 21D) aufgenommen wurden, bestimmt;eine Konsole (14), die das Einbaumodul (20) trägt; undmindestens ein reflektionsfreies Element (13), das an der Konsole (14) befestigt ist, vor jeder Kamera (21A bis 21D) in einer Höhe (h1) über der Oberfläche des Displaypaneels (10), so dass eine optische Störung durch einfallendes Licht vermieden wird,wobei das reflektionsfreie Element (13) zwei Schichten Polarisationsfilter aufweist, welche so angeordnet sind, dass ihre optischen Absorptionsachsen einander kreuzen,wobei die Mehrzahl von Kameras (21A bis 21D) erste bzw. zweite Kameras (21A, 21B) aufweist, welche die ersten bzw. zweiten Bilder des Displaypaneels (10) aufnehmen, sowie den Prozessor (32), welcher jedes der ersten und zweiten erfassten Bilder mit einem gezeigten Bild vergleicht, so dass das Berührungsfeld bestimmt wird, undwobei die Mehrzahl von Kameras (21A bis 21D) weiterhin eine dritte Kamera (21C) bzw. eine vierte Kamera (21D) aufweist, welche ein drittes bzw. ein viertes Bild des Displaypaneels (10) erfasst, und wobei der Prozessor (32) das Berührungsfeld, welches durch die erste Kamera (21A) und die zweite Kamera (21B) bestimmt wurde, mittels des Berührungsfelds, welches durch die dritte Kamera (21C) und die vierte Kamera (21D) bestimmt wurde, überprüft.

Description

Die Anmeldung basiert auf der am 13. Dezember 2006 eingereichten Koreanischen Patentanmeldung Nr. 10-2006-127351 .
Ausführungsformen der Erfindung beziehen sich auf eine Displayeinheit. Des Weiteren wird ein zugehöriges Ansteuerverfahren beschrieben. Ausführungsformen der Erfindung sind für einen breiten Anwendungsbereich geeignet. Insbesondere sind Ausführungsformen der Erfindung zum Bereitstellen von Mehrfachberührungs-Erkennungsfähigkeiten für eine Displayeinheit geeignet.
Im Allgemeinen ist ein Berührungspaneel ein Typ von Nutzerschnittstelle, welcher an einer Displayeinheit angebracht ist, mit der Eigenschaft, dass eine zugehörige elektrische Kenngröße an einem Kontaktpunkt, wo eine Hand oder ein Stift das Paneel berührt, verändert wird. Berührungspaneele sind in verschiedenen Anwendungen genutzt worden, beispielsweise in kleinen transportablen Terminalen, Büroausstattung und Ähnlichem. Wenn allerdings eine mehrfache Berührung nahezu gleichzeitig an zwei Kontaktpunkten auftritt, kann das Berührungspaneel versagen, oder eine von den Berührungen muss durch ein vorgegebenes Programm ausgewählt werden.
Um diese Beschränkung der Mehrfachberührungs-Erkennung im Berührungspaneel entsprechend des Stand der Technik zu überwinden, ist kürzlich eine Mehrfachberührungs-Erkennungseinheit entwickelt worden, welche eine Mehrzahl von Berührungen gleichzeitig erkennt. Da allerdings die Mehrfachberührungs-Erkennungseinheit in einem von der Displayeinheit getrennten Aufbau hergestellt wird, ist das Design der Displayeinheit umgestaltet, um die Mehrfachberührungs-Erkennungseinheit an der Displayeinheit anzubringen. In diesem Fall, wenn die Mehrfachberührungs-Erkennungseinheit an der Displayeinheit angebracht ist, ist ein Montageprozess kompliziert und das Volumen wird vergrößert, so dass der Platzbedarf groß ist. Da weiterhin die Displayeinheit und die Mehrfachberührungs-Erkennungseinheit keine Einheit bilden, wird die bauliche Stabilität zwischen der Displayeinheit und der Mehrfachberührungs-Erkennungseinheit vermindert. Andererseits gibt es ein Verfahren zum Einbau eines optischen Sensors der Mehrfachberührungs-Erkennungseinheit in jeden Bildpunkt der Displayeinheit, aber dieses Verfahren hat ein anderes Problem damit, dass das Öffnungsverhältnis der Displayeinheit durch den optischen Sensor verringert wird, so dass die Helligkeit der Displayeinheit verringert wird.
US 6 803 906 B1 beschreibt ein passives Berührungssystem mit einer passiven Berührungsoberfläche und mindestens zwei Kameras, die mit der Berührungsoberfläche verbunden sind, wobei mindestens zwei Kameras Bilder der Berührungsoberfläche von verschiedenen Positionen aufnehmen und überlappende Sichtfelder haben. Darüber hinaus empfängt und verarbeitet ein Prozessor Bilder, die von den mindestens zwei Kameras aufgenommen wurden, um das Vorhandenseins eines Zeigers darin zu erkennen und die Position des Zeigers relativ zur Berührungsoberfläche zu bestimmen. Außerdem werden der tatsächliche Zeigerkontakt mit der Berührungsoberfläche und der über der Berührungsfläche schwebende Zeiger bestimmt.
US 2001 / 0 022 579 A1 beschreibt eine Vorrichtung zum Eingeben von Koordinaten mit einer Trägerplatte, die eine Koordinateneingabe-Ebene zum Eingeben einer Koordinatenposition, eine mittels Integration einer Lichtquelle gebildete optische Einheit und einen Lichtempfänger aufweist. Darin sendet die Lichtquelle Licht aus, das im Wesentlichen parallel zur Koordinateneingabe-Ebene ist, ein reflektierender Bereich reflektiert das von der Lichtquelle emittierte Licht, und die optische Einheit ist unter Verwendung eines Rahmens, einer Halteplatte der optischen Einheit und einer Schraube in die Koordinateneingabe-Ebene eingebettet.
Des Weiteren werden zum Stand der Technik folgende Druckschriften genannt: US 4 746 770 A , US 4 247 767 A , DE 36 16 490 C2 , Kuchling, H.: Nachschlagebücher für Grundlagenfächer Physik, JP 2002 - 351 615 A und DE 10 2005 008 834 A1 .
Folglich sind Ausführungsformen der Erfindung für eine Displayeinheit bestimmt, die eine Mehrfachberührungs-Erkennungsfunktion aufweist, welche ein oder mehrere Probleme, die auf Beschränkungen und Nachteile des Standes der Technik zurückzuführen sind, im Wesentlichen ausschließen. Des Weiteren wird ein zugehöriges Ansteuerverfahren beschrieben.
Ein weiteres Ziel der Offenbarung ist, eine Displayeinheit bereitzustellen, welche eine Mehrfachberührungs-Erkennungsfunktion hat, die eine hohe bauliche Stabilität für das Berührungserkennungssystem erzielt.
Ein anderes Ziel der Offenbarung besteht darin, eine Displayeinheit bereitzustellen, welche eine Mehrfachberührungs-Erkennungsfunktion hat, die das Design der Displayeinheit beibehält.
Zusätzliche Merkmale und Vorteile der Erfindung werden in der folgenden Beschreibung von Ausführungsformen dargestellt und sind zum Teil aus der Beschreibung von Ausführungsformen ersichtlich oder zeigen sich bei der Anwendung der Ausführungsformen. Diese und andere Vorteile der Erfindung werden durch den Aufbau realisiert und erzielt, welcher in der Beschreibung der beispielhaften Ausführungsformen besonders hervorgehoben ist, sowie durch die zugehörigen Ansprüche, genauso wie durch die beigefügten Zeichnungen.
Um diese und andere Vorteile entsprechend dem dargestellten und grob beschriebenen Gegenstand der Offenbarung zu erzielen, wird eine Displayeinheit gemäß dem Hauptanspruch bereitgestellt. Des Weiteren wird eine Displayeinheit gemäß Anspruch 8 bereitgestellt.
Vorteilhafte Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Es ist zu bemerken, dass sowohl die vorangegangene allgemeine Beschreibung als auch die folgende detaillierte Beschreibung der Erfindung beispielhaft, erläuternd und dazu bestimmt sind, eine weitere Erklärung der beanspruchten Erfindung zu geben.
Die beigefügten Zeichnungen, welche als Teil dieser Anmeldung ein tieferes Verständnis der Erfindung ermöglichen, zeigen Ausführungsformen der Erfindung und dienen zusammen mit der Beschreibung zum Erklären des Prinzips von Ausführungsformen der Erfindung.

1 zeigt ein Blockschema einer beispielhaften Displayeinheit, welche eine Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung aufweist;
2 zeigt eine schematische Beschreibung der Displayeinheit von 1;
3 zeigt ein Schaltbild eines Teils einer Bildpunktmatrix von 2;
4 stellt einen beispielhaften Blickwinkel für Kameras dar, welche an einer Displayeinheit gemäß einer Ausführungsform der Erfindung angebracht sind;
5 ist eine Querschnittsansicht der Displayeinheit von 1, welche beispielhafte Positionen von reflektionsfreien Elementen gemäß einer Ausführungsform der Erfindung zeigt;
6 ist ein Ablaufschema, welches eine Steuersequenz von einem Mehrfachberührungs-Signalverarbeitungsprogramm für eine Displayeinheit gemäß einer Ausführungsform der Erfindung repräsentiert;
7 zeigt beispielhafte Berührungsfelder auf einer Displayeinheit gemäß einer Ausführungsform der Erfindung;
8 zeigt eine schematische Beschreibung von beispielhafter Berührungsfeldidentifikation in einer Displayeinheit gemäß einer Ausführungsform der Erfindung;
9 zeigt eine schematische Beschreibung einer Triangulationsoperation in einer Displayeinheit gemäß einer Ausführungsform der Erfindung; und
10 zeigt eine schematische Beschreibung einer Triangulationsoperation in einer Displayeinheit gemäß einer Ausführungsform der Erfindung.

Nun wird im Detail auf beispielhafte Ausführungsformen der Erfindung, von denen Beispiele in den beigefügten Zeichnungen dargestellt sind, Bezug genommen.
1 zeigt ein Blockschema einer beispielhaften Displayeinheit, welche eine Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung aufweist.
Entsprechend 1 weist eine Displayeinheit mit einer Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung ein Berührungs- und Anzeigemodul 20 auf, in welchem Kameras 21A bis 21D in vier Ecken einer Bildpunktmatrix 10A, auf welcher ein Bild dargestellt wird, angeordnet sind; eine Steuerplatine 30, welche das Berührungs- und Anzeigemodul 20 steuert und die Koordinaten eines Berührungspunkts berechnet; sowie ein System 40 zum Liefern der darzustellenden RGB-Daten an die Steuerplatine 30 zusammen mit einem Timingsignal.
2 zeigt eine schematische Beschreibung der Displayeinheit von 1. Entsprechend 2 weist das Berührungs- und Anzeigemodul 20 ein Flüssigkeitskristall-Displaypaneel 10 auf, wobei eine Bildpunktmatrix 10A gebildet wird, auf welcher ein Bild dargestellt wird; einen Source-Treiber 11 zum Liefern von Datenspannungen an Datenleitungen D1 bis Dm des Flüssigkeitskristall-Displaypaneels 10; einen Gate-Treiber 12 zum Liefern von Abtastpulsen an Gate-Leitungen G1 bis Gn des Flüssigkeitskristall-Displaypaneels 10; sowie in der Nähe der vier Ecken des Flüssigkeitskristall-Displaypaneels 10 angeordnete Kameras 21A bis 21D.
3 zeigt ein Schaltbild eines Teils einer Bildpunktmatrix aus 2. Entsprechend der 2 und 3 weist das Flüssigkeitskristall-Displaypaneel 10 ein Dünnfilmtransistor-(nachstehend als „TFT“ bezeichnet)Substrat und ein Farbfiltersubstrat auf. Eine Flüssigkeitskristallschicht entsteht zwischen dem TFT-Substrat und dem Farbfiltersubstrat. In dem TFT-Substrat werden die Datenleitungen D1 bis Dm und die Gateleitungen G1 bis Gn so angeordnet, dass sie sich gegenseitig im rechten Winkel auf einem unteren Glassubstrat kreuzen, und die Flüssigkeitskristallzellen Clc werden in einer Matrixstruktur in den Zellfeldern angeordnet, welche durch die Datenleitungen D1 bis Dm und die Gate-Leitungen G1 bis Gn definiert sind. Die in den Kreuzungsbereichen der Datenleitungen D1 bis Dm und Gate-Leitungen G1 bis Gn gebildeten TFTs übertragen die Datenspannungen, welche durch die Datenleitungen D1 bis Dm geliefert werden, zu den Bildpunktelektroden der Flüssigkeitskristallzellen. Zu diesem Zweck wird eine Gate-Elektrode des TFT mit den Gate-Leitungen G1 bis Gn verbunden, und eine zugehörige Source-Elektrode wird mit den Datenleitungen D1 bis Dm verbunden. Eine Drain-Elektrode des TFT wird mit der Bildpunktelektrode der Flüssigkeitskristallzelle Clc verbunden. Eine gemeinsame Spannung Vcom liegt an einer gemeinsamen Elektrode an, welche sich gegenüber der Bildpunktelektrode befindet.
Das Farbfiltersubstrat weist einen Schwarz-Matrixfilter sowie Farbfilter auf, welche auf einem oberen Glassubstrat gebildet werden.
Hingegen wird die gemeinsame Elektrode auf einem oberen Glassubstrat in einem Ansteuerverfahren mit vertikalem elektrischen Feld gebildet, beispielsweise in einem TN-(twisted nematic)Modus und einem VA-(vertical alignment)Modus, und wird auf einem unteren Glassubstrat zusammen mit der Bildpunktelektrode in einem Ansteuerverfahren mit horizontalem elektrischen Feld gebildet, beispielsweise in einem IPS-(in-plane switching)Modus und einem FFS-(fringe field switching)Modus.
Ein Speicherkondensator Cst kann durch Überdecken der Gate-Leitung und der Bildpunktelektrode der Flüssigkeitskristallzelle Clc gebildet werden. Alternativ kann der Speicherkondensator Cst auch durch Überdecken der Bildpunktelektrode und der getrennten gemeinsamen Leitung gebildet werden.
Der Source-Treiber 11 weist eine Mehrzahl von integrierten Datenschaltkreisen (nachstehend als „IC“ bezeichnet) auf. Der Source-Treiber 11 konvertiert unter Kontrolle der Steuerplatine 30 digitale RGB-Videodaten, welche von der Steuerplatine 30 zugeführt werden, in positive oder negative analoge Gamma-Kompensationsspannungen und liefert die Gamma-Kompensationsspannungen als analoge Datenspannungen zu den Datenleitungen D1 bis Dm.
Der Gate-Treiber 12 weist eine Mehrzahl von Gate-ICs auf. Der Gate-Treiber 12 liefert unter Kontrolle der Steuerplatine 30 sequenziell Abtastpulse zu den Gate-Leitungen G1 bis Gn. Die Daten-ICs des Source-Treibers 11 und die Gate-ICs des Gate-Treibers 12 können auf dem unteren Glassubstrat durch ein COG-(chip-on-glass)Verfahren oder ein TAB-(tape-automated-bonding)Verfahren unter Verwendung eines TCP (tape carrier package) gebildet werden. Die Gate-ICs des Gate-Treibers 12 können direkt auf dem unteren Glassubstrat durch das gleichen Verfahren wie das TFT-Verfahren gebildet werden, gleichzeitig mit den TFTs der Bildpunktmatrix 10A.
Die Kameras 21A bis 21D können z.B. CMOS-(complementary metal oxide semiconductor)Sensoren sein. Die Kameras 21A bis 21D können an den vier Ecken der Bildpunktmatrix 10A am Flüssigkeitskristall-Displaypaneel 10 angeordnet sein. Jede der Kameras 21A bis 21D nimmt das Bild der Oberfläche des Displaypaneels des zugehörigen Bildpunktfelds und der Nachbarschaft davon auf. Die als die Kameras 21A bis 21D verwendeten CMOS-Sensoren können eine Auflösung von etwa 320x240 Bildpunkten bis etwa 1280x1024 Bildpunkten haben. Das Berührungsbild, welches jede Kamera 21A bis 21D aufnimmt, wird an die Steuerplatine 30 geliefert.
4 zeigt beispielhafte Blickwinkel für Kameras, welche gemäß einer Ausführungsform der Erfindung an einem Display angebracht sind. Entsprechend 4 wird für jede Kamera 21A bis 21D ein Linsenblickwinkel von etwa 90° gewählt. Der Linsenblickwinkel der Kameras 21A bis 21D kann entsprechend des Abstands zwischen dem Flüssigkeitskristall-Displaypaneel und den Kameras 21A bis 21D oder entsprechend der Größe des Flüssigkeitskristall-Displaypaneels 10 geändert werden. In einer Ausführungsform der Erfindung ist der Linsenblickwinkel von jeder der Linsen 21A bis 21D etwa 80° bis 90°. Das ist so, weil, wenn der Linsenblickwinkel der Kameras 21A bis 21D enger wird als 80°, sich die verdeckte Fläche, welche von den Kameras 21A bis 21D nicht aufgenommen wird, vergrößert, wodurch eine korrekte Bestimmung der Mehrfachberührungs-Feldes verhindert wird. Weiterhin wird, wenn der Linsenblickwinkel breiter als 90° ist, ein ungültiger Teil des Flüssigkeitskristall-Displaypaneels mit eingeschlossen, wobei ebenfalls eine korrekte Bestimmung des Mehrfachberührungs-Felds verhindert wird.
5 ist eine Querschnittsansicht der Displayeinheit aus 1, welche beispielhafte Positionen reflektionsfreier Elemente gemäß einer Ausführungsform der Erfindung zeigt. Entsprechend 5 sind reflektionsfreie Elemente 13 in der Nähe des Rands des Glassubstrats des Flüssigkeitskristall-Displaypaneels 10 installiert. Die reflektionsfreien Elemente 13 weisen irgendeinen Anti-Reflektor, eine schwarze Schicht und zwei Schichten Polarisationsfilter auf, welche so angeordnet sind, dass ihre optischen Absorptionsachsen einander kreuzen. Die reflektionsfreien Elemente 13 sind vor den Linsen der Kameras 21A bis 21D angeordnet und um eine bestimmte Höhe (h1) über die Oberfläche des Glassubstrats angehoben. Die Höhe (h1) zwischen den reflektionsfreien Elementen 13 und der Oberfläche des Glassubstrats des Flüssigkeitskristall-Displaypaneels 10 ist umgekehrt proportional zu der Größe des Flüssigkeitskristall-Displaypaneels 10 und proportional zum Abstand zwischen dem Glassubstrat und der Kameralinse. In einer Ausführungsform liegt die Höhe h1 in einem Bereich von ein paar bis zu einigen Duzend Millimetern (mm).
Die reflektionsfreien Elemente 13 und die Kameras 21A bis 21D sind am Rand einer Konsole 14 fixiert, welche das Berührungs- und Anzeigemodul 20 trägt. Die reflektionsfreien Elemente 13 absorbieren oder schirmen externes Licht ab und verhindern eine durch das in die Linsen der Kameras 21A bis 21D einfallende Licht verursachte optische Interferenz.
Die Steuerplatine 30 ist mit dem Source-Treiber 11 und dem Gate-Treiber 12 durch einen FRC (flexible printed circuit) und einen Anschlussstecker verbunden. Die Steuerplatine 30 weist einen Timing-Controller 31 und einen Mehrfachberührungs-Prozessor 32 auf. Der Timing-Controller 31 erzeugt ein Gate-Steuersignal zum Steuern des Betriebs-Timings des Gate-Treibers 12 und ein Daten-Steuersignal zum Steuern des Betriebs-Timings des Source-Treibers 11 unter Nutzung vertikal/horizontaler Signale V, H und eines Takts CLK. Weiterhin liefert der Timing-Controller 31 die vom System 40 eingegebenen digitalen RGB-Videodaten an den Source-Treiber 11. Der Timing-Controller kann die Kameras 21A bis 21D miteinander synchronisieren, so dass Bilder der Oberfläche des Displaypaneels nahezu gleichzeitig erfasst werden. Durch das Synchronisieren der Erfassung der Bilder durch die Kameras 21A bis 21D kann das Berührungsfeld mit einer besseren Genauigkeit bestimmt werden.
Dem Mehrfachberührungs-Prozessor werden periodisch digitale RGB-Videodaten des Hintergrundbilds vom Timing-Controller zugeführt, als Antwort auf die vertikalen/horizontalen Synchronisierungssignale V, H und den Takt CLK, so dass die RGB-Daten gespeichert werden. Weiterhin führt der Mehrfachberührungs-Prozessor ein Mehrfachberührungs-Signalverarbeitungsprogramm aus, so dass ein vorher erfasstes Hintergrundbild mit einem gerade von den Kameras 21A bis 21D erfassten Berührungsbild verglichen wird, wobei ein Berührungsbild extrahiert wird. Hierbei wird das vorher von den Kameras 21A bis 21D aufgenommene Hintergrundbild in einem Speicher des Mehrfachberührungs-Prozessors 32 gespeichert. Zusätzlich berechnet der Mehrfachberührungs-Prozessor 32 die Koordinaten für das Berührungsbild und liefert das zugehörige Ergebnis Txy an das System 40. Der Mehrfachberührungs-Prozessor 32 tauscht das Timing-Signal, wie beispielsweise die vertikalen/horizontalen Synchronisierungssignale V, H und den Takt CLK, mit dem Timing-Controller 31 aus, wobei der Mehrfachberührungs-Prozessor 32 synchron mit dem Timing-Controller 31 operiert. Folglich, weil der Timing-Controller 31 mit dem Mehrfachberührungs-Prozessor 32 synchronisiert ist, können die Anzeige des zusammengesetzten Bilds des Berührungsbilds und des Hintergrundbilds im Flüssigkeitskristall-Displaypaneel 10 und das Koordinatenberechnungsverfahren des Berührungspunkts synchronisiert werden.
Das System 40 weist einen Speicher auf, in welchem ein Anwendungsprogramm abgelegt ist; eine CPU (central processing unit) zum Ausführen des Anwendungsprogramms; sowie einen Graphik-Verarbeitungsschaltkreis zum Verbinden des Hintergrundbilds und des Berührungsbilds und Verarbeiten der Signalinterpolation der zusammengesetzten Daten, der Konversion der zugehörigen Auflösung, und Ähnlichem. Das System 40 empfängt die Koordinatendaten Txy von dem Mehrfachberührungs-Prozessor 32 und führt das Anwendungsprogramm in Verbindung mit dem Koordinatenwert der Koordinatendaten aus. Wenn z.B. ein Icon eines speziellen Anwendungsprogramms durch Koordinaten eines Berührungspunkts gegeben ist, lädt das System 40 das Programm in den Speicher und führt das Programm aus. Weiterhin kann das System 40 auf einem PC (personal computer) implementiert werden und Daten mit dem Mehrfachberührungs-Prozessor 32 über eine serielle Schnittstelle oder eine USB-(universal serial bus)Schnittstelle austauschen.
6 ist ein Ablaufplan, welcher eine Steuersequenz eines Mehrfachberührungs-Signalverarbeitungsprogramms für eine Displayeinheit gemäß einer Ausführungsform der Erfindung repräsentiert. 7 zeigt beispielhafte Berührungsgebiete auf einer Displayeinheit gemäß einer Ausführungsform der Erfindung. Entsprechend 6 empfängt das Mehrfachberührungs-Signalverarbeitungsprogramm das Berührungsbild, welches von den Kameras 21A bis 21D aufgenommen wird, und extrahiert das Bild des gültigen Berührungsfelds durch eine Bildschirmfensterverarbeitung (S1 und S2). Entsprechend 7 weist das von den Kameras 21A bis 21D aufgenommene Bild das Bild eines ungültigen Berührungsfelds entsprechend des Bereichs über der Berührungs-Oberfläche auf, genauso wie das Bild eines gültigen Berührungsfelds, aufgenommen auf der Berührungsfläche der Bildpunktmatrix. Folglich extrahiert das Mehrfachberührungs-Signalverarbeitungsprogramm mittels Bildschirmfenster-Verarbeitung das Bild (den verdeckten Teil) des gültigen Berührungsfelds), wo die Berührung stattfindet, in der Nähe der Berührungs-Oberfläche aus dem von jeder der Kameras 21A bis 21D aufgenommenen Bild. Die Bildschirmfenster-Verarbeitung verwendet eine derartige Bildextraktions-Technik, so dass für das zugeführte Bildsignal durch eine Untermatrix-Operation nur ein Zielbild extrahiert wird.
Danach konvertiert das Mehrfachberührungs-Signalverarbeitungsprogramm RGB-Daten, welche in dem Bild des gültigen Berührungsfelds enthalten sind, das durch die Bildschirmfenster-Verarbeitung extrahiert wurde, in Grauwerte oder Grauwert-Intensitäten (S3). Das von den Kameras 21A bis 21D aufgenommene Bild weist RGB-Daten auf, und das gültige Berührungsbild, welches durch die Bildschirmfenster-Verarbeitung extrahiert wurde, weist auch RGB-Daten auf. Die RGB-Daten von dem gültigen Berührungsbild werden in Grauwerte konvertiert, entsprechend der mathematischen Formel 1 in Schritt S3 unten. Zum Ermitteln der Berührungsinformation werden die Grauwerte in dem Hintergrundbild, welche im Bildpunktfeld 10A des Flüssigkeitskristall-Displaypaneels 10 gezeigt werden, und die Grauwerte des Bilds, das von den Kameras erfasst wird, verglichen. $Grauwertintensität = pR + qG + sB$
Hierbei sind p, q, und s Konstanten, von denen jede einen anderen Wert aufweist.
In einer Displayeinheit gemäß einer Ausführungsform der Erfindung wird die Berührungsbildbestimmung durch Vergleich eines Hintergrundbilds, z.B. des in dem Bildpunktfeld 10A gezeigten Bilds des Flüssigkeitskristall-Displaypaneels 10 mit dem Bild, welches von einer der Kameras 21A bis 21D erfasst wurde, durchgeführt, so dass das zugehörige Berührungsbild extrahiert wird, welches die Stelle der derzeitigen Berührung zeigt. In einer Displayeinheit gemäß einer anderen Ausführungsform wird die Berührungsbild-Erfassung durch Vergleich eines vorher gespeicherten Bilds, welches von einer der Kameras 21A bis 21D erfasst wurde, mit einem neuen Bild, welches von der entsprechenden der Kameras 21A bis 21D aufgenommen wurde, durchgeführt, so dass das zugehörige Berührungsbild extrahiert wird, welches die Stelle der derzeitige Berührung zeigt. Die Extrahierung des Berührungsbilds kann z.B. erreicht werden durch eine Differenzoperation zwischen dem Hintergrund (oder dem vorher gespeicherten erfassten Bild) und dem neuen erfassten Bild (S4) .
Danach vergleicht das Mehrfachberührungs-Signalverarbeitungsprogramm die Grauwertintensität des Berührungsbilds, welches in S4 extrahiert wurde, mit dem voreingestellten Schwellwert. Zusätzlich konvertiert das Mehrfachberührungs-Signalverarbeitungsprogramm die Grauwertintensität des Berührungsbilds nur für die Daten, die gleich oder größer als der Schwellwert sind, in weiße Daten, und konvertiert die Daten unterhalb des Schwellwerts in schwarze Daten (S5). Die weißen Daten repräsentieren eine gültige Berührungsstelle und die schwarzen Daten repräsentieren die ungültigen Daten, welche in dem Berührungsbild überhaupt nicht berührt werden. Der Schwellwert kann experimentell bestimmt werden.
8 zeigt eine schematische Beschreibung einer beispielhaften Berührungsfeldidentifikation in einer Displayeinheit gemäß einer Ausführungsform der Erfindung. Entsprechend 8 identifiziert im Schritt S6 das Mehrfachberührungs-Signalverarbeitungsprogramm ermittelte Berührungsfelder unter Verwendung einer eindeutigen Bezeichnung (z.B. 1 bis 5) für jedes der weißen Daten, d.h. gültigen Berührungsstellendaten.
Danach berechnet das Mehrfachberührungs-Signalverarbeitungsprogramm den Winkel der Kamera gegenüber dem gültigen Berührungsfeld unter Verwendung eines Winkelberechungsalgorithmus, um die Stelle für jedes konvertierte gültige Berührungsfeld in der zweidimensionalen Ebene zu finden. Dann berechnet das Mehrfachberührungs-Signalverarbeitungsprogramm die zweidimensionale Stelle unter Verwendung einer Triangulationsoperation basierend auf den berechneten Winkeldaten entsprechend der unten gezeigten mathematischen Formel 2 (S7 und S8).
9 zeigt eine schematische Beschreibung einer Triangulationsoperation in einer Displayeinheit gemäß einer Ausführungsform der Erfindung. Die folgende mathematische Formel 2 ist eine Berechnungsformel, welche eine Berührungsstelle in den zweidimensionalen xy-Koordinatenwert umrechnet und von zwei Kameras gemessene Winkel A und B, einen Winkel C zwischen der Berührungsstelle und den Kameras, sowie Abstände a, b und c zwischen zwei Kameras und der Berührungsstelle aufweist. Hierbei wird der Winkel C zwischen der Berührungsstelle und den Kameras als C = 180 - A - B berechnet. $\begin{array}{l} a = c * \frac{sin A}{sin B} \\ b = c * \frac{sin B}{sin C} \\ x = b * cos A \\ y = b * sin A \end{array}$
Auf diese Weise, wenn die xy-Koordinatendaten (Cxy) für jede Berührungsstelle durch das Mehrfachberührungs-Signalverarbeitungsprogramm berechnet werden, erzeugt das System 40 Berührungsdaten unter Verwendung der zugehörigen Koordinatendaten und verbindet die Berührungsdaten mit dem Hintergrundbild, welches in dem Flüssigkeitskristall-Display 10 gezeigt werden soll. Die mit den Hintergrunddaten verbundenen Berührungsdaten werden zum Timing-Controller 31 übertragen, so dass sie in dem Flüssigkeitskristall-Displaypaneel 10 angezeigt werden. Die Berührungsdaten können in Kombination mit dem Hintergrundbild in verschiedenen Formen dargestellt werden.
In dem Berührungsstellen-Berechnungsverfahren von S7 und S8 kann das Ansteuerverfahren der Displayeinheit mit der Mehrfachberührungs-Erkennungsfunktion für eine Displayeinheit gemäß einer Ausführungsform der Erfindung ein Verfahren des Überprüfens der Stellen der Berührungspunkte aufweisen, welche durch die mathematischen Formel 2 mittels Triangulation berechnet wurden.
10 zeigt eine schematische Beschreibung einer Prüfoperation in einer Displayeinheit gemäß einer Ausführungsform der Erfindung. Entsprechend 10 und unter der Annahme, dass es zwei Mehrfachberührungs-Punkte (XI, Y1), (X2, Y2) auf der Displayoberfläche 10A gibt, wird das Triangulationsergebnis von vier Paaren der Kameras (21C und 21D, 21A und 21B, 21B und 21D, 21A und 21C), welche für jeden der zwei Punkte zueinander benachbart sind, mittels der mathematischen Formel 3 verglichen und bestimmt. $\begin{array}{l} X 1 : Axcos (θ 1) && (L - Cxsin (θ 3)) && (H - Excos (θ 6)) &&Gxsin (θ 8) \\ Y 1 : Axsin (θ 1) && (L - Cxcos (θ 3)) && (H - Exsin (θ 6)) &&Gxcos (θ 8) \\ X 2 : Bxcos (θ 2) && (L - Dxsin (θ 4)) && (H - Fxcos (θ 5)) &&Hxsin (θ 7) \\ Y 2 : Bxsin (θ 2) && (L - Dxcos (θ 4)) && (H - Fxsin (θ 5)) &&Hxcos (θ 7) \end{array}$
In der mathematischen Formel 3 repräsentiert „&&“ die Vergleichsoperation. Das Mehrfachberührungs-Signalverarbeitungsprogramm übernimmt die Stelle nicht als die Berührungsstelle, wenn der Fehlerwert der Stelle, welcher von den benachbarten Kamerapaaren (21C und 21D, 21A und 21B, 21B und 21D, 21A und 21C) in den Prüfverfahren gemessen wird, wie in 10 und der mathematischen Formel 3 gezeigt, den voreingestellten Schwellwert überschreitet.
Die Displayeinheit mit der Mehrfachberührungs-Erkennungsfunktion gemäß einer Ausführungsform der Erfindung und das zugehörige Ansteuerverfahren können nicht nur den Minderungsfaktor des Öffnungsverhältnisses durch Anordnen der Kameras im Gebiet außerhalb der Bildpunktmatrix minimieren, sondern können auch die Minderung der baulichen Stabilität, ohne dass das Design der integrierten Displayeinheit umgeformt wird, durch Integrieren des Berührungserkennungsmoduls mit dem Flüssigkeitskristall-Displaymodul minimieren. Insbesondere erkennt die Erfindung die Mehrfachberührungsstelle in der Displayeinheit und zeigt das Hintergrundbild und das Berührungsbild in der Displayeinheit in Echtzeit an, so dass die Erfindung für eine Berührungserkennung, eine Bildabtastung und eine Fingerabdruckerkennung, usw. verwendet werden kann.
Andererseits kann das Flüssigkeitskristall-Displaypaneel 10 des Berührungs- und Anzeigemoduls 20 durch andere flache Displaypaneele ersetzt werden, z.B. ein OLED-(organic light emitting diode)Displaypaneel, ein PDP (plasma display panel), ein FED-(field emitting display)Paneel oder ein Displaypaneel in Form einer dreidimensionalen Bilddisplayeinheit inklusive des Flachdisplaypaneels.
Wie oben beschrieben, können die Displayeinheit mit der Mehrfachberührungs-Erkennungsfunktion gemäß der Ausführungsform der Erfindung und das zugehörige Ansteuerverfahren nicht nur den Minderungsfaktor des Öffnungsverhältnisses durch Anordnen der Kameras in dem Gebiet außerhalb der Bildpunktmatrix minimieren, sondern können auch die Verminderung der baulichen Stabilität, ohne Umformung des Designs der integrierten Displayeinheit mittels Integrieren des Berührungserkennungsmoduls mit dem Flüssigkeitskristall-Displaymodul minimieren. Weiterhin kann die Erfindung einen Schaltkreis optimieren, welcher das Flüssigkeitskristall-Displaymodul steuert und die Berührungserkennung abarbeitet.
Es wird Fachleuten offensichtlich erscheinen, dass verschiedene Modifikationen und Variationen der Ausführungsformen der Erfindung möglich sind. Deshalb ist es vorgesehen, dass Ausführungsformen der Erfindung die Modifikationen und Variationen der hierin beschriebenen Ausführungsformen abdecken, soweit sie sich im Bereich der beigefügten Ansprüche befinden.

Claims

Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion, welche aufweist: ein Einbaumodul (20), das ein Displaypaneel (10) und eine Mehrzahl von an einem Rand des Displaypaneels (10) integrierten Kameras (21A bis 21D) aufweist; einen Prozessor (32), welcher ein Berührungsfeld unter Verwendung von mindestens einem ersten und einem zweiten Bild, welche durch die Mehrzahl von Kameras (21A bis 21D) aufgenommen wurden, bestimmt; eine Konsole (14), die das Einbaumodul (20) trägt; und mindestens ein reflektionsfreies Element (13), das an der Konsole (14) befestigt ist, vor jeder Kamera (21A bis 21D) in einer Höhe (h1) über der Oberfläche des Displaypaneels (10), so dass eine optische Störung durch einfallendes Licht vermieden wird, wobei das reflektionsfreie Element (13) zwei Schichten Polarisationsfilter aufweist, welche so angeordnet sind, dass ihre optischen Absorptionsachsen einander kreuzen, wobei die Mehrzahl von Kameras (21A bis 21D) erste bzw. zweite Kameras (21A, 21B) aufweist, welche die ersten bzw. zweiten Bilder des Displaypaneels (10) aufnehmen, sowie den Prozessor (32), welcher jedes der ersten und zweiten erfassten Bilder mit einem gezeigten Bild vergleicht, so dass das Berührungsfeld bestimmt wird, und wobei die Mehrzahl von Kameras (21A bis 21D) weiterhin eine dritte Kamera (21C) bzw. eine vierte Kamera (21D) aufweist, welche ein drittes bzw. ein viertes Bild des Displaypaneels (10) erfasst, und wobei der Prozessor (32) das Berührungsfeld, welches durch die erste Kamera (21A) und die zweite Kamera (21B) bestimmt wurde, mittels des Berührungsfelds, welches durch die dritte Kamera (21C) und die vierte Kamera (21D) bestimmt wurde, überprüft.
Displayeinheit gemäß Anspruch 1, ferner aufweisend einen Controller (31), welcher mit dem Prozessor (32) synchronisiert ist, zum Steuern des Darstellens eines Hintergrundbilds auf dem Displaypaneel (10) und dem Erfassen des ersten Bilds und des zweiten Bilds durch den Prozessor (32) .
Displayeinheit gemäß Anspruch 1, wobei ein Blickwinkel von jeder der ersten Kamera (21A) und der zweiten Kamera (21B) in einem Bereich von etwa 80 bis 90 Grad liegt.
Displayeinheit gemäß Anspruch 1, wobei die Höhe (h1) umgekehrt proportional zu einer Größe des Displaypaneels (10) ist.
Displayeinheit gemäß Anspruch 1, wobei die Höhe (h1) der mindestens einen reflektionsfreien Einheit (13) über der Oberfläche des Displaypaneels (10) proportional ist zu einem Abstand zwischen der Oberfläche des Displaypaneels (10) und der zugehörigen von den Kameras (21A bis 21D).
Displayeinheit gemäß Anspruch 1, wobei das mindestens eine reflektionsfreie Element (13) eine schwarze Schicht oder einen Anti-Reflektor aufweist.
Displayeinheit gemäß Anspruch 1, wobei ein Controller (31) die erste Kamera (21A) und die zweite Kamera (21B) synchronisiert, so dass das erste Bild und das zweite Bild im Wesentlichen gleichzeitig erfasst werden.
Displayeinheit, aufweisend: ein Displaypaneel (10) zum Anzeigen von Displaydaten, welche ein Displaybild repräsentieren; eine erste Erfassungseinheit und eine zweite Erfassungseinheit, welche an dem Displaypaneel (10) montiert sind, wobei jede von der ersten Erfassungseinheit und der zweiten Erfassungseinheit ein erstes Bild und ein zweites Bild des Displaypaneels (10) erfasst; einen Prozessor (32), welcher die Displaydaten mit jedem von dem ersten erfassten Bild und dem zweiten erfassten Bild vergleicht, so dass ein Berührungsfeld auf dem Displaypaneel (10) bestimmt wird; eine Konsole (14), die jede der Erfassungseinheiten trägt; mindestens ein reflektionsfreies Element (13), das an der Konsole (14) befestigt ist, vor jeder Erfassungseinheit in einer Höhe (h1) über der Oberfläche des Displaypaneels (10), so dass eine optische Störung durch einfallendes Licht vermieden wird; und eine dritte Erfassungseinheit und eine vierte Erfassungseinheit, welche an dem Displaypaneel (10) montiert sind, wobei jede von der dritten Erfassungseinheit und der vierten Erfassungseinheit dritte Bilder und vierte Bilder des Displaypaneels (10) erfasst, wobei das reflektionsfreie Element (13) zwei Schichten Polarisationsfilter aufweist, welche so angeordnet sind, dass ihre optischen Absorptionsachsen einander kreuzen, wobei der Prozessor (32) die Displaydaten mit jeder von dem dritten erfassten Bild und vierten erfassten Bild vergleicht, so dass das Berührungsfeld auf dem Displaypaneel (10) bestimmt wird, und wobei der Prozessor (32) das Berührungsfeld, welches durch die erste Erfassungseinheit und die zweite Erfassungseinheit bestimmt wurde, mittels des Berührungsfelds überprüft, welches durch die dritte Erfassungseinheit und die vierte Erfassungseinheit bestimmt wurde.
Displayeinheit gemäß Anspruch 8, wobei die Höhe (h1) umgekehrt proportional zu einer Größe des Displaypaneels (10) ist.
Displayeinheit gemäß Anspruch 9, wobei die Höhe der mindestens einen reflektionsfreien Einheit (13) über der Oberfläche des Displaypaneels (10) proportional zu einem Abstand zwischen der Oberfläche des Displaypaneels (10) und der zugehörigen Erfassungseinheiten ist.
Displayeinheit gemäß Anspruch 8, wobei ein Blickwinkel von jeder der ersten Erfassungseinheit und der zweiten Erfassungseinheit klein genug ist, so dass ein Erfassen von einem unerwünschten Anteil des Displaypaneels (10) vermieden wird, aber groß genug, so dass ein von dem ersten erfassten Bild ausgeschlossenes verdecktes Gebiet reduziert wird.
Displayeinheit gemäß Anspruch 11, wobei der Blickwinkel von jeder der ersten Erfassungseinheit und der zweiten Erfassungseinheit in einem Bereich von etwa 80 bis etwa 90° liegt.