JP2019525359A - マルチタッチディスプレイ装置及びそのタッチ認識方法 - Google Patents

マルチタッチディスプレイ装置及びそのタッチ認識方法 Download PDF

Info

Publication number
JP2019525359A
JP2019525359A JP2019510868A JP2019510868A JP2019525359A JP 2019525359 A JP2019525359 A JP 2019525359A JP 2019510868 A JP2019510868 A JP 2019510868A JP 2019510868 A JP2019510868 A JP 2019510868A JP 2019525359 A JP2019525359 A JP 2019525359A
Authority
JP
Japan
Prior art keywords
touch
user
display panel
coordinates
temporary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019510868A
Other languages
English (en)
Other versions
JP6700485B2 (ja
Inventor
リム、クケチャン
チョン、ジンスー
シン、デュクムン
ユン、チャンミン
Original Assignee
エスケー テレコム カンパニー、リミテッド
エスケー テレコム カンパニー、リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エスケー テレコム カンパニー、リミテッド, エスケー テレコム カンパニー、リミテッド filed Critical エスケー テレコム カンパニー、リミテッド
Publication of JP2019525359A publication Critical patent/JP2019525359A/ja
Application granted granted Critical
Publication of JP6700485B2 publication Critical patent/JP6700485B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本発明はマルチタッチディスプレイ装置及びそのタッチ認識方法に関し、ユーザの少なくとも２本以上の指によるディスプレイパネル上の第１のタッチを感知するステップと、前記第１のタッチの複数のタッチ位置を初期入力として認識するステップと、前記初期入力に基づいて前記ユーザの位置を推定するステップと、前記ユーザの位置に基づいて前記ディスプレイパネルに複数のタッチ領域を設定するステップと、前記ディスプレイパネル上の第２のタッチを感知して前記第２のタッチの臨時座標として認識するステップと、前記臨時座標が前記複数のタッチ領域のうちどの領域に位置するのかを判別するステップと、前記判別結果に基づいて、前記臨時座標に対する補正方向及び補正量を決定するステップと、前記臨時座標に前記補正方向及び前記補正量を適用して、前記第２のタッチの最終座標を決定するステップと、を含む。

Description

本発明は、マルチタッチディスプレイ装置及びそのタッチ認識方法に関し、より詳しくは、マルチタッチを支援するディスプレイ装置におけるユーザによるタッチ位置の座標を補正して認識するマルチタッチディスプレイ装置及びそのタッチ認識方法に関する。
周知の如く、スマホなどのようにタッチスクリーンとディスプレイパネルとが一体化されたディスプレイ手段を採用するディスプレイ装置においては、ユーザによってディスプレイパネルが機械的にタッチされる座標と、ユーザが所望する入力座標とが異なる状況が発生するようになる。これはユーザの視線の向きや指の折り曲げの度合いによってユーザが所望する入力座標と、タッチスクリーンによって感知された座標との間にばらつきが生じて、当該ばらつきの大きさが状況によって変わるからである。
これによって、従来はディスプレイパネルに対するユーザのタッチ面積を計算し、計算された面積を基に、ユーザの使用パターン、すなわち指を立ててタッチしたか、それともどのくらい指を斜めにしてタッチしたかを推定して、その推定結果によってタッチ位置を補正して認識していた（例えば、韓国登録特許公報第１０−１０８０５１２号参照）。一方、近年はテーブルの上面にマルチタッチを支援するディスプレイパネルを備えたテーブルトップディスプレイ装置が広く用いられており、このようなテーブルトップディスプレイ装置は多数の人々が共同作業をする時に相互作用をし易くするように大型化される傾向にある。
ところが、大型フラットディスプレイパネルを備えた大型テーブルトップディスプレイ装置では、ユーザによってディスプレイパネルが機械的にタッチされる座標と、ユーザが所望する入力座標とが異なる状況が、スマホなどのような小型デバイスに比してもっとよく、かつもっと大きなばらつきで発生してしまい、これを解決するための対応策が必要な状況である。
韓国登録特許公報第１０−１０８０５１２号
本発明の実施形態によれば、ディスプレイパネルに対するユーザのタッチ位置をユーザの位置に基づいて決定した補正方向及び補正量によって補正して認識するマルチタッチディスプレイ装置及びそのタッチ認識方法を提供する。
ただし、本発明の解決しようとする課題は前述したものに制限されず、言及されなかったまた他の解決しようとする課題は、後述する記載から本発明の属する通常の知識を持つ者にとって明確に理解されることができるはずである。
本発明の一態様では、マルチタッチディスプレイ装置で行われるタッチ認識方法は、ユーザの少なくとも２本以上の指によるディスプレイパネル上の第１のタッチを感知するステップと、前記第１のタッチの複数のタッチ位置を初期入力として認識するステップと、前記初期入力に基づいて前記ユーザの位置を推定するステップと、前記ユーザの位置に基づいて前記ディスプレイパネルに複数のタッチ領域を設定するステップと、前記ディスプレイパネル上の第２のタッチを感知して前記第２のタッチの臨時座標として認識するステップと、前記臨時座標が前記複数のタッチ領域のうちどの領域に位置するのかを判別するステップと、前記判別結果に基づいて、前記臨時座標に対する補正方向及び補正量を決定するステップと、前記臨時座標に前記補正方向及び前記補正量を適用して、前記第２のタッチの最終座標（確定座標）を決定するステップと、を含むことができる。
本発明の他の態様では、マルチタッチディスプレイ装置は、ディスプレイパネルと、該ディスプレイパネルに対するユーザのタッチ入力を認識可能な入力インターフェースとを備えたディスプレイ部と、前記タッチに対応するタッチ位置を認識する制御部と、を含み、前記制御部は、前記ユーザの少なくとも２本以上の指による前記ディスプレイパネル上の第１のタッチを前記入力インターフェースによって感知し、前記第１のタッチの複数のタッチ位置を初期入力として認識して、前記初期入力に基づいて前記ユーザの位置を推定し、前記ユーザの位置に基づいて前記ディスプレイパネルに複数のタッチ領域を設定し、前記ディスプレイパネル上の第２のタッチを前記入力インターフェースによって感知して前記第２のタッチの臨時座標として認識し、前記臨時座標が前記複数のタッチ領域のうちどの領域に位置するのかを判別し、前記判別結果に基づいて前記臨時座標に対する補正方向及び補正量を決定し、前記臨時座標に前記補正方向及び前記補正量を適用して前記第２のタッチの確定座標を決定することができる。
本発明によれば、ディスプレイパネルに対するユーザのタッチ位置をユーザの位置に基づいて決定した補正方向及び補正量によって補正して認識する。
したがって、ユーザによってディスプレイパネルが機械的にタッチされる座標と、ユーザが所望する入力座標との間のばらつきが最小化されるという効果がある。
図１は、本発明の実施形態によるマルチタッチディスプレイ装置の外形図である。 図２は、本発明の実施形態によるマルチタッチディスプレイ装置のブロック構成図である。 図３は、本発明の実施形態によるマルチタッチディスプレイ装置で行われるタッチ認識方法を説明するための流れ図である。 図４は、本発明の実施形態によるマルチタッチディスプレイ装置でユーザによって行われるタッチ入力に対する例示図である。 図５ａは、本発明の実施形態によるマルチタッチディスプレイ装置で測定されたタッチ形状（ｔｏｕｃｈ ｓｈａｐｅ）に対する例示図である。 図５ｂは、本発明の実施形態によるマルチタッチディスプレイ装置で測定されたタッチ形状（ｔｏｕｃｈ ｓｈａｐｅ）に対する例示図である。 図６は、本発明の実施形態によるマルチタッチディスプレイ装置で設定されるタッチ領域に対する例示図である。 図７は、本発明の実施形態によるマルチタッチディスプレイ装置で設定されるタッチ領域に対する例示図である。 図８は、本発明の実施形態によるマルチタッチディスプレイ装置でユーザがディスプレイパネルをタッチする時の手首および指の位置を示した図である。 図９ａは、本発明の実施形態によるマルチタッチディスプレイ装置でユーザとディスプレイパネルとの間の離隔距離の変化によってタッチ形状が変わることを示した図である。 図９ｂは、本発明の実施形態によるマルチタッチディスプレイ装置でユーザとディスプレイパネルとの間の離隔距離の変化によってタッチ形状が変わることを示した図である。 図９ｃは、本発明の実施形態によるマルチタッチディスプレイ装置でユーザとディスプレイパネルとの間の離隔距離の変化によってタッチ形状が変わることを示した図である。
本発明の特長、並びにそれを達成するための方法は、添付の図面と一緒に詳しく後述する実施形態を参照すると明確になるはずである。しかし、本発明は以下に開示される実施形態に限定されるものではなく、相異なる多様な形態で具現されることができ、ただし本実施形態は本発明の開示を完全にし、本発明の属する技術分野における通常の知識を持つ者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されなければならない。
本発明の実施形態を説明するに際して公知の機能又は構成に対する具体的な説明が本発明の要旨を無駄に濁し得ると判断される場合にはその詳細な説明を略する。また後述する用語は、本発明の実施形態での機能を考慮して定義された用語であって、これらはユーザ、オペレータの意図または慣例などによって変わる。それゆえ、その定義は、本明細書の全般に亘っての内容に基づいて定義されなければならない。
図１は、本発明の実施形態によるマルチタッチディスプレイ装置の外形図であり、図２は本発明の実施形態によるマルチタッチディスプレイ装置のブロック構成図である。
本発明の実施形態によるマルチタッチディスプレイ装置１００は、テーブルトップ型のマルチタッチディスプレイ装置であることができ、ディスプレイ部１１０、制御部１２０、格納部１３０、及びテーブル部１４０を含む。ディスプレイ部１１０は入力インターフェース１１１とディスプレイパネル１１２とを含む。
ディスプレイ部１１０は、制御部１２０の制御信号によって画像が表示されるディスプレイパネル１１２を含む。例えば、ディスプレイパネル１１２はＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）パネルなどのような表示装置で具現できる。
また、ディスプレイ部１１０は、ディスプレイパネル１１２に対するユーザのタッチ入力を認識可能な入力インターフェース１１１をさらに含む。例えば、入力インターフェース１１１は、タッチスクリーンパネルにおける電気容量の変化を感知して信号発生位置を感知する静電容量方式のタッチスクリーンで具現することができる。もしくは、入力インターフェース１１１は、ディスプレイパネル１１２の周縁に沿って所定の間隔を隔てて配置されて赤外線を送受信し、ユーザのタッチ入力による赤外線の送受信遮断の際にタッチ位置を感知する赤外線送受信モジュールで具現することもできる。
制御部１２０は、入力インターフェース１１１による感知信号に基づいて、ディスプレイパネル１１２に対するタッチに対応するタッチ位置の座標を認識する。例えば、制御部１２０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのようなプロセッサで具現することができる。
このような制御部１２０は、ユーザの左手又は右手の少なくとも２本以上の指によるディスプレイパネル１１２の第１のタッチを感知して複数のタッチ位置の座標を初期入力として認識する。例えば、制御部１２０は左手の５本の指を用いたタッチを初期入力として入力されたり、右手の５本の指を用いたタッチを初期入力として入力されたりすることができる。
そして、制御部１２０は初期入力に基づいてユーザの位置を推定する。ここで、制御部１２０は複数のタッチ位置の座標の中で親指が接触された位置と、他の指が接触された位置との相対的位置を踏まえて、初期入力としてディスプレイパネルに接触された手が左手か右手かを判定することができる。そして、左手が接触されたと判定された場合は、タッチ位置の右側にユーザが位置していると推定し、右手が接触されたと判定された場合は、タッチ位置の左側にユーザが位置していると推定する。
また、制御部１２０は第１のタッチの複数のタッチ位置のそれぞれに対するタッチ面積やタッチ形状または隣接するタッチ位置との間隔に基づいて手首とタッチ位置との間の距離を推定した後、推定された距離によってユーザとディスプレイパネル１１２との間の離隔距離を推定する。このとき、手首とタッチ位置との間の水平距離が推定でき、当該水平距離は同一平面（一例として、ディスプレイパネル１１２）上における手首とタッチ位置との間の直線距離を示す。例えば、各タッチ位置に対して、タッチ形状における幅が小さくなる側を尾部と分別し、尾部が長いほど手首とタッチ位置との水平距離を長いと推定し、水平距離が長いほどユーザとディスプレイパネル１１２との間の離隔距離を近いと推定する。または、複数のタッチ位置間の間隔が広いほど手首とタッチ位置との水平距離が近いと推定することができる。一方、タッチ面積が大きいほど手首とタッチ位置との水平距離を近いと推定することができる。
なお、制御部１２０は、ユーザの位置に基づいてディスプレイパネル１１２に複数のタッチ領域を設定する。例えば、制御部１２０はユーザの位置に対応する前記ディスプレイパネル１１２の第１の位置を設定し、第１の位置を中心とした相異なる直径を有する複数の同心円を仮想的に設定し、各同心円間の複数の領域を第１のタッチ領域に設定することができる。この時、ディスプレイパネル１１２の周縁の中で前記ユーザに対向する部分のいずれか一つの点を第１の位置に設定することができる。
また、制御部１２０は、左手の位置に対応するディスプレイパネル１１２の第２の位置を中心とした相異なる直径を有する複数の同心円を仮想的に設定して各同心円間の複数の領域を第２のタッチ領域に設定することができる。また、制御部１２０は右手の位置に対応するディスプレイパネル１１２の第３の位置を中心とした相異なる直径を有する複数の同心円を仮想的に設定して各同心円間の複数の領域を第３のタッチ領域に設定することができる。この時、ディスプレイパネル１１２の周縁の中で左手の位置に対向する部分のいずれか一つの点を第２の位置に設定することができ、ディスプレイパネル１１２の周縁の中で右手の位置に対向する部分のいずれか一つの点を第３の位置に設定することができる。
また、制御部１２０はユーザからのディスプレイパネル１１２に対する第２のタッチを感知して第２のタッチの座標として臨時認識する。すなわち、第２のタッチの臨時座標として認識する。例えば、第２のタッチは一本の指によるシングルタッチであり得る。
なお、制御部１２０は臨時座標がディスプレイパネル１１２に設定された複数のタッチ領域のうちどの領域に位置するのかを判別し、判別結果に基づいて臨時座標に対する補正方向及び補正量を決定する。例えば、制御部１２０は前記臨時座標が位置した第１のタッチ領域が第１の位置から遠い領域であるほど補正量を大きく決定することができる。また、制御部１２０は前記臨時座標が前記第２のタッチ領域に位置する場合、前記臨時座標が位置した第２のタッチ領域が第２の位置から遠い領域であるほど補正量を大きく決定することができる。また、制御部１２０は前記臨時座標が前記第３のタッチ領域に位置する場合、前記臨時座標が位置した第３のタッチ領域が第３の位置から遠い領域であるほど補正量を大きく決定することができる。
さらに、制御部１２０は臨時座標に予め定められた補正方向及び補正量を適用して、第２のタッチの確定座標を決定する。
格納部１３０にはマルチタッチディスプレイ装置１００の駆動のための運用プログラムと各種アプリケーションが保存される。例えば、格納部１３０はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などのようなメモリー素子で具現することができる。
次に、図１〜図９ｃを参照して本発明の実施形態によるマルチタッチディスプレイ装置１００で行われるタッチ認識方法をより詳しく説明する。
先に、マルチタッチディスプレイ装置１００は、ユーザの左手の少なくとも２本以上の指や右手の少なくとも２本以上の指を用いたディスプレイパネル１１２に対するタッチ入力を初期入力として感知するように設定され得る。例えば、最初のメニューを呼び出したり、ユーザの認証などを行ったりする場合には、左手の５本の指や右手の５本の指を用いて５点タッチが入力されることができ、これを初期入力に設定することができる。ここで、図４に示しているように、ユーザ３０１が右手３０２の５本の指を用いて５点タッチを入力したと仮定する。
すると、入力インターフェース１１１は５点タッチを感知して制御部１２０に伝達し、制御部１２０は入力インターフェース１１１による感知信号に基づいて、ディスプレイパネル１１２に対するタッチに対応するタッチ位置の座標を認識する。すなわち、制御部１２０はユーザの左手または右手の少なくとも２本以上の指によるディスプレイパネル１１２の第１のタッチを感知して複数のタッチ位置の座標を初期入力として認識する（Ｓ２１０）。
また、制御部１２０は初期入力に基づいてユーザの位置を推定する。ここで、制御部１２０は複数のタッチ位置の座標のうち親指が接触された位置と、他の指が接触された位置との相対的位置によって左手であるかそれとも右手であるかを分別することができる。
例えば、制御部１２０は、複数のタッチ位置の中でタッチ面積が相対的により大きいか、または既設定の面積よりも大きい面積を有するタッチ位置に対しては、親指がタッチされた位置であると認識することができる。また、親指のタッチ位置が他の指のタッチ位置よりも右側にある場合であれば、左手がタッチされたと認識することができる。そして親指のタッチ位置が、他の指のタッチ位置よりも左側にある場合であれば、右手がタッチされたと認識することができる。さらに、左手が接触されたと判断された場合は、タッチ位置の右側にユーザが位置すると推定し、右手が接触されたと判断された場合はタッチ位置の左側にユーザが位置すると推定する。なお、制御部１２０は各タッチ位置に対するタッチ形状において、その幅が小さくなる側（あるいはタッチ面積が小さくなる側）を尾部と分別し、該尾部が向かう方向にユーザが位置していると推定することができる。
また、制御部１２０はステップＳ２１０による第１のタッチの各タッチ位置に対するタッチ面積、タッチ形状または隣接したタッチとの間隔に基づいて、手首とタッチ位置との間の水平距離を推定した後、水平距離によってユーザとディスプレイパネル１１２との間の離隔距離を推定する。
図８は、本発明の実施形態によるマルチタッチディスプレイ装置において、ユーザがディスプレイパネル１１２をタッチする時の手首及び指の位置を示した図である。図９ａ〜図９ｃは、本発明の実施形態によるマルチタッチディスプレイ装置において、ユーザとディスプレイパネルとの間の離隔距離の変化に伴い、タッチ形状が変わることを示した図である。図９ａは、ユーザとディスプレイパネル１１２とが近接距離にある時であり、図９ｂは、ユーザとディスプレイパネル１１２とが遠く離れている時であり、図９ｃは、ユーザとディスプレイパネル１１２とが超近接距離にある時である。
例えば、制御部１２０は各タッチ位置に対するタッチ形状において、その幅が小さくなる側を尾部と分別し、尾部が長いほど手首とタッチ位置との水平距離を長いと推定する。または、タッチ位置の間の間隔が広いほど手首とタッチ位置との水平距離が近いと推定することができる。若しくは、タッチ面積が大きいほど手首とタッチ位置との水平距離を近いと推定することができる。
その後、手首とタッチ位置との水平距離が長いほどユーザとディスプレイパネル１１２との間の離隔距離を近いと推定する。この時、制御部１２０は尾部の長さ、タッチ面積またはタッチ間隔に対して複数の範囲を設定し、各範囲に対応して手首とタッチ位置との水平距離及びユーザとディスプレイパネル１１２との間の離隔距離を、マッピングテーブルの形で格納部１３０にあらかじめ保存することができる。また、尾部の長さとタッチ面積、並びにタッチ間隔のうち少なくとも一つ以上を先に推定した後、マッピングテーブルに基づいてユーザとディスプレイパネル１１２との間の離隔距離を推定することができる。例えば、タッチ面積が大きいほどユーザとディスプレイパネル１１２との間の離隔距離を長いと推定することができる。ディスプレイパネル１１２から相対的に近い位置にいるユーザがディスプレイパネル１１２を指でタッチする場合は、指を立ててタッチするようになり、ディスプレイパネル１１２から相対的に遠い位置にいるユーザがディスプレイパネル１１２を指でタッチする場合は、指を斜めにしてタッチするようになる。この際、指を斜めにしてタッチする時の方が、指を立ててタッチする時に比べて相対的により広いタッチ面積を有する。
なお、制御部１２０はステップＳ２１０による第１のタッチの各タッチ位置に対するタッチ形状によってユーザが位置している方向を推定する。図５ａ及び図５ｂのように、タッチ形状が尾部付きのものである場合に、図５ａでは垂直方向にユーザが位置していると推定することができ、図５ｂでは斜め方向にユーザが位置していると推定することができる。
このように、制御部１２０はステップＳ２１０による第１のタッチを初期入力として認識し、これに基づいてユーザの位置を総合的に推定することができる（Ｓ２２０）。
次に、制御部１２０はステップＳ２２０で推定されたユーザの位置を基盤としてディスプレイパネル１１２に複数のタッチ領域を設定する。このように設定された複数のタッチ領域に基づいて今後行うステップＳ２６０でタッチ位置の座標を確定認識する際に適用される補正量が互いに異なるように与えられる。すなわち、複数のタッチ領域は、補正量の加重値が互いに異なるように割り当てられる。
例えば、制御部１２０は、図６に示したように、ユーザ３０１の位置に対応する第１の位置を中心とした相異なる直径を有する複数の同心円を仮想的に設定し、各同心円の間の複数の領域を第１のタッチ領域に設定することができる。
また、制御部１２０は、図７に示したように、左手の位置に対応する第２の位置を中心とした相異なる直径を有する複数の同心円を仮想的に設定し、各同心円の間の複数の領域の第２のタッチ領域に設定して、右手の位置に対応する第３の位置を中心とした相異なる直径を有する複数の同心円を仮想的に設定し、各同心円の間の複数の領域を第３のタッチ領域に設定することができる（Ｓ２３０）。
その後、マルチタッチディスプレイ装置１００のユーザは、特定の情報または自分の所望する情報を入力するためにディスプレイパネル１１２へのタッチ入力を行うことができる。この時、制御部１２０はユーザによるディスプレイパネル１１２へのタッチ入力である第２のタッチを感知して第２のタッチの臨時座標として認識する。例えば、第２のタッチは、ステップＳ２１０の第１のタッチと区分するために一本の指によるシングルタッチが用いられ得る。ここで、第２のタッチの臨時座標として認識することは、ユーザによってディスプレイパネル１１２に機械的にタッチされる座標と、ユーザが所望する入力座標とが相異なる状況を考慮するためである（Ｓ２４０）。
そして、制御部１２０はステップＳ２４０で入力された臨時座標がステップＳ２３０でディスプレイパネル１１２に設定された複数のタッチ領域のうちどの領域に位置しているのかを判別する。そして、制御部１２０は判別結果に基づいて臨時座標に対する補正方向及び補正量を決定する。例えば、図６の場合にはユーザ３０１に対応する第１の位置から遠い領域に臨時座標が位置するほど補正量を大きく決定することができる。また、図７の場合にはユーザ３０１の左手の位置に対応する第２の位置から遠い領域に臨時座標が位置するほど補正量を大きく決定することができ、ユーザ３０１の右手の位置に対応する第３の位置から遠い領域に臨時座標が位置するほど補正量を大きく決定することができる。ここで、補正方向はステップＳ２２０で推定されたユーザ位置の反対方向に決められる。図５ａ及び図５ｂのようにタッチ形状が尾部付きのものである場合に、尾部の反対方向（すなわち、頭方向）が補正方向として決められることができる（Ｓ２５０）。
次に、制御部１２０はステップＳ２４０で入力された臨時座標をステップＳ２５０で決められた補正方向に補正するにあたり、ステップＳ２５０で決められた補正量だけ補正することで、第２のタッチの確定座標を決定する。
ここで、制御部１２０によって決められてタッチ位置の座標に反映される補正量は、ユーザによってディスプレイパネル１１２に機械的にタッチされる座標と、ユーザが所望する入力座標との間のばらつきに対応する値である。このばらつきの値がステップＳ２５０で決められた補正量と等しい値を有する場合には、ユーザによってディスプレイパネル１１２に機械的にタッチされる座標と、ユーザが所望する入力座標との間の誤差が完全に除去されたと見られる（Ｓ２６０）。
これまで説明したように、本発明の実施形態によれば、ディスプレイパネルに対するユーザのタッチ位置をユーザの位置を基盤として決定した補正方向及び補正量によって補正して認識する。
したがって、ユーザによってディスプレイパネルが機械的にタッチされる座標と、ユーザが所望する入力座標との間のばらつきが最小化される。
本発明に添付された各流れ図の各ステップの組み合わせは、コンピューター・プログラム命令（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｉｎｓｔｒｕｃｔｉｏｎ）によって遂行されることもできる。これらのコンピューター・プログラム命令は汎用コンピューター、特殊用コンピューターまたはその他プログラム可能なデータプロセッシング装備のプロセッサに搭載されることができるので、コンピューターまたはその他プログラム可能なデータプロセッシング装備のプロセッサによって行われるその命令が流れ図の各ステップで説明された機能を遂行する手段を生成するようになる。これらのコンピューター・プログラム命令は、特定の方式で機能を具現するために、コンピューターまたはその他プログラム可能なデータプロセッシング装備向けのコンピューター利用可能なまたはコンピューター読み取り可能なメモリーに保存されることもできるので、そのコンピューター利用可能なまたはコンピューター読み取り可能なメモリーに保存された命令は、流れ図の各ステップで説明された機能を遂行する命令手段を内包する製造品目を生産することも可能である。コンピューター・プログラム命令はコンピューターまたはその他プログラム可能なデータプロセッシング装備上に搭載されることも可能なので、コンピューターまたはその他プログラム可能なデータプロセッシング装備上で一連の動作ステップが行われてコンピューターで実行されるプロセスを生成してコンピューターまたはその他プログラム可能なデータプロセッシング装備を遂行する命令は流れ図の各ステップで説明された機能を行うためのステップを提供することも可能である。
また、各ステップは特定の論理的機能を行うための一つ以上の実行可能な命令を含むモジュール、セグメントまたはコードの一部を示すことができる。また、幾つかの種類の代替実施形態では、各ステップで言及された機能が、その順番がずれて実行されることもできることに注目しなければならない。例えば、相次いで図示されている二つのステップは、実質的に同時に行われることもでき、若しくは、そのステップが当該機能に応じて逆順に行われることもできる。
以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明の属する技術分野における通常の知識を持つ者なら本発明の本質的な特性から離脱しない範囲内で多様な修正及び変形が可能である。故に、本発明に開示された実施形態は本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施形態によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、下記特許請求の範囲によって解釈されなければならなく、それと同等な範囲内にあるすべての技術思想は本発明の権利範囲に含まれるものと解釈されなければならない。
本発明は大型テーブルトップインターフェースのためのディスプレイパネルを含むテーブルトップディスプレイ装置でユーザのタッチ位置を認識する技術分野に用いられることができる。

Claims (10)

  1. ユーザの少なくとも２本以上の指によるディスプレイパネル上の第１のタッチを感知するステップと、
    前記第１のタッチの複数のタッチ位置を初期入力として認識するステップと、
    前記初期入力に基づいて前記ユーザの位置を推定するステップと、
    前記ユーザの位置に基づいて前記ディスプレイパネルに複数のタッチ領域を設定するステップと、
    前記ディスプレイパネル上の第２のタッチを感知して前記第２のタッチの臨時座標として認識するステップと、
    前記臨時座標が前記複数のタッチ領域のうちどの領域に位置するのかを判別するステップと、
    前記判別結果に基づいて、前記臨時座標に対する補正方向及び補正量を決定するステップと、
    前記臨時座標に前記補正方向及び前記補正量を適用して、前記第２のタッチの最終座標を決定するステップと、
    を含むマルチタッチディスプレイ装置で行われるタッチ認識方法。
  2. 前記ユーザの位置を推定するステップは、
    前記第１のタッチの複数のタッチ位置のそれぞれに対するタッチ面積、タッチ形状または隣接したタッチ位置との間隔に基づいて手首とタッチ位置との間の水平距離を推定した後、推定された前記水平距離に基づいて前記ユーザと前記ディスプレイパネルとの間の離隔距離を推定することを含む、請求項１に記載のタッチ認識方法。
  3. 前記ユーザの位置を推定するステップは、
    前記第１のタッチの複数のタッチ位置のそれぞれに対するタッチ形状における尾部を分別し、前記尾部が向かう方向に前記ユーザが位置していると推定することを含む、請求項１に記載のタッチ認識方法。
  4. 前記複数のタッチ領域を設定するステップは、
    前記ユーザの位置に対応する前記ディスプレイパネルの第１の位置を中心として複数の第１のタッチ領域を設定することを含み、
    前記補正量は、前記臨時座標が位置した第１のタッチ領域と前記第１の位置との間の距離が大きいほど大きく決定される、請求項１に記載のタッチ認識方法。
  5. 前記複数のタッチ領域を設定するステップは、
    前記ユーザの左手の位置に対応する前記ディスプレイパネルの第２の位置を中心として複数の第２のタッチ領域を設定し、前記ユーザの右手の位置に対応する前記ディスプレイパネルの第３の位置を中心として複数の第３のタッチ領域を設定し、
    前記臨時座標が前記第２のタッチ領域に位置する場合、前記補正量は前記臨時座標が位置した第２のタッチ領域と前記第２の位置との間の距離が大きいほど大きく決定され、
    前記臨時座標が前記第３のタッチ領域に位置する場合、前記補正量は前記臨時座標が位置した第３のタッチ領域と前記第３の位置との間の距離が大きいほど大きく決定される、請求項１に記載のタッチ認識方法。
  6. ディスプレイパネルと、該ディスプレイパネルに対するユーザのタッチ入力を認識可能な入力インターフェースとを備えたディスプレイ部と、
    前記タッチに対応するタッチ位置を決定する制御部と、を含み、
    前記制御部は、
    前記ユーザの少なくとも２本以上の指による前記ディスプレイパネル上の第１のタッチを前記入力インターフェースによって感知し、
    前記第１のタッチの複数のタッチ位置を初期入力として認識して、
    前記初期入力に基づいて前記ユーザの位置を推定し、
    前記ユーザの位置に基づいて前記ディスプレイパネルに複数のタッチ領域を設定し、
    前記ディスプレイパネル上の第２のタッチを前記入力インターフェースによって感知して前記第２のタッチの臨時座標として認識し、
    前記臨時座標が前記複数のタッチ領域のうちどの領域に位置するのかを判別し、
    前記判別結果に基づいて前記臨時座標に対する補正方向及び補正量を決定し、
    前記臨時座標に前記補正方向及び前記補正量を適用して前記第２のタッチの最終座標を決定する、マルチタッチディスプレイ装置。
  7. 前記制御部は、
    前記第１のタッチの複数のタッチ位置のそれぞれに対するタッチ面積、タッチ形状または隣接したタッチ位置との間隔に基づいて手首とタッチ位置との間の水平距離を推定した後、推定された前記水平距離に基づいて前記ユーザと前記ディスプレイパネルとの間の離隔距離を推定する、請求項６に記載のマルチタッチディスプレイ装置。
  8. 前記制御部は、
    前記第１のタッチの複数のタッチ位置のそれぞれに対するタッチ形状における尾部を分別し、前記尾部が向かう方向に前記ユーザが位置していると推定する、請求項６に記載のマルチタッチディスプレイ装置。
  9. 前記制御部は、
    前記ユーザの位置に対応する前記ディスプレイパネルの第１の位置を中心として複数の第１のタッチ領域を設定し、
    前記補正量は、前記臨時座標が位置した第１のタッチ領域と前記第１の位置との間の距離が大きいほど大きく決められる、請求項６に記載のマルチタッチディスプレイ装置。
  10. 前記制御部は、
    前記ユーザの左手の位置に対応する前記ディスプレイパネルの第２の位置を中心として複数の第２のタッチ領域を設定し、前記ユーザの右手の位置に対応する第３の位置を中心として複数の第３のタッチ領域を設定し、
    前記臨時座標が前記第２のタッチ領域に位置する場合、前記補正量は前記臨時座標が位置した第２のタッチ領域と前記第２の位置との間の距離が大きいほど大きく決められ、
    前記臨時座標が前記第３のタッチ領域に位置する場合、前記補正量は前記臨時座標が位置した第３のタッチ領域と前記第３の位置との間の距離が大きいほど大きく決められる、請求項６に記載のマルチタッチディスプレイ装置。
JP2019510868A 2016-09-12 2017-03-29 マルチタッチディスプレイ装置及びそのタッチ認識方法 Active JP6700485B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160117215A KR101875181B1 (ko) 2016-09-12 2016-09-12 멀티터치 디스플레이 장치 및 그 터치 인식 방법
KR10-2016-0117215 2016-09-12
PCT/KR2017/003425 WO2018048050A1 (ko) 2016-09-12 2017-03-29 멀티터치 디스플레이 장치 및 그 터치 인식 방법

Publications (2)

Publication Number Publication Date
JP2019525359A true JP2019525359A (ja) 2019-09-05
JP6700485B2 JP6700485B2 (ja) 2020-05-27

Family

ID=61562090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019510868A Active JP6700485B2 (ja) 2016-09-12 2017-03-29 マルチタッチディスプレイ装置及びそのタッチ認識方法

Country Status (5)

Country Link
US (1) US11237621B2 (ja)
JP (1) JP6700485B2 (ja)
KR (1) KR101875181B1 (ja)
CN (1) CN109690458B (ja)
WO (1) WO2018048050A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200113601A (ko) 2019-03-26 2020-10-07 삼성전자주식회사 입력 장치 및 입력 장치와 상호 작용하는 전자 장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8502787B2 (en) * 2008-11-26 2013-08-06 Panasonic Corporation System and method for differentiating between intended and unintended user input on a touchpad
EP2199949A1 (en) * 2008-12-22 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Viewpoint determination
KR20100081432A (ko) * 2009-01-06 2010-07-15 엘지전자 주식회사 터치입력 보정 방법 및 그를 이용한 이동 단말기
KR101080512B1 (ko) 2009-11-20 2011-11-04 대성전기공업 주식회사 터치 스크린 보정 시스템 및 그 방법
US9013430B2 (en) * 2010-08-20 2015-04-21 University Of Massachusetts Hand and finger registration for control applications
US20120060127A1 (en) * 2010-09-06 2012-03-08 Multitouch Oy Automatic orientation of items on a touch screen display utilizing hand direction
KR101095851B1 (ko) 2010-11-10 2011-12-21 채상우 터치스크린장치 및 그 제어방법
US9104308B2 (en) * 2010-12-17 2015-08-11 The Hong Kong University Of Science And Technology Multi-touch finger registration and its applications
US8593421B2 (en) 2011-03-22 2013-11-26 Adobe Systems Incorporated Local coordinate frame user interface for multitouch-enabled devices
US20130132903A1 (en) * 2011-03-22 2013-05-23 Aravind Krishnaswamy Local Coordinate Frame User Interface for Multitouch-Enabled Applications
US8553001B2 (en) * 2011-03-22 2013-10-08 Adobe Systems Incorporated Methods and apparatus for determining local coordinate frames for a human hand
US20140062889A1 (en) * 2012-09-06 2014-03-06 Samsung Electronics Co., Ltd. Method of processing touch input for mobile device
JP2014153936A (ja) * 2013-02-08 2014-08-25 Japan Display Inc タッチ位置検出装置およびタッチ位置検出方法
KR102308202B1 (ko) * 2014-12-23 2021-10-06 삼성디스플레이 주식회사 터치 스크린 표시 장치 및 그의 구동방법

Also Published As

Publication number Publication date
CN109690458A (zh) 2019-04-26
WO2018048050A1 (ko) 2018-03-15
US11237621B2 (en) 2022-02-01
JP6700485B2 (ja) 2020-05-27
US20210286459A1 (en) 2021-09-16
KR101875181B1 (ko) 2018-07-06
CN109690458B (zh) 2022-05-10
KR20180029387A (ko) 2018-03-21

Similar Documents

Publication Publication Date Title
KR102224478B1 (ko) 터치 센서티브 플렉서블 디스플레이 디바이스 및 그 제어 방법
US10437346B2 (en) Wearable device and method of operating the same
JP6027328B2 (ja) ディスプレイ装置及びそのオブジェクト表示方法
US20160188079A1 (en) Controlling Method of Foldable Screen and Electronic Device
AU2017203910B2 (en) Glove touch detection
JP5805890B2 (ja) タッチパネルシステム
JP2014503925A (ja) タッチスクリーンを備えた端末機及びその端末機でのタッチイベント識別方法
US11422660B2 (en) Input device, input method and program
JP5703800B2 (ja) 指先タッチ判定装置及び指先タッチ判定方法
US10956030B2 (en) Multi-touch based drawing input method and apparatus
CN105589588B (zh) 触控系统、触控笔、触控装置及其控制方法
JP5855771B2 (ja) タッチパネルシステム
CN103927114A (zh) 一种显示方法及电子设备
JP6700485B2 (ja) マルチタッチディスプレイ装置及びそのタッチ認識方法
KR102397397B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법
CN104345956A (zh) 防止手掌误触的方法
KR102344971B1 (ko) 터치 인식 방법 및 그 장치
KR101975326B1 (ko) 광학 터치 보정 방법 및 이를 이용한 시스템
TW201528114A (zh) 電子裝置及其觸控系統、觸控方法
CN105278714B (zh) 电子设备及触控操作识别方法
KR20180029405A (ko) 테이블 탑 디스플레이 장치 및 그 터치 인식 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200430

R150 Certificate of patent or registration of utility model

Ref document number: 6700485

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250