JP2018073314A - Display device with sensor and driving method thereof - Google Patents
Display device with sensor and driving method thereof Download PDFInfo
- Publication number
- JP2018073314A JP2018073314A JP2016215884A JP2016215884A JP2018073314A JP 2018073314 A JP2018073314 A JP 2018073314A JP 2016215884 A JP2016215884 A JP 2016215884A JP 2016215884 A JP2016215884 A JP 2016215884A JP 2018073314 A JP2018073314 A JP 2018073314A
- Authority
- JP
- Japan
- Prior art keywords
- mode
- menu button
- sensor
- pressing force
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明の実施形態は、センサ付き表示装置及びその駆動方法に関する。 Embodiments described herein relate generally to a sensor-equipped display device and a driving method thereof.
近年、表示装置のインターフェイス等として、指などの被検出物のタッチを検出するセンサが実用化されている。最近では、タッチ位置のみならず、タッチ圧力の大きさを検出するスマートフォンが提案されている。 In recent years, a sensor for detecting a touch of an object to be detected such as a finger has been put to practical use as an interface of a display device. Recently, smart phones that detect not only the touch position but also the magnitude of the touch pressure have been proposed.
本実施形態の目的は、操作性を向上することが可能なセンサ付き表示装置及びその駆動方法を提供することにある。 An object of the present embodiment is to provide a display device with a sensor capable of improving operability and a driving method thereof.
一実施形態によれば、
表示パネルと、センサ信号を出力するセンサ部と、前記センサ信号に基づき前記表示パネルへのタッチを検出するタッチ検出部と、前記センサ信号に基づき前記表示パネルを押下する押力を検出する押力検出部と、前記表示パネルを制御する表示制御部と、を備え、前記表示制御部は、前記表示パネルにメニューボタンを表示させ、前記タッチ検出部により前記メニューボタンへのタッチが検出され且つ前記押力検出部により閾値以上の押力が検出されたのに基づいて前記メニューボタンを異なるモードで表示させる、センサ付き表示装置が提供される。
According to one embodiment,
A display panel; a sensor unit that outputs a sensor signal; a touch detection unit that detects a touch on the display panel based on the sensor signal; and a pressing force that detects a pressing force for pressing the display panel based on the sensor signal A display unit that controls the display panel, the display control unit displays a menu button on the display panel, the touch detection unit detects a touch on the menu button, and There is provided a sensor-equipped display device that displays the menu button in a different mode based on detection of a pressing force equal to or greater than a threshold value by a pressing force detection unit.
一実施形態によれば、
表示パネルと、センサ信号を出力するセンサ部と、前記センサ信号に基づき前記表示パネルへのタッチを検出するタッチ検出部と、前記センサ信号に基づき前記表示パネルを押下する押力を検出する押力検出部と、を備えたセンサ付き表示装置において、前記表示パネルに第１モードでメニューボタンを表示させ、前記タッチ検出部によって前記メニューボタンのタッチを検出したのに基づいて前記第１モードとは異なる第２モードで前記メニューボタンを表示させ、前記押力検出部によって閾値以上の押力を検出したのに基づいて前記第１モード及び前記第２モードとは異なる第３モードで前記メニューボタンを表示させる、センサ付き表示装置の駆動方法が提供される。
According to one embodiment,
A display panel; a sensor unit that outputs a sensor signal; a touch detection unit that detects a touch on the display panel based on the sensor signal; and a pressing force that detects a pressing force for pressing the display panel based on the sensor signal In the sensor-equipped display device including the detection unit, the menu mode is displayed on the display panel in the first mode, and the touch mode detection unit detects the touch of the menu button by the touch detection unit. The menu button is displayed in a different second mode, and the menu button is displayed in a third mode different from the first mode and the second mode based on the pressing force detection unit detecting a pressing force exceeding a threshold value. A driving method of a sensor-equipped display device is provided.
以下、本実施形態について、図面を参照しながら説明する。なお、開示はあくまで一例に過ぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同一又は類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を適宜省略することがある。 Hereinafter, the present embodiment will be described with reference to the drawings. It should be noted that the disclosure is merely an example, and those skilled in the art can easily conceive of appropriate changes while maintaining the gist of the invention are naturally included in the scope of the present invention. In addition, for the sake of clarity, the drawings may be schematically represented with respect to the width, thickness, shape, etc. of each part as compared to actual aspects, but are merely examples, and The interpretation is not limited. In addition, in the present specification and each drawing, components that perform the same or similar functions as those described above with reference to the previous drawings are denoted by the same reference numerals, and repeated detailed description may be omitted as appropriate. .
図１は、本実施形態のセンサ付き表示装置ＤＳＰの構成例を示す図である。
センサ付き表示装置ＤＳＰは、表示パネルＰＮＬと、センサ部ＳＥと、タッチ検出部ＴＳと、押力検出部ＰＳと、表示制御部ＤＣＴとを備えている。
FIG. 1 is a diagram illustrating a configuration example of a sensor-equipped display device DSP according to the present embodiment.
The sensor-equipped display device DSP includes a display panel PNL, a sensor unit SE, a touch detection unit TS, a pressing force detection unit PS, and a display control unit DCT.
表示パネルＰＮＬは、例えば、液晶表示装置や、有機エレクトロルミネッセンス表示装置などによって構成されている。液晶表示装置は、照明装置からの光を選択的に透過させることで画像を表示する透過型、外光あるいは照明装置からの光を選択的に反射させることで画像を表示する反射型、あるいは、透過型及び反射型の双方の表示機能を備えた半透過型のいずれであっても良い。表示パネルＰＮＬは、種々の画面を表示する表示部ＤＡを備えている。図示した例では、表示部ＤＡには、メニューボタンＢＴを含む画面ＳＣＲが表示されている。 The display panel PNL is configured by, for example, a liquid crystal display device, an organic electroluminescence display device, or the like. The liquid crystal display device is a transmissive type that displays an image by selectively transmitting light from the lighting device, a reflective type that displays an image by selectively reflecting external light or light from the lighting device, or Any of a transflective type having both transmissive and reflective display functions may be used. The display panel PNL includes a display unit DA that displays various screens. In the illustrated example, a screen SCR including a menu button BT is displayed on the display unit DA.
センサ部ＳＥは、センサ信号を出力する。センサ部ＳＥは、例えば静電容量方式のセンサを備え、一対の電極間の静電容量の変化に対応したセンサ信号を出力する。センサ部ＳＥを構成する一部の電極は、表示パネルＰＮＬに内蔵されていても良い。センサ部ＳＥの構成例については後述するが、センサ部ＳＥは、人間の指などの被検出物のタッチの有無及びタッチ位置を検出する第１検出部と、被検出物の押力（force）を検出する第２検出部と、を備えている。なお、第１検出部及び第２検出部は、共用されても良い。 The sensor unit SE outputs a sensor signal. The sensor unit SE includes, for example, a capacitance type sensor, and outputs a sensor signal corresponding to a change in capacitance between a pair of electrodes. Some electrodes constituting the sensor unit SE may be built in the display panel PNL. Although a configuration example of the sensor unit SE will be described later, the sensor unit SE includes a first detection unit that detects the presence / absence and touch position of a detected object such as a human finger, and a pressing force of the detected object. And a second detection unit for detecting. The first detection unit and the second detection unit may be shared.
タッチ検出部ＴＳは、センサ部ＳＥからのセンサ信号に基づいて、表示パネルＰＮＬへの被検出物のタッチを検出する。押力検出部ＰＳは、センサ部ＳＥからのセンサ信号に基づいて、表示パネルＰＮＬを押下する押力を検出する。タッチ検出部ＴＳ及び押力検出部ＰＳは、例えば、ＩＣチップＩ１に内蔵されている。タッチ検出部ＴＳ及び押力検出部ＰＳは、それぞれの検出結果をアプリケーションプロセッサ（ホスト）ＡＰや表示制御部ＤＣＴに出力する。なお、被検出物がタッチした位置座標に関する情報は、タッチ検出部ＴＳにおいて演算されても良いし、アプリケーションプロセッサＡＰにおいてタッチ検出部ＴＳからの検出結果に基づいて演算されても良い。同様に、被検出物が押下した押力に関する情報は、押力検出部ＰＳにおいて演算されても良いし、アプリケーションプロセッサＡＰにおいて押力検出部ＰＳからの検出結果に基づいて演算されても良い。 The touch detection unit TS detects a touch of an object to be detected on the display panel PNL based on a sensor signal from the sensor unit SE. The pressing force detection unit PS detects a pressing force for pressing the display panel PNL based on the sensor signal from the sensor unit SE. The touch detection unit TS and the pressing force detection unit PS are built in, for example, the IC chip I1. The touch detection unit TS and the pressing force detection unit PS output the detection results to the application processor (host) AP and the display control unit DCT. In addition, the information regarding the position coordinates touched by the detected object may be calculated by the touch detection unit TS, or may be calculated by the application processor AP based on the detection result from the touch detection unit TS. Similarly, the information regarding the pressing force pressed by the object to be detected may be calculated in the pressing force detection unit PS, or may be calculated in the application processor AP based on the detection result from the pressing force detection unit PS.
表示制御部ＤＣＴは、表示パネルＰＮＬを制御する。表示制御部ＤＣＴは、例えば、ＩＣチップＩ２に内蔵されている。なお、表示制御部ＤＣＴは、ＩＣチップ１に内蔵されても良いし、アプリケーションプロセッサＡＰに内蔵されても良い。表示制御部ＤＣＴは、タッチ検出部ＴＳ及び押力検出部ＰＳからの検出結果や、アプリケーションプロセッサＡＰからの信号に基づいて、表示部ＤＡに種々の画面を表示させる。 The display control unit DCT controls the display panel PNL. The display control unit DCT is built in, for example, the IC chip I2. The display control unit DCT may be built in the IC chip 1 or may be built in the application processor AP. The display control unit DCT displays various screens on the display unit DA based on detection results from the touch detection unit TS and the pressing force detection unit PS and signals from the application processor AP.
アプリケーションプロセッサＡＰは、複数のアプリケーションソフトウエアＡ、Ｂ、Ｃ、…を内蔵している。アプリケーションソフトウエアの一例として、カーナビゲーションシステム、オーディオビジュアル制御システム、空調制御システム、交通情報受信システム、車載カメラ撮像システム、音声通話システムなどを実行するためのソフトウエアが挙げられる。 The application processor AP includes a plurality of application software A, B, C,. Examples of application software include software for executing a car navigation system, an audio visual control system, an air conditioning control system, a traffic information receiving system, an in-vehicle camera imaging system, a voice call system, and the like.
図２は、図１に示したセンサ部ＳＥにおけるタッチ検出用の第１検出部ＳＥ１の構成例を説明するための図である。図中の第１方向Ｘ及び第２方向Ｙは、互いに直交しているが、９０度以外の角度で交差していても良い。 FIG. 2 is a diagram for explaining a configuration example of the first detection unit SE1 for touch detection in the sensor unit SE shown in FIG. The first direction X and the second direction Y in the figure are orthogonal to each other, but may intersect at an angle other than 90 degrees.
第１検出部ＳＥ１は、第１電極Ｅ１及び第２電極Ｅ２を備えている。図示した例では、第１電極Ｅ１及び第２電極Ｅ２は、平面視で表示部ＤＡに重なっている。また、複数の第１電極Ｅ１は、それぞれ第２方向Ｙに延出した帯状に形成され、間隔をおいて第１方向Ｘに並んでいる。複数の第２電極Ｅ２は、それぞれ第１方向Ｘに延出した帯状に形成され、間隔をおいて第２方向Ｙに並んでいる。これらの第１電極Ｅ１及び第２電極Ｅ２は、互いに交差している。第１電極Ｅ１は、駆動回路ＣＤと電気的に接続されている。第２電極Ｅ２は、検出回路ＤＣ１と電気的に接続されている。検出回路ＤＣ１は、図１に示したタッチ検出部ＴＳに含まれる。
駆動回路ＣＤは、被検出物のタッチを検出する際に、第１電極Ｅ１に対してセンサ駆動信号を供給する。これにより、第１電極Ｅ１は、第２電極Ｅ２との間で容量を発生させる。第２電極Ｅ２は、第１電極Ｅ１へのセンサ駆動信号の供給に伴って、タッチ検出に必要なセンサ信号（つまり、第１電極Ｅ１と第２電極Ｅ２との間の電極間容量の変化に基づいた信号）を出力する。検出回路ＤＣ１は、第２電極Ｅ２からセンサ信号を読み取り、被検出物のタッチの有無を検出し、さらには、被検出物の位置座標などを検出することもできる。
なお、第１検出部ＳＥ１の構成は、図示した例に限定されるものではない。
The first detection unit SE1 includes a first electrode E1 and a second electrode E2. In the illustrated example, the first electrode E1 and the second electrode E2 overlap the display unit DA in plan view. The plurality of first electrodes E1 are each formed in a strip shape extending in the second direction Y, and are arranged in the first direction X at intervals. The plurality of second electrodes E2 are each formed in a strip shape extending in the first direction X, and are arranged in the second direction Y at intervals. The first electrode E1 and the second electrode E2 intersect each other. The first electrode E1 is electrically connected to the drive circuit CD. The second electrode E2 is electrically connected to the detection circuit DC1. The detection circuit DC1 is included in the touch detection unit TS illustrated in FIG.
The drive circuit CD supplies a sensor drive signal to the first electrode E1 when detecting a touch of an object to be detected. Thereby, the first electrode E1 generates a capacitance with the second electrode E2. The second electrode E2 has a sensor signal necessary for touch detection (that is, a change in interelectrode capacitance between the first electrode E1 and the second electrode E2) with the supply of the sensor drive signal to the first electrode E1. Based signal). The detection circuit DC1 reads the sensor signal from the second electrode E2, detects the presence / absence of the touch of the detected object, and can also detect the position coordinates of the detected object.
Note that the configuration of the first detection unit SE1 is not limited to the illustrated example.
図３は、図１に示したセンサ部ＳＥにおける押力検出用の第２検出部ＳＥ２の構成例を説明するための図である。図中の第３方向Ｚは、第１方向Ｘ及び第２方向Ｙで規定されるＸ-Ｙ平面の法線方向に相当する。 FIG. 3 is a diagram for explaining a configuration example of the second detection unit SE2 for detecting the pressing force in the sensor unit SE shown in FIG. The third direction Z in the figure corresponds to the normal direction of the XY plane defined by the first direction X and the second direction Y.
第２検出部ＳＥ２は、第３電極Ｅ３及び第４電極Ｅ４を備えている。第３電極Ｅ３及び第４電極Ｅ４は、第３方向Ｚに離間している。第４電極Ｅ４は、第３電極Ｅ３よりも表示パネルＰＮＬに近接している。第３電極Ｅ３と第４電極Ｅ４との間は、空気層であっても良いし、弾性を有する絶縁層であっても良い。第３電極Ｅ３は、例えば基準電位層であり、固定電位の電源に接続されていても良いし、接地電位であっても良い。第４電極Ｅ４は、検出回路ＤＣ２と電気的に接続されている。検出回路ＤＣ２は、図１に示した押力検出部ＰＳに含まれる。
被検出物Ｆが表示パネルＰＮＬに押力を加える前の状態では、第３電極Ｅ３及び第４電極Ｅ４は、第３方向Ｚに沿った距離ｄ０で対向している。被検出物Ｆが表示パネルＰＮＬに押力を加えた状態では、表示パネルＰＮＬ及び第４電極Ｅ４が撓み、押力を加える前よりも表示パネルＰＮＬ及び第４電極Ｅ４が第３電極Ｅ３に接近する。このため、第３電極Ｅ３及び第４電極Ｅ４の間の第３方向Ｚに沿った距離ｄ１は距離ｄ０よりも小さくなる。これにより、第３電極及び第４電極Ｅ４の間の静電容量が変化する。第４電極Ｅ４は、押力の検出に必要なセンサ信号（つまり、第３電極Ｅ３と第４電極Ｅ４との間の電極間容量の変化に基づいた信号）を出力する。検出回路ＤＣ２は、第４電極Ｅ４からセンサ信号を読み取り、被検出物の押力を検出する。
なお、第３電極Ｅ３及び第４電極Ｅ４のうちの一方は、図２に示した第１電極Ｅ１及び第２電極Ｅ２のうちの一方と同一であっても良いし、第３電極Ｅ３及び第４電極Ｅ４のうちの他方は、第１電極Ｅ１及び第２電極Ｅ２のうちの他方と同一であっても良い。
なお、第２検出部ＳＥ２の構成は、図示した例に限定されるものではない。
The second detection unit SE2 includes a third electrode E3 and a fourth electrode E4. The third electrode E3 and the fourth electrode E4 are separated in the third direction Z. The fourth electrode E4 is closer to the display panel PNL than the third electrode E3. The space between the third electrode E3 and the fourth electrode E4 may be an air layer or an insulating layer having elasticity. The third electrode E3 is a reference potential layer, for example, and may be connected to a fixed potential power source or may be a ground potential. The fourth electrode E4 is electrically connected to the detection circuit DC2. The detection circuit DC2 is included in the pressing force detection unit PS shown in FIG.
In a state before the detection object F applies a pressing force to the display panel PNL, the third electrode E3 and the fourth electrode E4 face each other at a distance d0 along the third direction Z. In a state where the detection object F applies a pressing force to the display panel PNL, the display panel PNL and the fourth electrode E4 bend, and the display panel PNL and the fourth electrode E4 are closer to the third electrode E3 than before the pressing force is applied. To do. For this reason, the distance d1 along the third direction Z between the third electrode E3 and the fourth electrode E4 is smaller than the distance d0. Thereby, the electrostatic capacitance between the 3rd electrode and the 4th electrode E4 changes. The fourth electrode E4 outputs a sensor signal (that is, a signal based on a change in the interelectrode capacitance between the third electrode E3 and the fourth electrode E4) necessary for detecting the pressing force. The detection circuit DC2 reads the sensor signal from the fourth electrode E4 and detects the pressing force of the detected object.
Note that one of the third electrode E3 and the fourth electrode E4 may be the same as one of the first electrode E1 and the second electrode E2 shown in FIG. The other of the four electrodes E4 may be the same as the other of the first electrode E1 and the second electrode E2.
Note that the configuration of the second detection unit SE2 is not limited to the illustrated example.
図４は、図１に示したセンサ付き表示装置ＤＳＰに適用可能な駆動方法を説明するためのフローチャートである。
まず、表示制御部ＤＣＴは、表示パネルＰＮＬに複数のメニューボタンを含むメニュー画面を表示させる（ステップＳＴ１）。このとき、メニューボタンの各々は、第１モードで表示される。一例では、図５に示すように、メニュー画面ＳＣＲ１は、表示パネルＰＮＬの表示部ＤＡに表示される。メニュー画面ＳＣＲ１には、例えば、８個のメニューボタンＢＴＡ、ＢＴＢ、ＢＴＣ、ＢＴＤ、ＢＴＥ、ＢＴＦ、ＢＴＧ、ＢＴＨが表示されている。これらのメニューボタンＢＴＡ乃至ＢＴＨには、各々異なるメニューＡ乃至Ｈの名称が表示されている。ここでのメニューＡ乃至Ｈとは、図１に示したアプリケーションプロセッサＡＰに内蔵されたアプリケーションソフトウエアＡ乃至Ｈにそれぞれ対応している。図示した例では、メニューボタンＢＴＡ乃至ＢＴＨは、同一色且つ同一サイズで表示されている。
FIG. 4 is a flowchart for explaining a driving method applicable to the sensor-equipped display device DSP shown in FIG.
First, the display control unit DCT displays a menu screen including a plurality of menu buttons on the display panel PNL (step ST1). At this time, each menu button is displayed in the first mode. In one example, as shown in FIG. 5, the menu screen SCR1 is displayed on the display unit DA of the display panel PNL. For example, eight menu buttons BTA, BTB, BTC, BTD, BTE, BTF, BTG, and BTH are displayed on the menu screen SCR1. These menu buttons BTA to BTH are displayed with names of different menus A to H, respectively. The menus A to H correspond to the application software A to H built in the application processor AP shown in FIG. In the illustrated example, the menu buttons BTA to BTH are displayed in the same color and the same size.
続いて、タッチ検出部ＴＳは、メニューボタンＢＴＡ乃至ＢＴＨのいずれかへのタッチを検出したか否かを判定する（ステップＳＴ２）。すなわち、タッチ検出部ＴＳは、メニュー画面ＳＣＲ１への被検出物のタッチを検出した際に、被検出物がタッチした位置座標を検出する。そして、タッチ検出部ＴＳは、被検出物の位置座標と、メニューボタンＢＴＡ乃至ＢＴＨのいずれかが表示されている領域内の位置座標とが一致する場合には、当該メニューボタンのタッチを検出したものと判定する。そして、タッチ検出部ＴＳは、メニューボタンへのタッチを検出した旨の検出結果を表示制御部ＤＣＴ及びアプリケーションプロセッサＡＰに出力する。
その後、表示制御部ＤＣＴは、タッチ検出部ＴＳによりメニューボタンのタッチが検出されたのに基づいて（ステップＳＴ２、Ｙｅｓ）、当該メニューボタンを第１モードとは異なる第２モードで表示させる（ステップＳＴ３）。
一例では、図６に示すように、メニュー画面ＳＣＲ１において被検出物ＦのメニューボタンＢＴＣへのタッチが検出された場合、メニューボタンＢＴＣは、隣接する他のメニューボタンＢＴＢ及びＢＴＤなどよりも大きなサイズに表示される。このとき、メニューボタンＢＴＣのサイズは、被検出物Ｆと重なる面積よりも大きいことが望ましい。なお、メニューボタンＢＴＣ以外の他メニューボタンについては、表示モードは変更されず、図５に示したのと同じく第１モードで表示される。
一方、表示制御部ＤＣＴは、タッチ検出部ＴＳによりメニューボタンのタッチが検出されなかった場合には（ステップＳＴ２、Ｎｏ）、ステップＳＴ１に戻り、図５に示したように、すべてのメニューボタンＢＴＡ乃至ＢＴＨを第１モードで表示させた状態を維持する。
Subsequently, the touch detection unit TS determines whether or not a touch on any of the menu buttons BTA to BTH has been detected (step ST2). That is, when the touch detection unit TS detects a touch of the detection object on the menu screen SCR1, the touch detection unit TS detects the position coordinates touched by the detection object. The touch detection unit TS detects the touch of the menu button when the position coordinate of the detected object matches the position coordinate in the area where any of the menu buttons BTA to BTH is displayed. Judge that it is. Then, the touch detection unit TS outputs a detection result indicating that a touch on the menu button has been detected to the display control unit DCT and the application processor AP.
After that, the display control unit DCT displays the menu button in a second mode different from the first mode based on the touch detection of the menu button detected by the touch detection unit TS (step ST2, Yes) (step ST2). ST3).
In one example, as shown in FIG. 6, when the touch of the detected object F on the menu button BTC is detected on the menu screen SCR1, the menu button BTC is larger in size than the other adjacent menu buttons BTB and BTD. Is displayed. At this time, it is desirable that the size of the menu button BTC is larger than the area overlapping the detected object F. For the menu buttons other than the menu button BTC, the display mode is not changed, and is displayed in the first mode as shown in FIG.
On the other hand, if the touch detection unit TS does not detect the touch of the menu button (No in step ST2), the display control unit DCT returns to step ST1 and, as shown in FIG. Through BTH are maintained in the first mode.
続いて、押力検出部ＰＳは、表示パネルＰＮＬへの押力を検出し、しかも、その押力が閾値以上であるか否かを判定する（ステップＳＴ４）。なお、このときに押力を検出する位置は、メニュー画面ＳＣＲ１と重なる位置であれば特に問わない。つまり、押力が検出される位置座標は、タッチ検出されたメニューボタンの位置座標と異なっていても良い。押力検出部ＰＳは、検出結果を表示制御部ＤＣＴ及びアプリケーションプロセッサＡＰに出力する。
その後、表示制御部ＤＣＴは、押力検出部ＰＳにより閾値以上の押力が検出されたのに基づいて（ステップＳＴ４、Ｙｅｓ）、当該メニューボタンを第１モード及び第２モードとは異なる第３モードで表示させる（ステップＳＴ５）。つまり、表示制御部ＣＤＴは、メニューボタンへのタッチが検出され且つ閾値以上の押力が検出されたのに基づいて、メニューボタンを異なるモードで表示させる。
一例では、図７に示すように、メニュー画面ＳＣＲ１において被検出物Ｆによる閾値以上の押力が検出された場合、メニューボタンＢＴＣは、点滅表示される。ここで説明する第１乃至第３モードの詳細については後述する。なお、メニューボタンＢＴＣ以外の他メニューボタンについては、表示モードは変更されない。
一方、押力検出部ＰＳが閾値以上の押力を検出しなかった場合には（ステップＳＴ４、Ｎｏ）、タッチ検出部ＴＳは、メニュー画面ＳＣＲ１への被検出物のタッチが継続しているか否かを判定する（ステップＳＴ６）。そして、表示制御部ＤＣＴは、タッチ検出部ＴＳにより被検出物のタッチを検出した場合には（ステップＳＴ６、Ｙｅｓ）、ステップＳＴ３に戻り、図６に示したように、メニューボタンＢＴＣを第２モードで表示させた状態を維持する。一方、表示制御部ＤＣＴは、タッチ検出部ＴＳにより被検出物のタッチを検出しなかった場合には（ステップＳＴ６、Ｎｏ）、ステップＳＴ１に戻り、メニューボタンＢＴＣの表示モードを第１モードに変更し、図５に示したように、すべてのメニューボタンＢＴＡ乃至ＢＴＨを第１モードで表示させる。
Subsequently, the pressing force detection unit PS detects the pressing force on the display panel PNL and determines whether or not the pressing force is equal to or greater than a threshold value (step ST4). Note that the position at which the pressing force is detected at this time is not particularly limited as long as the position overlaps the menu screen SCR1. That is, the position coordinates at which the pressing force is detected may be different from the position coordinates of the menu button that has been touch-detected. The pressing force detection unit PS outputs the detection result to the display control unit DCT and the application processor AP.
Thereafter, the display control unit DCT sets the menu button to a third mode different from the first mode and the second mode based on the pressing force detection unit PS detecting a pressing force equal to or greater than the threshold (Yes in step ST4). The mode is displayed (step ST5). That is, the display control unit CDT displays the menu button in different modes based on the detection of the touch on the menu button and the detection of the pressing force equal to or greater than the threshold value.
In one example, as shown in FIG. 7, when a pressing force equal to or greater than a threshold value by the detected object F is detected on the menu screen SCR1, the menu button BTC is displayed in a blinking manner. Details of the first to third modes described here will be described later. For the menu buttons other than the menu button BTC, the display mode is not changed.
On the other hand, when the pressing force detection unit PS does not detect a pressing force equal to or greater than the threshold value (No in step ST4), the touch detection unit TS determines whether the touch of the detected object on the menu screen SCR1 is continued. Is determined (step ST6). When the touch detection unit TS detects a touch of the object to be detected (Yes in step ST6), the display control unit DCT returns to step ST3 and presses the second menu button BTC as shown in FIG. Keep the state displayed in the mode. On the other hand, if the touch detection unit TS does not detect the touch of the object to be detected (No in step ST6), the display control unit DCT returns to step ST1 and changes the display mode of the menu button BTC to the first mode. Then, as shown in FIG. 5, all the menu buttons BTA to BTH are displayed in the first mode.
続いて、アプリケーションプロセッサＡＰは、押力検出部ＰＳから閾値以上の押力を検出したとの検出結果に基づき、対応するアプリケーションソフトウエアを起動させる。上記の例では、メニューボタンＢＴＣへのタッチが検出されたため、メニューＣに対応したアプリケーションソフトウエアＣが起動される。そして、アプリケーションプロセッサＡＰは、アプリケーションソフトウエアＣに対応した映像信号を表示制御部ＤＣＴに出力する。そして、表示制御部ＤＣＴは、表示パネルＰＮＬにアプリケーションソフトウエアＣの画面を表示させる（ステップＳＴ７）。一例では、アプリケーションソフトウエアＣがナビゲーションシステムである場合、図８に示すように、表示部ＤＡにアプリケーション画面（地図画面）ＳＣＲ２が表示される。 Subsequently, the application processor AP activates the corresponding application software based on the detection result that the pressing force greater than the threshold is detected from the pressing force detection unit PS. In the above example, since the touch on the menu button BTC is detected, the application software C corresponding to the menu C is activated. Then, the application processor AP outputs a video signal corresponding to the application software C to the display control unit DCT. Then, the display control unit DCT displays the screen of the application software C on the display panel PNL (step ST7). For example, when the application software C is a navigation system, an application screen (map screen) SCR2 is displayed on the display unit DA as shown in FIG.
図９は、メニューボタンの第１乃至第３モードの具体例を説明するための図である。ここでは、メニューボタンＢＴＡの表示モードの変化について説明する。
図９の（Ａ）に示した例では、メニューボタンＢＴＡは、第１モードにおいて第１色（図９中において右下がりの斜線で示す）で表示され、第２モードにおいては第１色とは異なる第２色（図９中において横線で示す）で表示され、第３モードにおいては第１色及び第２色とは異なる第３色（図９中において縦線で示す）で表示される。メニューボタンＢＴＡのサイズは、第１乃至第３モードにおいて不変である。
図９の（Ｂ）に示した例では、メニューボタンＢＴＡは、第１モードにおいて第１色で表示され、第２モードにおいては第２色で表示され、第３モードにおいては点滅表示される。点滅表示の具体例については後述する。第３モードにおけるメニューボタンＢＴＡの色は、第１乃至第３色のいずれであっても良い。メニューボタンＢＴＡのサイズは、第１乃至第３モードにおいて不変である。
図９の（Ｃ）に示した例では、メニューボタンＢＴＡは、第２モードにおいて第１モードとは異なるサイズで表示され、第３モードにおいて第２モードとは異なる第３色で表示される。なお、第１モードにおけるメニューボタンＢＴＡの表示色は、第１乃至第３色のいずれであっても良い。図示した例では、メニューボタンＢＴＡは、第２モードにおいて、第１モードよりも拡大表示されている。但し、メニューボタンＢＴＡの表示色は、第１モードと第２モードとで異なっていても良いし、同一であっても良い。第２モード及び第３モードにおいては、メニューボタンＢＴＡのサイズは、不変であるが、異なっていても良い。
図９の（Ｄ）に示した例では、メニューボタンＢＴＡは、第２モードにおいて第１モードとは異なるサイズで表示され、第３モードにおいて点滅表示される。なお、第１モード及び第３モードにおけるメニューボタンＢＴＡの表示色は、第１乃至第３色のいずれであっても良い。また、メニューボタンＢＴＡの表示色は、第１モードと第２モードとで異なっていても良いし、同一であっても良い。
以上の通り、第２モード及び第３モードは、ａ）第１モードとは異なる色で表示させるか、ｂ）第１モードとは異なるサイズで表示させるか、ｃ）点滅表示させるかのいずれかのモードであれば良く、ａ）乃至ｃ）のうちの２つ以上の組み合わせであっても良い。
FIG. 9 is a diagram for explaining a specific example of the first to third modes of the menu button. Here, a change in the display mode of the menu button BTA will be described.
In the example shown in FIG. 9A, the menu button BTA is displayed in the first color in the first mode (indicated by a slanting right-down diagonal line in FIG. 9), and in the second mode, the first color is It is displayed in a different second color (indicated by a horizontal line in FIG. 9), and in the third mode, it is displayed in a third color (indicated by a vertical line in FIG. 9) different from the first color and the second color. The size of the menu button BTA is unchanged in the first to third modes.
In the example shown in FIG. 9B, the menu button BTA is displayed in the first color in the first mode, is displayed in the second color in the second mode, and is blinked in the third mode. A specific example of the blinking display will be described later. The color of the menu button BTA in the third mode may be any of the first to third colors. The size of the menu button BTA is unchanged in the first to third modes.
In the example shown in FIG. 9C, the menu button BTA is displayed in a different size from the first mode in the second mode, and is displayed in a third color different from the second mode in the third mode. Note that the display color of the menu button BTA in the first mode may be any of the first to third colors. In the illustrated example, the menu button BTA is displayed in an enlarged manner in the second mode than in the first mode. However, the display color of the menu button BTA may be different between the first mode and the second mode, or may be the same. In the second mode and the third mode, the size of the menu button BTA is unchanged, but may be different.
In the example shown in FIG. 9D, the menu button BTA is displayed in a size different from that in the first mode in the second mode and blinked in the third mode. Note that the display color of the menu button BTA in the first mode and the third mode may be any of the first to third colors. Further, the display color of the menu button BTA may be different between the first mode and the second mode, or may be the same.
As described above, the second mode and the third mode are either a) displayed in a color different from the first mode, b) displayed in a size different from the first mode, or c) displayed in blinking. And any combination of two or more of a) to c) may be used.
図１０は、メニューボタンの点滅表示の具体例を説明するための図である。
図１０の（Ａ）に示した例では、メニューボタンＢＴＡが第１色（右下がりの斜線で示す）で点灯表示された状態と、点線で示す消灯状態とを交互に繰り返すことで、メニューボタンＢＴＡの点滅表示が実現される。
図１０の（Ｂ）に示した例では、メニューボタンＢＴＡが第１色で点灯表示された状態と、第１色とは異なる第２色（横線で示す）で点灯表示された状態とを交互に繰り返すことで、メニューボタンＢＴＡの点滅表示が実現される。
図１０の（Ｃ）に示した例では、メニューボタンＢＴＡが第１サイズで点灯表示された状態と、第１サイズとは異なる第２サイズで点灯表示された状態とを交互に繰り返すことで、メニューボタンＢＴＡの点滅表示が実現される。このとき、メニューボタンＢＴＡの表示色は、第１色のままで不変である。
図１０の（Ｄ）に示した例では、メニューボタンＢＴＡが第１サイズの第１色で点灯表示された状態と、第１サイズとは異なる第２サイズの第２色で点灯表示された状態とを交互に繰り返すことで、メニューボタンＢＴＡの点滅表示が実現される。
FIG. 10 is a diagram for explaining a specific example of the blinking display of the menu button.
In the example shown in FIG. 10A, the menu button BTA is alternately turned on and off in a state where the menu button BTA is lit and displayed in the first color (indicated by a slanting line at the lower right) and in the unlit state indicated by a dotted line. BTA blinking display is realized.
In the example shown in FIG. 10B, the state in which the menu button BTA is lit and displayed in the first color and the state in which the menu button BTA is lit and displayed in a second color (indicated by a horizontal line) different from the first color are alternately displayed. By repeating the above, the blinking display of the menu button BTA is realized.
In the example shown in (C) of FIG. 10, the menu button BTA is lit and displayed in a first size and the state in which the menu button BTA is lit and displayed in a second size different from the first size are alternately repeated. A blinking display of the menu button BTA is realized. At this time, the display color of the menu button BTA remains the same as the first color.
In the example shown in FIG. 10D, the menu button BTA is lit and displayed in the first color of the first size, and is lit and displayed in the second color of the second size different from the first size. By alternately repeating the above, the blinking display of the menu button BTA is realized.
本実施形態によれば、メニュー画面ＳＣＲ１におけるメニューの選択は、被検出物のメニューボタンＢＴへのタッチの有無を判定することによって行い、当該メニューの実行は、被検出物によるメニュー画面ＳＣＲ１への閾値以上の押力の有無を判定することによって行う。メニュー実行の際にメニュー画面ＳＣＲを押圧する位置は、必ずしもメニューボタンＢＴの位置である必要はなく、メニュー画面ＳＣＲ１であればどの位置であっても良い。これにより、操作性を向上することが可能となる。 According to the present embodiment, the menu on the menu screen SCR1 is selected by determining whether or not the detected object is touched on the menu button BT, and the execution of the menu is performed on the menu screen SCR1 by the detected object. This is done by determining the presence or absence of a pressing force exceeding the threshold. The position where the menu screen SCR is pressed when executing the menu is not necessarily the position of the menu button BT, and may be any position as long as it is the menu screen SCR1. Thereby, operability can be improved.
また、メニュー選択の際には、メニューボタンの表示モードが変わるため、メニューボタンＢＴへのタッチ入力に対する認証応答として、ユーザに対して視覚的にフィードバックすることができる。また、メニュー実行の際には、メニューボタンの表示モードがさらに変わるため、メニュー画面への閾値以上の押力入力に対する認証応答として、ユーザに対して視覚的にフィードバックすることができる。 Further, when the menu is selected, the display mode of the menu button is changed, so that it can be visually fed back to the user as an authentication response to the touch input to the menu button BT. Further, when the menu is executed, the display mode of the menu button is further changed, so that it is possible to provide visual feedback to the user as an authentication response to a pressing force input to the menu screen that exceeds a threshold value.
また、表示モードの変更に際しては、メニューボタンを異なる色で表示させたり、メニューボタンを異なるサイズで表示させたり、メニューボタンを点滅表示させたりすることで、ユーザに対して選択および実行させるメニューの視認性を向上することができる。 Also, when changing the display mode, the menu button is displayed in a different color, the menu button is displayed in a different size, or the menu button is blinked to display a menu that can be selected and executed by the user. Visibility can be improved.
以上説明したように、本実施形態によれば、操作性を向上することが可能なセンサ付き表示装置及びその駆動方法を提供することができる。 As described above, according to the present embodiment, it is possible to provide a display device with a sensor capable of improving operability and a driving method thereof.
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 In addition, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the spirit of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
ＤＳＰ…センサ付き表示装置
ＰＮＬ…表示パネル ＳＥ…センサ部
ＴＳ…タッチ検出部 ＰＳ…押力検出部 ＤＣＴ…表示制御部
DSP ... Display device with sensor PNL ... Display panel SE ... Sensor unit TS ... Touch detection unit PS ... Push force detection unit DCT ... Display control unit
Claims (6)
センサ信号を出力するセンサ部と、
前記センサ信号に基づき前記表示パネルへのタッチを検出するタッチ検出部と、
前記センサ信号に基づき前記表示パネルを押下する押力を検出する押力検出部と、
前記表示パネルを制御する表示制御部と、を備え、
前記表示制御部は、前記表示パネルにメニューボタンを表示させ、前記タッチ検出部により前記メニューボタンへのタッチが検出され且つ前記押力検出部により閾値以上の押力が検出されたのに基づいて前記メニューボタンを異なるモードで表示させる、センサ付き表示装置。 A display panel;
A sensor unit for outputting a sensor signal;
A touch detection unit that detects a touch on the display panel based on the sensor signal;
A pressing force detector for detecting a pressing force for pressing the display panel based on the sensor signal;
A display control unit for controlling the display panel,
The display control unit displays a menu button on the display panel, based on detection of a touch on the menu button by the touch detection unit and detection of a pressing force equal to or greater than a threshold value by the pressing force detection unit. A display device with a sensor for displaying the menu button in different modes.
前記表示パネルに第１モードでメニューボタンを表示させ、
前記タッチ検出部によって前記メニューボタンのタッチを検出したのに基づいて前記第１モードとは異なる第２モードで前記メニューボタンを表示させ、
前記押力検出部によって閾値以上の押力を検出したのに基づいて前記第１モード及び前記第２モードとは異なる第３モードで前記メニューボタンを表示させる、センサ付き表示装置の駆動方法。 A display panel; a sensor unit that outputs a sensor signal; a touch detection unit that detects a touch on the display panel based on the sensor signal; and a pressing force that detects a pressing force for pressing the display panel based on the sensor signal In a sensor-equipped display device comprising a detection unit,
A menu button is displayed on the display panel in the first mode,
The menu button is displayed in a second mode different from the first mode based on detecting the touch of the menu button by the touch detection unit,
A method for driving a sensor-equipped display device, wherein the menu button is displayed in a third mode different from the first mode and the second mode based on detection of a pressing force equal to or greater than a threshold by the pressing force detection unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016215884A JP2018073314A (en) | 2016-11-04 | 2016-11-04 | Display device with sensor and driving method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016215884A JP2018073314A (en) | 2016-11-04 | 2016-11-04 | Display device with sensor and driving method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018073314A true JP2018073314A (en) | 2018-05-10 |
Family
ID=62115471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016215884A Pending JP2018073314A (en) | 2016-11-04 | 2016-11-04 | Display device with sensor and driving method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018073314A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021064329A (en) * | 2019-10-17 | 2021-04-22 | 株式会社東海理化電機製作所 | Display controller, image display system, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203044A (en) * | 1998-01-16 | 1999-07-30 | Sony Corp | Information processing system |
| JP2004070492A (en) * | 2002-08-02 | 2004-03-04 | Hitachi Ltd | Display equipped with touch panel, and method of processing information |
| EP2302496A1 (en) * | 2009-09-10 | 2011-03-30 | Research In Motion Limited | Dynamic sizing of identifier on a touch-sensitive display |
| JP2012048279A (en) * | 2010-08-24 | 2012-03-08 | Panasonic Corp | Input device |
| JP2015185161A (en) * | 2014-03-24 | 2015-10-22 | 株式会社 ハイヂィープ | Menu operation method and menu operation device including touch input device performing menu operation |
-
2016
- 2016-11-04 JP JP2016215884A patent/JP2018073314A/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203044A (en) * | 1998-01-16 | 1999-07-30 | Sony Corp | Information processing system |
| JP2004070492A (en) * | 2002-08-02 | 2004-03-04 | Hitachi Ltd | Display equipped with touch panel, and method of processing information |
| EP2302496A1 (en) * | 2009-09-10 | 2011-03-30 | Research In Motion Limited | Dynamic sizing of identifier on a touch-sensitive display |
| JP2012048279A (en) * | 2010-08-24 | 2012-03-08 | Panasonic Corp | Input device |
| JP2015185161A (en) * | 2014-03-24 | 2015-10-22 | 株式会社 ハイヂィープ | Menu operation method and menu operation device including touch input device performing menu operation |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021064329A (en) * | 2019-10-17 | 2021-04-22 | 株式会社東海理化電機製作所 | Display controller, image display system, and program |
| JP7252113B2 (en) | 2019-10-17 | 2023-04-04 | 株式会社東海理化電機製作所 | Display control device, image display system and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11886252B2 (en) | Foldable device and method of controlling the same | |
| US11372487B2 (en) | Display device with touch electrodes and a touch driver providing a signal for decreasing capacitance to a display driver | |
| US9851821B2 (en) | Dual display apparatus and method of driving the same | |
| KR102161694B1 (en) | Display apparatus and display method thereof | |
| KR102081606B1 (en) | Touch ic and display device integrated with touch screen using the same | |
| US10955958B2 (en) | Information processing apparatus and information processing method | |
| JP2019133723A (en) | Method for driving information processing device | |
| US9176634B2 (en) | Operation device | |
| US9721365B2 (en) | Low latency modification of display frames | |
| US8780056B2 (en) | Position detecting device including display function | |
| US20190095008A1 (en) | Electronic device | |
| KR20140036846A (en) | User terminal device for providing local feedback and method thereof | |
| KR20130136065A (en) | Apparatus and method for dislplaying a screen using a flexible display | |
| WO2010047339A1 (en) | Touch panel device operating as if in the equivalent mode even when detected region is smaller than display region of display device | |
| KR20180132496A (en) | Operating method of optical fingerprint sensor and operating method of electronic device and display device including thereof | |
| KR102326766B1 (en) | Display device and method of indicating selected at least one of keys | |
| CN113924611A (en) | Method for reducing display degradation of electronic device and foldable electronic device using the same | |
| KR20190047985A (en) | Display device with display panel comprising force sensor and fingerprint sensor and method driving the display device | |
| US10642425B2 (en) | Image display device including a touch switch | |
| JP2009098990A (en) | Display device | |
| JP2009265768A (en) | Operation device | |
| WO2014171096A1 (en) | Control device for vehicle devices and vehicle device | |
| JP2018073314A (en) | Display device with sensor and driving method thereof | |
| US20160077618A1 (en) | Touch display device including visual accelerator | |
| KR102177901B1 (en) | Display device with integrated touch screen |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200915 |