JP2011237949A - 情報処理装置、情報生成方法及びプログラム - Google Patents

情報処理装置、情報生成方法及びプログラム Download PDF

Info

Publication number
JP2011237949A
JP2011237949A JP2010107706A JP2010107706A JP2011237949A JP 2011237949 A JP2011237949 A JP 2011237949A JP 2010107706 A JP2010107706 A JP 2010107706A JP 2010107706 A JP2010107706 A JP 2010107706A JP 2011237949 A JP2011237949 A JP 2011237949A
Authority
JP
Japan
Prior art keywords
touch
display
coordinate system
position coordinates
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010107706A
Other languages
English (en)
Other versions
JP5557316B2 (ja
Inventor
Koji Urawaki
浩二 浦脇
Masahiro Yamazaki
正裕 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2010107706A priority Critical patent/JP5557316B2/ja
Priority to US13/101,607 priority patent/US8952867B2/en
Priority to CN201110119514.5A priority patent/CN102236471B/zh
Publication of JP2011237949A publication Critical patent/JP2011237949A/ja
Application granted granted Critical
Publication of JP5557316B2 publication Critical patent/JP5557316B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0382Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】表示パネル及びタッチパネルが複数設けられた情報処理装置の操作性を向上させる。
【解決手段】ユーザによるタッチ入力があると、2つのタッチパネルからタッチ入力を受け取り、タッチ入力の座標を計測する(ステップS801)。タッチ検出部は、検出モードを判別し(ステップS802)、個別検出モードの場合は、各タッチパネルの座標系におけるタッチ入力の座標を対応する表示パネルの座標系の座標に変換し(ステップS803)、記憶部にタッチ履歴データとして保存する(ステップS806)。結合検出モードの場合は、一方のタッチパネルの座標系におけるタッチ入力の座標を表示パネルの座標系の座標に変換し(ステップS804)、さらに、他方の表示パネルの座標系の座標に変換することで(ステップS805)、1つの表示パネルの座標系に統合して、記憶部にタッチ履歴データとして保存する(ステップS806)。
【選択図】図8

Description

本発明は、タッチパネルを備える情報処理装置、タッチパネルに対するタッチ入力のイベント情報を生成する情報生成方法及びコンピュータに実行させるプログラムに関するものである。
タッチパネルは、画像を表示する表示パネルに搭載され、表示パネルの画面に対する直接の操作入力を可能とする入力インタフェースとして知られている。タッチパネルを指やペンなどで直接触れると、その接触点の位置座標を含むタッチ入力のイベント情報がソフトウエアプログラムに入力される。そして、そのイベント情報に応じてソフトウエアプログラムが実行され、接触点の位置座標に応じた表示パネルの表示内容の変更などの様々な動作が行われる。
タッチパネルは、軽量でかつ薄いため、携帯しての使用を前提とする携帯端末の入力インタフェースとして広く活用されている。
タッチパネルの中には、複数の接触点を同時に検出可能なものもある。このようなタッチパネルはマルチタッチパネルと呼ばれている。このマルチタッチパネルを利用した種々の装置が開示されている。例えば、マルチタッチパネルで検出された複数の接触点の位置座標等に基づいて、表示パネルに表示された画像を操作(例えば、オブジェクトの選択、反転、回転、移動、拡大縮小)できる装置が開示されている(例えば、特許文献1参照)。
また、タッチイベントの情報処理を単純化するために、特定のウィンドウ内の個々のビューをマルチタッチビュー又はシングルタッチビューのいずれかとして構成することができる方法等が開示されている(例えば、特許文献2参照)。
また、携帯端末の中には、携帯性を維持しつつ、できるだけ多くの情報を同時に表示するために、表示パネルを複数搭載しているものがある。各表示パネル上には、それぞれタッチパネルが搭載されている。
特開2001−290585号公報 特開2009−211704号公報
表示パネルを複数備える携帯端末では、様々な画像の表示態様が可能である。例えば、複数の表示パネルに跨って同一のソフトウエアプログラムに基づく画像を表示することができる。このようにすれば、個々の表示パネルは小さくても、同一のソフトウエアプログラムに基づく画像を大きく表示することができる。
ところが、複数の表示パネルに跨って同一のソフトウエアプログラムの実行結果に基づく画像を表示した場合に、表示されるソフトウエアプログラムが複数の接触点での同時入力に対応している場合であっても、複数のタッチパネルに跨ったタッチ入力を、複数の接触点での同時入力として認識することができないため、操作性が低下するという不都合があった。
本発明は、上記実情に鑑みてなされたものであり、表示パネル及びタッチパネルが複数設けられていても、その操作性を向上させることができる情報処理装置、情報生成方法及びプログラムを提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る情報処理装置は、
画像を表示する表示パネルと前記表示パネル上に搭載されたタッチパネルとをそれぞれ有する複数の操作表示部と、
前記各タッチパネルで検出された接触点の位置座標を、前記各タッチパネルによって規定された座標系の位置座標から、対応する前記表示パネルによって規定された座標系の位置座標に変換する座標変換部と、
同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されているか否かを判定する表示判定部と、
前記表示判定部において、同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されていると判定された場合、前記各タッチパネルで検出された接触点の位置座標を、前記表示パネルによって規定された座標系の位置座標から前記各表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換し、前記各タッチパネルで検出された接触点の前記統合座標系の位置座標を含む情報を、前記ソフトウエアプログラムに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成する情報生成部と、
を備える。
この場合、前記表示判定部は、前記表示パネル毎に、異なるソフトウエアプログラムの実行結果に基づく画像が表示されているか否かを判定し、
前記表示判定部において、前記表示パネル毎に、異なるソフトウエアプログラムの実行結果に基づく画像が表示されていると判定された場合、前記情報生成部は、前記座標変換部において変換された前記表示パネル各々によって規定された座標系の位置座標を含む情報を、各表示パネルに表示された画像に係る各前記ソフトウエアプログラムに対する前記タッチ入力のイベント情報としてそれぞれ生成する、
こととしてもよい。
また、前記複数の操作表示部に表示された画像を全て視認できるか否かを判定する視認判定部をさらに備え、
前記情報生成部は、画像が表示された前記表示パネルに対応する前記タッチパネルの接触点だけを有効として、前記座標変換部において変換された表示パネルによって規定された座標系の接触点の位置座標を含む情報を、前記ソフトウエアプログラムに対する前記タッチ入力のイベント情報として生成する、
こととしてもよい。
また、前記複数の操作表示部として、相対位置を調整可能な2つの操作表示部を備え、
前記2つの操作表示部が互いに逆方向を向いているか否かを検出する方向検出部をさらに備え、
前記視認判定部は、前記方向検出部の検出結果に基づいて、前記操作表示部を全て視認できるか否かを判定する、
こととしてもよい。
また、前記複数の操作表示部として、相対角度及び相対位置の少なくとも一方を調整可能な2つの操作表示部を備え、
前記2つの操作表示部の相対角度及び相対位置の少なくとも一方を検出する回転位置検出部をさらに備え、
前記表示判定部における判定が肯定された場合、前記情報生成部は、前記回転位置検出部において検出された相対角度及び相対位置の少なくとも一方に基づいて、前記座標変換部において変換された各表示パネルによって規定された座標系の位置座標を補正し、各前記表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換する、
こととしてもよい。
また、前記複数の操作表示部として、複数の接触点での同時入力の検出に対応していない第1のタッチパネルを有する前記操作表示部と、複数の接触点での同時入力の検出に対応している第2のタッチパネルを有する前記操作表示部とが混在しており、
複数の接触点での同時入力に対応しているソフトウエアプログラムの実行結果に基づく画像を、前記第2のタッチパネルを有する前記操作表示部に優先的に表示させる表示制御部をさらに備える、
こととしてもよい。
また、本発明の第2の観点に係る情報生成方法は、
画像を表示する表示パネルと前記表示パネル上に搭載されたタッチパネルとをそれぞれ有する複数の操作表示部を備える情報処理装置におけるタッチ入力の情報を生成する情報生成方法であって、
前記各タッチパネルで検出された接触点の位置座標を、前記各タッチパネルによって規定された座標系の位置座標から、対応する前記表示パネルによって規定された座標系の位置座標に変換する座標変換工程と、
同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されているか否かを判定する表示判定工程と、
前記表示判定工程において、同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されていると判定された場合、前記各タッチパネルで検出された接触点の位置座標を、前記表示パネルによって規定された座標系の位置座標から前記各表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換し、前記各タッチパネルで検出された接触点の前記統合座標系の位置座標を含む情報を、前記ソフトウエアプログラムに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成する情報生成部工程と、
を含む。
また、本発明の第3の観点に係るプログラムは、
画像を表示する表示パネルと前記表示パネル上に搭載されたタッチパネルとをそれぞれ有する複数の操作表示部を備える情報処理装置におけるタッチ入力の情報を生成する計算機を、
前記各タッチパネルで検出された接触点の位置座標を、前記各タッチパネルによって規定された座標系の位置座標から、対応する前記表示パネルによって規定された座標系の位置座標に変換する座標変換手段と、
同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されているか否かを判定する表示判定手段と、
前記表示判定手段において、同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されていると判定された場合、前記各タッチパネルで検出された接触点の位置座標を、前記表示パネルによって規定された座標系の位置座標から前記各表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換し、前記各タッチパネルで検出された接触点の前記統合座標系の位置座標を含む情報を、前記ソフトウエアプログラムに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成する情報生成部手段と、
して機能させる。
また、前記第1の観点に係る情報処理装置は、
携帯型であってもよい。
本発明によれば、複数の表示パネルに跨って同一のソフトウエアプログラムの実行結果に基づく画像が表示されている場合、各タッチパネルに対してなされたタッチ入力の接触点の位置座標は、タッチパネルによって規定された座標系から、複数の表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換される。さらに、複数のタッチパネル各々で検出されたタッチ入力の統合座標系での位置座標を含む情報が、ソフトウエアプログラムに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成される。このようにすれば、複数の表示パネルに跨って同一のソフトウエアプログラムの実行結果に基づく画像が表示されている場合であっても、複数のタッチパネルに跨った複数の接触点での同時入力を示すタッチ入力が可能となるので、操作性を向上させることができる。
図1(A)は、本発明の実施形態1に係る携帯端末の外観図(その1)である。図1(B)は、本発明の実施形態1に係る携帯端末の外観図(その2)である。図1(C)は、本発明の実施形態1に係る携帯端末の外観図(その3)である。 本発明の実施形態1に係る携帯端末のシステム構成を示す図である。 図3(A)は、携帯端末の一方の操作表示部にソフトウエアプログラムの実行結果に基づく画像を表示しているイメージを示す図である。図3(B)は、携帯端末の各操作表示部に異なるソフトウエアプログラムの実行結果に基づく画像を表示しているイメージを示す図である。図3(C)は、携帯端末の各操作表示部に同一のソフトウエアプログラムの実行結果に基づく画像を跨って表示しているイメージを示す図である。 検出モード設定処理のフローチャートである。 タッチイベント処理のフローチャート(その1)である。 タッチパネルの座標系と表示パネルの座標系の関係について示す模式図である。 1つのタッチパネルを用いる場合のタッチ履歴データの一例を示す図である。 タッチイベント処理のフローチャート(その2)である。 図9(A)は、個別検出モードにおける2つのタッチパネルの座標系と2つの表示パネルの座標系の関係について示す図である。図9(B)は、結合検出モードにおける2つのタッチパネルの座標系と2つの表示パネルの座標系の関係について示す図である。 複数のタッチパネルを用いる場合のタッチ履歴データのデータ例を示す図である。 図11(A)は、本発明の実施形態2に係る携帯端末1における、ヒンジで接続された2つの筐体が回転している状態の外観を示す図である。図11(B)は、図11(A)の状態のときの表示パネルの座標系の模式図である。
以下、本発明の実施の形態について、添付の図面を参照して詳細に説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。
(実施形態1)
まず、本発明の実施形態1について説明する。
まず、図1(A)乃至図1(C)を参照して、本実施形態に係る携帯端末1の外観について説明する。図1(A)に示すように、携帯端末1は、2つの筐体2、3を備える。筐体2には操作表示部4が設けられ、筐体3には操作表示部5が設けられている。操作表示部4、5では、画像を表示する表示パネル上にタッチパネルが設けられている。表示パネルに表示された画像に対応するタッチパネル上の部分をユーザがタッチすることにより、表示パネルの画面に対する直接の操作入力が可能となっている。この表示パネル及びタッチパネルについては、後述する。
操作表示部4、5が設けられた面が、筐体2、3の前面となる。すなわち、図1(A)では、携帯端末1を、筐体2、3の前面側から見た様子が示されており、図1(B)では、携帯端末1を、筐体2、3の背面側から見た様子が示されている。
筐体2、3は、ヒンジ6で接続されている。このヒンジ6を回転軸として筐体2、3は相対的に回転可能である。図1(A)、図1(B)では、操作表示部4、5が同じ方向を向くように、筐体2と筐体3との相対角度が180度となっている。この実施形態では、筐体2、3が図1(A)、図1(B)に示すような状態にあるときに、携帯端末1の状態を”開状態”であるものとする。
図1(C)に示すように、携帯端末1は、ヒンジ6を回転軸として筐体2と筐体3とをさらに回転させて、筐体2の操作表示部4と筐体2の操作表示部5とが互いに逆方向を向いた状態で、携帯端末1を折り畳むことができる。この実施形態では、筐体2及び筐体3が図1(C)等に示すような状態にあるときに、携帯端末1の状態を”閉状態”であるものとする。
図1(B)に示すように、携帯端末1には、開閉センサ7が設けられている。開閉センサ7は、磁気センサ7aと磁石7bとを備える。磁気センサ7aは、筐体2に内蔵され、磁石7bは、筐体3に内蔵されている。
磁気センサ7aは、磁気を検知する。図1(A)、図1(B)に示す開状態では、磁気センサ7aと磁石7bとの距離が遠いので、磁気センサ7aによって検知される磁気は弱い。一方、図1(A)、図1(B)に示す開状態から、筐体2と筐体3とが折り畳まれ、図1(C)に示す閉状態に移行すると、磁石7bが磁気センサ7aに近づいて、磁気センサ7aが強い磁気を検知する。このように、磁気センサ7aによって検知される磁気の強弱により、携帯端末1が開状態にあるのか、閉状態にあるのかを検出することが可能となる。
次に、携帯端末1のシステム構成について説明する。
携帯端末1は、図2に示すように、図1に示す操作表示部4、5、開閉センサ7に加え、プログラム制御部10、記憶部11、表示制御部12、タッチ検出部13、状態管理部14、通信部15及びバス16を備える。
プログラム制御部10は、CPUやメモリ(いずれも不図示)を備え、ソフトウエアプログラムを実行制御する。このようなソフトウエアプログラムの中には、アプリケーションソフトウエアプログラム(以下、「アプリケーション」と略称する)や、OS(Operating System)のような基本ソフトウエアプログラムなどが含まれている。プログラム制御部10は、複数のアプリケーションを同時に実行可能である。
記憶部11は、プログラム制御部10によって実行制御されるソフトウエアプログラム等を記憶する。
操作表示部4は、表示パネル20とタッチパネル21とを備える。表示パネル20は、画像を表示する例えば液晶ディスプレイである。表示パネル20は、プログラム制御部10によるソフトウエアプログラムの実行結果に基づく画像などを表示する。タッチパネル21は、表示パネル20上に搭載されている。タッチパネル21は、静電容量方式又は感圧方式等により、タッチ入力の接触点を検出するインタフェースである。
操作表示部5は、操作表示部4と同様に、表示パネル22とタッチパネル23とを備える。
表示制御部12は、表示パネル20及び表示パネル22を制御して、プログラム制御部10におけるソフトウエアプログラムの実行結果に基づく画像を表示させる。
タッチ検出部13は、CPUやメモリ(いずれも不図示)を備える。CPUが、メモリに格納された制御プログラムを実行することにより、タッチ検出部13の機能が実現される。この制御プログラムは、記憶部11に記憶されている。
タッチ検出部13は、操作表示部4(タッチパネル21)及び操作表示部5(タッチパネル23)から出力されたタッチ入力に対応する信号を入力する。タッチ検出部13は、この信号に基づいて、タッチパネル21、23によって規定される座標系におけるタッチ入力に係る接触点の位置座標を求める。
さらに、タッチ検出部13は、タッチパネル21、23で検出された接触点の位置座標を、タッチパネル21、23によって規定される座標系の位置座標から、表示パネル20、22によって規定される座標系の位置座標にそれぞれ変換する。
タッチ検出部13は、同一のソフトウエアプログラムの実行結果に基づく画像が、複数の表示パネル20、22に跨って表示されているか否かを判定する。この場合、タッチ検出部13は、各タッチパネル21、23で検出された接触点の位置座標を、表示パネル20、22によって規定された座標系の位置座標から各表示パネル20、22によって規定された座標系を統合した統合座標系の位置座標に変換する。タッチ検出部13は、最終的に変換された接触点の位置座標を含む情報を、記憶部11にタッチ履歴データとして保存することにより、プログラム制御部10によって実行されるソフトウエアプログラムに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成する。
このように、記憶部11に記憶されたソフトウエアプログラムは、プログラム制御部10によって実行制御され、表示制御部12の制御の下、ソフトウエアプログラムの実行結果に基づく画像が、操作表示部4の表示パネル20と操作表示部5の表示パネル20とに表示される。
操作表示部4のタッチパネル21や操作表示部5のタッチパネル23に対してタッチ入力があると、そのタッチ入力の接触点の位置座標のデータが、タッチ検出部13で生成されて、最新のタッチ履歴データとして記憶部11に保存される。プログラム制御部10は、記憶部11に格納されたタッチ履歴データを読み出して、実行中のアプリケーションに対するタッチ入力のイベント情報として入力する。そして、プログラム制御部10は、このイベント情報に応じてソフトウエアプログラムを実行し、その実行結果を表示制御部12に出力する。表示制御部12は、操作表示部4の表示パネル22に表示させる画像や、操作表示部5の表示パネル22に表示させる画像に、入力した実行結果を反映させる。
開閉センサ7は、前述のとおり、携帯端末1の開閉状態を検出する。なお、携帯端末1が閉状態にある場合には、操作表示部4、5は互いに逆向きとなり、操作表示部4に表示された画像と、操作表示部5に表示された画像とを同時に両方視認することはできない。このため、開閉センサ7は、操作表示部4、5にそれぞれ表示された画像を全て視認できるか否かを判定するために、操作表示部4、5が互いに逆方向を向いているか否かを検出する方向検出部として機能する。
状態管理部14は、CPUやメモリ(いずれも不図示)を備える。CPUがメモリに格納された制御プログラムを実行することにより、状態管理部14の機能が実現される。状態管理部14は、携帯端末1の開閉状態と、実行中のソフトウエアプログラムの実行状態、さらにはタッチパネル21、23の検出モードを管理する。タッチパネル21、23の検出モードについては後述する。
プログラム制御部10は、記憶部11のタッチ履歴データに記憶されたタッチ入力のイベント情報に従って、ソフトウエアプログラムを実行制御する。なお、以下では、プログラム制御部10が、アプリケーションを実行する場合について説明する。
通信部15は、インターネット等の通信ネットワークを介して外部機器との間でデータ通信を行うための通信インタフェースである。バス16は、上述の構成要素を互いにデータ通信可能に接続する。
このように、携帯端末1は、2つの操作表示部4、5を有しているため、表示制御部12の制御の下、様々な画像の表示態様が可能である。
例えば、図3(A)に示すように、表示制御部12は、プログラム制御部10によるアプリケーションの実行結果に基づく画像を、一方の操作表示部4に表示させることが可能である。図3(A)では、アプリケーションの実行結果に基づく画像33が、操作表示部4に表示されており、操作表示部5には何も表示されていない。
また、図3(B)に示すように、プログラム制御部10によって同時に実行される2つの異なるアプリケーションの実行結果に基づく画像を、表示パネル20、22に個別に表示することができる。図3(B)では、アプリケーションAの実行結果に基づく画像34が、操作表示部4に表示され、他のアプリケーションBの実行結果に基づく画像35が、操作表示部5に表示される。
さらに、図3(C)に示すように、同一のアプリケーションの実行結果に基づく画像を、2つの表示パネル20、22に跨って表示することができる。図3(C)では、同一のアプリケーションの実行結果に基づく画像36のうち、左側の部分が操作表示部4に表示されており、右側の部分が操作表示部5に表示されている。
上述した3つの表示態様のうち、いずれの表示態様を選択するかは、例えばアプリケーションの種別や、携帯端末1の開閉状態等によって決定することができる。この表示態様は、表示制御部12によって制御され、現在の表示態様は状態管理部14によって管理されている。
携帯端末1では、上述の3つの表示態様にそれぞれ対応して、タッチパネル21、23の3つの検出モードが用意されている。
例えば、図3(A)に示すように、一方の操作表示部にのみ画像が表示されている場合に対応して、画像が表示されている方のタッチパネルのみタッチ入力を有効とする片画面検出モードが用意されている。
また、図3(B)に示すように、2つの操作表示部4、5に別々のアプリケーションの実行結果に基づく画像が表示されている場合に対応して、タッチパネル21、23で検出されたタッチ入力を、それぞれのアプリケーションへのタッチ入力として扱う個別検出モードが用意されている。
また、図3(C)に示すように、同一のアプリケーションの実行結果に基づく画像を、2つの表示パネル20、22に跨って表示する場合に対応して、2つの操作表示部4、5にタッチパネル21、23で検出されたタッチ入力を、1つのアプリケーションへのタッチ入力として結合する結合検出モードが用意されている。
図4には、検出モードの設定処理の流れが示されている。この処理は、携帯端末1の起動後から処理が開始される。まず、状態管理部14は、携帯端末1の開閉状態が変化するまで待つ(ステップS401;No)。携帯端末1の開閉状態が変化すると、開閉センサ7が開閉状態の変化を検知して、状態管理部12に検知信号を出力する。
開閉センサ7から検知信号を入力し、携帯端末1の開閉状態が変化したと判定すると(ステップS401;Yes)、状態管理部14は、その検知信号を解析して、携帯端末1の開閉状態を取得する(ステップS402)。
続いて、状態管理部14は、携帯端末1が閉状態であるか否かを判定する(ステップS403)。携帯端末1が閉状態である場合には、操作表示部4、5に表示された画像が同時に視認することはできないため、ここでの判定は、複数の操作表示部4、5に表示された画像を全て視認できるか否かを判定するのと等価となる。
携帯端末1が閉状態の場合(ステップS403;Yes)、状態管理部14は、管理している検出モードを片画面検出モードに設定する(ステップS404)。
一方、携帯端末1が開状態の場合(ステップS403;No)、状態管理部14は、表示パネル20、22にそれぞれ異なるアプリケーションの実行結果に基づく画像を表示させているか否かを判定する(ステップS405)。状態管理部14は、表示制御部12に、表示状態を問い合わせ、この問い合わせに応じて取得された表示状態を管理しており、この判定は、このようにして管理されている表示状態に基づいて行われる。
表示パネルごとに異なるアプリケーションの実行結果に基づく画像を表示させていれば(ステップS405;Yes)、状態管理部14は、検出モードを個別検出モードに設定する(ステップS406)。表示パネルごとに異なるアプリケーションの実行結果に基づく画像を表示させていなければ(ステップS405;No)、状態管理部14は、検出モードを結合検出モードに設定する(ステップS407)。
なお、ステップS403における判定条件、すなわち片画面検出モードに設定する条件は、携帯端末1が閉状態の場合に限られない。アプリケーションの実行結果に基づく画像が、一方の操作表示部4の表示パネルにのみ表示されていることや、操作表示部5の電源が切れていることを、検出モードを片画面検出モードに設定する条件としてもよい。
なお、一方の表示パネルが、タッチ入力を要さないアプリケーションの実行結果に基づく画像を表示していることを、検出モードを片画面検出モードに設定する条件としてもよい。
次に、タッチパネル21、23にタッチ入力がなされた場合のタッチイベント処理の流れを説明する。
図5には、タッチパネル21、23が、タッチ入力を検出してから、タッチイベントを取得して、記憶部11のタッチ履歴データを保存するまでの処理、すなわちタッチイベント処理の流れが示されている。この処理は、タッチパネル21、23にタッチ入力がなされ、その情報が、タッチ検出部13に出力された時点で、この処理が開始される。
まず、タッチ検出部13は、状態管理部12から検出モードを取得する(ステップS501)。
続いて、タッチ検出部13は、取得した検出モードが、片画面検出モードであるか否かを判定する(ステップS502)。取得した検出モードが片画面検出モードである場合(ステップS502;Yes)、タッチ検出部13は、表示パネル20に対応するタッチパネル21の接触点だけを有効として、タッチパネル21によって規定された座標系におけるタッチ入力の接触点の位置座標を求める(ステップS503)。
そして、タッチ検出部13は、タッチ入力の接触点の位置座標を表示パネル20によって規定された座標系の位置座標に変換する(ステップS504)。
ここで、タッチ入力の接触点の位置座標を、タッチパネル21によって規定される座標系の位置座標から、表示パネル20によって規定される座標系の位置座標に変換する方法について説明する。
図6は、タッチパネルの座標系と表示パネルの座標系の関係を示した模式図である。ユーザのタッチ入力の座標を検出するタッチパネル21には、タッチパネル21のセンサ領域の座標系601が規定されている。座標系601では、原点603を中心として、横方向にx1軸が延びており、縦方向にy1軸が延びている。
一方、アプリケーションの実行結果に基づく画像を表示する表示パネル20には、表示領域の座標系602が規定されている。座標系602では、原点604を中心として、横方向にx2軸が延びており、縦方向にy2軸が延びている。
この座標変換では、座標系601上のタッチ入力P1A(a1、b1)、P1B(c1、d1)が、それぞれ座標系603上のタッチ入力P2A(a2、b2)、P2B(c2、d2)に変換される。
タッチパネルの座標系の分解能と表示パネルの解像度の違いでスケールが異なる場合、タッチ検出部13は、座標変換の過程で、表示パネル20の解像度に適合するようにスケール調整を行ったうえで、タッチ入力の接触点の位置座標を変換する。この座標変換により、タッチ検出部13は、タッチパネルの座標系におけるタッチ入力の接触点の位置座標に対応する表示パネルの座標系の位置座標を導き出す。
図5に戻り、続いて、タッチ検出部13は、表示パネルによって規定された座標系におけるタッチ入力の接触点の位置座標を記憶部11のタッチ履歴データの最新データとして記憶する(ステップS505)。これにより、表示パネル20によって規定された座標系の接触点の位置座標を含む情報としてのタッチ履歴データが、アプリケーションに対するタッチ入力のイベント情報として生成される。
図7には、タッチ履歴データの一例が示されている。図7に示すように、タッチ履歴データの項目には、検出ナンバー701、検出時刻702、座標703、704、同時タッチ数705がある。検出ナンバー701は、タッチ入力が検出された順を示す番号である。検出時刻702は、タッチ入力が検出された時刻である。座標703は、表示パネル20の座標系における1つ目のタッチ入力のx座標とy座標(例えばP2A(a2、b2))、座標704は、2つ目のタッチ入力のx座標とy座標(例えばP2B(c2、d2))である。また、同時タッチ数705は、同時に検出したタッチ入力の数である。図7に示すタッチ履歴データでは、同時に2つのタッチ入力を履歴として残すことが可能である。タッチ検出部13は、記憶部11にタッチ履歴データとしてこれらの項目を保存する。
なお、同時タッチ数705は、3以上であってもよい。この場合には、座標703、704に加え、さらなる位置座標の情報が、記憶部11のタッチ履歴データに登録されている。すなわち、タッチ検出部13は、2点に限らず、タッチパネル21、23がそれぞれ検出可能であれば3点以上の接触点の位置座標を保存することが可能である。
ステップS505終了後、タッチ検出部13は、処理を終了する。
一方、取得した検出モードが片画面検出モードではなかった場合(ステップS502;No)、図8に進み、タッチ検出部13は、タッチパネル21、23から入力されたタッチ入力の情報に基づいて、タッチパネル21、23によって規定される座標系におけるタッチ入力の接触点の位置座標を求める(ステップS801)。タッチ入力の接触点の位置座標の算出方法については後述する。
続いて、タッチ検出部13は、取得した検出モードが、個別検出モードであるか否かを判定する(ステップS802)。取得した検出モードが個別検出モードであれば(ステップS802;Yes)、タッチ検出部13は、個別検出モードでの座標変換を行う(ステップS803)。より具体的には、ここで、タッチ検出部13は、変換された表示パネル20、22各々によって規定された座標系の位置座標を含む情報を、各表示パネル20、22に表示された画像に係る各アプリケーションに対するタッチ入力のイベント情報としてそれぞれ生成する。この個別検出モードでの座標変換の詳細については後述する。
一方、取得した検出モードが結合検出モードであれば(ステップS802;No)、タッチ検出部13は、タッチパネル21、23におけるタッチ入力の接触点の位置座標を、対応する表示パネル20、22の座標系の位置座標に変換する(ステップS804)。続いて、タッチ検出部13は、タッチ入力の接触点の位置座標の統合を行う(ステップS805)。
具体的には、ここで、タッチ検出部13は、各タッチパネル21、23で検出された接触点の位置座標を、表示パネル20、22によって規定された座標系の位置座標から各表示パネル20、22によって規定された座標系を統合した統合座標系の位置座標に変換し、各タッチパネル21、23で検出された接触点の統合座標系の位置座標を含む情報を、アプリケーションに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成する。この結合検出モードでの座標変換の詳細について後述する。
ステップS803、S805終了後、タッチ検出部13は、最終的に求められたタッチ入力の接触点の位置座標を、記憶部11のタッチ履歴データに記憶する(ステップS806)。これにより、実行中のアプリケーションに対するタッチ入力のイベント情報が生成される。ステップS806終了後、タッチ検出部13は、処理を終了する。
ここで、個別検出モードにおける座標の変換と結合検出モードにおける座標の変換方法について詳述する。
まずは、個別検出モードにおける座標の変換方法について説明する。
図9(A)には、タッチパネル21、23によってそれぞれ規定された検出領域の座標系901、903と、表示パネル20、22によってそれぞれ規定された表示領域の座標系902、904と、が示されている。
タッチパネル21の座標系901では、原点905を基準として、横方向にx1軸が延びており、縦方向にy1軸が延びている。
表示パネル20の座標系902では、原点906を基準として、横方向にx2軸が延びており、縦方向にy2軸が延びている。
タッチパネル23の座標系903では、原点907を基準として、横方向にx3軸が延びており、縦方向にy3軸が延びている。
表示パネル22の座標系904では、原点908を基準として、横方向にx4軸が延びており、縦方向にy4軸が延びている。
図6を用いて説明した座標変換と同様に、タッチ検出部13は、タッチパネルの座標系におけるタッチ入力の接触点の位置座標を対応する表示パネルの座標系の位置座標に変換する(図8のステップS803参照)。すなわち、タッチ検出部13は、タッチパネル21の座標系におけるタッチ入力の接触点の位置座標を、表示パネル20の座標系の位置座標に変換する。タッチパネル23と表示パネル22についても同様である。
操作表示部4に対してタッチ入力がなされると、タッチ入力の接触点の位置座標は、操作表示部4の表示パネル20の座標系の位置座標に変換され、例えば図7に示すような記憶部11のタッチ履歴データに記憶される。プログラム制御部10は、このタッチ履歴データの記憶されたデータを記憶部11からイベント情報として取得し、アプリケーションの実行制御を行う。これにより、表示制御部12の制御の下、このアプリケーションの実行結果に基づく画像が、表示パネル20に表示される。
一方、操作表示部5に対するタッチ入力については、タッチ入力の接触点の位置座標が操作表示部5の表示パネル22の座標系の座標に変換され、例えば図7に示すようなタッチ履歴データとして記憶部11に記憶される。プログラム制御部10は、このタッチ履歴データを記憶部11からイベント情報として取得し、アプリケーションの実行制御を行う。これにより、表示制御部12の制御の下、このアプリケーションの実行結果に基づく画像が、表示パネル22に表示される。
次に、結合検出モードにおける座標の変換方法について説明する。
図9(B)に示すように、結合検出モードでは、表示パネル20の座標系902と、表示パネル22の座標系904とを統合した1つの統合座標系が形成されている。
この統合座標系では、座標系902の原点906を原点としており、原点906に対する座標系904の原点908のオフセットを(dx、dy)としている。タッチ検出部13は、表示パネル20の座標系におけるタッチ入力の接触点の位置座標については、座標系902と統合座標系とが同じであるため位置座標を変換しない。これに対して、タッチ検出部13は、表示パネル20の座標系におけるタッチ入力の接触点の位置座標にオフセット(dx、dy)を加算することにより、統合座標系におけるタッチ入力の接触点の位置座標を求める。
このように、操作表示部4、5それぞれに対してタッチ入力がなされると、タッチ入力の接触点の位置座標は、すべて統合座標系の座標に変換され、タッチ履歴データとして保存される。プログラム制御部10は、このタッチ履歴データを記憶部11から取得し、タッチ履歴データに従って、アプリケーションの実行制御を行う。
図10には、結合検出モードにおけるタッチ履歴データの一例が示されている。図10に示すように、タッチ履歴データの項目には、検出ナンバー1001、検出時刻1002、座標1002、1003、1004、1005、1006、同時タッチ数1007がある。
検出ナンバー1001は、タッチ入力が検出された順を示す番号である。検出時刻1002は、検出された時刻である。座標1003は、タッチパネル21におけるタッチ入力の座標を変換した1つ目の表示パネル座標のx座標とy座標である。座標1004は、タッチパネル21におけるタッチ入力の座標を変換した2つ目の表示パネル座標のx座標とy座標である。座標1005は、タッチパネル23におけるタッチ入力の座標を変換した1つ目の表示パネル座標のx座標とy座標である。座標1006は、タッチパネル23におけるタッチ入力の座標を変換した2つ目の表示パネル座標のx座標とy座標である。同時タッチ数1007は、タッチパネル21、23全体で同時に検出したタッチ入力の数である。
なお、図10に示すタッチ履歴データでは、各タッチパネル21、23における同時タッチ数を2点までとしているが、これには限られない。例えば、各タッチパネル毎に3点以上のタッチ入力の接触点の位置座標を保存できるようにしてもよい。
(実施形態2)
次に、本発明の実施形態2について説明する。
図11(A)に示すように、本実施形態に係る携帯端末1は、筐体2と筐体3とが、ヒンジ6ではなく、ヒンジ9によって接続されている点が、上記実施形態1に係る携帯端末1と異なる。ヒンジ9は、筐体2に対して筐体3を、操作表示部4、5を含む平面内で相対的に回転させる。図11(A)では、筐体3が、筐体2に対してα°回転している。本実施形態に係る携帯端末1のヒンジ9は、α°を検出する回転検出センサをさらに備えている。
次に、この実施形態に係る携帯端末1における結合検出モードでのタッチ入力の接触点の位置座標の変換方法について図11(B)を参照して説明する。
図11(A)に示すように、上記実施形態1と同様に、表示パネル20によって規定される座標系902では、原点906を基準としてx2軸、y2軸が規定されている。また、一方、表示パネル22によって規定される座標系904では、原点908を基準としてx4軸、y4軸が規定されている。原点906に対する原点908のオフセットは(dx、dy)である。
検出モードが結合検出モードである場合、タッチ検出部13は、操作表示部4のタッチパネル21におけるタッチ入力の接触点の位置座標を、表示パネル20によって規定される座標系の位置座標(tx、ty)に変換する。さらに、タッチ検出部13は、この位置座標(tx、ty)を、以下の式(1)、式(2)を用いて、表示パネル20、22の座標系と統合して得られる統合座標系の位置座標(x、y)に変換する。
x=tx×cosα−ty×sinα+dx・・・(1)
y=tx×sinα+ty×cosα+dy・・・(2)
このようにすれば、操作表示部4、5が相対的に回転する場合であっても、タッチ入力の接触点の位置座標を、1つに統合された統合座標系の位置座標へ変換することができるので、複数のタッチパネル21、23に跨ったタッチ入力が可能となる。
なお、本実施形態では、操作表示部4、5が相対的に回転した場合の補正について説明したが、操作表示部4、5の相対位置が変化した場合でも、相対位置を不図示の位置センサで検出し、検出された相対位置の変化に応じてオフセット(dx、dy)を補正するようにしてもよい。
以上、詳細に説明したように、上記各実施形態によれば、表示パネル20、22に跨って同一のアプリケーションの実行結果に基づく画像が表示されている場合、各タッチパネル21、23に対してなされたタッチ入力の接触点の位置座標は、タッチパネルによって規定された座標系から、複数の表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換される。さらに、複数のタッチパネル各々で検出されたタッチ入力の統合座標系での位置座標を含む情報が、アプリケーションに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成される。このようにすれば、複数の表示パネルに跨って同一のアプリケーションの実行結果に基づく画像が表示されている場合であっても、複数のタッチパネルに跨った複数の接触点での同時入力を示すタッチ入力が可能となるので、操作性を向上させることができる。
また、上記各実施形態によれば、表示パネル20、22に異なるアプリケーションの実行結果に基づく画像が表示されている場合には、各タッチパネル21、23へのタッチ入力は、対応する表示パネルに表示された画像に係る個々のアプリケーションへのイベント情報として処理される。このように、タッチパネルへのタッチ入力を表示パネルへのアプリケーションに基づく画像の表示態様に応じたものとすれば、タッチパネルの操作性をさらに高めることができる。
また、上記各実施形態によれば、画像が表示された表示パネルに対応するタッチパネルへのタッチ入力のみを有効とする。このようにすれば、その間、一方のタッチパネルの動作を停止させることができるので、例えば、携帯端末1の消費電力を低減することができる。
特に、携帯端末1が閉状態にある場合には、2つの表示パネルを両方視認することができないので、一方のタッチパネルへのタッチ入力を無効として、消費電力を低減するのが望ましい。
また、上記実施形態2によれば、表示パネル同士の相対角度等に基づいて、個々の表示パネルによって規定された座標系から統合座標系への変換式を補正するので、表示パネル同士の相対角度等を反映した、アプリケーションの操作が可能となる。これにより、装置の操作性をさらに高めることができる。
なお、開閉センサ7は、磁気センサでなくてもよい。開閉センサ7として、静電容量センサや、接触式のセンサを用いてもよい。要は、携帯端末1が開状態にあるのか、閉状態にあるのかを検出できるセンサであればよい。
また、筐体2、3の接続形態は、上記各実施形態のものにも限られない。例えば、筐体同士をスライド機構で連結して、一方の筐体がスライドして、他方の筐体の下に移動するようなものであってもよい。
また、上記各実施形態においては、タッチ入力の接触点の位置座標を規定する座標系を2次元の座標系としたが、これを3次元の座標系に拡張するようにしてもよい。例えば、2つの操作表示部4、5が、同一平面内になく、相対的に傾斜している場合には、その傾斜角度を考慮して、3次元の座標変換により、統合座標系におけるタッチ入力の接触点の位置座標を求めるようにしてもよい。
なお、アプリケーションの実行結果に基づく画像の表示状態に応じて、検出するタッチ入力の接触点の数を変動させるようにしてもよい。また、表示するアプリケーションが認識可能なタッチ数に応じて、アプリケーションの実行結果に基づく画像を表示する位置を調整しても良い。
例えば、タッチパネル21、23が、複数の接触点の同時検出に対応していないタッチパネル(シングルタッチパネル)であった場合には、そのアプリケーションを、表示パネル20、22に跨って表示するようにすればよい。このようにすれば、複数のシングルタッチパネルに跨った複数の接触点での同時入力を示すタッチ入力(マルチタッチ入力)が可能となるからである。
また、複数の接触点の同時検出が可能なマルチタッチパネルと、複数の接触点の同時検出に対応していないタッチパネル(シングルタッチパネル)とが混在する携帯端末の場合、プログラム制御部10は、マルチタッチの検出が可能なタッチパネルに対応する表示パネルへ、優先的にマルチタッチ入力を要するアプリケーションの実行結果に基づく画像を表示するように制御しても良い。このようにすれば、タッチパネルの操作性を極力低下させないような状態でアプリケーションを表示させることができる。
なお、複数のタッチパネルに跨ったタッチ入力を用いた操作内容としては、例えば、表示されたアイコンの選択、ドラッグ、画像の拡大・縮小など様々な操作が想定される。タッチ入力と操作内容との関係は、予めアプリケーションに設定しておくようにしてもよいが、ユーザが任意に設定できるようにしてもよい。
なお、上記各実施形態では、操作対象となるソフトウエアプログラムを、アプリケーションとしたが、OS等を操作対象としてもよい。
なお、上記各実施形態に係る携帯端末1は、操作表示部を2つ備えたものであったが、3つ以上の操作表示部を備える携帯端末1についても、本発明を適用することが可能である。すなわち、3つ以上のタッチパネルに跨ったマルチタッチ入力が可能となる。
なお、携帯端末1は、筐体を2つ備えるものであったが、筐体を3つ以上備える携帯端末1にも、本発明を適用することができる。
また、上記各実施形態では、携帯端末1に本発明を適用する場合について説明したが、パーソナルコンピュータなど、必ずしも携帯して用いられない情報処理装置にも、本発明を適用することができる。
本発明は、上記実施の形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で実施の形態及び図面に変更を加えることができる。
なお、上記実施形態において実行されるプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical Disk)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
また、上述の機能を、OSが分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
1…携帯端末、2、3…筐体、4、5…操作表示部、6、9…ヒンジ、7…開閉センサ、7a…磁気センサ、7b…磁石、10…プログラム制御部、11…記憶部、12…表示制御部、13…タッチ検出部、14…状態管理部、15…通信部、16…バス、33、34,35,36…画像、601…タッチパネルの座標系、602…表示パネルの座標系、603、604…原点、701…検出ナンバー、702…検出時刻、703、704…座標、705…同時タッチ数、901、903…タッチパネルの座標系、902、904…表示パネルの座標系、905、906、907、908…原点、1001…検出ナンバー、1002…検出時刻、1003、1004、1005、1006…座標、1007…同時タッチ数

Claims (9)

  1. 画像を表示する表示パネルと前記表示パネル上に搭載されたタッチパネルとをそれぞれ有する複数の操作表示部と、
    前記各タッチパネルで検出された接触点の位置座標を、前記各タッチパネルによって規定された座標系の位置座標から、対応する前記表示パネルによって規定された座標系の位置座標に変換する座標変換部と、
    同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されているか否かを判定する表示判定部と、
    前記表示判定部において、同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されていると判定された場合、前記各タッチパネルで検出された接触点の位置座標を、前記表示パネルによって規定された座標系の位置座標から前記各表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換し、前記各タッチパネルで検出された接触点の前記統合座標系の位置座標を含む情報を、前記ソフトウエアプログラムに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成する情報生成部と、
    を備える情報処理装置。
  2. 前記表示判定部は、前記表示パネル毎に、異なるソフトウエアプログラムの実行結果に基づく画像が表示されているか否かを判定し、
    前記表示判定部において、前記表示パネル毎に、異なるソフトウエアプログラムの実行結果に基づく画像が表示されていると判定された場合、前記情報生成部は、前記座標変換部において変換された前記表示パネル各々によって規定された座標系の位置座標を含む情報を、各表示パネルに表示された画像に係る各前記ソフトウエアプログラムに対する前記タッチ入力のイベント情報としてそれぞれ生成する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記複数の操作表示部に表示された画像を全て視認できるか否かを判定する視認判定部をさらに備え、
    前記情報生成部は、画像が表示された前記表示パネルに対応する前記タッチパネルの接触点だけを有効として、前記座標変換部において変換された表示パネルによって規定された座標系の接触点の位置座標を含む情報を、前記ソフトウエアプログラムに対する前記タッチ入力のイベント情報として生成する、
    ことを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記複数の操作表示部として、相対位置を調整可能な2つの操作表示部を備え、
    前記2つの操作表示部が互いに逆方向を向いているか否かを検出する方向検出部をさらに備え、
    前記視認判定部は、前記方向検出部の検出結果に基づいて、前記操作表示部を全て視認できるか否かを判定する、
    ことを特徴とする請求項3に記載の情報処理装置。
  5. 前記複数の操作表示部として、相対角度及び相対位置の少なくとも一方を調整可能な2つの操作表示部を備え、
    前記2つの操作表示部の相対角度及び相対位置の少なくとも一方を検出する回転位置検出部をさらに備え、
    前記表示判定部における判定が肯定された場合、前記情報生成部は、前記回転位置検出部において検出された相対角度及び相対位置の少なくとも一方に基づいて、前記座標変換部において変換された各表示パネルによって規定された座標系の位置座標を補正し、各前記表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換する、
    ことを特徴とする請求項3に記載の情報処理装置。
  6. 前記複数の操作表示部として、複数の接触点での同時入力の検出に対応していない第1のタッチパネルを有する前記操作表示部と、複数の接触点での同時入力の検出に対応している第2のタッチパネルを有する前記操作表示部とが混在しており、
    複数の接触点での同時入力に対応しているソフトウエアプログラムの実行結果に基づく画像を、前記第2のタッチパネルを有する前記操作表示部に優先的に表示させる表示制御部をさらに備える、
    ことを特徴とする請求項1乃至5のいずれか一項に記載の情報処理装置。
  7. 請求項1乃至6のいずれか一項に記載の情報処理装置であって、
    携帯型の情報処理装置。
  8. 画像を表示する表示パネルと前記表示パネル上に搭載されたタッチパネルとをそれぞれ有する複数の操作表示部を備える情報処理装置におけるタッチ入力の情報を生成する情報生成方法であって、
    前記各タッチパネルで検出された接触点の位置座標を、前記各タッチパネルによって規定された座標系の位置座標から、対応する前記表示パネルによって規定された座標系の位置座標に変換する座標変換工程と、
    同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されているか否かを判定する表示判定工程と、
    前記表示判定工程において、同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されていると判定された場合、前記各タッチパネルで検出された接触点の位置座標を、前記表示パネルによって規定された座標系の位置座標から前記各表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換し、前記各タッチパネルで検出された接触点の前記統合座標系の位置座標を含む情報を、前記ソフトウエアプログラムに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成する情報生成部工程と、
    を含む情報生成方法。
  9. 画像を表示する表示パネルと前記表示パネル上に搭載されたタッチパネルとをそれぞれ有する複数の操作表示部を備える情報処理装置におけるタッチ入力の情報を生成する計算機を、
    前記各タッチパネルで検出された接触点の位置座標を、前記各タッチパネルによって規定された座標系の位置座標から、対応する前記表示パネルによって規定された座標系の位置座標に変換する座標変換手段と、
    同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されているか否かを判定する表示判定手段と、
    前記表示判定手段において、同一のソフトウエアプログラムの実行結果に基づく画像が、複数の前記表示パネルに跨って表示されていると判定された場合、前記各タッチパネルで検出された接触点の位置座標を、前記表示パネルによって規定された座標系の位置座標から前記各表示パネルによって規定された座標系を統合した統合座標系の位置座標に変換し、前記各タッチパネルで検出された接触点の前記統合座標系の位置座標を含む情報を、前記ソフトウエアプログラムに対する複数の接触点での同時入力を示すタッチ入力のイベント情報として生成する情報生成部手段と、
    して機能させるプログラム。
JP2010107706A 2010-05-07 2010-05-07 情報処理装置、情報生成方法及びプログラム Active JP5557316B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010107706A JP5557316B2 (ja) 2010-05-07 2010-05-07 情報処理装置、情報生成方法及びプログラム
US13/101,607 US8952867B2 (en) 2010-05-07 2011-05-05 Information processing apparatus, information processing method and recording medium
CN201110119514.5A CN102236471B (zh) 2010-05-07 2011-05-06 信息处理装置、信息生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010107706A JP5557316B2 (ja) 2010-05-07 2010-05-07 情報処理装置、情報生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011237949A true JP2011237949A (ja) 2011-11-24
JP5557316B2 JP5557316B2 (ja) 2014-07-23

Family

ID=44887173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010107706A Active JP5557316B2 (ja) 2010-05-07 2010-05-07 情報処理装置、情報生成方法及びプログラム

Country Status (3)

Country Link
US (1) US8952867B2 (ja)
JP (1) JP5557316B2 (ja)
CN (1) CN102236471B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015079291A (ja) * 2013-10-15 2015-04-23 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2016511488A (ja) * 2013-03-15 2016-04-14 クアルコム,インコーポレイテッド センサフュージョンを介した対話式入力の拡張
JP2017028419A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 電子機器、電子機器の制御方法及びプログラム並びに記憶媒体
JP2020525937A (ja) * 2017-09-05 2020-08-27 中興通訊股▲ふん▼有限公司Zte Corporation タッチメッセージ統合方法及び端末、コンピュータ読み取り可能な記憶媒体
JP2020144388A (ja) * 2015-03-23 2020-09-10 株式会社半導体エネルギー研究所 表示装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8555201B2 (en) * 2008-06-05 2013-10-08 Qualcomm Incorporated Wireless communication device having deterministic control of foreground access of the user interface
JP2011205532A (ja) * 2010-03-26 2011-10-13 Kyocera Corp 携帯端末及び表示制御プログラム
JP5229289B2 (ja) 2010-09-24 2013-07-03 日本電気株式会社 表示装置、座標通知方法およびプログラム
US8836654B2 (en) * 2011-10-04 2014-09-16 Qualcomm Incorporated Application window position and size control in (multi-fold) multi-display devices
TWI525489B (zh) * 2011-10-04 2016-03-11 緯創資通股份有限公司 觸控裝置、觸控系統及觸控方法
JP2013218576A (ja) * 2012-04-10 2013-10-24 Sharp Corp 光学式タッチパネル装置、コンピュータプログラム及び記録媒体
EP2869177A4 (en) * 2012-06-27 2016-02-24 Nec Corp PORTABLE TERMINAL DEVICE, PROGRAM, AND METHOD FOR OPERATING A PORTABLE TERMINAL DEVICE
WO2014020765A1 (ja) 2012-08-03 2014-02-06 Necカシオモバイルコミュニケーションズ株式会社 タッチパネル装置、処理決定方法、プログラムおよびタッチパネルシステム
CN103019442B (zh) * 2012-12-03 2016-03-30 深圳市金立通信设备有限公司 一种触摸屏响应的方法及终端
US20140184603A1 (en) * 2012-12-27 2014-07-03 Nvidia Corporation Method to improve usability of high pixel density displays
JP6260613B2 (ja) * 2013-02-22 2018-01-17 ソニー株式会社 ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム、画像表示方法及び画像表示装置
EP3128408A4 (en) * 2014-04-04 2018-02-28 Colopl Inc. User interface program and game program
CN105224114A (zh) * 2014-06-11 2016-01-06 天津富纳源创科技有限公司 触控板控制方法
CN106354287A (zh) * 2015-07-13 2017-01-25 中国移动通信集团公司 一种信息处理方法及终端
WO2019016875A1 (ja) * 2017-07-19 2019-01-24 三菱電機株式会社 タッチ操作判定装置およびタッチ操作の有効性判定方法
JP6927952B2 (ja) * 2018-12-14 2021-09-01 ファナック株式会社 表示装置、工作機械および異常判定方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216320A (ja) * 2002-01-18 2003-07-31 Sharp Corp 情報入出力装置、情報入出力方法、その方法を実現するためのプログラム、およびそのプログラムを記録した記録媒体
JP2004342125A (ja) * 1995-09-21 2004-12-02 Elo Touchsystems Inc マルチユーザー/マルチポインチングデバイスグラフィカルユーザーインターフェースシステム
JP2008158975A (ja) * 2006-12-26 2008-07-10 Sharp Corp 携帯情報端末
JP2012508406A (ja) * 2009-09-03 2012-04-05 クゥアルコム・インコーポレイテッド インクリノメータをもつモバイルデバイス

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7629969B2 (en) * 1996-08-12 2009-12-08 Tyco Electronics Corporation Acoustic condition sensor employing a plurality of mutually non-orthogonal waves
US5847698A (en) * 1996-09-17 1998-12-08 Dataventures, Inc. Electronic book device
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
JP4803883B2 (ja) 2000-01-31 2011-10-26 キヤノン株式会社 位置情報処理装置及びその方法及びそのプログラム。
US20030090473A1 (en) * 2000-03-24 2003-05-15 Joshi Vikas B. Multiple screen automatic programming interface
US20060015904A1 (en) * 2000-09-08 2006-01-19 Dwight Marcus Method and apparatus for creation, distribution, assembly and verification of media
US8125459B2 (en) * 2007-10-01 2012-02-28 Igt Multi-user input systems and processing techniques for serving multiple users
ATE502685T1 (de) * 2004-03-22 2011-04-15 Nintendo Co Ltd Spielvorrichtung, spielprogramm, speichermedium, in dem das spielprogramm gespeichert ist, und spielsteuerungsverfahren
WO2005119404A1 (en) * 2004-06-01 2005-12-15 Beech Technology Incorporated Portable, folding and separable multi-display computing system
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US7839391B2 (en) * 2005-11-04 2010-11-23 Electronic Theatre Controls, Inc. Segmented touch screen console with module docking
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US20100007576A1 (en) * 2008-07-14 2010-01-14 Sony Ericsson Mobile Communications Ab Handheld Electronic Devices with Moveable Displays and Dynamic Display Control
US20100039350A1 (en) * 2008-08-15 2010-02-18 Sony Ericsson Mobile Communications Ab Methods, systems, and computer program products for operating handheld electronic devices including moveable displays and related devices
CN101661383B (zh) * 2008-08-29 2012-06-06 联想(北京)有限公司 一种电子设备及其显示控制方法
US8866840B2 (en) * 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004342125A (ja) * 1995-09-21 2004-12-02 Elo Touchsystems Inc マルチユーザー/マルチポインチングデバイスグラフィカルユーザーインターフェースシステム
JP2003216320A (ja) * 2002-01-18 2003-07-31 Sharp Corp 情報入出力装置、情報入出力方法、その方法を実現するためのプログラム、およびそのプログラムを記録した記録媒体
JP2008158975A (ja) * 2006-12-26 2008-07-10 Sharp Corp 携帯情報端末
JP2012508406A (ja) * 2009-09-03 2012-04-05 クゥアルコム・インコーポレイテッド インクリノメータをもつモバイルデバイス

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016511488A (ja) * 2013-03-15 2016-04-14 クアルコム,インコーポレイテッド センサフュージョンを介した対話式入力の拡張
JP2015079291A (ja) * 2013-10-15 2015-04-23 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP2020144388A (ja) * 2015-03-23 2020-09-10 株式会社半導体エネルギー研究所 表示装置
US11086364B2 (en) 2015-03-23 2021-08-10 Semiconductor Energy Laboratory Co., Ltd. Display device, electronic device, and system
US11789497B2 (en) 2015-03-23 2023-10-17 Semiconductor Energy Laboratory Co., Ltd. Display device, electronic device, and system
JP2017028419A (ja) * 2015-07-21 2017-02-02 キヤノン株式会社 電子機器、電子機器の制御方法及びプログラム並びに記憶媒体
JP2020525937A (ja) * 2017-09-05 2020-08-27 中興通訊股▲ふん▼有限公司Zte Corporation タッチメッセージ統合方法及び端末、コンピュータ読み取り可能な記憶媒体
US11307759B2 (en) 2017-09-05 2022-04-19 Xi'an Zhongxing New Software Co., Ltd. Fusion method and terminal for touch messages and computer-readable storage medium

Also Published As

Publication number Publication date
CN102236471B (zh) 2016-03-09
US8952867B2 (en) 2015-02-10
JP5557316B2 (ja) 2014-07-23
US20110273387A1 (en) 2011-11-10
CN102236471A (zh) 2011-11-09

Similar Documents

Publication Publication Date Title
JP5557316B2 (ja) 情報処理装置、情報生成方法及びプログラム
US8866776B2 (en) Information processing device adapted to receiving an input for user control using a touch pad and information processing method thereof
EP2772844A1 (en) Terminal device and method for quickly starting program
KR20190092006A (ko) 제스쳐를 이용하여 화면을 제어하기 위한 폴더블 전자 장치 및 방법
US11487368B2 (en) Operation processing device and operation processing method for controlling display unit based on change in output direction of display unit
CN110462556A (zh) 显示控制方法及装置
US20120075204A1 (en) Using a Touch-Sensitive Display of a Mobile Device with a Host Computer
US20110154248A1 (en) Information processing apparatus and screen selection method
GB2528948A (en) Activation target deformation using accelerometer or gyroscope information
JP2018084908A (ja) 端末装置およびプログラム
JP2012064069A (ja) 情報処理装置及び情報処理プログラム
WO2011022014A1 (en) Configuration of additional display devices
KR20140100791A (ko) 사용자 단말 및 이의 인터페이싱 방법
US20150177947A1 (en) Enhanced User Interface Systems and Methods for Electronic Devices
US9823890B1 (en) Modifiable bezel for media device
CN112099717B (zh) 折叠屏状态检测方法、装置、电子设备和显示系统
WO2014132965A1 (ja) 携帯電子機器、その制御方法及びプログラム
JP2012137993A (ja) 情報処理装置、情報処理方法及びプログラム
US20160103506A1 (en) Input device, method for controlling input device, and non-transitory computer-readable recording medium
JP7317908B2 (ja) 情報処理装置、及び制御方法
RU146516U1 (ru) Система управления сенсорным вводом данных сенсорной панели
JP5117346B2 (ja) 情報処理装置、その制御方法及びプログラム
JP7317907B2 (ja) 情報処理装置、及び制御方法
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
JP7333364B2 (ja) 情報処理装置、及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140530

R150 Certificate of patent or registration of utility model

Ref document number: 5557316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350