JP2020190940A - 情報処理装置、制御方法およびプログラム - Google Patents

情報処理装置、制御方法およびプログラム Download PDF

Info

Publication number
JP2020190940A
JP2020190940A JP2019096044A JP2019096044A JP2020190940A JP 2020190940 A JP2020190940 A JP 2020190940A JP 2019096044 A JP2019096044 A JP 2019096044A JP 2019096044 A JP2019096044 A JP 2019096044A JP 2020190940 A JP2020190940 A JP 2020190940A
Authority
JP
Japan
Prior art keywords
display
input
control unit
screen
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019096044A
Other languages
English (en)
Inventor
河野 誠一
Seiichi Kono
誠一 河野
良太 野村
Ryota Nomura
良太 野村
充弘 山▲ざき▼
Mitsuhiro Yamazaki
充弘 山▲ざき▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2019096044A priority Critical patent/JP2020190940A/ja
Priority to CN202010299232.7A priority patent/CN111984212A/zh
Priority to US16/880,060 priority patent/US20200371734A1/en
Publication of JP2020190940A publication Critical patent/JP2020190940A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G06F1/1618Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position the display being foldable up to the back of the other housing with a single degree of freedom, e.g. by 360° rotation over the axis defined by the rear edge of the base enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1683Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for the transmission of signal or power between the different housings, e.g. details of wired or wireless communication, passage of cabling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

【課題】OSに依存せずに複数の表示領域にわたる柔軟な入出力制御を実現する情報処理装置、制御方法またはプログラムを提供する。【解決手段】入出力制御部と、独立して画像の表示が制御される少なくとも2つの表示領域を有する表示部と、オペレーティング・システムに従って動作し、少なくとも1つのチャネルの画面データを取得するシステム・デバイスを備える。入出力制御部は、前記少なくとも2つの表示領域に対して前記チャネルに対応する画面領域を前記チャネルごとに定め、画面領域に対応する画面データの要求情報を前記システム・デバイスに出力する。【選択図】図3

Description

本発明は、情報処理装置、制御方法およびプログラムに関する。
ユーザが筐体の姿勢を操作して動作モードを変更することができる情報処理装置が提案されている。例えば、特許文献1に記載の電子機器は、2つの筐体がなす開閉角度を0度から360度までのいずれかに可変とし、開閉角度に応じて姿勢モードを変更することができるノートブック型パーソナルコンピュータ(以下、ノートPC:Personal Computer)である。当該ノートPCは、ディスプレイとシステム筐体の開閉角度を検出する角度センサと、開閉角度の範囲である角度レンジに関連付けた姿勢モードと、デバイスを制御するための制御データを備え、開閉角度と制御テーブルに基づいてデバイスの動作を制御する。
また、1台で複数のディスプレイを使用できる複数表示(Multiple display)環境を提供可能な情報処理装置が提案されている。例えば、特許文献2に記載の端末装置は、2つの筐体のそれぞれにディスプレイを備える。複数表示環境を実現するために、Windows(登録商標)をはじめとするオペレーティング・システム(OS:Operating System)は、生成された複数の画面データのそれぞれを別個のディスプレイに出力可能とする。
特開2017−33116号公報 特開2015−39099号公報
しかしながら、OSの機能により複数のディスプレイをまたぐ表示制御が柔軟に行われないことがあった。より具体的には、OSにおいて単一表示(Single Display)と複数表示との切り替えがサポートされていないことがあった。例えば、2個のディスプレイからなる複数表示環境では、左右のディスプレイに共通の画面データを出力するケース(図21(b))と、左右のディスプレイに2つの画面データをそれぞれ出力するケース(図21(c))とが相互に切り替え可能であった。その反面、左右のディスプレイにわたり1つの画面データを出力するケース(図21(a))と、左右いずれか一方のディスプレイに1つの画面データを出力し、他方のディスプレイに画面データを出力しないケース(図21(d))に切り替えることができないことがあった。また、左右のディスプレイにわたり1つの画面データを出力するケース(図22(a))と、左右のディスプレイに共通の画面データを出力するケース(図22(b))、左右のディスプレイに2つの画面データをそれぞれ出力するケース(図22(c))ならびに一方のディスプレイに1つの画面データを出力し、他方のディスプレイに画面データを出力しないケース(図22(d))のいずれかと切り替えることができないことがあった。
また、ユーザの操作入力を受け付けるタッチ・センサを備える電子機器は、OS、アプリケーション・プログラム、その他のプログラムにより仮想入力デバイス(VID:Virtual Input Device)の機能を実装することがある。仮想入力デバイスとは、キーボード、タッチパッド、ペン描画入力パッドなどの入力デバイスの画像をディスプレイに表示し、表示された画像を操作することで、その入力デバイスに対する操作に対する操作入力を模擬する機能である。しかしながら、VIDを一般的なソフトウェア・インタフェースを用いて実装すると、同じインタフェースを用いて実装される他のソフトウェアから、VIDへの入力が読み取られるリスクが発生する。例えば仮想キーボードを用いて入力されるパスワード等、プライバシー性の高い情報が流出するリスクが懸念される。このため、VIDをソフトウェアで実装する際は、(1)OS開発者が、他者に公開していないインタフェースを用いて、VIDをOS付属のツールとして実装する、(2)OS開発者が安全なVIDの開発環境を整備して他者に公開し、その環境下で開発されたVIDからの情報流出を防ぐ、のいずれかのアプローチが取られることが考えられる。(1)の場合は、他者による独自のVID実装は認められず、(2)の場合は、VIDの機能が開発環境に依存するため、開発環境の機能を超えたVIDの実装ができない。いずれの場合も、情報処理装置やアプリケーション・プログラムなどの開発事業者などが独自のVIDを自由に実装できないことがあった。即ち、上記の電子機器では、OSに依存せずに複数の表示領域にわたる柔軟な入出力制御を課題としていた。
本発明は上記の課題を解決するためになされたものであり、本発明の一態様に係る情報処理装置は、入出力制御部と、独立して画像の表示が制御される少なくとも2つの表示領域を有する表示部と、オペレーティング・システムに従って動作し、少なくとも1つのチャネルの画面データを取得するシステム・デバイスと、を備え、前記入出力制御部は、前記少なくとも2つの表示領域に対して前記チャネルに対応する画面領域を定め、前記画面領域に対応する画面データの要求情報を前記システム・デバイスに出力する。
上記の情報処理装置において、前記チャネルに対応する画面領域は、前記少なくとも2つの表示領域にまたがる領域を含んでもよい。
上記の情報処理装置において、前記要求情報は、前記画面領域の大きさおよび前記画面データを表示する向きの情報を含んでもよい。
上記の情報処理装置は、前記少なくとも2つの表示領域が設置された筐体と、前記筐体の姿勢に応じた物理量を検出する検出部とを備え、前記入出力制御部は、前記姿勢に基づいて前記チャネルごとの画面領域を示す画面パターンを定めてもよい。
上記の情報処理装置において、前記入出力制御部は、前記筐体の方向をさらに検出し、前記方向を参照して前記画面パターンを定めてもよい。
上記の情報処理装置は、前記入出力制御部は、画面領域が前記少なくとも2つの表示領域にまたがる領域であるとき、前記少なくとも2つの表示領域のそれぞれに重畳した検出領域において接触を検出した接触位置の座標を、前記画面領域内の座標に変換し、変換した座標を示す接触位置データを前記システム・デバイスに出力してもよい。
上記の情報処理装置において、前記入出力制御部は、前記複数の検出領域の少なくとも一部である仮想入力領域を含む画面パターンを選択するとき、前記仮想入力領域に所定の操作入力部の画像を表示させ、前記操作入力部の部材が表示される領域において接触を検出するとき、当該部材への操作を示す操作信号を前記システム・デバイスに出力してもよい。
上記の情報処理装置において、前記入出力制御部は、座標を変換した前記接触位置の軌跡に基づく入力情報を取得し、前記入力情報を前記システム・デバイスに出力してもよい。
上記の情報処理装置において、前記入出力制御部は、前記軌跡が示す1以上の文字を認識し、前記文字を示すテキスト情報を前記システム・デバイスに出力してもよい。
本発明の第2態様に係る制御方法は、入出力制御部と、独立して画像の表示が制御される少なくとも2つの表示領域を有する表示部と、オペレーティング・システムに従って動作し、少なくとも1つのチャネルの画面データを取得するシステム・デバイスと、を備える情報処理装置における制御方法であって、前記入出力制御部が、前記少なくとも2つの表示領域に対して前記チャネルに対応する画面領域を前記チャネルごとに定める第1ステップと、前記画面領域に対応する画面データの要求情報を前記システム・デバイスに出力する第2ステップと、を有する制御方法である。
本発明の第3態様に係るプログラムは、入出力制御部と、独立して画像の表示が制御される少なくとも2つの表示領域を有する表示部と、オペレーティング・システムに従って動作し、少なくとも1つのチャネルの画面データを取得するシステム・デバイスと、を備える情報処理装置のコンピュータに、前記少なくとも2つの表示領域に対して前記チャネルに対応する画面領域を前記チャネルごとに定める第1手順と、前記画面領域に対応する画面データの要求情報を前記システム・デバイスに出力する第2手順と、を実行させるためのプログラムである。
本発明の実施形態によれば、OSに依存せずに複数の表示領域にわたる柔軟な入出力制御を実現することができる。
本発明の実施形態に係る情報処理装置の機能構成例を示すブロック図である。 本発明の実施形態に係る画面パターンの例を説明するための説明図である。 本発明の実施形態に係る横長表示と縦長表示の例を示す図である。 本発明の実施形態に係る画面パターンの遷移例を示す説明図である。 本発明の実施形態に係る入出力ハブの構成例を示す概略ブロック図である。 本発明の実施形態に係る制御テーブルの例を示す図である。 本発明の実施形態に係る画面パターンの他の例を示す図である。 本発明の実施形態に係る入出力ハブにおける第1入出力例を示す図である。 本発明の実施形態に係る接触位置の検出例を示す図である。 本発明の実施形態に係る入出力ハブにおける第2入出力例を示す図である。 本発明の実施形態に係る入出力ハブにおける第3入出力例を示す図である。 本発明の実施形態に係る複合表示の例を示す図である。 本発明の実施形態に係る入出力ハブにおける第4入出力例を示す図である。 本発明の実施形態に係る複合表示の他の例を示す図である。 本発明の実施形態に係る接触位置の軌跡の取得例を示す図である。 本発明の実施形態に係る改行表示の例を示す図である。 本発明の実施形態に係る改行表示の他の例を示す図である。 本発明の実施形態に係る制御テーブルの他の例を示す図である。 本発明の実施形態に係る情報処理装置の他の構成例を示す図である。 本発明の実施形態に係る情報処理装置のさらに他の構成例を示す図である。 従来の画面パターンの例を示す図である。 従来の画面パターンの他の例を示す図である。
以下、本発明の実施形態について、図面を参照して説明する。
まず、本発明の実施形態に係る情報処理装置10の概要について説明する。以下の説明では、情報処理装置10が主にノートPCである場合を例にする。ノートPCは、2個の筐体とヒンジ機構(図示せず)を備える。ヒンジ機構により一方の筐体(以下、第1筐体101(図2))の側面が他方の筐体(以下、第2筐体102(図2))の側面に係合され、ヒンジ機構の回転軸周りに第1筐体が第2筐体に対して回動可能に構成されている。ノートPCは、クラムシェル(Clamshell)型PCと呼ばれることもある。
図1は、本実施形態に係る情報処理装置10の機能構成例を示すブロック図である。
情報処理装置10は、入出力ハブ110、システム・デバイス120、ディスプレイ132、タッチ・センサ134、リッド・センサ142、加速度センサ144a、144b、マイクロホン148、カメラ150、スピーカ162、およびバイブレータ164を含んで構成される。入出力ハブ110、システム・デバイス120、マイクロホン148、カメラ150、およびスピーカ162は、第1筐体101と第2筐体102のいずれか一方に設置される。
入出力ハブ110は、システム・デバイス120と、その他のデバイス、特に複数のディスプレイ132と複数のタッチ・センサ134との間で入出力を制御する入出力制御部として機能する。入出力ハブ110は、所定の複数種類の画面パターンから1つの画面パターンを選択し、選択した画面パターン(Display Mode)を実現可能とする。画面パターンとは、複数のディスプレイ132のそれぞれの表示領域、それら複数の表示領域の一部または全部を各1チャネルの画面データの出力先として用いる入出力モードに相当する。相互に隣接する2個の表示領域に係る画面パターンには、例えば、単一表示(Single Display)、複合表示(Hybrid Display)、二重表示(Dual Display)がある。ここで、チャネルとは、一度に表示される表示情報の単位を示す。1チャネルは、1系統とも呼ばれうる。例えば、表示情報が動画像である場合には、1チャネルは1ストリームに相当する。表示情報が静止画像である場合には1チャネルは1フレームに相当する。1チャネルの画面には、1個または複数個のウィンドウが含まれ、各ウィンドウに1フレーム以上の画像が含まれる。ウィンドウは、OS、アプリ、その他のプログラムの実行により生成されうる。一度に提示される画面パターンは、1個または複数個の画面領域を含み、各画面領域は各1チャネルの画像を表示するための領域である。また、各1個の画面領域は、1個または複数個のディスプレイ132のそれぞれの表示領域を含む。個々のディスプレイ132の表示領域は、それぞれ独立して入出力ハブ110またはシステム・デバイス120により画像の表示を制御可能とする。各表示領域は、タッチ・センサ134それぞれの検出領域に重畳している。つまり、各1個の画面領域は、その画面領域に含まれる表示領域に重畳する検出領域を含む。
入出力ハブ110は、モード制御部112と、接触位置変換部114と、仮想入力制御部116と、を備える入出力制御部である。モード制御部112は、複数の所定の画面パターンからいずれかの画面パターンを各種の情報を用いて選択する。モード制御部112は、画面パターンの選択に用いる情報として、例えば、2つの表示領域をそれぞれ支持する筐体の姿勢を用いる。画面パターンの例については、後述する。
接触位置変換部114は、個々のタッチ・センサ134−1、134−2の検出領域から入力される接触位置データが示す接触位置の座標を、モード制御部112が選択した画面パターンに係る画面領域内の座標に変換する。接触位置変換部114は、変換した接触位置を示す接触位置データをシステム・デバイス120に出力する。接触位置変換部114は、変換した接触位置を示す接触位置データをシステム・デバイス120に出力する。接触位置の座標変換の要否、接触位置の座標変換に係る写像は画面パターンに依存する。接触位置変換部114における処理の例については、後述する。
仮想入力制御部116は、モード制御部112により画面パターンとして複合表示が選択されるとき、予め設定された仮想入力領域に所定の操作入力部(例えば、キーボード)の画像を表示させる。仮想入力制御部116は、その操作入力部の部材(例えば、文字キー)が表示される領域内の位置を接触位置として示す接触位置データがタッチ・センサ134から入力されるとき、その部材への操作を示す操作信号(例えば、キー操作信号)を生成し、生成した操作信号をシステム・デバイス120に出力する。なお、仮想入力領域は、その原点位置と大きさ(解像度)を用いて特定される。
システム・デバイス120は、1個以上のプロセッサ122を含んで構成される。プロセッサ122は、OSを実行して、基本的な機能を提供する。本願では、「プログラムを実行する」とは、プログラム(OS、アプリケーション・プログラムなどが含まれうる)に記述された命令に従って動作することを意味する。基本的な機能には、アプリケーション・プログラム(AP:Application Program)に対する標準的なインタフェースの提供と、システム・デバイス120自体ならびにシステム・デバイス120に接続された他のハードウェア(入出力ハブ110を含む)における各種のリソースの管理が含まれる。プロセッサ122は、OS上で他のプログラム(APを含む)を実行することができる。
本願では、「OS上でプログラムを実行する」とは、そのOSの実行がプログラムに対してインタフェースとリソースを提供し、提供されたインタフェースとリソースを用いてそのプログラムを実行することを意味する。プロセッサがOSを実行することの他、そのOS上で他のプログラムを実行して何らかの処理を行うことを、「OSに従って処理する」と呼ぶ。プロセッサ122は、OSの実行に従って画面データを取得することがある。プロセッサ122は、例えば、OSまたはAPの実行により画面データを生成することや、他の機器から画面データを入力または受信することがありうる。プロセッサ122は、取得した画面データを入出力ハブ110に出力する。
また、プロセッサ122は、入出力ハブ110から接触位置データが入力され、入力される接触位置データを用いた処理を実行することがある。さらに、プロセッサ122は、入力される接触位置データで指示されたAPの実行を制御することがある。
ディスプレイ132は、入出力ハブ110から入力される画面データが示す画像を表示するための表示領域を有する。ディスプレイ132は、例えば、LCD(Liquid Crystal Display)、OLED(Organic Electro−luminescence Display)などのいずれであってもよい。
図1に示す例では、ディスプレイ132の個数は2個である。2個のディスプレイ132のそれぞれは、ディスプレイ132−1、132−2として区別されている。ディスプレイ132−1、132−2は、それぞれ第1筐体101の表面、第2筐体102の表面に設置される(図2)。言い換えれば、第1筐体101、第2筐体102は、ディスプレイ132−1、132−2を支持する支持部として機能する。
タッチ・センサ134は、物体(人体の一部を含む)との接触を検出するための検出領域を有する。タッチ・センサ134は、抵抗膜方式、表面弾性波方式、赤外線方式、静電容量方式などのいずれの方式を採用したものであってもよい。タッチ・センサ134は、検出領域内に接触を検出した位置である接触位置を示す接触位置データを入出力ハブ110に出力する。
図1に示す例では、タッチ・センサの個数は2個である。2個のタッチ・センサ134のそれぞれは、タッチ・センサ134−1、134−2として区別されている。タッチ・センサ134−1、134−2は、それぞれディスプレイ132−1、132−2と一体化しタッチパネルとして形成される。ディスプレイ132−1、132−2それぞれの表示領域は、タッチ・センサ134−1、134−2それぞれの検出領域に重畳されている。
リッド・センサ142は、第1筐体101の第2筐体102に対する開閉状態を検出するためのセンサである。リッド・センサ142は、例えば、その周囲の磁場を検出する磁気センサを含んで構成される。第1筐体101が第2筐体102に対して閉じた状態において、リッド・センサ142が備わる一方の筐体(例えば、第1筐体101)とは他方の筐体(例えば、第2筐体102)の対向する位置に永久磁石(図示せず)が設置される。リッド・センサ142は、検出した磁界の強度を示す磁界強度信号を入出力ハブ110に出力する。入出力ハブ110のモード制御部112は、リッド・センサ142から入力される磁界強度信号が示す磁界強度が、所定の強度の閾値以上であるとき第1筐体101が第2筐体102に対して閉じていると判定することができる。モード制御部112は、その磁界強度が所定の強度の閾値未満であるとき第1筐体101が第2筐体102に対して開いていると判定することができる。
加速度センサ144a、144bは、それぞれ3つの互いに直交する検出軸を備える3軸の加速度センサである。加速度センサ144a、144bは、それぞれ第1筐体101、第2筐体102に設置される。そのため加速度センサ144aの検出軸と第1筐体101との位置関係、加速度センサ144bの検出軸と第2筐体102との位置関係は、それぞれ固定される。モード制御部112は、加速度センサ144aが検出した加速度の重力成分の方向と、加速度センサ144bが検出した加速度の重力成分の方向に基づいて開閉角度θを計算することができる。開閉角度θは、第1筐体101の表面と第2筐体102の表面となす角度である。モード制御部112は、例えば、その時点までに検出された加速度の重み付き時間平均を重力成分として定めてもよい。重み付き時間平均では、その時点までの時刻が近い加速度の成分が大きくなるように重み係数を設定しておく。モード制御部112は、開閉角度θを用いて、その時点における姿勢モードを定めることができる。ここで、姿勢とは、形状と向きの一方または両方の意味を含むものとする。モード制御部112は、開閉角度θの他、情報処理装置10の向きを用いて姿勢モードを定めてもよい。開閉角度θまたは姿勢モードは、第1筐体101と第2筐体102からなる、ディスプレイ132−1、132−2を支持する部材である筐体の姿勢を示す指標として用いることができる。姿勢モードによりユーザに対して対向する表示領域やその向きが異なるため、想定される利用形態が異なりうる。モード制御部112は、定めた姿勢モードを参照して画面パターンを定めることができる。
マイクロホン148は、周囲から到来する音を収音し、収音した音の強度を示す音響信号を入出力ハブ110に出力する。入出力ハブ110は、システム・デバイス120の制御に応じてマイクロホン148から入力される音響信号をシステム・デバイス120に出力する。
カメラ150は、視野内の被写体の画像を撮像し、撮像した画像を示す撮像データを入出力ハブ110に出力する。
スピーカ162は、入出力ハブ110から入力される音響信号に基づく音を再生する。入出力ハブ110は、システム・デバイス120の制御に応じてシステム・デバイス120から入力される音響信号をスピーカ162に出力する。
バイブレータ164は、入出力ハブ110から入力される振動信号に基づく振動を発生する。バイブレータ164は、システム・デバイス120の制御に応じてシステム・デバイス120から入力される振動信号をバイブレータ164に出力する。
なお、情報処理装置10は、通信モジュール(図示せず)と入出力インタフェース(図示せず)の一方または両方を備えていてもよい。通信モジュールは、有線または無線でネットワークに接続し、ネットワークに接続された他の機器との間で各種のデータを送受信する。通信モジュールは、入出力ハブ110を経由して、システム・デバイス120から入力される送信データを他の機器に送信し、他の機器から受信した受信データをシステム・デバイス120に出力する。入出力インタフェースは、他の機器と有線または無線で接続し、各種のデータを送受信可能とする。通信モジュールは、入出力ハブ110を経由して、通信ネットワークと接続し、システム・デバイス120から入力される送信データをネットワークに接続された他の機器に送信し、他の機器から受信した受信データをシステム・デバイス120に出力する。
また、入出力ハブ110は、タッチ・センサ134−1、134−2とは別個の操作入力部を備えていてもよい。別個の操作入力部は、受け付けたユーザの操作に応じた操作信号を生成し、生成した操作信号をシステム・デバイス120に入出力ハブ110を経由して出力する。別個の操作入力部は、タッチ・センサ以外の形態、例えば、マウス、キーボード、ポインティング・スティックなどであってもよい。
(画面パターン)
次に画面パターンの例について説明する。図2は、本実施形態に係る画面パターンの例を説明するための説明図である。図2では、情報処理装置10が2個の表示領域を備える場合を例にする。
単一表示とは、システム・デバイス120から入力される1チャネルの画面データの出力先として、空間的に相互に隣接するディスプレイ132−1、132−2のそれぞれの表示領域の両者を含む1個の画面領域として用いる画面パターンである。図2に示す例では、入出力ハブ110は、1個の画像Im11を表示させるためのディスプレイ132−1、132−2のそれぞれの表示領域からなる1個の画面領域を設定する。
二重表示とは、システム・デバイス120から入力される各チャネルの画面データの出力先として、個々のディスプレイ132−1、132−2のそれぞれの表示領域を各1個の画面領域として用いる画面パターンである。図2に示す例では、入出力ハブ110は、画像Im21を表示させるためのディスプレイ132−1の表示領域からなる一方の画面領域と、画像Im22を表示させるためのディスプレイ132−2の表示領域からなる他方の画面領域とを設定する。二重表示は、多重表示(Multiple display)のうち2個の表示領域に限定された画面パターンである。
複合表示とは、システム・デバイス120から入力される1以上のチャネルの画面データの出力先として、空間的に相互に隣接するディスプレイ132−1、132−2それぞれの表示領域の両者またはその一部を一方の画面領域として用いるとともに、入出力ハブ110が独自に取得した別個の画面データの出力先としてディスプレイ132−1、132−2それぞれの表示領域の他の一部を他方の画面領域として用いる画面パターンである。つまり、一方の画面領域には、OSの制御下で取得される画面データに基づく画像が表示されるのに対し、他方の画面領域には、OSの制御外で独自に取得される画面データに基づく画像が表示される。複合表示は、OSの制御下で取得される画面データに基づく画像が表示される点で、OSの制御外で取得される画面データに基づく画像が表示されない画面パターンである単一表示や二重表示とは異なる。以下の説明では、OSの制御外の画面データを、システム外画面データ、そのデータに基づく画像をシステム外画像、と呼ぶことがある。
図2に示す例では、入出力ハブ110は、画像Im11を表示させるためのディスプレイ132−1の表示領域を一方の画面領域を設定するとともに、仮想入力制御部116から入力される仮想入力領域として、ディスプレイ132−2の表示領域を別個の画面領域として設定する。ディスプレイ132−2の表示領域には、システム外画像の一例として、キーボードを表す画像Im12が表示される。キーボードは、操作を受け付けるための操作入力部の一例である。ディスプレイ132−2の表示領域は、タッチ・センサ134−2の検出領域に包囲された領域である。キーボードを構成するキーの表示領域内の接触位置を示す接触データが入力されるとき、仮想入力制御部116は、そのキーへの打鍵時に生成される操作信号と同様の操作信号を生成する。仮想入力制御部116は、生成した操作信号をシステム・デバイス120に出力する。ユーザは、キーボードを表す画像Im12への接触によりキーボード操作と同様の操作入力を実現することができる。以下の説明では、画像Im12のように独自に操作入力を受け付ける領域を示す画像、その画像を示すデータをそれぞれ仮想入力画像、仮想入力画像データと呼ぶ。仮想入力画像は、図2に例示されるように仮想的に操作入力部を表す画像として用いられてもよい。
なお、上記の3種類の画面パターンは、それぞれさらに横長表示(Landscape View)か縦長表示(Portrait View)に区分されてもよい。横長表示では、2つの表示領域からなる表示領域の全体(以下、全表示領域)に1チャネルまたは2チャネルの画像を全体として横長方向に配置する画面パターンをなす。横長方向は、全表示領域の長手方向が横方向となる方向である。縦長表示では、全表示領域に1チャネルまたは2チャネルの画像を全体として縦長方向に配置する画面パターンをなす。縦長方向は、全表示領域の長手方向が縦方向となる方向である。横方向、縦方向は、それぞれ情報処理装置10に対面するユーザに対して左右方向、その左右方向に対して直交する方向である。
そこで、モード制御部112は、カメラ150から入力される撮像データに対して公知の画像認識処理を行い、自装置に対面するユーザの肖像を表す画像を認識し、認識した肖像の画像から自装置のユーザの正面に対する相対的な方向を判定する。より具体的には、モード制御部112は、画像認識処理を行ってユーザの身体をなす器官(例えば、胸部、頭部など)が表れている領域を推定する。モード制御部112は、予め設定された撮像パラメータを参照して、推定した器官の各領域の代表点(例えば、眼、鼻、口、耳、上腕の付け根、頸部の付け根、など)の位置を用いてユーザに対する正面方向を定め、正面方向に直交する方向を左右方向、つまり横方向として定めることができる。撮像パラメータには、撮像される画像の各画素とカメラ150の光学軸を基準とした方向との関係を示すパラメータと、カメラ150の光学軸とディスプレイ132−1、132−2のそれぞれの表示領域との位置関係を示すパラメータが含まれる。
モード制御部112は、情報処理装置10の向きとして第1筐体101または第2筐体102のユーザの正面に対する相対的な向きに基づいて画面パターンを横長表示とするか、縦長表示とするかを判定することができる。第1筐体101よりも第2筐体102の方が、重量が大きい場合には、重量が大きい方の第2筐体102を基準とすることができる。モード制御部112は、例えば、第2筐体102の表面の長手方向が縦方向、または横方向よりも縦方向に近い方向であるとき、画面パターンを横長表示と定める。モード制御部112は、例えば、第2筐体102の表面の長手方向が横方向、または縦方向よりも横方向に近い方向であるとき、画面パターンを縦長表示と定める。
次に、横長表示と縦長表示の例について説明する。図3は、本実施形態に係る横長表示と縦長表示の例を示す図である。図3(a1)、(a2)は、それぞれ単一表示における横長表示、縦長表示の例を示す。図3(a1)に示す例では、ディスプレイ132−1、132−2の表示領域からなる全表示領域が横方向に配置され、全表示領域の大きさと方向に合致した1フレームの画像が表示されている。
図3(a2)に示す例では、ディスプレイ132−1、132−2の表示領域からなる全表示領域が縦方向に配置され、全表示領域の大きさと方向に合致した1フレームの画像が表示されている。
図3(b1)、(b2)は、それぞれ二重表示における横長表示、縦長表示の例を示す。
図3(b1)に示す例では、ディスプレイ132−1、132−2の表示領域からなる全表示領域が横方向に配置されている。但し、ディスプレイ132−1、132−2それぞれの表示領域には、それぞれの表示領域の大きさと方向(縦方向)に合致した各1フレーム(計2フレーム)の画像が表示されている。ディスプレイ132−1、132−2の表示領域には、それぞれ別個の画像であってシステム・デバイス120から取得される画面データに係る画像が、それぞれ縦方向に配置されている。
図3(b2)に示す例では、ディスプレイ132−1、132−2の表示領域からなる全表示領域が縦方向に配置されている。但し、ディスプレイ132−1、132−2それぞれの表示領域には、それぞれの表示領域の大きさと方向(横方向)に合致した各1フレーム(計2フレーム)の画像が表示されている。ディスプレイ132−1、132−2の表示領域には、それぞれ別個の画像であってシステム・デバイス120から取得される画面データに係る画像が、それぞれ横方向に配置されている。
図3(c1)、(c2)は、それぞれ複合表示における横長表示、縦長表示の例を示す。
図3(c1)に示す例では、ディスプレイ132−1、132−2の表示領域からなる全表示領域が横方向に配置されている。但し、ディスプレイ132−1、132−2それぞれの表示領域には、それぞれの表示領域の大きさと方向(縦方向)に合致した各1フレーム(計2フレーム)の画像が表示されている。但し、ディスプレイ132−1、132−2の表示領域には、システム・デバイス120から取得される画面データに係る画像が、入出力ハブ110が独自に取得した画面データとして予め記憶させておいた画面データに係る画像が、それぞれ縦方向に配置されている。
図3(c2)に示す例では、ディスプレイ132−1、132−2の表示領域からなる全表示領域が縦方向に配置されている。但し、ディスプレイ132−1、132−2それぞれの表示領域には、それぞれの表示領域の大きさと方向(横方向)に合致した各1フレーム(計2フレーム)の画像が表示されている。但し、ディスプレイ132−1、132−2の表示領域には、システム・デバイス120から取得される画面データに係る画像が、入出力ハブ110が独自に取得した画面データとしてキーボードの画像が、それぞれ横方向に配置されている。キーボードの画像は、ディスプレイ132−2の表示領域は、仮想入力領域として設定されていることを示す。
(モード遷移)
次に、本実施形態に係る画面パターンならびに姿勢モードの遷移例について説明する。
図4は、本実施形態に係る画面パターンの遷移例を示す説明図である。動作モードには、姿勢モードと画面パターンがある。画面パターンは、1個または複数の表示領域を含む画面領域と、個々の表示領域に対応する検出領域を有する。姿勢モードは、第1筐体101と第2筐体102の開閉角度θと、情報処理装置10の向きで定まる。
図4に示す例では、モード制御部112は、開閉角度θが60°以上180°未満であって、第2筐体102の長手方向が横方向または縦方向よりも横方向に近い方向である場合、姿勢モードを(i)ラップトップ・モード(Laptop Mode)と判定する。この場合、モード制御部112は、画面パターンを縦長表示の複合表示と判定する。モード制御部112は、ディスプレイ132−1の表示領域に横長の画像を表示させ、ディスプレイ132−2の表示領域に横長のキーボードの画像を仮想入力画像として表示させる。仮想入力制御部116は、タッチ・センサ134−2から入力される接触位置データが示す接触位置が含まれる表示領域に表示された部材(例えば、キー)を特定する。仮想入力制御部116は、特定した部材への操作を示す操作信号を生成し、生成した操作信号をシステム・デバイス120に出力する。ラップトップ・モードは、ノートPCにおいて最も典型的な姿勢モードである。
モード制御部112は、開閉角度θが60°以上180°未満であって、第2筐体102の長手方向が縦方向または横方向よりも縦方向に近い方向である場合、姿勢モードを(ii)ブック・モード(Book Mode)と判定し、画面パターンを横長表示の単一表示と判定する。この場合、モード制御部112は、ディスプレイ132−1、132−2の表示領域を含む全表示領域に横長の画像を表示させる。
モード制御部112は、開閉角度θが180°であって、第2筐体102の長手方向が縦方向または横方向よりも縦方向に近い方向である場合、姿勢モードを(iii)タブレット・モード(Tablet Mode)と判定し、画面パターンを横長表示の単一表示と判定する。この場合、モード制御部112は、ディスプレイ132−1、132−2の表示領域を含む画面領域に横長の1枚の画像を表示させる。
モード制御部112は、開閉角度θが180°であって、第2筐体102の長手方向が横方向または縦方向よりも横方向に近い方向である場合、姿勢モードを(iv)タブレット・モードと判定し、画面パターンを縦長表示の単一表示と判定する。この場合、モード制御部112は、ディスプレイ132−1、132−2の表示領域を含む全画面領域に縦長の1枚の画像を表示させる。
モード制御部112は、開閉角度θが180°より大きく360°未満である場合、第2筐体102の方向に関わらず、姿勢モードを(v)テント・モード(Tent Mode)と判定し、画面パターンを横長表示の単一表示と判定する。この場合、モード制御部112は、ディスプレイ132−1、132−2の表示領域を含む全画面領域に横長の画像を表示させる。
モード制御部112は、開閉角度θが360°である場合、第2筐体102の方向に関わらず、姿勢モードを(vi)半タブレット・モード(Half Tablet Mode)と判定し、画面パターンを単一表示と判定する。この場合、モード制御部112は、ディスプレイ132−1、132−2のうち、その表面が側面よりも天の方向を向いている筐体に設置されたディスプレイ(図4に示す例では、ディスプレイ132−1)の表示領域に画像を表示させる。但し、モード制御部112は、第2筐体102の表面の長手方向が横方向または縦方向よりも横方向に近いとき、その画像を表示領域の横長に表示させる。このとき、全表示領域の向きは縦長となり、他方のディスプレイ132−2の表示領域に対する画像の表示が停止される。モード制御部112は、第2筐体102の表面の長手方向が縦方向または横方向よりも縦方向に近いとき、その画像を表示領域の縦長に表示させる。このとき、全表示領域の向きは横長となり、他方のディスプレイ132−2の表示領域に対する画像の表示が停止される。
姿勢モードが(i)ラップトップ・モード、(ii)ブック・モード、または(iii)、(iv)タブレット・モードである場合には、モード制御部112は、画面パターンを単一表示もしくは複合表示と、二重表示との間で操作入力部(図示せず)からの所定の操作信号の入力に応じて相互に切り替えてもよい。所定の操作信号として、専用のボタン(切替ボタン)の押下に応じて入力される操作信号、ホット・キーの押下に応じて入力される操作信号、などのいずれであってもよい。ボタンは、専用の部材であってもよいし、ディスプレイ132−1、132−2の表示領域の一部の所定の領域(例えば、ディスプレイ132−2の表示領域の一頂点に接した四角形の領域)に表示される操作用画像であってもよい。ホット・キーとは、特定の機能を指示するために、キーボードが備えるキーの一部である特定の1個のキーまたは複数のキーの組み合わせである。仮想入力制御部116は、この操作用画像を画面パターンに関わらず表示させてもよい。また、仮想入力制御部116は、その所定の領域から所定範囲(例えば、1〜2cm)内に物体(例えば、ユーザの指)の接近を検出している期間に表示させ、その他の期間において表示させなくてもよい。
画面パターンが二重表示である場合には、モード制御部112は、第2筐体102の表面の長手方向が横方向または縦方向よりも横方向に近い方向であるとき、(vii)縦長表示と判定する。モード制御部112は、全表示領域の長手方向が縦方向または横方向よりも縦方向に近い方向であるとき、(viii)横長表示と判定する。
なお、姿勢モードが(v)テントモードであるとき、モード制御部112は、1チャネルの画像を表示させるための画面領域を、ディスプレイ132−1、132−2のいずれか一方(例えば、ディスプレイ132−1)の表示領域と定め、他方(例えば、ディスプレイ132−2)がその画面領域の範囲外としてもよい。
姿勢モードが(i)ラップトップ・モードであるときには、モード制御部112は、所定の操作信号の入力(例えば、ボタンの押下)に応じて、画面パターンを複合表示と単一表示とを相互に切り替えてもよい。
モード制御部112は、開閉角度θが0°より大きく60°未満である場合、姿勢モードをクローズ・モードと判定し、ディスプレイ132−1、132−2への画像の表示ならびにタッチ・センサ134−1、134−2における接触位置の検出を停止してもよい。モード制御部112は、その場合、システム・デバイス120にシステムとしての動作モードをスリープ・モードと判定し、スリープ・モードを示す動作制御信号をシステム・デバイス120に出力してもよい。システム・デバイス120は、モード制御部112からスリープ・モードを示す動作制御信号が入力されるとき、動作モードをスリープ・モードに変更し、各種の画面データの出力を停止する。モード制御部112は、開閉角度θが60°以上となる場合、システム・デバイス120にシステムとしての動作モードを通常モードと判定し、通常モードを示す動作制御信号をシステム・デバイス120に出力してもよい。システム・デバイス120は、モード制御部112から通常モードを示す動作制御信号が入力されるとき、動作モードを通常モードに変更し、各種の画像データの出力を再開する。
なお、個々の姿勢モードに対応する開閉角度θの範囲は、図4に例示される範囲とは異なっていてもよい。
(入出力ハブの構成)
次に、本実施形態に係る入出力ハブの構成例について説明する。図5は、本実施形態に係る入出力ハブの構成例を示す概略ブロック図である。但し、図5では、リッド・センサ142、加速度センサ144a、144b、マイクロホン148、カメラ150、スピーカ162、およびバイブレータ164の図示が省略されている。
入出力ハブ110は、SoC(System−on−a−chip)110a、I/F(Interface)ブリッジ110b−1、110b−2、およびスイッチ110c−1、110c−2、110d−1、110d−2を含んで構成される。
SoC110aは、システム・デバイス120とは独立に動作し、ディスプレイ132−1、132−2への画面データの出力、タッチ・センサ134−1、134−2からの接触位置データの入力を制御する。
SoC110aは、システム・デバイス120とは独立に動作しマイクロコントローラとして機能する集積回路である。SoC110aは、プロセッサとDRAM(Dynamic Random Access Memory)などの記憶媒体を含んで構成される。
SoC110aは、予め記憶媒体に記憶したファーム・ウェアを読み出し、読み出したファーム・ウェアに記述されたコマンドで指示された処理を実行して、モード制御部112、接触位置変換部114、および仮想入力制御部116の機能を奏する。
SoC110aは、I/Fブリッジ110b−1、110b−2、およびスイッチ(SW:Switch)110c−1、110c−2、110d−1、110d−2と協働して、モード制御部112の機能を実現する(図2)。
モード制御部112は、上記のように各種のセンサから入力される検出信号に基づいて画面パターンを定める。個々の画面パターンは、1個または2個の表示領域セットを含む。個々の画面領域はディスプレイ132−1の表示領域、ディスプレイ132−2の表示領域のいずれか一方または両方を含む。画面パターンに応じて個々の画面領域の大きさ(Size)とその画面領域の方向(Orientation)のいずれかまたは両方が異なりうる。また、画面領域の大きさまたは画像の方向に応じて個々の表示領域に表示される画像の大きさ、方向および位置(Position)のいずれか、またはそれらのうちの少なくとも2項目からなる組が異なりうる。位置は、画面領域内に画像を割り当てる表示領域の位置の代表点の位置(例えば、起点)で表される。画面パターンの例については、後述する。
モード制御部112は、定めた画面パターンに対応する画像、個々の画像の大きさ、方向および画面領域内の位置を特定する。モード制御部112は、画像のチャネルごとに特定した大きさおよび方向を有する画像の要求を示す画像要求信号を生成する。モード制御部112は、チャネルごとに生成した画像要求信号をI/Fブリッジ110b−1、110b−2に出力する。I/Fブリッジ110b−1、110b−2は、それぞれ第1、第2チャネルの画像に対応する。
モード制御部112は、定めた画面パターンをなすチャネルごとに画面データのスイッチ110d−1、110d−2それぞれへの出力の要否を示す出力制御信号をスイッチ110c−1、110c−2に出力する。
モード制御部112は、定めた画面パターンを構成する画面領域のうち、画面データが示す画像を個々のディスプレイ132−1、132−2の表示領域に割り当てる部分である割当部分の大きさ、方向および位置を示す割当情報を特定する。モード制御部112は、ディスプレイ132−1、132−2の表示領域ごとに特定した割当情報を示す割当制御信号をそれぞれスイッチ110d−1、110d−2に出力する。
I/Fブリッジ110b−1、110b−2は、それぞれシステム・デバイス120と所定のデータ入出力方式を用いてブリッジ接続し、各種のデータを入出力するためのインタフェースである。データ入出力方式として、例えば、MIPI(登録商標)(Mobile Industry Processor Interface)、eDP(登録商標)(embedded Display Port)などで規定された方式が利用可能である。I/Fブリッジ110b−1、110b−2は、それぞれSoC110aから入力される画像要求信号をシステム・デバイス120に出力する。画像要求信号として、例えば、VESA(Video Electronics Standards Association) EDID(Extended Display Identification Data、拡張ディスプレイ識別データ) Standardで規定されたEDIDが利用可能である。
システム・デバイス120は、2個のディスプレイポートを備える。それぞれのディスプレイポートは、I/Fブリッジ110b−1、110b−2に接続される。システム・デバイス120は、入力される画像要求信号で指示される大きさおよび方向を有する画像を示す画面データを生成し、生成した画面データを画像要求信号で指示されるチャネルに対応するディスプレイポートを経由して、そのディスプレイポートに接続されたI/Fブリッジに出力する。従って、一度に1チャネルまたは2チャネルの画面データが出力されうる。
I/Fブリッジ110b−1、110b−2は、それぞれシステム・デバイス120から入力される画面データを、スイッチ110c−1、110c−2に出力する。
スイッチ110c−1は、SoC110aから入力される出力制御信号に基づいて、I/Fブリッジ110b−1から入力される画面データのスイッチ110d−1、110d−2それぞれへの出力の要否を制御する。
スイッチ110c−2は、SoC110aから入力される出力制御信号に基づいて、I/Fブリッジ110b−2から入力される画面データならびにSoC110aから入力されるシステム外画面データのスイッチ110d−1、110d−2それぞれへの出力の要否を制御する。
スイッチ110d−1は、スイッチ110c−1、110c−2のそれぞれから入力される画面データが示す画像について、SoC110aから入力される割当制御信号で示されるディスプレイ132−1への割当部分の大きさ、方向および位置を特定する。スイッチ110d−1は、特定した割当部分を抽出し、抽出した割当部分を示す画面データをディスプレイ132−1に出力する。
スイッチ110d−2も、スイッチ110d−1と同様に、スイッチ110c−1、110c−2のそれぞれから入力される画面データが示す画像について、SoC110aから入力される割当制御信号で示されるディスプレイ132−2への割当部分の大きさ、方向および位置を特定する。スイッチ110d−2は、特定した割当部分を抽出し、抽出した割当部分を示す画面データをディスプレイ132−2に出力する。なお、図5に例示する一連のスイッチは、その機能構成例の概念を示したものであり、必ずしも図示の個々のブロックにそれぞれ対応する部材をもって構成されることを要しない。例えば、これらのスイッチ110c−1、110c−2、110d−1、110d−2は、画面合成のためのバッファを有するなど単純な切り替え以上の機能を有してもよい。2個以上のスイッチ、例えば、スイッチ110c−1、110c−2からなるセット、スイッチ110d−1、110d−2からなるセットが、それぞれ各1個の部材で実現されてもよい。また、これらのスイッチの一部または全部、例えば、スイッチ110c−1、110c−2は、それぞれI/Fブリッジ110b−1、110b−2の一部として統合されてもよい。
なお、タッチ・センサ134−1、134−2は、それぞれタッチ・コントローラ(図示せず)を備える。タッチ・コントローラは、それぞれタッチ・センサ134−1、134−2の検出領域における接触位置の検出を制御する。タッチ・コントローラは、例えば、SoC110aから入力される検出制御信号に基づいて感度を制御する。タッチ・コントローラは、それぞれ検出領域において検出した接触位置を示す接触位置データをSoC110aに出力する。タッチ・コントローラは、SoC110aと所定の規格のシリアルバス(例えば、I2Cバス(登録商標))を用いて接続される。
接触位置変換部114は、タッチ・センサ134−1、134−2の検出領域から検出される接触位置の座標を、モード制御部112が選択した画面パターンにおける画面領域内の座標に変換する。接触位置変換部114は、座標を変換した接触位置を示す接触位置データをシステム・デバイス120に出力する。接触位置の変換の要否、変換に係る写像は、画面パターンに依存する。図3(a1)に示す例では、接触位置変換部114は、ディスプレイ132−2の表示領域に重畳したタッチ・センサ134−2の横長方向の検出領域における接触位置の座標を縦長方向の検出領域における座標に変換したうえで、タッチ・センサ134−1、134−2の検出領域の全体からなる横長方向の画面領域のうち、図面に対して右半分の領域における座標にさらに変換する。これに対し、図3(c2)に示す例では、タッチ・センサ134−1、134−2の検出領域は、相互に独立な画面領域であり、変換前後で方向に変化はない。この例では。接触位置変換部114は、タッチ・センサ134−2の検出領域における接触位置を、変換せずにそのまま採用する。
仮想入力制御部116は、モード制御部112が定めた画面パターンが複合表示モードである場合には、仮想入力画像データを生成し、生成した仮想入力画像データをシステム外画面データの一例としてモード制御部112に出力する。
モード制御部112は、システム外画面データを取得し、取得したシステム外画面データをスイッチ110c−2に出力する。システム外画像の大きさ、方向および位置を示すシステム外表示設定情報は予めモード制御部112に設定させておく。モード制御部112は、システム外画面データの出力の要否を示す出力制御信号をスイッチ110c−2に出力する。モード制御部112は、全表示領域のうち、システム外画像の個々のディスプレイ132−1、132−2の表示領域に割り当てる部分である割当部分の大きさ、方向および位置を示すシステム外表示割当情報を特定する。モード制御部112は、ディスプレイ132−1、132−2の表示領域ごとに特定したシステム外表示割当情報を示す割当制御信号をそれぞれスイッチ110d−1、110d−2に出力する。
仮想入力制御部116は、タッチ・センサ134−1、134−2から入力される接触位置データが示すそれぞれの接触領域内の接触位置が、表示領域内に含まれる操作入力部の部材を検出する。仮想入力制御部116は、検出した部材への操作を示す操作信号をシステム・デバイス120に出力する。
入出力ハブ110は、所定の方式のシリアルバス(例えば、USB:Universal Serial Bus)を用いてシステム・デバイス120と接続するための入出力インタフェース(例えば、USBポート)を備える。
SoC110a、各種のセンサ(例えば、リッド・センサ142、加速度センサ144a、144b、マイクロホン148、カメラ150、等)、および各種のアクチュエータ(例えば、スピーカ162、バイブレータ、等)は、その入出力インタフェースに接続される。
(画面パターンの制御)
次に、図6、図7を用いて本実施形態に係る画面パターンの制御例について説明する。図6は、本実施形態に係る制御テーブルの例を示す図である。図7は、本実施形態に係る画面パターンの例を示す図である。制御テーブルは、画面パターンごとの設定情報を示すデータである。SoC110aには、予め制御テーブルを記憶させておく。モード制御部112は、制御テーブルを参照して、定めた画面パターンの設定情報を特定し、特定した設定情報に基づいて上記の出力制御信号と割当制御信号を生成する。接触位置変換部114は、モード制御部112が特定した設定情報に基づいて接触位置を変換する。
図6に示すように、制御テーブルは、ID(Identifier)ごとに画面パターンの設定情報を含んで構成される。IDは、個々の画面パターンを示す識別子である。設定情報は、1チャネルまたは2チャネルの画像ごとの大きさ、方向および位置を示す。画像の大きさは、解像度として、1個または2個のディスプレイの表示領域からなる画面領域の水平方向、垂直方向それぞれの画素数で表されている。水平方向、垂直方向は、それぞれ画像を構成する各画素の列、行の方向を示す。
画像の方向として、横長方向と縦長方向のいずれかの方向が指定される。
原点位置は、チャネルごとの画像のうち個々のディスプレイの表示領域に割り当てる割当部分の代表点である原点の位置である。原点位置は、ディスプレイ132−1、132−2の表示領域全体の全表示領域のうち画像の方向を基準とする水平方向、垂直方向それぞれの画素数で表されている。ID1、ID5にそれぞれ対応するチャネル1には、2個の原点位置を記号“/”で区切って指示されている。この記号は、チャネル1の画像を、それぞれ指示された原点位置をもって複数の割当部分に区分し、区分した割当部分をそれぞれのディスプレイの表示領域に割り当てること(分配)を示す。
ID2、ID6にそれぞれ対応するチャネル1にも2個の原点位置が記号“,”で区切って指示されている。2個の原点位置は、個々の原点位置で指示される画面領域に共通のチャネル1に係る画像を、それぞれのディスプレイの表示領域に割り当てること(複製)を示す。
図6に示す例では、ディスプレイ132−1、132−2の表示領域の解像度が、それぞれ水平方向1920画素×垂直方向1080画素(以下、1920×1080)である場合を例にする。モード制御部112には、ディスプレイ132−1、132−2の表示領域の設定情報(例えば、解像度の情報を含む)を予め設定しておく。
図7(a)−(h)は、それぞれID1−ID8に対応する画面パターンを示す。図7において「A」、「B」、「OFF」は、それぞれチャネル1に係る画像、チャネル2に係る画像、非表示を示す。
図6において、ID1は、画面パターンとして横長表示の単一表示を示す。ID1に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「2160×1920」、「横長」、「(0,0)/(1080,0)」を示し、チャネル2に係る画像に係る情報は含まれない。これらの情報は、全表示領域にその原点を起点としてチャネル1に係る画像を横長方向に割り当てることを示す。そこで、モード制御部112は、画面パターンを横長方向の単一表示と判定する場合、ID1に対応する設定情報を参照し、解像度「2160×1920」および方向「横長」を示す画像要求信号を生成し、生成した画像要求信号をI/Fブリッジ110b−1に出力する。また、モード制御部112は、I/Fブリッジ110b−1から入力される画面データのスイッチ110d−1、110d−2への出力を示す出力制御信号を生成し、生成した出力制御信号をスイッチ110c−1に出力する。
モード制御部112は、スイッチ110c−1から入力される画面データの画像のうち、予め設定されたディスプレイ132−1の表示領域の設定情報を参照して原点(0,0)を起点とする大きさ「1080×1920」の部分をディスプレイ132−1への割当部分として定め、定めた割当部分の割当方向を横長方向に定める。モード制御部112は、原点位置(0,0)に相当する割当先の原点として、ディスプレイ132−1の表示領域の原点を特定する。モード制御部112は、定めたディスプレイ132−1への割当部分について割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−1に出力する。
また、モード制御部112は、スイッチ110c−1から入力される画面データの画像のうち、残りの部分である座標(1080,0)を起点とする大きさ「1080×1920」の部分をディスプレイ132−2への割当部分として定め、定めた割当部分の割当方向を横長方向に定める。モード制御部112は、座標(1080,0)に相当するディスプレイ132−2の表示領域の原点を割当先の原点として特定する。モード制御部112は、定めたディスプレイ132−2への割当部分について割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−2に出力する。
従って、スイッチ110c−1には、システム・デバイス120から大きさ「2160×1920」の画像を示す画面データがI/Fブリッジ110b−1を経由して入力され、モード制御部112から入力される出力制御信号に従って、スイッチ110d−1、110d−2にそれぞれ出力する。
スイッチ110d−1、110d−2は、それぞれスイッチ110c−1から入力される画面データが示す画像から、モード制御部112から入力される割当制御信号で指示される割当部分を抽出する。スイッチ110d−1、110d−2は、それぞれ割当制御信号に従って抽出した割当部分の方向をそれぞれ横長方向に変換し、変換した割当部分を示す画面データをディスプレイ132−1、132−2に出力する。よって、ディスプレイ132−1、132−2の表示領域からなる全表示領域を1つの画面領域として、チャネル1に係る画像が横長方向に表示される(図8参照)。
接触位置変換部114は、モード制御部112で選択されたID1に対応する設定情報を参照し、タッチ・センサ134−1、134−2において検出された接触位置の座標を、チャネル1に係る画面領域内の座標に変換する。この画面領域の大きさは「2160×1920」であり方向は横長方向である。接触位置変換部114は、タッチ・センサ134−1から入力される接触位置データが示す横長方向の接触領域内の接触位置の座標を縦長方向の領域内の座標に変換し、変換により得られる座標で示される接触位置をチャネル1に係る接触位置として定める。接触位置変換部114は、タッチ・センサ134−2から入力される接触位置データが示す横長方向の接触領域内の接触位置の座標に、タッチ・センサ134−2の検出領域の原点に対応するチャネル1に係る画面領域内の座標(1080,0)を加算して得られる座標で示される接触位置を定める。接触位置変換部114は、定めた接触位置を示す接触位置データをシステム・デバイス120に出力する。よって、システム・デバイス120は、設定した画面領域内の接触位置に基づく処理をOSの制御に関わらず実現することができる。
図9に示す例では、タッチ・センサ134−1、134−2の検出領域を跨いで接触位置が継続して移動する操作が検出されるとき、システム・デバイス120は、継続して移動する接触位置を用いた処理を実現することができる。例えば、システム・デバイス120は、検出された接触位置を基準点として、接触位置に連動するカーソルを画面領域内で表示させることができる。
図6において、ID2は、画面パターンとして横長表示の二重表示を示す。ID2に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「1080×1920」、「縦長」、「(0,0)、(1080,0)」を示し、チャネル2に係る画像に係る情報は含まれない。これらの情報は、ディスプレイ132−1、132−2それぞれの表示領域に、それぞれの原点を起点としてチャネル1に係る画像を縦長方向に割り当てることを示す。ID2は、システム・デバイス120から1チャネルの画面データが取得できるが、2チャネルの画面データが取得できない場合に適用されうる。
モード制御部112は、画面パターンを横長表示の二重表示と判定し、システム・デバイス120から1チャネルの画面データが取得できる場合、解像度「1080×1920」および方向「縦長」を示す画像要求信号を生成し、生成した画像要求信号をI/Fブリッジ110b−1に出力する。また、モード制御部112は、I/Fブリッジ110b−1から入力される画面データのスイッチ110d−1、110d−2への出力を示す出力制御信号を生成し、生成した出力制御信号をスイッチ110c−1に出力する。
モード制御部112は、スイッチ110c−1から入力される画面データの画像のうち、予め設定されたディスプレイ132−1の表示領域の設定情報を参照して原点を起点とする大きさ「1080×1920」の部分、つまりその画像の全部をディスプレイ132−1への割当部分として定め、定めた割当部分の割当方向を縦長方向に定める。モード制御部112は、原点位置(0,0)に相当する割当先の起点としてディスプレイ132−1の原点を特定する。
モード制御部112は、定めたディスプレイ132−1への割当部分について割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−1に出力する。
また、モード制御部112は、スイッチ110c−1から入力される画面データの画像の全部をディスプレイ132−2への割当部分として定め、定めた割当部分の割当方向を縦長方向に定める。モード制御部112は、座標(1080,0)に相当する割当先の起点としてディスプレイ132−2の表示領域の原点を特定する。モード制御部112は、定めたディスプレイ132−2への割当部分について割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−2に出力する。
従って、スイッチ110c−1には、システム・デバイス120から大きさ「1080×1920」の画像を示す画面データがI/Fブリッジ110b−1を経由して入力され、モード制御部112から入力される出力制御信号に従って、スイッチ110d−1、110d−2にそれぞれ出力する。
スイッチ110d−1、110d−2は、それぞれスイッチ110c−1から入力される画面データが示す画像を、モード制御部112から入力される割当制御信号で指示される割当部分として特定する。スイッチ110d−1、110d−2は、それぞれ割当制御信号に従って特定した割当部分の方向をそれぞれ縦長方向に維持したまま割当部分を示す画面データをディスプレイ132−1、132−2に出力する。よって、ディスプレイ132−1、132−2それぞれの表示領域を画面領域として、それぞれチャネル1に係る画像が縦長方向に表示される(図10)。
なお、接触位置変換部114は、モード制御部112で選択されたID2に対応する設定情報を参照し、タッチ・センサ134−1、134−2において検出された接触位置の座標を、それぞれチャネル1に係る画面領域内の座標として定める。従って、接触位置変換部114は、タッチ・センサ134−1、134−2から入力される接触位置データが示す接触位置を変換させずに、チャネル1に対応する接触位置データとしてシステム・デバイス120に出力する(図10)。
図6において、ID3は、画面パターンとして横長表示の二重表示を示す。ID3に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「1080×1920」、「縦長」、「(0,0)」を示し、チャネル2に係る画像の解像度、方向、原点位置として、「1080×1920」、「縦長」、「(1080,0)」を示す。これらの情報は、ディスプレイ132−1、132−2それぞれの表示領域に、それぞれの原点を起点としてチャネル1、2に係る画像をそれぞれ割り当てることを示す。ID3は、システム・デバイス120から2チャネルの画面データが取得できる場合に適用されうる。
モード制御部112は、画面パターンを横長表示の二重表示と判定し、システム・デバイス120から2チャネルの画面データが取得できる場合、解像度「1080×1920」および方向「縦長」をそれぞれ示す第1の画像要求信号と第2の画像要求信号を生成する。モード制御部112は、生成した第1の画像要求信号をI/Fブリッジ110b−1に出力し、第2の画像要求信号をI/Fブリッジ110b−2に出力する。また、モード制御部112は、I/Fブリッジ110b−1から入力される画面データのスイッチ110d−1への出力を示す第1の出力制御信号と、I/Fブリッジ110b−2から入力される画面データのスイッチ110d−2への出力を示す第2の出力制御信号を生成する。モード制御部112は、生成した第1の出力制御信号をスイッチ110c−1に出力し、第2の出力制御信号をスイッチ110c−2に出力する。
モード制御部112は、スイッチ110c−1から入力されるチャネル1の画面データの画像のうち、予め設定されたディスプレイ132−1の表示領域の設定情報を参照して原点を起点とする大きさ「1080×1920」の部分、つまりその画像の全部をディスプレイ132−1への割当部分として定め、定めた割当部分の割当方向を縦長方向に定める。モード制御部112は、原点位置(0,0)に相当する割当先の起点としてディスプレイ132−1の原点を特定する。
モード制御部112は、定めたディスプレイ132−1への割当部分について割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−1に出力する。
また、モード制御部112は、スイッチ110c−2から入力されるチャネル2の画面データの画像の全部をディスプレイ132−2への割当部分として定め、定めた割当部分の割当方向を縦長方向に定める。モード制御部112は、座標(1080,0)に相当する割当先の起点としてディスプレイ132−2の原点を特定する。モード制御部112は、定めたディスプレイ132−2への割当部分について割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−2に出力する。
従って、スイッチ110c−1には、システム・デバイス120から大きさ「1080×1920」のチャネル1に係る画像を示す画面データがI/Fブリッジ110b−1を経由して入力され、モード制御部112から入力される第1の出力制御信号に従って、スイッチ110d−1に出力する。スイッチ110c−2には、大きさ「1080×1920」のチャネル2に係る画像を示す画面データがI/Fブリッジ110b−2を経由して入力され、モード制御部112から入力される第2の出力制御信号に従って、スイッチ110d−2に出力する。
スイッチ110d−1は、スイッチ110c−1から入力されるチャネル1に係る画面データが示す画像を、モード制御部112から入力される第1の割当制御信号で指示される割当部分として特定し、第1の割当制御信号に従って特定した割当部分の方向を縦長方向に維持したまま割当部分を示す画面データをディスプレイ132−1に出力する。
スイッチ110d−2は、スイッチ110c−2から入力されるチャネル2に係る画面データが示す画像を、モード制御部112から入力される第2の割当制御信号で指示される割当部分として特定し、第2の割当制御信号に従って特定した割当部分の方向を縦長方向に維持したまま割当部分を示す画面データをディスプレイ132−2に出力する。
よって、ディスプレイ132−1、132−2それぞれの表示領域を画面領域として、互いに独立なチャネル1、2に係る画像が縦長方向に表示される(図10)。
なお、接触位置変換部114は、モード制御部112で選択されたID3に対応する設定情報を参照し、タッチ・センサ134−1、134−2において検出された接触位置の座標を、それぞれチャネル1、チャネル2に係る画面領域内の座標として定める。従って、接触位置変換部114は、タッチ・センサ134−1、134−2から入力される接触位置データが示す接触位置の座標を変換させずに、チャネル1、チャネル2のそれぞれに対応する接触位置データとしてシステム・デバイス120に出力する(図10)。
図6において、ID4は、画面パターンとして横長表示の単一表示を示す。但し、ディスプレイ132−2の表示領域に画像は表示されない(部分表示)。ID4に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「1080×1920」、「縦長」、「(0,0)」を示し、チャネル2に係る画像に係る設定情報は含まれない。この情報は、ディスプレイ132−1の表示領域を画面領域として、その原点を起点としてチャネル1に係る画像を縦長方向に割り当てることを示す。ID4は、ディスプレイ132−2への画像表示が要求されない姿勢モード、例えば、テントモードまたは半タブレット・モードの場合に適用されうる。
モード制御部112は、画面パターンを横長表示の単一表示と判定するが、姿勢モードをテントモードまたは半タブレット・モードと判定する場合、解像度「1080×1920」および方向「縦長」を示す画像要求信号を生成し、生成した画像要求信号をI/Fブリッジ110b−1に出力する。また、モード制御部112は、I/Fブリッジ110b−1から入力される画面データのスイッチ110d−1への出力を示す出力制御信号を生成し、生成した出力制御信号をスイッチ110c−1に出力する。
モード制御部112は、スイッチ110c−1から入力されるチャネル1の画面データの画像のうち、予め設定されたディスプレイ132−1の表示領域の設定情報を参照して原点を起点とする大きさ「1080×1920」の部分、つまりその画像の全部をディスプレイ132−1への割当部分として定め、定めた割当部分の割当方向を縦長方向に定める。モード制御部112は、原点位置(0,0)に相当する割当先の起点としてディスプレイ132−1の原点を特定する。
モード制御部112は、定めたディスプレイ132−1への割当部分について割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−1に出力する。
従って、スイッチ110c−1には、システム・デバイス120から大きさ「1080×1920」のチャネル1に係る画像を示す画面データがI/Fブリッジ110b−1を経由して入力され、モード制御部112から入力される出力制御信号に従って、スイッチ110d−1に出力する。
スイッチ110d−1は、スイッチ110c−1から入力されるチャネル1に係る画面データが示す画像を、モード制御部112から入力される第1の割当制御信号で指示される割当部分として特定し、第1の割当制御信号に従って特定した割当部分の方向を縦長方向に維持したまま、割当部分を示す画面データをディスプレイ132−1に出力する。
よって、ディスプレイ132−1の表示領域を画面領域としてチャネル1に係る画像が縦長方向に表示され、ディスプレイ132−2の表示領域には画像が表示されない(図10)。
なお、接触位置変換部114は、モード制御部112で選択されたID4に対応する設定情報を参照し、タッチ・センサ134−1において検出された接触位置の座標を、チャネル1に係る画面領域内の座標として定める。従って、接触位置変換部114は、タッチ・センサ134−1から入力される接触位置データが示す接触位置の座標を変換させずに、チャネル1に対応する接触位置データとしてシステム・デバイス120に出力する(図10)。接触位置変換部114は、画像を表示させない表示領域に重畳した検出領域を有するタッチ・センサ134−2を動作させなくてもよい。また、接触位置変換部114は、タッチ・センサ134−2を動作させたままであっても、タッチ・センサ134−2から入力される接触位置データを棄却してもよい。
図6において、ID5は、画面パターンとして縦長表示の単一表示を示す。ID5に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「1920×2160」、「縦長」、「(0,0)/(1080,0)」を示し、チャネル2に係る画像に係る情報は含まれない。これらの情報は、全表示領域にその原点を起点としてチャネル1に係る画像を縦長方向に割り当てることを示す。
モード制御部112は、画面パターンを縦長表示の単一表示と定めるとき、上述の手法により、ID5に基づいて、チャネル1の画像として解像度「1920×2160」および方向「縦長」の画像を示す画像データをシステム・デバイス120に要求する。
また、モード制御部112は、システム・デバイス120から入力されるチャネル1の画像のうち、それぞれ起点(0,0)、(1080,0)とする割当部分を示す画面データを、横長方向に原点(0,0)、(1080,0)を起点とするディスプレイ132−1、132−2の表示領域にそれぞれ表示させる。よって、ディスプレイ132−1、132−2の表示領域からなる全表示領域を1つの画面領域として、チャネル1に係る画像が縦長方向に表示される。
接触位置変換部114は、ID5に対応する設定情報を参照し、タッチ・センサ134−1、134−2において検出された接触位置の座標を、チャネル1に係る画面領域内の座標に変換する。接触位置変換部114は、定めた接触位置の座標を示す接触位置データをシステム・デバイス120に出力する。
図6において、ID6は、画面パターンとして縦長表示の二重表示を示す。ID6に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「1920×1080」、「横長」、「(0,0),(0,1080)」を示し、チャネル2に係る画像に係る情報は含まれない。これらの情報は、ディスプレイ132−1、132−2それぞれの表示領域に、それぞれの原点を起点としてチャネル1に係る画像を横長方向に割り当てることを示す。
モード制御部112は、画面パターンを縦長表示の二重表示と判定するとき、上述の手法により、ID6に基づいて、チャネル1の画像として解像度「1920×1080」および方向「横長」の画像を示す画像データをシステム・デバイス120に要求する。
また、モード制御部112は、システム・デバイス120から入力されるチャネル1の画像の全部を、それぞれ横長方向に原点(0,0)、(1080,0)を起点とするディスプレイ132−1、132−2の表示領域に表示させる。よって、ディスプレイ132−1、132−2それぞれの表示領域を画面領域として、それぞれチャネル1に係る画像が横長方向に表示される。
接触位置変換部114は、ID6に対応する設定情報を参照し、タッチ・センサ134−1、134−2から入力される接触位置データが示す接触位置の座標を変換させずに、チャネル1に対応する接触位置データとしてシステム・デバイス120に出力する。
図6において、ID7は、画面パターンとして縦長表示の二重表示を示す。ID7に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「1920×1080」、「横長」、「(0,0)」を示し、チャネル2に係る画像の解像度、方向、原点位置として、「1920×1080」、「横長」、「(0,1080)」を示す。これらの情報は、ディスプレイ132−1、132−2のそれぞれの表示領域に、それぞれの原点を起点としてチャネル1、2に係る画像をそれぞれ割り当てることを示す。
モード制御部112は、画面パターンを縦長表示の二重表示と定めるとき、上述の手法により、ID7に基づいて、チャネル1、2の画像として、解像度「1080×1920」および方向「横長」の画像1、2をそれぞれ示す画像データ1、2をシステム・デバイス120に要求する。
また、モード制御部112は、システム・デバイス120から入力されるチャネル1、2の画像1、2の全部を、それぞれ原点(0,0)、(1080,0)を起点とするディスプレイ132−1、132−2の表示領域に表示させる。よって、ディスプレイ132−1、132−2のそれぞれの表示領域を画面領域として、互いに独立なチャネル1、2に係る画像が横長方向に表示される。
なお、接触位置変換部114は、ID7に対応する設定情報を参照し、タッチ・センサ134−1、134−2から入力される接触位置データが示す接触位置の座標を変換させずに、チャネル1、チャネル2のそれぞれに対応する接触位置データとしてシステム・デバイス120に出力する。
図6において、ID8は、画面パターンとして縦長表示の単一表示を示す。ID8に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「1080×1920」、「横長」、「(0,0)」を示し、チャネル2に係る画像に係る設定情報は含まれない。この情報は、ディスプレイ132−1の表示領域を画面領域として、その原点を起点としてチャネル1に係る画像を縦長方向に割り当てることを示す。
モード制御部112は、画面表示を縦長表示の単一表示と判定し、ディスプレイ132−2への画像表示が要求されないとき、上述の手法により、ID8に基づいて、チャネル1の画像として、解像度「1920×1080」および方向「横長」を示す画像データをシステム・デバイス120に要求する。
また、モード制御部112は、システム・デバイス120から入力される画像の全部を、原点(0,0)を起点とするディスプレイ132−1の表示領域に表示させる。
よって、ディスプレイ132−1の表示領域を画面領域としてチャネル1に係る画像が横長方向に表示され、ディスプレイ132−2の表示領域には画像は表示されない。
なお、接触位置変換部114は、モード制御部112で選択されたID8に対応する設定情報を参照し、タッチ・センサ134−1から入力される接触位置データが示す接触位置の座標を変換させずに、チャネル1に対応する接触位置データとしてシステム・デバイス120に出力する。接触位置変換部114は、上述のように、タッチ・センサ134−2から接触位置データを取得しなくてもよい。
次に、画面パターンが複合表示である場合を仮定して、画面データならびに接触位置データに対する処理例について説明する。以下の説明では、仮想入力領域に対する処理を主とし、それ以外の部分については、図5−図10に例示される説明を援用する。
図11は、ディスプレイ132−1の表示領域に、システム・デバイス120から取得したチャネル1に係る縦長の画像が表示され、ディスプレイ132−2の表示領域に仮想入力領域が設定され、全表示領域が横長方向に設定される場合を例示する。
モード制御部112が、画面パターンを横長表示の複合表示と判定するとき、仮想入力制御部116は、予め自部に設定された仮想入力画像データをスイッチ110c−2に出力する。仮想入力画像データは、所定の仮想入力領域とディスプレイ132−2の表示領域の全体に表示させる仮想入力画像を示すデータである。
モード制御部112は、仮想入力制御部116に設定された仮想入力設定情報を参照し、仮想入力画像の全部をディスプレイ132−2への割当部分として定め、定めた割当部分の割当方向を所定の縦長方向に定める。モード制御部112は、割当先の起点としてディスプレイ132−2の原点を特定する。モード制御部112は、定めたディスプレイ132−2への割当部分の割当先の起点の位置、大きさ、および割当方向を示す第2の割当制御信号を生成し、生成した第2の割当制御信号をスイッチ110d−2に出力する。
スイッチ110d−2は、スイッチ110c−2から入力される仮想入力画像データが示す仮想入力画像を、モード制御部112から入力される第2の割当制御信号で指示される割当部分として特定し、第2の割当制御信号に従って特定した割当部分の方向を縦長方向に維持したまま割当部分を示す画面データをディスプレイ132−2に出力する。
よって、ディスプレイ132−1、132−2それぞれの表示領域を画面領域として、チャネル1に係る画像と、仮想入力画像がそれぞれ縦長方向に表示される。
なお、モード制御部112が画面パターンを横長表示の複合表示と判定するとき、接触位置変換部114は、タッチ・センサ134−1において検出された接触位置を、チャネル1に係る画面領域内の接触位置として定める。従って、接触位置変換部114は、タッチ・センサ134−1から入力される接触位置データが示す接触位置の座標を変換させずに、チャネル1に対応する接触位置データとしてシステム・デバイス120に出力する。仮想入力制御部116は、上記のようにタッチ・センサ134−2から入力される接触位置データに基づいて操作信号を生成し、生成した操作信号をシステム・デバイス120に出力する。
なお、情報処理装置10の向きによって、仮想入力制御部116は、仮想入力領域を可変としてもよい。例えば、モード制御部112が画面パターンを縦長表示の複合表示と判定する場合には、モード制御部112は、ディスプレイ132−1の表示領域にチャネル1に係る横長方向の画像を表示させ、仮想入力制御部116は、ディスプレイ132−1の表示領域に横長方向の仮想入力領域を設定する(図4)。
ここで、モード制御部112が、画面パターンを縦長表示の複合表示と判定するとき、
仮想入力制御部116は、予め横長方向に設定された仮想入力画像データをアクティブに設定し、スイッチ110c−2に出力する。
モード制御部112は、アクティブな仮想入力画像データに係る仮想入力領域の設定情報を参照し、仮想入力画像の全部をディスプレイ132−2への割当部分として定め、定めた割当部分の割当方向を横長方向に定める。モード制御部112は、割当先の起点としてディスプレイ132−2の原点を特定する。モード制御部112は、定めたディスプレイ132−2への割当部分の割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−2に出力する。
よって、ディスプレイ132−1、132−2それぞれの表示領域を画面領域として、チャネル1に係る画像と仮想入力画像が横長方向に表示される。
(変形例)
以下、本実施形態に係る変形例について説明する。
図11に示す例では、ディスプレイ132−1、132−2の一方の表示領域、他方の表示領域を、それぞれチャネル1に係る画像、仮想入力画像に割り当てる場合を示すが、これには限られない。チャネル1に係る画像の表示領域が全表示領域であって、仮想入力画像の表示領域である仮想入力領域が全表示領域の一部であってもよい。また、仮想入力領域は、ディスプレイ132−1の表示領域の一部と、ディスプレイ132−2の表示領域の一部に跨っていてもよい。図12に示す例では、チャネル1に係る画像が全表示領域に横長方向に表示され、全表示領域の中央部に仮想入力領域が設定される。仮想入力領域の水平方向、垂直方向の長さは、それぞれ全表示領域の水平方向、垂直方向の長さの半分よりも短い。仮想入力領域には、仮想入力画像の例としてデバイス設定画面Csが表示される。デバイス設定画面は、パラメータの設定対象とするデバイスを示すボタンと、ブライトネス(輝度)を設定するためのスライダバーが含まれている。ブライトネスは、ディスプレイ132−1、132−2に表示する画像の明るさである。
モード制御部112は、画面パターンを横長表示の単一表示と定め、チャネル1に係る画像を全表示領域に横長方向に表示させているときに所定のデバイス設定ボタンの押下を示す操作信号が入力されるとき、画面パターンを複合表示と定める。仮想入力制御部116は、操作信号の入力に応じて、仮想入力画像としてデバイス設定画面を示す仮想入力画像データをスイッチ110c−2に出力する。また、モード制御部112は、仮想入力制御部116から仮想入力画像データのスイッチ110d−1、110d−2への出力を示す出力制御信号をスイッチ110c−2に出力する。
モード制御部112は、画面パターンを縦長表示の複合表示と判定するとき、解像度「1920×1080」および方向「横長」を示す第1の画像要求信号を生成し、生成した第1の画像要求信号をI/Fブリッジ110b−1に出力する。また、モード制御部112は、I/Fブリッジ110b−1から入力される画面データのスイッチ110d−1への出力を示す第1の出力制御信号を生成し、生成した第1の出力制御信号をスイッチ110c−1に出力する。
モード制御部112は、スイッチ110c−1から入力されるチャネル1の画面データの画像の全部をディスプレイ132−1への割当部分として定め、定めた割当部分の割当方向を横長方向に定める。
モード制御部112は、定めたディスプレイ132−1への割当部分の割当先の起点の位置として原点、大きさ、および割当方向を示す第1の割当制御信号を生成し、生成した第1の割当制御信号をスイッチ110d−1に出力する。
他方、仮想入力制御部116は、予め横長方向に設定された仮想入力画像データをスイッチ110c−2に出力する。
モード制御部112は、仮想入力制御部116に予め設定された仮想入力領域の設定情報を参照し、仮想入力領域のうちディスプレイ132−1、132−2の表示領域と重畳する部分を、それぞれディスプレイ132−1、132−2への割当部分として定め、定めた割当部分の割当方向を縦長方向に定める。モード制御部112は、ディスプレイ132−1、132−2それぞれの割当部分の割当先における起点の位置、大きさ、割当方向を示す第1の割当制御信号、第2の割当制御信号をそれぞれ生成する。モード制御部112は、生成した第1の割当制御信号、第2の割当制御信号を、それぞれスイッチ110d−1、110d−2に出力する。
このとき、接触位置変換部114は、タッチ・センサ134−1において検出された接触位置の座標値ならびにタッチ・センサ134−2において検出された接触位置の座標値を、全検出領域における接触位置の座標値に変換する。接触位置変換部114は、予め設定された仮想入力領域の設定情報を参照し、変換した接触位置が仮想入力領域内に含まれるか否かを判定する。含まれると判定するとき、接触位置変換部114は、変換した接触位置を示す接触位置データをシステム・デバイス120に出力する。含まれないと判定するとき、接触位置変換部114は、上記のように変換した接触位置を示す接触位置データに基づいて操作信号を生成し、生成した操作信号をシステム・デバイス120に出力する。
モード制御部112が操作入力の入力に応じて画面パターンを複合表示と定める契機は、単一表示であるときに限られず、その時点における画面パターンが二重表示であるときであってもよいし、横長表示、横長表示のいずれでもよいし、チャネル1に係る画像をディスプレイ132−1、132−2の表示領域のいずれかに表示させているときでもよい(図13)。モード制御部112が、画面パターンを単一表示または二重表示から複合表示に変更することは、仮想入力制御部116に仮想入力画像を表示させ、仮想入力制御を開始させることに相当する。モード制御部112が、画面パターンを複合表示から単一表示または二重表示に変更するとき、仮想入力制御部116に仮想入力画像の表示を停止させ、仮想入力画像を表示された仮想入力領域内の接触位置を示す接触位置データに基づいて生成した操作信号のシステム・デバイス120への出力を停止(仮想入力制御)してもよい。
図14(a)は、単一表示から変更された複合表示の例を示す。この例では、全表示領域が横長方向に配置され、1フレームの画像が全表示領域に横長方向に表示され、全表示領域の一部に仮想入力領域がディスプレイ132−1、132−2それぞれの表示領域に跨っている。仮想入力領域にはキーボードの画像が表示されている。
図14(b)は、二重表示から変更された複合表示の例を示す。この例では、全表示領域が横長方向に配置され、2フレームの互いに異なる画像がそれぞれディスプレイ132−1、132−2の表示領域に縦長方向に表示されている。仮想入力領域は、ディスプレイ132−2の表示領域に含まれ、ディスプレイ132−1の表示領域には含まれない。
図14(c)は、二重表示から変更された複合表示の他の例を示す。この例では、全表示領域が縦長方向に配置され、2フレームの互いに異なる画像がそれぞれディスプレイ132−1、132−2の表示領域に横長方向に表示されている。仮想入力領域は、ディスプレイ132−2の表示領域に含まれ、ディスプレイ132−1の表示領域には含まれない。
入出力ハブ110は、軌跡入力処理部118(図示せず)をさらに備えてもよい。軌跡入力処理部118は、各チャネルの画面領域に重畳したタッチ・センサ134−1、134−2それぞれの検出領域をまたぐ全検出領域における接触位置の軌跡である一連の曲線を取得する。図15(a)に示す例では、一連の曲線は、手書き文字「Report to Mgr!」を示す。一連の曲線を一度に取得する区間の末端を識別するため、軌跡入力処理部118は、検出位置データの入力の最後の停止から、検出位置データが検出されない停止期間が所定の停止期間(例えば、0.1〜0.3秒)以上継続することを検出する。軌跡入力処理部118は、ディスプレイ132−1、132−2の表示領域の一部である所定の入力情報表示領域に入力ウィンドウを表示させ、表示させた入力ウィンドウに含まれる所定の入力情報表示欄に取得した曲線を表示させてもよい。
図15(b)に示す例では、入力ウィンドウWN02の入力情報表示欄に、入力された手書き文字「Report to Mgr!」が表される。軌跡入力処理部118は、操作信号から所定の操作のパターン(以下、操作パターン)を検出し、検出した操作パターンに応じて曲線の取得開始、停止、保存などの制御を行ってもよい。例えば、軌跡入力処理部118は、第1の操作パターンを検出するとき、曲線の取得を開始する。軌跡入力処理部118は、第2の操作パターンを検出するとき、取得した曲線を含む入力情報をシステム・デバイス120に出力し、その後、入力ウィンドウの表示を停止してもよい。第1の操作パターンとして、例えば、ドラッグ操作、スワイプ操作など、軌跡をなす所定のパターンの操作が適用可能である。第2の操作パターンとして、例えば、クリック操作、ダブルクリック操作、タップ操作など、指示する位置の移動を伴わない所定のパターンの操作が適用可能である。軌跡入力処理部118は、一連の曲線ごとに、その代表点の位置を示す位置情報を入力情報に付加してもよい。軌跡入力処理部118は、代表点として、例えば、その起点、終点、重心、中点のいずれを用いてもよい。
軌跡入力処理部118は、取得した曲線に対して公知の文字認識処理を行い、認識された文字列を取得してもよい。システム・デバイス120が実行中の処理において文字列の入力を待ち受けているとき、軌跡入力処理部118は、取得した一連の文字列を示すテキスト情報をシステム・デバイス120に出力する。システム・デバイス120は、仮想入力制御部116から入力されるテキスト情報が示す文字列を実行中の処理に用いる。図15(c)に示す例では、手書き文字から認識された文字列として「Report to Mgr!」が入力され、システム・デバイス120が表示させたウィンドウWN04のアクティブな入力欄に入力された文字列が表示される。システム・デバイス120は、アクティブな入力欄を示すことで、入力欄を介した文字情報の待ち受けを示す。システム・デバイス120は、例えば、アプリを実行して、ウィンドウWN04に含まれる複数の入力欄のうち、その領域が自部に入力される操作信号で指示される位置に含まれる入力欄をアクティブな入力欄として選択する。従って、ユーザが操作により入力した手書き文字から認識された文字列をもって、所望のテキスト入力を実現することができる。
なお、モード制御部112は、姿勢モードがラップトップ・モード、ブック・モード、またはタブレット・モードであるときには、所定の操作信号の入力に応じて、画面パターンとして改行表示を選択可能としてもよい。改行表示は、一辺の長さが他辺の長さよりも長い細長の1個の画像を長手方向に区分した割当部分を、その長手方向に直交する方向に配列した複数の表示領域のそれぞれに、割当部分の方向を変えずに順次割り当て(改行)表示させる画面パターンである。改行表示は、さらに横長表示と縦長表示に分類される。モード制御部112は、上記のように情報処理装置10の向きに基づいて横長表示と縦長表示のいずれかを選択してもよい。改行表示も単一表示の一形態とみなすことができる。
図16は、画面パターンとして横長表示の改行表示の例を説明するための説明図である。図16(a)は、縦長の部分画像Im31−1、Im31−2が縦方向に連接された画像Im31を示す。モード制御部112は、画像Im31を示す画面データをシステム・デバイス120から取得し、画像Im31のうち部分画像Im31−1をディスプレイ132−1の表示領域に縦長方向に表示させ、ディスプレイ132−1の右横方向に隣接したディスプレイ132−2の表示領域に部分画像Im31−2を縦長方向に表示させる。
図17は、画面パターンとして縦長表示の改行表示の例を説明するための説明図である。図17(a)は、横長の部分画像Im41−1、Im41−2が横方向に連接された画像Im41を示す。モード制御部112は、画像Im41を示す画面データをシステム・デバイス120から取得し、画像Im41のうち部分画像Im41−1をディスプレイ132−1の表示領域に横長方向に表示させ、ディスプレイ132−1の下方に隣接したディスプレイ132−2の表示領域に部分画像Im41−2を横長方向に表示させる。
図18に例示される制御テーブルは、ID9、ID10のそれぞれに対応する画面パターンの設定情報を含んで構成される。但し、ID1〜ID8に係る設定情報(図6)の図示が省略されている。
ID9は、画面パターンとして横長表示の改行表示を示す。ID9に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「1080×3840」、「縦長」、「(0,0)/(0,1920)」を示し、チャネル2に係る画像に係る情報は含まれない。これらの情報は、全表示領域にその原点を起点としてチャネル1に係る画像を、その構成部分ごとに縦長方向に割り当てることを示す。そこで、モード制御部112は、画面パターンを横長方向の単一表示と判定する場合、ID9に対応する設定情報を参照し、解像度「1080×3840」および方向「縦長」を示す画像要求信号を生成し、生成した画像要求信号をI/Fブリッジ110b−1に出力する。また、モード制御部112は、I/Fブリッジ110b−1から入力される画面データのスイッチ110d−1、110d−2への出力を示す出力制御信号を生成し、生成した出力制御信号をスイッチ110c−1に出力する。
モード制御部112は、スイッチ110c−1から入力される画面データの画像のうち、予め設定されたディスプレイ132−1の表示領域の設定情報を参照して原点を起点とする大きさ「1080×1920」の部分をディスプレイ132−1への割当部分として定め、定めた割当部分の割当方向を縦長方向に定める。モード制御部112は、原点位置(0,0)に相当する割当先の原点として、ディスプレイ132−1の表示領域の原点を特定する。モード制御部112は、定めたディスプレイ132−1への割当部分の割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−1に出力する。
また、モード制御部112は、スイッチ110c−1から入力される画面データの画像のうち、残りの部分である座標(0,1920)を起点とする大きさ「1080×1920」の部分をディスプレイ132−2への割当部分として定め、定めた割当部分の割当方向を横長方向に定める。モード制御部112は、座標(0,1920)に相当するディスプレイ132−2の表示領域の原点を割当先の原点として特定する。モード制御部112は、定めたディスプレイ132−2への割当部分の割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−2に出力する。
接触位置変換部114は、モード制御部112で選択されたID9に対応する設定情報を参照し、タッチ・センサ134−1、134−2において検出された接触位置の座標を、チャネル1に係る画面領域である大きさ「1080×3840」であって縦長方向の領域内の座標に変換する。接触位置変換部114は、タッチ・センサ134−1から入力される接触位置データが示す縦長方向の接触領域内の接触位置をそのままチャネル1に係る接触位置として定める。接触位置変換部114は、タッチ・センサ134−2から入力される接触位置データが示す縦長方向の接触領域内の接触位置の座標に、タッチ・センサ134−2の検出領域の原点に対応するチャネル1に係る画面領域内の座標(0,1920)を加算して得られる座標を定める。接触位置変換部114は、定めた接触位置の座標を示す接触位置データをシステム・デバイス120に出力する。
ID10は、画面パターンとして縦長表示の改行表示を示す。ID10に係る画面パターンの設定情報は、チャネル1に係る画像の解像度、方向、原点位置として、「3840×1080」、「横長」、「(0,0)/(1920,0)」を示し、チャネル2に係る画像に係る情報は含まれない。これらの情報は、全表示領域にその原点を起点としてチャネル1に係る画像を、その構成部分ごとに横長方向に割り当てることを示す。そこで、モード制御部112は、画面パターンを縦長方向の単一表示と判定する場合、ID10に対応する設定情報を参照し、解像度「3840×1080」および方向「横長」を示す画像要求信号を生成し、生成した画像要求信号をI/Fブリッジ110b−1に出力する。また、モード制御部112は、I/Fブリッジ110b−1から入力される画面データのスイッチ110d−1、110d−2への出力を示す出力制御信号を生成し、生成した出力制御信号をスイッチ110c−1に出力する。
モード制御部112は、スイッチ110c−1から入力される画面データの画像のうち、予め設定されたディスプレイ132−1の表示領域の設定情報を参照して原点を起点とする大きさ「1920×1080」の部分をディスプレイ132−1への割当部分として定め、定めた割当部分の割当方向を縦長方向に定める。モード制御部112は、原点位置(0,0)に相当する割当先の原点として、ディスプレイ132−1の表示領域の原点を特定する。モード制御部112は、定めたディスプレイ132−1への割当部分の割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−1に出力する。
また、モード制御部112は、スイッチ110c−1から入力される画面データの画像のうち、残りの部分である座標(1920,1080)を起点とする大きさ「1920×1080」の部分をディスプレイ132−2への割当部分として定め、定めた割当部分の割当方向を横長方向に定める。モード制御部112は、座標(1920,0)に相当するディスプレイ132−2の表示領域の原点を割当先の原点として特定する。モード制御部112は、定めたディスプレイ132−2への割当部分の割当先の起点の位置、大きさ、および割当方向を示す割当制御信号を生成し、生成した割当制御信号をスイッチ110d−2に出力する。
上記の説明では、主に情報処理装置10が2個の筐体を備え、ヒンジ機構121の回転軸周りに開閉角度θが可変なノートPCである場合を例にしたが、これには限られない。情報処理装置10は、ノートPCに限られず携帯電話機など、他の形態の機器として構成されてもよい。情報処理装置10において独立して画像の表示を制御可能とする表示領域の個数は、2個に限られず3個以上であってもよい。情報処理装置10において表示領域の個数と検出領域の個数は異なっていてもよい。少なくとも2個以上の空間的に隣接した表示領域のそれぞれに検出領域が重畳していればよい。モード制御部112は、2個以上の表示領域とそれらの表示領域のそれぞれに重畳した検出領域について画面パターンの制御を行う。
図19に示す例では、情報処理装置10は、3個の筐体として第1筐体101〜第3筐体103を備える。第1筐体101の一辺と第2筐体102の一辺は互いに係合され、第1筐体101の表面と第2筐体102の表面のなす角度である第1開閉角度が可変となる。第3筐体103の一辺と第2筐体102の他の一辺も互いに係合され、第3筐体103の表面と第2筐体102の表面のなす角度である第2開閉角度も可変となる。第1筐体101〜第3筐体103の水平方向の幅は互いに等しい。第1筐体101、第3筐体103の表面の垂直方向の長さは互いに等しいが、これらの長さよりも第2筐体102の表面の垂直方向の長さの方が格段に短い。かかる構成により、第1開閉角度、第2開閉角度がともに180°である場合には、第1筐体101〜第3筐体103の表面は一連の平面となる。第1開閉角度、第2開閉角度がともに90°である場合には、第1筐体101の表面と第3筐体103の表面が相互に向かい合い、バインダ・ファイルに類似する外観を有する。第1筐体101、第2筐体102、第3筐体103それぞれの表面には、ディスプレイ132−1、132−2、132−3が設置され、それぞれ表示領域を有する。ディスプレイ132−1、132−2、132−3のそれぞれの表示領域には、タッチ・センサ134−1、134−2、134−3の検出領域が重畳されている。
入出力ハブ110のモード制御部112は、入力される操作信号、第1開閉角度、第2開閉角度および情報処理装置10の方向のいずれかまたは組み合わせに基づいて画面パターンを制御する。モード制御部112は、画面パターンとして、1以上の画面領域を定め、個々の画面領域は、1個の表示領域または空間的に隣接する2個以上の表示領域からなればよい。個々の画面領域は、例えば、ディスプレイ132−1の表示領域(領域R11)、ディスプレイ132−2の表示領域(領域R12)、ディスプレイ132−3の表示領域(領域R13)のそれぞれ、領域R11と領域R12の組み合わせ(組み合わせ1)、領域R12と領域R13の組み合わせ(組み合わせ2)、領域R11と領域R12と領域R13の組み合わせ(全表示領域)である。モード制御部112は、相互に重複する領域を有さず、全表示領域を超えないように1以上の画面領域を定めればよい。つまり、モード制御部112が選択可能とする個々の画面パターンに係る1以上の画面領域は、領域R11、領域R12、領域R13、領域R11と領域R12(2個)、領域R12と領域R13(2個)、領域R11と領域R13(2個)、領域R11と領域R12と領域R13(3個)、組み合わせ1と領域R13(2個)、組み合わせ2と領域R11(2個)、全表示領域、計10通りである。また、モード制御部112は、情報処理装置10、例えば、領域R12の向きにより縦長表示または横長表示を選択してもよい。
モード制御部112が各種の画面データの出力を独立に制御可能とする表示領域の個数と、接触位置データの入力の制御を可能とする検出領域の個数が、それぞれ複数であれば、情報処理装置10のディスプレイ132の個数、タッチ・センサ134の個数は、それぞれ1個であってもよい。図20に示す例では、ディスプレイ132はタッチ・センサ134が重畳したフレキシブルディスプレイとして構成されている。フレキシブルディスプレイは、ユーザの操作により折り曲げ可能な柔軟な誘電体からなる素材を基板として有する。基板は、例えば、ポリイミドなどの合成樹脂を原料とする。ディスプレイ132の表示領域の全体は4個の表示領域R21〜R24に区分されている。1個のタッチ・センサ134の検出領域の全体は、4個の検出領域に区分され、個々の検出領域は、それぞれ表示領域R21〜R24に重畳されている。
入出力ハブ110のモード制御部112は、入力される操作信号に基づいて画面パターンを制御する。画面パターンを構成する個々の画面領域は、1個の表示領域または空間的に隣接する2個以上の表示領域からなる。個々の画面領域は、例えば、表示領域R21、表示領域R22、表示領域R23、表示領域R24のそれぞれ、表示領域R21と表示領域R22の組み合わせ(組み合わせ12)、表示領域R22、R23の組み合わせ(組み合わせ23)、表示領域R23、R24の組み合わせ(組み合わせ34)、表示領域R21、R22、R23の組み合わせ(組み合わせ123)、表示領域R22、R23、R24の組み合わせ(組み合わせ234)、表示領域R21、R22、R23、R24の組み合わせ(全表示領域)である。モード制御部112は、各1つの画面パターンについて相互に重複する領域を有さず、全表示領域を超えないように1以上の画面領域を定めればよい。また、モード制御部112は、入力される操作信号に基づいて、情報処理装置10の向きにより縦長表示または横長表示を選択してもよい。
なお、上記の実施形態は、一部の構成要素が省略されてもよい。例えば、情報処理装置10は、タッチ・センサ134を備えていなくてもよい。入出力ハブ110は、接触位置変換部114と仮想入力制御部116の一方または両方を備えていなくてもよい。モード制御部112は、情報処理装置10の向きの検出と、画面パターンとして横長表示と縦長表示の相互間の変更を行わずに、いずれか一方に固定してもよい。また、モード制御部112は、一部の姿勢モードの判定、例えば、ラップトップ・モードを省略し、ブック・モードとして判定してもよい。情報処理装置10の開閉角度θは、0〜180°の間で可変とし、180°よりも大きい角度に変化できなくてもよい。
以上に説明したように、本実施形態に係る情報処理装置10は、入出力制御部(例えば、入出力ハブ110)と、独立して画像の表示が制御される表示部(例えば、ディスプレイ132−1、132−2)と、OSに従って動作し、少なくとも1つのチャネルの画面データを取得するシステム・デバイス120を備える。入出力制御部は、表示部の複少なくとも2つの表示領域に対して個々のチャネルに対応する画面領域をチャネルごとに定め、画面領域に対応する画面データの要求情報(例えば、画像要求信号)をシステム・デバイス120に出力する。
また、チャネルに対応する画面領域は、少なくとも2つの表示領域にまたがる領域を含んでもよい。
この構成によれば、複数の表示領域の一部または全部である画面領域をチャネルごとに定め、画面領域に対応する画面データを要求し、要求した画面データが示す画像を、対応するチャネルの画面領域に表示させることができる。そのため、OSに依存せずに複数の表示領域にわたる画面データを表示させる画面領域を柔軟に制御することができる。
また、情報処理装置10において、要求情報は、チャネルごとの画面領域の大きさおよび画面データを表示させる向きの情報を含んでもよい。
この構成によれば、定めた画面領域の大きさと向きを有する画像を示す画面データを取得し、対応するチャネルの画面領域に表示させることができる。
また、情報処理装置10は、少なくとも2つの表示領域が設置された筐体(例えば、第1筐体101、第2筐体102)と、筐体の姿勢に応じた物理量を検出する検出部(例えば、加速度センサ144a、144b)を備えてもよい。入出力制御部は、筐体の姿勢に基づいてチャネルごとの画面領域を示す画面パターンを定めてもよい。
この構成によれば、筐体の姿勢に応じて変動しうる表示領域の配置に依存して定めた画面領域に対応するチャネルの表示領域を表示させることができる。ユーザは特段の操作を行わずに、筐体の姿勢に応じた配置の画像を視認することができる。
また、情報処理装置10において、入出力制御部は、筐体の方向をさらに検出し、検出した方向を参照して画面パターン(例えば、横長表示、縦長表示)を定めてもよい。
この構成によれば、筐体に設置された表示領域全体の方向に応じた画面領域の方向を定めることができる。ユーザは特段の操作を行わずに、筐体の方向に応じた配置の画像を視認することができる。
また、情報処理装置10は、少なくとも2つの検出領域にそれぞれ重畳され、物体との接触を検出する検出領域を有する検出部(例えば、タッチ・センサ134−1、134−2)を備えてもよい。
入出力制御部は、定めた画面領域が少なくとも2つの表示領域にまたがる領域であるとき、その少なくとも2つの表示領域のそれぞれに重畳した検出領域において接触を検出した接触位置の座標を、画面領域内の座標に変換し、変換した座標を示す接触位置データをシステム・デバイス120に出力する。
この構成によれば、複数の表示領域のそれぞれに対応する検出領域における接触位置が、検出領域を跨ぐ場合でも、画面領域内で一元化された座標でシステム・デバイス120に提また、OSに依存せずに複数の検出領域にわたる検出位置データの座標系を柔軟に制御することができる。
また、情報処理装置10において、入出力制御部は、2以上の表示領域のそれぞれに対応する検出領域の少なくとも一部である仮想入力領域を含む画面パターン(例えば、複合表示)を選択するとき、仮想入力領域に所定の操作入力部の画像を表示させ、操作入力部の部材(例えば、キーボードのキー)が表示される領域において接触を検出するとき、当該部材への操作を示す操作信号をシステム・デバイス120に出力してもよい。
この構成によれば、現実の操作入力部を備えずに、OSに依存せずに画像として表示された操作入力部に対する操作入力を受け付け、受け付けた操作入力による操作を実現することができる。
また、情報処理装置10において、入出力制御部は、画面領域内の座標に変換した接触位置の軌跡に基づく入力情報を取得し、取得した入力情報をシステム・デバイス120に出力してもよい。
この構成によれば、複数の検出領域を跨ぐ画面領域内において一元化された座標で表された接触位置の軌跡を取得することができる。そのため、システム・デバイス120は、OSに依存せずに取得された軌跡を自由度の高い描画情報として取得し、取得した描画情報に対する処理(例えば、メモの保存)を実現することができる。
また、情報処理装置10において、入出力制御部は、接触位置の軌跡が示す1以上の文字を認識し、認識した文字を示すテキスト情報をシステム・デバイス120に出力してもよい。
この構成によれば、システム・デバイス120は、キーボードなどの専用の文字入力デバイスを備えていなくても、OSに依存せずに取得された軌跡に基づく文字を示すテキスト情報を取得することができる。システム・デバイス120は、取得したテキスト情報に対する処理(例えば、文字入力)を効率的に実現することができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上記の実施形態において説明した各構成は、矛盾しない限り任意に組み合わせることができる。
10…情報処理装置、101…第1筐体、102…第2筐体、110…入出力ハブ、112…モード制御部、114…接触位置変換部、116…仮想入力制御部、120…システム・デバイス、122…プロセッサ、132(132−1、132−2、132−3)…ディスプレイ、134(134−1、134−2、134−3)…タッチ・センサ、142…リッド・センサ、144(144a、144b)…加速度センサ、148…マイクロホン、150…カメラ、162…スピーカ、164…バイブレータ

Claims (11)

  1. 入出力制御部と、
    独立して画像の表示が制御される少なくとも2つの表示領域を有する表示部と、
    オペレーティング・システムに従って動作し、少なくとも1つのチャネルの画面データを取得するシステム・デバイスと、を備え、
    前記入出力制御部は、
    前記少なくとも2つの表示領域に対して前記チャネルに対応する画面領域を定め、
    前記画面領域に対応する画面データの要求情報を前記システム・デバイスに出力する
    情報処理装置。
  2. 前記チャネルに対応する画面領域は、前記少なくとも2つの表示領域にまたがる領域を含む
    請求項1に記載の情報処理装置。
  3. 前記要求情報は、
    前記画面領域の大きさおよび前記画面データを表示する向きの情報を含む
    請求項1または請求項2に記載の情報処理装置。
  4. 前記少なくとも2つの表示領域が設置された筐体と、
    前記筐体の姿勢に応じた物理量を検出する検出部と、を備え、
    前記入出力制御部は、
    前記姿勢に基づいて前記チャネルに対応する画面領域を示す画面パターンを定める
    請求項1から請求項3のいずれか一項に記載の情報処理装置。
  5. 前記入出力制御部は、
    前記少なくとも2つの表示領域のうちの1つの表示領域のユーザに対する相対的な方向をさらに検出し、
    前記方向を参照して前記画面パターンを定める
    請求項4に記載の情報処理装置。
  6. 前記少なくとも2つの表示領域にそれぞれ重畳され、物体との接触を検出する検出領域を有する検出部を備え、
    前記入出力制御部は、
    前記画面領域が前記少なくとも2つの表示領域にまたがる領域であるとき、
    前記少なくとも2つの表示領域のそれぞれに重畳した検出領域において接触を検出した接触位置の座標を、前記画面領域内の座標に変換し、
    変換した座標を示す接触位置データを前記システム・デバイスに出力する
    請求項1から請求項5のいずれか一項に記載の情報処理装置。
  7. 前記入出力制御部は、
    前記検出領域の少なくとも一部である仮想入力領域を含む画面パターンを選択するとき、
    前記仮想入力領域に所定の操作入力部の画像を表示させ、
    前記操作入力部の部材が表示される領域において接触を検出するとき、当該部材への操作を示す操作信号を前記システム・デバイスに出力する
    請求項6に記載の情報処理装置。
  8. 前記入出力制御部は、
    座標を変換した前記接触位置の軌跡に基づく入力情報を取得し、
    前記入力情報を前記システム・デバイスに出力する
    請求項6または請求項7に記載の情報処理装置。
  9. 前記入出力制御部は、
    前記軌跡が示す1以上の文字を認識し、
    前記文字を示すテキスト情報を前記システム・デバイスに出力する
    請求項8に記載の情報処理装置。
  10. 入出力制御部と、独立して画像の表示が制御される少なくとも2つの表示領域を有する表示部と、オペレーティング・システムに従って動作し、少なくとも1つのチャネルの画面データを取得するシステム・デバイスと、を備える情報処理装置における制御方法であって、
    前記入出力制御部が、
    前記少なくとも2つの表示領域に対して前記チャネルに対応する画面領域を前記チャネルごとに定める第1ステップと、
    前記画面領域に対応する画面データの要求情報を前記システム・デバイスに出力する第2ステップと、を有する
    制御方法。
  11. 入出力制御部と、独立して画像の表示が制御される少なくとも2つの表示領域を有する表示部と、オペレーティング・システムに従って動作し、少なくとも1つのチャネルの画面データを取得するシステム・デバイスと、を備える情報処理装置のコンピュータに、
    前記少なくとも2つの表示領域に対して前記チャネルに対応する画面領域を前記チャネルごとに定める第1手順と、
    前記画面領域に対応する画面データの要求情報を前記システム・デバイスに出力する第2手順と、を実行させるための
    プログラム。
JP2019096044A 2019-05-22 2019-05-22 情報処理装置、制御方法およびプログラム Pending JP2020190940A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019096044A JP2020190940A (ja) 2019-05-22 2019-05-22 情報処理装置、制御方法およびプログラム
CN202010299232.7A CN111984212A (zh) 2019-05-22 2020-04-16 信息处理装置、控制方法以及程序
US16/880,060 US20200371734A1 (en) 2019-05-22 2020-05-21 Multiple display region management

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096044A JP2020190940A (ja) 2019-05-22 2019-05-22 情報処理装置、制御方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2020190940A true JP2020190940A (ja) 2020-11-26

Family

ID=73441717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096044A Pending JP2020190940A (ja) 2019-05-22 2019-05-22 情報処理装置、制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20200371734A1 (ja)
JP (1) JP2020190940A (ja)
CN (1) CN111984212A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107754A1 (ja) 2020-11-17 2022-05-27 住友化学株式会社 リチウム金属複合酸化物の製造方法
JP7191172B1 (ja) 2021-09-09 2022-12-16 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023039571A (ja) * 2021-09-09 2023-03-22 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023039574A (ja) * 2021-09-09 2023-03-22 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023039567A (ja) * 2021-09-09 2023-03-22 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP7333451B1 (ja) 2022-08-08 2023-08-24 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6916339B1 (ja) * 2020-04-01 2021-08-11 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
CN113596554B (zh) * 2021-03-31 2023-03-21 联想(北京)有限公司 一种显示方法及显示设备
KR20230128649A (ko) * 2022-02-28 2023-09-05 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
CN115576765B (zh) * 2022-11-16 2023-03-28 南京芯驰半导体科技有限公司 一种测试方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216169A (ja) * 2011-03-30 2012-11-08 Toshiba Corp 情報処理装置及び情報処理方法
WO2015045752A1 (ja) * 2013-09-25 2015-04-02 ソニー株式会社 表示装置および電子機器
JP2017054471A (ja) * 2015-09-12 2017-03-16 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器、制御方法およびコンピュータ・プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9858855B2 (en) * 2014-06-05 2018-01-02 International Business Machines Corporation Wearable display device
US9898689B2 (en) * 2014-11-06 2018-02-20 Qualcomm Incorporated Nonparametric model for detection of spatially diverse temporal patterns
US10248224B2 (en) * 2016-10-25 2019-04-02 Microsoft Technology Licensing, Llc Input based on interactions with a physical hinge
US20180329572A1 (en) * 2017-05-11 2018-11-15 Intel Corporation Touch detection and location in multi-touchscreen systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216169A (ja) * 2011-03-30 2012-11-08 Toshiba Corp 情報処理装置及び情報処理方法
WO2015045752A1 (ja) * 2013-09-25 2015-04-02 ソニー株式会社 表示装置および電子機器
JP2017054471A (ja) * 2015-09-12 2017-03-16 レノボ・シンガポール・プライベート・リミテッド 携帯式電子機器、制御方法およびコンピュータ・プログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022107754A1 (ja) 2020-11-17 2022-05-27 住友化学株式会社 リチウム金属複合酸化物の製造方法
JP7317908B2 (ja) 2021-09-09 2023-07-31 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP7333364B2 (ja) 2021-09-09 2023-08-24 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023039573A (ja) * 2021-09-09 2023-03-22 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023039574A (ja) * 2021-09-09 2023-03-22 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023039567A (ja) * 2021-09-09 2023-03-22 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP7191172B1 (ja) 2021-09-09 2022-12-16 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP7377843B2 (ja) 2021-09-09 2023-11-10 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2023039571A (ja) * 2021-09-09 2023-03-22 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
US11747865B2 (en) 2021-09-09 2023-09-05 Lenovo (Singapore) Pte. Ltd. Information processing device and control method
US11769433B2 (en) 2021-09-09 2023-09-26 Lenovo (Singapore) Pte. Ltd. Information processing device and control method
US11768651B2 (en) 2021-09-09 2023-09-26 Lenovo (Singapore) Pte. Ltd. Information processing device and control method
US11810490B2 (en) 2021-09-09 2023-11-07 Lenovo (Singapore) Pte. Ltd. Information processing device and control method
JP7333451B1 (ja) 2022-08-08 2023-08-24 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法
JP2024023009A (ja) * 2022-08-08 2024-02-21 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、及び制御方法

Also Published As

Publication number Publication date
US20200371734A1 (en) 2020-11-26
CN111984212A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
JP2020190940A (ja) 情報処理装置、制御方法およびプログラム
US11252826B2 (en) Electronic device including flexible display and method for controlling same
US10205874B2 (en) Wearable device and control method thereof
US9454834B2 (en) Storage medium storing image processing program for implementing controlled image display according to input coordinate, and information processing device
JP5998146B2 (ja) ジェスチャで論理的表示スタックを移動することによるデスクトップの明示
US20130145308A1 (en) Information Processing Apparatus and Screen Selection Method
US20100188352A1 (en) Information processing apparatus, information processing method, and program
US20150212647A1 (en) Head mounted display apparatus and method for displaying a content
JP5916037B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP2013543618A (ja) ユーザインタフェースにおける長時間ドラッグジェスチャ
EP4024186A1 (en) Screenshot method and terminal device
KR20140046327A (ko) 멀티 디스플레이 장치, 입력 펜, 멀티 디스플레이 장치의 제어 방법 및 멀티 디스플레이 시스템
TW201419042A (zh) 多顯示設備及其控制方法
WO2021121398A1 (zh) 一种视频录制方法及电子设备
KR102494101B1 (ko) 터치 입력 처리 방법 및 이를 지원하는 전자 장치
WO2021004412A1 (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
US20220221970A1 (en) User interface modification
US8643679B2 (en) Storage medium storing image conversion program and image conversion apparatus
JPWO2019069575A1 (ja) 情報処理装置、情報処理方法及びプログラム
KR20210038151A (ko) 전자 장치 및 전자 장치의 제어 방법
KR20240056555A (ko) 핸드크래프티드 증강 현실 에포트 증거
JP4977162B2 (ja) 情報処理装置、コマンド実行制御方法及びコマンド実行制御プログラム
JP2006271841A (ja) ゲームプログラム
JP4982614B1 (ja) 表示制御装置および表示制御プログラム
JP5550446B2 (ja) 電子機器及び動画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210302