JP2023179072A - 情報処理装置、及び制御方法 - Google Patents

Abstract

【課題】ユーザーエクスペリエンスを向上させる。【解決手段】情報処理装置は、タッチスクリーンの表示画面である第１画面に仮想入力デバイスの表示画像を表示するとともに、前記仮想入力デバイスによる入力情報を取得する仮想入力処理部と、前記第１画面の前記仮想入力デバイスの表示画像以外の第１表示画像と、前記第１画面以外の第２画面に表示されている第２表示画像と、起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である第３表示画像とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像を生成し、前記仮想画面画像の指定範囲を、前記第１画面の前記仮想入力デバイスの表示画像以外の領域と、前記第２画面とに分割して表示させ、タッチスクリーンによるスクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールさせる操作処理部とを備える。【選択図】図３

Description

本発明は、情報処理装置、及び制御方法に関する。

近年、ノートブック型パーソナルコンピュータ（以下、ノートＰＣという）、タブレット端末などの情報処理装置では、表示画面をソフトウェアキーボードなどの仮想入力デバイスとして使用するものが知られている（例えば、特許文献１を参照）。

特開２０１８－１０５１２号公報

ところで、上述のような情報処理装置では、例えば、複数の画面を使用し、複数の画面のうちの１つを、ソフトウェアキーボードなどの仮想入力デバイスとして使用することがある。このような使用形態において、従来技術の情報処理装置では、仮想入力デバイスの表示画面以外の画面内の入力を仮想入力デバイスにより行う場合に、例えば、マウスなどのポインティングデバイスで入力場所を選択する必要があった。そのため、従来技術の情報処理装置では、使用勝手が悪く、ユーザーエクスペリエンスが得られない可能性があった。

本発明は、上記問題を解決すべくなされたもので、その目的は、ユーザーエクスペリエンスを向上させることができる情報処理装置、及び制御方法を提供することにある。

上記問題を解決するために、本発明の一態様は、表示部及びタッチセンサ部を有するタッチスクリーンの表示画面である第１画面に仮想入力デバイスの表示画像を表示するとともに、前記仮想入力デバイスによる入力情報を取得する仮想入力処理部と、前記第１画面の前記仮想入力デバイスの表示画像以外の第１表示画像と、前記第１画面を含む複数の画面のうちの、前記第１画面以外の第２画面に表示されている第２表示画像と、前記仮想入力デバイスで入力可能な起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である第３表示画像とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像を生成し、前記仮想画面画像の指定範囲を、前記第１画面の前記仮想入力デバイスの表示画像以外の領域と、前記第２画面とに分割して表示させ、前記タッチセンサ部によるスクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールさせる操作処理部とを備える情報処理装置である。

また、本発明の一態様は、上記の情報処理装置において、前記操作処理部は、前記仮想入力デバイスの表示画像が、前記第１画面に表示されている場合に、前記仮想画面画像を表示して、前記スクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールする第１モードに変更し、前記仮想入力デバイスの表示画像が、前記第１画面に表示されていない場合に、前記起動中のアプリケーションの表示画像を、前記複数の画面に分割して表示する第２モードに変更するようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記操作処理部は、前記第１モードにおいて、前記第１画面に操作媒体を押し当てた状態で指定する方向に移動させるスワイプ操作によって、前記指定範囲を移動するようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記操作処理部は、前記タッチセンサ部が、ペンの接近を検出した場合に、前記仮想画面画像を表示して、前記スクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールする第１モードに変更するようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記指定範囲の位置情報及びサイズ情報に基づいて、前記タッチセンサ部の検出座標を、前記指定範囲に対応した座標に変換する座標変換部を備え、前記操作処理部は、前記座標変換部が変換した座標に基づいて、前記仮想画面画像をスクロールする処理、及び前記仮想入力デバイスの入力位置の指定処理を実行し、前記仮想入力処理部は、前記座標変換部が変換した座標に基づいて、前記入力情報を、前記複数の画面のいずれかに表示させてもよい。

また、本発明の一態様は、上記の情報処理装置において、ＯＳ（オペレーティングシステム）に基づく処理を実行するメイン制御部と、前記メイン制御部とは異なる独立した組込み制御部とを備え、前記メイン制御部は、前記仮想入力処理部及び前記操作処理部を備え、前記組込み制御部は、前記座標変換部を備えるようにしてもよい。

また、本発明の一態様は、上記の情報処理装置において、前記仮想入力デバイスは、ソフトウェアキーボードであってもよい。

また、本発明の一態様は、表示部及びタッチセンサ部を有するタッチスクリーンの表示画面である第１画面に仮想入力デバイスの表示画像を表示するとともに、前記仮想入力デバイスによる入力情報を取得する仮想入力処理部を備える情報処理装置の制御方法であって、操作処理部が、前記第１画面の前記仮想入力デバイスの表示画像以外の第１表示画像と、前記第１画面を含む複数の画面のうちの、前記第１画面以外の第２画面に表示されている第２表示画像と、前記仮想入力デバイスで入力可能な起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である第３表示画像とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像を生成し、前記仮想画面画像の指定範囲を、前記第１画面の前記仮想入力デバイスの表示画像以外の領域と、前記第２画面とに分割して表示させるステップと、前記操作処理部が、前記タッチセンサ部によるスクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールさせるステップとを含む制御方法である。

本発明の上記態様によれば、ユーザーエクスペリエンスを向上させることができる。

第１の実施形態による情報処理システム及びタブレット端末の一例を示す外観図である。 第１の実施形態による情報処理システムの主要なハードウェア構成の一例を示す図である。 第１の実施形態による情報処理システムの機能構成の一例を示すブロック図である。 第１の実施形態における仮想画面画像の生成処理及び表示処理の一例を示す図である。 第１の実施形態による情報処理システムの指定範囲の移動例を示す図である。 第１の実施形態による情報処理システムのスワイプ操作の一例を示す第１の図である。 第１の実施形態による情報処理システムのスワイプ操作の一例を示す第２の図である。 第１の実施形態によタブレット端末の動作の一例を示すフローチャートである。 第２の実施形態による情報処理システムの機能構成の一例を示すブロック図である。 第３の実施形態によるノートＰＣの一例を示す外観図である。 第３の実施形態によるノートＰＣの主要なハードウェア構成の一例を示す図である。 第３の実施形態によるノートＰＣの機能構成の一例を示すブロック図である。

以下、本発明の一実施形態による情報処理装置、及び情報処理システムについて、図面を参照して説明する。

［第１の実施形態］
図１は、本実施形態による情報処理システム１００の一例を示す外観図である。
図１に示すように、情報処理システム１００は、タブレット端末１と、表示部１４－２とを備える。なお、本実施形態において、タブレット端末１は、情報処理装置の一例である。

図１において、情報処理システム１００は、タブレット端末１に外部モニタ（外部表示装置）である表示部１４－２を接続して、複数の画面に、画像を表示する一例を示している。

タブレット端末１は、タッチスクリーン２０を備えており、タッチスクリーン２０は、表示部１４－１と、タッチセンサ部３３とを備え、表示部１４－１の画面ＤＦ１（第１画面）及び表示部１４－２の画面ＤＦ２（第２画面）に各種情報を表示可能である。
また、タブレット端末１は、タッチスクリーン２０を用いて、ソフトウェアキーボード（例えば、ＯＳＫ：On-Screen Keyboard）を実現する。

タッチセンサ部３３は、表示部１４－１に重ねて配置されており、表示部１４－１の画面ＤＦ１上における物体（例えば、利用者の指、等）の接触位置の検出と、ペン３０が非接触状態で表示部１４－１の画面ＤＦ１上に閾値距離以内に接近したペン３０の接近及び画面ＤＦ１上のペン３０の位置の検出とを検出可能である。
なお、タッチスクリーン２０、表示部１４－１、及びタッチセンサ部３３の詳細については、後述する。

表示部１４－２は、例えば、液晶表示装置などの外部モニタである。表示部１４－２と、タブレット端末１とは、例えば、ＨＤＭＩ（登録商標、High-Definition Multimedia Interface）やＤｉｓｐｌａｙ Ｐｏｒｔなどのインタフェースにより接続される。

次に、図２を参照して、情報処理システム１００及びタブレット端末１の主要なハードウェア構成について説明する。
図２は、本実施形態による情報処理システム１００の主要なハードウェア構成の一例を示す図である。情報処理システム１００は、上述したように、タブレット端末１と表示部１４－２とを備え、表示部１４－２は、タブレット端末１が出力する表示画像を画面ＤＦ２に表示する。

タブレット端末１は、例えば、ＯＳ（Operating System：オペレーティングシステム）がＷｉｎｄｏｗｓ（登録商標）であるノートＰＣをベースにした端末装置である。タブレット端末１は、通常のノートＰＣの形態と、タブレット端末の形態との両方で使用可能な情報処理装置である。

図２に示すように、タブレット端末１は、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、表示部１４－１と、チップセット２１と、ＢＩＯＳメモリ２２と、ＳＳＤ２３と、ＵＳＢコネクタ２４と、オーディオシステム２５と、ＷＬＡＮカード２６と、ペン３０と、エンベデッドコントローラ３１と、入力部３２と、タッチセンサ部３３と、電源回路３４と、センサ部３５とを備える。

ＣＰＵ（Central Processing Unit）１１は、プログラム制御により種々の演算処理を実行し、タブレット端末１全体を制御する。
メインメモリ１２は、ＣＰＵ１１の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。この実行プログラムには、ＯＳ、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種サービス／ユーティリティ、アプリケーションプログラム（アプリケーションソフトウェア）、等が含まれる。

ビデオサブシステム１３は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含んでいる。このビデオコントローラは、ＣＰＵ１１からの描画命令を処理し、処理した描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出して、表示部１４－１に描画データ（表示データ）として出力する。

表示部１４－１は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイであり、ビデオサブシステム１３から出力された描画データ（表示データ）に基づく表示画面を表示する。表示部１４－１は、上述した図１に示すように、タッチスクリーン２０の一部として構成されている。

チップセット２１は、ＵＳＢ（Universal Serial Bus）、シリアルＡＴＡ（AT Attachment）、ＳＰＩ（Serial Peripheral Interface）バス、ＰＣＩ（Peripheral Component Interconnect）バス、ＰＣＩ－Ｅｘｐｒｅｓｓバス、及びＬＰＣ（Low Pin Count）バスなどのコントローラを備えており複数のデバイスが接続される。図２では、デバイスの例示として、ＢＩＯＳメモリ２２と、ＳＳＤ２３と、ＵＳＢコネクタ２４と、オーディオシステム２５と、ＷＬＡＮカード２６と、エンベデッドコントローラ３１とが、チップセット２１に接続されている。

ＢＩＯＳ（Basic Input Output System）メモリ２２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やフラッシュＲＯＭなどの電気的に書き換え可能な不揮発性メモリで構成される。ＢＩＯＳメモリ２２は、ＢＩＯＳ、及びエンベデッドコントローラ３１などを制御するためのシステムファームウェアなどを記憶する。

ＳＳＤ（Solid State Drive）２３（不揮発性記憶装置の一例）は、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム（以下、アプリケーションということがある）、及び各種データを記憶する。
ＵＳＢコネクタ２４は、ＵＳＢを利用した周辺機器類を接続するためのコネクタである。

オーディオシステム２５は、音データの記録、再生、出力を行う。
ＷＬＡＮ（Wireless Local Area Network）カード２６は、ワイヤレスＬＡＮ（無線ＬＡＮ）により、ネットワークに接続して、データ通信を行う。ＷＬＡＮカード２６は、例えば、ネットワークからのデータを受信した際に、データを受信したことを示すイベントトリガを発生する。

エンベデッドコントローラ３１は、タブレット端末１のシステム状態に関わらず、各種デバイス（周辺装置やセンサ等）を監視し制御するワンチップマイコン（One-Chip Microcomputer）である。また、エンベデッドコントローラ３１は、電源回路３４を制御する電源管理機能を有している。なお、エンベデッドコントローラ３１は、不図示のＣＰＵ、ＲＯＭ、ＲＡＭなどで構成されるとともに、複数チャネルのＡ／Ｄ入力端子、Ｄ／Ａ出力端子、タイマ、及びデジタル入出力端子を備えている。エンベデッドコントローラ３１には、それらの入出力端子を介して、例えば、入力部３２、タッチセンサ部３３、電源回路３４、及びセンサ部３５などが接続されており、エンベデッドコントローラ３１は、これらの動作を制御する。

入力部３２は、例えば、電源スイッチ、ポインティングデバイスなどの入力デバイスである。
タッチセンサ部３３は、例えば、ペン３０（ペン形状の媒体）が表示部１４－１の画面ＤＦ１に対して所定の距離以内（閾値距離以内）に接近したことを検出し、ペン３０が画面ＤＦ１に対して所定の距離以内に接近した場合に、非接触状態で、画面ＤＦ１上におけるペン３０の位置を検出可能である。すなわち、タッチセンサ部３３は、表示部１４－１の画面ＤＦ１上に非接触状態で、且つ、閾値距離以内に接近した状態を、ペン３０が一定期間維持するホバリング状態を検出可能である。なお、タッチセンサ部３３と、表示部１４－１とは、タッチスクリーン２０を構成する。

また、タッチセンサ部３３は、接触検出部３３１と、ペン検出部３３２とを備える。
接触検出部３３１は、例えば、静電容量式のタッチセンサであり、表示部１４の画面ＤＦ１に接触した操作媒体（ペン３０や指などの物体）を検出するとともに、操作媒体が接触している位置を検出する。

ペン検出部３３２は、例えば、電磁誘導方式のタッチセンサであり、ペン３０の共振回路ＬＣ１を利用して、非接触により、ペン３０の表示部１４の画面ＤＦ１上の位置を検出する。ペン検出部３３２は、例えば、ペン３０が表示部１４の画面ＤＦ１に対して閾値距離以内に近づいたことを検出可能である。
このように、タッチセンサ部３３は、画面ＤＦ１上における物体（例えば、指など）の接触によるタッチ入力と、ペン３０の接触によるペン入力とを検出可能である。

なお、タッチセンサ部３３は、ペン検出部３３２が、ペン３０が表示部１４の画面ＤＦ１に対して閾値距離以内に近づいたことを検出した際に、接触検出部３３１が、ペン３０の未接触を検出することで、ペン３０のホバリングを検出可能である。

ペン３０は、ペン形状の操作媒体であり、例えば、タッチペン、スタイラスペンなどである。ペン３０は、共振回路ＬＣ１を備えている。ペン３０は、共振回路ＬＣ１のコイルへの電磁誘導により、電源が供給され、共振回路を利用して、表示部１４－１の画面ＤＦ上におけるペン３０の位置を検出可能に構成されている。

電源回路３４は、例えば、ＤＣ／ＤＣコンバータ、充放電ユニット、電池ユニット、ＡＣ／ＤＣアダプタなどを含んでおり、ＡＣ／ＤＣアダプタ、又は電池ユニットから供給される直流電圧を、タブレット端末１を動作させるために必要な複数の電圧に変換する。また、電源回路３４は、エンベデッドコントローラ３１からの制御に基づいて、タブレット端末１の各部に電力を供給する。

センサ部３５は、例えば、加速度センサやジャイロセンサなどであり、タブレット端末１の使用状態を示す画面表示向きを検出する。センサ部３５は、例えば、重力加速度の向きを検出して、タブレット端末１（表示部１４－１）の画面表示向きを検出する。

なお、本実施形態において、上述したＣＰＵ１１及びチップセット２１は、メイン制御部１０に対応する。メイン制御部１０は、ＯＳ（例えば、Ｗｉｎｄｏｗｓ（登録商標））に基づく処理を実行する。

次に、図３を参照して、本実施形態による情報処理システム１００の機能構成について説明する。
図３は、本実施形態による情報処理システム１００の機能構成の一例を示すブロック図である。

図３に示すように、情報処理システム１００は、タブレット端末１と、表示部１４－２と、ペン３０とを備える。また、タブレット端末１は、メイン制御部１０と、タッチスクリーン２０と、エンベデッドコントローラ３１と、記憶部４０とを備える。
なお、図３において、情報処理システム１００の構成として、本実施形態の発明に関する主要な機能構成のみを記載している。

記憶部４０は、例えば、メインメモリ１２又はＳＳＤ２３により実現される記憶部であり、タブレット端末１が利用する各種情報を記憶する。記憶部４０は、例えば、各種アプリケーションが利用する各種情報、タッチセンサ部３３を用いて取得された入力情報（ＯＳＫのキー入力データ、ペン入力情報、タッチ入力情報、等）を、一時記憶する。

メイン制御部１０は、ＣＰＵ１１及びチップセット２１が、メインメモリ１２が記憶するプログラムを実行することで実現される機能部であり、ＯＳに基づく各種処理を実行する。メイン制御部１０は、例えば、仮想入力デバイスとして、ＯＳＫの処理を実行するとともに、後述するＯＳＫのための画面の操作処理を実行する。

また、メイン制御部１０は、例えば、ＥＣドライバ１０１と、ＯＳＫ処理部１０２と、操作処理部１０３と、表示処理部１０４と、アプリケーション１０５とを備える。

ＥＣドライバ１０１は、ＣＰＵ１１及びチップセット２１が、メインメモリ１２が記憶するプログラムを実行することで実現される機能部であり、エンベデッドコントローラ３１の制御を行うデバイスドライバである。ＥＣドライバ１０１は、エンベデッドコントローラ３１を制御して、タッチセンサ部３３が検出したタッチ入力及びペン入力を取得して、ＯＳＫ処理部１０２及び操作処理部１０３、等に供給する。

ＯＳＫ処理部１０２は、ＣＰＵ１１及びチップセット２１が、メインメモリ１２が記憶するプログラムを実行することで実現される機能部であり、ＯＳＫを実現するための各種処理を実行する。ＯＳＫ処理部１０２は、タッチスクリーン２０の表示画面である表示部１４－１の画面ＤＦ１の一部に、ＯＳＫ（ソフトウェアキーボード）の表示画像を表示するとともに、ＯＳＫによる入力情報を取得する。

ＯＳＫ処理部１０２は、例えば、画面ＤＦ１に操作媒体（例えば、指、等）が接触（タッチ）した位置座標に対応したキーコードを生成し、入力情報として、アプリケーション１０５に出力する。
ここで、ＯＳＫは、仮想入力デバイスの一例であり、ＯＳＫ処理部１０２は、仮想入力処理部の一例である。

操作処理部１０３は、ＣＰＵ１１及びチップセット２１が、メインメモリ１２が記憶するプログラムを実行することで実現される機能部である。操作処理部１０３は、画面ＤＦ１のＯＳＫの表示画像ＯＧ以外の表示画像Ｇ１（第１表示画像）と、画面ＤＦ２（第２画面）に表示されている表示画像Ｇ２（第２表示画像）と、画面に表示されていない部分の表示画像である表示画像Ｇ３（第３表示画像）とに基づいて、仮想画面画像ＶＤＧを生成する。

ここで、表示画像Ｇ２は、画面ＤＦ１を含む複数の画面のうちの、画面ＤＦ１以外の画面（表示部１４－２の画面）である。また、表示画像Ｇ３は、ＯＳＫで入力可能な起動中のアプリケーション１０５の表示画像であって、画面ＤＦ１及び画面ＤＦ２に表示されていない隠れている画像である。また、仮想画面画像ＶＤＧは、全範囲をスクロール表示可能な１つの表示画像である。

操作処理部１０３は、仮想画面画像ＶＤＧの指定範囲ＳＣを、画面ＤＦ１の仮想入力デバイスの表示画像ＯＧ以外の領域と、画面ＤＦ２とに分割して表示させる。操作処理部１０３は、例えば、表示処理部１０４を介して、仮想画面画像ＶＤＧの指定範囲ＳＣを、画面ＤＦ１及び画面ＤＦ２に分割して表示させる。ここで、図４を参照して、仮想画面画像ＶＤＧの生成処理及び仮想画面画像ＶＤＧの表示処理について説明する。

図４は、本実施形態における仮想画面画像ＶＤＧの生成処理及び表示処理の一例を示す図である。
図４（ａ）は、表示部１４－１が１画面（画面ＤＦ１）であり、表示部１４－２が２画面（画面ＤＦ２－１及び画面ＤＦ２－２）である場合の表示例を示している。・

なお、本実施形態において、画面ＤＦ２－１及び画面ＤＦ２－２は、情報処理システム１００の任意の表示部１４－２の画面を示す場合、又は特に区別しない場合には、画面ＤＦ２として説明する。

操作処理部１０３は、図４（ａ）に示すような複数の画面の表示の場合に、図４（ｂ）に示すような仮想画面画像ＶＤＧを生成する。操作処理部１０３は、画面ＤＦ１の表示画像ＯＧ以外の領域の表示画像Ｇ１と、画面ＤＦ２－１の表示画像Ｇ２－１と、画面ＤＦ２－２の表示画像Ｇ２－２と、表示画像ＯＧ以外で隠れて表示されていない部分の表示画像Ｇ３とを取得し、これらを結合して、仮想画面画像ＶＤＧを生成する。

なお、本実施形態において、表示画像Ｇ２－１及び表示画像Ｇ２－２は、画面ＤＦ２の任意の表示画像を示す場合、又は特に区別しない場合には、表示画像Ｇ２として説明する。

また、操作処理部１０３は、表示画像Ｇ１（画面ＤＦ１の表示画像ＯＧ以外の領域）、表示画像Ｇ２－１（画面ＤＦ２－１）、及び表示画像Ｇ２－２（画面ＤＦ２－２）と同等のサイズの指定範囲ＳＣを設定する。なお、指定範囲ＳＣは、スワイプ操作で移動可能であり、指定範囲ＳＣの移動の詳細については、後述する。

操作処理部１０３は、図４（ｃ）に示すように、生成した仮想画面画像ＶＤＧの指定範囲ＳＣの部分を分割して、画面ＤＦ１の表示画像ＯＧ以外の領域、画面ＤＦ２－１、及び画面ＤＦ２－２に表示させる。

なお、図４（ｃ）に示す例では、操作処理部１０３は、仮想画面画像ＶＤＧの指定範囲ＳＣの部分を、分割画像ＤＧ１、分割画像ＤＧ２－１、及び分割画像ＤＧ２－２に分割する。操作処理部１０３は、分割画像ＤＧ１を、画面ＤＦ１の表示画像ＯＧ以外の領域に表示させるとともに、分割画像ＤＧ２－１を画面ＤＦ２－１に、分割画像ＤＧ２－２を画面ＤＦ２－２に、それぞれ表示させる。

なお、本実施形態において、分割画像ＤＧ２－１及び分割画像ＤＧ２－２は、画面ＤＦ２の任意の分割画像を示す場合、又は特に区別しない場合には、分割画像ＤＧ２として説明する。

次に、図５を参照して、指定範囲ＳＣの移動処理について説明する。
図５は、本実施形態による情報処理システム１００の指定範囲の移動例を示す図である。
操作処理部１０３は、タッチセンサ部３３によるスクロール操作の検出に応じて、指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールさせる。操作処理部１０３は、例えば、タッチスクリーン２０（表示部１４－１）の画面ＤＦ１をスワイプ操作することで、指定範囲ＳＣを移動可能であり、さらに、ＯＳＫにより入力を行いたい入力位置が、タッチスクリーン２０（表示部１４－１）の画面ＤＦ１になるように指定範囲ＳＣを移動することで、入力位置（例えば、カーソル位置）を指定可能にする。操作処理部１０３は、例えば、画面ＤＦ１のタッチ操作により、ＯＳＫの入力位置の移動及び指定を実行する。

図５（ａ）に示す例は、仮想画面画像ＶＤＧのうちの表示されていない部分の表示画像Ｇ３に相当する領域が、画面ＤＦ１により指定できるように指定範囲ＳＣを移動した一例である。この場合、分割画像ＤＧ１に、表示画像Ｇ３が含まれ、表示画像Ｇ３の部分が、ＯＳＫの入力位置として指定可能になる。

また、図５（ｂ）に示す例は、仮想画面画像ＶＤＧのうちの表示画像Ｇ２－１に相当する領域が、画面ＤＦ１により指定できるように指定範囲ＳＣを移動した一例である。この場合、分割画像ＤＧ１に、表示画像Ｇ２－１が含まれ、表示画像Ｇ２－１の部分が、ＯＳＫの入力位置として指定可能になる。
なお、この場合、分割画像ＤＧ２－１及び分割画像ＤＧ２－２には、アプリケーション１０５の表示画像が含まれずに、画面ＤＦ２－１及び画面ＤＦ２－２には、例えば、青色や黒色のような単色の表示画像が表示される。

また、図５（ｃ）に示す例は、仮想画面画像ＶＤＧのうちの表示画像Ｇ２－２に相当する領域が、画面ＤＦ１により指定できるように指定範囲ＳＣを移動した一例である。この場合、分割画像ＤＧ１に、表示画像Ｇ２－２が含まれ、表示画像Ｇ２－２の部分が、ＯＳＫの入力位置として指定可能になる。
なお、この場合、分割画像ＤＧ２－１及び分割画像ＤＧ２－２には、アプリケーション１０５の表示画像が含まれずに、画面ＤＦ２－１及び画面ＤＦ２－２には、例えば、青色や黒色のような単色の表示画像が表示される。

次に、図６及び図７を参照して、スクロール操作により指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールさせる処理について説明する。なお、本実施形態では、スクロール操作の一例として、画面ＤＦ１に操作媒体（指やペン３０）を押し当てた状態で指定する方向に移動させるスワイプ操作でスクロールさせる例について説明する。

図６及び図７は、情報処理システム１００のスワイプ操作の一例を示す図である。
図６（ａ）に示す状態の画面ＤＦ１において、下向きにスワイプ操作が行われると、操作処理部１０３は、指定範囲ＳＣを下向きに移動して、仮想画面画像ＶＤＧを下向きにスクロールさせる。その結果、図６（ｂ）に示すように、図６（ａ）において、画面ＤＦ２にあった表示画像が画面ＤＦ１に表示され、画面ＤＦ２にあった表示画像の部分を、タッチ操作により、ＯＳＫの入力位置として指定可能になる。

また、図７（ａ）に示す状態の画面ＤＦ１において、上向きにスワイプ操作が行われると、操作処理部１０３は、指定範囲ＳＣを上向きに移動して、仮想画面画像ＶＤＧを上向きにスクロールさせる。その結果、図７（ｂ）に示すように、図７（ａ）において、画面ＤＦ１でＯＳＫにより隠れていた表示画像が画面ＤＦ１に表示され、隠れていた表示画像の部分を、タッチ操作により、ＯＳＫの入力位置として指定可能になる。

図３の説明に戻り、操作処理部１０３は、ＯＳＫの表示画像ＯＧが、画面ＤＦ１に表示されている場合に、通常画面モード（第２モード）から仮想画面モード（第１モード）に変更する。

ここで、仮想画面モード（第１モード）は、仮想画面画像ＶＤＧを表示部１４－１及び表示部１４－２に表示して、スクロール操作の検出に応じて、指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールするモードである。また、通常画面モード（第２モード）は、起動中のアプリケーション（例えば、アプリケーション１０５）の表示画像を、複数の画面（画面ＤＦ１、及び画面ＤＦ２（ＤＦ２－１、ＤＦ２－２）に分割して表示するモードである。

操作処理部１０３は、仮想画面モード（第１モード）において、上述した仮想画面画像ＶＤＧを生成して、仮想画面画像ＶＤＧを複数の画面（画面ＤＦ１、及び画面ＤＦ２（ＤＦ２－１、ＤＦ２－２）に分割して表示させるとともに、スクロール操作の検出に応じて、指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールさせる。

また、操作処理部１０３は、ＯＳＫの表示画像ＯＧが、画面ＤＦ１に表示されていない場合に、通常画面モード（第２モード）に変更して、起動中のアプリケーション（例えば、アプリケーション１０５）の表示画像を、複数の画面（画面ＤＦ１、及び画面ＤＦ２（ＤＦ２－１、ＤＦ２－２）に分割して表示させる。すなわち、操作処理部１０３は、ＯＳＫの終了により、仮想画面モードから通常画面モードに変更する。
なお、操作処理部１０３は、タッチセンサ部３３が、ペン３０の接近を検出した場合に、仮想画面モードに変更するようにしてもよい。

また、操作処理部１０３は、指定範囲ＳＣの位置情報及びサイズ情報を、ＥＣドライバ１０１を介して、エンベデッドコントローラ３１に送信する。操作処理部１０３は、例えば、仮想画面モードに移行した際、及び指定範囲ＳＣを移動した際に、指定範囲ＳＣの位置情報及びサイズ情報をエンベデッドコントローラ３１に送信し、後述する指定範囲情報記憶部３１１に記憶させる。

また、操作処理部１０３は、後述する座標変換部３１２が変換した座標に基づいて、仮想画面画像ＶＤＧをスクロールする処理、及びＯＳＫの入力位置の指定処理を実行する。
なお、ＯＳＫ処理部１０２は、座標変換部３１２が変換した座標に基づいて、入力情報を、複数の画面（画面ＤＦ１及び画面ＤＦ２）のいずれか（ＯＳＫの入力位置に対応する画面）に表示させる。

表示処理部１０４は、ＣＰＵ１１及びチップセット２１が、メインメモリ１２が記憶するプログラムを実行することで実現される機能部であり、例えば、ディスプレイドライバである。表示処理部１０４は、例えば、アプリケーション１０５の表示画像、ＯＳＫ処理部１０２が生成したＯＳＫの表示画像ＯＧ、及び仮想画面画像ＶＤＧの指定範囲ＳＣの部分、等を、表示部１４－１の画面ＤＦ１及び表示部１４－２の画面ＤＦ２に表示させる。

アプリケーション１０５は、ＣＰＵ１１及びチップセット２１が、メインメモリ１２が記憶するプログラム（アプリケーションプログラム）を実行することで実現される機能部である。アプリケーション１０５は、例えば、表計算ソフトやワープロソフトなどのアプリケーション処理を実行する。

エンベデッドコントローラ３１は、タッチセンサ部３３が検出したペン入力やタッチ入力の座標（画面ＤＦ１上の検出座標）を取得し、当該検出座標を、メイン制御部１０に送信する。ここで、エンベデッドコントローラ３１は、メイン制御部１０とは異なる独立した組込み制御部の一例である。また、エンベデッドコントローラ３１は、後述するペン３０を検出した場合に、ペン３０を検出したことを示す検出情報を、メイン制御部１０に送信する。

また、エンベデッドコントローラ３１は、メイン制御部１０から受信した指定範囲情報（例えば、指定範囲ＳＣの位置情報及びサイズ情報）を受信した場合に、受信した指定範囲情報を、後述する指定範囲情報記憶部３１１に記憶させる。

また、エンベデッドコントローラ３１は、上述した仮想画面モードにおいて、指定範囲情報に基づいて、タッチセンサ部３３の検出座標を、指定範囲ＳＣに対応した座標に変換し、変換した座標を、検出座標として、メイン制御部１０に送信する。
また、エンベデッドコントローラ３１は、指定範囲情報記憶部３１１と、座標変換部３１２とを備える。

指定範囲情報記憶部３１１は、エンベデッドコントローラ３１が内蔵するＲＡＭなどにより実現される記憶部である。指定範囲情報記憶部３１１は、メイン制御部１０から受信した指定範囲情報（例えば、指定範囲ＳＣの位置情報及びサイズ情報）を記憶する。

座標変換部３１２は、エンベデッドコントローラ３１が内蔵するＣＰＵが、ＲＯＭが記憶するプログラムを実行することで実現される機能部である。座標変換部３１２は、上述した指定範囲情報（例えば、指定範囲ＳＣの位置情報及びサイズ情報）に基づいて、タッチセンサ部３３の検出座標を、指定範囲ＳＣに対応した座標に変換する。座標変換部３１２は、例えば、仮想画面モードにおいて、画面ＤＦ１のＯＳＫの表示画像ＯＧ以外の領域の検出座標を、指定範囲ＳＣに対応した座標に変換する。また、座標変換部３１２は、通常画面モードにおいて、変換処理を停止する。

次に、図面を参照して、本実施形態による情報処理システム１００の動作について説明する。
図８は、本実施形態によタブレット端末１の動作の一例を示すフローチャートである。ここでは、タブレット端末１による操作処理（仮想画面画像ＶＤＧの生成処理及び表示処理、指定範囲ＳＣの移動処理など）について説明する。

図８に示すように、タブレット端末１は、まず、ＯＳＫが表示されている、又はペン３０を検出したか否かを判定する（ステップＳ１０１）。タブレット端末１の操作処理部１０３は、ＯＳＫが表示されているか否か、又はペン３０を検出したか否かを判定する。操作処理部１０３は、例えば、ＯＳＫ処理部１０２がＯＳＫの表示画像ＯＧを表示しているか否かを判定する。また、操作処理部１０３は、例えば、ＥＣドライバ１０１を介して、タッチセンサ部３３が、ペン３０を検出したか否かを判定する。操作処理部１０３は、ＯＳＫが表示されている、又はペン３０を検出した場合（ステップＳ１０１：ＹＥＳ）に、処理をステップＳ１０２に進めおる。また、操作処理部１０３は、ＯＳＫが表示されてない、且つ、ペン３０を検出していない場合（ステップＳ１０１：ＮＯ）に、処理をステップＳ１０１に戻す。

ステップＳ１０２において、操作処理部１０３は、仮想画面モードに変更し、ＯＳＫ以外の表示を指定範囲ＳＣとして、仮想画面画像ＶＤＧの指定範囲ＳＣ部分を表示し、座標変換を開始する。操作処理部１０３は、上述した図４（ａ）～図４（ｃ）のような手順により、仮想画面画像ＶＤＧを生成して、仮想画面画像ＶＤＧの指定範囲ＳＣを複数の画面（画面ＤＦ１及び画面ＤＦ２）に分割して表示させる。また、操作処理部１０３は、指定範囲ＳＣに対応する指定範囲情報をエンベデッドコントローラ３１に送信し、指定範囲情報記憶部３１１に指定範囲情報を記憶させるとともに、座標変換部３１２に、座標変換の処理を開始させる。

次に、操作処理部１０３は、スワイプ操作を検出したか否かを判定する（ステップＳ１０３）。操作処理部１０３は、ＥＣドライバ１０１を介して、タッチセンサ部３３が検出した検出座標（座標変換部３１２により変換された座標）を取得し、スワイプ操作を検出したか否かを判定する。操作処理部１０３は、スワイプ操作を検出した場合（ステップＳ１０３：ＹＥＳ）に、処理をステップＳ１０４に進める。また、操作処理部１０３は、スワイプ操作を検出していない場合（ステップＳ１０３：ＮＯ）に、処理をステップＳ１０６に進める。

ステップＳ１０４において、操作処理部１０３は、スワイプ操作に応じて、指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールして表示する。操作処理部１０３は、例えば、上述した図６及び図７に示すように、仮想画面画像ＶＤＧをスクロールして表示させる。

次に、操作処理部１０３は、指定範囲情報を変更する（ステップＳ１０５）。操作処理部１０３は、移動した指定範囲ＳＣに対応する指定範囲情報（指定範囲ＳＣの位置情報及びサイズ情報）を、ＥＣドライバ１０１を介して、エンベデッドコントローラ３１に送信し、指定範囲情報記憶部３１１の指定範囲情報を更新する。

次に、ステップＳ１０６として、操作処理部１０３は、ＯＳＫの表示を終了したか否かを判定する。操作処理部１０３は、ＯＳＫ処理部１０２によるＯＳＫの処理が終了し、ＯＳＫの表示画像ＯＧの表示を終了したか否かを判定する。操作処理部１０３は、ＯＳＫの表示を終了した場合（ステップＳ１０６：ＹＥＳ）に、処理をステップＳ１０７に進める。また、操作処理部１０３は、ＯＳＫの表示を終了していない場合（ステップＳ１０６：ＮＯ）に、処理をステップＳ１０３に戻す。

ステップＳ１０７において、操作処理部１０３は、通常画面モードに変更し、座標変換を停止する。操作処理部１０３は、仮想画面モードから通常画面モードに変更するとともに、座標変換部３１２に、座標変換の処理を停止始させる。ステップＳ１０７の処理後に、操作処理部１０３は、処理をステップＳ１０１に戻す。

以上説明したように、本実施形態によるタブレット端末１（情報処理装置）は、ＯＳＫ処理部１０２（仮想入力処理部）と、操作処理部１０３とを備える。ＯＳＫ処理部１０２は、表示部１４－１及びタッチセンサ部３３を有するタッチスクリーン２０の表示画面である画面ＤＦ１（第１画面）に仮想入力デバイス（例えば、ＯＳＫ）の表示画像ＯＧを表示するとともに、仮想入力デバイス（例えば、ＯＳＫ）による入力情報を取得する。操作処理部１０３は、画面ＤＦ１の仮想入力デバイスの表示画像ＯＧ以外の表示画像Ｇ１（第１表示画像）と、画面ＤＦ１を含む複数の画面のうちの、画面ＤＦ１以外（第１画面以外）の画面ＤＦ２（第２画面）に表示されている表示画像Ｇ２（第２表示画像）と、仮想入力デバイスで入力可能な起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である表示画像Ｇ３（第３表示画像）とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像ＶＤＧを生成する。操作処理部１０３は、仮想画面画像ＶＤＧの指定範囲ＳＣを、画面ＤＦ１の仮想入力デバイスの表示画像ＯＧ以外の領域と、画面ＤＦ２とに分割して表示させ、タッチセンサ部３３によるスクロール操作（例えば、スワイプ操作）の検出に応じて、指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールさせる。

これにより、本実施形態によるタブレット端末１は、全範囲をスクロール表示可能な１つの表示画像を生成して、タッチセンサ部３３によるスクロール操作で、表示部１４－１の画面ＤＦ１に移動させて表示できるようになるため、表示部１４－２の画面ＤＦ２を含む全表示画像を、タッチセンサ部３３により指定することができる。本実施形態によるタブレット端末１では、例えば、図６及び図７に示すように、マウスなどのポインティングデバイスを使用しないと指定できない画面ＤＦ２の表示や、ＯＳＫの表示で隠れて通常では指定できない表示画像Ｇ３などを、タッチセンサ部３３のスクロール操作により、入力位置として簡単に指定することができる。よって、本実施形態によるタブレット端末１は、ユーザーエクスペリエンスを向上させることができる。

また、本実施形態では、操作処理部１０３は、仮想入力デバイス（例えば、ＯＳＫ）の表示画像ＯＧが、画面ＤＦ１に表示されている場合に、仮想画面画像ＶＤＧを表示して、スクロール操作の検出に応じて、指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールする仮想画面モード（第１モード）に変更する。操作処理部１０３は、仮想入力デバイス（例えば、ＯＳＫ）の表示画像ＯＧが、画面ＤＦ１に表示されていない場合に、起動中のアプリケーションの表示画像を、複数の画面に分割して表示する通常画面モード（第２モード）に変更する

これにより、本実施形態によるタブレット端末１は、例えば、ＯＳＫの表示画像ＯＧが表示されている場合に、仮想画面モード（第１モード）に切り替わり、ＯＳＫの表示画像ＯＧが表示されていない場合に、通常画面モード（第２モード）に切り替わる。よって、本実施形態によるタブレット端末１は、利便性を向上させることができ、ユーザーエクスペリエンスをさらに向上させることができる。

また、本実施形態では、操作処理部１０３は、仮想画面モード（第１モード）において、画面ＤＦ１に操作媒体（例えば、指やペン３０）を押し当てた状態で指定する方向に移動させるスワイプ操作によって、指定範囲ＳＣを移動する。

これにより、本実施形態によるタブレット端末１は、スワイプ操作により、スクロール操作を行って、入力位置を指定できるため、利用者が感覚的に容易に操作することができ、ユーザーエクスペリエンスをさらに向上させることができる。

また、本実施形態では、操作処理部１０３は、タッチセンサ部３３が、ペン３０の接近を検出した場合に、仮想画面画像ＶＤＧを表示して、スクロール操作の検出に応じて、指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールする仮想画面モード（第１モード）に変更するようにしてもよい。

これにより、本実施形態によるタブレット端末１は、ペン３０を画面ＤＦ１に近づけると仮想画面モード（第１モード）に切り替えることができるため、利便性をさらに向上させることができ、ユーザーエクスペリエンスをさらに向上させることができる。

また、本実施形態によるタブレット端末１は、指定範囲ＳＣの位置情報及びサイズ情報に基づいて、タッチセンサ部３３の検出座標を、指定範囲ＳＣに対応した座標に変換する座標変換部３１２を備える。操作処理部１０３は、座標変換部３１２が変換した座標に基づいて、仮想画面画像ＶＤＧをスクロールする処理、及び仮想入力デバイスの入力位置の指定処理を実行し、ＯＳＫ処理部１０２は、座標変換部３１２が変換した座標に基づいて、入力情報を、複数の画面のいずれかに表示させる。

これにより、本実施形態によるタブレット端末１は、座標変換部３１２を用いることで、表示部１４－１の画面ＤＦ１上で入力された入力情報を、仮想画面モード（第１モード）の表示に、矛盾なく適切に反映させることができる。

また、本実施形態によるタブレット端末１は、ＯＳに基づく処理を実行するメイン制御部１０と、メイン制御部１０とは異なる独立したエンベデッドコントローラ３１（組込み制御部）とを備える。メイン制御部１０は、ＯＳＫ処理部１０２及び操作処理部１０３を備え、エンベデッドコントローラ３１は、座標変換部３１２を備える。

これにより、本実施形態によるタブレット端末１は、座標変換処理を、メイン制御部１０とは異なる独立したエンベデッドコントローラ３１が実行するため、これらの処理を、メイン制御部１０に処理負荷を軽減しつつ、迅速に実行することができる。

また、本実施形態では、仮想入力デバイスは、ソフトウェアキーボード（ＯＳＫ）である。
これにより、本実施形態によるタブレット端末１は、ソフトウェアキーボード（ＯＳＫ）において、利便性を向上させることができ、ユーザーエクスペリエンスを向上させることができる。

また、本実施形態による制御方法は、表示部１４－１及びタッチセンサ部３３を有するタッチスクリーン２０の表示画面である画面ＤＦ１に仮想入力デバイスの表示画像ＯＧを表示するとともに、仮想入力デバイスによる入力情報を取得するＯＳＫ処理部１０２を備える情報処理装置の制御方法であって、第１ステップと、第２ステップとを備える。第１ステップにおいて、操作処理部１０３が、画面ＤＦ１の仮想入力デバイスの表示画像ＯＧ以外の表示画像Ｇ１と、画面ＤＦ１を含む複数の画面のうちの、画面ＤＦ１以外の画面ＤＦ２に表示されている表示画像Ｇ２と、仮想入力デバイスで入力可能な起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である表示画像Ｇ３とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像ＶＤＧを生成し、仮想画面画像ＶＤＧの指定範囲ＳＣを、画面ＤＦ１の仮想入力デバイスの表示画像ＯＧ以外の領域と、画面ＤＦ２とに分割して表示させる。第２ステップにおいて、操作処理部１０３が、タッチセンサ部３３によるスクロール操作（例えば、スワイプ操作）の検出に応じて、指定範囲ＳＣを移動して、仮想画面画像ＶＤＧをスクロールさせる。
これにより、本実施形態による制御方法は、上述したタブレット端末１と同様の効果を奏し、ユーザーエクスペリエンスを向上させることができる。

［第２の実施形態］
次に、図面を参照して、第２の実施形態によるタブレット端末１ａについて説明する。
本実施形態では、第１の実施形態の座標変換部３１２の処理を、メイン制御部１０が実行する変形例について説明する。

図９は、第２の実施形態による情報処理システム１００ａの機能構成の一例を示すブロック図である。
図９において、図３に示す構成と同一の構成に同一の符号を付与してその説明を省略する。

図９に示すように、情報処理システム１００ａは、タブレット端末１ａと、表示部１４－２と、ペン３０とを備える。また、タブレット端末１ａは、メイン制御部１０ａと、タッチスクリーン２０と、エンベデッドコントローラ３１と、記憶部４０ａとを備える。

なお、本実施形態において、情報処理システム１００ａ及びタブレット端末１ａの外観図は、図１に示す第１の実施形態と同様であり、タブレット端末１ａのハードウェア構成は、図２に示す第１の実施形態と同様であるため、ここではその説明を省略する。
また、図９において、情報処理システム１００ａの構成として、本実施形態の発明に関する主要な機能構成のみを記載している。

記憶部４０ａは、例えば、メインメモリ１２又はＳＳＤ２３により実現される記憶部であり、タブレット端末１ａが利用する各種情報を記憶する。記憶部４０ａは、第１の実施形態の記憶部４０と同様の情報を記憶するとともに、指定範囲情報記憶部４１を備える。

指定範囲情報記憶部４１は、例えば、メインメモリ１２又はＳＳＤ２３により実現される記憶部であり、上述した第１の実施形態の指定範囲情報記憶部３１１と同様の情報を記憶する。指定範囲情報記憶部４１は、指定範囲情報（例えば、指定範囲ＳＣの位置情報及びサイズ情報）を記憶する。

メイン制御部１０ａは、ＣＰＵ１１及びチップセット２１が、メインメモリ１２が記憶するプログラムを実行することで実現される機能部であり、ＯＳに基づく各種処理を実行する。メイン制御部１０ａは、上述した第１の実施形態のメイン制御部１０と同様の機能を有し、ＥＣドライバ１０１と、ＯＳＫ処理部１０２と、操作処理部１０３と、表示処理部１０４と、アプリケーション１０５と、座標変換部１０６とを備える。

座標変換部１０６は、ＣＰＵ１１及びチップセット２１が、メインメモリ１２が記憶するプログラムを実行することで実現される機能部である。座標変換部１０６は、上述した第１の実施形態の座標変換部３１２と同様の機能を有するため、ここではその説明を省略する。座標変換部１０６は、指定範囲情報記憶部４１が記憶する指定範囲情報（例えば、指定範囲ＳＣの位置情報及びサイズ情報）に基づいて、タッチセンサ部３３の検出座標を、指定範囲ＳＣに対応した座標に変換する。

なお、本実施形態では、操作処理部１０３は、座標変換部１０６が変換した座標に基づいて、仮想画面画像ＶＤＧをスクロールする処理、及びＯＳＫの入力位置の指定処理を実行する。
また、ＯＳＫ処理部１０２は、座標変換部１０６が変換した座標に基づいて、入力情報を、複数の画面（画面ＤＦ１及び画面ＤＦ２）のいずれか（ＯＳＫの入力位置に対応する画面）に表示させる。

以上説明したように、本実施形態によるタブレット端末１ａ（情報処理装置）は、ＯＳに基づく処理を実行するメイン制御部１０ａを備える。メイン制御部１０ａは、ＯＳＫ処理部１０２、操作処理部１０３、及び座標変換部１０６を備える。

これにより、本実施形態によるタブレット端末１ａは、第１の実施形態と同様に、座標変換部１０６を用いることで、表示部１４－１の画面ＤＦ１上で入力された入力情報を、仮想画面モード（第１モード）の表示に、矛盾なく適切に反映させることができる。

また、本実施形態によるタブレット端末１ａは、エンベデッドコントローラ３１に処理を依存せずに、ユーザーエクスペリエンスを向上させることができる。本実施形態によるタブレット端末１ａは、例えば、Ａｎｄｒｏｉｄ（登録商標）端末などのエンベデッドコントローラ３１を備えない構成に対応することができる。

［第３の実施形態］
次に、図面を参照して、第３の実施形態によるノートＰＣ１ｂについて説明する。
第３の実施形態では、情報処理装置が、タブレット端末１の代わりに、２画面を備えたノートＰＣ１ｂである場合の変形例について説明する。

図１０は、第３の実施形態によるノートＰＣ１ｂの一例を示す外観図である。
図１０に示すように、ノートＰＣ１ｂは、クラムシェル型のノートブック型ＰＣであり、表示部１４－１と、表示部１４－２ａとを備えている。

表示部１４－１は、ノートＰＣ１ｂのＣカバーに配置されており、表示部１４－１とタッチセンサ部３３とにより、タッチスクリーン２０を構成している。表示部１４－１は、画面ＤＦ１の一部により、ＯＳＫを実現している。

表示部１４－２ａは、ノートＰＣ１ｂのＣカバーに配置されており、ノートＰＣ１ｂのメイン画面を構成している。
なお、本実施形態によるノートＰＣ１ｂは、上述した情報処理システム１００の外付けモニタである表示部１４－２が、ノートＰＣ１ｂの内蔵の表示装置である表示部１４－２ａに変更になっており、その他の構成は、基本的に第１の実施形態と同様である。

また、図１１は、本実施形態によるノートＰＣ１ｂの主要なハードウェア構成の一例を示す図である。
図１１に示すように、ノートＰＣ１ｂは、ＣＰＵ１１と、メインメモリ１２と、ビデオサブシステム１３と、表示部１４－１と、表示部１４－２ａと、チップセット２１と、ＢＩＯＳメモリ２２と、ＳＳＤ２３と、ＵＳＢコネクタ２４と、オーディオシステム２５と、ＷＬＡＮカード２６と、ペン３０と、エンベデッドコントローラ３１と、入力部３２と、タッチセンサ部３３と、電源回路３４と、センサ部３５とを備える。

ノートＰＣ１ｂの主要なハードウェア構成は、表示部１４－２ａを備えている点を除いて、上述した第１の実施形態のタブレット端末１と同様であるため、ここではその説明を省略する。

また、図１２は、本実施形態によるノートＰＣ１ｂの機能構成の一例を示すブロック図である。
図１２に示すように、ノートＰＣ１ｂは、メイン制御部１０と、タッチスクリーン２０と、エンベデッドコントローラ３１と、記憶部４０と、表示部１４－２ａとを備える。
ノートＰＣ１ｂの機能構成は、表示部１４－２ａを備えている点を除いて、上述した第１の実施形態のタブレット端末１と同様であるため、ここではその説明を省略する。

以上説明したように、本実施形態によるノートＰＣ１ｂ（情報処理装置）は、ＯＳＫ処理部１０２（仮想入力処理部）と、操作処理部１０３と、表示部１４－２ａとを備える。
これにより、本実施形態によるノートＰＣ１ｂは、第１の実施形態のタブレット端末１と同様のＯＳＫ処理部１０２及び操作処理部１０３を備えるため、第１の実施形態のタブレット端末１と同様の効果を奏し、ユーザーエクスペリエンスを向上させることができる。

なお、ノートＰＣでは、Ｂカバーの部分であるメイン画面（画面ＤＦ２）は、立ち上がった状態で使用され、画面ＤＦ２が水平面でないため、入力位置の指定などが難い問題がある。これに対して、本実施形態によるノートＰＣ１ｂでは、水平面であるＣカバーの表示部１４－１の画面ＤＦ１上の操作で、入力位置の指定ができるため、利便性が高く、ユーザーエクスペリエンスを向上させることができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、情報処理装置がタブレット端末１（１ａ）又はノートＰＣ１ｂである例を説明したが、これに限定されるものではなく、例えば、デスクトップＰＣ、スマートフォンなどの他の情報処理装置であってもよい。

また、上記の各実施形態において、タブレット端末１（１ａ）及びノートＰＣ１ｂのＯＳが、Ｗｉｎｄｏｗｓ（登録商標）である例を説明したが、これに限定されるものではなく、Ａｎｄｒｏｉｄ（登録商標）などの他のＯＳを適用してもよい。

また、上記の各実施形態において、仮想入力デバイスが、ＯＳＫ（ソフトウェアキーボード）である例を説明したが、これに限定されるものではなく、ペン３０や指による手書き入力デバイスなどの他の仮想入力デバイスであってもよい。

また、上記の第３の実施形態において、ノートＰＣ１ｂが、表示部１４－１と表示部１４－２ａとの２画面を備える例を説明したが、これに限定されるものではない。本発明は、表示部１４－２ａの１画面を内蔵したノートＰＣに、外付けの液晶ペンタブレットなどを接続する構成に適用してもよい。

なお、上述したタブレット端末１（１ａ）及びノートＰＣ１ｂが備える各構成は、内部に、コンピュータシステムを有している。そして、上述したタブレット端末１（１ａ）及びノートＰＣ１ｂが備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したタブレット端末１（１ａ）及びノートＰＣ１ｂが備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。

また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にタブレット端末１（１ａ）及びノートＰＣ１ｂが備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

１、１ａ タブレット端末
１ｂ ノートＰＣ
１０、１０ａ メイン制御部
１１ ＣＰＵ
１２ メインメモリ
１３ ビデオサブシステム
１４－１、１４－２、１４－２ａ 表示部
２０ タッチスクリーン
２１ チップセット
２２ ＢＩＯＳメモリ
２３ ＳＳＤ
２４ ＵＳＢコネクタ
２５ オーディオシステム
２６ ＷＬＡＮカード
３０ ペン
３１ エンベデッドコントローラ
３２ 入力部
３３ タッチセンサ部
３４ 電源回路
３５ センサ部
４０ 記憶部
４１、３１１ 指定範囲情報記憶部
１０１ ＥＣドライバ
１０２ ＯＳＫ処理部
１０３ 操作処理部
１０４ 表示処理部
１０５ アプリケーション
１０６、３１２ 座標変換部
３３１ 接触検出部
３３２ ペン検出部
ＤＦ１、ＤＦ２、ＤＦ２－１、ＤＦ２－２ 画面
ＬＣ１ 共振回路

上記問題を解決するために、本発明の一態様は、表示部及びタッチセンサ部を有するタッチスクリーンの表示画面である第１画面の一部領域に仮想入力デバイスの表示画像を表示するとともに、前記仮想入力デバイスによる入力情報を取得する仮想入力処理部と、前記第１画面の前記仮想入力デバイスの表示画像以外の第１表示画像と、前記第１画面を含む複数の画面のうちの、前記第１画面以外の第２画面に表示されている第２表示画像と、前記仮想入力デバイスで入力可能な起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である第３表示画像とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像を生成し、前記仮想画面画像の指定範囲を、前記第１画面の前記仮想入力デバイスの表示画像以外の領域と、前記第２画面とに分割して表示させ、前記第１画面の前記仮想入力デバイスの表示画像以外の領域における前記タッチセンサ部のスワイプ操作によるスクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールさせる操作処理部とを備える情報処理装置である。

また、本発明の一態様は、表示部及びタッチセンサ部を有するタッチスクリーンの表示画面である第１画面の一部領域に仮想入力デバイスの表示画像を表示するとともに、前記仮想入力デバイスによる入力情報を取得する仮想入力処理部を備える情報処理装置の制御方法であって、操作処理部が、前記第１画面の前記仮想入力デバイスの表示画像以外の第１表示画像と、前記第１画面を含む複数の画面のうちの、前記第１画面以外の第２画面に表示されている第２表示画像と、前記仮想入力デバイスで入力可能な起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である第３表示画像とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像を生成し、前記仮想画面画像の指定範囲を、前記第１画面の前記仮想入力デバイスの表示画像以外の領域と、前記第２画面とに分割して表示させるステップと、前記操作処理部が、前記第１画面の前記仮想入力デバイスの表示画像以外の領域における前記タッチセンサ部のスワイプ操作によるスクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールさせるステップとを含む制御方法である。

Claims (8)

1. 表示部及びタッチセンサ部を有するタッチスクリーンの表示画面である第１画面に仮想入力デバイスの表示画像を表示するとともに、前記仮想入力デバイスによる入力情報を取得する仮想入力処理部と、
   前記第１画面の前記仮想入力デバイスの表示画像以外の第１表示画像と、前記第１画面を含む複数の画面のうちの、前記第１画面以外の第２画面に表示されている第２表示画像と、前記仮想入力デバイスで入力可能な起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である第３表示画像とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像を生成し、前記仮想画面画像の指定範囲を、前記第１画面の前記仮想入力デバイスの表示画像以外の領域と、前記第２画面とに分割して表示させ、前記タッチセンサ部によるスクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールさせる操作処理部と
   を備える情報処理装置。
2. 前記操作処理部は、
   前記仮想入力デバイスの表示画像が、前記第１画面に表示されている場合に、前記仮想画面画像を表示して、前記スクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールする第１モードに変更し、
   前記仮想入力デバイスの表示画像が、前記第１画面に表示されていない場合に、前記起動中のアプリケーションの表示画像を、前記複数の画面に分割して表示する第２モードに変更する
   請求項１に記載の情報処理装置。
3. 前記操作処理部は、前記第１モードにおいて、前記第１画面に操作媒体を押し当てた状態で指定する方向に移動させるスワイプ操作によって、前記指定範囲を移動する
   請求項２に記載の情報処理装置。
4. 前記操作処理部は、
   前記タッチセンサ部が、ペンの接近を検出した場合に、前記仮想画面画像を表示して、前記スクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールする第１モードに変更する
   請求項１に記載の情報処理装置。
5. 前記指定範囲の位置情報及びサイズ情報に基づいて、前記タッチセンサ部の検出座標を、前記指定範囲に対応した座標に変換する座標変換部を備え、
   前記操作処理部は、前記座標変換部が変換した座標に基づいて、前記仮想画面画像をスクロールする処理、及び前記仮想入力デバイスの入力位置の指定処理を実行し、
   前記仮想入力処理部は、前記座標変換部が変換した座標に基づいて、前記入力情報を、前記複数の画面のいずれかに表示させる
   請求項１に記載の情報処理装置。
6. ＯＳ（オペレーティングシステム）に基づく処理を実行するメイン制御部と、
   前記メイン制御部とは異なる独立した組込み制御部と
   を備え、
   前記メイン制御部は、前記仮想入力処理部及び前記操作処理部を備え、
   前記組込み制御部は、前記座標変換部を備える
   請求項５に記載の情報処理装置。
7. 前記仮想入力デバイスは、ソフトウェアキーボードである
   請求項１から請求項６のいずれか一項に記載の情報処理装置。
8. 表示部及びタッチセンサ部を有するタッチスクリーンの表示画面である第１画面に仮想入力デバイスの表示画像を表示するとともに、前記仮想入力デバイスによる入力情報を取得する仮想入力処理部を備える情報処理装置の制御方法であって、
   操作処理部が、前記第１画面の前記仮想入力デバイスの表示画像以外の第１表示画像と、前記第１画面を含む複数の画面のうちの、前記第１画面以外の第２画面に表示されている第２表示画像と、前記仮想入力デバイスで入力可能な起動中のアプリケーションの表示画像であって、画面に表示されていない部分の表示画像である第３表示画像とに基づいて、全範囲をスクロール表示可能な１つの表示画像である仮想画面画像を生成し、前記仮想画面画像の指定範囲を、前記第１画面の前記仮想入力デバイスの表示画像以外の領域と、前記第２画面とに分割して表示させるステップと、
   前記操作処理部が、前記タッチセンサ部によるスクロール操作の検出に応じて、前記指定範囲を移動して、前記仮想画面画像をスクロールさせるステップと
   を含む制御方法。

Images