JP2014241033A - 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム - Google Patents

入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム Download PDF

Info

Publication number
JP2014241033A
JP2014241033A JP2013122796A JP2013122796A JP2014241033A JP 2014241033 A JP2014241033 A JP 2014241033A JP 2013122796 A JP2013122796 A JP 2013122796A JP 2013122796 A JP2013122796 A JP 2013122796A JP 2014241033 A JP2014241033 A JP 2014241033A
Authority
JP
Japan
Prior art keywords
information
input
processing
application
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013122796A
Other languages
English (en)
Other versions
JP5736005B2 (ja
Inventor
祐司 土井
Yuji Doi
祐司 土井
夏樹 牛込
Natsuki Ushigome
夏樹 牛込
小林 豊
Yutaka Kobayashi
豊 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2013122796A priority Critical patent/JP5736005B2/ja
Priority to US14/264,542 priority patent/US20140362004A1/en
Publication of JP2014241033A publication Critical patent/JP2014241033A/ja
Application granted granted Critical
Publication of JP5736005B2 publication Critical patent/JP5736005B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/90Additional features
    • G08C2201/93Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)

Abstract

【課題】プレゼンテーションの品質を向上できる入力処理方法を提供する。【解決手段】情報処理装置との間において通信する入力処理装置であって、物体の近接及び接触を入力として検知する入力検知部と、検知された入力の座標に基づいて、入力されたイベントの種別を判別するイベント種別判別部と、情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するモード情報取得部と、判別されたイベントの種別の情報と取得された処理モードの情報とを含むデータを情報処理装置へ送信する送信部と、を備える。【選択図】図1

Description

本発明は、入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラムに関する。特に、物体の接近及び接触を入力として検知可能なタッチパネルを有する入力処理装置等に関する。
例えばPC(Personal Computer)及び指示具(例えばレーザーポインタ)を用いて、聴衆者に対してプレゼンテーションを実施することが一般的に行われている。プレゼンテーションを実施する場合には、例えば下記のプレゼンテーション用指示具を使用可能である(例えば、特許文献1参照)。
このプレゼンテーション指示具は、操作スイッチ部及びポインタスイッチを有し、操作スイッチ部には複数のボタンが配置されている。プレゼンテーション指示具は、操作されたボタンに応じてアプリケーションの機能に対応したコードを生成し、生成されたコードに応じて例えば電磁波を用いた搬送波を変調し、変調された搬送波を送信する。プレゼンテーション指示具から送信された搬送波を受信したパソコンは、搬送波に基づいてアプリケーションが有する機能を実行し、プロジェクタからスクリーンにアプリケーションに応じた画像を表示する。また、プレゼンテーション指示具は、ポインタスイッチが操作されると、画面指示方向側先端部から例えば赤外レーザの光線を発信し、スクリーンに拡大投影されたアプリケーションの画像を指し示す。
また、携帯端末をプロジェクタに接続してプレゼンテーションする場合に、タッチ操作位置を操作対象の表示内容に応じて投影表示するタッチパネル式電子機器が知られている(例えば、特許文献2参照)。
このタッチパネル式電子機器は、タッチパネル付きの表示部を有する電子機器において、タッチ位置検出手段、タッチ対象判断手段、タッチ位置合成手段、及び表示データ出力手段を備える。タッチ位置検出手段は、タッチパネルにタッチ操作された位置を検出する。タッチ対象判断手段は、タッチ位置検出手段によりタッチ操作の位置が検出された際に、タッチ操作の位置に対応する表示部に表示中の表示内容を判断する。タッチ位置合成手段は、タッチ位置検出手段により検出されたタッチ操作の位置を示す目印を、タッチ対象判断手段により判断された表示内容に応じた表示形態で、表示部に表示中の表示データに合成する。表示データ出力手段は、表示部に表示中の表示データをプロジェクタへ出力する。
特開2002−351609号公報 特開2013−073595号公報
しかし、特許文献1,2の技術では、プレゼンテーションに用いられる各装置の操作性が不十分であり、プレゼンテーションの品質が低下する可能性があった。
本発明は、上記事情に鑑みてなされたものであり、効果的かつ印象的なプレゼンテーションを行える入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラムを提供する。
本発明の入力処理装置は、情報処理装置との間において通信する入力処理装置であって、物体の近接及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するイベント種別判別部と、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するモード情報取得部と、前記イベント種別判別部により判別されたイベントの種別の情報と、前記モード情報取得部により取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信する送信部と、を備える。
また、本発明の情報処理装置は、入力処理装置との間において通信する情報処理装置であって、所定の機能を実現するアプリケーションを処理するアプリケーション処理部と、前記入力処理装置に入力されたイベントの種別の情報と、前記アプリケーション処理部により処理されるアプリケーションの処理モードの情報と、を含むデータを、前記入力処理装置から受信する受信部と、前記アプリケーション処理部により処理されたアプリケーションの画面を、表示装置を介して表示させる表示制御部と、を備え、前記アプリケーション処理部は、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードにおけるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する。
また、本発明の情報処理システムは、入力処理装置と情報処理装置とが通信する情報処理システムであって、前記入力処理装置は、物体の近接及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するイベント種別判別部と、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するモード情報取得部と、前記イベント種別判別部により判別されたイベントの種別の情報と、前記モード情報取得部により取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信する送信部と、を備え、前記情報処理装置は、所定の機能を実現するアプリケーションを処理するアプリケーション処理部と、前記入力処理装置からの前記データを受信する受信部と、前記アプリケーション処理部により処理されたアプリケーションの画面を、表示装置を介して表示させる表示制御部と、を備え、前記アプリケーション処理部は、前記イベントの種別の情報が前記入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が前記入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する。
また、本発明の入力処理方法は、情報処理装置との間において通信する入力処理装置における入力処理方法であって、物体の近接及び接触を入力として検知する入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するステップと、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するステップと、前記判別されたイベントの種別の情報と、前記取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信するステップと、を有する。
また、本発明の第1の情報処理方法は、入力処理装置との間において通信する情報処理装置における情報処理方法であって、所定の機能を実現するアプリケーションを処理するアプリケーション処理ステップと、前記入力処理装置に入力されたイベントの種別の情報と、前記処理されるアプリケーションの処理モードの情報と、を含むデータを、前記入力処理装置から受信するステップと、前記処理されたアプリケーションの画面を、表示装置を介して表示させるステップと、を有し、前記アプリケーション処理ステップでは、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する。
また、本発明の第2の情報処理方法は、入力処理装置と情報処理装置とが通信する情報処理システムにおける情報処理方法であって、前記入力処理装置において、物体の近接及び接触を入力として検知する入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するステップと、前記入力処理装置において、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するステップと、前記入力処理装置において、前記判別されたイベントの種別の情報と、前記取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信するステップと、前記情報処理装置において、所定の機能を実現するアプリケーションを処理するアプリケーション処理ステップと、前記情報処理装置において、前記入力処理装置からの前記データを受信するステップと、前記情報処理装置において、処理されたアプリケーションの画面を、表示装置を介して表示させるステップと、を有し、前記アプリケーション処理ステップでは、前記イベントの種別の情報が前記入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が前記入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する。
また、本発明の入力処理プログラムは、上記入力処理方法の各ステップをコンピュータに実行させるためのプログラムである。
また、本発明の第1の情報処理プログラムは、上記第1の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
また、本発明の第2の情報処理プログラムは、上記第2の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
本発明によれば、効果的かつ印象的なプレゼンテーションを行える。
実施形態におけるプレゼンテーション支援システムの構成例を示す模式図 実施形態における携帯端末の画面例を示す模式図 実施形態における携帯端末及びPCの構成例を示すブロック図 (A)〜(C)実施形態におけるプレゼンテーション支援システムによるポインタ機能を説明する模式図 (A)〜(C)実施形態におけるプレゼンテーション支援システムによるペン機能を説明する模式図 (A)〜(C)実施形態におけるプレゼンテーション支援システムによるページ操作機能を説明する模式図 実施形態における携帯端末の動作例を示すフローチャート 実施形態における携帯端末からPCへ通信されるメッセージのフォーマットの一例を示す模式図 実施形態におけるPCの動作例を示すフローチャート (A)〜(C)実施形態におけるペン機能を用いる場合の指等とタッチパネルとの距離に応じたホバーサインの表示形態の変更例を示す模式図
本発明の実施形態について、図面を参照しながら以下に説明する。
(本発明に係る一形態を得るに至った経緯)
特許文献1,2の技術では、プレゼンテーション用指示具又はタッチパネル式の携帯端末を用いて小型のアプリケーションの画面を操作する場合、ユーザは手元の指示具又は端末を確認して操作しないと、誤操作しやすい。一方、誤操作を回避するために、ユーザが手元と例えばプロジェクタにより投影された画面とを交互に確認することは、自然なプレゼンテーションの妨げとなる。この場合、プレゼンテーションの品質が低下することがある。
以下、効果的かつ印象的なプレゼンテーションを行える入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラムについて説明する。
(第1の実施形態)
図1は本発明の実施形態におけるプレゼンテーション支援システム1000の構成例を示す模式図である。プレゼンテーション支援システム1000は、携帯端末100、PC200、及びプロジェクタ300を備える。携帯端末100とPC200との間は、無線通信回線又は有線通信回線により接続される。
携帯端末100は、入力処理装置の一例である。PC200は、情報処理装置の一例である。プレゼンテーション支援システム1000は、情報処理システムの一例である。
携帯端末100は、例えばプレゼンテーションを実施するユーザ10により所持される。図2は携帯端末100の画面111の一例を示す模式図であり、プレゼンテーションでは、携帯端末100のUI部110に含まれる表示部により表示される画面111と、プロジェクタ300により投影された画面310とは略同期する。
ユーザ10が携帯端末100のUI部110に含まれるタッチパネルを用いて操作すると、携帯端末100は、ユーザ操作を検知し、例えばユーザの操作に伴うイベント種別(例えばタッチイベント又はホバーイベント)を含むデータを、PC200へ送信する。タッチイベントの情報は、接触検知情報の一例であり、ホバーイベントの情報は、近接検知情報の一例である。
PC200は、イベント種別の情報を含むデータを受信し、イベント種別に応じてアプリケーションを処理する。PC200によるアプリケーションの処理結果は、携帯端末100の画面111及びプロジェクタ300により投影された画面310に反映される。
図3は、携帯端末100及びPC200の構成例を示すブロック図である。
携帯端末100は、UI(User Interface)部110、処理部120、通信部130、及び記憶部140を備える。
なお、携帯端末100は、例えばスマートフォン、携帯電話端末、携帯型情報端末が想定される。また、携帯端末100の主要な制御系については、専用のハードウェアで構成しても、マイクロコンピュータを主体として構成してもよい。マイクロコンピュータを用いる場合、予め用意された制御プログラムを読み込んでマイクロコンピュータにより実行することにより、必要な機能を実現する。
UI部110は、ユーザインタフェースに係る構成部を主に含み、例えば、タッチパネル112、表示部113、マイク、スピーカを含む。UI部110は、例えば、二次元タッチパネルの場合にはユーザ10が手元を確認する必要がある程度に、小型に設計される。
表示部113は、例えば液晶表示パネルのように、様々な可視情報(例えば文字、図形、画像)を表示可能な表示画面を有する表示デバイスにより構成される。表示部113の画面111には、例えば、PC200により処理されるアプリケーションの画面が、プロジェクタ300により投影された画面310と略同期して表示される。表示部113の表示では、例えば、表示部113の画面サイズ、アスペクト比が考慮される。
タッチパネル112は、例えばユーザ10がタッチ可能な透明な操作面を有し、表示部113の画面111と重ねた状態で配置される。タッチパネル112は、例えば、操作面にユーザ10の指又はその他の物体(以下、指等という)がタッチした状態(タッチ状態)だけでなく、近接した状態(ホバー状態)でも指等の位置を検出できる。その他の物体は、例えば、ペン(スタイラスペン)を含む。タッチパネル112は、入力検知部の一例である。
また、UI部110は、タッチパネル112の状態の検出により、ユーザ10による操作状態の判別に利用可能な情報を出力する。すなわち、タッチパネル112の操作面に近接又は接触した指等の位置座標を表す情報を出力する。
この位置座標には、タッチパネル112の操作面に対して平行なX軸及びY軸の方向の位置と、X軸及びY軸と直交するZ軸方向の位置と、が含まれる。Z軸方向の位置は、操作面から指等の位置までの距離、又は操作面に対する指等の高さに相当する。
例えば、Z軸方向の位置の値は、タッチの状態で100%の値になり、指等が遠方にある状態で0%の値になり、指等が近接した状態では中間的な値(例えば50%)になることを想定する。UI部110が出力するZ軸方向の位置の値は、指等の位置(タッチパネル112からの距離)の変化に対して例えば線形に変化する。
UI部110は、例えば一定の時間間隔で、指等の位置を表す各軸(X,Y,Z)の座標値を、処理部120に出力する。指等の位置の座標値は、X軸方向の位置と、Y軸方向の位置と、Z軸方向の位置と、により表される。
処理部120は、携帯端末100の全体を統括し、例えば各種制御、判別、設定、処理を実行する。例えば、処理部120は、UI部110からの座標値の情報に基づいて、ユーザ10の指示により入力されたイベントの種別を判別する。イベントの種別には、例えば、ユーザ10によるホバー操作に伴うホバーイベント及びタッチ操作に伴うタッチイベントを含む。
処理部120は、例えば、指等が検知されたZ座標の大きさと閾値Thとの比較を行う。処理部120は、例えば、Z座標の大きさが第1の閾値Th11より大きい場合に近接及び接触を検知しない(イベント種別:None)。また、処理部120は、例えば、Z座標の大きさが第1の閾値Th11以下かつ第2の閾値Th12(例えばTh2=0)より大きい場合に、近接を検知する(イベント種別:Hover)。また、処理部120は、例えば、Z座標の大きさが第2の閾値Th12以下である場合に、接触を検知する(イベント種別:Touch)。なお、第1の閾値Th11は第2の閾値Th12よりも大きい。
言い換えると、処理部120は、例えば、タッチパネル112により検知された信号レベルが第1の閾値Th21より小さい場合に近接及び接触を検知しない(イベント種別:None)。また、処理部120は、例えば、検知された信号レベルが第1の閾値Th21以上かつ第2の閾値Th22より小さい場合に、近接を検知する(イベント種別:Hover)。また、処理部120は、例えば、検知された信号レベルが第2の閾値Th22以上である場合に、接触を検知する(イベント種別:Touch)。なお、第1の閾値Th21は第2の閾値Th22よりも小さい。
また、処理部120は、閾値Thの数を増やし、ホバーイベントを多段階に識別してもよい。これにより、より細やかに表示制御できる。
また、処理部120は、例えばタッチパネル112による入力又はその他の方法により、PC200により処理されるアプリケーションに対する処理モードを設定する。処理モードは、例えば、プレゼンテーションにおいて所定の位置を指し示すポインタモード(Pointer)、アプリケーションの画面111に対して、所定の情報(例えば線画、又は手書き文字)を書き込む書き込みモード(Pen)、を含む。また、処理モードは、例えば、プレゼンテーションにおいて表示中のページ(現在のページ)から表示中のページよりも後のページに遷移させるページ送りモード(Next)を含む。また、処理モードは、例えば、プレゼンテーションにおいて表示中のページ(現在のページ)から表示中のページよりも前のページに遷移させるページ戻しモード(Previous(Prev))、を含む。ページ送りモード及びページ戻しモードは、1つのページ操作モードとして設定されてもよい。
処理モードの設定情報は、例えば記憶部140に記憶される。処理部120は、所定のタイミングにおいて、処理モードの設定情報を記憶部140から読み出し、取得する。また、ページ操作モードに設定されている場合、処理部120は、タッチイベント又はホバーイベントが検知されたタッチパネル112上の領域に応じて、ページ送りモード又はページ戻しモードのいずれかであると判別してもよい。
通信部130は、PC200との間において、所定の通信方式に従って通信する。所定の通信方式は、例えば、無線LAN(Local Area Network)、赤外線通信、又はBluetooth(登録商標)を含む。
通信部130は、例えば、イベントの種別の情報と処理モードの情報とを含むデータを送信する。また、通信部130は、例えば、PC200からアプリケーションの画面の情報を受信する。アプリケーションの画面の情報は、UI部110の表示部113に送られる。これにより、携帯端末100の画面111とプロジェクタにより投影される画面310とが略同期でき、ユーザ10が手元の画面によってもアプリケーション画面を確認できる。
記憶部140は、各種情報を記憶する。記憶部140は、例えば、処理モードの設定情報を記憶する。
PC200は、UI部210、処理部220、通信部230、アプリケーション処理部240、及び記憶部250を備える。
PC200の主要な制御系については、専用のハードウェアで構成しても、マイクロコンピュータを主体として構成してもよい。マイクロコンピュータを用いる場合、予め用意された制御プログラムを読み込んでマイクロコンピュータにより実行することにより、必要な機能を実現する。また、PC200は、PC以外でもよく、例えば、スマートフォン、携帯型情報端末でもよい。
UI部210は、ユーザインタフェースに係る構成部を主に含み、例えば、タッチパネル、表示部211、マイク、スピーカを含む。
表示部211は、例えば液晶表示パネルのように、様々な可視情報(例えば文字、図形、画像)を表示可能な表示画面を有する表示デバイスにより構成される。表示部211の画面212には、例えば、アプリケーション処理部240により処理されるアプリケーションの画面が、プロジェクタ300により投影された画面310と略同期して表示される。
処理部220は、PC200の全体を統括し、例えば各種制御、判別、設定、処理を実行する。
通信部230は、携帯端末100との間において、所定の通信方式に従って通信する。所定の通信方式は、例えば、無線LAN、赤外線通信、又はBluetooth(登録商標)を含む。
通信部230は、例えば、携帯端末100により入力されたイベントの種別の情報とアプリケーションの処理モードの情報とを含むデータを受信する。通信部230は、例えば、アプリケーションの画面の情報を携帯端末100へ送信する。この送信により、携帯端末100の画面111とプロジェクタにより投影される画面310とが略同期でき、ユーザ10が手元の画面によってもアプリケーション画面を確認できる。
アプリケーション処理部240は、所定の機能を実現する各種アプリケーションを処理する。具体的なアプリケーションとしては、例えば、プレゼンテーションを実施するためのアプリケーション、地図アプリケーション、コンテンツ(例えば静止画又は動画のコンテンツ)を再生するプレーヤ、ブラウザ、が想定される。なお、アプリケーションを略して「アプリ」とも言う。
アプリケーション処理部240は、例えば、アプリケーションの画面を、通信部230、プロジェクタ300を介して投影させ、表示させる。アプリケーション処理部240は、表示制御部の一例である。
また、アプリケーション処理部240は、例えば、通信部230により受信されたデータに含まれるイベント種別の情報及び処理モードの情報の少なくとも一方に基づいて、記憶部250に記憶された情報を付加してアプリケーションの画面を生成する。また、アプリケーション処理部240は、例えば、記憶部250に記憶された情報(例えばマーク)を、Z座標の大きさに応じて加工する。
記憶部250は、各種情報を記憶する。記憶部250は、例えば、ポインタモードにおいて表示されるマーク(例えば図4のホバーマークH1,タッチマークT1)、書き込みモードにおいて表示されるマーク(図5のペンマークH2参照)、の情報を記憶する。また、記憶部250は、ページ送りモード又はページ戻しモードにおいて表示されるマーク(例えば図6のNextマークH3)を記憶する。
また、各モードにおいてタッチイベントかホバーイベントかに応じて異なる表示情報を表示する場合、記憶部250は、各イベントに対応する双方の表示情報を記憶してもよいし、一方の表示情報に対して処理部120が加工した加工情報を記憶してもよい。
プロジェクタ300は、有線回線又は無線回線によりPC200からアプリケーションの画面の情報を取得し、例えば壁面にアプリケーションの画面310を投影する。また、プロジェクタ300の代わりに、例えば、大型のディスプレイを有する表示装置を用いてもよい。
次に、プレゼンテーション支援システム1000が提供するプレゼンテーション支援機能について説明する。プレゼンテーション支援システム1000は、携帯端末100によりタッチイベント及びホバーイベントを検知することにより、様々なプレゼンテーション支援機能を提供する。
プレゼンテーション支援機能は、例えば、ページ操作機能、ポインタ機能、及びペン機能を含む。
図4(A)〜(C)は、プレゼンテーション支援システム1000によるポインタ機能を説明する模式図である。図4(A)では、プレゼンテーションにおいてポインタ機能を用いる場合に携帯端末100に表示される画面111Aが例示されている。画面111Aに配置されたタッチパネル112に対して、指等によるタッチ操作又はホバー操作が行われる。ここでは、ポインタ機能を使用するので、記憶部140には処理モードとしてポインタモードが設定された旨が保持されている。
図4(B)は、携帯端末100においてホバー操作された場合のプロジェクタ300により投影された画面310A1の表示例を示す模式図である。携帯端末100は、タッチパネル112に対してホバー操作されると、ホバー操作された位置(XY座標の位置又はXYZ座標の位置)に応じてホバーイベントを検知する。携帯端末100は、イベント種別が「Hover」であり、処理モードが「Pointer」である旨の情報を含むデータを、PC200へ送信する。
なお、ポインタモードにおいてホバーイベントが検知される位置は、ページ送り又はページ戻しを行うためのタッチパネル112上の所定領域(例えば図6における領域D1,D2)外の位置である。
PC200は、携帯端末100からのデータを受信すると、記憶部250を参照し、画面111Aにおけるホバーイベントが検知された位置に、ホバーマークH1を付加する。PC200は、ホバーマークH1が付加されたアプリケーションの画面の情報を、プロジェクタ300及び携帯端末100へ送信する。プロジェクタ300は、PC200からのアプリケーションの画面310A1を投影する。
ホバーマークH1は、ポインタモードにおいて、ホバーイベントが検知された旨を示す情報の一例であり、ユーザ10の指等がホバー状態から更にタッチパネル112に接近した場合にタッチする予定の位置を予め示している。また、ホバーマークH1は、ホバーサインの一例である。ホバーサインは、所定の処理モードにおけるアプリケーションに対する処理を示唆する情報である。
なお、PC200は、ホバーイベントにおいて検知されたZ座標の大きさに応じて、段階的にホバーマークH1の大きさを変更してもよい。例えば、ホバーが検知される範囲においてZ座標が大きい程大きな円により示し、Z座標が小さくなるにつれて円が小さくなるように、ホバーマークH1の表示形態を変更してもよい。更にZ座標が小さくなりタッチが検知された場合には、所定の位置(例えば検知されたXY座標の位置)に収束されるように、ホバーマークH1の表示形態を変更してもよい。
例えば、記憶部250から読み出したホバーマークH1又はタッチマークT1のサイズ(元のサイズ)に、Z座標の大きさに対応する定数を乗算することで、付加されるホバーマークH1のサイズを決定してもよい。
また、ホバーマークH1の大きさの代わりに、ホバーマークH1の表示色の濃淡によりZ座標の大きさを示唆してもよい。また、その他の表示形態(例えば線の太さ、透明度)を変更してもよい。
例えば、処理部220が、記憶部250に記憶されたホバーマークH1又はタッチマークT1を取得し、予め設定された表示形態の変更方法に応じて、ホバーマークH1又はタッチマークT1を加工する。
図4(C)は、携帯端末100においてタッチ操作された場合のプロジェクタ300により投影された画面310A2の表示例を示す模式図である。携帯端末100は、タッチパネル112に対してタッチ操作されると、タッチ操作された位置(XY座標の位置)に応じてタッチイベントを検知する。携帯端末100は、イベント種別が「Touch」であり、処理モードが「Pointer」である旨の情報を含むデータを、PC200へ送信する。
なお、ポインタモードにおいてタッチイベントが検知される位置は、ページ送り又はページ戻しを行うためのタッチパネル112上の所定領域(例えば図6における領域D1,D2)外の位置である。
PC200は、携帯端末100からのデータを受信すると、記憶部250を参照し、画面111Aにおけるタッチイベントが検知された位置に、タッチマークT1を付加する。PC200は、タッチマークT1が付加されたアプリケーションの画面の情報を、プロジェクタ300及び携帯端末100へ送信する。プロジェクタ300は、PC200からのアプリケーションの画面310A2を投影する。
タッチマークT1は、ポインタモードにおいて、タッチイベントが検知された旨を示す情報の一例であり、例えばレーザーポインタによりポインティングされた場合と同様に表示する。また、タッチマークT1は、タッチサインの一例である。タッチサインは、所定の処理モードに応じたアプリケーションの処理結果の一例である。
ポインタ機能によれば、ユーザ10の操作に応じて、プロジェクタ300により投影される画面310において、ホバーイベントの検知に応じて補助的に表示されるホバーマークH1を確認できる。従って、ユーザ10は、手元の携帯端末100の画面111Aを確認することなく、誤操作を抑制して、アプリケーションの画面における所望の位置を指し示すことができる。
図5(A)〜(C)は、プレゼンテーション支援システム1000によるペン機能を説明する模式図である。図5(A)では、プレゼンテーションにおいてペン機能を用いる場合に携帯端末100に表示される画面111Bが例示されている。画面111Bに配置されたタッチパネル112に対して、指等によるタッチ操作又はホバー操作が行われる。ここでは、ペン機能を使用するので、記憶部140には処理モードとして書き込みモードが設定された旨が保持されている。
図5(B)では、携帯端末100においてホバー操作された場合のプロジェクタ300により投影された画面310B1の表示例を示す模式図である。携帯端末100は、タッチパネル112に対してホバー操作されると、ホバー操作された位置(XY座標の位置又はXYZ座標の位置)に応じてホバーイベントを検知する。携帯端末100は、イベント種別が「Hover」であり、処理モードが「Pen」である旨の情報を含むデータを、PC200へ送信する。
なお、書き込みモードにおいてホバーイベントが検知される位置は、ページ送り又はページ戻しを行うためのタッチパネル112上の所定領域(例えば図6における領域D1,D2)外の位置である。
PC200は、携帯端末100からのデータを受信すると、記憶部250を参照し、画面111Bにおけるホバーイベントが検知された位置に、ペンマークH2を付加する。PC200は、ペンマークH2が付加されたアプリケーションの画面の情報を、プロジェクタ300及び携帯端末100へ送信する。プロジェクタ300は、PC200からのアプリケーションの画面310B1を投影する。
ペンマークH2は、書き込みモードにおいて、ホバーイベントが検知された旨を示す情報の一例であり、ユーザ10の指等がホバー状態から更にタッチパネル112に接近した場合にタッチする予定の位置を予め示している。また、ペンマークH2は、ホバーサインの一例である。
なお、PC200は、ホバーイベントにおいて検知されたZ座標の大きさに応じて、段階的にペンマークH2の大きさを変更してもよい。例えば、ホバーが検知される範囲においてZ座標が大きい程大きなペンマークH2により示し、Z座標が小さくなるにつれてペンマークH2が小さくなるように、ペンマークH2の表示形態を変更してもよい。
例えば、PC200は、記憶部250から読み出したペンマークH2のサイズ(元のサイズ)に、Z座標の大きさに対応する定数を乗算することで、付加されるペンマークH2のサイズを決定してもよい。
また、ペンマークH2の大きさの代わりに、ペンマークH2の表示色の濃淡によりZ座標の大きさを示唆してもよい。また、その他の表示形態(例えば線の太さ、透明度)を変更してもよい。
例えば、処理部220が、記憶部250に記憶されたペンマークH2を取得し、予め設定された表示形態の変更方法に応じて、ペンマークH2を加工する。
また、ペンマーク以外により、ペン機能を用いたホバー状態であることを示してもよい。例えば、処理部220は、携帯端末100へ入力操作を行う入力手段に応じて、表示されるマークを変更してもよい。例えば、処理部220は、入力手段として指が近接した場合には指マークを表示し、入力手段としてペンが近接した場合にはペンマークを表示してもよい。
図5(C)は、携帯端末100においてタッチ操作された場合のプロジェクタ300により投影された画面310B2の表示例を示す模式図である。携帯端末100は、タッチパネル112に対してタッチ操作されると、タッチ操作が検知された位置(XY座標の位置)に応じてタッチイベントを検知する。携帯端末100は、イベント種別が「Touch」であり、処理モードが「Pen」である旨の情報を含むデータを、PC200へ送信する。
なお、書き込みモードにおいてタッチイベントが検知される位置は、ページ送り又はページ戻しを行うためのタッチパネル112上の所定領域(例えば図6における領域D1、D2)外の位置である。
PC200は、携帯端末100からのデータを受信すると、画面111Bにおけるタッチイベントが検知された位置に沿って、ペン機能を用いて書き込まれた線部T2を付加する。PC200は、線部T2が付加されたアプリケーションの画像の情報を、プロジェクタ300及び携帯端末100へ送信する。従って、タッチイベントが検知された位置を起点として、書き込みが可能である。プロジェクタ300は、PC200からのアプリケーションの画面310B2を投影する。
線部T2は、書き込みモードにおいて、タッチイベントが検知された旨を示す情報の一例であり、本来のペン機能により書き込まれた情報の軌跡を示す。また、線部T2は、タッチサインの一例である。
ペン機能によれば、ユーザ10の操作に応じて、プロジェクタ300により投影される画面310において、ホバーイベントの検知に応じて補助的に表示されるペンマークH2を確認できる。従って、ユーザ10は、手元の携帯端末100の画面111Bを確認することなく、誤操作を抑制して、アプリケーションの画面における所望の位置に書き込みできる。
図6(A)〜(C)は、プレゼンテーション支援システム1000によるページ操作機能を説明する模式図である。図6(A)では、プレゼンテーションにおいてページ操作機能を用いる場合に携帯端末100に表示される画面111Cが例示されている。画面111Cに配置されたタッチパネル112に対して、指等によるタッチ操作又はホバー操作が行われる。ここでは、ページ変更機能を使用するので、記憶部140には処理モードとして、ページ送りモード、ページ戻しモード、又はページ操作モードが設定された旨が保持されている。ここでは、ページを次ページに変更(ページ送り)することを想定する。
図6(B)では、携帯端末100においてホバー操作された場合のプロジェクタ300により投影された画面310C1の表示例を示す模式図である。携帯端末100は、タッチパネル112の所定領域においてホバー操作されると、ホバー操作された位置(XY座標の位置又はXYZ座標の位置)に応じてホバーイベントを検知する。携帯端末100は、イベント種別が「Hover」であり、処理モードが「Next」又は「Prev」である旨の情報を含むデータを、PC200へ送信する。なお、所定領域は、例えば、ページ送りするためのタッチを検知する領域D1、又はページ戻しするためのタッチを検知する領域D2を含む。
PC200は、携帯端末100からのデータを受信すると、記憶部250を参照し、画面111Cにおける所定領域に対応する領域に、ページ変更を予告するためのページ変更予告情報(例えばNextマークH3)を付加する。PC200は、ページ変更予告情報が付加されたアプリケーションの画面の情報を、プロジェクタ300及び携帯端末100に送信する。プロジェクタ300は、PC200からのアプリケーションの画面310C1を投影する。
NextマークH3は、所定領域に対してタッチ操作された場合の携帯端末100のページ変更動作を予告する情報の一例である。また、NextマークH3は、ホバーサインの一例である。
図6(B)では、PC200は、領域D1におけるホバーイベントを検知し、ページ変更予告情報として、NextマークH3を領域D1に対応する領域D3に表示させる。また、PC200は、領域D2におけるホバーイベントを検知した場合、ページ変更予告情報として、Prevマーク(不図示)を領域D2に対応する領域D4に表示させる。
図6(C)は、携帯端末100においてタッチ操作された場合のプロジェクタ300により投影された画面310C2の表示例を示す模式図である。携帯端末100は、タッチパネル112の所定領域に対してタッチ操作されると、タッチ操作された位置(XY座標の位置)に応じてタッチイベントを検知する。携帯端末100は、イベント種別が「Touch」であり、処理モードが「Next」又は「Prev」である旨の情報を含むデータを、PC200へ送信する。なお、所定領域は、例えば、領域D1又は領域D2を含む。
PC200は、携帯端末100からのデータを受信すると、処理モードに応じてページを変更する。例えば、PC200は、処理モードが「Next」の場合には、現在のページよりも後のページP1(例えば次ページ)に遷移させる。また、PC200は、処理モードが「Prev」の場合には、現在のページよりも前のページ(例えば直前ページ)に遷移させる。PC200は、ページが変更されたアプリケーションの画面の情報を、プロジェクタ300及び携帯端末100へ送信する。プロジェクタ300は、PC200からのアプリケーションの画面310C2を投影する。
ページ操作機能によれば、ユーザ10の操作に応じて、プロジェクタ300により投影される画面310において、ホバーイベントの検知に応じて補助的に表示されるページ変更予告情報(例えばNextマークH3)を確認できる。従って、ユーザ10は、手元の携帯端末100の画面111Cを確認することなく、誤操作を抑制して、アプリケーションの画面を他のページに遷移させることができる。
なお、図4(A)〜(C)〜図6(A)〜(C)では、ページ操作機能とポインタ機能又はペン機能とは、組み合わせて設定されても単独で設定されてもよい。
次に、プレゼンテーション支援システム1000の動作例について説明する。
図7は、携帯端末100の動作例を示すフローチャートである。
まず、UI部110は、携帯端末100のタッチパネル112に対するホバー操作又はタッチ操作を受け付ける。処理部120は、ホバー操作又はタッチ操作により入力された座標に基づいて、ホバーイベント又はタッチイベントを検知する(S101,S102)。
続いて、処理部120は、検知されたイベントのイベント種別の情報を取得する(S103)。イベント種別の情報は、例えば、タッチイベントが検知された「Touch」、ホバーイベントが検知された「Hover」、又は、タッチイベント及びホバーイベントのいずれも検知されなかった「None」、の情報を含む。
続いて、処理部120は、携帯端末100に設定されたアプリケーションに対する処理モードの情報を取得する(S104)。処理モードの情報は、例えば、「Pointer」、「Pen」、「Next」、又は「Prev」の情報を含み、所定のタイミングにおいて記憶部140に保持されている。
例えば、処理部120は、ポインタ機能が設定されている場合には、「Pointer」の情報を取得する。また、処理部120は、ペン機能が設定されている場合には、「Pen」の情報を取得する。また、処理部120は、ページ操作機能が設定されている場合には、「Next」又は「Prev」の少なくとも一方の情報を取得する。また、処理部120は、ページ操作機能が設定されている場合には、タッチイベント又はホバーイベントが検知されたタッチパネル112上の領域に応じて、「Next」又は「Prev」のいずれか一方の情報を取得してもよい。
続いて、通信部130は、イベント種別の情報及び設定された処理モードの情報を含むメッセージM1を、PC200へ送信する(S105)。メッセージM1は、携帯端末100からPC200へ通信されるデータの一例である。
図8はメッセージM1のフォーマットの一例を示す模式図である。メッセージM1は、携帯端末100による送信時刻としての送出時間、イベント種別、タッチパネル112により入力検知された座標(例えばX,Y,Z)、及び処理モードの情報を含む。メッセージM1は、上記情報以外の付加情報を含んでもよい。なお、PC200により処理されるアプリケーションにおいて使用されるメッセージは、メッセージM1以外の形式も想定される。なお、座標の情報は、メッセージM1に含めなくてもよい。
携帯端末100の動作例によれば、ユーザ10は、携帯端末100を用いてアプリケーションの画面を操作する場合でも、例えばプロジェクタ300により投影されたアプリケーションの画面においてユーザ操作を補助する表示を確認でき、誤操作を抑制できる。また、ユーザ10が手元の携帯端末100の画面と例えばプロジェクタ300により投影された画面とを交互に確認する必要がなく、自然なプレゼンテーションを実施できる。従って、効果的かつ印象的なプレゼンテーションを行える。
図9はPC200の動作例を示すフローチャートである。
まず、通信部230は、携帯端末100からのメッセージM1を受信する(S201)。
続いて、処理部220は、受信されたメッセージに含まれるイベント種別の情報を参照し、携帯端末100において発生したイベントの種別を判定する(S202)。
イベント種別が「Touch」である場合、処理部220は、メッセージM1に含まれる処理モードの情報を参照し、携帯端末100の処理モードを判定する(S203)。
処理モードが「Next」である場合、アプリケーション処理部240は、現在のページから例えば直後のページに遷移させる(S204)。また、処理モードが「Prev」である場合、アプリケーション処理部240は、現在のページから例えば直前のページに遷移させる(S204)。
なお、S204では、直後又は直前のページに遷移させることを例示したが、アプリケーション処理部240は、現在のページから予め指定されたページ分だけ後又は前のページに遷移させてもよい。
処理モードが「Pointer」である場合、アプリケーション処理部240は、現在のページにおいてポインタを表示させる(S205)。ポインタの表示では、アプリケーション処理部240は、例えば、図4に示したタッチマークT1を、メッセージM1に含まれる座標(X,Y)の情報が示す領域に表示させる。
処理モードが「Pen」である場合、アプリケーション処理部240は、現在のページにおいてペン機能による書き込みを行う(S206)。ペン機能による書き込みでは、アプリケーション処理部240は、例えば、図5に示した線部T2を、メッセージM1に含まれる座標(X,Y)の情報が示す領域に表示させる。
S202において判別されたイベント種別が「Hover」である場合、処理部220は、メッセージM1に含まれる処理モードの情報を参照し、携帯端末100の処理モードを判定する(S207)。
処理モードが「Next」である場合、アプリケーション処理部240は、ホバーサインとして、現在のページから例えば直後のページに遷移させることを示唆する情報を表示させる(S208)。このホバーサインの表示では、アプリケーション処理部240は、例えば、図6に示したNextマークH3を、所定領域(例えば領域D3)に表示させる。
また、処理モードが「Prev」である場合、アプリケーション処理部240は、ホバーサインとして、現在のページから例えば直前のページに遷移させることを示唆する情報を表示させる(S208)。このホバーサインの表示では、アプリケーション処理部240は、例えばPrevマークを所定領域(例えば領域D4)に表示させる。
処理モードが「Pointer」である場合、アプリケーション処理部240は、ホバーサインとして、現在のページにおいてポインタの位置を示唆する情報を表示させる(S209)。このホバーサインの表示では、アプリケーション処理部240は、例えば、図4に示したホバーマークH1を、メッセージM1に含まれる座標の情報が示す領域に表示させる。
処理モードが「Pen」である場合、アプリケーション処理部240は、ホバーサインとして、現在のページにおいてペン機能による書き込み位置を示唆する情報を表示させる(S206)。このホバーサインの表示では、アプリケーション処理部240は、例えば、図5に示したペンマークH2を、メッセージM1に含まれる座標の情報が示す領域に表示させる。
PC200の動作例によれば、ユーザ10は、携帯端末100を用いてアプリケーションの画面を操作する場合でも、例えばプロジェクタ300により投影されたアプリケーションの画面にユーザ操作を補助する情報(ホバーサイン)を表示させることができる。従って、ユーザ10は、例えばプロジェクタ300により投影されたアプリケーションの画面により操作内容を予め確認でき、手元の携帯端末100の画面を確認しなくても誤操作を抑制できる。また、ユーザ10が手元の携帯端末100の画面と例えばプロジェクタ300により投影された画面とを交互に確認する必要がなく、自然なプレゼンテーションを実施できる。従って、効果的かつ印象的なプレゼンテーションを行える。
次に、ホバーサインの表示形態の変更例について説明する。
図10(A)〜(C)は、ペンマークH2の表示形態の変更例を示す模式図である。ペンマークH2の表示形態は、例えばZ座標の大きさに応じて変更される。他のマーク(例えばホバーマークH1,NextマークH3)の大きさを変更する場合も、同様に変更する。後述するペンマークH21〜H23は、ペンマークH2の一例である。
図10(A)では、タッチパネル112が指等の近接を検知すると、アプリケーション処理部240は、アプリケーションの画面310B1に、指等の位置を基準(例えば中心)とするペンマークH2を表示させる。指等がタッチパネル112から比較的離れている場合には、アプリケーション処理部240は、ペンマークH21のサイズを大きく表示させる。図10(A)に示すように、ペンマークH21が画面をはみ出してもよい。
図10(B)では、図10(A)の状態から指等をタッチパネル112に近づけると、アプリケーション処理部240は、指等の位置を基準に、ペンマークH22をペンマークH21よりも小さく表示させる。
さらに、指等をタッチパネル112に接近させると、図10(C)では、アプリケーション処理部240は、ペンマークH23をペンマークH22よりも小さく表示させる。これにより、指等がタッチしようとする位置を高精度に認識できる。
ペンマークH2は、例えば、Z座標に基づいてサイズが小さくなる際、ペンマークH2の周縁に当たる複数の方向から、略同一の速度で接近するように変形する動的な画像である。これにより、ペンマークH2は、サイズが小さくなる際、形状を崩さないで済む。
このように、指等とタッチパネル112との間の距離が短くなるにつれて、ペンマークH2が徐々に小さくなるので、ユーザ10はタッチしようとする位置を容易に視認できる。また、ペンマークH2のサイズによって、指等がどの程度タッチパネル112から離れているかを認識できる。
一方、アプリケーションの画面には、タッチパネル112に指等がタッチされた状態ではペンマークH2は存在しない。指等がタッチパネル112から少し離れると、アプリケーション処理部240は、タッチしていた指等の位置を基準に、ペンマークH2を表示させてもよい。
なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
例えば、上記実施形態では、ホバーサインが付加されたアプリケーションの画面の情報を、プロジェクタ300のみに送信し、携帯端末100へ送信しなくてもよい。
(本発明の一形態の概要)
本発明の一形態の入力処理装置は、情報処理装置との間において通信する入力処理装置であって、物体の近接及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するイベント種別判別部と、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するモード情報取得部と、前記イベント種別判別部により判別されたイベントの種別の情報と、前記モード情報取得部により取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信する送信部と、を備える。
また、本発明の一形態の入力処理装置は、前記イベントの種別の情報が、前記入力検知部により近接が検知された旨を示す近接検知情報、及び前記入力検知部により接触が検知された旨を示す接触検知情報を含む。
また、本発明の一形態の入力処理装置は、前記処理モードの情報が、前記アプリケーションの画面における所定の位置を指示するポインタモード、前記アプリケーションの画面に対して書き込みする書き込みモード、後のページに遷移させるページ送りモード、又は、前のページに遷移させるページ戻しモードを含む。
また、本発明の一形態の入力処理装置は、前記情報処理装置により処理されるアプリケーションの画面の情報を受信する受信部と、前記受信部により受信されたアプリケーションの画面を表示する表示部と、を備える。
また、本発明の一態様の情報処理装置は、入力処理装置との間において通信する情報処理装置であって、所定の機能を実現するアプリケーションを処理するアプリケーション処理部と、前記入力処理装置に入力されたイベントの種別の情報と、前記アプリケーション処理部により処理されるアプリケーションの処理モードの情報と、を含むデータを、前記入力処理装置から受信する受信部と、前記アプリケーション処理部により処理されたアプリケーションの画面を、表示装置を介して表示させる表示制御部と、を備え、前記アプリケーション処理部は、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードにおけるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する。
また、本発明の一態様の情報処理装置は、前記処理モードの情報が、前記アプリケーションの画面における所定の位置を指示するポインタモード、前記アプリケーションの画面に対して書き込みする書き込みモード、後のページに遷移させるページ送りモード、又は、前のページに遷移させるページ戻しモードを含む。
また、本発明の一態様の情報処理装置は、前記アプリケーション処理部により処理されたアプリケーションの画面の情報を、前記携帯端末へ送信する送信部を備える。
また、本発明の一態様の情報処理システムは、入力処理装置と情報処理装置とが通信する情報処理システムであって、前記入力処理装置は、物体の近接及び接触を入力として検知する入力検知部と、前記入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するイベント種別判別部と、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するモード情報取得部と、前記イベント種別判別部により判別されたイベントの種別の情報と、前記モード情報取得部により取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信する送信部と、を備え、前記情報処理装置は、所定の機能を実現するアプリケーションを処理するアプリケーション処理部と、前記入力処理装置からの前記データを受信する受信部と、前記アプリケーション処理部により処理されたアプリケーションの画面を、表示装置を介して表示させる表示制御部と、を備え、前記アプリケーション処理部は、前記イベントの種別の情報が前記入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が前記入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する。
また、本発明の一態様の入力処理方法は、情報処理装置との間において通信する入力処理装置における入力処理方法であって、物体の近接及び接触を入力として検知する入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するステップと、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するステップと、前記判別されたイベントの種別の情報と、前記取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信するステップと、を有する。
また、本発明の一態様の第1の情報処理方法は、入力処理装置との間において通信する情報処理装置における情報処理方法であって、所定の機能を実現するアプリケーションを処理するアプリケーション処理ステップと、前記入力処理装置に入力されたイベントの種別の情報と、前記処理されるアプリケーションの処理モードの情報と、を含むデータを、前記入力処理装置から受信するステップと、前記処理されたアプリケーションの画面を、表示装置を介して表示させるステップと、を有し、前記アプリケーション処理ステップでは、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する。
また、本発明の一態様の第2の情報処理方法は、入力処理装置と情報処理装置とが通信する情報処理システムにおける情報処理方法であって、前記入力処理装置において、物体の近接及び接触を入力として検知する入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するステップと、前記入力処理装置において、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するステップと、前記入力処理装置において、前記判別されたイベントの種別の情報と、前記取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信するステップと、前記情報処理装置において、所定の機能を実現するアプリケーションを処理するアプリケーション処理ステップと、前記情報処理装置において、前記入力処理装置からの前記データを受信するステップと、前記情報処理装置において、処理されたアプリケーションの画面を、表示装置を介して表示させるステップと、を有し、前記アプリケーション処理ステップでは、前記イベントの種別の情報が前記入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が前記入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する。
また、本発明の一態様の情報処理プログラムは、入力処理方法の各ステップをコンピュータに実行させるためのプログラムである。
また、本発明の一態様の第1の情報処理プログラムは、第1の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
また、本発明の一態様の第2の情報処理プログラムは、第2の情報処理方法の各ステップをコンピュータに実行させるためのプログラムである。
10 ユーザ
100 携帯端末
110 UI部
111,111A,111B,111C 画面
112 タッチパネル
113 表示部
120 処理部
130 通信部
140 記憶部
200 PC
210 UI部
211 表示部
212 画面
220 処理部
230 通信部
240 アプリケーション処理部
250 記憶部
300 プロジェクタ
310,310A1,310A2,310B1,310B2,310C1,310C2 画面
1000 プレゼンテーション支援システム
D1〜D4 領域
H1 ホバーマーク
H2 ペンマーク
H3 Nextマーク
T1 タッチマーク
T2 線部

Claims (14)

  1. 情報処理装置との間において通信する入力処理装置であって、
    物体の近接及び接触を入力として検知する入力検知部と、
    前記入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するイベント種別判別部と、
    前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するモード情報取得部と、
    前記イベント種別判別部により判別されたイベントの種別の情報と、前記モード情報取得部により取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信する送信部と、
    を備える入力処理装置。
  2. 請求項1に記載の入力処理装置であって、
    前記イベントの種別の情報は、前記入力検知部により近接が検知された旨を示す近接検知情報、及び前記入力検知部により接触が検知された旨を示す接触検知情報を含む入力処理装置。
  3. 請求項2に記載の入力処理装置であって、
    前記処理モードの情報は、前記アプリケーションの画面における所定の位置を指示するポインタモード、前記アプリケーションの画面に対して書き込みする書き込みモード、後のページに遷移させるページ送りモード、又は、前のページに遷移させるページ戻しモードを含む入力処理装置。
  4. 請求項1乃至3のいずれか1項に記載の入力処理装置であって、更に、
    前記情報処理装置により処理されるアプリケーションの画面の情報を受信する受信部と、
    前記受信部により受信されたアプリケーションの画面を表示する表示部と、
    を備える入力処理装置。
  5. 入力処理装置との間において通信する情報処理装置であって、
    所定の機能を実現するアプリケーションを処理するアプリケーション処理部と、
    前記入力処理装置に入力されたイベントの種別の情報と、前記アプリケーション処理部により処理されるアプリケーションの処理モードの情報と、を含むデータを、前記入力処理装置から受信する受信部と、
    前記アプリケーション処理部により処理されたアプリケーションの画面を、表示装置を介して表示させる表示制御部と、
    を備え、
    前記アプリケーション処理部は、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードにおけるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する情報処理装置。
  6. 請求項5に記載の情報処理装置であって、
    前記処理モードの情報は、前記アプリケーションの画面における所定の位置を指示するポインタモード、前記アプリケーションの画面に対して書き込みする書き込みモード、後のページに遷移させるページ送りモード、又は、前のページに遷移させるページ戻しモードを含む情報処理装置。
  7. 請求項5または6に記載の情報処理装置であって、更に、
    前記アプリケーション処理部により処理されたアプリケーションの画面の情報を、前記入力処理装置へ送信する送信部を備える情報処理装置。
  8. 入力処理装置と情報処理装置とが通信する情報処理システムであって、
    前記入力処理装置は、
    物体の近接及び接触を入力として検知する入力検知部と、
    前記入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するイベント種別判別部と、
    前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するモード情報取得部と、
    前記イベント種別判別部により判別されたイベントの種別の情報と、前記モード情報取得部により取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信する送信部と、
    を備え、
    前記情報処理装置は、
    所定の機能を実現するアプリケーションを処理するアプリケーション処理部と、
    前記入力処理装置からの前記データを受信する受信部と、
    前記アプリケーション処理部により処理されたアプリケーションの画面を、表示装置を介して表示させる表示制御部と、
    を備え、
    前記アプリケーション処理部は、前記イベントの種別の情報が前記入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が前記入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する情報処理システム。
  9. 情報処理装置との間において通信する入力処理装置における入力処理方法であって、
    物体の近接及び接触を入力として検知する入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するステップと、
    前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するステップと、
    前記判別されたイベントの種別の情報と、前記取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信するステップと、
    を有する入力処理方法。
  10. 入力処理装置との間において通信する情報処理装置における情報処理方法であって、
    所定の機能を実現するアプリケーションを処理するアプリケーション処理ステップと、
    前記入力処理装置に入力されたイベントの種別の情報と、前記処理されるアプリケーションの処理モードの情報と、を含むデータを、前記入力処理装置から受信するステップと、
    前記処理されたアプリケーションの画面を、表示装置を介して表示させるステップと、
    を有し、
    前記アプリケーション処理ステップでは、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が、前記入力処理装置が有する入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する情報処理方法。
  11. 入力処理装置と情報処理装置とが通信する情報処理システムにおける情報処理方法であって、
    前記入力処理装置において、物体の近接及び接触を入力として検知する入力検知部により検知された入力の座標に基づいて、入力されたイベントの種別を判別するステップと、
    前記入力処理装置において、前記情報処理装置により処理されるアプリケーションに対する処理モードの情報を取得するステップと、
    前記入力処理装置において、前記判別されたイベントの種別の情報と、前記取得された処理モードの情報と、を含むデータを前記情報処理装置へ送信するステップと、
    前記情報処理装置において、所定の機能を実現するアプリケーションを処理するアプリケーション処理ステップと、
    前記情報処理装置において、前記入力処理装置からの前記データを受信するステップと、
    前記情報処理装置において、処理されたアプリケーションの画面を、表示装置を介して表示させるステップと、
    を有し、
    前記アプリケーション処理ステップでは、前記イベントの種別の情報が前記入力検知部への近接が検知された旨を示す近接検知情報である場合、前記処理モードによるアプリケーションの処理を示唆する情報を前記アプリケーションの画面に付加し、前記イベントの種別の情報が前記入力検知部への接触が検知された旨を示す接触検知情報である場合、前記処理モードに応じてアプリケーションを処理する情報処理方法。
  12. 請求項9に記載の入力処理方法の各ステップをコンピュータに実行させるための入力処理プログラム。
  13. 請求項10に記載の情報処理方法の各ステップをコンピュータに実行させるための情報処理プログラム。
  14. 請求項11に記載の情報処理方法の各ステップをコンピュータに実行させるための情報処理プログラム。
JP2013122796A 2013-06-11 2013-06-11 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム Active JP5736005B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013122796A JP5736005B2 (ja) 2013-06-11 2013-06-11 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム
US14/264,542 US20140362004A1 (en) 2013-06-11 2014-04-29 Input processing apparatus, information processing apparatus, information processing system, input processing method, information processing method, input processing program and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013122796A JP5736005B2 (ja) 2013-06-11 2013-06-11 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2014241033A true JP2014241033A (ja) 2014-12-25
JP5736005B2 JP5736005B2 (ja) 2015-06-17

Family

ID=52005053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013122796A Active JP5736005B2 (ja) 2013-06-11 2013-06-11 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20140362004A1 (ja)
JP (1) JP5736005B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016177575A (ja) * 2015-03-20 2016-10-06 シャープ株式会社 表示システム、コンピュータプログラム及び記録媒体
JP2017016004A (ja) * 2015-07-03 2017-01-19 シャープ株式会社 画像表示装置、画像表示制御方法、および、画像表示システム
JP2018156357A (ja) * 2017-03-17 2018-10-04 株式会社リコー タッチパネルシステム、タッチパネルシステムの制御方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102187843B1 (ko) * 2013-08-19 2020-12-07 삼성전자 주식회사 펜을 갖는 사용자 기기의 화면 제공 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191027A (ja) * 1997-09-30 1999-07-13 Hewlett Packard Co <Hp> コンピュータ・プレゼンテーション・システム
JP2003530772A (ja) * 2000-04-10 2003-10-14 インターリンク エレクトロニクス インコーポレイテッド 画面マッピングのためのタッチ・パッドを有するリモートコントロール
JP2005004089A (ja) * 2003-06-13 2005-01-06 Sharp Corp 投射型画像表示装置
JP2010277198A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013511763A (ja) * 2009-11-24 2013-04-04 サムスン エレクトロニクス カンパニー リミテッド ユーザ操作の開始位置をガイドするgui提供方法及びそれを適用したデジタル機器
JP2013134387A (ja) * 2011-12-27 2013-07-08 Sharp Corp 表示画像の操作システム、それを構成する画像表示装置、及びその制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166758A (ja) * 1999-12-09 2001-06-22 Seiko Epson Corp プレゼンテーション支援システムおよびプロジェクタシステム
JP2010277377A (ja) * 2009-05-29 2010-12-09 Panasonic Corp タッチパネルシステム
KR20110107143A (ko) * 2010-03-24 2011-09-30 삼성전자주식회사 멀티 입력을 이용한 휴대단말의 기능 제어 방법 및 장치
US9678572B2 (en) * 2010-10-01 2017-06-13 Samsung Electronics Co., Ltd. Apparatus and method for turning e-book pages in portable terminal
WO2012157272A1 (ja) * 2011-05-16 2012-11-22 パナソニック株式会社 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム
US20130050131A1 (en) * 2011-08-23 2013-02-28 Garmin Switzerland Gmbh Hover based navigation user interface control
KR20140105985A (ko) * 2013-02-25 2014-09-03 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11191027A (ja) * 1997-09-30 1999-07-13 Hewlett Packard Co <Hp> コンピュータ・プレゼンテーション・システム
JP2003530772A (ja) * 2000-04-10 2003-10-14 インターリンク エレクトロニクス インコーポレイテッド 画面マッピングのためのタッチ・パッドを有するリモートコントロール
JP2005004089A (ja) * 2003-06-13 2005-01-06 Sharp Corp 投射型画像表示装置
JP2010277198A (ja) * 2009-05-26 2010-12-09 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013511763A (ja) * 2009-11-24 2013-04-04 サムスン エレクトロニクス カンパニー リミテッド ユーザ操作の開始位置をガイドするgui提供方法及びそれを適用したデジタル機器
JP2013134387A (ja) * 2011-12-27 2013-07-08 Sharp Corp 表示画像の操作システム、それを構成する画像表示装置、及びその制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016177575A (ja) * 2015-03-20 2016-10-06 シャープ株式会社 表示システム、コンピュータプログラム及び記録媒体
JP2017016004A (ja) * 2015-07-03 2017-01-19 シャープ株式会社 画像表示装置、画像表示制御方法、および、画像表示システム
JP2018156357A (ja) * 2017-03-17 2018-10-04 株式会社リコー タッチパネルシステム、タッチパネルシステムの制御方法及びプログラム

Also Published As

Publication number Publication date
JP5736005B2 (ja) 2015-06-17
US20140362004A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
US9329714B2 (en) Input device, input assistance method, and program
RU2672134C2 (ru) Портативный терминал и способ обеспечения тактильного эффекта для блока ввода
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US9146667B2 (en) Electronic device, display system, and method of displaying a display screen of the electronic device
JP5620440B2 (ja) 表示制御装置、表示制御方法及びプログラム
JP5808712B2 (ja) 映像表示装置
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
CN104508618A (zh) 用于针对在用户界面中执行的操作提供触觉反馈的设备、方法和图形用户界面
US20170068418A1 (en) Electronic apparatus, recording medium, and operation method of electronic apparatus
US20120098763A1 (en) Electronic reader and notation method thereof
US9685143B2 (en) Display control device, display control method, and computer-readable storage medium for changing a representation of content displayed on a display screen
KR20150056074A (ko) 전자 장치가 외부 디스플레이 장치와 화면을 공유하는 방법 및 전자 장치
KR20140030379A (ko) 단말의 표시 제어 방법 및 그 단말
EP1600939A1 (en) Image display method, image display program, and information device
CN111344663B (zh) 渲染装置及渲染方法
US20230273674A1 (en) Displaying physical input devices as virtual objects
JP2010079834A (ja) 座標検出装置の取り付け位置判断装置及び電子ボードシステム
JP5736005B2 (ja) 入力処理装置、情報処理装置、情報処理システム、入力処理方法、情報処理方法、入力処理プログラム、及び情報処理プログラム
US20150268828A1 (en) Information processing device and computer program
WO2011055451A1 (ja) 情報処理装置、その方法、および、表示装置
KR20150001130A (ko) 사용자 입력 처리 방법 및 상기 방법이 적용된 장치
JP2012178175A (ja) 表示制御装置、電子機器、表示制御方法、およびプログラム
KR102295823B1 (ko) 모바일 디바이스 및 웨어러블 디바이스를 이용한 인터페이스 제공 방법
WO2014148090A1 (ja) 情報処理装置及び情報処理方法
JP5414920B2 (ja) 表示制御装置、表示制御方法、およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141201

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150417

R150 Certificate of patent or registration of utility model

Ref document number: 5736005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250