JP2015056172A - システム、情報処理装置、画像表示方法、プログラム、記憶媒体 - Google Patents

システム、情報処理装置、画像表示方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2015056172A
JP2015056172A JP2013191152A JP2013191152A JP2015056172A JP 2015056172 A JP2015056172 A JP 2015056172A JP 2013191152 A JP2013191152 A JP 2013191152A JP 2013191152 A JP2013191152 A JP 2013191152A JP 2015056172 A JP2015056172 A JP 2015056172A
Authority
JP
Japan
Prior art keywords
display
information
information processing
processing apparatus
display object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013191152A
Other languages
English (en)
Other versions
JP6255826B2 (ja
Inventor
史紘 佐々木
Fumihiro Sasaki
史紘 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2013191152A priority Critical patent/JP6255826B2/ja
Priority to US14/477,050 priority patent/US20150077365A1/en
Publication of JP2015056172A publication Critical patent/JP2015056172A/ja
Application granted granted Critical
Publication of JP6255826B2 publication Critical patent/JP6255826B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】複数のディスプレイが複数台並べられたパネルシステムにおいて、複数のディスプレイを跨る描画物の表示の遅延を防止することが可能なパネルシステムを提供する。【解決手段】第1の情報処理装置の表示手段の表示面に対する指示操作により指示された位置を検出する指示位置検出手段と、表示対象物の表示位置の移動を受け付ける受け付け手段24と、表示対象物の表示位置の移動に関する移動情報を算出する移動情報算出手段25と、第2の情報処理装置に表示対象物に関する表示対象物情報と前記表示対象物の移動情報とを送信するか否かを判定する判定手段26と、前記第2の情報処理装置に、前記表示対象物の前記表示対象物情報と移動情報とを送信する送信手段23と、を有する。【選択図】図8

Description

表示面が整列配置された複数の表示手段のそれぞれに画像を表示する複数の情報処理装置が通信可能に接続されたシステムに関する。
会議・打ち合わせの知的生産性を高める手法として、参加者が情報を書き込んだり表示したりするホワイトボードが用いられることがある。また、ホワイトボードのサイズが有限であることに起因してアイディアや思考が中断されることを防ぐため、ホワイトボードのサイズを拡張して、壁面全体を文字などの描画が可能な材質で作成する試みもある。参加者は壁全体を記載・表示空間として活用して、アイディアや考えを途切れることなく書き出していくことができる。
一方、ホワイトボードをタッチパネル方式のディスプレイで実現した電子黒板も知られている。この電子黒板では、タッチパネルが検出する位置情報を利用して、ユーザが書き込んだ板書内容をタッチパネルが取り込みタッチパネルと一体の画面に反映させる。
したがって、ユーザはタッチパネルを用いることで、ホワイトボードと同様に文字などを描画して表示できると共に、描画内容を電子的に取り込むことが可能になる。これを応用することで、電子的に取り込んだ板書内容を再度表示したり、ユーザが再加工することなどが可能になる。
しかし、物理的な存在のタッチパネルの表示サイズは有限であるため、壁全体がホワイトボードとして描画可能な場合と比べると表示の一望性を損なうという機能上の制約がある。画面スクロール機能により表示サイズを半無限空間として扱うことができるが、スクロールにより「物理的な思考中断」を余儀なくされてしまう。
そこで、より広い範囲で表示の一望性を可能とするために、タッチパネルを複数台、整列配置してマルチ・ディスプレイを実現することが考えられる(例えば、特許文献1参照。)。特許文献1には、複数の画像表示装置を用いてマルチ画面表示環境を構築する際に、各画像表示装置の位置の入力を受け付ける複数画像表示装置の位置指定方法が開示されている。
特許文献1に記載されているように、タッチパネルを複数台並べてマルチ・ディスプレイを実現すれば、壁全体をホワイトボードとする場合とタッチパネルをホワイトボードとする場合の両方のメリットが得られる。また、タッチパネルの数を増やせば、壁全体をホワイトボードとする場合と同様の一望性が得られる。
しかしながら、従来のマルチ・ディスプレイ技術においては、複数のタッチ・パネル・ディスプレイ間の連動機能が無いため、複数のディスプレイを跨る描画物の表示において遅延が生じ、直感的な操作が可能であるというタッチ・パネル本来のメリットが損なわれるという問題がある。
本発明は、上記課題に鑑み、複数のディスプレイが複数台並べられたパネルシステムにおいて、複数のディスプレイを跨る描画物の表示の遅延を防止することが可能なパネルシステムを提供することを目的とする。
本発明は、画像を表示する表示手段を有する複数の情報処理装置が少なくとも2つ以上通信可能に接続されたシステムであって、第1の情報処理装置は、前記第1の情報処理装置の表示手段における表示対象物の表示を制御する第1の表示制御手段と、前記第1の情報処理装置の表示手段の表示面に対する指示操作により指示された位置を検出する指示位置検出手段と、前記指示位置検出手段が検出した位置に基づいて、前記第1の情報処理装置の表示手段に表示されている表示対象物の表示位置の移動を受け付ける受け付け手段と、前記受け付け手段により移動された前記表示対象物の表示位置の移動に関する移動情報を算出する移動情報算出手段と、前記移動情報算出手段によって算出された移動情報に基づいて、前記第1の情報処理装置と接続された第2の情報処理装置に前記表示対象物に関する表示対象物情報と前記表示対象物の移動情報とを送信するか否かを判定する判定手段と、前記判定手段が前記第2の情報処理装置に前記表示対象物を送信すると判定した場合、前記第2の情報処理装置に、前記表示対象物の前記表示対象物情報と移動情報とを送信する送信手段と、を有し、前記第2の情報処理装置は、前記送信手段により送信された前記表示対象物の前記表示対象物情報と前記移動情報とに基づいて、前記第2の情報処理装置の表示手段における前記表示対象物の表示を制御する第2の表示制御手段を有する、ことを特徴とするシステム。
複数のディスプレイが複数台並べられたパネルシステムにおいて、複数のディスプレイを跨る描画物の表示の遅延を防止することが可能なパネルシステムを提供することができる。
従来技術において直感的な操作が困難になる場合の一例を示す図である。 本実施形態のパネルシステムの概略を説明する図の一例である。 複数の各タッチパネルによりパネルシステムを構築するための構築例について説明する図の一例である。 複数のタッチパネルによりパネルシステムを構築するための構築例について説明する別の図の一例である。 各タッチパネルが配置場所を検出するために表示する図の一例である。 各タッチパネルが配置場所を検出するために表示する図の一例である。 タッチパネルのハードウェア構成図の一例である。 タッチパネルのソフトウェア的な機能ブロック図の一例である。 アプリケーション層が表示するメニュー画面の一例を示す図である。 ページデータを模式的に説明する図の一例である。 ストロークテーブルデータを模式的に説明する図の一例である。 座標配列データを模式的に説明する図の一例である。 図形データを模式的に説明する図の一例である。 オブジェクトの移動を通知するタッチパネルが移動先のタッチパネルに送信する送信データの一例を示す図である。 オブジェクトの転送と、コマンド情報の対応を説明する図の一例である。 移動ベクトルを説明する図の一例である。 転送トリガ範囲を説明する図の一例である。 転送トリガ範囲内のオブジェクトの位置としきい値の関係を説明する図の一例である。 転送先のタッチパネルの決定について説明する図の一例である。 転送先のタッチパネルによるオブジェクトの表示タイミングの決定について説明する図の一例である。 オブジェクトリソース管理部がオブジェクトを転送するか否かを判定する手順を示すフローチャート図の一例である。 2つのプロジェクタ、リアプロジェクションによるパネルシステムの構築例を示す図である。 転送元のタッチパネルがオブジェクトを転送する手順を示すフローチャート図の一例である。 転送先のタッチパネルがオブジェクトの転送を受け付ける手順を示すフローチャート図の一例である。
以下、本発明を実施するための形態について図面を参照しながら説明する。
〔従来技術についての補足〕
図1は、従来技術において直感的な操作が困難になる場合の一例を示す図である。2つのタッチパネルが連結されている。ユーザがタッチパネル1のオブジェクト(図では円で示されている)をタッチパネル2に移動する場合を説明する。なお、オブジェクトとは、1ストローク、重複部分がある複数のストローク、所定時間内に所定距離内に描画された複数のストロークなど、又は、図形などの、1つのまとまった描画物である。
(a)まず、ユーザはオブジェクトを選択して、タッチパネル2の方向にフリック又はドラッグする。
(b)タッチパネル1はオブジェクトの座標がタッチパネル1の端部に到達するまでオブジェクトを描画して、タッチパネル2にオブジェクトの表示を要求する。
(c)タッチパネル2はタッチパネル1からオブジェクトのデータ(オブジェクトの座標、移動速度、移動方向、形状や色に関するデータなど)を受信して現在位置を計算する。このため、オブジェクトのデータの受信から表示までの間に遅延が生じてしまう。
(d)タッチパネル2は、表示の準備ができるとオブジェクトを表示する。
このように、2つのタッチパネル1,2を単に通信可能に接続しただけでは、タッチパネル間のオブジェクトを受け渡す際に円滑にオブジェクトを表示できないおそれがある。例えば、図1(c)に示すように、タッチパネル2がオブジェクトを表示するまでの間、タッチパネル1、2のどちらにもオブジェクトが表示されない時間が生じるという不都合がある。
また、このような時間が生じることを防ぐために、タッチパネル1がオブジェクトを表示したまま、オブジェクトの表示を要求されたタッチパネル2がタッチパネル2の端部にオブジェクトを表示することが考えられる。しかし、この場合、オブジェクトの位置が変わったり一次的に停止したように見えるため、円滑な受け渡しができているとは言えない。
なお、これらの不都合は、2つのタッチパネルを統括的に制御する制御装置が存在する場合は、生じにくい。図1(e)は、2つのディスプレイ3,4と接続されたPC(Personal Computer)5の一例を示す。この場合、PC5は2つのディスプレイ3,4の表示領域を内部的に1つの画面として扱っているため、ユーザがオブジェクトを2つのディスプレイ間で移動する場合、ディスプレイ3,4が物理的に別体でもPC5はディスプレイ3から4にオブジェクトを転送する処理を必要としない。したがって、オブジェクトがディスプレイ3,4を跨ぐ場合も遅延などが発生することはない。
本実施形態では、複数のタッチパネルに対する画像の表示を統括的に制御する制御装置が存在しない場合でも、タッチパネル間でオブジェクトを円滑に受け渡すことが可能なパネルシステムを提供する。
〔本実施形態のパネルシステムの概略〕
図2(a)は、本実施形態のパネルシステム500の概略を説明する図の一例である。3つのタッチパネル100(タッチパネル同士を区別するためタッチパネル1-1、1-2、1-3と称する)が縦1×横3に整列配置されている。タッチパネル1-1に表示されたオブジェクト14(特許請求の範囲の表示対象物の一例である)をポインティングデバイス(以下、PDという)でフリック又はドラッグ(特許請求の範囲の移動操作の一例である)してタッチパネル1-2に移動することを考える。なお、PDはユーザの指の場合もあるし、ペン状の指示具の場合もある。
ユーザがオブジェクト14をタッチパネル1-1から1-2に移動する際に円滑性が重視されるのは、ユーザが比較的速い移動速度でオブジェクト14を移動した場合である。ゆっくりと移動する場合には、オブジェクト14がタッチパネル1-1のベゼル(枠やフレームと呼ばれることがある)に到達した後、PDがタッチパネル1-2に接触した位置にタッチパネル1-2がオブジェクト14を表示しても違和感なく移動したように見える。また、ユーザがタッチパネル1-1内でしかオブジェクトを移動したくないのに(タッチパネル1-1の端までゆっくりと移動したのに)、オブジェクト14がタッチパネル1-2に移動されると違和感を感じてしまう。
このため、本実施形態では、主に、比較的速い移動速度で移動するオブジェクト14をタッチパネル1-1がタッチパネル1-2に円滑に受け渡す状況を想定して説明する。
図2(b)〜(d)は、タッチパネル間のオブジェクト14の転送について説明する図の一例である。図2(b)に示すように、本実施形態ではタッチパネル100が転送トリガ範囲15を設定している。転送トリガ範囲15は、タッチパネル1-1が隣接したタッチパネル1-2にオブジェクト14を転送するか否を判断する範囲(特許請求の範囲の判定範囲の一例)である。
タッチパネル1-1は、選択されているオブジェクト14が転送トリガ範囲15にあり、かつ、オブジェクト14の移動ベクトルの強度(速度)がしきい値以上の場合、オブジェクト14を転送すると判定する。転送すると判定した場合、タッチパネル1-1はタッチパネル1-2にオブジェクトを転送する。移動ベクトルについては後述するが、移動ベクトルは特許請求の範囲の移動物情報の一例である。
この後、タッチパネル1-1は、図2(c)に示すように、タッチパネル1-1の端までオブジェクト14の描画を継続する。タッチパネル1-2は、この間に、オブジェクトのデータ(同じく、オブジェクトの座標、移動速度、移動方向、形状や色に関するデータなどであるが、本実施形態では後述する送信データ、図形データ)の受信、表示位置の算出などを行う。
そして、図2(d)に示すように、タッチパネル1-2はタッチパネル1-2の端(本実施形態では、タッチパネル1-1の端=タッチパネル1-2の端として扱うが、タッチパネル1-1の端+α=タッチパネル1-2の端として扱ってもよい)に到達するタイミングでオブジェクト14の表示を開始する。
このように、転送トリガ範囲15のオブジェクト14を、タッチパネル1-1の端に到達する前に隣接したタッチパネル1-2に転送することで、統括する制御装置がなくても、タッチパネル間でオブジェクト14を円滑に転送することができる。
〔タッチパネルについて〕
タッチパネル100には種々の方式があるが、例えば抵抗膜方式、静電容量方式、電磁誘導方式、超音波表面弾性波方式、赤外線走査方式、及び、赤外線遮断三角測量方式が知られている。
抵抗膜方式は、表面が押されることで生じる導通により操作位置を検出する。指だけでなくペンや手袋をした状態でも操作することができる。静電容量方式は、パネルの表面全体に電界を形成し、触れた部分の表面電荷の変化により操作位置を検出する。ペンや手袋をした状態では操作することができない。電磁誘導方式は、磁界を発生する専用ペンが画面を押下すると、パネル側のセンサーが電磁エネルギーを検出して位置を検出する。専用ペンがなければ操作することができない。超音波表面弾性波方式は、パネルの全体に表面弾性波を与え、押下部で弾性波が吸収され弾性波が変化することを利用して位置を検出する。ペンや手袋をした状態では操作することができない。赤外線走査方式は、パネルの周囲に発光体と受光部を配置して、押下により遮光された位置を検出する。指だけでなくペンや手袋をした状態でも操作することができる。赤外線遮断三角測量方式は、赤外線の遮断位置を三角測量により算出する。指だけでなくペンや手袋をした状態でも操作することができる。
タッチパネル100の方式にはこれらから派生した方式又はこれら以外にも多くの方式がある。本実施形態のタッチパネル100はこれらのうちどの方式で位置を検出してもよい。また、パネルシステム500を構築する複数のタッチパネル100の位置検出方式が同一である必要もない。
〔パネルシステムの構築例〕
図3は、複数の各タッチパネルによりパネルシステム500を構築するための構築例について説明する図の一例である。パネルシステム500用のブラケット12が会議室の壁などに平行に(好ましくは壁の全面に)備え付けられている。図3では、タッチパネル100が縦2×横3に配列されている。
ブラケット12はタッチパネル100のコネクタを装着するためのI/F11を、1つのタッチパネル100の配置場所毎に有している。各I/F11は予め固有のI/F番号を有し、各I/Fは有線又は無線で電気的に接続されている。
配置場所に装着された各タッチパネル100はI/F番号を読み出す。I/F番号は例えば図のかっこ内の数字で表され、パネルシステム500における位置情報を含んでいる。すなわち、I/F番号はタッチパネル100の配置場所と一致している。各タッチパネル100はI/F番号に基づき、パネルシステム500における各タッチパネル100の配置を特定する。例えば、I/F番号が「1-1」のI/F11に装着されたタッチパネル1-1は、「1-1」=(縦1、横1)であると判定し、自分が左上に配置されていること判断する。同様に、「1-1」というI/F番号で特定されるタッチパネル1-1の配置場所の右側には、「1-2」というI/F番号で特定されるタッチパネル1-2の配置場所がある。したがって、I/F番号によりタッチパネルを特定でき、各タッチパネルはI/F番号でタッチパネル100を識別して、例えば隣接したタッチパネルにオブジェクトを転送することができる。
ブラケット12はタッチパネル同士を1対n又はバス状に接続する。例えば、タッチパネル1-1はタッチパネル1-2,1-3、2-1,2-2,2-3と通信可能である。タッチパネル1-2,1-3、2-1,2-2,2-3についても同様に他のタッチパネルと1対nに接続されている。なお、1対nに接続するのでなく、オブジェクト14を受け渡す可能性があるタッチパネルとのみ通信可能としてもよい。例えばタッチパネル1-1から見てオブジェクト14を受け渡す可能性があるのは、タッチパネル1-2、2-1、2-2である。
タッチパネル1-3のように、ユーザがタッチパネル1-3をブラケット12に摺動させて装着すると、コネクタ16とI/F11が電気的に接続される。コネクタ16は給電機能を備えていることが好ましい。タッチパネル1-3は、I/F11を介して同報的に他のタッチパネル1-1,1-2,2-1,2-2,2-3と通信するので、他のI/F11に接続されたタッチパネル1-1,1-2,2-1,2-2,2-3は、タッチパネル1-3が装着されたことを検出できる。タッチパネル同士が通信するのでなく、I/F11がタッチパネル100の装着を検知して、タッチパネル100が装着されたI/F11が他のI/F11にタッチパネル100が装着されていることを通知してもよい。
図4は、複数のタッチパネル100によりパネルシステム500を構築するための構築例について説明する別の図の一例である。以下、図4〜6を用いてブラケット12に装着位置の識別器能がない場合について説明する。図4ではブラケット12がI/F11を有さない場合、すなわちブラケット12に通信機能が搭載されていない場合のパネルシステム500の構築について説明する。この場合、各タッチパネル100は、I/F番号に基づきタッチパネル100の配置を特定できないので、各タッチパネル100は、各タッチパネル100に固有の識別IDを使用してタッチパネル100の配置を特定する。なお、ブラケット12への装着については図3のタッチパネル1-3のように摺動させて装着すればよく、I/F11を有する場合と同様である。この場合、タッチパネル100が有するコネクタ16は電源供給などに使用できる。
タッチパネル100は無線通信を利用して識別IDを交換する。無線通信には例えば以下のような規格がある。
・無線LAN(インフラストラクチャーモード)
・無線LAN(アドホックモード)
・Bluetooth(登録商標。以下、省略)
インフラストラクチャーモードの場合、アクセスポイントに接続した6つのタッチパネル100は1つのネットワークを形成する。6つのタッチパネル100には手動で又は自動的に重複しないIPアドレスが付与されるので、各タッチパネル100はネットワークアドレスが同じ(つまりアクセスポイントに接続している)タッチパネル100に対しPingコマンドを送信するなどして、他のタッチパネル100のIPアドレス及びMACアドレスを取得できる。したがって、この場合、IPアドレス又はMACアドレスを識別IDとして使用できる。また、任意の数字、アルファベット、記号、文字などの組み合わせで識別IDを作成してもよい。したがって、例えば、Aという識別IDのタッチパネル100は、識別ID=B、C、D、E、Fのタッチパネル100が存在することを検出できる。
アドホックモードの場合、1組のタッチパネル100が1つのネットワークを形成する。同様に、各タッチパネル100には手動で又は自動的に重複しないIPアドレスが付与されるので、互いのIPアドレス及びMACアドレスを取得できる。したがって、同様に、IPアドレス又はMACアドレスを識別IDとして使用できる。例えば、Aという識別IDのタッチパネル100は、識別ID=Bのタッチパネル100と通信して識別ID=Bのタッチパネル100が存在することを検出できる。次に、C、D、E、Fのタッチパネル100と通信して識別ID=C、D、E、Fのタッチパネル100が存在することを検出できる。他のタッチパネル100も5回のアドホックモードの通信により他のタッチパネル100の存在を検出できる。
Bluetoothの場合、一度、ペアリングを行えば1つのタッチパネル100をマスターとして、他の5台のタッチパネル100をスレーブとするピコネットを形成できる。各スレーブは論理アドレスにより識別される。したがって、マスターとなったタッチパネル100は、論理アドレスで識別した他のタッチパネル100が存在することを検出できる。
このようにして、各タッチパネル100が識別IDにより他のタッチパネル100の存在を検知しても、各タッチパネル100の配置を検出できない。このため、以下のように各タッチパネル100が自身の配置場所を検出する。
図5は各タッチパネル100が配置場所を検出するために表示する図の一例である。ユーザがタッチパネル100に対し所定の操作を行うことで、タッチパネル100は図5のような配置パターンの選択画面を表示する。タッチパネル100の数は識別IDの交換により6台であることが明らかになっているので、各タッチパネル100は6つのタッチパネルの配置パターンの一覧を表示する。なお、ユーザがタッチパネル100の数を指定してもよい。
図5(a)は1×6の配置パターンを、図5(b)は6×1の配置パターンを、図5(c)は2×3の配置パターンを、図5(d)は3×2の配置パターンを、それぞれ示している。ユーザはブラケット12の配置と同じ配置パターンを選択する。本実施形態では図5(b)の配置パターンが選択される。ユーザはこの選択を全てのタッチパネル100で行う。または、1つのタッチパネル100でのみ行い、選択を受け付けたタッチパネル100が他の5つのタッチパネル100に配置パターンを送信してもよい。
図6は、各タッチパネル100が配置場所を検出するために表示する図の一例である。各タッチパネル100は、図5で選択された配置パターンを用いて、パネルシステム500における自己の配置を特定する。
まず、各タッチパネル100は、図5においてユーザが選択した配置パターンを表示する。ユーザは各タッチパネル100に表示された配置パターンにおいて、着目しているタッチパネル100のブランケット内における配置位置に対応する場所をタッチする。すなわち、識別ID=Aのタッチパネル100ではユーザは配置パターンの左上の場所(網掛け領域)をタッチし、識別ID=Bのタッチパネル100ではユーザは配置パターンの上段中央の場所をタッチし、識別ID=Cのタッチパネル100ではユーザは配置パターンの右上の場所をタッチし、識別ID=Dのタッチパネル100ではユーザは配置パターンの左下の場所をタッチし、識別ID=Eのタッチパネル100ではユーザは配置パターンの下段中央の場所をタッチし、識別ID=Fのタッチパネル100ではユーザは配置パターンの右下の場所をタッチする。
これにより、各タッチパネル100は、ブラケット12における自己の配置場所を特定できる。すなわち、識別ID=Aのタッチパネルは1-1という配置場所に、識別ID=Bのタッチパネルは1-2という配置場所に、識別ID=Cのタッチパネルは1-3という配置場所に、識別ID=Dのタッチパネルは2-1という配置場所に、識別ID=Eのタッチパネルは2-2という配置場所に、識別ID=Fのタッチパネルは2-3という配置場所に、それぞれ配置されていることを特定できる。
〔タッチパネルの構成例〕
図7は、タッチパネル100のハードウェア構成図の一例である。タッチパネル100は座標検出機能を備えた情報処理装置の呼称であって、タッチパネル100は表示手段に対する指示位置の座標を検出可能な情報処理装置であればよい。具体的には、タブレット、タブレットPC、ノートPC、ウルトラブック、ノートPCから脱着されたディスプレイ、電子ホワイトボードなどである。
タッチパネル100は、タッチパネル全体の動作を制御するCPU101、IPL(Initial Program Loader)等のプログラムを記憶したROM102、CPU101のワークエリアとして使用されるRAM103、携帯端末用のプログラム130や地図データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、タッチパネル100に対する各種操作を受け付ける操作ボタン108、タッチパネル100の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワークを利用して無線又は有線でデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、タッチパネル100は、CPU101の制御に従って被写体を撮像して画像データを取得する内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従ってディスプレイ200に画像データを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、GPS衛星からの電波を受信して位置を検出するGPS受信装置119、タッチパネル100に生じる加速度を検出する加速度センサ120、携帯電話網を介して音声通信・データ通信を行うLTE通信部121、及び、上記各構成要素を図7に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン122を備えている。
ディスプレイ200は、液晶や有機ELによって構成され、ユーザがPDで座標を入力して描画するための描画領域であると共に、描画内容を表示する表示領域となる。ディスプレイ200はこの他、ホワイトボードとしてのメニュー等を表示する。ディスプレイI/F117は、ディスプレイ200のタッチパネル機能に対応して、ディスプレイ200に対しPDが触れた座標を検出するため座標検出部123を有している。
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、各種の外部デバイスを装着可能である。例えばI/F11との接続に用いられたり、Bluetoothなどの近距離無線通信装置を接続できる。
また、フラッシュメモリ104にはプログラム130が記憶されている。このプログラム130はアプリ(APP)と呼ばれる場合がある。プログラム130はネットワークI/F111により不図示のサーバからダウンロードすることができる。
なお、記録メディア106は、タッチパネル100に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、上記のプログラム130は、記録メディア106に記録された状態で配布される場合がある。
図8は、タッチパネル100のソフトウェア的な機能ブロック図の一例である。タッチパネル100のソフトウェア構成は、階層構造を有しており、例えば、最下層からカーネル層、HAL(Hardware Abstraction Layer)層、ライブラリー層、アプリケーションフレームワーク層、及び、アプリケーション層がある。以下の機能は、CPU101がプログラム130を実行してタッチパネル100のハードウェアリソースと協働することで実現される。
カーネル層は、デバイスドライバ等のOS基本機能を実装する層である。カーネル層はデータ転送ドライバ23を有する。データ転送ドライバ23はI/F11の制御を行い、隣接するタッチパネル100との通信やデータ転送を行う。なお、OSとしてはLinux(登録商標)、Unix(登録商標)、Android(登録商標)、IOS(登録商標)、Windows(登録商標)などがある。
HAL層は、ハードウェアプラットフォームの差異を吸収するプログラムである。本実施例では、ライブラリー層とカーネル層との橋渡しをする。ライブラリー層は、ハードウェアを制御するライブラリーが組み込まれた層である。
アプリケーションフレームワーク層は、アプリケーションの下請け処理を実装する層であり、オブジェクトリソース管理部21と画面表示管理部22を有している。オブジェクトリソース管理部21は、操作対象のオブジェクト14の画面上の位置を管理してデータ記憶部29のデータを更新する。
アプリケーション層は、アプリケーションを実装する層である。例えば、タッチパネル100を操作するためのメニュー表示や設定の受け付けなどを行う。
オブジェクトリソース管理部21は、オブジェクト14の選択を受け付けるオブジェクト選択受付部24、オブジェクト14の移動ベクトル(位置、移動速度、移動方向)を計算する移動ベクトル算出部25、オブジェクト14の移動速度がしきい値以上の場合に転送すると判定する転送判定部26、オブジェクト14の位置と移動方向からオブジェクト14の転送先のタッチパネル100を決定する転送先決定部27を有している。画面表示管理部22は、操作対象のオブジェクト14の画面表示を管理する。
そして、オブジェクトリソース管理部21は、データ転送ドライバ23に、転送先のタッチパネル、移動ベクトル、移動されるオブジェクト14を通知する。これにより、データ転送ドライバ23は、予め定められたフォーマットで送信データ(後述する)を送信する。
転送先のタッチパネル100のデータ転送ドライバ23は、送信データの送信先を参照してそれが自分宛の送信データの場合、送信データを受信する。
なお、データ記憶部29は、ストロークや画像などの描画されたデータを記憶している。データ記憶部29はタッチパネル100毎に保持されており、オブジェクト14が移動した場合、タッチパネル1-1のデータ記憶部29のオブジェクト14のデータは、移動先のタッチパネル1-2のデータ記憶部29に記憶される。
図9は、アプリケーション層が表示するメニュー画面の一例を示す。各タッチパネル100にインストールされているアプリケーションは、配置場所に応じた画面を表示する。例えば、タッチパネル1-1、2-1は操作用のメニューをそれぞれ表示する。メニューにはいくつかのアイコンが含まれている。左上のタッチパネル1-1は予め定められたアイコンとして、ペンアイコン31、図形アイコン32、選択/削除アイコン33、新規ページアイコン34を予め定められた場所に表示している。同様に、左下のタッチパネル2-1は予め定められたアイコンとして、USBメモリアイコン35、メール保存アイコン36を予め定められた場所に表示している。
なお、ユーザはメニューを任意の配置場所のタッチパネルに表示させることができる。また、メニューの表示自体のON/OFFを切り替えることができる。
・ペンアイコン31はユーザがPD(図では電子ペン13)でストロークを入力するためのアイコンである。ペンアイコン31を操作するとさらに色や線幅を選択することができる。
・図形アイコン32は、予め用意されている標準図形(三角、丸、四角など)を表示するためのアイコンである。図形アイコン32を操作するとさらに図形や色を選択することができる。図では、図形アイコン32により円(オブジェクト)が描画されている。
・選択/削除アイコン33は、描画されているストロークを選択するためのアイコンである。選択/削除アイコン33を押下してストロークや図形を囲むようにPDを移動させると、選択範囲内のストロークや図形が選択される。選択されたストロークや図形は外接矩形で囲まれたり、ハイライト表示されることで、ユーザに選択中であることを把握させる。オブジェクト選択受付部24は、ここで選択されたストロークや円などのオブジェクト14の選択を受け付ける。本実施形態では、選択されたオブジェクト14が移動対象のオブジェクト14になる。なお、ストロークや図形を囲む他に、一定時間以上、ストロークや図形に触れることで選択することもできる。
・新規ページアイコン34は新たなページを開くためのアイコンである。すでに描画されていたストロークや図形は保存される。すなわち、6個のタッチパネル100に描画されていたストロークや図形は、それぞれストロークや図形を表示していたタッチパネル100が保存する。それぞれが保存する1画面分のデータをページと称する。なお、ユーザが指示した又は新規ページアイコン34の操作を受け付けたタッチパネル100のみがストロークや図形を保存してもよい。
・USBメモリアイコン35は、保存した全てのページをPDFファイルにしてUSBメモリに保存するためのアイコンである。
・メール保存アイコン36は保存した全てのページをPDFファイルにしてメールで送信するためのアイコンである。
なお、ユーザがあるタッチパネル100のアイコンを選択した場合、選択されたアイコンの選択情報は他のタッチパネル100との間で共有される。例えば、ユーザがタッチパネル1-1でペンアイコン31を押下した後、タッチパネル1-1以外でストロークを描画してもよいように、アイコンのタッチを検出したタッチパネル100は、タッチされたアイコンを他の全てのタッチパネル1-2、1-3、2-1、2-2、2-3に送信する。これにより、ユーザがどのタッチパネル100に対し描画を始めても、描画されたタッチパネル100はユーザが選択したアイコンに応じた描画内容を表示できる。また、例えば新規ページアイコン34が押下された場合には、各タッチパネル100が同じタイミングでページを保存して新規ページに切り替えることができる。
〔データ例〕
図10〜13を用いて、データ記憶部29に記憶されているページデータについて説明する。図10は、ページデータを模式的に説明する図の一例である。1つのページデータは、1つのタッチパネル100に表示される1ページ分のデータ(ストロークデータ及び図形データ)である。ページデータは、各ページを識別するための「ページデータID」、各ページの表示を開始した時刻を示す「開示時刻」、ストロークや図形等によるページの内容の書き換えが行われなくなった時刻を示す「終了時刻」、電子ペンやユーザの手によるストロークによって生じたストロークテーブルデータを識別するための「ストロークテーブルID」、及び、図形データを識別するための「図形ID」が関連付けて記憶されている。図形データは、タッチパネル100に表示されている図形のデータである。図形データは、特許請求の範囲の形状情報の一例である。
図11は、ストロークテーブルデータを模式的に説明する図の一例である。1つのストロークテーブルデータは、複数のストロークデータの集合になっている。そして、1つのストロークデータは、ストロークデータを識別するための「ストロークデータID」、1つのストロークの書き始めの時刻を示す「開始時刻」、1つのストロークの書き終わりの時刻を示す「終了時刻」、ストロークの「色」、ストロークの「幅」、及び、ストロークの通過点の座標の配列を識別するための「座標配列データID」を有している。
図12は、座標配列データを模式的に説明する図の一例である。座標配列データは、タッチパネル上の1点「X座標値、Y座標値」、この1点を通過した時のストロークの開示時刻からの「差分時刻(ms)」、及び、この1点における電子ペンの「筆圧」の各情報を示している。図12に示されている複数の点の集まりが、図11に示されている1つの座標配列データで示されている。例えば、アルファベット「S」が描かれた場合、「S」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の座標の集まりになる。
図13は、図形データを模式的に説明する図の一例である。図形データでは、図形を一意に識別する「図形ID」、「図形種類」、「記録時刻」、「X座標値」、「Y座標値」、「幅」、「高さ」、「色」、「描画」、「転送先」、及び、「転送元」が対応づけられている。「図形種類」は図形の種類であり例えば円、三角、四角などがある。「記録時刻」は図形を記録した時刻である。「X座標値」、「Y座標値」は図形が表示された位置における外接矩形の頂点(例えば、左上頂点)で示す。「幅」と「高さ」は図形の外接矩形のサイズである。「色」は、図形の色情報を示す。「描画」は、描画の有無が指定されており、Tは描画することを、Fは描画しないことを意味している。また、「転送先」はオブジェクト14が転送された場合にその転送先が登録されている。「転送元」はオブジェクト14の少なくとも直前の転送元であるが、過去の全ての転送元を含んでもよい。
後述する送信データの転送により「転送先」には転送先のタッチパネル100のI/F番号が登録される。その後、転送元のタッチパネル100がオブジェクト14の描画を終了すると「描画」にFが登録される。したがって、「描画」と「転送先」は連動する可能性があるが、同時に更新されるとは限らない。
図13(a)はタッチパネル1-1の図形データの一例であり、図13(b)はタッチパネル1-2の図形データの一例である。図13(a)によれば、「図形ID」がz001の図形は「転送先」によりタッチパネル1-2に転送されていることがわかり、「描画」がFであることからすでに描画されていないことが分かる。また、図13(b)によれば、「図形ID」がz001の図形は「転送元」によりタッチパネル1-1から転送されたことがわかり、「描画」がTであることから描画されていることが分かる。
なお、図形データが移動することを考慮して、ストロークと同様に、図形の移動の途中の座標配列データを記録することが好適である。これにより、図形データが移動した座標を再現できるため、移動中に通過した座標に図形データを表示することが可能になる。
図14は、オブジェクト14の移動を通知するタッチパネル100が移動先のタッチパネル100に送信する送信データの一例を示す。送信データは、例えば、「送信元ID」、「送信先ID」、「送信時刻」、「コマンド情報」、「オブジェクトID」、及び、「移動ベクトル」の各フィールドを有している。
送信元ID :1-1、1-2などのI/F番号である。
送信先ID :1-1、1-2などのI/F番号である。全てのI/F番号を送信先とする指定が可能である。
コマンド情報:通知内容が格納される。本実施形態の場合、例えば、オブジェクト14の転送要求がコマンドとして格納される。また、ユーザの操作によっては、ユーザが選択したアイコンの識別情報が格納される場合がある。その他、タッチパネル100同士の要求のコマンドやその応答が格納される。
オブジェクトID:移動対象のオブジェクト14を識別する識別情報が格納される。図形が移動される場合は図形IDが格納される。ストロークが移動される場合はストロークデータIDが格納される。なお、選択/削除アイコン33により複数の図形ID、又は、ストロークが選択された場合、複数の図形ID又はストロークデータIDが格納される。
移動ベクトル:移動ベクトルには、オブジェクト14の現在の座標、移動速度、及び、移動方向が含まれる。移動ベクトルの計算方法などについては後述する。
図15(a)は、オブジェクト14の転送と、コマンド情報の対応を説明する図の一例である。タッチパネル1-1からタッチパネル1-2に、"201308241234"の送信時刻に、送信データが送信されている。コマンド情報は転送要求である。オブジェクトIDには、図形IDとしてz001が格納されているが、図形IDで特定される図形データも転送される。移動ベクトルは、x(t), y(t)が座標を、vが移動速度を、θが移動方向をそれぞれ示している。
図15(b)は、タッチパネル1-2から1-3にオブジェクト14が移動される際の送信データを示す図の一例である。タッチパネル1-2は、転送されたオブジェクト14をさらに転送する場合、コマンド情報に転送元のI/F番号(特許請求の範囲の送信元情報の一例である)を追加する。これにより、タッチパネル1-3は、タッチパネル1-2から転送されたオブジェクト14がどのタッチパネル(この場合はタッチパネル1-1)で最初に作成されたかを判断できる。
図15(c)は、タッチパネル1-3から1-2にオブジェクト14が移動される際の送信データを示す図の一例である。同様にタッチパネル1-3は、転送されたオブジェクト14をさらに転送する場合、コマンド情報に転送元のI/F番号を追加する。これにより、タッチパネル1-2は、タッチパネル1-3から転送されたオブジェクト14がどのタッチパネル100で最初に作成されたかだけでなく、オブジェクト14が経由した全てのタッチパネル100を判断できる。
オブジェクト14が経由した全てのタッチパネル100の履歴が記録されることで、ユーザはオブジェクト14が経由したいずれかのタッチパネル100に再度、オブジェクト14を表示させることができる。例えば、所定のアイコン(例えば、1回押下する毎に直前のタッチパネル100に戻るアイコン)が用意されている場合、ユーザが1回アイコンを押下する毎に、オブジェクト14がタッチパネル1-2→1-3→1-2→1-1の順に表示されるので、任意のタッチパネルで再度、表示することができる。
また、送信データには、転送されたオブジェクト14がどのタッチパネル100で最初に作成されたかという情報が含まれているので、上記の所定のアイコンを長押しするなどにより、オブジェクト14が最初に表示されたタッチパネル100がオブジェクト14を表示することができる。
〔移動ベクトルの計算など〕
図16は移動ベクトルを説明する図の一例である。ここでは図形の移動ベクトルについて説明する。
・破線の丸は、タッチパネル100の座標のサンプリングタイムt-1におけるオブジェクト14を表す。サンプリングタイムt-1において、オブジェクト14の座標はx(t-1), y(t-1)である。
・実線の丸は、タッチパネル100の座標のサンプリングタイムtにおけるオブジェクト14を表す。サンプリングタイムtにおいて、オブジェクト14の座標はx(t), y(t)である。
オブジェクトリソース管理部21は、このようにサンプリング周期の度にオブジェクト14の座標を検出するので、移動ベクトル算出部25はサンプリングタイムtにおける移動速度vを以下のように算出する。
・移動速度v=√[{x(t)−x(t-1)}+{y(t)−y(t-1)}]÷サンプリング周期
また、移動方向は、x方向の移動量とy方向の移動量から求められる。例えば水平方向を基準に移動方向をθで表す。
・移動方向θ=arctan{y(t)−y(t-1)/x(t)−x(t-1)}
図17は、転送トリガ範囲15を説明する図の一例である。転送トリガ範囲15は、オブジェクト14が存在する場合に転送するか否かを判定するディスプレイ200上の領域である。転送トリガ範囲15を定めることでディスプレイの全範囲で転送する否かを判定する必要がなくなり、負荷を低減できる。また、四辺の各辺毎に転送トリガ範囲15が設定されるので、転送先を絞り込んで転送するか否かを判定できる。
図17(a)は右側のタッチパネル100に転送するか否かが判定される転送トリガ範囲15の一例を示す図である。ディスプレイ200の中央部でやや広くなった直方体の形状となっている。転送トリガ範囲15の形状は一例であり、適宜、設計することができる。図17(a)の転送トリガ範囲15にオブジェクト14が存在する場合、転送先決定部27は右に隣接したタッチパネル100にオブジェクト14を転送するか否かを判定する。
図17(b)は下側のタッチパネル100に転送するか否かが判定される転送トリガ範囲15の一例を示す図である。図17(b)の転送トリガ範囲15にオブジェクト14が存在する場合、転送先決定部27は下に隣接したタッチパネル100にオブジェクト14を転送するか否かを判定する。
図17(c)は左側のタッチパネル100に転送するか否かが判定される転送トリガ範囲15の一例を示す図である。図17(c)の転送トリガ範囲15にオブジェクト14が存在する場合、転送先決定部27は左に隣接したタッチパネル100にオブジェクト14を転送するか否かを判定する。
図17(d)は上側のタッチパネル100に転送するか否かが判定される転送トリガ範囲15の一例を示す図である。図17(d)の転送トリガ範囲15にオブジェクト14が存在する場合、転送先決定部27は上に隣接したタッチパネル100にオブジェクト14を転送するか否かを判定する。
図17(e)は転送トリガ範囲15の重複について説明する図の一例である。転送トリガ範囲15の形状によるがディスプレイ200の四隅では2つの転送トリガ範囲15が重複する場合がある。この場合、転送先決定部27はそれぞれの転送トリガ範囲15が対応するタッチパネル100にオブジェクト14を転送するか否かを判定する。すなわち、転送判断を2回行えばよい。また、転送トリガ範囲15が重複しないように設計してもよい。
図18は、転送トリガ範囲15内のオブジェクト14の位置としきい値の関係を説明する図の一例である。図18(a)は転送トリガ範囲15に対応する辺とオブジェクト14との距離dを模式的に示す。しきい値はこの距離dに応じて可変である。具体的には、距離dが小さいほどしきい値は小さくなる。
図18(b)は距離dとしきい値の関係を説明する図の一例である。距離dが小さくなるほどしきい値は小さくなっている。また、距離dが大きくなるとしきい値は急激に大きくなる。こうすることで、ディスプレイ200の中央に近いオブジェクト14は、大きな移動速度でなければ転送されないので、ユーザが意図しないのに転送されることを抑制できる。また、ディスプレイ200の端に近いオブジェクト14は、小さい移動速度で転送させることができるが、しきい値が設定されているのでユーザの意図しない転送を抑制できる。
図19は転送先のタッチパネル100の決定について説明する図の一例である。移動ベクトルを算出することで、座標x(t), y(t)、移動方向θが明らかになっているので、転送先決定部27は、座標x(t), y(t)を通過して傾きθの移動線(特許請求の範囲の「延長した線」の一例である)を作成する。図では一例として2本の移動線が示されている。
移動線1:y=θ1・x+b
移動線2:y=θ2・x+b
また、タッチパネル100の4辺を表す式は以下のようになる。
上辺の直線L1:y=0 0<x<1280
右辺の直線L2:x=1280 0<y<1024
下辺の直線L3:y=1024 0<x<1280
左辺の直線L4:x=0 0<y<1024
転送先のタッチパネル100は、現在、オブジェクト14が表示されている転送トリガ範囲15により決定される。しかし、実際に、転送トリガ範囲15に対応したタッチパネル100に転送されるかどうか、移動線が転送トリガ範囲15に対応したタッチパネル100の辺と交差するかにより判断できる。
例えば、移動線1は、転送トリガ範囲15に対応したタッチパネル100の辺と交差するので、右に隣接したタッチパネル100に移動すると判断されるが、移動線2は、転送トリガ範囲15に対応したタッチパネル100の辺と交差しないので、右に隣接したタッチパネル100に移動するとは判断されない。
同様に、図17(a)の転送トリガ範囲15にあるオブジェクト14では移動線が直線L2と交差するか否かが判断され、図17(b)の転送トリガ範囲15にあるオブジェクト14では移動線が直線L3と交差するか否かが判断され、図17(c)の転送トリガ範囲15にあるオブジェクト14では移動線と直線L4と交差するか否かが判断され、図17(d)の転送トリガ範囲15にあるオブジェクト14では移動線と直線L1と交差するか否かが判断される。
図20は、転送先のタッチパネル100によるオブジェクト14の表示タイミングの決定について説明する図の一例である。転送先のタッチパネル100は送信データにより、座標x(t), y(t)、移動速度v、及び、移動方向θを取得する。
また、オブジェクト14と、転送元のタッチパネル100の端までの距離mは、座標x(t), y(t)とディスプレイ200のサイズから明らかになる。なお、ディスプレイ200の画素数は全てのタッチパネル100に共通か、又は、通信により互いに取得できる。
距離m=√{(1280-x(t))+(1024-y(t))
オブジェクト14が転送元のタッチパネル100の端に到達するための時間Tは以下のようになる。
時間T=距離m/移動速度v
また、送信データに送信時刻が含まれているので、送信時刻+時間Tに、転送先のタッチパネル100の画面表示管理部22はオブジェクト14を表示する。なお、実際には移動速度vは徐々に低下するので、移動速度vはタッチパネル100の端に到達するまでの平均速度か、減速度を考慮して補正された値とすることが好ましい。
また、オブジェクト14の表示位置は、転送先のタッチパネル100のオブジェクトリソース管理部21が、移動ベクトルから求める辺(直線L2に相当する)との交点により特定できる。
〔動作手順〕
図21は、オブジェクトリソース管理部21がオブジェクト14を転送するか否かを判定する手順を示すフローチャート図の一例である。
まず、オブジェクト選択受付部24はオブジェクト14が選択中か否かを判定する(S10)。すなわち、ユーザが選択/削除アイコン33で選択したオブジェクト14があるか否かを判定する。選択されていなければ転送する可能性がないためである。選択中とすることで、ユーザはディスプレイのオブジェクト14に触れたまま移動させたり(ドラッグ)、スワイプによりオブジェクト14を移動させることができる。
オブジェクト14が選択中の場合(S10のYes)、転送判定部26はオブジェクト14の位置が、転送トリガ範囲15内か否かを判定する(S20)。
転送トリガ範囲15内の場合(S20のYes)、移動ベクトル算出部25はオブジェクト14の移動ベクトルを算出する(S30)。すなわち、座標、移動速度v、移動方向θを算出する。
転送判定部26は、移動速度vがしきい値以上か否か判定する(S40)。すなわち、転送判定部26はオブジェクト14と辺までの距離dを算出し、距離dに応じたしきい値を決定し、しきい値と移動速度vを比較する。また、転送先決定部27は、移動ベクトルに基づき求められた移動線が転送トリガ範囲15に対応する辺と交差するか(移動方向が辺に向いているか)否かを判定する。
移動速度vがしきい値以上の場合(S40のYes)、オブジェクトリソース管理部21はデータ転送ドライバ23に送信データの送信を要求し、データ転送ドライバ23は送信データを転送先のタッチパネル100に送信する(S50)。
この後、転送元のタッチパネル100の画面表示管理部22は、オブジェクト14が転送元のタッチパネル100の端に到達するとオブジェクト14を消去する。また、転送先のタッチパネル100の画面表示管理部22は、オブジェクト14が転送元のタッチパネル100の端に到達する時間Tが経過するとオブジェクト14の表示を開始する。
このように、オブジェクト14が転送元のタッチパネル100に表示されている段階でオブジェクト14を転送することで、転送先のオブジェクト14は事前にオブジェクト14の送信データを受け取ることができる。転送先のタッチパネル100はオブジェクトの表示位置を予測するなどの表示準備をできるので、オブジェクト14を円滑に(転送元のタッチパネル100の端にオブジェクト14が到達するタイミングで)表示することができる。
〔タッチパネル以外のパネルシステムの構築例〕
図22(a)は、2つのプロジェクタ300によるパネルシステム500の構築例を示す図である。プロジェクタAとBはデータ転送I/F301により接続されている。したがって、プロジェクタAはプロジェクタBに、プロジェクタBはプロジェクタAに送信データを送信することができる。
プロジェクタAの投影面AとプロジェクタBの投影面Bは図示するように直線状に並んで配置されている。投影面A、BにおけるPDの座標は、例えば赤外線遮光方式による三角測量により求められる。また、ユーザの指や指示具をカメラで撮影して、指や指示具の座標を取得してもよい。
投影面Aで検出されたPDの座標はプロジェクタAに入力され、投影面Bで検出されたPDの座標はプロジェクタBに入力される。したがって、プロジェクタAは投影面AにおけるPDの座標を検出しており、プロジェクタBは投影面BにおけるPDの座標を検出している。または、投影面A,Bに関係なく座標を検出し、プロジェクタAとBの両方に入力されてもよい。プロジェクタA、Bは座標から自身の投影面か否かを判定できる。
このように複数のプロジェクタ300を用いてパネルシステム500を構築しても、例えばプロジェクタAは座標からオブジェクト14が選択されたことを検出して、移動することができるので、タッチパネル100の場合と同様に投影面Aから投影面Bにオブジェクト14を移動できる。
図22(b)は、2つのリアプロジェクション400によるパネルシステム500の構築例を示す図である。リアプロジェクションAとBはデータ転送I/F301により接続されている。したがって、リアプロジェクションAはリアプロジェクションBに、リアプロジェクションBはリアプロジェクションAに送信データを送信することができる。
リアプロジェクションAの投影表示面AとリアプロジェクションBの投影表示面Bは図示するように直線状に並んで配置されている。この場合のPDの座標は、同様に赤外線遮光方式による三角測量により求めてもよいし、背面(投影表示面の内側)からカメラで指示具又は指を撮影することなどで求められる。
したがって、複数のリアプロジェクション400を用いてパネルシステム500を構築しても、タッチパネル100の場合と同様に投影表示面Aから投影表示面Bにオブジェクト14を移動できる。
実施例1では、転送元のタッチパネル100がオブジェクト14の送信データを送信するだけで転送先のタッチパネル100がオブジェクト14を表示した。
しかしながら、転送元のタッチパネル100がオブジェクト14を転送した後、ユーザが転送を中断する場合がある。また、転送元のタッチパネル100がオブジェクト14の描画を行い、転送先のタッチパネル100が転送元とは独立にオブジェクト14の表示を開始すると、転送元のオブジェクト14の消去と転送先の描画のタイミングが一致しないおそれがある。
そこで、本実施例では、転送元のタッチパネル100と転送先のタッチパネル100が詳細な通信を行うことで、より円滑なオブジェクト14の転送が可能なパネルシステム500について説明する。
なお、本実施例ではハードウェア構成図やソフトウェア構成図は実施例1と同様であるとする。また、本実施例において、実施例1において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。
図23は、転送元のタッチパネル100がオブジェクト14を転送する手順を示すフローチャート図の一例であり、図24は、転送先のタッチパネル100がオブジェクト14の転送を受け付ける手順を示すフローチャート図の一例である。なお、ここでは転送元のタッチパネルをA、転送先のタッチパネルをBとする。
オブジェクト選択受付部24は、転送元のタッチパネル100のオブジェクト14が選択中か否かを判定する(S110)。選択中のオブジェクト14がある場合、オブジェクトリソース管理部21はデータ転送ドライバ23へオブジェクト14の転送の可能性があることを通知する。
選択中のオブジェクト14がある場合(S110のYes)、データ転送ドライバ23は、タッチパネルAがデータ転送主体であるか否かを判別する。例えばI/F11がUSBの場合、USBの規格上、ホスト-デバイス構成においてホスト側デバイスがデータ転送主体となるような制約がある。タッチパネルAがデバイスの役割にアサインされていると、タッチパネルBへデータ転送を主導できない。このため、自身がホストの役割にアサインされるよう、タッチパネルBとOTG(On The Go)規格に準じてネゴシエーションする必要が生じる。また、例えばI/F11がPCI-Expressである場合、ルート-エンドポイント構成において何れもデータ転送主体となることができるため、ステップS120の判別ステップは不要である(強制的にステップS140に進む)。
タッチパネルAがデータ転送主体でない場合(S120のNo)、データ転送ドライバ23は、タッチパネルAがデータ転送主体となるよう、タッチパネルBとネゴシエーションし、データ転送主体に必要なコンフィグレーション設定を行う(S130)。例えばI/F11がUSBである場合、OTG規格に準じてSRP(Session Request Protocol)、HNP(Host Negotiation Protocol)により自身がホストとなるようなプロトコルを実行する。
タッチパネルAがデータ転送主体となると、転送判定部26は、オブジェクト14の位置が転送トリガ範囲15内か否かを判定する(S140)。
オブジェクト14の位置が転送トリガ範囲15内の場合(S140のYes)、移動ベクトル算出部25は、オブジェクト14の移動ベクトルを算出する(S150)。
転送先決定部27は、移動ベクトルの移動方向θがタッチパネルBの方向を向いているか否かを判定する(S160)。すなわち、移動ベクトルから求めた移動線が、転送トリガ範囲15に応じて決定されるタッチパネルBと接する辺と交差するか否かを判定する。
移動ベクトルの移動方向θがタッチパネルBの方向を向いていない場合(S160のNo)、転送先決定部27は、図形データにおけるオブジェクト14の転送先を参照し、オブジェクト14の送信データがタッチパネルBに転送済みか否かを判別する(S170)。この判定は、いったん、転送条件を満たしたため(例えば、移動ベクトルの移動方向θがタッチパネルBの方向だった、移動速度がしきい値以上だった)転送されたが、後にオブジェクト14の向きが変わったため転送すべきでなかったことを検出するための判定である。
オブジェクト14の送信データがタッチパネルBに転送済みの場合(S170のYes)、オブジェクトリソース管理部21は、タッチパネルBに対し転送済みオブジェクト14のデータ(ここでは図形データ)の削除要求を送信するよう、データ転送ドライバ23に対して通知する(S180)。
移動ベクトルの移動方向θがタッチパネルBの方向を向いている場合(S170のYes)、転送判定部26は、移動ベクトルの移動速度vがしきい値以上か否か判定する(S190)。
移動ベクトルの移動速度vがしきい値以上である場合(S190のYes)、転送先決定部27は、図形データにおけるオブジェクト14の転送先を参照し、オブジェクト14の送信データがタッチパネルBに転送済みか否かを判別する(S200)。この判定は、再度、同じオブジェクト14の送信データを送信する必要はないためである。
オブジェクト14の送信データがタッチパネルBに転送済みでない場合(S200のNo)、オブジェクトリソース管理部21はデータ転送ドライバ23に送信データの送信を要求し、データ転送ドライバ23は送信データを転送先のタッチパネルBに送信する(S210)。
次に、画面表示管理部22は、オブジェクト14がタッチパネルAのディスプレイ200の端部に移動したか(画面外へ移動したため画面から消えたか)否かを判定する(S220)。
オブジェクト14がタッチパネルAのディスプレイ200の端部に移動した場合(S220のYes)、画面表示管理部22は、タッチパネルBに対して転送済みのオブジェクト14を、転送済みの送信データに基づいてディスプレイ200に表示するよう、データ転送ドライバ23を介して通知する(S230)。
続いて、図24を用いて、転送先のタッチパネルBの処理手順について説明する。
まず、タッチパネルBのデータ転送ドライバ23は、タッチパネルBがデータ転送主体であるか否かを判定する(S310)。この判定は、タッチパネルBがデータ転送主体である必要がないため、タッチパネルAからのネゴシエーションを受け付けるためである。
タッチパネルBがデータ転送主体である場合(S310のYes)、タッチパネルBのデータ転送ドライバ23はタッチパネルAから、ステップS130のネゴシエーション通知があるか否かをポーリングする(S320)。
タッチパネルAからネゴシエーション通知がある場合(S320のYes)、タッチパネルBのデータ転送ドライバ23は、タッチパネルAがデータ転送主体となるよう、タッチパネルAとネゴシエーションする(S330)。
次に、転送先決定部27は、保持しているオブジェクト14の図形データの転送元を参照し、タッチパネルAからステップS210のオブジェクト14の転送が既にあったか否かを判定する(S340)。
タッチパネルAからオブジェクト14の転送がない場合(S340のNo)、データ転送ドライバ23は、タッチパネルAから送信データの転送通知があるか否かを判別する(S350)。すなわち、タッチパネルAとBのデータ転送ドライバ23同士のレベルで送信データが送受信されたか否かを判定する。
タッチパネルAから送信データの転送通知がある場合(S350のYes)、データ転送ドライバ23は、タッチパネルAからの送信データを受け付け、受信したオブジェクト14の情報をオブジェクトリソース管理部21に通知する(S360)。
次に、タッチパネルBのデータ転送ドライバ23は、タッチパネルAからステップS230のオブジェクト14の画面表示通知があるか否かをポーリングする(S370)。
タッチパネルAからオブジェクト14の画面表示通知があった場合(S370のYes)、データ転送ドライバ23はタッチパネルAによる画面表示通知を画面表示管理部22に通知し、画面表示管理部22により既に転送されたオブジェクト14の送信データに基づき、オブジェクト14をディスプレイ200に表示する(S380)。このように、タッチパネルAからオブジェクト14の画面表示通知があった場合にタッチパネルBがオブジェクト14を表示するので、タッチパネルAで表示しなくなったタイミングでタッチパネルBがオブジェクト14を表示できる。
次に、データ転送ドライバ23は、タッチパネルAからステップS180のオブジェクト14の削除通知があるか否かをポーリングする(S390)。
オブジェクト14の削除通知があった場合(S390のYes)、データ転送ドライバ23は、オブジェクト14の削除通知をオブジェクトリソース管理部21に通知し、オブジェクトリソース管理部21は転送済みのオブジェクト14の図形データを削除する(S400)。すなわち、図形データの「描画」をFに設定するが、レコードそのものを削除してもよい。また、画面表示管理部22はオブジェクト14をディスプレイ200に表示しなくなる。このように、いったん表示した後でも、タッチパネルAから削除通知があるとタッチパネルBは表示を終了するので、転送されなかったオブジェクト14を表示することを抑制できる。
したがって、本実施例のパネルシステム500は、転送元のタッチパネルがオブジェクト14を転送したか否かを確実に判定して、転送先のタッチパネルに受け渡すことができる。すなわち、誤って転送した場合には、転送先のタッチパネルがオブジェクト14を削除することができる。転送元のタッチパネルでオブジェクト14が消えたタイミングで転送先のタッチパネルに表示を要求できる。
11 I/F
12 ブラケット
13 電子ペン
14 オブジェクト
15 転送トリガ範囲
16 コネクタ
21 オブジェクトリソース管理部
22 画面表示管理部
23 データ転送ドライバ
24 オブジェクト選択受付部
25 移動ベクトル算出部
26 転送判定部
27 転送先決定部
29 データ記憶部
100 タッチパネル
500 パネルシステム
特開2003−271118号公報

Claims (15)

  1. 画像を表示する表示手段を有する複数の情報処理装置が少なくとも2つ以上通信可能に接続されたシステムであって、
    第1の情報処理装置は、
    前記第1の情報処理装置の表示手段における表示対象物の表示を制御する第1の表示制御手段と、
    前記第1の情報処理装置の表示手段の表示面に対する指示操作により指示された位置を検出する指示位置検出手段と、
    前記指示位置検出手段が検出した位置に基づいて、前記第1の情報処理装置の表示手段に表示されている前記表示対象物の表示位置の移動を受け付ける受け付け手段と、
    前記受け付け手段により移動された前記表示対象物の表示位置の移動に関する移動情報を算出する移動情報算出手段と、
    前記移動情報算出手段によって算出された前記移動情報に基づいて、前記第1の情報処理装置と接続された第2の情報処理装置に前記表示対象物に関する表示対象物情報と前記表示対象物の前記移動情報とを送信するか否かを判定する判定手段と、
    前記判定手段が前記第2の情報処理装置に前記表示対象物を送信すると判定した場合、前記第2の情報処理装置に、前記表示対象物の前記表示対象物情報と前記移動情報とを送信する送信手段と、を有し、
    前記第2の情報処理装置は、
    前記送信手段により送信された前記表示対象物の前記表示対象物情報と前記移動情報とに基づいて、前記第2の情報処理装置の表示手段における前記表示対象物の表示を制御する第2の表示制御手段を有する、ことを特徴とするシステム。
  2. 前記第1の表示制御手段は、前記送信手段が前記表示対象物情報と前記移動情報とを送信した後、前記表示対象物が前記第2の情報処理装置の表示手段に到達するタイミングで前記第1の情報処理装置の表示手段に表示されている前記表示対象物を消去し、
    前記第2の表示制御手段は、前記移動情報に基づく前記表示対象物が前記第2の情報処理装置の表示手段に到達するタイミングで、前記表示対象物情報に基づき前記表示対象物を前記第2の情報処理装置の表示手段に表示する、
    ことを特徴とする請求項1記載のシステム。
  3. 前記移動情報は、前記表示対象物の位置、移動方向、及び、移動速度を含む、ことを特徴とする請求項1又は2記載のシステム。
  4. 前記判定手段は、前記移動速度がしきい値以上の場合、
    第2の情報処理装置に前記表示対象物情報と前記移動情報とを送信すると判定する、
    ことを特徴とする請求項3記載のシステム。
  5. 前記移動方向に存在する第2の表示手段を特定する表示手段特定手段を有し、
    前記表示手段特定手段は、前記第1の情報処理装置の表示手段の四辺ごとに予め定められた判定範囲に前記表示対象物が存在する場合、前記移動方向に延長した線が前記判定範囲と対応する辺と交差するか否かを判定し、前記判定範囲と対応する辺と交差する場合、該辺と隣接した表示手段を前記移動方向に存在する前記第2の表示手段に特定する、
    ことを特徴とする請求項3記載のシステム。
  6. 前記判定手段は、前記位置と前記第1の情報処理装置の表示手段のサイズに基づき、前記表示対象物から前記第1の情報処理装置の表示手段の端部までの距離を算出し、
    前記距離が短いほど小さいしきい値と前記移動速度を比較する、
    ことを特徴とする請求項3〜5いずれか1項記載のシステム。
  7. 前記第1の表示制御手段は前記第1の情報処理装置の表示手段に表示されている前記表示対象物を消去したことを前記第2の表示制御手段に通知し、
    前記第2の表示制御手段は前記第1の表示制御手段から消去の通知を取得した後に、前記送信手段により送信された前記表示対象物情報と前記移動情報に基づき、前記表示対象物を前記第2の情報処理装置の表示手段に表示する、
    ことを特徴とする請求項1〜3いずれか1項記載のシステム。
  8. 前記送信手段が、前記表示対象物の前記表示対象物情報と前記移動情報を送信した後、
    前記移動情報算出手段は、再度、前記移動情報を算出し、
    前記表示手段特定手段は、再度算出された前記移動方向に、前記表示対象物情報と前記移動情報が送信された第2の情報処理装置の表示手段が存在するか否かを判定し、
    再度算出された前記移動方向に、前記表示対象物情報と前記移動情報が送信された第2の情報処理装置の表示手段が存在しない場合、
    前記送信手段は、前記表示対象物情報と前記移動情報が送信された前記第2の情報処理装置に対し前記表示対象物の消去を要求する、
    ことを特徴とする請求項5項記載のシステム。
  9. 前記第2の表示制御手段が前記表示対象物を前記第2の情報処理装置の表示手段に表示した後、
    前記送信手段から前記表示対象物の消去が要求された場合、
    前記第2の表示制御手段は前記表示対象物を前記第2の情報処理装置の表示手段から消去する、ことを特徴とする請求項5項記載のシステム。
  10. 前記第2の情報処理装置は、
    前記送信手段から受信した前記表示対象物の前記表示対象物情報と前記移動情報を第3の情報処理装置に送信する際、前記第2の情報処理装置が送信元であるという情報と共に、過去の送信元情報として前記第1の情報処理装置の識別情報を送信し、
    前記第3の情報処理装置は、
    前記第2の情報処理装置から受信した前記表示対象物情報と前記移動情報を第4の情報処理装置に送信する際、前記第3の情報処理装置が送信元であるという情報と共に、過去の送信元情報として前記第1の情報処理装置及び前記第2の情報処理装置の識別情報を送信する、ことを特徴とする請求項1〜9いずれか1項記載のシステム。
  11. 前記表示面は投影装置が画像を投影する投影面であり、前記複数の情報処理装置として複数の投影装置のそれぞれが通信可能に接続されている、
    ことを特徴とする請求項1〜10いずれか1項記載のシステム。
  12. 画像を表示する表示手段を有する他の情報処理装置と通信可能に接続され情報処理装置であって、
    当該情報処理装置の表示手段における表示対象物の表示を制御する第1の表示制御手段と、
    当該情報処理装置の表示手段の表示面に対する指示操作により指示された位置を検出する指示位置検出手段と、
    前記指示位置検出手段が検出した位置に基づいて、当該情報処理装置の表示手段に表示されている前記表示対象物の表示位置の移動を受け付ける受け付け手段と、
    前記受け付け手段により移動された前記表示対象物の表示位置の移動に関する移動情報を算出する移動情報算出手段と、
    前記移動情報算出手段によって算出された前記移動情報に基づいて、当該情報処理装置と接続された他の情報処理装置に前記表示対象物に関する表示対象物情報と前記表示対象物の前記移動情報とを送信するか否かを判定する判定手段と、
    前記判定手段が前記他の情報処理装置に前記表示対象物を送信すると判定した場合、前記他の情報処理装置に、前記表示対象物の前記表示対象物情報と前記移動情報とを送信する送信手段と、を有することを特徴とする情報処理装置。
  13. 画像を表示する表示手段を有する複数の情報処理装置が少なくとも2つ以上通信可能に接続されたシステムの画像表示方法であって、
    第1の情報処理装置は、
    第1の表示制御手段が、前記第1の情報処理装置の表示手段における表示対象物の表示を制御するステップと、
    指示位置検出手段が、前記第1の情報処理装置の表示手段の表示面に対する指示操作により指示された位置を検出するステップと、
    前記指示位置検出手段が検出した位置に基づいて、受け付け手段が、前記第1の情報処理装置の表示手段に表示されている前記表示対象物の表示位置の移動を受け付けるステップと、
    移動情報算出手段が、前記受け付け手段により移動された前記表示対象物の表示位置の移動に関する移動情報を算出するステップと、
    判定手段が、前記移動情報算出手段によって算出された前記移動情報に基づいて、前記第1の情報処理装置と接続された第2の情報処理装置に前記表示対象物に関する表示対象物情報と前記表示対象物の前記移動情報とを送信するか否かを判定するステップと、
    前記判定手段が前記第2の情報処理装置に前記表示対象物を送信すると判定した場合、前記第2の情報処理装置に、送信手段が、前記表示対象物の前記表示対象物情報と前記移動情報とを送信するステップと、を有し、
    前記第2の情報処理装置は、
    第2の表示制御手段が、前記送信手段により送信された前記表示対象物の前記表示対象物情報と前記移動情報とに基づいて、前記第2の情報処理装置の表示手段における前記表示対象物の表示を制御するステップを有する、ことを特徴とする画像表示方法。
  14. 画像を表示する表示手段を有する他の情報処理装置と通信可能に接続され情報処理装置を、
    当該情報処理装置の表示手段における表示対象物の表示を制御する第1の表示制御手段、
    当該情報処理装置の表示手段の表示面に対する指示操作により指示された位置を検出する指示位置検出手段、
    前記指示位置検出手段が検出した位置に基づいて、当該情報処理装置の表示手段に表示されている前記表示対象物の表示位置の移動を受け付ける受け付け手段、
    前記受け付け手段により移動された前記表示対象物の表示位置の移動に関する移動情報を算出する移動情報算出手段、
    前記移動情報算出手段によって算出された前記移動情報に基づいて、当該情報処理装置と接続された他の情報処理装置に前記表示対象物に関する表示対象物情報と前記表示対象物の前記移動情報とを送信するか否かを判定する判定手段、
    前記判定手段が前記他の情報処理装置に前記表示対象物を送信すると判定した場合、前記他の情報処理装置に、前記表示対象物の前記表示対象物情報と前記移動情報とを送信する送信手段、として機能させるプログラム。
  15. 請求項14記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2013191152A 2013-09-13 2013-09-13 システム、情報処理装置、画像表示方法、プログラム、記憶媒体 Active JP6255826B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013191152A JP6255826B2 (ja) 2013-09-13 2013-09-13 システム、情報処理装置、画像表示方法、プログラム、記憶媒体
US14/477,050 US20150077365A1 (en) 2013-09-13 2014-09-04 System, information processing apparatus, and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013191152A JP6255826B2 (ja) 2013-09-13 2013-09-13 システム、情報処理装置、画像表示方法、プログラム、記憶媒体

Publications (2)

Publication Number Publication Date
JP2015056172A true JP2015056172A (ja) 2015-03-23
JP6255826B2 JP6255826B2 (ja) 2018-01-10

Family

ID=52667511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013191152A Active JP6255826B2 (ja) 2013-09-13 2013-09-13 システム、情報処理装置、画像表示方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US20150077365A1 (ja)
JP (1) JP6255826B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201036A (ja) * 2015-04-13 2016-12-01 Sky株式会社 端末結合表示システム及び端末結合表示プログラム
JP2016225762A (ja) * 2015-05-28 2016-12-28 コニカミノルタ株式会社 操作表示システム、操作表示装置および操作表示プログラム
EP3229115A1 (en) 2016-04-08 2017-10-11 Fujitsu Limited Control device, control method, and control program
WO2018173596A1 (ja) 2017-03-21 2018-09-27 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP2019061584A (ja) * 2017-09-27 2019-04-18 富士通株式会社 表示制御方法、情報処理装置、及び情報表示システム
JP2019139351A (ja) * 2018-02-07 2019-08-22 コニカミノルタ株式会社 複合機、ディスプレイ共用方法、およびコンピュータプログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305210B2 (en) * 2013-11-19 2016-04-05 Kabushiki Kaisha Toshiba Electronic apparatus and method for processing document
US20150338943A1 (en) * 2014-05-23 2015-11-26 Microsoft Corporation Inter-display communication
US9880799B1 (en) * 2014-08-26 2018-01-30 Sprint Communications Company L.P. Extendable display screens of electronic devices
US9405387B2 (en) * 2014-09-17 2016-08-02 Getac Technology Corporation Cursor control apparatus and cursor control method thereof
US10409485B2 (en) * 2014-10-09 2019-09-10 Touchplus Information Corp. Adaptive user input device
USD761301S1 (en) * 2014-12-11 2016-07-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
JP6640468B2 (ja) * 2015-04-22 2020-02-05 Necディスプレイソリューションズ株式会社 表示システム、表示装置、調整方法
TWI574195B (zh) * 2015-07-27 2017-03-11 緯創資通股份有限公司 光學觸控裝置
CN106610778A (zh) * 2015-10-23 2017-05-03 青岛海信移动通信技术股份有限公司 一种双屏移动终端控制方法及双屏移动终端
CN105426147B (zh) * 2015-11-09 2019-04-16 Tcl新技术(惠州)有限公司 一种拼接显示装置及控制方法
JP2017182109A (ja) * 2016-03-28 2017-10-05 セイコーエプソン株式会社 表示システム、情報処理装置、プロジェクター及び情報処理方法
JP6760008B2 (ja) * 2016-11-21 2020-09-23 富士通株式会社 コンテンツ制御装置、コンテンツ制御プログラムおよびコンテンツ制御方法
US10387747B2 (en) * 2017-06-26 2019-08-20 Huddly As Intelligent whiteboard collaboratio systems and methods
CN107368272A (zh) * 2017-06-30 2017-11-21 百富计算机技术(深圳)有限公司 一种双屏异触异显的方法、装置及计算机可读存储介质
US11093197B2 (en) * 2017-07-31 2021-08-17 Stmicroelectronics, Inc. System and method to increase display area utilizing a plurality of discrete displays
AU2019243683A1 (en) * 2018-03-27 2020-11-19 Vizetto Inc. Systems and methods for multi-screen display and interaction
CN109036231B (zh) * 2018-07-30 2021-04-23 Tcl华星光电技术有限公司 显示面板检测方法及显示面板辅助检测装置
CN114144758B (zh) * 2020-04-30 2024-02-20 京东方科技集团股份有限公司 显示方法、显示控制方法、显示终端、服务器和显示系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644001A (ja) * 1992-07-27 1994-02-18 Toshiba Corp 表示制御装置及び表示制御方法
JP2009086048A (ja) * 2007-09-27 2009-04-23 Brother Ind Ltd プロジェクタシステム及びその駆動方法
JP2010257259A (ja) * 2009-04-24 2010-11-11 Kyocera Corp 携帯端末装置
JP2012164240A (ja) * 2011-02-09 2012-08-30 Hitachi Consumer Electronics Co Ltd 情報処理端末及び複数情報処理端末関連付け方法
JP2013041519A (ja) * 2011-08-19 2013-02-28 Konica Minolta Business Technologies Inc 画像形成装置および画像形成システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008299619A (ja) * 2007-05-31 2008-12-11 Toshiba Corp モバイル機器、データ転送方法、およびデータ転送システム
US9830123B2 (en) * 2009-06-09 2017-11-28 Samsung Electronics Co., Ltd. Method for transmitting content with intuitively displaying content transmission direction and device using the same
JP6271960B2 (ja) * 2012-11-26 2018-01-31 キヤノン株式会社 情報処理システム
KR20140090297A (ko) * 2012-12-20 2014-07-17 삼성전자주식회사 근거리 무선 통신(nfc)을 이용하는 화상 형성 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644001A (ja) * 1992-07-27 1994-02-18 Toshiba Corp 表示制御装置及び表示制御方法
JP2009086048A (ja) * 2007-09-27 2009-04-23 Brother Ind Ltd プロジェクタシステム及びその駆動方法
JP2010257259A (ja) * 2009-04-24 2010-11-11 Kyocera Corp 携帯端末装置
JP2012164240A (ja) * 2011-02-09 2012-08-30 Hitachi Consumer Electronics Co Ltd 情報処理端末及び複数情報処理端末関連付け方法
JP2013041519A (ja) * 2011-08-19 2013-02-28 Konica Minolta Business Technologies Inc 画像形成装置および画像形成システム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201036A (ja) * 2015-04-13 2016-12-01 Sky株式会社 端末結合表示システム及び端末結合表示プログラム
JP2016225762A (ja) * 2015-05-28 2016-12-28 コニカミノルタ株式会社 操作表示システム、操作表示装置および操作表示プログラム
EP3229115A1 (en) 2016-04-08 2017-10-11 Fujitsu Limited Control device, control method, and control program
US10429989B2 (en) 2016-04-08 2019-10-01 Fujitsu Limited Control device, control method, and computer readable storage medium
WO2018173596A1 (ja) 2017-03-21 2018-09-27 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP2018156599A (ja) * 2017-03-21 2018-10-04 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
US10866777B2 (en) 2017-03-21 2020-12-15 Fujitsu Limited Information processing apparatus, information processing system and information processing method
JP2019061584A (ja) * 2017-09-27 2019-04-18 富士通株式会社 表示制御方法、情報処理装置、及び情報表示システム
JP2019139351A (ja) * 2018-02-07 2019-08-22 コニカミノルタ株式会社 複合機、ディスプレイ共用方法、およびコンピュータプログラム
JP7446050B2 (ja) 2018-02-07 2024-03-08 コニカミノルタ株式会社 複合機、ディスプレイ共用方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
US20150077365A1 (en) 2015-03-19
JP6255826B2 (ja) 2018-01-10

Similar Documents

Publication Publication Date Title
JP6255826B2 (ja) システム、情報処理装置、画像表示方法、プログラム、記憶媒体
WO2022022495A1 (zh) 一种跨设备的对象拖拽方法及设备
US10788977B2 (en) System and method for displaying information on transparent display device
US9898155B2 (en) Multiple window providing apparatus and method
US9910499B2 (en) System and method for detecting three dimensional gestures to initiate and complete the transfer of application data between networked devices
KR102010955B1 (ko) 프리뷰 제어 방법 및 이를 구현하는 휴대 단말
JP5507494B2 (ja) タッチ・スクリーンを備える携帯式電子機器および制御方法
EP3136214A1 (en) Touch operation method and apparatus for terminal
AU2013260292B2 (en) Multiple window providing apparatus and method
WO2018086234A1 (zh) 一种对象处理方法和终端
EP2753053A1 (en) Method and apparatus for dynamic display box management
JP6543960B2 (ja) 表示装置、表示制御方法およびプログラム
JP2012185297A (ja) マルチディスプレイシステム、情報処理端末装置、情報処理方法及びコンピュータプログラム
CN112947825A (zh) 显示控制方法、装置、电子设备及介质
JP5905783B2 (ja) 画像表示システム
US9395838B2 (en) Input device, input control method, and input control program
JP5823934B2 (ja) 携帯通信端末、データ受け取りプログラムおよびデータ受け取り方法
JP2014203305A (ja) 電子機器、電子機器の制御方法、電子機器の制御プログラム
JP2013161247A (ja) 操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体
JP5642425B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、及び記録媒体
US11221760B2 (en) Information processing apparatus, information processing method, and storage medium
TWI483175B (zh) 資料分享系統及其資料分享方法
JP6682768B2 (ja) 表示システム、表示装置、情報処理装置及び制御方法
JP5819477B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、及び記録媒体
JP2017123055A (ja) 画像処理装置、プレビュー画像の表示制御方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171120

R151 Written notification of patent or utility model registration

Ref document number: 6255826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151