JP2012133068A - Multi-display system, terminal, method and program - Google Patents

Multi-display system, terminal, method and program Download PDF

Info

Publication number
JP2012133068A
JP2012133068A JP2010284154A JP2010284154A JP2012133068A JP 2012133068 A JP2012133068 A JP 2012133068A JP 2010284154 A JP2010284154 A JP 2010284154A JP 2010284154 A JP2010284154 A JP 2010284154A JP 2012133068 A JP2012133068 A JP 2012133068A
Authority
JP
Japan
Prior art keywords
terminal
adjacent
terminals
display
connection operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010284154A
Other languages
Japanese (ja)
Other versions
JP5282079B2 (en
Inventor
Taro Kawai
太郎 河合
Kazuhiro Ninomiya
一浩 二宮
Michitaka Ono
道誉 大野
Shinichiro Oda
慎一郎 小田
Hikari Mimura
ひかり 三村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2010284154A priority Critical patent/JP5282079B2/en
Publication of JP2012133068A publication Critical patent/JP2012133068A/en
Application granted granted Critical
Publication of JP5282079B2 publication Critical patent/JP5282079B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To easily and dynamically realize multi-display in which multiple display devices are combined.SOLUTION: A terminal or a server easily and dynamically realizes multi-display without any special hardware, by determining the adjacent relationship of a terminal based on performed prescribed connection operations such as light collision and a touch operation on the adjacent information display device, i.e., the terminal, and performing display control according to the adjacent relationship. The multi-display is also easily realized by an intuitive operation to simultaneously perform a connection operation to a terminal of a connection target. Preferable example is a combination of mobile terminals, such as smartphones carried by many people, to configure a muti-display whenever necessary.

Description

本発明は、マルチディスプレイに関する。   The present invention relates to a multi-display.

多数人に見せるデジタルサイネージなど各種情報技術分野において、テレビジョン受像機やプラズマ、液晶などの表示装置を複数組み合わせて1つの大画面を構成するマルチディスプレイが知られている。従来のマルチディスプレイでは、各表示装置を、予め計画した相互の位置関係通りに固定して設置し、表示内容全体を分割した部分画像を前記位置関係に合わせて各表示装置に出力することで全体の表示内容を表示していた。   2. Description of the Related Art In various information technology fields such as digital signage that can be seen by many people, there are known multi-displays that constitute a single large screen by combining a plurality of display devices such as a television receiver, plasma, and liquid crystal. In a conventional multi-display, each display device is fixedly installed according to a mutual planned positional relationship, and a partial image obtained by dividing the entire display content is output to each display device in accordance with the positional relationship. Was displayed.

特許第3979145号Patent No. 3979145

しかしながら、表示装置ごとに位置関係や表示する部分画像との関係を予め定めておくことは、煩雑なうえ、状況や機会に応じて動的に構成する柔軟性に欠け、適用分野が限られるという課題があった。   However, predetermining the positional relationship and the relationship with the partial image to be displayed in advance for each display device is cumbersome and lacks the flexibility of dynamically configuring according to the situation and opportunity, and is limited in application fields. There was a problem.

なお、複数の表示装置の組み合わせ方に柔軟性を持たせるため、単位となる各表示装置に、上下左右方向に対応した接続ポートを設け、隣接する表示装置の隣接方向に応じた接続ポート同士をケーブル接続することで位置関係を識別させる技術はあるが(例えば、特許文献1参照)、接続用のポートやケーブルといった4方向の各々に独立した専用の特殊なハードウェアが必須で、機会に応じて動的に利用可能な技術ではないという課題があった。また、この技術では、隣接させる方向を考慮したケーブル接続が必要で、操作が直感的でないという課題もあった。   In addition, in order to give flexibility in how to combine a plurality of display devices, each display device as a unit is provided with connection ports corresponding to the vertical and horizontal directions, and connection ports according to the adjacent directions of adjacent display devices are provided. Although there is a technique for identifying the positional relationship by connecting a cable (see, for example, Patent Document 1), dedicated special hardware independent of each of the four directions such as connection ports and cables is indispensable, depending on the occasion There is a problem that the technology is not dynamically available. In addition, this technique has a problem that the cable connection considering the adjacent directions is necessary and the operation is not intuitive.

上記のような課題に対し、本発明の目的は、複数の表示装置を組み合わせたマルチディスプレイを簡易かつ動的に実現することである。   In view of the above problems, an object of the present invention is to easily and dynamically realize a multi-display in which a plurality of display devices are combined.

上記の目的をふまえ、本発明の一態様(1)は、複数の端末と、前記端末を制御するサーバ装置と、を有し、前記複数の端末を組み合わせて単一の画像を表示するマルチディスプレイシステムであって、前記端末は、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付手段と、端末で入力された操作の情報を前記サーバ装置へ伝送する操作伝送手段と、を有し、前記サーバ装置は、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定手段と、前記隣接関係を有する端末に対しその隣接関係に応じた前記画像の表示部分を表示する制御を行う表示制御手段と、を有することを特徴とする。   Based on the above object, one aspect (1) of the present invention is a multi-display that includes a plurality of terminals and a server device that controls the terminals, and displays a single image by combining the plurality of terminals. In the system, the terminal transmits to the server device connection information receiving means for receiving a predetermined connection operation including information on the adjacent direction, which is simultaneously input to the adjacent terminal, and the operation input by the terminal. Operation transmission means, and the server device determines the adjacency relationship between terminals based on the timing of the connection operation input to a plurality of the terminals and information on the adjacency direction, and Display control means for performing control to display a display portion of the image corresponding to the adjacent relationship with respect to a terminal having the adjacent relationship.

本発明の他の態様(7)は、上記態様を方法のカテゴリで捉えたもので、複数の端末と、前記端末を制御するサーバ装置と、を有し、前記複数の端末を組み合わせて単一の画像を表示するマルチディスプレイシステムにおける情報処理方法であって、前記端末においてコンピュータが、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付処理と、前記端末においてコンピュータが、端末で入力された操作の情報を前記サーバ装置へ伝送する操作伝送処理と、前記サーバ装置においてコンピュータが、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定処理と、前記端末及び前記サーバ装置の少なくとも一方においてコンピュータが、前記隣接関係を有する端末に対しその隣接関係に応じた前記画像の表示部分を表示する制御を行う表示制御処理と、を行うことを特徴とする。   Another aspect (7) of the present invention captures the above aspect in a method category, and includes a plurality of terminals and a server device that controls the terminals. An information processing method in a multi-display system for displaying a plurality of images, wherein a connection operation receiving process in which a computer in the terminal is simultaneously input to a terminal adjacent to the terminal and receives a predetermined connection operation including information on an adjacent direction; and the terminal The operation transmission process in which the computer transmits the operation information input at the terminal to the server device, and the connection operation timing and the adjacent direction information input to the plurality of terminals by the computer in the server device Based on the determination process for determining the adjacency relationship between the terminals and at least one of the terminal and the server device. Computer, characterized in that performing a display control process for controlling to display the display portion of the image corresponding to the adjacency to the terminal having the adjacency.

本発明の他の態様(6)は、本発明を端末として捉えたもので、他の端末と複数組み合わせて単一の画像を表示する端末であって、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付手段と、端末で入力された操作の情報を他の端末との間で伝送する操作伝送手段と、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定手段と、前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行う表示制御手段と、を有することを特徴とする。   Another aspect (6) of the present invention captures the present invention as a terminal, which is a terminal that displays a single image in combination with a plurality of other terminals, and is simultaneously input to adjacent terminals and is adjacent to each other. Connection operation accepting means for accepting a predetermined connection operation including information on the operation, operation transmission means for transmitting operation information inputted at the terminal to other terminals, and the connection operation inputted at a plurality of the terminals Determination means for determining an adjacency relationship between terminals based on information on the timing and the adjacency direction, and display control means for performing display control according to the adjacency relationship for the terminals having the adjacency relationship It is characterized by.

本発明の他の態様(8)は、上記態様を方法のカテゴリで捉えたもので、他の端末と複数組み合わせて単一の画像を表示する端末における情報処理方法であって、コンピュータが、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付処理と、コンピュータが、端末で入力された操作の情報を他の端末との間で伝送する操作伝送処理と、コンピュータが、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定処理と、コンピュータが、前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行う表示制御処理と、を行うことを特徴とする。   Another aspect (8) of the present invention is an information processing method in a terminal that displays a single image by combining a plurality of the above aspects with a method category, and displays a single image. A connection operation reception process for receiving a predetermined connection operation including information on an adjacent direction that is simultaneously input to the terminal to be operated, and an operation transmission process for the computer to transmit operation information input at the terminal to other terminals A determination process in which a computer determines an adjacency relationship between terminals based on the timing of the connection operation and information on the adjoining direction input to the plurality of terminals; And display control processing for performing display control according to the adjacent relationship.

本発明の他の態様(9)は、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、他の端末と複数組み合わせて単一の画像を表示する端末のコンピュータを制御するコンピュータ・プログラムであって、コンピュータに、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付けさせ、コンピュータに、端末で入力された操作の情報を他の端末との間で伝送させ、コンピュータに、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定させ、コンピュータに、前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行わせることを特徴とする。   Another aspect (9) of the present invention is a computer program for controlling the computer of a terminal that displays a single image in combination with other terminals by capturing the above aspect in the category of a computer program. The computer receives a predetermined connection operation that is simultaneously input to the adjacent terminal and includes information on the adjacent direction, and causes the computer to transmit the operation information input at the terminal to other terminals. To determine the adjacency relationship between the terminals based on the timing of the connection operation input to the plurality of terminals and the information on the adjacency direction, and allow the computer to respond to the adjacency relationship with the terminals having the adjacency relationship The display control is performed.

このように、隣り合わせる情報表示装置すなわち端末に対して、軽く衝突させたりタッチ操作など所定の接続操作を行い、それを基に端末又はサーバで、端末の隣接関係を判定し、その隣接関係に応じた表示制御を行うことにより、専用の特殊なハードウェア無しで、マルチディスプレイを簡易かつ動的に実現することが可能となる。また、接続対象の端末に同時に接続操作をするという直感的な操作によってマルチディスプレイを容易に実現できる。特に、携帯する人が多いスマートフォンなどのモバイル端末を必要な時にその場で組み合わせてマルチディスプレイを構成することはとりわけ好適な例である。   In this way, the adjacent information display device, that is, the terminal is subjected to a predetermined connection operation such as a light collision or a touch operation, and based on that, the terminal or server determines the adjacent relationship of the terminal, and the adjacent relationship is determined. By performing corresponding display control, a multi-display can be realized easily and dynamically without using special special hardware. In addition, a multi-display can be easily realized by an intuitive operation in which connection operations are simultaneously performed on terminals to be connected. In particular, it is a particularly preferable example to configure a multi-display by combining mobile terminals such as smartphones with many people who carry them when necessary.

本発明の他の態様(2)は、上記いずれかの態様において、前記接続操作受付手段は、前記端末に設けたセンサにより、隣接させる前記端末の隣接に係る辺同士の衝突を前記接続操作として受け付けることを特徴とする。   According to another aspect (2) of the present invention, in any one of the above aspects, the connection operation accepting unit uses a sensor provided in the terminal as a collision between edges adjacent to the adjacent terminals. It is characterized by accepting.

このように、隣接させる端末の辺を軽くぶつけ合う接続操作は、板状物同士を隙間無く隣接させる場合の自然な動作であり、このような接続操作を加速度センサなどで検出し受け付けることにより、明快な操作で簡易かつ動的にマルチディスプレイを実現できる。   In this way, the connection operation of lightly colliding the sides of the adjacent terminals is a natural operation when the plate-like objects are adjacent to each other without a gap, and by detecting and accepting such a connection operation with an acceleration sensor or the like, Multi-display can be realized easily and dynamically with clear operation.

本発明の他の態様(3)は、上記いずれかの態様において、前記接続操作受付手段は、前記センサにより、一方向に上昇した加速度が反対方向の加速度に急変することを計測したときに前記衝突を検出することを特徴とする。   According to another aspect (3) of the present invention, in any one of the above aspects, the connection operation accepting unit is configured to measure when the acceleration that is increased in one direction is suddenly changed to the acceleration in the opposite direction by the sensor. It is characterized by detecting a collision.

このように、隣接させる端末を手などで互いに寄せていく際の加速度と、それが衝突により反対方向の加速度に急変することと、を計測したときに衝突を検出することにより、端末同士を軽くぶつける接続操作を簡易な処理で確実に検出することができる。   In this way, it is possible to lighten the terminals by detecting the collision when measuring the acceleration when the adjacent terminals are brought close to each other by hand and the sudden change to the acceleration in the opposite direction due to the collision. The hitting connection operation can be reliably detected with simple processing.

本発明の他の態様(4)は、上記いずれかの態様において、前記接続操作は、隣接させる前記端末それぞれのタッチパネル面にタッチしている指先を隣接させる辺に向けて滑らせる操作であることを特徴とする。   According to another aspect (4) of the present invention, in any one of the above aspects, the connection operation is an operation of sliding a fingertip touching a touch panel surface of each of the adjacent terminals toward an adjacent side. It is characterized by.

このように、隣接させる端末のタッチパネル面のうち隣接する辺に近い部分同士を、指でタッチしながら滑らせる接続操作は、物をつまみ寄せて接合させる場合の自然な動作であり、このような接続操作をタッチパネル機能で検出し受け付けることにより、明快な操作で簡易かつ動的にマルチディスプレイを実現できる。   Thus, the connection operation of sliding the parts close to the adjacent sides of the touch panel surface of the adjacent terminal while touching with a finger is a natural operation when the objects are picked up and joined together. By detecting and accepting a connection operation with a touch panel function, a multi-display can be realized simply and dynamically with a clear operation.

本発明の他の態様(5)は、上記いずれかの態様において、前記判定手段は、前記隣接関係として、前記各端末の辺のうち前記滑らせる操作の軌跡の終端からみて最寄の辺同士が隣接することと、前記各端末の表示領域のうち前記軌跡の終端から最寄の外縁部が隣接位置であることと、を判定し、前記表示制御手段は、前記隣接位置を含む前記隣接関係に応じた前記画像の表示部分を表示する制御を行うことを特徴とする。   According to another aspect (5) of the present invention, in any one of the aspects described above, the determination unit may be arranged such that, as the adjacency relationship, the nearest sides of the sides of the terminals as viewed from the end of the locus of the sliding operation And the display control means determines the adjacent relationship including the adjacent position from the end of the trajectory in the display area of each terminal. Control is performed to display the display portion of the image according to the above.

このように、端末同士の隣接関係として、つまみ寄せる接続操作をした辺同士を隣接させることに加え、各端末のタッチパネルを兼ねた表示領域のうち、つまむ操作の軌跡の終端から最寄の外縁部の隣接位置として判定し、これに基づき各端末の表示内容の範囲を制御することにより、端末の表示領域のサイズが不揃いでも、また段違いに組み合わせるなど自由な位置関係で、マルチディスプレイが実現できる。   In this way, as the adjacent relationship between the terminals, in addition to adjoining the sides where the connection operation is performed close to each other, in the display area also serving as the touch panel of each terminal, the outermost edge from the end of the pinch operation trajectory By controlling the range of display contents of each terminal based on this, a multi-display can be realized with a free positional relationship such as even if the display areas of the terminals are uneven in size or combined in different levels.

なお、上記の各態様とは異なるカテゴリ(装置に対し方法、方法に対しプログラムなど)や、以下に説明するさらに具体的な各態様も本発明に含まれる。異なるカテゴリについては、「手段」を「処理」又は「ステップ」のように適宜読み替えるものとする。また、処理やステップの実行順序は上記のものに限定されず、適宜変更したりまとめて処理するなど、変更可能である。   It should be noted that a category (method for the apparatus, program for the method, etc.) different from each of the above-described modes and more specific modes described below are also included in the present invention. For different categories, “means” shall be appropriately read as “process” or “step”. Further, the order of execution of processes and steps is not limited to the above, and can be changed as appropriate or can be processed collectively.

本発明によれば、複数の表示装置を組み合わせたマルチディスプレイを簡易かつ動的に実現することが可能となる。   According to the present invention, a multi-display combining a plurality of display devices can be realized easily and dynamically.

本発明の実施形態の構成を例示する機能ブロック図。The functional block diagram which illustrates the composition of the embodiment of the present invention. 本発明の実施形態で用いる情報(データ)を例示する図。The figure which illustrates the information (data) used by embodiment of this invention. 本発明の実施形態における処理手順を例示するフローチャート。The flowchart which illustrates the process sequence in embodiment of this invention. 本発明の実施形態において、全体画像の一部を端末に表示させる状態を例示する概念図。The conceptual diagram which illustrates the state which displays a part of whole image on a terminal in embodiment of this invention. 本発明の実施形態において、端末を衝突させる接続操作を例示する概念図。The conceptual diagram which illustrates the connection operation which makes a terminal collide in embodiment of this invention. 本発明の実施形態において、ジャイロなどの三軸加速度センサによる加速度の計測を例示する概念図。The conceptual diagram which illustrates the measurement of the acceleration by triaxial acceleration sensors, such as a gyro, in embodiment of this invention. 本発明の実施形態において、衝突として検出する加速度の変化をグラフとして例示する概念図。The conceptual diagram which illustrates the change of the acceleration detected as a collision as a graph in embodiment of this invention. 本発明の実施形態において、指を用いた接続操作を例示する概念図。The conceptual diagram which illustrates connection operation using a finger in the embodiment of the present invention. 本発明の実施形態において、互いにサイズが異なる端末を段違いに隣接させる状態を例示する概念図。The conceptual diagram which illustrates the state which adjoins the terminal from which a size mutually differs in a step in embodiment of this invention. 本発明の実施形態において、列と行からなるインデックスで表わされる隣接位置ごとに、対応する表示範囲の全体画像中における基準位置座標を例示する概念図。The conceptual diagram which illustrates the reference position coordinate in the whole image of the corresponding display range for every adjacent position represented with the index which consists of a column and a row in embodiment of this invention. 本発明の実施形態において、インデックスを用いた隣接位置の処理を例示する概念図。The conceptual diagram which illustrates the process of the adjacent position using an index in embodiment of this invention. 本発明の実施形態において、サーバを用いない構成を例示する機能ブロック図。The functional block diagram which illustrates the structure which does not use a server in embodiment of this invention. 本発明の実施形態において、斜め方向に隣接させた端末を例示する概念図。The conceptual diagram which illustrates the terminal adjoined diagonally in embodiment of this invention.

次に、本発明を実施するための形態(「実施形態」と呼ぶ)について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。   Next, modes for carrying out the present invention (referred to as “embodiments”) will be described with reference to the drawings. It should be noted that assumptions common to those already described in the background art and problems are omitted as appropriate.

〔1.構成〕
本実施形態は、図1の構成図に示すマルチディスプレイシステム(以下「本システム」とも呼ぶ)に関するもので、本システムは、複数の端末T(ここではTA,TBを例示するが、より多数でもよい)と、端末Tを制御するサーバ装置1(以下「サーバ1」又は「サーバ」とも呼ぶ)と、を有し、複数の端末Tを組み合わせて単一の画像を表示するシステムである。端末T及びサーバ装置1は、一般的なコンピュータの構成として少なくとも、CPUなどの演算制御部6と、主メモリや補助記憶装置等の記憶装置7と、通信ネットワークN(インターネット、携帯電話網、LANなど)との通信手段8(無線LANアダプタや通信ゲートウェイ装置など)と、を有する。特に端末Tは、液晶表示パネルなどの表示装置Dと、タッチパネルなどの入力装置Mと、を有する。
[1. Constitution〕
The present embodiment relates to a multi-display system (hereinafter also referred to as “this system”) shown in the configuration diagram of FIG. 1, and this system exemplifies a plurality of terminals T (here, TA and TB). And a server device 1 that controls the terminal T (hereinafter also referred to as “server 1” or “server”), and a system that displays a single image by combining a plurality of terminals T. The terminal T and the server device 1 have at least an arithmetic control unit 6 such as a CPU, a storage device 7 such as a main memory and an auxiliary storage device, and a communication network N (Internet, mobile phone network, LAN, etc.) Communication means 8 (wireless LAN adapter, communication gateway device, etc.). In particular, the terminal T includes a display device D such as a liquid crystal display panel and an input device M such as a touch panel.

そして、端末T及びサーバ1では、記憶装置7に予め記憶(インストール)した図示しない所定のコンピュータ・プログラムが演算制御部6を制御することで、図1に示す各手段などの要素(10,20など)を実現する。端末T(TAやTBなど)の機能を実現するプログラムは、端末Tに製造時から組み込んでもよいが、端末Tに予めインストールしておくアプリケーション・ソフトウェア(「端末アプリ」とも呼ぶこととする)が一般的と考えられる。そして、実現される各要素のうち、情報の記憶手段は、記憶装置7において各種のデータベース(「DB」とも表す)やファイル、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現できる。   Then, in the terminal T and the server 1, a predetermined computer program (not shown) stored (installed) in advance in the storage device 7 controls the arithmetic control unit 6 so that the elements (10, 20) such as the means shown in FIG. Etc.). A program that realizes the function of the terminal T (TA, TB, etc.) may be incorporated into the terminal T from the time of manufacture, but application software (also referred to as a “terminal application”) that is installed in the terminal T in advance. It is considered general. Among the elements to be realized, the information storage means is an arbitrary format such as various databases (also referred to as “DB”), files, arrays, variables such as various stacks, registers, and system setting values in the storage device 7. Can be realized.

このような記憶手段のうち、サーバ1の画像記憶手段15は、端末Tに表示するための画像の全体(文字列や文書を画像化したものも含め「全体画像」とも呼ぶこととする)を記憶している手段であり、この全体画像としては、地図のように、個々の端末の表示画面サイズを超えるもので、複数の端末にまたがって表示すると有用なものが考えられる。各端末Tの表示内容は、この画像記憶手段15から読み出してサーバ1から適宜なタイミングで各端末Tに配信するものでもよいし、上記端末アプリに含めて予め配信しておいてもよい。   Among such storage means, the image storage means 15 of the server 1 displays the entire image to be displayed on the terminal T (also referred to as “whole image” including a character string or a document imaged). As the entire image, this means that the image exceeds the display screen size of each terminal and can be useful when displayed across a plurality of terminals. The display content of each terminal T may be read from the image storage unit 15 and distributed from the server 1 to each terminal T at an appropriate timing, or may be distributed in advance by being included in the terminal application.

これに対応し、各端末Tの画像記憶手段32は、端末アプリに予め含まれている画像、又はサーバ1から適宜なタイミングで配信される画像を記憶している手段であり、ここでいう「画像」は、ビットマップ等の画像でもよいし、表示のたびレンダリングで画像化される文字列等のテキストデータでもよく、さらに、上記全体画像でもよいし、全体画像のうち個々の端末で表示すべき範囲である部分画像でもよい。部分画像に代えて、全体画像の中で部分画像に相当する範囲の座標などを記憶してもよい。   Correspondingly, the image storage means 32 of each terminal T is a means for storing an image included in the terminal application in advance or an image distributed from the server 1 at an appropriate timing. The “image” may be an image such as a bitmap, or may be text data such as a character string imaged by rendering each time it is displayed, or may be the above-mentioned whole image, or may be displayed on each terminal of the whole image. A partial image that is a power range may be used. Instead of the partial image, coordinates of a range corresponding to the partial image in the entire image may be stored.

また、サーバ1及び端末Tの隣接記憶手段35は、図2に例示するように、端末ごとにどのような相対的位置関係で隣接しているかを記憶する手段であるが、具体的には後述する。また、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段であるが、説明のために整理した機能単位であり、実際のハードウェア要素やソフトウェアモジュールとの一致は問わない。   Further, as illustrated in FIG. 2, the adjacent storage unit 35 of the server 1 and the terminal T is a unit that stores in what relative positional relationship each terminal is adjacent. To do. In addition, each means other than the storage means is a processing means for realizing and executing the following information processing functions and operations, but is a functional unit arranged for explanation, and includes actual hardware elements and software modules. The agreement with is not questioned.

〔2.作用〕
上記のように構成した本実施形態における処理手順を図3のフローチャートに示す。
〔2−1.作用の概要〕
概要としては、まず、端末Tにおいて、接続操作受付手段10が、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付け(ステップS11:「YES」)、操作伝送手段20が、このような接続操作を含め、端末Tで入力された操作の情報をサーバ1へ伝送する(ステップS12)。サーバ1では、各端末Tからの接続操作の情報を受信し(ステップS21)、判定手段30が、複数の端末Tに入力された接続操作のタイミング及び隣接方向の情報に基づいて、端末T間の隣接関係を判定し(ステップS22)、判定した隣接関係を隣接記憶手段35に記憶させる(ステップS23)。
[2. Action)
The processing procedure in the present embodiment configured as described above is shown in the flowchart of FIG.
[2-1. (Overview of action)
As an outline, first, in the terminal T, the connection operation accepting unit 10 accepts a predetermined connection operation that is simultaneously input to the adjacent terminal and includes information on the adjacent direction (step S11: “YES”), and the operation transmitting unit 20 However, the information of the operation input at the terminal T including such a connection operation is transmitted to the server 1 (step S12). The server 1 receives the connection operation information from each terminal T (step S21), and the determination means 30 determines between the terminals T based on the connection operation timing and adjacent direction information input to the plurality of terminals T. Is determined (step S22), and the determined adjacent relationship is stored in the adjacent storage means 35 (step S23).

また、サーバ1の表示制御手段40は、隣接関係を有する端末Tに対しその隣接関係に応じた画像の表示部分を表示する制御として、例えば、図4に例示するように、全体画像Gを、隣接関係に応じて部分画像(例えばGA)に分割して端末Tへ送信する(ステップS24)。サーバ1の表示制御手段40による上記のような制御に応じて、端末Tの表示制御手段45は、隣接関係に応じてサーバ1から送信された部分画像を受信し(ステップS13)、受信した部分画像を表示装置Dに表示させる(ステップS14)。   Further, the display control means 40 of the server 1 displays the entire image G as a control for displaying the display portion of the image corresponding to the adjacent relationship to the terminal T having the adjacent relationship, for example, as illustrated in FIG. The image is divided into partial images (for example, GA) according to the adjacent relationship and transmitted to the terminal T (step S24). In response to the control as described above by the display control means 40 of the server 1, the display control means 45 of the terminal T receives the partial image transmitted from the server 1 according to the adjacent relationship (step S13), and the received part The image is displayed on the display device D (step S14).

なお、サーバ1の表示制御手段40が行う制御は、部分画像の送信に限らず、例えば画面内容をなす単一の画像のうち表示すべき範囲の座標を送信するなどでもよく、この場合、端末T側の表示制御手段45は、サーバ1もしくは他の情報源から受信し又は予め上記端末アプリに含まれている画像を、画像記憶手段32から読み出し、受信した座標に応じて画面表示する。画面表示の更新については後述する。   Note that the control performed by the display control means 40 of the server 1 is not limited to the transmission of the partial image, but may be, for example, transmitting the coordinates of the range to be displayed in a single image constituting the screen content. The T-side display control means 45 reads an image received from the server 1 or another information source or included in advance in the terminal application from the image storage means 32 and displays it on the screen according to the received coordinates. The update of the screen display will be described later.

〔2−2.衝突の検出〕
上記の作用のうち、接続操作受付手段10が受け付ける接続操作(ステップS11)の一態様は、図5(1)に例示するように、隣接させようとする端末の双方を所定の待ち受け状態にしたうえで、机上などで、双方の端末の隣接させようとする辺同士が相互に接近するように一方又は双方の端末に力を加え、軽く衝突させる(図5(2))ことである。
[2-2. (Detection of collision)
One aspect of the connection operation (step S11) received by the connection operation reception means 10 among the above actions is that both terminals to be adjacent to each other are placed in a predetermined standby state as illustrated in FIG. 5 (1). In addition, on a desk or the like, a force is applied to one or both terminals so that the sides to be adjacent to each other approach each other and lightly collide (FIG. 5 (2)).

この場合、接続操作受付手段10は、端末Tに設けたセンサ9により、隣接させる端末の隣接に係る辺同士の衝突を前記接続操作として受け付ける。より具体的には、接続操作受付手段10は、三次元空間におけるx軸、y軸、z軸方向の加速度(例えば図6)をそれぞれ検出するジャイロセンサそのほか三軸加速度センサなどのセンサ9により、図7に示すように、一方向に上昇した加速度が反対方向の加速度に急変することを計測したときに衝突を検出する。この場合、接続操作に含まれる隣接方向の情報は、加速度の方向となる。   In this case, the connection operation accepting unit 10 accepts, as the connection operation, a collision between sides related to adjacent terminals by the sensor 9 provided in the terminal T. More specifically, the connection operation accepting means 10 includes a gyro sensor that detects accelerations in the x-axis, y-axis, and z-axis directions (for example, FIG. 6) in a three-dimensional space, and a sensor 9 such as a three-axis acceleration sensor. As shown in FIG. 7, a collision is detected when it is measured that the acceleration that has risen in one direction suddenly changes to the acceleration in the opposite direction. In this case, the information on the adjacent direction included in the connection operation is the direction of acceleration.

〔2−3.ピンチ操作〕
また、接続操作受付手段10が受け付ける接続操作(ステップS11)の他の態様としては、二つの端末にまたがって指先をつまむように滑らせるマルチタッチ操作(「ピンチ操作」などとも呼ばれる)でもよい。すなわち、図8に例示するように、隣接させようとする端末TA,TBの双方を所定の待ち受け状態で、隣接させようとする辺同士を実際に隣接させて机上などに安置し、両端末それぞれのタッチパネル面にタッチしている指先F1,F2を、破線矢印で示すように、隣接させる辺に向けて滑らせ、これを接続操作受付手段10で検出し接続操作として受け付ける。
[2-3. (Pinch operation)
Further, as another aspect of the connection operation (step S11) received by the connection operation receiving means 10, a multi-touch operation (also referred to as “pinch operation” or the like) in which a fingertip is slid across two terminals may be used. That is, as illustrated in FIG. 8, both terminals TA and TB to be adjacent to each other are placed in a predetermined standby state, and the sides to be adjacent are actually adjacent to each other and placed on a desk or the like. The fingertips F1 and F2 touching the touch panel surface are slid toward the adjacent sides as indicated by broken line arrows, and this is detected by the connection operation receiving means 10 and received as a connection operation.

この場合、接続操作に含まれる隣接方向の情報は、ピンチ操作で指を滑らせる方向となる。典型的には、判定手段30は、隣接関係として、各端末の辺のうち前記滑らせる操作の軌跡の終端からみて最寄の辺同士が隣接することと、各端末の表示領域のうち前記軌跡の終端から最寄の外縁部が隣接位置であることと、を接続操作に基づいて判定する。そして、表示制御手段40は、判定された隣接位置を含む隣接関係に応じた部分画像を表示する制御を行う。   In this case, the information on the adjacent direction included in the connection operation is a direction in which the finger is slid by the pinch operation. Typically, the determination unit 30 determines, as the adjacency relationship, that the nearest sides are adjacent to each other when viewed from the end of the locus of the sliding operation among the sides of each terminal, and the locus in the display area of each terminal. It is determined on the basis of the connection operation that the outermost edge portion closest to the terminal end is an adjacent position. And the display control means 40 performs control which displays the partial image according to the adjacent relationship containing the determined adjacent position.

一例として、図9は、まず、破線の矩形で示す複数の端末TA,TB,TC,TDの隣接関係を示す概念図であり、端末の表示画面周囲の額縁部分は省略する。また、破線の矢印(例えばKA,KB)は、指先を滑らせた操作の各軌跡を示す。そして、この例では、例えば端末TAとTBの隣接関係としては、端末TA側からみれば操作の軌跡KAに近い右辺が、また、端末TB側からみれば操作の軌跡KBに近い左辺が、相手方と隣接する。また、端末TAとTBの表示領域のうち軌跡KA及びKBの終端から最寄の外縁部である点Xの位置が隣接位置である。この位置の各端末TA及びTB上における表示領域上の位置座標と各端末TA及びTBの表示領域サイズから、図9に例示するような位置関係としての隣接関係が一意に特定できる。   As an example, FIG. 9 is a conceptual diagram showing an adjacent relationship between a plurality of terminals TA, TB, TC, and TD indicated by broken-line rectangles, and a frame portion around the display screen of the terminal is omitted. Further, broken arrows (for example, KA and KB) indicate the respective trajectories of the operation of sliding the fingertip. In this example, for example, as the adjacent relationship between the terminals TA and TB, the right side close to the operation locus KA when viewed from the terminal TA side and the left side close to the operation locus KB when viewed from the terminal TB side are Adjacent to. Further, in the display areas of the terminals TA and TB, the position of the point X which is the outermost edge from the end of the traces KA and KB is the adjacent position. From the position coordinates on the display area on each terminal TA and TB at this position and the display area size of each terminal TA and TB, the adjacent relation as the positional relation illustrated in FIG. 9 can be uniquely specified.

また、図9は同時に、実線の矩形で示す全体画像Gから、各端末TA,TB,TC,TDに対応する部分画像GA,GB,GC,GD(端末と部分画像を同じ破線の矩形で示す)を切り出してそれぞれ対応する端末TA,TB,TC,TDに例示する状態を示す概念図である。   FIG. 9 also shows partial images GA, GB, GC, GD (terminals and partial images corresponding to the terminals TA, TB, TC, TD (terminal and partial images) corresponding to the terminals TA, TB, TC, TD from the whole image G indicated by solid lines. Is a conceptual diagram illustrating a state exemplified by terminals TA, TB, TC, and TD respectively corresponding to the cut-out.

上記のように、端末の隣接関係として、ピンチ操作による軌跡の終端から最寄の外縁部が隣接位置であることを判定することにより、各端末がどの辺で、すなわち相対位置関係で隣接するかだけでなく、隣接する辺同士がどのような位置のずれを持って隣接するのかが特定できるので、端末の表示領域のサイズが不揃いでも、また段違いに組み合わせるなど自由な位置関係で(例えば図9)、マルチディスプレイが実現できる。   As described above, as the terminal adjacency relationship, by determining that the nearest outer edge is the adjacent position from the end of the trajectory by the pinch operation, on which side each terminal is adjacent, that is, in the relative positional relationship In addition, since it is possible to specify what positional deviation between adjacent sides is adjacent, even if the sizes of the display areas of the terminals are not uniform, they can be freely positioned such as by combining them in a different manner (for example, FIG. 9). ), Multi-display can be realized.

〔2−4.表示の更新〕
なお、端末T上で、画面における画像(狭義の画像に限らず文字の画像でもよい)の表示内容を変化させる操作(「画像操作」と呼ぶこととする)があった場合には(図3のステップS15:「YES」)、操作伝送手段20がその操作内容をサーバ1に送信する(ステップS16)。サーバ1側では、操作内容を受信すると(ステップS25:「YES」)、表示制御手段40が、操作で変更となった各端末に表示させる部分画像や表示範囲を送信する(ステップS26)。具体的には、操作により相対的に表示位置が変わった場合は新たな表示範囲を、また操作で表示内容が変わるなら少なくとも更新された部分(全体でもよい)の画像を該当する端末に送信して更新する。送信対象は、変化にかかわる端末のみでもよいし全端末でもよい。
[2-4. (Update display)
When there is an operation (referred to as “image operation”) for changing the display content of an image on the screen (not limited to an image in a narrow sense but may be a character image) on the terminal T (FIG. 3). Step S15: “YES”), the operation transmission means 20 transmits the operation content to the server 1 (Step S16). On the server 1 side, when the operation content is received (step S25: “YES”), the display control means 40 transmits a partial image and a display range to be displayed on each terminal changed by the operation (step S26). Specifically, if the display position is relatively changed by the operation, a new display range is transmitted, and if the display content is changed by the operation, an image of at least the updated part (or the whole) is transmitted to the corresponding terminal. Update. The transmission target may be only the terminal involved in the change or all terminals.

〔2−5.実例〕
次に、接続操作により端末を隣接させてゆく一例を示す。説明の簡単化のため、各端末の画面サイズは共通で横200画素×縦300画素とする。また、この例では、各端末の隣接位置を、図10に例示するように、横方向を列1、列2、列3…、縦方向を行a、行b、行c…と表わす情報(「インデックス」と呼び「IDX」とも略記することとする)で示す。図10の例では、全体画像Gのうち、例えば、隣接位置がIDX:1aの端末における表示範囲(図中、左上の部分)は座標(0,0)を左上隅とし、隣接位置がIDX:2aの端末における表示範囲(図中、右上の部分)は座標(200,0)を左上隅とする。
[2-5. Illustration〕
Next, an example in which terminals are adjacent to each other by a connection operation is shown. For simplification of explanation, the screen size of each terminal is the same as the horizontal 200 pixels × vertical 300 pixels. Further, in this example, as shown in FIG. 10, the adjacent positions of the terminals are represented by information indicating that the horizontal direction is column 1, column 2, column 3,... And the vertical direction is row a, row b, row c,. It is called “index” and is also abbreviated as “IDX”). In the example of FIG. 10, for example, the display range (upper left portion in the figure) in the terminal having the adjacent position IDX: 1a in the entire image G has the coordinate (0, 0) as the upper left corner, and the adjacent position is IDX: The display range (upper right part in the figure) of the terminal 2a has coordinates (200, 0) as the upper left corner.

図11は、上記のようなインデックスを用いた処理の概要について、シーケンス図的に示す概念図であり、端末アプリによる処理を図の左側、サーバによる処理を図の右側に示す。大まかには、図3に示したフローチャートの前半に相当する流れに沿ったもので、図3の一部の処理ステップ(例えば、ステップS12やステップS21など)に対応する部分には括弧書きでそれらステップの記号を示している。   FIG. 11 is a conceptual diagram showing the outline of the process using the index as described above in a sequence diagram. The process by the terminal application is shown on the left side of the figure, and the process by the server is shown on the right side of the figure. Roughly along the flow corresponding to the first half of the flowchart shown in FIG. 3, parts corresponding to some of the processing steps in FIG. 3 (for example, step S12 and step S21) are written in parentheses. Step symbols are shown.

最初に、ある端末TAの右端と端末TBの左端を衝突させる接続操作が12時46分に行われたとする。この時点では、どちらの端末にもインデックスは未設定である(「IDX:null」)。この接続操作の情報(例えば情報D1)として、端末が、接続操作のあった時刻、接続方向(例えば、端末TAの右端、端末TBの左端)、端末ID、IDX(未設定の場合は「null」)をサーバに送信し(処理P1)、サーバはこれを受信する(処理P2)。   First, it is assumed that a connection operation for causing the right end of a certain terminal TA to collide with the left end of the terminal TB is performed at 12:46. At this point, no index is set for either terminal (“IDX: null”). As information of this connection operation (for example, information D1), the time when the terminal performed the connection operation, the connection direction (for example, the right end of the terminal TA, the left end of the terminal TB), the terminal ID, IDX (“null if not set” ") Is transmitted to the server (process P1), and the server receives it (process P2).

なお、画面サイズが一律固定でない端末で、指先を滑らせるピンチ操作による接続操作の場合には、上記のような各端末の接続方向に加えて又はそれに替えて、接続に係る辺や、その辺において指の軌跡の最寄点であって相互に接続される点(例えば図9の点X)の位置、さらには画面サイズの情報など、適宜な情報項目をさらに送信する。この場合は、サーバではそれに応じて、表示範囲の開始位置座標(例えば図9で部分画像GDについては左上隅の座標D1)だけでなく、部分画像の終了位置座標(同じく例えば右下隅の座標D2)や表示サイズについても計算し、その後の表示制御に用いる。   In addition, in the case of connection operation by pinch operation that slides the fingertip on a terminal whose screen size is not fixed uniformly, in addition to or instead of the connection direction of each terminal as described above, In FIG. 9, appropriate information items such as the position of the point closest to the locus of the finger and connected to each other (for example, the point X in FIG. 9), and further information on the screen size are further transmitted. In this case, in the server, not only the start position coordinates of the display range (for example, the coordinate D1 of the upper left corner for the partial image GD in FIG. 9) but also the end position coordinates of the partial image (also, for example, the coordinate D2 of the lower right corner). ) And the display size are also calculated and used for subsequent display control.

サーバでは、受信した接続操作の情報(例えば情報D1)を基に隣接関係の判定を行う。ステップS21において、インデックス(IDX)について、情報D1では両端末TA,TBとも「null」なので、接続開始の初期設定となる。すなわち、端末TAがその右端で衝突しているからIDXに「1a」、端末TBはその左端で衝突しているからIDXに「2a」を設定する。また、この例では、インデックスが未割当の端末に対しては、インデックスと共に、全体の表示画像のうち、その端末で表示すべき範囲の表示座標(この例では、各端末で表示サイズは固定の横200画素×縦300画素であるから、開始位置座標のみ)を設定し、例えば、情報D2のように送信する(処理P3)。   The server determines the adjacency relationship based on the received connection operation information (for example, information D1). In step S21, since both the terminals TA and TB are “null” in the information D1 for the index (IDX), the connection start is initially set. That is, since terminal TA has collided at its right end, IDX is set to “1a”, and since terminal TB has collided at its left end, IDX is set to “2a”. Also, in this example, for a terminal to which an index is not assigned, together with the index, the display coordinates of the range to be displayed on the terminal in the entire display image (in this example, the display size is fixed at each terminal) Since it is 200 pixels wide by 300 pixels high, only the start position coordinates are set, and for example, it is transmitted as information D2 (process P3).

情報D2の例では、端末TAにはインデックスとして「1a」、表示座標として「(0,0)」が、端末TBにはインデックスとして「2a」、表示座標として「(200,0)」が、それぞれ対応付けられて、含まれている。このように各端末TA,TBに付与(設定及び送信)されたインデックスと表示座標は、端末が受信し(処理P4)、それにしたがって、表示座標に対応した範囲の画像を表示する(処理P5)。   In the example of the information D2, the terminal TA has “1a” as an index, the display coordinates “(0, 0)”, the terminal TB has “2a” as an index, and “(200, 0)” as a display coordinate. Each is associated and included. Thus, the index and display coordinates assigned (set and transmitted) to the terminals TA and TB are received by the terminal (process P4), and an image in a range corresponding to the display coordinates is displayed accordingly (process P5). .

続いて、上記の処理で端末TAの右側に隣接した端末TBのさらに右隣に、新たな端末TCを隣接させる接続操作を、12時50分に行ったとする。この時点では、端末TBには既にインデックス「2a」が付与されているので、端末からサーバへの情報D3については、端末TBのインデックス「2a」が含まれ、端末TCのインデックスは「null」で送信される。そして、サーバでは、このように受信したインデックスと、接続方向(例えば、端末TBが左端、端末TCが右端)との関係に基づいて、新規なインデックス(ここでは例えば「3a」)を端末TCに割当てる(情報D4)。この状態における隣接記憶手段35の記憶内容を図2は示しており、端末TCはインデックスが「2a」の端末TBの右側に衝突したので、行番号に1加算したインデックスは「3a」となっている。   Subsequently, it is assumed that a connection operation for adjoining a new terminal TC is performed at 12:50 on the right side of the terminal TB adjacent to the right side of the terminal TA in the above process. At this time, since the index “2a” is already assigned to the terminal TB, the information D3 from the terminal to the server includes the index “2a” of the terminal TB, and the index of the terminal TC is “null”. Sent. The server then assigns a new index (eg, “3a” here) to the terminal TC based on the relationship between the index received in this way and the connection direction (for example, the terminal TB is the left end and the terminal TC is the right end). Assign (information D4). FIG. 2 shows the storage contents of the adjacent storage means 35 in this state. Since the terminal TC collided with the right side of the terminal TB whose index is “2a”, the index obtained by adding 1 to the row number becomes “3a”. Yes.

〔2−6.サーバを用いない例〕
以上の例で示したサーバ(図1)は必須ではなく、各端末間の通信に基づいて個々の端末が相対的な隣接位置の管理やそれに応じた表示制御を行ってもよく、この場合、各端末間の制御関係は、対等でもよいし、何らかの主従関係を導入し、例えばマスター(となった端末)がスレイブ(となった端末)に、表示すべき画像を配信したり表示範囲の座標を送信し、また、スクロールの連動など表示制御の指示を送ってもよい。
[2-6. Example without server)
The server (FIG. 1) shown in the above example is not essential, and each terminal may perform management of relative adjacent positions and display control according to the communication based on communication between the terminals. The control relationship between each terminal may be equal, or some master-slave relationship is introduced, for example, the master (becoming terminal) distributes the image to be displayed to the slave (becoming terminal) and the coordinates of the display range May also be sent, and display control instructions such as scrolling may be sent.

このようにサーバを用いず端末で処理する場合の構成例を図12に示す。この図において、端末T1,T2は、他の端末と複数組み合わせて単一の画像を表示する端末であって、必要な情報は図1に示したようなサーバを経由せず、図12に破線矢印で示すように直接交換する。そして、これら端末T1,T2に同時に接続操作を加えたとする。この場合、端末T1とT2それぞれの接続操作受付手段10は、上記のように隣接させる端末(この場合、T1とT2)に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける。   FIG. 12 shows a configuration example when processing is performed by a terminal without using a server. In this figure, terminals T1 and T2 are terminals that display a single image in combination with other terminals. Necessary information does not pass through the server as shown in FIG. Replace directly as indicated by the arrow. Then, it is assumed that a connection operation is simultaneously applied to these terminals T1 and T2. In this case, the connection operation accepting means 10 of each of the terminals T1 and T2 receives the predetermined connection operation including the information on the adjacent direction, which is simultaneously input to the adjacent terminals (in this case, T1 and T2) as described above.

そして、各端末T1,T2で入力された操作の情報を、それぞれの操作伝送手段21が他方の端末T2,T1に伝送し、双方又は一方の端末の判定手段31が、複数の端末T1,T2に入力された接続操作のタイミング及び隣接方向の情報に基づいて、端末T1,T2間の隣接関係を判定する。ここで、隣接関係の判定は、端末T1,T2の双方で行ってその判定結果を交換し照合するようにすれば判定精度が改善でき、また、端末T1又はT2のいずれか一方(例えば、先に接続操作の待受状態になった端末、もしくは、相手方からの接続操作の情報が先に届いた方の端末)で行うようにすれば動作応答が迅速円滑となる。   Then, the operation transmission means 21 transmits the operation information input at each terminal T1, T2 to the other terminals T2, T1, and the determination means 31 of both or one terminal receives a plurality of terminals T1, T2. The adjacency relationship between the terminals T1 and T2 is determined based on the timing of the connection operation and the information on the adjacency direction input to. Here, the determination of the adjacency can be performed by both the terminals T1 and T2, and the determination results can be exchanged and collated, so that the determination accuracy can be improved, and one of the terminals T1 and T2 (for example, the previous one) If the connection operation is performed on a terminal that is in a standby state for connection operation, or a terminal that has received connection operation information from the other party first), the operation response becomes quick and smooth.

各端末T1,T2で、加えられた接続操作から判定する隣接関係に応じたインデックス(IDX)を設定する一例を示す。すなわち、各端末では、自分がIDX「null」で、相手も「null」なら、初期設定として、相互に所定のIDX(例えば「1a」と「2a」など)を設定する。自分がIDX有りで相手が「null」なら何もしない。自分がIDX「null」で相手が有りなら、相手のIDXの行番号若しくは列番号を相手との接続方向に応じて加減算したIDXを自分に設定する。   An example is shown in which an index (IDX) is set in each terminal T1, T2 according to the adjacent relationship determined from the added connection operation. That is, in each terminal, if IDX is “null” and the other party is also “null”, predetermined IDXs (for example, “1a” and “2a”, etc.) are mutually set as initial settings. If you have IDX and your partner is “null”, do nothing. If the user is IDX “null” and there is a partner, IDX obtained by adding or subtracting the row number or column number of the partner IDX according to the connection direction with the partner is set in the user.

そして、以降、このように判定された隣接関係に係る端末T1,T2の表示制御手段46が、これら隣接関係を有する端末T1,T2に対しその隣接関係に応じた表示制御を行う。この表示制御は、例えば、上記の判定を行った一方の端末がマスターとなって、各端末での画像操作の情報を取りまとめたうえで、自端末でそれに基づいた表示を行う一方、他方の端末に表示内容や表示範囲などの情報を送信するのでもよいし、画像操作があった端末から他の端末に、表示内容や表示範囲などの情報を送信するのでもよい。   Subsequently, the display control means 46 of the terminals T1 and T2 related to the adjacent relationship determined as described above performs display control according to the adjacent relationship for the terminals T1 and T2 having the adjacent relationship. In this display control, for example, one terminal that has performed the above determination becomes a master, collects image operation information in each terminal, and then performs display based on the terminal, while the other terminal Information such as display content and display range may be transmitted to the terminal, or information such as display content and display range may be transmitted from the terminal where the image operation has been performed to another terminal.

〔3.効果〕
以上のように、隣り合わせる情報表示装置すなわち端末に対して、軽く衝突させたり(例えば図5)タッチ操作(例えば図8)など所定の接続操作を行い、それを基に端末又はサーバで、端末の隣接関係を判定し、その隣接関係に応じた表示制御を行うことにより(例えば図4、図9)、専用の特殊なハードウェア無しで、マルチディスプレイを簡易かつ動的に実現することが可能となる。また、接続対象の端末に同時に接続操作をするという直感的な操作によってマルチディスプレイを容易に実現できる。特に、携帯する人が多いスマートフォンなどのモバイル端末を必要な時にその場で組み合わせてマルチディスプレイを構成することはとりわけ好適な例である。
[3. effect〕
As described above, the information display device adjacent to each other, that is, the terminal is lightly collided (for example, FIG. 5), and a predetermined connection operation such as a touch operation (for example, FIG. 8) is performed. Multi-display can be realized easily and dynamically without special special hardware by determining the adjacent relationship between the two and performing display control according to the adjacent relationship (for example, FIGS. 4 and 9). It becomes. In addition, a multi-display can be easily realized by an intuitive operation in which connection operations are simultaneously performed on terminals to be connected. In particular, it is a particularly preferable example to configure a multi-display by combining mobile terminals such as smartphones with many people who carry them when necessary.

特に、本実施形態において、隣接させる端末の辺を軽くぶつけ合う接続操作は(例えば図5)、板状物同士を隙間無く隣接させる場合の自然な動作であり、このような接続操作を加速度センサなどで検出し受け付けることにより、明快な操作で簡易かつ動的にマルチディスプレイを実現できる。   In particular, in the present embodiment, the connection operation in which the sides of the adjacent terminals are lightly collided (for example, FIG. 5) is a natural operation when the plate-like objects are adjacent to each other without a gap, and such a connection operation is an acceleration sensor. By detecting and accepting, etc., a multi-display can be realized simply and dynamically with a clear operation.

とりわけ、本実施形態において、隣接させる端末を手などで互いに寄せていく際の加速度と、それが衝突により反対方向の加速度に急変することと、を計測したときに衝突を検出することにより(例えば図7)、端末同士を軽くぶつける接続操作を簡易な処理で確実に検出することができる。   In particular, in the present embodiment, by detecting the collision when measuring the acceleration when the adjacent terminals are brought close to each other by hand and the fact that it suddenly changes to the acceleration in the opposite direction due to the collision (for example, 7), it is possible to reliably detect a connection operation in which the terminals lightly collide with each other by simple processing.

また、隣接させる端末のタッチパネル面のうち隣接する辺に近い部分同士を、指でタッチしながら滑らせる接続操作は(例えば図8)、物をつまみ寄せて接合させる場合の自然な動作であり、このような接続操作をタッチパネル機能で検出し受け付けることにより、明快な操作で簡易かつ動的にマルチディスプレイを実現できる。   In addition, the connection operation of sliding the portions close to the adjacent sides of the touch panel surface of the adjacent terminal while touching with a finger (for example, FIG. 8) is a natural operation when picking up and joining objects, By detecting and accepting such a connection operation with the touch panel function, a multi-display can be realized simply and dynamically with a clear operation.

さらに、端末同士の隣接関係として、つまみ寄せる接続操作をした辺同士を隣接させることに加え、各端末のタッチパネルを兼ねた表示領域のうち、つまむ操作の軌跡の終端から最寄の外縁部の隣接位置として判定し、これに基づき各端末の表示内容の範囲を制御することにより(例えば図9)、端末の表示領域のサイズが不揃いでも、また段違いに組み合わせるなど自由な位置関係で、マルチディスプレイが実現できる。   Furthermore, as an adjacency relationship between terminals, in addition to adjoining sides that have been connected to each other, the display area that also serves as the touch panel of each terminal is adjacent to the nearest outer edge from the end of the pinch operation trajectory. By determining the position and controlling the display content range of each terminal based on this (for example, FIG. 9), even if the display areas of the terminals are uneven in size, the multi-display realizable.

〔4.他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、各構成図、データの図、フローチャートの図などは例示に過ぎず、各要素の有無、その配置や処理実行などの順序、具体的内容などは適宜変更可能である。一例として、上記実施形態では、サーバや端末の隣接記憶手段35で端末同士の位置関係も含む情報を記憶する例を示したが(例えば図2)、そのような隣接記憶手段は無くてもよい。すなわち、各端末について判定した隣接関係を基に設定したインデックスから各端末が隣接関係を持つ端末のグループを判断するようにしてもよい。
[4. Other embodiments]
In addition, said each embodiment is only an illustration, and this invention includes what is illustrated below and other embodiment other than that. For example, each configuration diagram, data diagram, flowchart diagram, and the like are merely examples, and the presence / absence of each element, the order of arrangement and processing execution, and the specific content can be changed as appropriate. As an example, in the above-described embodiment, an example in which information including the positional relationship between terminals is stored in the adjacent storage unit 35 of the server or the terminal is illustrated (for example, FIG. 2), but such an adjacent storage unit may be omitted. . That is, a group of terminals in which each terminal has an adjacent relationship may be determined from an index set based on the adjacent relationship determined for each terminal.

また、上記実施形態では、接続方向が端末の辺に対応し上下左右の場合を示したが、本発明は、例えば、図13に例示するIDX「1a」と「2a」、「2a」と「3b」のように、接続方向が端末の辺に対して傾斜した場合にも対応できる。この場合、加速度センサなどから得る衝突やピンチ操作の方向や位置に応じた角度範囲で隣接するものとして表示範囲に応じた部分画像の切り出しを行い、表示範囲の中心位置などに応じてインデックスを決定すればよい。   In the above embodiment, the case where the connection direction corresponds to the side of the terminal and is up, down, left, and right has been described. However, the present invention is, for example, IDX “1a”, “2a”, “2a”, “ It is possible to cope with the case where the connection direction is inclined with respect to the side of the terminal as in “3b”. In this case, a partial image is cut out according to the display range as being adjacent in an angular range according to the direction and position of a collision or pinch operation obtained from an acceleration sensor, etc., and an index is determined according to the center position of the display range, etc. do it.

また、図11では、接続操作が同時か否かの基準として時分(例えば「12時46分」)の例を示したが、実際には、秒単位やミリ秒単位など任意の基準でよい。また、サーバ1は、複数の装置を組み合わせて実現してもよく、個々の記憶手段を別個独立のサーバ装置やシステムで実現する構成も一般的である。   In FIG. 11, an example of hour and minute (for example, “12:46”) is shown as a criterion for determining whether or not the connection operations are simultaneous, but in actuality, any criterion such as seconds or milliseconds may be used. . The server 1 may be realized by combining a plurality of devices, and a configuration in which each storage unit is realized by a separate and independent server device or system is also common.

また、サーバの機能によっては、外部のプラットフォーム等をAPI(アプリケーション・プログラム・インタフェース)やネットワークコンピューティング(いわゆるクラウドなど)で呼び出して実現するなど、構成は柔軟に変更できる。さらに、本発明に関する手段などの各要素は、コンピュータの演算制御部に限らず物理的な電子回路など他の情報処理機構で実現してもよい。   In addition, depending on the function of the server, the configuration can be flexibly changed, for example, by calling an external platform or the like with an API (application program interface) or network computing (so-called cloud). Furthermore, each element such as means relating to the present invention may be realized by other information processing mechanisms such as a physical electronic circuit as well as a computer control unit.

1 サーバ(サーバ装置)
6 演算制御部
7 記憶装置
8 通信手段
9 センサ
10 接続操作受付手段
20,21 操作伝送手段
30,31 判定手段
15,32 画像記憶手段
35 隣接記憶手段
40,45,46 表示制御手段
D 表示装置
D1〜D4 情報
F1,F2 指先
G 全体画像
GA,GB,GC,GD 部分画像
M 入力装置
N 通信ネットワーク
P1〜P5 処理
T(TA,TB,TC,TD,T1,T2) 端末
1 server (server device)
6 arithmetic control unit 7 storage device 8 communication means 9 sensor 10 connection operation accepting means 20, 21 operation transmission means 30, 31 determination means 15, 32 image storage means 35 adjacent storage means 40, 45, 46 display control means D display device D1 -D4 Information F1, F2 Fingertip G Whole image GA, GB, GC, GD Partial image M Input device N Communication network P1-P5 Processing T (TA, TB, TC, TD, T1, T2) Terminal

Claims (9)

複数の端末と、前記端末を制御するサーバ装置と、を有し、前記複数の端末を組み合わせて単一の画像を表示するマルチディスプレイシステムであって、
前記端末は、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付手段と、
端末で入力された操作の情報を前記サーバ装置へ伝送する操作伝送手段と、
を有し、
前記サーバ装置は、
複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定手段と、
前記隣接関係を有する端末に対しその隣接関係に応じた前記画像の表示部分を表示する制御を行う表示制御手段と、
を有することを特徴とするマルチディスプレイシステム。
A multi-display system that includes a plurality of terminals and a server device that controls the terminals, and displays a single image by combining the plurality of terminals;
The terminal is connected simultaneously to a terminal to be adjacent, and a connection operation receiving means for receiving a predetermined connection operation including information on an adjacent direction;
Operation transmission means for transmitting operation information input at the terminal to the server device;
Have
The server device
Determination means for determining adjacency relation between terminals based on the timing of the connection operation input to a plurality of the terminals and information on the adjacent direction;
Display control means for performing control to display a display portion of the image corresponding to the adjacent relationship with respect to the terminal having the adjacent relationship;
A multi-display system comprising:
前記接続操作受付手段は、前記端末に設けたセンサにより、隣接させる前記端末の隣接に係る辺同士の衝突を前記接続操作として受け付けることを特徴とする請求項1記載のマルチディスプレイシステム。   The multi-display system according to claim 1, wherein the connection operation accepting unit accepts, as the connection operation, a collision between sides related to adjacent terminals adjacent to each other by a sensor provided in the terminal. 前記接続操作受付手段は、前記センサにより、一方向に上昇した加速度が反対方向の加速度に急変することを計測したときに前記衝突を検出する
ことを特徴とする請求項2記載のマルチディスプレイシステム。
3. The multi-display system according to claim 2, wherein the connection operation reception unit detects the collision when the sensor measures that the acceleration increased in one direction suddenly changes to the acceleration in the opposite direction.
前記接続操作は、隣接させる前記端末それぞれのタッチパネル面にタッチしている指先を隣接させる辺に向けて滑らせる操作である
ことを特徴とする請求項1から3のいずれか一項に記載のマルチディスプレイシステム。
The multi-connection according to any one of claims 1 to 3, wherein the connection operation is an operation of sliding a fingertip touching a touch panel surface of each adjacent terminal toward an adjacent side. Display system.
前記判定手段は、前記隣接関係として、前記各端末の辺のうち前記滑らせる操作の軌跡の終端からみて最寄の辺同士が隣接することと、前記各端末の表示領域のうち前記軌跡の終端から最寄の外縁部が隣接位置であることと、を判定し、
前記表示制御手段は、前記隣接位置を含む前記隣接関係に応じた前記画像の表示部分を表示する制御を行う
ことを特徴とする請求項4記載のマルチディスプレイシステム。
The determination means includes, as the adjacency relationship, that the nearest sides are adjacent to each other as seen from the end of the sliding locus of the sides of the terminals, and the end of the locus of the display area of the terminals. To determine that the nearest outer edge is an adjacent position,
The multi-display system according to claim 4, wherein the display control unit performs control to display a display portion of the image corresponding to the adjacent relationship including the adjacent position.
他の端末と複数組み合わせて単一の画像を表示する端末であって、
隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付手段と、
端末で入力された操作の情報を他の端末との間で伝送する操作伝送手段と、
複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定手段と、
前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行う表示制御手段と、
を有することを特徴とする端末。
A device that displays multiple images in combination with other devices,
A connection operation receiving means for receiving a predetermined connection operation that is simultaneously input to a terminal to be adjacent and includes information on the adjacent direction;
Operation transmission means for transmitting operation information input at the terminal to other terminals;
Determination means for determining adjacency relation between terminals based on the timing of the connection operation input to a plurality of the terminals and information on the adjacent direction;
Display control means for performing display control according to the adjacent relationship for the terminal having the adjacent relationship;
A terminal characterized by comprising:
複数の端末と、前記端末を制御するサーバ装置と、を有し、前記複数の端末を組み合わせて単一の画像を表示するマルチディスプレイシステムにおける情報処理方法であって、
前記端末においてコンピュータが、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付処理と、
前記端末においてコンピュータが、端末で入力された操作の情報を前記サーバ装置へ伝送する操作伝送処理と、
前記サーバ装置においてコンピュータが、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定処理と、
前記端末及び前記サーバ装置の少なくとも一方においてコンピュータが、前記隣接関係を有する端末に対しその隣接関係に応じた前記画像の表示部分を表示する制御を行う表示制御処理と、
を行うことを特徴とする情報処理方法。
An information processing method in a multi-display system that includes a plurality of terminals and a server device that controls the terminals, and displays a single image by combining the plurality of terminals,
A connection operation reception process for receiving a predetermined connection operation including information on an adjacent direction, which is simultaneously input to a terminal adjacent to the computer in the terminal;
An operation transmission process in which a computer in the terminal transmits operation information input at the terminal to the server device;
A determination process in which the computer in the server device determines the adjacency relationship between the terminals based on the timing of the connection operation input to the plurality of terminals and the information on the adjacent direction;
A display control process in which a computer in at least one of the terminal and the server device performs control to display a display portion of the image corresponding to the adjacent relationship with respect to the terminal having the adjacent relationship;
An information processing method characterized by:
他の端末と複数組み合わせて単一の画像を表示する端末における情報処理方法であって、
コンピュータが、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付ける接続操作受付処理と、
コンピュータが、端末で入力された操作の情報を他の端末との間で伝送する操作伝送処理と、
コンピュータが、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定する判定処理と、
コンピュータが、前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行う表示制御処理と、
を行うことを特徴とする情報処理方法。
An information processing method in a terminal that displays a single image in combination with a plurality of other terminals,
A connection operation reception process in which a computer receives a predetermined connection operation that is simultaneously input to a terminal to be adjacent and includes information on an adjacent direction;
An operation transmission process in which a computer transmits operation information input from a terminal to another terminal;
A determination process in which a computer determines an adjacency relationship between terminals based on the timing of the connection operation input to a plurality of the terminals and information on the adjacent direction;
A display control process in which the computer performs display control according to the adjacent relationship with respect to the terminal having the adjacent relationship;
An information processing method characterized by:
他の端末と複数組み合わせて単一の画像を表示する端末のコンピュータを制御するコンピュータ・プログラムであって、
コンピュータに、隣接させる端末に同時に入力され、隣接方向の情報を含む所定の接続操作を受け付けさせ、
コンピュータに、端末で入力された操作の情報を他の端末との間で伝送させ、
コンピュータに、複数の前記端末に入力された前記接続操作のタイミング及び前記隣接方向の情報に基づいて、端末間の隣接関係を判定させ、
コンピュータに、前記隣接関係を有する端末に対しその隣接関係に応じた表示制御を行わせる
ことを特徴とするコンピュータ・プログラム。
A computer program for controlling a computer of a terminal that displays a single image in combination with a plurality of other terminals,
The computer accepts a predetermined connection operation that is simultaneously input to the adjacent terminal and includes information on the adjacent direction,
Let the computer transmit the operation information entered on the terminal to other terminals,
Let the computer determine the adjacency relationship between the terminals based on the timing of the connection operation input to the plurality of terminals and the information on the adjacent direction,
A computer program causing a computer having the adjacency relationship to perform display control corresponding to the adjacency relationship.
JP2010284154A 2010-12-21 2010-12-21 Multi-display system, terminal, method and program Active JP5282079B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010284154A JP5282079B2 (en) 2010-12-21 2010-12-21 Multi-display system, terminal, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010284154A JP5282079B2 (en) 2010-12-21 2010-12-21 Multi-display system, terminal, method and program

Publications (2)

Publication Number Publication Date
JP2012133068A true JP2012133068A (en) 2012-07-12
JP5282079B2 JP5282079B2 (en) 2013-09-04

Family

ID=46648756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010284154A Active JP5282079B2 (en) 2010-12-21 2010-12-21 Multi-display system, terminal, method and program

Country Status (1)

Country Link
JP (1) JP5282079B2 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069014A (en) * 2011-09-21 2013-04-18 Fuji Xerox Co Ltd Position detector, information processing device and program
WO2014097956A1 (en) * 2012-12-21 2014-06-26 株式会社Nttドコモ Communication terminal, screen display method, and recording medium
JP2014145972A (en) * 2013-01-30 2014-08-14 Nec Casio Mobile Communications Ltd Portable terminal device, screen display method for portable terminal device and computer program
JP2014220588A (en) * 2013-05-02 2014-11-20 株式会社Nttドコモ Electronic apparatus and program
JP2015079291A (en) * 2013-10-15 2015-04-23 富士ゼロックス株式会社 Information processing device, information processing system and program
JP2015130171A (en) * 2013-12-30 2015-07-16 ▲ホア▼▲ウェイ▼技術有限公司 Method, device, and system for recognizing gesture on the basis of multi-terminal cooperation
JP2016162035A (en) * 2015-02-27 2016-09-05 Sky株式会社 Terminal connection display system and terminal connection display program
JP2016170588A (en) * 2015-03-12 2016-09-23 Sky株式会社 Terminal-connected display system and terminal-connected display program
JP2016201036A (en) * 2015-04-13 2016-12-01 Sky株式会社 Terminal coupling display system and terminal coupling display program
JPWO2014097505A1 (en) * 2012-12-19 2017-01-12 日本電気株式会社 Mobile terminal, display control method, and program
JP2019109694A (en) * 2017-12-18 2019-07-04 日本放送協会 Terminal device
EP3509024A1 (en) * 2018-01-08 2019-07-10 Facebook, Inc. Multivision display
JP2020020899A (en) * 2018-07-30 2020-02-06 株式会社リコー Display device and method for setting display
JP2020161896A (en) * 2019-03-25 2020-10-01 日本放送協会 Distribution server for distributing moving image stream, reception terminal and program
US10880685B2 (en) 2018-01-08 2020-12-29 Facebook, Inc. Provisioning content across multiple devices
JP7289390B2 (en) 2021-09-06 2023-06-09 緯創資通股▲ふん▼有限公司 Image processing device for display wall system and display control method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134087A (en) * 1997-08-29 1999-05-21 Xerox Corp Plural devices enabling tiling for data transfer, dynamic array for the same and tiling-enabled display system
JP2003271118A (en) * 2002-03-15 2003-09-25 Toshiba Corp Method for setting multiscreen
JP2004205933A (en) * 2002-12-26 2004-07-22 Fuji Photo Film Co Ltd Device and system for image display
JP2008021043A (en) * 2006-07-11 2008-01-31 Sharp Corp Display apparatus, its sound output method and display system
JP2009175294A (en) * 2008-01-23 2009-08-06 Seiko Epson Corp Control system and control method
JP2009180846A (en) * 2008-01-30 2009-08-13 Toshiba Corp Information processing apparatus
JP2010026215A (en) * 2008-07-18 2010-02-04 Panasonic Corp Reproduction system
JP2010072669A (en) * 2008-09-16 2010-04-02 Seiko Epson Corp Display system, display device, control device and program
JP2011048610A (en) * 2009-08-27 2011-03-10 Jvc Kenwood Holdings Inc Image display system and image display method
JP2012083403A (en) * 2010-10-07 2012-04-26 Jvc Kenwood Corp Position grasping system, control device, unit monitor and position grasping method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134087A (en) * 1997-08-29 1999-05-21 Xerox Corp Plural devices enabling tiling for data transfer, dynamic array for the same and tiling-enabled display system
JP2003271118A (en) * 2002-03-15 2003-09-25 Toshiba Corp Method for setting multiscreen
JP2004205933A (en) * 2002-12-26 2004-07-22 Fuji Photo Film Co Ltd Device and system for image display
JP2008021043A (en) * 2006-07-11 2008-01-31 Sharp Corp Display apparatus, its sound output method and display system
JP2009175294A (en) * 2008-01-23 2009-08-06 Seiko Epson Corp Control system and control method
JP2009180846A (en) * 2008-01-30 2009-08-13 Toshiba Corp Information processing apparatus
JP2010026215A (en) * 2008-07-18 2010-02-04 Panasonic Corp Reproduction system
JP2010072669A (en) * 2008-09-16 2010-04-02 Seiko Epson Corp Display system, display device, control device and program
JP2011048610A (en) * 2009-08-27 2011-03-10 Jvc Kenwood Holdings Inc Image display system and image display method
JP2012083403A (en) * 2010-10-07 2012-04-26 Jvc Kenwood Corp Position grasping system, control device, unit monitor and position grasping method

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069014A (en) * 2011-09-21 2013-04-18 Fuji Xerox Co Ltd Position detector, information processing device and program
US9703518B2 (en) 2012-12-19 2017-07-11 Nec Corporation Mobile terminal, display control method, and program
JPWO2014097505A1 (en) * 2012-12-19 2017-01-12 日本電気株式会社 Mobile terminal, display control method, and program
WO2014097956A1 (en) * 2012-12-21 2014-06-26 株式会社Nttドコモ Communication terminal, screen display method, and recording medium
JP2014123252A (en) * 2012-12-21 2014-07-03 Ntt Docomo Inc Communication terminal, screen display method, and program
EP2919107A4 (en) * 2012-12-21 2016-07-13 Ntt Docomo Inc Communication terminal, screen display method, and recording medium
JP2014145972A (en) * 2013-01-30 2014-08-14 Nec Casio Mobile Communications Ltd Portable terminal device, screen display method for portable terminal device and computer program
JP2014220588A (en) * 2013-05-02 2014-11-20 株式会社Nttドコモ Electronic apparatus and program
JP2015079291A (en) * 2013-10-15 2015-04-23 富士ゼロックス株式会社 Information processing device, information processing system and program
JP2015130171A (en) * 2013-12-30 2015-07-16 ▲ホア▼▲ウェイ▼技術有限公司 Method, device, and system for recognizing gesture on the basis of multi-terminal cooperation
US9817447B2 (en) 2013-12-30 2017-11-14 Huawei Technologies Co., Ltd. Method, device, and system for recognizing gesture based on multi-terminal collaboration
JP2016162035A (en) * 2015-02-27 2016-09-05 Sky株式会社 Terminal connection display system and terminal connection display program
JP2016170588A (en) * 2015-03-12 2016-09-23 Sky株式会社 Terminal-connected display system and terminal-connected display program
JP2016201036A (en) * 2015-04-13 2016-12-01 Sky株式会社 Terminal coupling display system and terminal coupling display program
JP2019109694A (en) * 2017-12-18 2019-07-04 日本放送協会 Terminal device
JP7075202B2 (en) 2017-12-18 2022-05-25 日本放送協会 Terminal device
EP3509024A1 (en) * 2018-01-08 2019-07-10 Facebook, Inc. Multivision display
US10880685B2 (en) 2018-01-08 2020-12-29 Facebook, Inc. Provisioning content across multiple devices
JP2020020899A (en) * 2018-07-30 2020-02-06 株式会社リコー Display device and method for setting display
JP7115118B2 (en) 2018-07-30 2022-08-09 株式会社リコー Display device, display setting method
JP2020161896A (en) * 2019-03-25 2020-10-01 日本放送協会 Distribution server for distributing moving image stream, reception terminal and program
JP7216588B2 (en) 2019-03-25 2023-02-01 日本放送協会 Distribution server, receiving terminal and program for distributing video stream
JP7289390B2 (en) 2021-09-06 2023-06-09 緯創資通股▲ふん▼有限公司 Image processing device for display wall system and display control method

Also Published As

Publication number Publication date
JP5282079B2 (en) 2013-09-04

Similar Documents

Publication Publication Date Title
JP5282079B2 (en) Multi-display system, terminal, method and program
EP3136214A1 (en) Touch operation method and apparatus for terminal
CN109059955B (en) Method and device for drawing indication mark in electronic map navigation
CN110658971B (en) Screen capturing method and terminal equipment
US20140292724A1 (en) A display method, a display control method, and electric device
EP3561667B1 (en) Method for displaying 2d application in vr device, and terminal
US11321042B2 (en) Display system and program
CN109521978B (en) Content display method and terminal equipment
CN110502162B (en) Folder creating method and terminal equipment
JP5942498B2 (en) Screen transmission device, screen sharing device, screen transmission method, and screen transmission program
CN102799373B (en) Electronic equipment, the method generating input area and terminal device
US20180203602A1 (en) Information terminal device
JP2014206894A (en) Display system, display method, display device, program and recording medium
US20160004379A1 (en) Manipulation input device, portable information terminal, method for control of manipulation input device, and recording medium
US11099801B2 (en) Display system and program
CN111880759A (en) Control method and device for multi-split screen display picture, display and storage medium
CN109582264B (en) Image display method and mobile terminal
JP5115457B2 (en) Cursor movement control method, apparatus, and program
JP2012177998A (en) On-vehicle terminal device
JP6034709B2 (en) Terminal device, external display device, and information system including terminal device and external display device
JP6899544B2 (en) Layout diagram creation method and lighting position registration system
US20230199262A1 (en) Information display method and device, and terminal and storage medium
CN109831770B (en) Pairing method and device of mobile terminal, storage medium and mobile terminal
US10281294B2 (en) Navigation system and navigation method
CN113253874A (en) Display device control method, device, terminal and storage medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130527

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5282079

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250