JP2015207182A - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP2015207182A
JP2015207182A JP2014087893A JP2014087893A JP2015207182A JP 2015207182 A JP2015207182 A JP 2015207182A JP 2014087893 A JP2014087893 A JP 2014087893A JP 2014087893 A JP2014087893 A JP 2014087893A JP 2015207182 A JP2015207182 A JP 2015207182A
Authority
JP
Japan
Prior art keywords
frame
displayed
screen
unit
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014087893A
Other languages
English (en)
Inventor
浩一 川崎
Koichi Kawasaki
浩一 川崎
佐藤 直之
Naoyuki Sato
直之 佐藤
昭彦 泉
Akihiko Izumi
昭彦 泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014087893A priority Critical patent/JP2015207182A/ja
Publication of JP2015207182A publication Critical patent/JP2015207182A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】利便性の高いユーザインターフェースを提供する。【解決手段】複数のフレームを含む画面を描画する描画部と、連携して動作する装置群を管理する管理部と、描画部で描画されている画面を、複数の装置で分割して表示するという指示を受けたとき、複数の装置のそれぞれに、フレームを割り当てる分割部とを備える。所定の装置の電源がオンにされた場合、既に装置群に登録されている装置に近づけられた場合、ネットワーク的に同一のセグメントに含める操作がなされた場合をトリガーとし、所定の装置は、装置群に追加され、管理部による管理対象とされる。本技術は、テレビジョン受像機や携帯端末に適用でき、それらの装置同士で連係動作させるときに適用できる。【選択図】図14

Description

本技術は、情報処理装置、情報処理方法、並びにプログラムに関する。詳しくは、コンテンツを複数の装置で連携して表示する際に用いて好適な情報処理装置、情報処理方法、並びにプログラムに関する。
近年、パーソナルコンピュータや携帯端末等の普及により、インターネットを使用したウェブ(Web)ページの検索や、電子メール、電子商取引が広く行われ、多くのコンテンツ配信も行われている。このような環境において、供給されるコンテンツはより多くの情報を含むものとなっている。
また、ネットワークを介して配信される情報を受信可能な端末機器は多様化し、かつ高性能化しており、例えばパーソナルコンピュータや携帯電話機、PDA(personal digital assistants )以外でも、テレビジョン受像機等の家電製品やゲーム機等もコンテンツ受信が可能である。
すなわち、コンテンツを再生する装置も多様化し、コンテンツも多様化しつつあるため、コンテンツの視聴の仕方も変わりつつある。例えば、1つのコンテンツを複数の装置で分散して表示することで、表現力や操作性を向上させることが提案されている(例えば、特許文献1,2参照)。
特開2006−195675号公報 特開2002−268969号公報
コンテンツを再生する装置も多様化し、コンテンツも多様化しつつあるため、コンテンツの視聴の仕方も変わりつつある。このような視聴の仕方の変化に対応し、1つのコンテンツを分割して複数の装置で視聴したり、複数の装置で視聴しているときに、ユーザが所望とする操作を受け付けたりすることで、表現力や操作性をより向上させ、よりコンテンツの楽しみ方を増すようにすることが望まれている。
本技術は、このような状況に鑑みてなされたものであり、1コンテンツを複数の装置で視聴することができるようにするものである。
本技術の一側面の情報処理装置は、複数のフレームを含む画面を描画する描画部と、連携して動作する装置群を管理する管理部と、前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てる分割部とを備える。
所定の装置の電源がオンにされた場合、既に装置群に登録されている装置に近づけられた場合、ネットワーク的に同一のセグメントに含める操作がなされた場合をトリガーとし、前記所定の装置は、前記装置群に追加され、前記管理部による管理対象とされるようにすることができる。
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、第2の装置が、前記管理部での管理対象とされたとき、前記分割部は、前記第2の装置に、前記複数のフレームの描画データを供給するようにすることができる。
前記第2の装置は、供給された前記複数のフレームの描画データに基づき、前記複数のフレームを表示し、表示された前記複数のフレームから、ユーザにより第1のフレームが選択された場合、その選択された第1のフレームを表示する状態に移行し、前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給するようにすることができる。
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置と第2の装置でそれぞれ表示されているときに、前記第2の装置で表示されている前記画像内の第1のフレームが操作された場合、前記第2の装置は、前記第1のフレームを表示する状態に移行し、前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給するようにすることができる。
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置と第2の装置でそれぞれ表示されているときに、前記第2の装置で表示されている前記画像内の第1のフレームが操作された場合、前記第2の装置にコンテキストメニューが表示され、前記コンテキストメニュー内から、分割を指示する選択肢が選択された場合、前記第2の装置は、前記第1のフレームを表示する状態に移行し、前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給するようにすることができる。
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、前記第2の装置で前記第1の装置で表示されている前記画面が撮影された場合、所定のコードが、前記フレーム毎に表示され、前記第2の装置で、前記所定のコードが撮影された場合、その撮影されたコードが位置する第1のフレームを表示する状態に、前記第2の装置は移行し、前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給するようにすることができる。
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、第2の装置で、分割表示を実行するためのアプリケーションが起動された場合、前記分割部は、前記第2の装置に、前記複数のフレームの描画データを供給し、前記第2の装置は、供給された前記複数のフレームの描画データに基づき、前記複数のフレームを表示し、表示された前記複数のフレームから、ユーザにより第1のフレームが選択された場合、その選択された第1のフレームを表示し、前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示し、前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給するようにすることができる。
前記分割部が、第1のフレームの描画データを、第1の装置に供給し、前記第1のフレーム以外のフレームの描画データを、第2の装置に供給している状態のときに、前記第1の装置に表示されている第1のフレーム内にスクロール操作がされた場合、そのスクロール操作に合わせて、前記第2の装置に表示されている前記第2のフレームもスクロールされるようにすることができる。
前記分割部が、第1のフレームの描画データを、第1の装置に供給し、前記第1のフレーム以外のフレームの描画データを、第2の装置に供給している場合、前記第1の装置で、前記第1のフレームと前記第1のフレームの辺にバーが表示され、前記第2の装置で、前記第2のフレームと前記第2のフレームの辺にバーが表示されるようにすることができる。
前記画面において、前記第1のフレームと前記第2のフレームが隣接する側には、その部分で画面が分割されていることを示す第1のバーが表示され、前記第1のバーとは反対側の辺には、第2のバーが表示されるようにすることができる。
前記第1の装置に表示されている第1のフレームにスクロール操作がされた場合、そのスクロール方向に、前記画像内で、前記第1のフレームと前記第2のフレームが隣接しているとき、前記第1のフレームのスクロールにともない、前記第2のフレームも、前記第1の装置で表示されるようにすることができる。
前記第1の装置に表示されている前記第1のバーが操作された場合、その操作に合わせて、前記第2の装置で表示されている前記第2のフレームが、前記第1の装置に引き込まれ、前記第1の装置で表示される状態となるようにすることができる。
前記第2のフレームの全てが、前記第1の装置に引き込まれ、前記第1の装置で表示される状態となった時点で、前記第1の装置と前記第2の装置の連携状態は解除されるようにすることができる。
前記第1の装置に表示されている前記第2のバーが操作された場合、その操作に合わせて、前記第1の装置で表示されている前記第1のフレームが、前記第2の装置に押し出され、前記第2の装置で表示される状態となるようにすることができる。
前記第1のフレームの全てが、前記第2の装置に押し出され、前記第2の装置で表示される状態となった時点で、前記第1の装置と前記第2の装置の連携状態は解除されるようにすることができる。
前記第1の装置は、ユーザが加えた力の方向を少なくとも検知するセンサーを備え、前記第1の装置が回転する方向に力が加えられた場合、前記第1の装置で表示している前記第1のフレームが前記第2の装置で表示され、前記第2の装置で表示している前記第2のフレームが前記第1の装置で表示される状態へと移行するようにすることができる。
本技術の一側面の情報処理方法は、描画部、管理部、および分割部を備える情報処理装置の情報処理方法において、前記描画部は、複数のフレームを含む画面を描画し、前記管理部は、連携して動作する装置群を管理し、前記分割部は、前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てるステップを含む。
本技術の一側面のプログラムは、描画部、管理部、および分割部を備える情報処理装置を制御するコンピュータに、前記描画部は、複数のフレームを含む画面を描画し、前記管理部は、連携して動作する装置群を管理し、前記分割部は、前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てるステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラムである。
本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、複数のフレームを含む画面が描画され、その描画されている画面が、複数の装置で分割して表示するという指示を受けたときに、複数の装置のそれぞれに、フレームが割り当てられる。
本技術の一側面によれば、コンテンツを複数の装置で視聴することが可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
分割表示について説明するための図である。 フレームの選択について説明するための図である。 操作バーと分割バーについて説明するための図である。 フレームの選択について説明するための図である。 フレームの選択について説明するための図である。 フレームの選択について説明するための図である。 スワップ処理について説明するための図である。 フレーム内スクロールについて説明するための図である。 フレーム外スクロールについて説明するための図である。 フィット処理について説明するための図である。 プル処理について説明するための図である。 プッシュ処理について説明するための図である。 システムの構成について説明するための図である。 分割表示を制御するための機能について説明するための図である。 分割表示を制御するための機能について説明するための図である。 分割表示開始時の処理について説明するための図である。 分割表示開始時の処理について説明するための図である。 分割表示開始時の処理について説明するための図である。 分割表示開始時の処理について説明するための図である。 分割表示状態時の処理について説明するための図である。 フレーム外スクロールの処理について説明するための図である。 プル処理について説明するための図である。 プッシュ処理について説明するための図である。 記録媒体について説明するための図である。
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は、以下の順序で行う。
1.分割表示について
2.分割表示状態にするときの画面
3.分割表示状態中の画面
4.分割表示状態を解除するときの画面
5.分割表示係わる機能
6.分割表示開始時の処理
7.分割表示状態時の処理
8.記録媒体について
<分割表示について>
以下に説明する本技術は、例えば、1つのコンテンツを複数の装置で連携しながら表示することができる。まず、このような1つのコンテンツを複数の装置で表示することについて説明する。以下の説明においては、1つのコンテンツを複数の装置で表示することを、適宜、分割表示と記述し、そのような表示のときを分割表示状態(分割モード)と記述する。
図1は、分割表示について説明するための図である。図1の中央部分には、例えば、テレビジョン受像機10で表示されるコンテンツの一例を示した。テレビジョン受像機10で表示されているコンテンツの画面20は、分割画面21、分割画面22、および分割画面23から構成されている。
ここで、分割画面とは、分割表示状態のときに、所定の端末で表示される画面の単位であるとする。また複数の分割画面が、1画面で表示されている状態、換言すれば分割表示状態ではない状態を、非分割状態と記述する。
また、1つのコンテンツは、複数のフレームで構成されているとすると、非分割状態のときには、複数のフレームが1台の装置の1画面で表示されている状態であり、分割状態のときには、複数のフレームが複数の装置のそれぞれの画面で表示されている状態である。また、1フレームは、1分割画面に対応するため、適宜、フレームとの記述も行う。
分割画面21は、画面20内の左側に位置する画面であり、分割画面22は、画面20内の右側に位置する画面であり、分割画面23は、分割画面21の下側に位置する画面である。
図1に示した画面20では、分割画面21がメインとなる画面であり、例えば、歌手が歌っている画像(映像)が表示されている。分割画面23は、分割画面21で表示されている画像に対する説明やコメントなどが表示されており、図1に示した例では、“曲A:歌手B”といった表示がされている。
分割画面22は、複数のサムネイル画像が表示されている。このサムネイル画像は、分割画面21に表示されているコンテンツとは異なるコンテンツから抽出された画像である。また各サムネイル画像には、コンテンツの名称や説明が関連付けられて表示されている。
例えば図1においては、分割画面22内には、5枚のサムネイル画像が表示され、それぞれのサムネイル画像が表すコンテンツの名称として、“コンテンツB”、“コンテンツC”、“コンテンツD”、“コンテンツE”、“コンテンツF”との表示がされている。
分割画面22内に表示されているサムネイル画像(その説明部分)が選択されると、そのサムネイル画像のコンテンツが、分割画面21内に表示され、分割画面22内のサムネイル画像などは、更新されるように構成されている。
非分割状態のときに、1台の端末で表示されるコンテンツが、テレビジョン受像機10と携帯電話機11で、分割表示されると、図1の左側と右側にそれぞれ示したようになる。図1の左側には、分割表示状態のときのテレビジョン受像機10の画面例を示し、図1の右側には、携帯電話機11の画面例を示す。
テレビジョン受像機10には、分割画面21’が表示されている。分割画面21’は、分割画面21が拡大表示された画面である。携帯電話機11には、分割画面22’が表示されている。分割画面22’は、分割画面22が縮小表示された画面である。
なお、図1においては、中央に示したテレビジョン受像機10と左側に示したテレビジョン受像機10は、縮尺が異なるが、同一のテレビジョン受像機10であるとして説明を続ける。以下の説明において参照する他の図面も同様に、説明のため、異なる縮尺で図示してある。同様に、携帯電話機11は、テレビジョン受像機10よりも小さい画面であるが、説明のため、拡大して図示してある。
このように、1つのコンテンツが、この場合、テレビジョン受像機10と携帯電話機11に、それぞれ分割されて表示される。このような分割表示状態のときに、例えば携帯電話機11に表示されている分割画面22’内のサムネイル画像が選択されると、テレビジョン受像機10の分割画面21’の画像が、その選択されたサムネイル画像のコンテンツに切り換えられる。
このような画面の切り替わりは、図1の中央に示した画面20が操作されたときと同様に行われる。すなわち、本技術によれば、非分割状態のときのコンテンツと、分割状態のときのコンテンツは、同様の動作を行うように装置同士が連携して動作するように構成されている。
このようなことが可能となることで、例えば、コンテンツのメインとなる画像(映像)は、テレビジョン受像機10で視聴し、そのテレビジョン受像機10に表示されている画像(映像)を切り換えるなどの操作を行うときには、携帯電話機11に表示されている画面を用いて行うといったことができるようになる。
図1に示したような分割表示状態においても、図1の中央に示したような非分割表示状態における各分割画面の配置関係は、維持されている。例えば、図1の中央に示した非分割表示状態における画面20においては、分割画面21の下側に分割画面23が配置されている。図1の左側に示したテレビジョン受像機10に表示される分割画面21’の下側には、分割画面21’が拡大表示されたことで表示されていないが、分割画面23’が配置されている。よって、分割画面21’を上方向にスクロールした場合、分割画面23’がテレビジョン受像機10の下側に表示される。
このように、分割表示状態のときには、非分割表示状態のときの画面(フレーム)の位置関係が維持されている。
ここでは説明のため、テレビジョン受像機10と携帯電話機11の2台の装置で分割表示されるとして説明を続けるが、3台などの複数の装置で分割表示するときにも、本技術は適用できる。
<分割表示状態にするときの画面>
<第1のフレーム選択の処理>
図1に示したように、1つのコンテンツを2以上の複数の装置で分割表示するときのユーザが行う処理や、テレビジョン受像機10と携帯電話機11の画面例について説明する。
図2は、分割表示を行うときのフレームの選択について説明するための図である。ここでフレームの選択とは、非分割表示状態のときに表示されている1つのコンテンツ内に存在する複数のフレームの内から、分割表示状態のときに、所定の装置、例えば、携帯電話機11で表示させるフレームを選択することを意味する。
時刻T1における状況は、非分割表示状態のときであり、テレビジョン受像機10と携帯電話機11に、同一のコンテンツが表示されている状況である。時刻T1のときにテレビジョン受像機10に表示されているのは、図1の中央に示した画面20である。非分割表示状態なので、分割画面21、分割画面22、および分割画面23が、それぞれ所定の位置関係を保ちながら表示されている。
同様に、時刻T1のときに携帯電話機11でも、テレビジョン受像機10で表示されている画面20と同一の画面が表示されている。携帯電話機11の画面は、テレビジョン受像機10に比べると小さいため、画面20の全体を表示すると見づらいため、一部分のみが表示されている状態である。
このように、時刻T1においては、同一のコンテンツが、別の装置でそれぞれ表示されている状態である。
このような表示状態のときに、ユーザが、例えば携帯電話機11の画面をロングタッチしたとする。ロングタッチとは、携帯電話機11の画面内の一箇所を、指を離すことなく、接触し続ける状態であり、携帯電話機11に指示を出すときに行われる動作である。携帯電話機11は、このような操作を受け付けることができる装置であり、タッチパネルが、画面上に設けられている端末である。
図2の時刻T1のところに示したように、ユーザは、携帯電話機11に表示されている画面20のうち、分割画面22の一部分が表示されている部分をロングタッチしている。このような操作が行われると、時刻T2において、フレーム枠とコンテキストメニューが表示される。
時刻T2において、テレビジョン受像機10には、フレーム枠41、フレーム枠42、フレーム枠43がそれぞれ表示される。フレーム枠は、分割表示状態のときに、分割画面として所定の装置に表示される画面を、ユーザに認識させるための枠である。図2に示した例では、分割画面21の周りに、フレーム枠41が表示され、分割画面22の周りに、フレーム枠42が表示され、分割画面23の周りに、フレーム枠43が表示されている。
フレーム枠41、フレーム枠42、フレーム枠43は、それぞれ異なる色、模様、線種で表示され、ユーザが分割画面の境目を容易に認識できるような表示とされる。このように、テレビジョン受像機10の画面20内に、フレーム枠41、フレーム枠42、フレーム枠43が表示されるとともに、携帯電話機11の画面20にも、フレーム枠41、フレーム枠42、フレーム枠43が表示される。
例えば、テレビジョン受像機10で表示されているフレーム枠41と携帯電話機11で表示されているフレーム枠41は、同一の色や模様とされ、同一のフレーム枠であることが認識できる表示とされている。
このような表示がなされるため、時刻T2の時点では、テレビジョン受像機10と携帯電話機11は、連携して処理を行う装置とされている。連携して処理を行うとは、例えば、一方の装置で何らかの処理が実行された場合、その処理に対応する処理が、他方の装置でも行われることを意味する。この場合、テレビジョン受像機10に、フレーム枠が表示されると、携帯電話機11にも、フレーム枠が表示されるといった連携処理が行われる。
携帯電話機11には、コンテキストメニュー51も表示される。コンテキストメニュー51内には“分割”という項目が表示されている。図示はしないが、コンテキストメニュー51内には、“リンク先を開く”、“画像を保存する”といったような項目も表示される。
ユーザが、コンテキストメニュー51内に表示されている“分割”という項目を選択すると、時刻T3において、テレビジョン受像機10と携帯電話機11は分割表示状態に移行する。
すなわち、図1を参照して説明したように、テレビジョン受像機10には、分割画面21’が表示され、携帯電話機11には、分割画面22’が表示される。
このように、ここでは、ロングタッチされていた画面(フレーム)が、ユーザにより分割表示される画面(フレーム)として選択されるとするが、他の方法で分割表示状態時に表示される画面(フレーム)が選択されるようにしても良い。
例えば、時刻T2のときに、コンテキストメニュー51が携帯電話機11に表示されるが、コンテキストメニュー51から“分割”という項目が選択された場合、“どの画面を表示させますか”と言ったようなメッセージが表示され、ユーザにより、分割画面21乃至23のうちのいずれかの画面が選択されるステップを設けるようにしても良い。
また、図2を参照して説明したように、ロングタッチされていた箇所を含むフレームが分割表示されるとした場合、ロングタッチという操作自体が、そのロングタッチされていた箇所を含むフレームの分割表示の指示であるとして、時刻T2の状態を省略し、時刻T3の状態に移行するようにしても良い。
すなわち、時刻T1において、分割画面22がロングタッチされると、時刻T3の状態に遷移し、携帯電話機11に、分割画面22’が表示されるようにしても良い。
再度図2の時刻T3に示した分割表示状態における画面を参照する。テレビジョン受像機10に表示されている分割画面21’の左側には、操作バー61が表示され、右側には、分割バー62が表示されている。
同様に、携帯電話機11に表示されている分割画面22’の左側には、分割バー63、分割バー64が表示され、右側には、操作バー65が表示されている。図3に、拡大した携帯電話機11の図を示す。
操作バー61、分割バー62、分割バー63、分割バー64、および操作バー65は、詳細は後述するが、分割表示されている一方の分割画面を、他方の分割画面に押し出し、他方の装置で表示させるというようなプッシュ操作と称す操作を行ったり、分割表示されている一方の分割画面を、他方の分割画面に引き込み、他方の装置で表示させるというようなプル操作と称す操作を行ったりする際に操作されるバーである。
分割バー62、分割バー63、分割バー64は、それぞれ、フレーム枠が表示されていた箇所に表示される。分割画面21’の右側に表示される分割バー62は、分割画面22のフレーム枠42が表示されていた位置に、表示される。ユーザは、分割バー62を見ることで、分割画面21’の右側に、分割画面22が位置していたことを認識することができる。
同様に、分割画面22’の左側に表示される分割バー63は、分割画面21のフレーム枠41が表示されていた位置に表示される。また、分割画面22’の左側に表示される分割バー64は、分割画面23のフレーム枠43が表示されていた位置に表示される。ユーザは、分割バー63を見ることで、分割画面22’の左側に、分割画面21が位置していたことを認識し、分割バー64を見ることで、分割画面22’の左側に、分割画面23が位置していたことを認識することができる。
このようなことをユーザに認識させるために、分割バー62は、フレーム枠42と同じ線で表示されるようにしても良い。同様に、分割バー63は、フレーム枠41と同じ線で表示され、分割バー64は、フレーム枠43と同じ線で表示されるようにしても良い。図2の時刻T3で示した画面例では、そのような場合を図示している。
このように、分割バーは、フレーム同士が隣接する部分に表示され、その部分で画面が分割されていることをユーザに認識させるために表示されている。また、分割バーの反対側の辺には、操作バーが表示される。
なお、この場合、操作バー61、分割バー62、分割バー63、分割バー64、および操作バー65は、分割表示状態のときに表示されるバーであり、非分割表示状態のときには、表示されないバーである。このようなバーが、分割表示状態のときに表示されるようにすることで、ユーザに、分割表示状態であることを認識させることも可能となる。
<第2のフレーム選択の処理>
図4を参照し、第2のフレーム選択の処理について説明する。
時刻T11は、図2に示した時刻T1と同じく、非分割表示状態であり、テレビジョン受像機10に所定のコンテンツが表示されている状態である。テレビジョン受像機10に表示されている所定のコンテンツと同一のコンテンツが携帯電話機11で表示されている状態であっても、または表示されていない状態であっても、どちらでも良い。
携帯電話機11は、カメラ(撮像部)を備え、そのカメラで、テレビジョン受像機10に表示されている画面20が撮影される。画面20全体、または一部分が撮影される。テレビジョン受像機10に表示されている画面20が撮影されると、そのことがトリガーとされ、時刻T12において、フレーム枠や、QRコード(登録商標)が画面20に表示される。
なおここでは、QRコードを用いる例を挙げて説明を続けるが、他のコードが表示されるように構成することも可能である。コードとしては、そのコードを読み込むことにより、分割表示状態に移行する制御を行え、表示する分割画面を識別できるようなコードであればよい。
図4の時刻T12に示したテレビジョン受像機10の画面を参照する。テレビジョン受像機10の分割画面21、分割画面22、分割画面23の一部分に、それぞれQRコード81、QRコード82、QRコード83が表示されている。
またテレビジョン受像機10には、図2の時刻T2のところで説明したように、フレーム枠41、フレーム枠42、およびフレーム枠43も表示されている。
ユーザは、このような画面20を見て、携帯電話機11で表示させたい分割画面内に表示されているQRコードを撮影する。図4の時刻T12では、携帯電話機11で、分割画面22内に表示されているQRコード82が撮影されている状態を示している。
この撮影では、QRコード82のみが撮影範囲に収められるような撮影が行われても良い、QRコード82を含む部分が撮影範囲に収められるような撮影が行われても良いし、分割画面22のフレーム枠42全体が撮影範囲に収められるような撮影が行われても良い。またこの撮影は、図4の時刻T12に示したように、携帯電話機11の画面内にQRコード82が映し出されれば良く、記録媒体などに記録される撮影とは異なる撮影である。
QRコード82が読み込まれることにより、分割表示状態への移行が指示されたと判断され、時刻T13において、分割表示状態が開始される。図4に示した時刻T13のテレビジョン受像機10の表示画面と携帯電話機11の表示画面は、図2に示した時刻T3のテレビジョン受像機10の表示画面と携帯電話機11の表示画面と同じである。
このように、QRコードなどが読み込まれることによりフレームの選択が行われるようにしても良い。
<第3のフレーム選択の処理>
図5を参照し、第3のフレーム選択の処理について説明する。
時刻T21は、図2に示した時刻T1と同じく、非分割表示状態であり、テレビジョン受像機10に所定のコンテンツが表示されている状態である。このような状態のときに、携帯電話機11が、テレビジョン受像機10との連携を行うために、電源がオンにされた場合、テレビジョン受像機10に近づけられた場合、ネットワーク的に同一のセグメントに含めるなどの操作がなされた場合などをトリガーとし、携帯電話機11に、図5の時刻T21のところで示したような画面が表示される。
時刻T21において、携帯電話機11には、“連携を開始しますか?”というメッセージと、“はい”、“いいえ”という選択肢が表示されている。このような選択肢が表示されている携帯電話機11を見て、ユーザが“はい“という選択肢を選択すると、時刻T22において、フレーム枠などが表示される。
時刻T22におけるテレビジョン受像機10の画面は、図4の時刻T12のときのテレビジョン受像機10と同じく、フレーム枠41乃至43が表示されている画面となる。携帯電話機11には、分割画面21を縮小した分割画面21”、分割画面22を縮小した分割画面22”、分割画面23を縮小した分割画面23”が表示されている。携帯電話機11に表示されている分割画面21”、分割画面22”、分割画面23”の周りにも、テレビジョン受像機10に表示されているフレーム枠41、フレーム枠42、フレーム枠43と同一のフレーム枠が表示されている。
ユーザは、携帯電話機11に表示されている分割画面21”、分割画面22”、分割画面23”のうちから、携帯電話機11で表示させたい分割画面を選択する。ここで分割画面22”が選択されると、時刻T23において、分割表示状態が開始される。
図5に示した時刻T23のテレビジョン受像機10の表示画面と携帯電話機11の表示画面は、図2に示した時刻T3のテレビジョン受像機10の表示画面と携帯電話機11の表示画面と同じである。
このように、所定の装置、この場合、携帯電話機11により連携動作の開始が指示されることにより、フレームの選択が開始されるようにしても良い。
<第4のフレーム選択の処理>
図6を参照し、第4のフレーム選択の処理について説明する。
時刻T21は、図2に示した時刻T1と同じく、非分割表示状態であり、テレビジョン受像機10に所定のコンテンツが表示されている状態である。このような状態のときに、携帯電話機11が、テレビジョン受像機10との連携を行うために、所定のアプリケーションが起動されると、連携が開始される。
図6の時刻T31で図示した携帯電話機11には、所定のアプリケーションのアイコン91が表示され、そのアイコン91が操作されることで、連携の開始が指示される。
アプリケーションが起動されると、時刻T32において、フレーム枠が表示されたり、表示対象とされる分割画面(フレーム)が表示されたりする。図6に示した時刻T32のテレビジョン受像機10の表示画面と携帯電話機11の表示画面は、図5に示した時刻T23のテレビジョン受像機10の表示画面と携帯電話機11の表示画面と同じである。
そして、時刻T32において、携帯電話機11に表示されている分割画面21”、分割画面22”、分割画面23”のうちから、携帯電話機11で表示させたい分割画面が選択される。ここで例えば、分割画面22”が選択されると、時刻T33において、分割表示状態が開始される。
図6に示した時刻T33のテレビジョン受像機10の表示画面と携帯電話機11の表示画面は、図2に示した時刻T3のテレビジョン受像機10の表示画面と携帯電話機11の表示画面と同じである。
このように、所定の装置、この場合、携帯電話機11により所定のアプリケーションが起動され、連携動作の開始が指示されることにより、フレームの選択が開始されるようにしても良い。
このような第1乃至第4のフレーム選択の処理のいずれかの処理により、分割表示状態が開始される。第1乃至第4のフレーム選択の処理は、組み合わせて用いられるように構成することも可能である。
<分割表示状態中の画面>
第1乃至第4のフレーム選択の処理のいずれかの処理により、分割表示状態が開始された後の処理について説明を加える。
<スワップ処理>
図7は、テレビジョン受像機10と携帯電話機11にそれぞれ表示されている分割画面を入れ替えるときの動作について説明するための図である。時刻T51において、携帯電話機11には、分割画面22’が表示され、テレビジョン受像機10には、分割画面21’が表示されている。
このような状態のときに、ユーザが携帯電話機11を回転させたとする。このような携帯電話機11を回転させるという動作は、テレビジョン受像機10と携帯電話機11にそれぞれ表示されている分割画面を入れ替える指示であると設定されていた場合、時刻T52において実行された回転により、テレビジョン受像機10と携帯電話機11にそれぞれ表示されている分割画面が入れ替えられる。
時刻T53において、携帯電話機11には、時刻T51において、テレビジョン受像機10で表示されていた分割画面21’が表示される。そして、テレビジョン受像機10には、時刻T51において、携帯電話機11に表示されていた分割画面22’が表示される。このようにして、テレビジョン受像機10と携帯電話機11にそれぞれ表示されている分割画面が入れ替えられる(スワップされる)。
分割画面が入れ替えられることで、操作バーや分割バーも、分割画面にあったバーとされる。すなわち、時刻T53において、携帯電話機11に表示される分割画面21’の左側の操作バー61は、スワップ前の時刻T51において、テレビジョン受像機10に表示されていた分割画面21’の左側の操作バー61と同じバーとされる。
同様に、スワップ後の携帯電話機11に表示される分割画面21’の右側の分割バー62は、スワップ前の時刻T51において、テレビジョン受像機10に表示されていた分割画面21’の左側の分割バー62と同じバーとされる。
また、スワップ後のテレビジョン受像機10に表示される分割画面22’の左側の分割バー63と分割バー64は、スワップ前の時刻T51において、携帯電話機11に表示されていた分割画面22’の左側の分割バー63と分割バー64とそれぞれ同じバーとされる。
同様に、スワップ後のテレビジョン受像機10に表示される分割画面22’の右側の操作バー65は、スワップ前の時刻T51において、携帯電話機11に表示されていた分割画面22’の右側の操作バー65と同じバーとされる。
このように、ユーザは、携帯電話機11を回転させるという簡単な動作だけで、表示されている分割画面を、他の装置で表示されている分割画面と入れ替えることが可能とされている。なおここでは、携帯電話機11を回転させるという操作が、フレームの入れ換えの指示であるとして説明をしたが、例えば、携帯電話機11を振るなどの他の操作が、フレームの入れ換えの指示であるとしても良い。
なお、このような操作は、携帯電話機11に加速度センサーなどのセンサーが搭載され、携帯電話機11に加えられた力の方向や大きさを検知できる機能がある場合を前提としている。そのような機能を有していれば、携帯電話機11以外の他の装置でも、同様にスワップの指示を出すことが可能である。
また、オプションボタンなどにより表示されるコンテキストメニュー(不図示)でスワップの指示が行えるように構成することも可能である。例えば、図2を参照して説明したように、時刻T2で携帯電話機11に表示されるコンテキストメニュー51が、分割表示状態のときにも、所定の操作が行われることで表示され、そのコンテキストメニュー51内に、“スワップ”といった選択項目が設けられているようにしても良い。
<フレーム内スクロール処理>
次に、図8を参照して、スクロール時の処理について説明を加える。図8は、分割表示状態のときの携帯電話機11に表示されている画面例を示している。携帯電話機11に表示されている分割画面22’が、上下方向にスクロール可能な画面であった場合、ユーザは、分割画面22’をスクロールすることで、表示されていない部分を見ることができる。
図3に示した携帯電話機11の分割画面22’が、上方向にスクロールされているときの分割画面22’を、図8に示す。図3に示した分割画面22’と図8に示した分割画面22’を比較するに、図3に示した分割画面22’内の例えば“コンテンツB”とのコンテンツ名と、“コンテンツB”のサムネイル画像は、上方向にスクロールされることで、図8に示した分割画面22’内では、その一部分のみが表示されている状態となっている。
また、図3に示した分割バー63の長さも、図8に示した分割バー63とは異なっている。すなわち、上方向にスクロールされることで、分割バー63の長さは長くなっている。
このようなスクロールは、分割バー63,64、操作バー65といったバーに触れずに行われたときに実行される。換言すれば、分割画面22’内が操作されたときに実行される。分割バー63,64、操作バー65といったバーに触れた状態で操作が行われたときの処理については、後述する。
携帯電話機11に表示されている分割画面22’が、例えば上方向にスクロールされた場合、テレビジョン受像機10に表示されている分割画面21’もスクロールされ、分割画面21’の下側に配置されている分割画面23’が表示される。このように、携帯電話機11に表示されている画面がスクロールされた場合、テレビジョン受像機10に表示されている画面も、そのスクロールに対応してスクロールされる。
ユーザは、スクロールの結果、所望のコンテンツを見つけた場合、例えば、タップする等の操作を行うとテレビジョン受像機10の分割画面21’が、そのコンテンツに切り替わる。テレビジョン受像機10と携帯電話機11は、連携しており、元は1つのコンテンツを分割して表示しているため、その1つのコンテンツを1つの装置で表示しているときと同じように扱うことができる。
このように、連携状態にある装置間では、一方の操作が他方に反映される。
<フレーム外スクロール処理>
図8を参照した説明は、フレーム内でスクロール処理が行われるときであった。図9を参照し、フレーム外でスクロール処理が行われるときについて説明する。フレーム外でのスクロール処理とは、複数のフレームをまたぐスクロールである。
図3に示した携帯電話機11の分割画面22’が、右方向にスクロールされているときの分割画面22’を、図9に示す。図3に示した分割画面22’と図9に示した分割画面22’を比較するに、図3に示した分割画面22’は、右方向にスクロールされることで、図9に示した分割画面22’では、その一部分のみが表示されている状態となっている。また、図3に示した携帯電話機11には表示されていな分割画面21’が、右方向にスクロールされることで、図9に示したように、分割画面21’の一部分が表示される状態となる。
分割表示状態のときに、分割バー方向にドラッグスクロールしフレーム端に達するとバウンスバック(画像を閲覧して最終ページなどに到達すると画面が跳ねるような動きをする視覚効果)が起きフレーム端であることをユーザに認識させる表現が行われる。そのような表示が行われても引き続きドラッグスクロールが続けられると、分割表示状態が解除され、非分割表示状態に移行される。
またピンチによる縮小においても同様にフレーム端に達するとバウンスバックが起こり、引き続きピンチが続けられると分割表示状態が解除され、非分割表示状態に移行される。
このようにして、分割表示状態が解除されると、分割バーや操作バーといったバーは消え、隣接するフレームが連続的に表示され、フレームをまたいだスクロール、拡大、縮小が行われる。
非分割表示状態のときには、図10を参照して説明する拡大、縮小といった処理も行える。図10に示した時刻T71の状態は、非分割表示状態のときに、携帯電話機11で画面20が表示されている状態である。
このような画面20において、ユーザが、例えばダブルタップなどの所定の操作を、分割画面21領域内で行うと、時刻T72において、分割画面21が、携帯電話機11の画面サイズにフィットする状態で拡大表示される。
このように、非分割表示状態のときに、特定箇所がダブルタップなどの所定の操作がなされると、その箇所を含むフレームが、装置の画面の横幅(または縦幅)に合うように拡大または縮小される。このような処理をフィット処理と記述する。
<分割表示状態を解除するときの画面>
<プル、プッシュの処理>
図8、図9を参照して説明したスクロールの処理は、分割画面内が操作されることによるスクロールであった。次に、分割バーが操作されることで行われる処理について説明する。図11を参照し、分割バーが操作されることで、他方の装置で表示されている分割画面を、自己の画面内に引き込むプルといった処理について説明する。
図11の時刻T101に示した状態は、プル処理が開始されるときの画面を表している。例えば、ユーザは、携帯電話機11の分割画面22’の左側に表示されている分割バー63をタッチした状態で、指を右側に移動させる。
分割画面22’の左側に表示されている分割バー63は、分割画面22’の左側に分割画面21’が位置していることを表すバーである。そのような分割バー63が操作された状態で、スクロールがされると、分割画面21’が携帯電話機11の画面内に引き込まれるような画面に、携帯電話機11の画面がなる。
図11の時刻T102に示した状態はそのような状態の画面例を示している。テレビジョン受像機10には、分割画面21’の左半分が表示され、残りの右半分は、携帯電話機11に引き込まれ、携帯電話機11で表示されている。このような表示状態から、さらに指が動かされ、プル状態が引き続き行われると、テレビジョン受像機10に表示されていた分割画面21’は、全て携帯電話機11に引き込まれた状態となる。
このような完全に分割画面21’が携帯電話機11に引き込まれた状態が、図11の時刻T103のところに示した状態である。図11の時刻T103に示した携帯電話機11の画面を参照するに、携帯電話機11には、画面20が表示されている。この画面20は、1つのコンテンツで提供される画面であり、例えば、図1の中央に図示した非分割表示状態のときに、テレビジョン受像機10に表示されていた画面20と同じである。
一方で、テレビジョン受像機10に表示されていた分割画面21’は、全て携帯電話機11に引き込まれたため、テレビジョン受像機10では分割画面は表示されない状態となる。このように、表示する画面がなくなった装置側、この場合、テレビジョン受像機10には、図11の時刻T103のところに図示したように、“連携を終了します”といったメッセージ(ダイアログ)が表示される。そして、このダイアログの表示の終了後に、連携が終了される。
このように、分割表示状態において、分割バーがドラッグされつつ、反対辺方向に移動されるという操作がなされると、他の装置のフレームが操作された装置側に移動される。プル動作中は、フレーム枠が表示されつづけることで、ユーザに、プル動作を認識しやすくさせる。
フレームの全てを移動仕切る前にドラッグが中止されると、プル動作以前の状態に戻るように構成することも可能である。例えば、図11の時刻T102のところに図示したような状態で、ユーザの指が、携帯電話機11の画面から離されると、プル動作が開始される前の状態、例えば、時刻T101のような状態に画面の表示は戻される。
プルが完了し、表示するフレームがなくなった側の装置は、終了する旨を伝えるダイアログ表示後に連携が終了する。この後、テレビジョン受像機10と携帯電話機11は、それぞれ独立して動作し、例えば、テレビジョン受像機10では、放送されている番組を表示する状態に移行し、携帯電話機11は、所定のコンテンツで提供される画面の表示を維持し続ける。
このように、フレーム枠(分割バー)が操作された場合、その操作がされている側の装置に、操作がされていない側の画面が、引き込まれ、引き込みが完了されると、連携状態が解除される。ここでは、フレーム枠の操作は、ユーザからの連携解除の指示であると判断し、連携が解除されるとして説明をしたが、ユーザの指示があるまで連携は終了されないように構成することも可能である。
次に、プッシュ動作について、図12を参照して説明する。
図12を参照し、操作バーが操作されることで、表示されている分割画面を、他方の装置に押し出し、他の装置で表示されるようにするプッシュといった処理について説明する。
図12の時刻T121に示した状態は、プッシュ処理が開始されるときの画面を表している。例えば、ユーザは、携帯電話機11の分割画面22’の右側に表示されている操作バー65をタッチした状態で、指を左側に移動させる。
分割画面22’の右側に表示されている操作バー65は、プッシュ動作を行うときに操作されるバーであり、そのような操作バー65が操作された状態で、スクロールがされると、分割画面22’が携帯電話機11の画面外に押し出されるような画面に、携帯電話機11の画面がなる。
図12の時刻T122に示した状態はそのような状態の画面例を示している。携帯電話機11には、分割画面22’の右半分が表示され、残りの左半分は、テレビジョン受像機10に押し出され、テレビジョン受像機10で表示されている。このような表示状態から、さらに指が動かされ、プッシュ状態が引き続き行われると、携帯電話機11に表示されていた分割画面22’は、全てテレビジョン受像機10に押し出された状態となる。
このような完全に分割画面22’がテレビジョン受像機10に押し出された状態が、図12の時刻T123のところに示した状態である。図12の時刻T123に示したテレビジョン受像機10の画面を参照するに、テレビジョン受像機10には、画面20が表示されている。この画面20は、1つのコンテンツで提供される画面であり、例えば、図1の中央に図示した非分割表示状態のときに、テレビジョン受像機10に表示されていた画面20と同じである。
一方で、携帯電話機11に表示されていた分割画面22’は、全てテレビジョン受像機10に押し出されたため、携帯電話機11では分割画面は表示されない状態となる。このように、表示する画面がなくなった装置側、この場合、携帯電話機11には、図12の時刻T123のところに図示したように、“連携を終了します”といったメッセージ(ダイアログ)が表示される。そして、このダイアログの表示の終了後に、連携が終了される。
このように、分割表示状態において、操作バーをドラッグし分割バー方向に移動されるという操作が実行されると、操作された装置側のフレームが、他の装置側に移動される。プッシュ動作中は、フレーム枠が表示されつづけることで、ユーザに、プッシュ動作を認識しやすくさせる。
フレームの全てを移動仕切る前にドラッグが中止されると、プッシュ動作以前の状態に戻るように構成することも可能である。例えば、図12の時刻T122のところに図示したような状態で、ユーザの指が、携帯電話機11の画面から離されると、プッシュ動作が開始される前の状態、例えば、時刻T121のような状態に画面の表示は戻される。
プッシュが完了し、表示するフレームがなくなった側の装置は、終了する旨を伝えるダイアログ表示後に連携を終了する。この後、テレビジョン受像機10と携帯電話機11は、それぞれ独立して動作し、例えば、テレビジョン受像機10では、所定のコンテンツで提供される画面の表示を維持し続け、携帯電話機11は、待受画面などに画面の表示が切り替えられる。
このように、操作バーが操作された場合、その操作がされている側の装置から、操作がされていない側に、画面が押し出され、押し出しが完了されると、連携状態が解除される。ここでは、操作バーの操作は、ユーザからの連携解除の指示であると判断し、連携が解除されるとして説明をしたが、ユーザの指示があるまで連携は終了されないように構成することも可能である。
<分割表示に係わる機能>
図1乃至図12を参照して、分割表示状態に移行するための処理、分割表示状態のときの処理、分割表示状態を解除するための処理について、テレビジョン受像機10や携帯電話機11に表示される画面やユーザの操作をまじえて説明した。
このような分割表示に係わる処理を実行するための機能について説明する。まず分割表示を制御する分割制御部が存在し、その分割制御部の制御により上述した分割表示の各種の処理が実行される場合について説明する。
図13は、分割制御部を有するシステムの構成を示す図である。図13に示したシステムは、テレビジョン受像機10、携帯電話機11、分割制御部12、およびWebサーバ13が、ネットワーク14に接続されている。
ネットワーク14は、有線、無線、または有線と無線との組み合わせから構成され、インターネットやLAN(Local Area Network)などを含むネットワークである。ネットワーク14を介して接続されているテレビジョン受像機10、携帯電話機11、分割制御部12、およびWebサーバ13は、それぞれデータの授受を行えるように構成されている。
分割制御部12は、1つの装置としてネットワーク14上に存在していても良いし、他の装置、例えば、テレビジョン受像機10に組み込まれていても良い。ここでは、図13に示したように、1つの装置として分割制御部12が存在しているとして説明を続ける。
図14は、各装置が有する機能を説明するための図である。テレビジョン受像機10は、端末管理部101、分割クライアント102、出力部103、および入力部104を備える。テレビジョン受像機10は、テレビジョン受像機として機能するためのチューナなども備えているが、ここでは、上記した装置間の連携における分割表示に係わる機能ついて記載し、他の機能については省略している。
携帯電話機11は、端末管理部111、分割クライアント112、出力部113、および入力部114を備える。携帯電話機11は、携帯電話機として機能するための通信機能なども備えているが、ここでは、上記した装置間の連携における分割表示に係わる機能ついて記載し、他の機能については省略している。
上記した装置間の連携における分割表示に係わる機能に関しては、携帯電話機11も、テレビジョン受像機10と同様の機能を有する。
分割制御部12は、端末管理部121、分割サーバ122、およびWebブラウザ123を備える。
テレビジョン受像機10の端末管理部101、携帯電話機11の端末管理部111、および分割制御部12の端末管理部121は、それぞれ、ネットワーク14上の装置の発見、生存監視、分割サーバ(クライアント)の発見、起動、生存監視などの管理を行う。
テレビジョン受像機10の端末管理部101と携帯電話機11の端末管理部111は、分割制御部12を管理対象とする。分割制御部12の端末管理部121は、ネットワーク14上の装置、この場合、テレビジョン受像機10と携帯電話機11を管理対象とする。
テレビジョン受像機10の分割クライアント102と携帯電話機11の分割クライアント112は、それぞれ分割画面を描画したり、連携動作に関する制御を行ったりする。
テレビジョン受像機10の出力部103は、ディスプレイやスピーカを含む構成とされ、分割クライアント102で描画された分割画面を表示する。同様に、携帯電話機11の出力部113は、ディスプレイやスピーカを含む構成とされ、分割クライアント112で描画された分割画面を表示する。
テレビジョン受像機10の入力部104と、携帯電話機11の入力部114は、それぞれキー操作、マウス操作、タッチパネル操作等のユーザからの操作を入力する機能を有する。
分割制御部12の分割サーバ122は、各装置に描画させる分割画面の描画データや、制御情報を生成し、各装置に供給する。分割サーバ122には、Webブラウザ123で描画された画面のデータが供給される。
Webサーバ13からは、所定のコンテンツの描画データ(HTMLコンテンツ)が、分割制御部12のWebブラウザ123に供給される。Webブラウザ123は、供給された描画データに基づき、画面を描画する。例えば、図1の中央に示したような画面20を描画する。なおここでは、HTMLコンテンツを例にあげ、またWebサーバ13から配信されるとして説明を続けるが、本技術が、HTMLやWeb等の技術に限定されることを示すわけではなく、他の技術に適用することも可能である。例えば、コンテンツは、HTML形式のコンテンツでなくても良く、コンテンツの配信は、Webサーバからでなくても良い。また例えば、ネットワーク14に接続されている装置に蓄積されているコンテンツが配信されるような場合にも、本技術は適用できる。
分割制御部12の分割サーバ122は、端末管理部121からの情報、例えば、2台の装置でコンテンツを分割表示するといった情報の供給を受け、それらの装置にそれぞれ供給する描画データと制御情報を生成し、それぞれ対象となる装置に供給する。
例えば、図1を参照して説明したように、テレビジョン受像機10には、分割画面21’の描画データと制御情報を供給し、携帯電話機11には、分割画面22’の描画データと制御情報を供給する。
テレビジョン受像機10の分割クライアント102は、供給された分割画面21’の描画データに基づき、分割画面21’を描画し、出力部103に出力することで、図1を参照して説明したように、テレビジョン受像機10に、分割画面21’が表示される。
同様に、携帯電話機11の分割クライアント112は、供給された分割画面22’の描画データに基づき、分割画面22’を描画し、出力部113に出力することで、図1を参照して説明したように、携帯電話機11に、分割画面22’が表示される。
分割制御部12の端末管理部121は、機器の発見・生存監視、分割クライアントの発見・起動・生存監視などの管理を行う。
具体的には、分割制御部12が帰属するネットワークに新たな装置が接続されると、分割制御部12の端末管理部121と新たにネットワークに加わった装置の端末管理部(例えば、テレビジョン受像機10の端末管理部101)との間において、分割表示の装置群(連携動作を行う装置群)に含めるためのネゴシエーションが行われ、分割表示対象の装置に含めることが可能となる。
また、分割対象の装置が削除(連携が解除)されると、分割制御部12の端末管理部121は、それを検知し、分割サーバ122に通知する。分割サーバ122は、端末管理部121より得た分割対象の装置群の生存状況・各装置の性能をもとに、Webブラウザ123を制御し、Webブラウザ123から得たレンダリング結果を各装置へ分散配信する。
描画データを受け取った分割クライアントは、出力部にそれを表示する。ユーザの操作は、入力部104,114を通じて分割クライアント102,112に届き制御情報に変換後、分割制御部12の分割サーバ122に供給される。制御情報を受け取った分割サーバ122は、制御情報によってWebブラウザ123の制御や描画データの再生成を行う。
例えば、図7を参照してスワップ処理が実行された場合、まず、携帯電話機11の入力部104に、携帯電話機11が回転されたという入力がされる。その入力イベントを受け取った分割クライアント112は、制御情報に変換し、分割制御部12の分割サーバ122に供給する。
分割サーバ122は、供給された制御情報から、スワップ処理が実行されたことを検知し、その時点で、テレビジョン受像機10に供給していた分割画面21’の描画データを、携帯電話機11に供給し、携帯電話機11に供給していた分割画面22’の描画データを、テレビジョン受像機10に供給する。このようにして、スワップ処理が実行される。
他の処理も、分割制御部12の制御により行われる。
次に分割表示を制御する分割制御部が存在せず、各装置間での情報の授受により上述した分割表示の各種の処理が実行される場合について説明する。
図15は、分割制御部がない場合の各装置が有する機能を説明するための図である。図14に示した機能と同様の機能を有する部分には、同様の符号を付し、その説明を省略する。
テレビジョン受像機10は、端末管理部101、出力部103、入力部104、Webブラウザ105、および分割マネージャ106を備える。携帯電話機11は、端末管理部111、出力部113、入力部114、Webブラウザ115、および分割マネージャ116を備える。テレビジョン受像機10と携帯電話機11は、分割表示を実行する機能に関しては、同様の機能を有する。
図15に示したシステムにおいては、図14に示した分割制御部12がないため、各装置が、分割制御部12が有していた機能を備える。テレビジョン受像機10の分割マネージャ106は、分割制御部12の分割サーバ122と、テレビジョン受像機10の分割クライアント102が有していた機能を有する。同様に、携帯電話機11の分割マネージャ116は、分割制御部12の分割サーバ122と、携帯電話機11の分割クライアント112が有していた機能を有する。
また、テレビジョン受像機10と携帯電話機11は、それぞれ、分割制御部12が有していたWebブラウザ123の機能を、Webブラウザ105、Webブラウザ115として有する。
図15に示したシステムにおいては、図14に示したシステムと同じく、HTMLコンテンツを配信するWebサーバ13、分割された各フレームを表示する分割対象の装置群はあるが、分割制御部12(図14)はなく、各装置が直接相互に連携動作をし、そのための機能を各装置は有している。
Webサーバ13は、図15には示したが、各装置に同様のHTMLコンテンツを保持させることにより、必ずしも必要ではない。換言すれば、分割表示されるコンテンツは、各装置で共有できれば、必ずしも、サーバなどから供給されるシステムでなくても、本技術は適用できる。
テレビジョン受像機10の端末管理部101と携帯電話機11の端末管理部111は、それぞれ、装置の発見・生存監視、分割マネージャの発見・起動・生存監視などの管理を相互に行う。
例えば、自己が接続しているネットワークに、新たな装置が接続されたことを検知すると、その新たな装置を含む全装置の端末管理部が相互に分割対象の装置に含めるためのネゴシエーションを行い、分割対象の装置に含める。また、分割対象の装置が削除されると、端末管理部は、そのことを検知し、分割マネージャに通知する。
テレビジョン受像機10の分割マネージャ106と携帯電話機11の分割マネージャ116は、それぞれ、端末管理部101,111より得た分割対象の装置群の生存状況・ユーザの操作状況、自装置の性能をもとに作成した分割管理情報を他装置の分割マネージャに送るとともに、自装置のWebブラウザ105,115を制御する。
テレビジョン受像機10のWebブラウザ105と携帯電話機11のWebブラウザ115は、それぞれ、制御の結果、DOM(Document Object Model)の変更やイベントが発生した場合、そのことを他の装置のWebブラウザに通知するとともに、再レイアウト、レンダリングを実行する。
レンダリング結果を受け取った分割マネージャ106,116は、分割管理情報をもとにレンダリング結果を分割し、出力部103,113で表示する。ユーザの操作(キー操作、マウス操作、タッチパネル操作等)は、入力部104,114を通じて分割マネージャ106,116に伝わり、分割管理情報およびWebブラウザ105,115の制御情報が作成される。作成された分割管理情報は、他の装置の分割マネージャ106,116に通知され、Webブラウザ105,115の制御情報は、Webブラウザ105,115に通知され、描画データの再生成が行われる。
例えば、図7を参照してスワップ処理が実行された場合、まず、携帯電話機11の入力部104に、携帯電話機11が回転されたという入力がされる。その入力イベントを受け取った分割マネージャ116は、分割管理情報を生成し、テレビジョン受像機10の分割マネージャ106に供給する。
分割マネージャ106は、供給された分割管理情報から、スワップ処理が実行されたことを検知し、その時点で、出力部103に供給していた分割画面21’の描画データを、携帯電話機11で描画されていた分割画面22’の描画データに切り換え、出力部103に出力する。
一方で、携帯電話機11の分割マネージャ116は、スワップ処理が実行されたことに対応し、その時点で、出力部113に供給していた分割画面22’の描画データを、テレビジョン受像機10で描画されていた分割画面21’の描画データに切り換え、出力部113に出力する。
他の処理も、分割マネージャ106,116の制御により行われる。
<分割表示開始時の処理>
図14または図15に示したシステムにおいて、分割表示が開始されるときの処理について、図16のタイミングチャートを参照して説明する。ここでは、図5を参照して説明した、携帯電話機11を連携対象となる装置として追加し、分割表示を開始する場合を例に挙げて説明する。また、操作装置は、携帯電話機11であり、他装置は、分割制御部12であるとして説明を続ける。
まず、図14に示したシステムにおいて分割表示が開始されるときの処理について説明する。
ステップS101において、ユーザは、操作装置を他装置のネットワークに追加するための処理を実行する。例えば、ユーザは、携帯電話機11の電源をオンにする、テレビジョン受像機10に近づける、ネットワーク的に同一のセグメントに含めるための操作を実行するなどの所定の操作を行うことで、テレビジョン受像機10が参加しているネットワークに携帯電話機11を参加させる。
ステップS102において、操作装置としての携帯電話機11の端末管理部111は、分割サーバ122との接続を要求する。
要求を受けた装置側は、ステップS103において、分割サーバ122が未起動である場合、端末管理部121が分割サーバ122を起動する。なお、分割サーバ122が起動されていた場合には、ステップS103の処理は省略され、ステップS104に処理は進められる。
ステップS104において、接続の許可の通知が出される。この場合、分割制御部12の分割サーバ122から、携帯電話機11の分割クライアント112に対して、接続の許可の通知が出される。
そのような通知を受け、携帯電話機11は、ステップS105において、“連携を開始しますか”といったメッセージと“はい”、“いいえ”という選択肢を、出力部113に表示する。ユーザは、ステップS106において、“はい”という選択肢を選択すると、ステップS107において、携帯電話機11の分割クライアント112は、分割制御部12の分割サーバ122から、フレームの一覧を取得する。
なお、ステップS106において、ユーザにより“いいえ”という選択肢が選択された場合、処理は終了され、それ以降の処理は行われない。
ステップS105、ステップS106における携帯電話機11の出力部113の画面(状態)は、図5の時刻T21のところに示したような画面である。このとき、テレビジョン受像機10には、画面20が表示されている状態である。
ステップS107において、携帯電話機11の分割クライアント112は、フレームの一覧を取得すると、ステップS108において、フレームの一覧を出力部113に表示する。この状態は、図5の時刻T22に示した状態である。すなわち、図5の時刻T22のところを再度参照するに、携帯電話機11のディスプレイには、分割画面21’、分割画面22’、分割画面23’が表示されている。また、フレーム枠なども表示されている。
このようなフレームの一覧が表示されたのを見たユーザが、ステップS109において、携帯電話機11側で表示させたいフレームを選択すると、ステップS110において、選択されたフレームが表示される。
携帯電話機11の分割クライアント112は、入力部114に入力されたユーザの操作から、どのフレーム(分割画面)が選択されたかを判断し、そのフレームが出力部113に表示されるように描画データを再生成し、出力部113に供給する。このような処理が行われることにより、図15の時刻T23のところに示したように、携帯電話機11のディスプレイには、分割画面22’が表示された状態となる。
このような表示が行われる一方で、ステップS111において、携帯電話機11の分割クライアント112は、分割制御部12の分割サーバ122に対して、選択されたフレームを通知する。
この通知を受信した分割制御部12の分割サーバ122は、ステップS112において、選択されたフレームを削除する。分割サーバ122は、携帯電話機11で分割画面22’が選択されたため、テレビジョン受像機10では、分割画面22’を表示しない状態に切り換える必要がある。
そこで、分割サーバ122は、テレビジョン受像機10の分割クライアント102に供給する描画データを、分割画面22’のデータを削除したデータ、換言すれば、分割画面21’と分割画面23’の描画データからなる描画データにする。このように、分割画面21’と分割画面23’の描画データからなる描画データを受信することで、テレビジョン受像機10では、図5の時刻T23に示したように、分割画面21’が表示された状態となる。
次に、図15に示したシステムにおいて、図16に示したタイミングチャートに基づき、分割表示の開始の処理が実行されるときについて説明する。上記した図14に示したシステムにおいて実行される処理と基本的に同様であるが、処理を実行する機能が異なるため、その異なる部分について説明を加え、同様の部分は適宜その説明を省略する。
ステップS101において、ユーザにより、操作装置を他装置のネットワークに追加するための処理が実行されると、ステップS102において、操作装置としての携帯電話機11の端末管理部111は、テレビジョン受像機10の分割マネージャ106との接続を要求する。
ステップS103において、テレビジョン受像機10の端末管理部101は、分割マネージャ106を起動する。なお、分割マネージャ106が起動されていた場合には、ステップS103の処理は省略され、ステップS104に処理は進められる。
ステップS104において、接続の許可の通知が出される。この場合、テレビジョン受像機10の分割マネージャ106から、携帯電話機11の分割マネージャ116に対して、接続の許可の通知が出される。
そのような通知を受け、携帯電話機11は、ステップS105において、“連携を開始しますか”といったメッセージと“はい”、“いいえ”という選択肢を、出力部113に表示する。ユーザは、ステップS106において、“はい”という選択肢を選択すると、ステップS107において、携帯電話機11の分割マネージャ116は、Webブラウザ115から、フレームの一覧を取得する。
ステップS108において、携帯電話機11の分割マネージャ116は、フレームの一覧を出力部113に表示する。携帯電話機11に表示されたフレームの一覧を見たユーザが、ステップS109において、携帯電話機11側で表示させたいフレームを選択すると、ステップS110において、選択されたフレームが表示される。
携帯電話機11の分割マネージャ116は、入力部114に入力されたユーザの操作から、どのフレーム(分割画面)が選択されたかを判断し、そのフレームが出力部113に表示されるように描画データを再生成し、出力部113に供給する。
このような処理が行われる一方で、ステップS111において、携帯電話機11の分割マネージャ116は、テレビジョン受像機10の分割マネージャ106に対して、選択されたフレームを通知する。
この通知を受信したテレビジョン受像機10の分割マネージャ106は、ステップS112において、選択されたフレームを削除する。テレビジョン受像機10の分割マネージャ106は、Webブラウザ105で描画されている画面20から、分割画面22’を削除した描画データを生成し、換言すれば、分割画面21’と分割画面23’の描画データからなる描画データを生成し、出力部103に供給する。このような処理がテレビジョン受像機10側で行われることで、図5の時刻T23に示したように、テレビジョン受像機10のディスプレイには、分割画面21’が表示された状態となる。
図2を参照して説明したロングタッチがされることで、分割表示が開始される場合、図4を参照して説明した所定のコードが表示されることで、分割表示が開始される場合、および図6を参照して説明した所定のアプリケーションが起動されることで、分割表示が開始される場合も、基本的に、図16に示したタイミングチャートのように、装置同士の連携が開始され、フレームが特定されることで、分割表示が開始される。
しかしながら、異なる処理も含まれるため、図2、図4、図6をそれぞれ参照して説明した分割表示の開始に係わる処理について、図17乃至19を参照して説明する。ここでは、図14に示したシステムにおいて実行される場合を例に挙げて説明する。
まず、図17のタイミングチャートを参照し、図2を参照して説明したロングタッチがされることで、分割表示が開始される場合について説明する。
ステップS151において、ユーザは、携帯電話機11の画面をロングタッチする。
なお、ステップS151の処理が開始されるより前の時点で、テレビジョン受像機10と携帯電話機11は、連携動作可能な装置群であると、分割制御部12の端末管理部121により管理されている状態である。また、そのような連携動作可能な装置群として、携帯電話機11が登録されるまでの処理は、例えば、図16のステップS101乃至S106の処理が実行されることで行われるように構成することも可能である。
ステップS152において、携帯電話機11の分割クライアント112は、入力部114を介して入力されたユーザの操作、この場合、ロングタッチという操作がされたことを検知すると、そのロングタッチされているフレームが特定される。図2の時刻T1に示したような状態の場合、分割画面22が、ロングタッチされているフレームであるとして特定される。
このような特定がされる一方で、ステップS153において、携帯電話機11の分割クライアント112は、出力部113にコンテキストメニュー51(図2の時刻T2)を表示させる。ステップS154において、ユーザが携帯電話機11に表示されたコンテキストメニュー51内から、“分割”という選択肢を選択した場合、ステップS155に処理が進められる。
ステップS155において、ステップS152において特定されていたフレームが表示される。すなわち、携帯電話機11の分割クライアント112は、ユーザがロングタッチしていたとして特定したフレーム、この場合、分割画面22が、出力部113で表示されるように、制御を開始する。
携帯電話機11の分割クライアント112は、ステップS156において、分割制御部12の分割サーバ122に対して、選択されたフレームを通知する。そのような通知を受けた分割制御部12の分割サーバ122は、ステップS157において、テレビジョン受像機10に供給する描画データから、選択されたフレームの描画データを削除した描画データを、テレビジョン受像機10に供給する。このステップS156とステップS157の処理は、図16のステップS111とステップS112の処理と同様に行われる。
次に図18のタイミングチャートを参照し、図4を参照して説明した所定のコードが表示されることで、分割表示が開始される場合について説明する。
ステップS201において、ユーザは、携帯電話機11で、テレビジョン受像機10に表示されている画面20を撮影する。この状況は、図4の時刻T11のところに示したような状況である。
なお、この場合も、ステップS201の処理が開始されるより前の時点で、テレビジョン受像機10と携帯電話機11は、連携動作可能な装置群であると、分割制御部12の端末管理部121により管理されている状態である。また、そのような連携動作可能な装置群として、携帯電話機11が登録されるまでの処理は、例えば、図16のステップS101乃至S106の処理が実行されることで行われるように構成することも可能である。
ステップS202において、携帯電話機11の分割クライアント102は、入力部114の撮像機能により、テレビジョン受像機10に表示されている画面20が撮影されていると判断すると、そのことを、分割制御部12の分割サーバ122に通知する。
ステップS203において、分割制御部12の分割サーバ122は、携帯電話機11からの通知を受け、テレビジョン受像機10の分割クライアント102に対してQRコードを表示するようにとの指示(描画データと制御情報)を出す。その結果、図4の時刻T12に示したように、テレビジョン受像機10には、QRコード81乃至83が表示される。
ステップS204において、ユーザが、携帯電話機11で表示させたい画面(フレーム)に表示されているQRコードを撮影すると、携帯電話機11の分割クライアント112は、ステップS205において、フレームを特定する。
携帯電話機11の分割クライアント112は、入力部114の撮影機能により撮影されているQRコード、この場合、分割画面22に表示されているQRコード82を読み込み、分割画面22が、ユーザにより分割対象のフレームとして選択されたと判断する。
このような判断は、分割制御部12側で行われ、その結果が、携帯電話機11側に供給されるようにしても良い。例えば、携帯電話機11の分割クライアント112は、入力部114の撮影機能により撮影されているQRコードの情報を、分割制御部12の分割サーバ122に供給する。
分割サーバ122は、供給されたQRコードを解析し、どの分割画面(フレーム)内に表示されていたQRコードであるかを特定する。その特定の結果を、携帯電話機11の分割クライアント112に供給するように構成することも可能である。
ステップS206において、携帯電話機11の分割クライアント112は,特定されたフレームを表示する。このステップS206乃至S208の処理は、基本的に、図17のステップS155乃至S157の処理と同様に行われるため、ここでは、その説明を省略する。
次に図19のタイミングチャートを参照し、図6を参照して説明した所定のアプリケーションが起動されることで、分割表示が開始される場合について説明する。
ステップS251において、ユーザは、携帯電話機11に、分割表示を開始させるためのアプリケーションを起動させる。この状況は、図6の時刻T21のところに示したような状況であり、アプリケーションのアイコン91が操作されることで、アプリケーションの起動が指示される。
なお、この場合も、ステップS251の処理が開始されるより前の時点で、テレビジョン受像機10と携帯電話機11は、連携動作可能な装置群であると、分割制御部12の端末管理部121により管理されている状態である。また、そのような連携動作可能な装置群として、携帯電話機11が登録されるまでの処理は、例えば、図16のステップS101乃至S106の処理が実行されることで行われるように構成することも可能である。
または、アプリケーションが起動された時点で、図16のステップS101乃至S106の処理が実行されることで連携動作可能な装置群に登録されるように構成することも可能である。
ステップS252において、携帯電話機11の分割クライアント112は、分割制御部12の分割サーバ122から、フレームの一覧を取得する。ステップS252乃至S257の処理は、図16のステップS10乃至S112の処理と同様に行うことが可能であるため、その説明は省略する。
ここで、図5、図16を参照して説明したネットワークに装置を追加することで分割表示が開始される場合と、図6、図19を参照して説明したアプリケーションを起動することで分割表示が開始される場合とを比較する。
図5、図16を参照して説明したネットワークに装置を追加することで分割表示が開始される場合、ユーザは、携帯電話機11の電源をオンにする、テレビジョン受像機10に近づける、ネットワーク的に同一のセグメントに含めるための操作を実行するなどの所定の操作を行うことで、テレビジョン受像機10が参加しているネットワークに携帯電話機11を参加させる。
このようにして連携する装置群に、携帯電話機11が追加された後、例えば、図12を参照して説明したプッシュ処理が実行されることで、携帯電話機11の連携状態が解除された場合を考える。この場合、携帯電話機11を再度連携状態に戻すには、ユーザは、上記したような操作を再度行う必要がある。例えば、携帯電話機11の電源を一旦オフにしてから、再度オンにすると行ったような操作を行う必要がある。
このように、携帯電話機11の電源をオン、オフするといった操作をユーザに行わせるのは、使い勝手が低下する可能性を高くしてしまう。そこで、再度連携状態を開始するには、図6、図19を参照して説明したアプリケーションを起動することで連携状態が開始されるようにしても良い。
このようにすれば、例えば、携帯電話機11の電源をオンにするといった簡単な操作で、連携状態を開始し、その後、連携状態が一旦解除され、再度連携状態を開始させたいときには、アプリケーションを起動させるという簡単な操作だけで、再度連携状態を開始させることが可能となる。
このように、上記した第1乃至第4のフレーム選択の処理を組み合わせて用いることで、より使い勝手を向上させることが可能となる。
<分割表示状態時の処理>
次に、上記したようにして、分割表示状態に移行し、分割表示が行われているときの処理について説明する。
図20は、分割表示状態のときに実行される処理について説明するためのフローチャートである。ここでは、分割表示状態のときの携帯電話機11側で行われる処理であるとして説明を行うが、基本的に、テレビジョン受像機10側でも同様に処理が行われる。
ステップS301において、分割画面内が操作されたか否かが判断される。ステップS301において、分割画面内が操作されたと判断された場合、ステップS302に処理が進められる。
ステップS302において、フレーム内スクロールであるか否かが判断される。フレーム内スクロールとは、図8を参照して説明したように、分割バーや操作バーに触れず、分割画面内にタッチされた状態で、所定の方向にスクロールが指示された場合である。換言すれば、分割バーや操作バーと平行する方向へのスクロールである場合、フレーム内スクロールであると判断される。
ステップS302において、フレーム内スクロールであると判断された場合、ステップS303において、フレーム内スクロールの処理が実行される。フレーム内スクロールの処理とは、図8を参照して説明したように、例えば、分割画面22’を、ユーザが指示した方向に移動表示するための処理である。
一方、ステップS302において、フレーム内スクロールではないと判断された場合、ステップS304に処理が進められる。この場合、分割画面内が操作され、フレーム内スクロールではないため、フレーム外スクロールであると判断できる。よって、ステップS304において、フレーム外スクロールの処理が実行される。
図21は、ステップS304において実行されるフレーム外スクロールの処理について説明するためのフローチャートである。
ステップS331において、ドラッグスクロールが実行され、ステップS332において、そのドラッグスクロールが限界に達した場合、ステップS333において、バウンスバック表示が行われる。
例えば、図3に示した携帯電話機11に表示されている分割画面22’が、右方向にスクロールされた場合を考える。このとき、分割画面22’自体は、全て表示されている状態であり、右方向にスクロールされても、分割画面22’として新たに表示される画面はない。このようなときに、ユーザが、分割画面22’をドラッグした状態で、右方向にスクロールすると、分割画面22’自体は、それ以降右側に移動することはできないため、バウンスバック表示が行われる。
ステップS334において、バウンスバック表示が行われた後も、ドラッグスクロールが続けられているか否かが判断される。ステップS334において、ドラッグスクロールが続けられていないと判断された場合、換言すれば、ユーザの指が画面から離れ、スクロールは中断されたと判断された場合、ステップS335に処理は進められる。
ステップS335において、分割表示状態は継続されたまま、フレーム外スクロール処理に係わる処理は終了され、次の指示待ちの状態となる。
一方で、ステップS334において、ドラッグスクロールは続けられていると判断された場合、ステップS336に処理は進められる。ステップS336において、分割表示状態が解除され、非分割表示状態に移行される。
例えば、図9を参照して説明したように、図3に示した分割画面22’が、右方向にスクロールされることで、図9に示した分割画面22’では、その一部分のみが表示されている状態となっている。このようなドラッグスクロールが、継続されているか否かが判断され、継続されている判断される場合には、分割表示状態が解除され、比分割表示状態に移行される。
非分割表示状態に移行した場合、そのことが、ステップS337において通知される。図14に示したシステムの場合、携帯電話機11の分割クライアント112から、分割制御部12の分割サーバ122に対して、携帯電話機11は、非分割表示状態に移行したことが通知される。
図15に示したシステムの場合、携帯電話機11の分割マネージャ116から、テレビジョン受像機10の分割マネージャ106に対して、携帯電話機11は、非分割表示状態に移行したことが通知される。
ステップS338において、携帯電話機11に表示されていた各種バーが非表示の状態にされる。例えば、携帯電話機11には、分割画面22’が表示され、その分割画面22’の左側には、分割バー63,64が表示され、右側には操作バー65が表示されていたが、それらのバーが非表示とされる。また、スクロールされることにより表示されるようになった分割画面21’の分割バー62などのバーも非表示とされる。
ステップS339において、コンテンツ全体の表示が行われる。すなわちこの場合、携帯電話機11のディスプレイに、分割画面21、分割画面22、および分割画面23を含む画面20が表示される。
このようにして、フレーム外スクロールの処理が実行される。
図20のフローチャートを参照した説明に戻る。ステップS301において、分割画面内が操作されたのではないと判断された場合、ステップS305に処理が進められる。ステップS305において、分割バーが操作されたか否かが判断される。ステップS305においては、例えば、図11の時刻T101に示した携帯電話機11の状況のように、分割画面22’の左側に表示されている分割バー63がタッチされたか否かが判断される。
ステップS305において、分割バーが操作されたと判断された場合、ステップS306において、プル処理が実行される。
図11を参照して説明したように、分割バー63がタッチされ、タッチされた状態のまま、操作バー65の方向(図11中、右方向)に指が移動された場合、図11を参照して説明したように、プル処理が指示されたことになる。そこで、ステップS306において、プル処理が実行される。
図22は、ステップS306において実行されるプル処理について説明するためのフローチャートである。
ステップS361において、携帯電話機11の分割クライアント112は、プル処理が開始されると、分割制御部12の分割サーバ122に対して、隣接フレームを要求する。なお図15に示したようなシステムの場合、携帯電話機11の分割マネージャ116は、Webブラウザ115に、隣接フレームを要求する。
ステップS362において、携帯電話機11の分割クライアント112は、取得された隣接フレームを、現フレームと並べて表示する。必要に応じ、現フレームを縮小または拡大して表示する。この状況は、図11の時刻T102に示したような状況である。すなわち、図11の時刻T102に示したように、テレビジョン受像機10には、分割画面21’の一部分が表示され、残りの部分は、携帯電話機11に引き込まれ、携帯電話機11で表示されているような状態である。
このような表示状態から、さらに指が動かされ、プル状態が引き続き行われると、テレビジョン受像機10に表示されていた分割画面21’は、全て携帯電話機11に引き込まれた状態となる。
このような完全に分割画面21’が携帯電話機11に引き込まれた状態が、図11の時刻T103のところに示した状態である。図11の時刻T103に示した携帯電話機11の画面を参照するに、携帯電話機11には、画面20が表示されている。
このように、完全に分割画面21’が携帯電話機11に引き込まれた状態になったか否かを判断するために、ステップS363において、隣接フレームが完全に表示されるまでプル操作が続けられているか否かが判断される。
ステップS363において、隣接フレームが完全に表示されるまでプル操作が続けられていると判断された場合、ステップS364に処理が進められる。ステップS364において、分割クライアント102は、隣接フレームを現フレームと統合し、統合された画面を出力部113により表示する。
一方で、ステップS363において、隣接フレームが完全に表示されるまでプル操作は続けられていないと判断された場合、換言すれば、プル操作は途中で中止されたと判断された場合、ステップS365に処理が進められる。
ステップS365において、その時点で表示されていた隣接フレームが削除される。例えば、図11の時刻T102の状態のときに、ユーザが携帯電話機11にタッチしていた指を携帯電話機11から離すと、プル操作は中止されたと判断され、プル操作が開始される前の状態、例えば時刻T101に示した状態に画面が戻される。
このことは、図11の時刻T102の状態のときに、携帯電話機11に表示されていた隣接フレームに対応する分割画面21’が画面上から削除され、分割画面22’だけが表示されている状態に戻されることを意味する。よって、ステップS365において、その時点で表示されていた隣接フレームが削除される。
隣接フレームが削除されることをユーザにアニメーションとして提示しても良い。隣接フレームが、徐々に、テレビジョン受像機10に戻されるようなアニメーションがされることで、ユーザに、プル操作が中止されたことを認識させることができる。
このように、プル処理が実行される。
図20のフローチャートを参照した説明に戻る。ステップS305において、分割バーは操作されていないと判断された場合、換言すれば、操作バーが操作されたと判断された場合、ステップS307に処理は進められる。
操作バーが操作されたと判断されるのは、例えば、図12の時刻T121に示した携帯電話機11の状況のように、分割画面22’の右側に表示されている操作バー65がタッチされたと判断されたときである。
このように、操作バー65がタッチされ、タッチされた状態のまま、分割バー63の方向(図12中、左方向)に指が移動された場合、図12を参照して説明したように、プッシュ処理が指示されたことになる。そこで、ステップS307において、プッシュ処理が実行される。
図23は、ステップS307で実行されるプッシュ処理について説明するためのフローチャートである。
ステップS391において、携帯電話機11の分割クライアント112は、分割制御部12の分割サーバ122に対して、プッシュ処理の開始を通知する。図15に示したシステムの場合、テレビジョン受像機10の分割マネージャ106に対して通知が出される。
ステップS392において、携帯電話機11に表示されている分割画面22’が、ユーザが指示している方向に移動するような表示がなされる。すなわち、例えば、図12の時刻T122のところに示したように、携帯電話機11に表示されている分割画面22’が、左側に移動し、だんだんと表示されている部分が小さくなっていく表示がなされる。
ステップS393において、プッシュ操作は続けられているか否かが判断される。ステップS393において、プッシュ操作は続けられていないと判断された場合、換言すれば、プッシュ操作は中止されたと判断された場合、ステップS394に処理は進められる。
ステップS394において、携帯電話機11の画面は、プッシュ操作が開始される前の画面に戻される。例えば、図12の時刻T122の状態のときに、ユーザが携帯電話機11にタッチしていた指を携帯電話機11から離すと、プッシュ操作は中止されたと判断され、プッシュ操作が開始される前の状態、例えば時刻T121に示した状態に画面が戻される。
この際、分割画面22’が、徐々に携帯電話機11側に戻ってくるようなアニメーションが行われるように構成することも可能である。このようなアニメーションがなされることで、ユーザにプッシュ操作が中止されたことを認識させることができる。
一方、ステップS393において、プッシュ操作は続けられていると判断された場合、ステップS395に処理は進められる。
例えば、図12の時刻T122に示したように、携帯電話機11には、分割画面22’の一部分が表示され、残りの部分は、テレビジョン受像機10に押し出され、テレビジョン受像機10で表示されているような状態のとき、プッシュ操作が引き続き行われると、携帯電話機11に表示されていた分割画面22’は、全てテレビジョン受像機10に押し出された状態となる。
このような完全に分割画面22’がテレビジョン受像機10に押し出された状態が、図12の時刻T123のところに示した状態である。このような状態になったか否かが、ステップS395において判断される。
ステップS395において、表示する画面がなくなったか否かが判断される。ステップS395において、表示する画面がなくなっていないと判断された場合、換言すれば、例えば、図12の時刻T122に示したような状態であると判断された場合、ステップS392に処理が戻され、引き続き、画面が移動する表示が継続され、それ以降の処理が繰り返される。
一方、ステップS395において、表示する画面がなくなったと判断された場合、ステップS396に処理が進められる。図12を参照して説明したように、携帯電話機11に表示されていた分割画面22’が、全てテレビジョン受像機10に押し出されたため、携帯電話機11に分割画面が表示されない状態となった場合、連携動作は解除される。
例えば、図12の時刻T123のところに図示したように、“連携を終了します”といったメッセージ(ダイアログ)が表示され、連携が終了される(ステップS396)。
このようにして、プッシュ処理が行われる。
なお、プッシュ処理の結果、表示する画面がなくなったときに、連携動作が解除される場合を例に挙げて説明したが、連携動作は維持される場合には、ステップS396の処理は省略される。
分割表示状態時には、このように、ユーザの操作に応じた処理が実行される。
なお、携帯電話機11でプル処理が実行されているときには、連携動作しているテレビジョン受像機10では、プッシュ処理が実行されている。携帯電話機11で、テレビジョン受像機10側で表示されている分割画面を、引き込む処理がされているということは、テレビジョン受像機10側では、携帯電話機11側に、表示している分割画面を押し出していることになる。
よって、処理としては、一方の装置でプル処理が実行されている場合、他方の装置ではプッシュ処理が実行されている。
このように本技術によれば、複数の装置で連携した状態で、1つのコンテンツを表示し、操作することができる。このことにより、1つの装置で複数の装置のユーザインターフェース(UI)の関連性を操作することができるため、コンテンツの分割位置や分割後の分配に不都合があってもユーザが自ら修正することができる。
また分割表示状態のときには、プッシュやプルといった動作により他の装置へのコンテンツの移動や他の装置からのコンテンツの取得が容易に行える。このことにより例えば、複数人で装置を用いると、コンテンツのお勧めや、コンテンツの操作の移譲ができる。操作によって複数の装置で、同フレームを表示できるので、複数人が同時に同じコンテンツを閲覧することも可能となる。
<記録媒体について>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図24は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。例えば、上記したWebサーバ13をパーソナルコンピュータで構成した場合、Webサーバ13は、図24に示すような構成を有する。
Webサーバ13において、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303は、バス304により相互に接続されている。バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、入力部306、出力部307、記憶部308、通信部309、およびドライブ310が接続されている。
入力部306は、キーボード、マウス、マイクロフォンなどよりなる。出力部307は、ディスプレイ、スピーカなどよりなる。記憶部308は、ハードディスクや不揮発性のメモリなどよりなる。通信部309は、ネットワークインタフェースなどよりなる。ドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア311を駆動する。
以上のように構成されるコンピュータでは、CPU301が、例えば、記憶部308に記憶されているプログラムを、入出力インタフェース305およびバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU301)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア311に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インタフェース305を介して、記憶部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記憶部308にインストールすることができる。その他、プログラムは、ROM302や記憶部308に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
複数のフレームを含む画面を描画する描画部と、
連携して動作する装置群を管理する管理部と、
前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てる分割部と
を備える情報処理装置。
(2)
所定の装置の電源がオンにされた場合、既に装置群に登録されている装置に近づけられた場合、ネットワーク的に同一のセグメントに含める操作がなされた場合をトリガーとし、前記所定の装置は、前記装置群に追加され、前記管理部による管理対象とされる
前記(1)に記載の情報処理装置。
(3)
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、第2の装置が、前記管理部での管理対象とされたとき、前記分割部は、前記第2の装置に、前記複数のフレームの描画データを供給する
前記(1)または(2)に記載の情報処理装置。
(4)
前記第2の装置は、供給された前記複数のフレームの描画データに基づき、前記複数のフレームを表示し、表示された前記複数のフレームから、ユーザにより第1のフレームが選択された場合、その選択された第1のフレームを表示する状態に移行し、
前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、
前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
前記(3)に記載の情報処理装置。
(5)
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置と第2の装置でそれぞれ表示されているときに、前記第2の装置で表示されている前記画像内の第1のフレームが操作された場合、前記第2の装置は、前記第1のフレームを表示する状態に移行し、
前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、
前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
前記(1)または(2)に記載の情報処理装置。
(6)
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置と第2の装置でそれぞれ表示されているときに、前記第2の装置で表示されている前記画像内の第1のフレームが操作された場合、前記第2の装置にコンテキストメニューが表示され、
前記コンテキストメニュー内から、分割を指示する選択肢が選択された場合、前記第2の装置は、前記第1のフレームを表示する状態に移行し、
前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、
前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
前記(1)または(2)に記載の情報処理装置。
(7)
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、前記第2の装置で前記第1の装置で表示されている前記画面が撮影された場合、所定のコードが、前記フレーム毎に表示され、
前記第2の装置で、前記所定のコードが撮影された場合、その撮影されたコードが位置する第1のフレームを表示する状態に、前記第2の装置は移行し、
前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、
前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
前記(1)または(2)に記載の情報処理装置。
(8)
前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、第2の装置で、分割表示を実行するためのアプリケーションが起動された場合、前記分割部は、前記第2の装置に、前記複数のフレームの描画データを供給し、
前記第2の装置は、供給された前記複数のフレームの描画データに基づき、前記複数のフレームを表示し、表示された前記複数のフレームから、ユーザにより第1のフレームが選択された場合、その選択された第1のフレームを表示し、
前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示し、
前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
前記(1)または(2)に記載の情報処理装置。
(9)
前記分割部が、第1のフレームの描画データを、第1の装置に供給し、前記第1のフレーム以外のフレームの描画データを、第2の装置に供給している状態のときに、前記第1の装置に表示されている第1のフレーム内にスクロール操作がされた場合、そのスクロール操作に合わせて、前記第2の装置に表示されている前記第2のフレームもスクロールされる
前記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記分割部が、第1のフレームの描画データを、第1の装置に供給し、前記第1のフレーム以外のフレームの描画データを、第2の装置に供給している場合、前記第1の装置で、前記第1のフレームと前記第1のフレームの辺にバーが表示され、前記第2の装置で、前記第2のフレームと前記第2のフレームの辺にバーが表示される
前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記画面において、前記第1のフレームと前記第2のフレームが隣接する側には、その部分で画面が分割されていることを示す第1のバーが表示され、前記第1のバーとは反対側の辺には、第2のバーが表示される
前記(10)に記載の情報処理装置。
(12)
前記第1の装置に表示されている第1のフレームにスクロール操作がされた場合、そのスクロール方向に、前記画像内で、前記第1のフレームと前記第2のフレームが隣接しているとき、前記第1のフレームのスクロールにともない、前記第2のフレームも、前記第1の装置で表示される
前記(10)に記載の情報処理装置。
(13)
前記第1の装置に表示されている前記第1のバーが操作された場合、その操作に合わせて、前記第2の装置で表示されている前記第2のフレームが、前記第1の装置に引き込まれ、前記第1の装置で表示される状態となる
前記(11)に記載の情報処理装置。
(14)
前記第2のフレームの全てが、前記第1の装置に引き込まれ、前記第1の装置で表示される状態となった時点で、前記第1の装置と前記第2の装置の連携状態は解除される
前記(12)に記載の情報処理装置。
(15)
前記第1の装置に表示されている前記第2のバーが操作された場合、その操作に合わせて、前記第1の装置で表示されている前記第1のフレームが、前記第2の装置に押し出され、前記第2の装置で表示される状態となる
前記(11)に記載の情報処理装置。
(16)
前記第1のフレームの全てが、前記第2の装置に押し出され、前記第2の装置で表示される状態となった時点で、前記第1の装置と前記第2の装置の連携状態は解除される
前記(15)に記載の情報処理装置。
(17)
前記第1の装置は、ユーザが加えた力の方向を少なくとも検知するセンサーを備え、
前記第1の装置が回転する方向に力が加えられた場合、前記第1の装置で表示している前記第1のフレームが前記第2の装置で表示され、前記第2の装置で表示している前記第2のフレームが前記第1の装置で表示される状態へと移行する
前記(10)に記載の情報処理装置。
(18)
描画部、管理部、および分割部を備える情報処理装置の情報処理方法において、
前記描画部は、複数のフレームを含む画面を描画し、
前記管理部は、連携して動作する装置群を管理し、
前記分割部は、前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てる
ステップを含む情報処理方法。
(19)
描画部、管理部、および分割部を備える情報処理装置を制御するコンピュータに、
前記描画部は、複数のフレームを含む画面を描画し、
前記管理部は、連携して動作する装置群を管理し、
前記分割部は、前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てる
ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
10 テレビジョン受像機, 11 携帯電話機, 12 分割制御部, 13 Webサーバ, 20 画面, 21乃至23 分割画面, 101 端末管理部, 102 分割クライアント, 103 出力部, 104 入力部, 105 Webブラウザ, 106 分割マネージャ, 111 端末管理部, 112 分割クライアント, 113 出力部, 114 入力部, 115 Webブラウザ, 116 分割マネージャ, 121 端末管理部, 122 分割サーバ, 123 Webブラウザ

Claims (19)

  1. 複数のフレームを含む画面を描画する描画部と、
    連携して動作する装置群を管理する管理部と、
    前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てる分割部と
    を備える情報処理装置。
  2. 所定の装置の電源がオンにされた場合、既に装置群に登録されている装置に近づけられた場合、ネットワーク的に同一のセグメントに含める操作がなされた場合をトリガーとし、前記所定の装置は、前記装置群に追加され、前記管理部による管理対象とされる
    請求項1に記載の情報処理装置。
  3. 前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、第2の装置が、前記管理部での管理対象とされたとき、前記分割部は、前記第2の装置に、前記複数のフレームの描画データを供給する
    請求項1に記載の情報処理装置。
  4. 前記第2の装置は、供給された前記複数のフレームの描画データに基づき、前記複数のフレームを表示し、表示された前記複数のフレームから、ユーザにより第1のフレームが選択された場合、その選択された第1のフレームを表示する状態に移行し、
    前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、
    前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
    請求項3に記載の情報処理装置。
  5. 前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置と第2の装置でそれぞれ表示されているときに、前記第2の装置で表示されている前記画像内の第1のフレームが操作された場合、前記第2の装置は、前記第1のフレームを表示する状態に移行し、
    前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、
    前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
    請求項1に記載の情報処理装置。
  6. 前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置と第2の装置でそれぞれ表示されているときに、前記第2の装置で表示されている前記画像内の第1のフレームが操作された場合、前記第2の装置にコンテキストメニューが表示され、
    前記コンテキストメニュー内から、分割を指示する選択肢が選択された場合、前記第2の装置は、前記第1のフレームを表示する状態に移行し、
    前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、
    前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
    請求項1に記載の情報処理装置。
  7. 前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、前記第2の装置で前記第1の装置で表示されている前記画面が撮影された場合、所定のコードが、前記フレーム毎に表示され、
    前記第2の装置で、前記所定のコードが撮影された場合、その撮影されたコードが位置する第1のフレームを表示する状態に、前記第2の装置は移行し、
    前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示する状態に移行し、
    前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
    請求項1に記載の情報処理装置。
  8. 前記描画部で描画されている前記画面が、前記装置群に登録されている第1の装置で表示されているときに、第2の装置で、分割表示を実行するためのアプリケーションが起動された場合、前記分割部は、前記第2の装置に、前記複数のフレームの描画データを供給し、
    前記第2の装置は、供給された前記複数のフレームの描画データに基づき、前記複数のフレームを表示し、表示された前記複数のフレームから、ユーザにより第1のフレームが選択された場合、その選択された第1のフレームを表示し、
    前記第1の装置は、前記画面から前記第1のフレームを削除した画面を表示し、
    前記分割部は、前記第1のフレームの描画データを、前記第2の装置に供給し、前記第1のフレーム以外のフレームの描画データを、前記第1の装置に供給する
    請求項1に記載の情報処理装置。
  9. 前記分割部が、第1のフレームの描画データを、第1の装置に供給し、前記第1のフレーム以外のフレームの描画データを、第2の装置に供給している状態のときに、前記第1の装置に表示されている第1のフレーム内にスクロール操作がされた場合、そのスクロール操作に合わせて、前記第2の装置に表示されている前記第2のフレームもスクロールされる
    請求項1に記載の情報処理装置。
  10. 前記分割部が、第1のフレームの描画データを、第1の装置に供給し、前記第1のフレーム以外のフレームの描画データを、第2の装置に供給している場合、前記第1の装置で、前記第1のフレームと前記第1のフレームの辺にバーが表示され、前記第2の装置で、前記第2のフレームと前記第2のフレームの辺にバーが表示される
    請求項1に記載の情報処理装置。
  11. 前記画面において、前記第1のフレームと前記第2のフレームが隣接する側には、その部分で画面が分割されていることを示す第1のバーが表示され、前記第1のバーとは反対側の辺には、第2のバーが表示される
    請求項10に記載の情報処理装置。
  12. 前記第1の装置に表示されている第1のフレームにスクロール操作がされた場合、そのスクロール方向に、前記画像内で、前記第1のフレームと前記第2のフレームが隣接しているとき、前記第1のフレームのスクロールにともない、前記第2のフレームも、前記第1の装置で表示される
    請求項10に記載の情報処理装置。
  13. 前記第1の装置に表示されている前記第1のバーが操作された場合、その操作に合わせて、前記第2の装置で表示されている前記第2のフレームが、前記第1の装置に引き込まれ、前記第1の装置で表示される状態となる
    請求項11に記載の情報処理装置。
  14. 前記第2のフレームの全てが、前記第1の装置に引き込まれ、前記第1の装置で表示される状態となった時点で、前記第1の装置と前記第2の装置の連携状態は解除される
    請求項12に記載の情報処理装置。
  15. 前記第1の装置に表示されている前記第2のバーが操作された場合、その操作に合わせて、前記第1の装置で表示されている前記第1のフレームが、前記第2の装置に押し出され、前記第2の装置で表示される状態となる
    請求項11に記載の情報処理装置。
  16. 前記第1のフレームの全てが、前記第2の装置に押し出され、前記第2の装置で表示される状態となった時点で、前記第1の装置と前記第2の装置の連携状態は解除される
    請求項15に記載の情報処理装置。
  17. 前記第1の装置は、ユーザが加えた力の方向を少なくとも検知するセンサーを備え、
    前記第1の装置が回転する方向に力が加えられた場合、前記第1の装置で表示している前記第1のフレームが前記第2の装置で表示され、前記第2の装置で表示している前記第2のフレームが前記第1の装置で表示される状態へと移行する
    請求項10に記載の情報処理装置。
  18. 描画部、管理部、および分割部を備える情報処理装置の情報処理方法において、
    前記描画部は、複数のフレームを含む画面を描画し、
    前記管理部は、連携して動作する装置群を管理し、
    前記分割部は、前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てる
    ステップを含む情報処理方法。
  19. 描画部、管理部、および分割部を備える情報処理装置を制御するコンピュータに、
    前記描画部は、複数のフレームを含む画面を描画し、
    前記管理部は、連携して動作する装置群を管理し、
    前記分割部は、前記描画部で描画されている前記画面を、複数の装置で分割して表示するという指示を受けたとき、前記複数の装置のそれぞれに、前記フレームを割り当てる
    ステップを含む処理を実行させるためのコンピュータ読み取り可能なプログラム。
JP2014087893A 2014-04-22 2014-04-22 情報処理装置、情報処理方法、並びにプログラム Pending JP2015207182A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014087893A JP2015207182A (ja) 2014-04-22 2014-04-22 情報処理装置、情報処理方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014087893A JP2015207182A (ja) 2014-04-22 2014-04-22 情報処理装置、情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2015207182A true JP2015207182A (ja) 2015-11-19

Family

ID=54603929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014087893A Pending JP2015207182A (ja) 2014-04-22 2014-04-22 情報処理装置、情報処理方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2015207182A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325742A (zh) * 2016-08-17 2017-01-11 北京中达金桥技术股份有限公司 支持多人共屏操作的屏幕操作系统
JP6109443B1 (ja) * 2016-06-17 2017-04-05 三菱電機株式会社 コンテンツ表示装置、コンテンツ表示システム、コンテンツ表示方法、及びコンテンツ表示プログラム
JP2020501399A (ja) * 2017-02-24 2020-01-16 グーグル エルエルシー 複数デバイスのメディアスワップ
JP2023510456A (ja) * 2020-04-01 2023-03-14 グーグル エルエルシー 第1のスクリーンデバイス上に提供されるメディア機能が第2のスクリーンデバイス上に提示されることを可能にすること

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6109443B1 (ja) * 2016-06-17 2017-04-05 三菱電機株式会社 コンテンツ表示装置、コンテンツ表示システム、コンテンツ表示方法、及びコンテンツ表示プログラム
WO2017216953A1 (ja) * 2016-06-17 2017-12-21 三菱電機株式会社 コンテンツ表示装置、コンテンツ表示システム、コンテンツ表示方法、及びコンテンツ表示プログラム
CN106325742A (zh) * 2016-08-17 2017-01-11 北京中达金桥技术股份有限公司 支持多人共屏操作的屏幕操作系统
JP2020501399A (ja) * 2017-02-24 2020-01-16 グーグル エルエルシー 複数デバイスのメディアスワップ
JP2023510456A (ja) * 2020-04-01 2023-03-14 グーグル エルエルシー 第1のスクリーンデバイス上に提供されるメディア機能が第2のスクリーンデバイス上に提示されることを可能にすること

Similar Documents

Publication Publication Date Title
US20200296147A1 (en) Systems and methods for real-time collaboration
JP5419654B2 (ja) 情報処理装置および情報処理システム
JP6386809B2 (ja) 情報処理装置およびその制御方法、システム、並びにプログラム
CN106572139B (zh) 多终端控制方法、终端、服务器和系统
JP2011070511A (ja) 端末装置、サーバ装置、表示制御方法、及びプログラム
JP5344651B2 (ja) 情報処理装置、制御方法、プログラム、および情報処理システム
JP2004264769A (ja) 情報処理装置およびプログラム
WO2014036974A1 (zh) 一种终端设备、同屏显示方法和系统
JP2015207182A (ja) 情報処理装置、情報処理方法、並びにプログラム
US20220166685A1 (en) Communication apparatus and control method for the same
CN113014972A (zh) 投屏方法、装置和系统
JP2010004359A (ja) 制御装置、制御方法および制御システム
JP5842392B2 (ja) コンテンツ共有システム、コンテンツ共有端末、サーバ、コンテンツ共有方法、および、コンピュータ・プログラム
US9973554B2 (en) Interactive broadcasting between devices
US20130139066A1 (en) Information processing apparatus, information processing method, and storage medium
US20160210101A1 (en) Document display support device, terminal, document display method, and computer-readable storage medium for computer program
JP6209868B2 (ja) 情報端末、情報処理プログラム、情報処理システム、及び情報処理方法
WO2009113676A1 (ja) 画像表示システム及び同システムに用いる表示装置、並びに情報処理方法
CN106462518A (zh) 用户终端及其控制方法
JP2012156726A (ja) 情報処理装置、情報処理方法及びプログラム
JP2012221159A (ja) コンテンツ処理装置、コンテンツ処理方法及びコンテンツ処理装置の制御プログラム
JP6448439B2 (ja) 電子機器及びその制御方法
JP5994898B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2015155940A (ja) 画像表示装置及び画像表示方法
JP2015001971A (ja) サーバ装置、コンテンツ配信制御装置及びコンテンツ配信システム