JP2019114296A - システムおよび装置 - Google Patents

Abstract

【課題】ハードウェアエレメントまたはソフトウェアエレメントの連係動作を設定するためのユーザの直観的な操作を可能にする。【解決手段】互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、上記複数のアイコンを互いに接続するリンクとを表示させる表示制御部を備え、上記リンクによって形成される上記複数のアイコンの空間的シークエンスは、上記複数のアイコンによってそれぞれ示される上記ソフトウェアエレメントまたは上記ハードウェアエレメントの動作の時間的シークエンスに対応する情報処理装置が提供される。【選択図】図２０

Description

本開示は、情報処理装置、表示制御方法およびプログラムに関する。

家庭などにある複数の機器を連携して機能させることは、既に一般的である。例えば、特許文献１には、機器連携によって実現される機能の利用を効果的に支援するための技術が記載されている。

特開２０１４−３２５０１号公報

上記の特許文献１に記載された技術では、スマートフォンの画面に表示されるコンソールを用いて、システムへの機器の登録などの操作が実行される。また、特許文献１に記載された技術では、機器の連係動作をユーザが新たに登録することが可能である。しかしながら、特許文献１で新たな連係動作の登録のために提示されるユーザインターフェースはテキストベースであり、操作の直観性などの面でなおも改善の余地がある。

そこで、本開示では、ハードウェアエレメントまたはソフトウェアエレメントの連係動作を設定するためのユーザの直観的な操作を可能にする、新規かつ改良された情報処理装置、表示制御方法およびプログラムを提案する。

本開示によれば、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、上記複数のアイコンを互いに接続するリンクとを表示させる表示制御部を備え、上記リンクによって形成される上記複数のアイコンの空間的シークエンスは、上記複数のアイコンによってそれぞれ示される上記ソフトウェアエレメントまたは上記ハードウェアエレメントの動作の時間的シークエンスに対応する情報処理装置が提供される。

また、本開示によれば、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、上記複数のアイコンを互いに接続するリンクとを表示させることを含み、上記リンクによって形成される上記複数のアイコンの空間的シークエンスは、上記複数のアイコンによってそれぞれ示される上記ソフトウェアエレメントまたは上記ハードウェアエレメントの動作の時間的シークエンスに対応する表示制御方法が提供される。

また、本開示によれば、情報処理装置の処理回路において実行されることによって、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、上記複数のアイコンを互いに接続するリンクとを表示させる機能を実現し、上記リンクによって形成される上記複数のアイコンの空間的シークエンスは、上記複数のアイコンによってそれぞれ示される上記ソフトウェアエレメントまたは上記ハードウェアエレメントの動作の時間的シークエンスに対応するプログラムが提供される。

以上説明したように本開示によれば、ハードウェアエレメントまたはソフトウェアエレメントの連係動作を設定するためのユーザの直観的な操作を可能にすることができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施形態に係る技術を適用することが可能なシステムの概略的な構成を示す図である。 図１に示されたシステムの第１の具体的な構成例を示す図である。 図１に示されたシステムの第２の具体的な構成例を示す図である。 図１に示されたシステムの第３の具体的な構成例を示す図である。 図１に示されたシステムの第４の具体的な構成例を示す図である。 図１に示されたシステムの第５の具体的な構成例を示す図である。 図１に示されたシステムの第６の具体的な構成例を示す図である。 図１に示されたシステムの第７の具体的な構成例を示す図である。 図１に示されたシステムの第８の具体的な構成例を示す図である。 図１に示されたシステムにおいて提供されるＵＩの第１の例を示す図である。 図１に示されたシステムにおいて提供されるＵＩの第２の例を示す図である。 図１に示されたシステムにおけるエレメントの連係動作の第１の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第２の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第３の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第４の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第５の具体的な例について説明するための図である。 図１に示されたシステムにおけるエレメントの連係動作の第６の具体的な例について説明するための図である。 本開示の第１の実施形態において提供されるユーザインターフェースの概要を示す図である。 本開示の第１の実施形態において表示される動作アイコンについて説明するための図である。 本開示の第１の実施形態において表示される動作アイコンについて説明するための図である。 本開示の第１の実施形態におけるアイコン間のリンクの設定について説明するための図である。 本開示の第１の実施形態における動作アイコンの削除について説明するための図である。 本開示の第１の実施形態におけるエレメントアイコンの削除について説明するための図である。 本開示の第１の実施形態における動作のプロパティの表示について説明するための図である。 本開示の第１の実施形態においてアイコンとリンクとによって形成される分岐の第１の例を示す図である。 本開示の第１の実施形態においてアイコンとリンクとによって形成される分岐の第２の例を示す図である。 本開示の第１の実施形態においてアイコンとリンクとによって形成される複線的な接続の例を示す図である。 本開示の第１の実施形態においてアイコンとリンクとによって形成される直列的な連関の例を示す図である。 本開示の第１の実施形態におけるグリッドの調整の第１の例を示す図である。 本開示の第１の実施形態におけるグリッドの調整の第２の例を示す図である。 本開示の第２の実施形態における第１の表示例を示す図である。 本開示の第２の実施形態における第２の表示例を示す図である。 本開示の第２の実施形態における第３の表示例を示す図である。 本開示の第２の実施形態における第４の表示例を示す図である。 本開示の第２の実施形態における第５の表示例を示す図である。 本開示の第２の実施形態における第６の表示例を示す図である。 本開示の第２の実施形態における第７の表示例を示す図である。 本開示の第２の実施形態における第８の表示例を示す図である。 本開示の第２の実施形態における第９の表示例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．適用可能なシステムの例
１−１．概略的な構成
１−２．具体的な構成例
１−３．ユーザインターフェースの例
１−４．連係動作の例
２．本開示の実施形態
２−１．第１の実施形態
２−２．第２の実施形態
３．ハードウェア構成
４．補足

（１．適用可能なシステムの例）
（１−１．概略的な構成）
図１は、本開示の実施形態に係る技術を適用することが可能なシステムの概略的な構成を示す図である。図１を参照すると、システム１０は、エレメント１００と、マネージャ２００と、サーバ３００と、ＵＩ（User Interface）装置４００とを含む。これらの装置は、ネットワークＮＷで互いに接続されている。ネットワークＮＷは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、インターネットなどを含みうる。なお、以下では一例としてシステム１０について説明するが、本開示の実施形態に係る技術は他の様々なシステムにおいても適用可能である。

エレメント１００は、通信部１１０と、制御部１２０と、機能部１３０と、電源部１４０とを含む装置である。通信部１１０は、マネージャ２００および／または他のエレメント１００と、ネットワークＮＷを介して通信する通信装置を含む。制御部１２０は、例えばマイクロコントローラやＣＰＵ（Central Processing Unit）などによって実現され、機能部１３０を制御する。機能部１３０は、例えばセンサやアクチュエータなどを含み、それぞれのエレメント１００に固有の機能を実現する。電源部１４０は、バッテリーや電源プラグなどを含み、通信部１１０、制御部１２０、および機能部１３０を動作させるための電源を供給する。なお、エレメント１００以外の装置も電源部を有するが、図示は省略されている。

マネージャ２００は、通信部２１０と、制御部２２０と、記憶部２３０とを含む装置である。通信部２１０は、エレメント１００、サーバ３００およびＵＩ装置４００と、ネットワークＮＷを介して通信する通信装置を含みうる。制御部２２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、通信部２１０を介して、エレメント１００同士の間、およびエレメント１００とサーバ３００との間の通信を制御する。制御部２２０には、演算部２２１が含まれうる。演算部２２１は、エレメント１００から受信された情報や、エレメント１００に送信する情報、サーバ３００に送信する情報、サーバ３００から受信された情報などについての演算を実施する。記憶部２３０は、メモリまたはストレージを含み、制御部２２０が制御する通信によってやりとりされる情報や、演算部２２１によって算出された情報などを格納する。

サーバ３００は、通信部３１０と、制御部３２０と、記憶部３３０とを含む。通信部３１０は、マネージャ２００とネットワークＮＷを介して通信する通信装置を含む。制御部３２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、演算部３２１、およびＵＩ提供部３２３を含みうる。演算部３２１は、エレメント１００またはマネージャ２００から受信された情報や、エレメント１００またはマネージャ２００に送信する情報、他のサーバから受信された情報、他のサーバに送信する情報などについての演算を実施する。ＵＩ提供部３２３は、ユーザがエレメント１００および／またはマネージャ２００の組み合わせを指定したり、各種の情報を確認したりするためのＵＩを提供する。ＵＩは、例えば、ＵＩ装置４００の入出力部４３０に含まれるディスプレイおよびタッチパネルなどを介して提供される。記憶部３３０は、メモリまたはストレージを含み、エレメント１００に関する各種の情報や、複数のエレメント１００を組み合わせて動作させるためのプログラム、エレメント１００と組み合わせられるソフトウェア、演算部３２１によって算出された情報などを格納する。

ここで、サーバ３００の記憶部３３０には、例えばシステム１０内のエレメント１００の識別情報（ＩＤ）が格納される。エレメント１００は、システム１０に随時追加されうる。また、記憶部３３０には、複数のエレメント１００を組み合わせて動作させるためのプログラムも格納される。プログラムは、例えばユーザや、開発者、システム管理者によって随時追加されうる。さらに、記憶部３３０には、ソフトウェアが格納される。ソフトウェアは、例えば、エレメント１００と組み合わせて実行されることによって機能を実現する。あるいは、ソフトウェア同士が組み合わせて実行されることによって機能を実現してもよい。ソフトウェアが実現する機能は、例えば、音声や画像などの素材提供、タイマー、カレンダー、画像認識や音声認識などの解析機能、天気予報やニュースなどのような外部サービスからの情報取得機能などを含みうる。ソフトウェアは、例えばユーザや、開発者、システム管理者によって随時追加されうる。

一方、サーバ３００のＵＩ提供部３２３は、例えば、ＵＩ装置４００の入出力部４３０に含まれるディスプレイおよびタッチパネルなどを介してＵＩを提供する。ユーザは、このＵＩを介して、例えば、複数のエレメント１００を組み合わせて動作させるためのプログラムを、エレメント１００またはマネージャ２００にプリインストールされたプログラムや、サーバ３００によって提供されるプログラムなどの中から選択することができる。また、上記のＵＩを介して、ユーザは、複数のエレメント１００の組み合わせや、エレメント１００とソフトウェアとの組み合わせ、複数のソフトウェアの組み合わせを指定することもできる。指定された組み合わせがプログラムとしてサーバ３００の記憶部３３０に保存され、このプログラムがエレメント１００とソフトウェアとによって実行されることによって、ユーザは所望のアプリケーションを得ることができる。

ＵＩ装置４００は、通信部４１０と、制御部４２０と、入出力部４３０とを含む装置である。通信部４１０は、マネージャ２００およびサーバ３００とネットワークＮＷを介して通信する通信装置を含みうる。制御部４２０は、例えばマイクロコントローラやＣＰＵなどによって実現され、入出力部４３０を制御するとともに、通信部４１０を介した情報のやりとりを制御する。入出力部４３０は、例えばディスプレイ、スピーカ、およびタッチパネルなどを含み、ＵＩを介してユーザに各種の情報を提示するとともに、ユーザからの操作入力を受け付ける。

（１−２．具体的な構成例）
（第１の例）
図２は、図１に示されたシステムの第１の具体的な構成例を示す図である。図２を参照すると、システム１０ａは、エレメント１００として機能する第１のタブレットと、エレメント１００、マネージャ２００、およびＵＩ装置４００として機能する第２のタブレットと、サーバ３００とを含む。

第１および第２のタブレットは、いずれも同じように、ディスプレイ、タッチパネル、ＣＰＵ、センサなどを含む。システム１０ａでは、２つのタブレットのうちの一方が、エレメント１００、マネージャ２００、およびＵＩ装置４００としても機能し、他方がエレメント１００として機能する。これらのタブレットの役割は互換的であってもよく、状況に応じてマネージャ２００やＵＩ装置４００として機能するタブレットが変更されてもよい。システム１０ａでは、例えば、タブレットが有する各種のセンサを利用して、２つのタブレットを組み合わせて動作させ、ユーザが所望する機能を実現することができる。

なお、図２に示した例における第１および第２のタブレットは、エレメント１００として機能するための機能部１３０（センサなど）と、マネージャ２００として機能するための制御部２２０（ＣＰＵなど）とを有する端末装置の例である。こうした端末装置はタブレットには限られず、スマートフォンなどの他の装置であってもよい。また、システム１０ａに含まれる端末装置の数は図示された例には限られず、例えば３つ以上であってもよい。

（第２の例）
図３は、図１に示されたシステムの第２の具体的な構成例を示す図である。図３を参照すると、システム１０ｂは、エレメント１００ａ〜１００ｇと、マネージャ２００およびＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。

システム１０ｂでは、タブレットがマネージャ２００およびＵＩ装置４００として機能する。上記の第１の例と同様に、タブレットは、スマートフォンなどの他の装置によって代替されてもよい。図示された例では、エレメント１００が、加速度センサ１００ａ、カメラ１００ｂ、人感センサ１００ｃ、ボタン１００ｄ、スピーカ１００ｅ、ＬＥＤ（Light Emitting Diode）ランプ１００ｆ、マイクロフォン１００ｇを含む。それぞれのエレメント１００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信によってタブレットと通信し、タブレットが実現するマネージャ２００の制御に従って連係動作する。

なお、以下の例では、エレメント１００の例として、加速度センサ１００ａ〜マイクロフォン１００ｇの一部または全部が図示されるが、これはそれぞれの例において用いられるエレメント１００の種類を限定することを意図したものではない。それぞれの例において、システム１０は、加速度センサ１００ａ〜マイクロフォン１００ｇのうちのいずれか、またはそれ以外の任意の種類のエレメント１００を含みうる。

（第３の例）
図４は、図１に示されたシステムの第３の具体的な構成例を示す図である。図４を参照すると、システム１０ｃは、エレメント１００と、マネージャ２００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。

システム１０ｃでは、マネージャ２００が、ＵＩ装置４００として機能するタブレットとは別に存在する。マネージャ２００は、例えば専用の装置によって実現されてもよいし、Ｗｉ−Ｆｉなどの基地局の機能の１つとして実現されてもよい。上記の第１および第２の例と同様に、ＵＩ装置４００として機能するタブレットは、スマートフォンなどの他の装置によって代替されてもよい。マネージャ２００とタブレットとは、それぞれ独立してサーバ３００と通信可能でありうる。また、タブレットが提供するＵＩを介してシステム１０ｃの設定が変更された場合、タブレットはＷｉ−Ｆｉなどを介して直接的にマネージャ２００に設定情報を送信してもよい。

また、図４の例では、マネージャ２００とエレメント１００との間の通信に、Ｂｌｕｅｔｏｏｔｈ（登録商標）だけではなくＷｉ−Ｆｉも利用されることが示されている。また、離れた場所にあるエレメント１００との接続のために、Ｗｉ−Ｆｉなどによるメッシュネットワーク中継器ＮＷ＿ｍが利用されている。図示された第３の例に限らず、他の例でも、エレメント１００とマネージャ２００、および／またはエレメント１００同士の間の通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉなど、各種の無線通信が用いられうる。

（第４の例）
図５は、図１に示されたシステムの第４の具体的な構成例を示す図である。図５を参照すると、システム１０ｄは、一部がマネージャ２００としても機能するエレメント１００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。

システム１０ｄでは、上記の第１〜第３の例とは異なり、エレメント１００のうちの少なくとも１つがマネージャ２００としても機能する。また、システム１０ｄでは、エレメント１００同士がＢｌｕｅｔｏｏｔｈ（登録商標）などによってメッシュネットワークを形成している。このような構成によって、システム１０ｄでは、サーバ３００およびＵＩ装置４００（タブレット）との通信が一時的に切断されたような場合でも、エレメント１００が自律的に連係動作することが可能である。

（第５の例）
図６は、図１に示されたシステムの第５の具体的な構成例を示す図である。図６を参照すると、システム１０ｅは、一部がマネージャ２００としても機能するエレメント１００と、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｅは、上記の第３の例に係るシステム１０ｃにおいて、マネージャ２００をいずれかのエレメント１００に取り込んだ例である。

（第６の例）
図７は、図１に示されたシステムの第６の具体的な構成例を示す図である。図７を参照すると、システム１０ｆは、エレメント１００と、マネージャ２００ａ，２００ｂと、ＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｆは、上記の第３の例に係るシステム１０ｃにおいて、マネージャ２００を複数配置した例である。それぞれのエレメント１００は、例えば、マネージャ２００ａ，２００ｂのうち位置的に近い方に接続されうる。また、複数のマネージャ２００ａ，２００ｂの間では、エレメント１００の接続状態や、エレメント１００を連係動作させるためのプログラムが、必要に応じて、または定期的に同期される。

（第７の例）
図８は、図１に示されたシステムの第７の具体的な構成例を示す図である。図８を参照すると、システム１０ｇは、エレメント１００と、マネージャ２００ａと、マネージャ２００ｂおよびＵＩ装置４００として機能するタブレットと、サーバ３００とを含む。システム１０ｇは、上記の第６の例に係るシステム１０ｆにおいて、マネージャ２００ｂの機能をタブレットに統合した例である。それぞれのエレメント１００は、例えば、マネージャ２００ａ、またはタブレットのうち位置的に近い方に接続されうる。また、マネージャ２００ａとタブレットとの間では、エレメント１００の接続状態や、エレメント１００を連係動作させるためのプログラムが、必要に応じて、または定期的に同期される。

（第８の例）
図９は、図１に示されたシステムの第８の具体的な構成例を示す図である。図９を参照すると、システム１０ｈは、エレメント１００と、ＵＩ装置４００として機能するタブレットと、マネージャ２００としても機能するサーバ３００とを含む。システム１０ｈは、上記の第２の例に係るシステム１０ｂにおいて、マネージャ２００の機能をサーバ３００に取り込んだ例である。それぞれのエレメント１００は、例えば、移動体通信網などを介して、直接的にサーバ３００と通信する。

以上、図１に示されたシステム１０のいくつかの具体的な構成例について説明した。なお、システム１０の具体的な構成例は、以上で説明した例には限られず、これらの例に基づいて当業者には明らかに理解される各種の変形例を含みうる。

（１−３．ユーザインターフェースの例）
図１０は、図１に示されたシステムにおいて提供されるＵＩの第１の例を示す図である。図１０を参照すると、ＵＩ装置４００として機能する端末装置のディスプレイに表示される画面４１００は、ユーザプロファイル４１０１と、プログラム一覧タブ４１０３と、エレメント一覧タブ４１０５とを含む。図示された例では、プログラム一覧タブ４１０３が選択されているため、プログラムリスト４１０７が表示されている。プログラムリスト４１０７は、プログラムアイコン４１０９と、使用エレメントアイコン４１１１と、説明４１１３とを含む。画面４１００は、例えば、ユーザがシステム１０によって提供されるサービスを利用するときのポータル画面として表示されうる。

図１１は、図１に示されたシステムにおいて提供されるＵＩの第２の例を示す図である。図１１を参照すると、ＵＩ装置４００として機能する端末装置のディスプレイに表示される画面４２００は、ツールバー４２０１と、キャンバス４２０３と、トレー４２０５とを含む。画面４２００は、例えば、システム１０においてエレメント１００を連係動作させるためのプログラムの編集に利用される。ツールバー４２０１には、「保存」や「やり直し」などの機能ボタンが配置される。キャンバス４２０３には、エレメントアイコン４２０７や、詳細情報アイコン４２０９、リンク４２１１を配置または描画することが可能である。これらのアイコンやリンクによって、連係動作に使用されるエレメント１００と、それぞれのエレメント１００が実行する処理、エレメント１００同士の関係を設定および確認することができる。さらに、キャンバス４２０３には、エレメントプロパティボックス４２１３が配置され、例えばエレメントアイコン４２０７として配置されているエレメント１００の属性や状態を表示する。トレー４２０５には、キャンバス４２０３に配置することによってプログラムに組み込むことが可能なエレメント１００やソフトウェアなどがアイコンとして表示される。

なお、図１０および図１１を参照して説明したＵＩは一例にすぎず、本実施形態ではさまざまな形態のＵＩが提供されうる。例えば、図１１を参照して説明したプログラムの編集のための画面では、ビジュアルプログラミングのための画面において用いられる各種のＵＩを応用することができる。

（１−４．連係動作の例）
以下、図１に示されたシステムにおけるエレメントの連係動作の具体的な例について、さらに説明する。なお、以下の説明では、理解を容易にするために、エレメント１００を連係動作させるためのプログラムを視覚的に表現した図が参照される。なお、これらの図は、ＵＩ装置４００によって提供されるＵＩ（例えば、図１１で画面４２００として例示されたＵＩ）とは必ずしも関係がない。以下で説明されるソフトウェアは、エレメント１００（ハードウェアエレメント）と同様のエレメント（ソフトウェアエレメント）として提供されてもよいし、エレメント１００の機能または動作の一部として提供されてもよい。

（第１の具体的な例）
図１２は、図１に示されたシステムにおけるエレメントの連係動作の第１の具体的な例について説明するための図である。図１２を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、カメラ１００ｂとが使用される。例えば、加速度センサ１００ａは冷蔵庫のドアに取り付けられ、カメラ１００ｂは、冷蔵庫の庫内を映すことのできる位置に取り付けられる。図示された例において、加速度センサ１００ａからカメラ１００ｂに向かうリンク６０１は、「加速度センサ１００ａの検出値に基づいてカメラ１００ｂが撮影を実行する」ことを意味する。さらに、図示された例では、カメラ１００ｂの動作として「撮影した画像をサーバにアップロードする」ことが指定されている。

さらに、図示された例では、加速度に基づいてドアが開いたことを検出するためのソフトウェア６０３ａが使用されている。ソフトウェア６０３ａは、例えばマネージャ２００の演算部２２１で実行され、加速度センサ１００ａの検出値の解析結果に基づいて、冷蔵庫のドアが開いたことを判定する。ソフトウェア６０３ａが導入されることによって、リンク６０１は「加速度センサ１００ａの検出値に基づいて、冷蔵庫のドアが開いたことが判定された場合に、カメラ１００ｂが撮影を実行する」という処理になる。

以上のようなプログラムの設定によって、本例では、冷蔵庫のドアが開いたときにカメラ１００ｂが撮影した画像が、サーバにアップロードされる。ユーザは、アップロードされた画像を閲覧することによって、冷蔵庫の内容物の変化や、最新の在庫状況を把握することができる。

ここで、冷蔵庫のドアが開いたことを検出したいのであれば、磁気などを用いた開閉検出専用のセンサを使用することもできる。しかし、本例では、ソフトウェア６０３ａを導入することによって、加速度センサ１００ａを利用してドアが開いたことを検出することを可能にしている。従って、冷蔵庫のドアが開いたことを検出するために、専用のセンサではなく、例えばそれまで別の用途で使用していた加速度センサ１００ａを流用することができる。また、冷蔵庫のドアが開いたことを検出することがもはや必要ではなくなった場合には、他の用途に加速度センサ１００ａを転用することができる。このように、本実施形態では、ソフトウェアや他のエレメント１００との組み合わせを変更することによって、同じエレメント１００を多様な用途で活用することができる。

（第２の具体的な例）
図１３は、図１に示されたシステムにおけるエレメントの連係動作の第２の具体的な例について説明するための図である。図１３を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、ボタン１００ｄとが使用される。例えば、加速度センサ１００ａはトイレのドアに取り付けられ、ボタン１００ｄは洗面所に取り付けられる。図示された例では、さらに、加速度に基づいてドアが開いたことを検出するためのソフトウェア６０３ａと、提供されたデータを記録するソフトウェア６０３ｂとが使用されている。加速度センサ１００ａからソフトウェア６０３ａを経てソフトウェア６０３ｂに向かうリンク６０１は、「加速度センサ１００ａの検出値に基づいてドアが開いたことが判定されたことを、ソフトウェア６０３ｂが記録する」ことを意味する。また、ボタン１００ｄからソフトウェア６０３ｂに向かうリンク６０１は、「ボタン１００ｄから信号が出力されたことをソフトウェア６０３ｂが記録する」ことを意味する。

以上のようなプログラムの設定によって、本例では、ユーザが洗面所でボタン１００ｄを押下した時刻と、トイレのドアを開いた時刻とが、ログとして記録される。例えば、ユーザが起床後に洗面所で顔を洗うときにボタン１００ｄを押すことに決めれば、ボタン１００ｄが押下された時刻を起床時刻として記録することができる。このようなログから、例えば、毎日の起床時刻とトイレに行った時刻との変化を時系列で参照することができ、ユーザの生活リズムの改善などに役立てることができる。

（第３の具体的な例）
図１４は、図１に示されたシステムにおけるエレメントの連係動作の第３の具体的な例について説明するための図である。図１４を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、人感センサ１００ｃとが使用される。例えば、加速度センサ１００ａは椅子に取り付けられ、人感センサ１００ｃは椅子の前の机に取り付けられる。図示された例では、さらに、加速度センサ１００ａと人感センサ１００ｃとの検出結果に基づいて、ユーザが椅子に座っていた時間を記録するためのソフトウェア６０３ｃが使用されている。加速度センサ１００ａからソフトウェア６０３ｃに向かうリンク６０１は、「加速度センサ１００ａの検出値をソフトウェア６０３ｃに提供する」ことを意味する。また、人感センサ１００ｃからソフトウェア６０３ｃに向かうリンク６０１は、「人感センサ１００ｃの検出値をソフトウェア６０３ｃに提供する」ことを意味する。

以上のようなプログラムの設定によって、本例では、ユーザが椅子に座っていた時間が記録される。この記録に基づいて、ユーザは、職場などで座っている時間を把握し、連続して座っている時間が長すぎるようであれば休憩をとったりすることができる。あるいは、ソフトウェア６０３ｃの検出結果に基づいてスマートフォンなどからアラートを出力するソフトウェアがさらに組み合わされ、ユーザが所定の時間を超えて連続して座っている場合にはスマートフォンなどからアラートを出力して休憩をとることを促してもよい。

（第４の具体的な例）
図１５は、図１に示されたシステムにおけるエレメントの連係動作の第４の具体的な例について説明するための図である。図１５を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、スピーカ１００ｅと、ＬＥＤランプ１００ｆとが使用される。例えば、加速度センサ１００ａ、スピーカ１００ｅ、ＬＥＤランプ１００ｆは、それぞれ、ユーザ（例えば子供）の身体の適切な部位に取り付けられる。なお、加速度センサ１００ａは、複数用いられてもよい。図示された例では、さらに、加速度のパターンに応じて効果音を再生するソフトウェア６０３ｄと、同じく加速度のパターンに応じて所定のパターンでランプを点滅させるソフトウェア６０３ｅとが示されている。なお、これらのソフトウェア６０３が扱う加速度のパターンは、単一の加速度波形のパターンであってもよいし、複数の加速度波形の組み合わせのパターンであってもよい。加速度センサ１００ａからは、ソフトウェア６０３ｄ，６０３ｅのそれぞれに向かってリンク６０１が設定されている。これらのリンク６０１は、「ソフトウェア６０３ｄ，６０３ｅのそれぞれに加速度センサ１００ａの検出値を提供する」ことを意味する。さらに、ソフトウェア６０３ｄからはスピーカ１００ｅに、ソフトウェア６０３ｅからはＬＥＤランプ１００ｆに、それぞれリンク６０１が設定されている。これらのリンク６０１は、「ソフトウェア６０３ｄによって提供される音声信号に従ってスピーカ１００ｅが音声を出力すること」および「ソフトウェア６０３ｅによって提供される信号に従ってＬＥＤランプ１００ｆが発光すること」を意味する。

以上のようなプログラムの設定によって、本例では、ユーザ（例えば子供）が手足を特定のパターンで動かすと、スピーカ１００ｅから効果音が出力されたり、ＬＥＤランプ１００ｆが発光したりする。これによって、例えば子供がスーパーヒーローになりきって遊ぶときに、効果音や光を加えてエキサイティングな体験をすることができる。

（第５の具体的な例）
図１６は、図１に示されたシステムにおけるエレメントの連係動作の第５の具体的な例について説明するための図である。図１６を参照すると、本例では、エレメント１００のうち、加速度センサ１００ａと、人感センサ１００ｃと、カメラ１００ｂと、ＬＥＤランプ１００ｆとが使用される。例えば、加速度センサ１００ａ、人感センサ１００ｃ、およびカメラ１００ｂは庭のえさ台（bird table）に取り付けられ、ＬＥＤランプ１００ｆは家の中に取り付けられる。図示された例では、さらに、加速度センサ１００ａと人感センサ１００ｃとの検出結果に基づいて、えさ台に鳥がとまったことを判定するためのソフトウェア６０３ｆが示されている。加速度センサ１００ａおよび人感センサ１００ｃからは、それぞれソフトウェア６０３ｆに向かってリンク６０１が設定されている。加速度センサ１００ａからのリンク６０１は、「加速度センサ１００ａの検出値をソフトウェア６０３ｆに提供する」ことを意味する。また、人感センサ１００ｃからからのリンク６０１は、「人感センサ１００ｃの検出値をソフトウェア６０３ｆに提供する」ことを意味する。ソフトウェア６０３ｆでは、例えば、加速度センサ１００ａおよび人感センサ１００ｃのそれぞれによって提供されるセンサデータの組み合わせによって成立する条件が提供される。さらに、ソフトウェア６０３ｆからカメラ１００ｂおよびＬＥＤランプ１００ｆに向かうリンク６０１が設定されている。カメラ１００ｂへのリンク６０１は「ソフトウェア６０３ｆの出力に基づいてカメラ１００ｂが撮影を実行する」ことを意味する。ＬＥＤランプ１００ｆへのリンクは「ソフトウェア６０３ｆの出力に基づいてＬＥＤランプ１００ｆを発光させる」ことを意味する。

以上のようなプログラムの設定によって、本例では、えさ台に鳥がとまったときに自動的にカメラ１００ｂによって静止画または動画が撮影され、どのような鳥が来たかを知ることができる。また、えさ台に鳥がとまったときに家の中のＬＥＤランプ１００ｆが発光することによって、庭に出て実際に来ている鳥を観察することができる。

（第６の具体的な例）
図１７は、図１に示されたシステムにおけるエレメントの連係動作の第６の具体的な例について説明するための図である。図１７を参照すると、本例では、エレメント１００のうち、ボタン１００ｄと、スピーカ１００ｅとが使用される。例えば、スピーカ１００ｅが寝室に配置され、ボタン１００ｄが洗面所に配置される。図示された例では、さらに、目覚ましアラームのソフトウェア６０３ｇが示されている。ソフトウェア６０３ｇからは、スピーカ１００ｅにリンク６０１が設定されている。このリンク６０１は、「ソフトウェア６０３が設定時刻になったら出力する音声信号に従って、スピーカ１００ｅが音声を出力する」ことを意味する。また、ボタン１００ｄからは、ソフトウェア６０３ｇにリンク６０１が設定されている。このリンク６０１は、「ボタン１００ｄが押下されたら、ソフトウェア６０３ｇによる音声信号の出力を停止する」ことを意味する。

以上のようなプログラムの設定によって、本例では、寝室に配置されたスピーカ１００ｅから出力される目覚ましアラームの音が、洗面所のボタン１００ｄを押下するまで止まらなくなる。これによって、寝たままアラームを止めてしまうといったような事態が生じにくくなり、予定した時刻に確実に目覚めることができる。

（２．本開示の実施形態）
本開示の実施形態は、例えば上記の例のようなシステムにおいて、エレメント同士を連係動作させるためのプログラムを作成、編集、または閲覧するためのユーザインターフェースに関する。なお、以下では図１などを参照して説明したシステム１０を例として説明するが、本開示の実施形態に係るシステムはこの例には限られず、エレメント同士が連係動作するさまざまな形態のシステムに本技術が適用されうる。

上記のシステム１０では、エレメント同士の連係動作に関するユーザインターフェースが、ＵＩ装置４００の入出力部４３０に含まれるディスプレイなどを介して提供される。この場合、ＵＩ装置４００の制御部４２０は、ディスプレイにユーザインターフェースを表示させる表示制御部として機能しているといえる。

また、マネージャ２００の制御部２２０および／またはサーバ３００の制御部３２０が、通信部２１０および／または通信部３１０を介してＵＩ装置４００にユーザインターフェースを表示させるための情報を送信している場合、制御部２２０および／または制御部３２０も、ＵＩ装置４００のディスプレイにユーザインターフェースを表示させる表示制御部として機能しているといえる。

さらに、ＵＩ装置４００の入出力部４３０において、タッチパネルなどを介してユーザ操作が取得される場合、制御部４２０、制御部２２０および／または制御部３２０は、ユーザ操作を取得する操作取得部としても機能しているといえる。

以下で説明されるユーザインターフェースの提供やユーザ操作の取得の処理は、上記の表示制御部および操作取得部によって実行される。

（２−１．第１の実施形態）
（ユーザインターフェースの概要）
図１８は、本開示の第１の実施形態において提供されるユーザインターフェースの概要を示す図である。図１８を参照すると、ユーザインターフェースとしてディスプレイに表示される画面５０００には、リスト５００１と、フィールド５００２と、エレメントアイコン５００３と、グリッド線５００５とが含まれる。

リスト５００１には、システム１０において利用可能なエレメントを示すアイコンが一覧表示される。図示された例において、リスト５００１は、ハードウェアエレメントリスト５００１ａと、ソフトウェアエレメントリスト５００１ｂとを含む。

ハードウェアエレメントリスト５００１ａには、例えば、スピーカ、ＬＥＤランプ、カメラ、ボタン、マイクロフォン、加速度センサ、タグリーダといったような、ハードウェアによって実現されるエレメントが表示される。上記で例示されたシステム１０のエレメント１００（加速度センサ１００ａ、カメラ１００ｂ、人感センサ１００ｃ、ボタン１００ｄ、スピーカ１００ｅ、ＬＥＤランプ１００ｆ、マイクロフォン１００ｇ）は、いずれもハードウェアエレメントである。

ソフトウェアエレメントリスト５００１ｂには、例えば、タイマー、リスト追加、トグル、リレー、カレンダーといったような、ソフトウェアによって実現されるエレメントが表示される。上記で図１２〜図１７を参照して説明した具体的な例において説明されたソフトウェア６０３は、ここでいうソフトウェアエレメントに対応するものでありうる。ソフトウェアエレメントには様々な構成がありえ、例えば上記の例のようにハードウェアエレメントに設定される条件が独立してソフトウェアエレメントとして扱われてもよいし、条件はハードウェアエレメントの中で定義されてもよい。

なお、リスト５００１は、フィールド上に新たなエレメントアイコン５００３を配置するための構成の一例にすぎない。例えば、リスト５００１が表示されなくても、フィールド５００２上で所定の操作、例えばタップやクリックなどを実行することによって、新たなエレメントアイコン５００３を配置するためのポップアップウインドウなどが表示されてもよい。

エレメントアイコン５００３は、上記のハードウェアエレメントまたはソフトウェアエレメントを示す。図示された例では、数字で示されているように、まずリスト５００１において任意のエレメントを選択し、次にリストの行をドラッグすることによってエレメントアイコン５００３をフィールド５００２上に出現させ、所望の位置まで移動させる。このとき、グリッド線５００５が表示されていることによって、複数のエレメントアイコン５００３の位置を揃えたり、ずらしたりすることが容易になる。エレメントアイコン５００３は、グリッド線５００５に従って自動的にアライメントされてもよい。

ここで、グリッド線５００５は、エレメントアイコン５００３が配置されるフィールド５００２において定義される第１の方向（水平方向）と、第１の方向に交差する第２の方向（垂直方向）に表示される。なお、グリッド線５００５は、ユーザが画面５０００においてエレメントアイコン５００３を配置するための補助として表示されるものであるため、必ずしも表示されなくてもよい。

（動作アイコンについての例）
図１９Ａおよび図１９Ｂは、本開示の第１の実施形態において表示される動作アイコンについて説明するための図である。図１９Ａを参照すると、まず、エレメントアイコン５００３だけが表示された状態で、エレメントアイコン５００３が選択され（図示された例ではタッチ操作によって選択されているが、マウスカーソルなどを用いて選択されてもよい。以下の例において同様）、この選択に応じて動作リスト５００７が表示されている。動作リスト５００７において任意の動作を選択すると（図示された例では「Ｐｒｅｓｓ」が選択された）、エレメントアイコン５００３に付随して動作アイコン５００９ａが表示される。

図１９Ｂでは、例えば図１９Ａに示されたような操作によってエレメントアイコン５００３に付随して動作アイコン５００９ａが表示された状態で、さらにエレメントアイコン５００３が選択されている。この場合、再度動作リスト５００７が表示される。動作リスト５００７において、さらに任意の動作を選択すると（図示された例では「Ｄｏｕｂｌｅ Ｐｒｅｓｓ」が選択された）、動作アイコン５００９ａに付随して新たな動作アイコン５００９ｂが表示される。

図示された例では、ハードウェアエレメントまたはソフトウェアエレメントの種類を示す（図示された例ではエレメントがボタン１００ｄであることを示す）エレメントアイコン５００３とともに、当該エレメントの動作の種類を示す（図示された例ではボタン１００ｄが押下されるという動作を示す）動作アイコン５００９が表示される。このような場合、画面５０００においてフィールド５００２に配置される各アイコンは、エレメントアイコン５００３と動作アイコン５００９とを含みうる。また、特に図１９Ｂに示されるように、動作アイコン５００９は、互いに独立して発生する複数の動作を示す複数の動作アイコン５００９ａ，５００９ｂを含みうる。３つ以上の複数の動作アイコンが含まれてもよい。

（リンクの設定についての例）
図２０は、本開示の第１の実施形態におけるアイコン間のリンクの設定について説明するための図である。図２０に示された例では、フィールド５００２に、ボタン１００ｄを示すエレメントアイコン５００３ａと、カメラ１００ｂを示すエレメントアイコン５００３ｂとが配置されている。また、エレメントアイコン５００３ａには「Ｐｒｅｓｓ」の動作アイコン５００９ａが、エレメントアイコン５００３ｂには「Ｔａｋｅ Ｐｈｏｔｏ」の動作アイコン５００９ｃが、それぞれ付随して表示される。さらに、図示された例では、動作アイコン５００９に付随してソケットアイコン５０１１が表示されている。ソケットアイコン５０１１は、後述するリンク５０１５が接続される部分として表示される。

ここで、エレメントアイコン５００３ａ（ボタン１００ｄを示す）に付随する動作アイコン５００９ａでは、フィールド５００２において定義される第１の方向（水平方向）に面する片側（右側）だけにソケットアイコン５０１１ａが配置されている。これは、動作アイコン５００９ａによって表示される動作（ボタンの押下）が、専ら他のエレメントによる動作のトリガとして用いられることを意味する。逆にいえば、動作アイコン５００９ａによって表示される動作（ボタンの押下）は、他のエレメントによる動作をトリガとして実現される機能にはならない。このような動作アイコン５００９ａは、末端アイコンとも呼ばれる。また、図示された例のように、エレメントアイコン５００３ａに付随する動作アイコン５００９のすべてが末端アイコンである場合、エレメントアイコン５００３ａと動作アイコン５００９ａとを合わせた全体が末端アイコンと呼ばれてもよい。

一方、エレメントアイコン５００３ｂ（カメラ１００ｂを示す）に付随する動作アイコン５００９ｃでは、フィールド５００２において定義される第１の方向（水平方向）に面する両側（左側および右側）にソケットアイコン５０１１ｂが配置されている。これは、動作アイコン５００９ｃによって表示される動作（写真の撮影）が、他のエレメントによる動作をトリガとして実行される機能にもなりうるし、この動作を他のエレメントによる動作のトリガとして用いてもよい。つまり、図示された例のように、動作アイコン５００９ａによって表示されるボタン１００ｄの押下の動作をトリガとして動作アイコン５００９ｃによって表示されるカメラ１００ｂによる写真の撮影を実行することも可能であるし、カメラ１００ｂによる写真の撮影の実行をトリガとして、さらに他のエレメントによる他の動作を実行させることも可能である。このような動作アイコン５００９ｃ、またはエレメントアイコン５００３ｂと動作アイコン５００９ｃとを合わせた全体は、中間アイコンとも呼ばれる。

図示された例のように、例えばソケットアイコン５０１１の配置によって末端アイコンと中間アイコンとが表現されることによって、トリガまたはトリガによって実行される機能のうちのいずれかとして用いられるエレメントまたは動作と、トリガとしても機能としても用いられるエレメントまたは動作とを、画面５０００においてわかりやすく表示することができる。

さて、図２０に示した例では、エレメントアイコン５００３ａおよび動作アイコン５００９ａとともに表示されているソケットアイコン５０１１ａが選択され、この選択に応じてソケットアイコン５０１１ａからプラグアイコン５０１３とリンク５０１５とが引き出される。ユーザは、プラグアイコン５０１３をドラッグしてソケットアイコン５０１１ｂに差し込むことによって、動作アイコン５００９ａと動作アイコン５００９ｃとを接続するリンク５０１５を生成することができる。

なお、プラグアイコン５０１３がソケットアイコン５０１１に差し込まれていない状態で、プラグアイコン５０１３のドラッグが解除された場合、プラグアイコン５０１３とともにリンク５０１５が消滅してもよい。この場合、例えば、ソケットアイコン５０１１ｂを選択してプラグアイコン５０１３を引き出し、プラグアイコン５０１３をドラッグしてソケットアイコン５０１１ｂから引き離した状態でドラッグを解除することによって、プラグアイコン５０１３とともにリンク５０１５を消滅させることができる。

これまで説明したように、本実施形態において提供されるユーザインターフェースでは、互いに連係動作するエレメントを示す複数のアイコンと、これらのアイコンを互いに接続するリンクとが表示される。つまり、リンクで接続された複数のアイコンによって示されるエレメントは、互いに連係動作する。図２０に示された例では、エレメントアイコン５００３ａによって示されるボタン１００ｄにおいて、動作アイコン５００９ａによって示される押下の動作が発生した場合に、エレメントアイコン５００３ｂによって示されるカメラ１００ｂにおいて、動作アイコン５００９ｃによって示される写真の撮影が実行される。リンク５０１５は、このようなそれぞれのエレメントの連係動作を表現している。

ここで、エレメント間の連係動作がどのような順序で発生するかは、例えばフィールド５００２において定義される第１の方向（水平方向）におけるエレメントアイコン５００３同士の位置関係に応じて決定される。図示された例では、水平方向において、左が先の順序を示し、右が後の順序を示す。この基準によれば、エレメントアイコン５００３ａによって示されるボタン１００ｄの動作が発生した場合に、これに応じてエレメントアイコン５００３ｂによって示されるカメラ１００ｂの動作が発生することが特定できる。例えばこのようにして、本実施形態では、リンク５０１５によって形成される複数のアイコンの空間的シークエンスが、複数のアイコンによってそれぞれ示されるエレメントの動作の時間的シークエンスに対応する。

（動作アイコンの削除についての例）
図２１は、本開示の第１の実施形態における動作アイコンの削除について説明するための図である。図２１を参照すると、例えば図１９Ｂに示されたような操作によって、エレメントアイコン５００３と、エレメントアイコン５００３に付随する動作アイコン５００９ａ，５００９ｂとが表示されている。この状態で動作アイコン５００９ａを選択すると、動作設定リスト５０１７が表示される。図示された例において、動作設定リスト５０１７には設定および削除の選択肢が含まれる。ここでユーザが削除を選択すると、動作アイコン５００９ａを削除することができる。同様の操作によって動作アイコン５００９ｂも削除することが可能である。

（エレメントアイコンの削除についての例）
図２２は、本開示の第１の実施形態におけるエレメントアイコンの削除について説明するための図である。図２２を参照すると、例えば図１９Ｂに示されたような操作によって、エレメントアイコン５００３と、エレメントアイコン５００３に付随する動作アイコン５００９ａ，５００９ｂとが表示されている。この状態でエレメントアイコン５００３を選択すると、動作リスト５０１９が表示される。図示された例において、動作リスト５０１９には、まだ動作アイコン５００９によって表示されていない動作「Ｌｏｎｇ Ｐｒｅｓｓ」に加えて、削除の選択肢が含まれる。ここでユーザが削除を選択すると、エレメントアイコン５００３を削除することができる。エレメントアイコン５００３が削除される場合、動作アイコン５００９ａ，５００９ｂも付随して削除される。

なお、図２２に示された例で表示される動作リスト５０１９は、上記で図１９Ａおよび図１９Ｂを参照して説明した動作リスト５００７の別の例である。つまり、動作リスト５００７ではエレメントアイコン５００３によって示されるエレメントの動作がすべて表示されたのに対し、動作リスト５０１９ではまだ動作アイコン５００９として表示されていない動作だけが表示される。また、動作リスト５００７では削除の選択肢が表示されなかったのに対して、動作リスト５０１９では削除の選択肢が表示される。例えば動作リスト５００７が表示される場合、エレメントアイコン５００３の削除の選択肢は、例えばエレメントアイコン５００３に対して長押しや２回押しなどといった別の操作を実行することによって提示されうる。

（動作のプロパティの表示の例）
図２３は、本開示の第１の実施形態における動作のプロパティの表示について説明するための図である。図２３を参照すると、エレメントアイコン５００３と動作アイコン５００９とが表示されている。図２３の例において、エレメントアイコン５００３は、タイマーのソフトウェアエレメントを示す。動作アイコン５００９は「Ｄａｔｅ」、つまり、タイマーを所定の日付時刻に作動させる機能を示す。

ここで、ユーザが動作アイコン５００９を選択した場合、動作プロパティ５０２１が表示される。図示された例において、動作プロパティ５０２１は、タイマーが動作する日付時刻を示す。動作プロパティ５０２１は、例えば、ユーザが動作アイコン５００９の選択を継続している間だけ表示されてもよいし、ユーザは動作アイコン５００９の選択を解除した後も引き続き表示されてもよい。動作プロパティ５０２１が引き続き表示される場合、例えば、図示されたように、ユーザは、動作プロパティ５０２１をドラッグすることによって表示位置を変更することが可能であってもよい。

（分岐の例・その１）
図２４は、本開示の第１の実施形態においてアイコンとリンクとによって形成される分岐の第１の例を示す図である。図２４に示された例では、フィールド５００２に、ボタン１００ｄを示すエレメントアイコン５００３ａと、スピーカ１００ｅを示すエレメントアイコン５００３ｄと、ＬＥＤランプ１００ｆを示すエレメントアイコン５００３ｅとが配置される。また、エレメントアイコン５００３ａには「Ｐｒｅｓｓ」の動作アイコン５００９ａが、エレメントアイコン５００３ｄには「Ｐｌａｙ Ｓｏｕｎｄ」の動作アイコン５００９ｄが、エレメントアイコン５００３ｅには「Ｌｉｇｈｔ Ｕｐ」の動作アイコン５００９ｅが、それぞれ付随して表示される。さらに、リンク５０１５ａが動作アイコン５００９ａと動作アイコン５００９ｄとを接続し、リンク５０１５ｂが動作アイコン５００９ａと動作アイコン５００９ｅとを接続する。

図示された例では、リンク５０１５によって形成される、フィールド５００２に配置されたアイコン（エレメントアイコン５００３および動作アイコン５００９を含む）の空間的シークエンスが、第１のアイコン（エレメントアイコン５００３ａおよび動作アイコン５００９ａ）から複数の第２のアイコンのそれぞれ（エレメントアイコン５００３ｄおよび動作アイコン５００９ｄ、ならびにエレメントアイコン５００３ｅおよび動作アイコン５００９ｅ）への分岐を含む。また、図示された例では、第１のアイコンに含まれる単一の動作アイコン（動作アイコン５００９ａ）と、複数の第２のアイコンのそれぞれに含まれる動作アイコン（動作アイコン５００９ｄ，５００９ｅ）とがリンク５０１５ａ，５０１５ｂで接続されることによって、第１のアイコンから第２のアイコンへの分岐が形成されている。

このような空間的シークエンスは、第１のアイコンによって示される動作が発生した場合に、これに応じて第２のアイコンのそれぞれによって示される動作が同期して発生するという時間的シークエンスを示す。本実施形態では、このようにして、単一の動作アイコンによって示される動作を、他の複数の動作アイコンによって示される動作のトリガに設定することができる。逆に、複数の動作アイコンによって示される動作を、単一の動作アイコンによって示される動作のトリガ（ａｎｄ条件／ｏｒ条件）に設定することが可能であってもよい。

より具体的には、図示された例では、リンク５０１５ａ，５０１５ｂによって、ボタン１００ｄ（エレメントアイコン５００３ａ）が押下（動作アイコン５００９ａ）されたことをトリガとして、スピーカ１００ｅ（エレメントアイコン５００３ｄ）が音声を再生する（動作アイコン５００９ｄ）とともに、ＬＥＤランプ１００ｆ（エレメントアイコン５００３ｅ）が点灯する（動作アイコン５００９ｅ）という連係動作が表現されている。ここで、スピーカ１００ｅが音声を再生する動作と、ＬＥＤランプ１００ｆが点灯するという動作とは、同期して発生する。

なお、本明細書でいう同期は、発生する時刻を厳密に揃えることまでは意味していない。例えば、マネージャ２００は、ボタン１００ｄが押下されたことを検出した場合に、スピーカ１００ｅおよびＬＥＤランプ１００ｆにほぼ同時に制御信号を送信するが、通信経路やスピーカ１００ｅ、ＬＥＤランプ１００ｆの内部で発生する遅延などのために、動作が発生する時刻は厳密に揃うとは限らない。

（分岐の例・その２）
図２５は、本開示の第１の実施形態においてアイコンとリンクとによって形成される分岐の第２の例を示す図である。図２５に示された例では、上記の図２４の例と同じく、フィールド５００２にエレメントアイコン５００３ａ，５００３ｄ，５００３ｅが配置される。また、エレメントアイコン５００３ａ，５００３ｄ，５００３ｅには、それぞれ動作アイコン５００９ａ，５００９ｄ，５００９ｅが付随して表示される。さらに、図２４の例と異なる点として、エレメントアイコン５００３ａには、「Ｄｏｕｂｌｅ Ｐｒｅｓｓ」の動作アイコン５００９ｂも付随して表示される。リンク５０１５ａは動作アイコン５００９ａと動作アイコン５００９ｄとを接続し、リンク５０１５ｂは動作アイコン５００９ｂと動作アイコン５００９ｅとを接続する。

図示された例でも、上記の図２４の例と同様に、リンク５０１５によって形成される、フィールド５００２に配置されたアイコン（エレメントアイコン５００３および動作アイコン５００９を含む）の空間的シークエンスが、第１のアイコン（エレメントアイコン５００３ａおよび動作アイコン５００９ａ，５００９ｂ）から複数の第２のアイコンのそれぞれ（エレメントアイコン５００３ｄおよび動作アイコン５００９ｄ、ならびにエレメントアイコン５００３ｅおよび動作アイコン５００９ｅ）への分岐を含む。一方、図示された例では、第１のアイコンに含まれる複数の動作アイコン（動作アイコン５００９ａ，５００９ｂ）のそれぞれと、第２のアイコンのそれぞれに含まれる動作アイコン（動作アイコン５００９ｄ，５００９ｅ）とがリンク５０１５ａ，５０１５ｂで接続されることによって、第１のアイコンから第２のアイコンへの分岐が形成されている。

このような空間的シークエンスは、第１のアイコンによって示されるエレメントの複数の動作のいずれかが発生した場合に、これに応じて第２のアイコンのいずれかによって示される動作が発生するという複線的な時間的シークエンスを示す。本実施形態では、このようにして、同じエレメントアイコンに付随する複数の動作アイコンによって示される動作のそれぞれを、互いに異なる他の動作アイコンによって示される動作のトリガに設定することができる。逆に、互いに異なる他の動作アイコンによって示される動作を、同じエレメントアイコンに付随する複数の動作アイコンによって示される動作のそれぞれのトリガに設定することが可能であってもよい。

より具体的には、図示された例では、リンク５０１５ａ，５０１５ｂによって、ボタン１００ｄ（エレメントアイコン５００３ａ）が押下（動作アイコン５００９ａ）されたことをトリガとしてスピーカ１００ｅ（エレメントアイコン５００３ｄ）が音声を再生する（動作アイコン５００９ｄ）一方で、ボタン１００ｄ（エレメントアイコン５００３ａ）が２回押し（動作アイコン５００９ｂ）されたことをトリガとしてＬＥＤランプ１００ｆ（エレメントアイコン５００３ｅ）が点灯する（動作アイコン５００９ｅ）という連係動作が表現されている。

（複線的な接続の例）
図２６は、本開示の第１の実施形態においてアイコンとリンクとによって形成される複線的な接続の例を示す図である。図２６に示された例では、フィールド５００２に、ボタン１００ｄを示すエレメントアイコン５００３ａと、スピーカ１００ｅを示すエレメントアイコン５００３ｄとが配置される。また、エレメントアイコン５００３ａに「Ｐｒｅｓｓ」の動作アイコン５００９ａおよび「Ｄｏｕｂｌｅ Ｐｒｅｓｓ」の動作アイコン５００９ｂが、エレメントアイコン５００３ｄには「Ｐｌａｙ Ｓｏｕｎｄ Ａ」の動作アイコン５００９ｆおよび「Ｐｌａｙ Ｓｏｕｎｄ Ｂ」の動作アイコン５００９ｇが、それぞれ付随して表示される。さらに、リンク５０１５ａが動作アイコン５００９ａと動作アイコン５００９ｆとを接続し、リンク５０１５ｂが動作アイコン５００９ｂと動作アイコン５００９ｇとを接続する。

図示された例では、リンク５０１５によって形成される、フィールド５００２に配置されたアイコン（エレメントアイコン５００３および動作アイコン５００９を含む）の空間的シークエンスが、第１のアイコンに含まれる複数の動作アイコン（動作アイコン５００９ａ，５００９ｂ）のそれぞれと、第２のアイコンに含まれる動作アイコン（動作アイコン５００９ｆ，５００９ｇ）のそれぞれとの複線的な接続を含む。

このような空間的シークエンスは、第１のアイコンによって示されるエレメントの複数の動作のいずれかが発生した場合に、これに応じて第２のアイコンによって示されるエレメントの複数の動作のいずれかが発生するという複線的な時間的シークエンスを示す。本実施形態では、このようにして、同じエレメントアイコンに付随する複数の動作アイコンによって示される動作のそれぞれを、互いに異なる他の動作アイコンによって示される動作のトリガに設定することができる。逆に、互いに異なる他の動作アイコンによって示される動作を、同じエレメントアイコンに付随する複数の動作アイコンによって示される動作のそれぞれのトリガに設定することが可能であってもよい。

より具体的には、図示された例では、リンク５０１５ａ，５０１５ｂによって、ボタン１００ｄ（エレメントアイコン５００３ａ）が押下（動作アイコン５００９ａ）されたことをトリガとして、スピーカ１００ｅが音声Ａを再生する（動作アイコン５００９ｆ）一方で、ボタン１００ｄ（エレメントアイコン５００３ａ）が２回押し（動作アイコン５００９ｂ）されたことをトリガとして同じくスピーカ１００ｅが音声Ｂを再生する（動作アイコン５００９ｇ）という連係動作が表現されている。

（直列的な連関の例）
図２７は、本開示の第１の実施形態においてアイコンとリンクとによって形成される直列的な連関の例を示す図である。図２７に示された例では、フィールド５００２に、ボタン１００ｄを示すエレメントアイコン５００３ａと、スピーカ１００ｅを示すエレメントアイコン５００３ｄと、ＬＥＤランプ１００ｆを示すエレメントアイコン５００３ｅとが配置される。また、エレメントアイコン５００３ａには「Ｐｒｅｓｓ」の動作アイコン５００９ａが、エレメントアイコン５００３ｄには「Ｐｌａｙ Ｓｏｕｎｄ」の動作アイコン５００９ｄが、エレメントアイコン５００３ｅには「Ｌｉｇｈｔ Ｕｐ」の動作アイコン５００９ｅが、それぞれ付随して表示される。さらに、リンク５０１５ａが動作アイコン５００９ａと動作アイコン５００９ｄとを接続し、リンク５０１５ｂが動作アイコン５００９ｄと動作アイコン５００９ｅとを接続する。

図示された例では、リンク５０１５によって形成される、フィールド５００２に配置されたアイコン（エレメントアイコン５００３および動作アイコン５００９を含む）の空間的シークエンスが、複数のアイコンの直列的な連関を含む。このような空間的シークエンスは、複数のアイコンによってそれぞれ示される動作が、上記の連関の順序で発生するという時間的シークエンスを示す。本実施形態では、このようにして、第１の動作アイコンによって示される動作を第２のアイコンによって示される動作のトリガに設定するとともに、当該第２のアイコンによって示される動作を第３のアイコンによって示される動作のトリガに設定することができる。

より具体的には、図示された例では、リンク５０１５ａ，５０１５ｂによって、ボタン１００ａが押下（動作アイコン５００９ａ）されたことをトリガとしてスピーカ１００ｅ（エレメントアイコン５００３ｄ）が音声を再生し（動作アイコン５００９ｄ）、さらに、スピーカ１００ｅが音声を再生したことをトリガとしてＬＥＤランプ１００ｆ（エレメントアイコン５００３ｅ）が点灯する（動作アイコン５００９ｅ）という連係動作が表現されている。ここで、ＬＥＤランプ１００ｆの点灯は、スピーカ１００ｅによる音声の再生が開始された直後に開始されてもよいし、音声の再生が終了した後に開始されてもよいし、音声の再生から所定の時間の遅延をもって開始されてもよい。

なお、上記のような直列的な連関によって表現される連係動作は、必ずしも、各エレメントのための制御信号が直列的に伝達されることを意味しない。例えば、マネージャ２００は、ボタン１００ｄが押下されたことを検出した場合に、スピーカ１００ｅおよびＬＥＤランプ１００ｆにそれぞれ制御信号を送信するが、それぞれのエレメントに制御信号が送信される経路は互いに独立していてもよい。そのような場合も、マネージャ２００は、まずスピーカ１００ｅによる音声の再生が開始され、次にＬＥＤランプ１００ｆが点灯するように、制御信号の送信タイミングや動作開始までの遅延時間などを調整する。

（グリッドの調整の例・その１）
図２８は、本開示の第１の実施形態におけるグリッドの調整の第１の例を示す図である。図２８に示された例では、フィールド５００２に、複数のエレメントアイコン５００３が表示されている。また、フィールド５００２にはグリッド線５００５が表示されている。図示された例において、各エレメントアイコン５００３は、グリッド線５００５に従って自動的にアライメントされている。なお、動作アイコン５００９は図示されていないが、エレメントアイコン５００３に付随して表示されていてもよい。

ここで、図示された例では、ＵＩ装置４００の入出力部４３０がタッチパネルを含み、ユーザが、あるグリッド線５０２３をまたいだ位置でのピンチアウト操作を実行している。ＵＩ装置４００の制御部４２０（またはマネージャ２００の制御部２２０もしくはサーバ３００の制御部３２０。以下の説明において同様）によって実現される操作取得部がこの操作を取得した場合、同じく制御部４２０によって実現される表示制御部は、ピンチアウト操作によって指定されたグリッド線５０２３を分割し、該分割されたグリッド線の間に新たな列５０２５を挿入する。

なお、上記の説明ではグリッド線５０２３が分割されることとしているが、これは見た目上のことであって、内部処理上は必ずしもグリッド線５０２３が分割されているとは限らない。例えば、上記のピンチアウト操作が実行された場合に、グリッド線５０２３に隣接して新たなグリッド線が生成され、当該新たなグリッド線とグリッド線５０２３との間を開くことによって新たな列５０２５が挿入されてもよい。上記の例では上下方向のグリッド線５０２３が選択されたことによって新たな列５０２５が挿入されているが、同様の操作によって左右方向のグリッド線が選択された場合には新たな行が挿入されうる。

また、グリッド線５０２３を分割して新たな列５０２５を挿入するための操作は、上記のようなピンチアウト操作には限られない。例えば、タッチパネルを用いたタップ操作や、マウスを用いた操作によってグリッド線５０２３が指定されてもよい。この場合、グリッド線５０２３を指定する操作が列５０２５の挿入を意味することを特定するために、例えば位置調整モードのような通常とは異なる操作モードが設定されてもよい。このように、本実施形態においてグリッド線を指定する第１のユーザ操作は、例えばグリッド線を選択する操作、またはグリッド線をまたいだ位置でのピンチアウト操作など、さまざまな操作を含みうる。

（グリッドの調整の例・その２）
図２９は、本開示の第１の実施形態におけるグリッドの調整の第２の例を示す図である。図２９に示された例でも、フィールド５００２に、複数のエレメントアイコン５００３が表示されている。また、フィールド５００２にはグリッド線５００５が表示されている。図示された例でも、各エレメントアイコン５００３は、グリッド線５００５に沿って自動的にアライメントされている。なお、動作アイコン５００９は図示されていないが、エレメントアイコン５００３に付随して表示されてもよい。

ここで、図示された例では、ＵＩ装置４００の入出力部４３０がタッチパネルを含み、ユーザが、グリッド線５００５によって定義される行５０２７をまたいだ位置でのピンチイン操作を実行している。ＵＩ装置４００の制御部４２０によって実現される操作取得部がこの操作を取得した場合、同じく制御部４２０によって実現される表示制御部は、ピンチイン操作によって指定された行５０２７を削除し、該削除された行の両側のグリッド線を統合して単一のグリッド線５０２９にする。

なお、上記の説明では行５０２７の両側のグリッド線が統合されることとしているが、これは見た目上のことであって、内部処理上は必ずしもグリッド線が統合されてグリッド線５０２９になるとは限らない。例えば、上記のピンチイン操作が実行された場合に、行５０２７の両側のグリッド線が接近し、両者が隣接した段階でいずれかのグリッド線が削除されてグリッド線５０２９が残ってもよい。上記の例では左右方向の行５０２７が削除されているが、同様の操作によって上下方向の列を削除することも可能でありうる。

また、行５０２７を削除するための操作は、上記のようなピンチイン操作には限られない。例えば、タッチパネルを用いたタップ操作や、マウスを用いた操作によって行５０２７が指定されてもよい。この場合、行５０２７を指定する操作が行５０２７の削除を意味することを特定するために、例えば位置調整モードのような通常とは異なる操作モードが設定されてもよい。ピンチイン操作に応じて行５０２７を削除する場合も、必ずしも行５０２７の全体をまたいだ位置でピンチイン操作が実行されなくてもよく、行５０２７の少なくとも一部をまたいだピンチイン操作が実行されてもよい。このように、本実施形態において行または列を指定する第２のユーザ操作は、例えば行もしくは列を選択する操作、または行もしくは列の少なくとも一部をまたいだ位置でのピンチイン操作など、さまざまな操作を含みうる。

以上で説明したようなグリッド調整の第１および第２の例によれば、ユーザインターフェースとして提供される画面５０００において、フィールド５００２に表示されるエレメントアイコン５００３や動作アイコン５００９の配置を、直観的な操作によって調整することができる。例えば、上記の例のように、本実施形態では、動作アイコン５００９同士がリンク５０１５で接続されることによってエレメント同士の連係動作が表現される。従って、例えば上記の第１の例のような操作によってアイコン同士の間にリンク５０１５を配置する間隔を挿入できることは有用でありうる。例えば、ＵＩ装置４００において、主に入出力部４３０に含まれるタッチパネルを介してユーザ操作が受け付けられるような場合、マウスを用いた操作とは異なり、画面５０００上で複数のアイコン５００３を含む領域を指定する操作は必ずしも容易ではない。上記の例のような操作によって、フィールド５００２ごと複数のアイコン５００３を移動させることができれば、必ずしも複数のアイコン５００３を含む領域を指定しなくてもよいため、タッチパネルでの操作性が向上しうる。

（２−２．第２の実施形態）
続いて、本開示の第２の実施形態について説明する。本実施形態において提供されるユーザインターフェースやユーザ操作は、上記の第１の実施形態と同様であるが、一部について異なる。以下の説明では、そのような点について主に説明し、第１の実施形態と同様の構成については重複した説明を省略する。

（第１の表示例）
図３０は、本開示の第２の実施形態における第１の表示例を示す図である。図３０を参照すると、本実施形態においてユーザインターフェースとしてディスプレイに表示される画面には、エレメントアイコン６００３と、グリッド線６００５と、動作アイコン６００９とが含まれる。これらの構成要素は、上記の第１の実施形態で説明されたエレメントアイコン５００３と、グリッド線５００５と、動作アイコン５００９とに対応する。ただし、本実施形態では、エレメントアイコン６００３について、名前フィールド６０３１を利用してエレメントに固有の名称を与えることが可能である。また、本実施形態では、図示された例における動作アイコン６００９ａ１，６００９ａ２や、動作アイコン６００９ｄのように、動作アイコン６００９を用いて動作に関連する時刻や動作のパターンの名称などの設定することが可能でありうる。以下、表示例に係るユーザインターフェースのそれぞれの構成要素についてさらに詳しく説明する。

「カレンダー」のソフトウェアエレメントを示すエレメントアイコン６００３ａには、動作アイコン６００９ａ１，６００９ａ２が付随している。動作アイコン６００９ａ１，６００９ａ２はいずれも「カレンダー」のソフトウェアエレメントによって提供されるアラーム機能の動作を示すが、アラームの設定時刻が異なっている。動作アイコン６００９ａ１は、リンク６０１５によって、マイクロフォン１００ｇを示すエレメントアイコン６００３ｂの動作アイコン６００９ｂ１に接続されている。動作アイコン６００９ｂ１は、マイクロフォン１００ｇが音声のストリーミングを開始する動作を示す。

さらに、動作アイコン６００９ｂ１は、リンク６０１５によって、スピーカ１００ｅを示すエレメントアイコン６００３ｃの動作アイコン６００９ｃに接続されている。動作アイコン６００９ｃは、スピーカ１００ｅが所定の音声を再生する動作を示す。動作アイコン６００９ａ１から動作アイコン６００９ｂ１を経由して動作アイコン６００９ｃへの直列的な連関によって、毎日２２：００に、マイクロフォン１００ｇがストリーミングを開始し、スピーカ１００ｅが音声（ストリーミングの開始をユーザに通知するものでありうる）を再生するという動作の順序が定義されている。

一方、動作アイコン６００９ａ２は、リンク６０１５によって、動作アイコン６００９ｂ２に接続されている。動作アイコン６００９ｂ２は、マイクロフォン１００ｇが音声のストリーミングを終了する動作を示す。動作アイコン６００９ａ１，６００９ａ２のそれぞれから動作アイコン６００９ｂ１，６００９ｂ２のそれぞれへの複線的な接続によって、毎日２２：００にストリーミングが開始され、毎日２４：００にはストリーミングが終了するという、互いに異なる時刻に発生する動作を定義することができる。

その上さらに、動作アイコン６００９ａ１は、ＬＥＤランプ１００ｆを示すエレメントアイコン６００３ｄの動作アイコン６００９ｄにも接続されている。動作アイコン６００９ｄは、ＬＥＤランプ１００ｆが（ほのかに）点灯する動作を示す。ここで、動作アイコン６００９ｄには、動作プロパティ６０３３ｄ１が表示されている。動作プロパティ６０３３ｄ１は、動作アイコン６００９ｄによって示されるＬＥＤランプ１００ｆの点灯動作のプロパティ、より具体的には光量の時間的な変化の設定を示す。動作プロパティ６０３３ｄ１では、例えば図示された例のように、光量の減衰にかかる時間をユーザが設定可能であってもよい。

（第２の表示例）
図３１は、本開示の第２の実施形態における第２の表示例を示す図である。図３１の例では、「カレンダー」のソフトウェアエレメントを示すエレメントアイコン６００３ａの動作アイコン６００９ａ３が、リンク６０１５によって、ＬＥＤランプ１００ｆを示すエレメントアイコン６００３ｄの動作アイコン６００９ｄに接続されている。動作アイコン６００９ａ３は、「アポイントメントの２時間前に通知する」動作を示す。図示された例では、「アポイントメント」の部分と、「２時間前」の部分とを、動作アイコン６００９ａ３を用いて設定可能である。動作アイコン６００９ｄは、ＬＥＤランプ１００ｆが（パルス的に）点灯する動作を示す。ここで、動作アイコン６００９ｄには、動作プロパティ６０３３ｄ２が表示されている。動作プロパティ６０３３ｄ２は、上記の第１の例における動作プロパティ６０３３ｄ１と同様に、動作アイコン６００９ｄによって示されるＬＥＤランプ１００ｆの点灯動作のプロパティ、より具体的には光量の時間的な変化の設定を示す。動作プロパティ６０３３ｄ２では、例えば図示された例のように、光量のパルス的な変化が繰り返される時間をユーザが設定可能であってもよい。

（第３の表示例）
図３２は、本開示の第２の実施形態における第３の表示例を示す図である。図３２の例では、ボタン１００ｄを示すエレメントアイコン６００３ｅの動作アイコン６００９ｅが、リンク６０１５によって、カメラ１００ｂを示すエレメントアイコン６００３ｆの動作アイコン６００９ｆ１に接続されている。動作アイコン６００９ｅは、「ボタン１００ｄが押下される」動作を示す。一方、動作アイコン６００９ｆ１は、「カメラ１００ｂで動画の撮影を開始する」動作を示す。動作アイコン６００９ｆ１には、撮影の持続時間を示す拡張部分６００９ｆ１−ｅが付随している。拡張部分６００９ｆ１−ｅでは、撮影の持続時間をユーザが設定可能であってもよい。

さらに、動作アイコン６００９ｆ１は、リンク６０１５によって、「リスト」のソフトウェアエレメントを示すエレメントアイコン６００３ｇの動作アイコン６００９ｇに接続されている。動作アイコン６００９ｇは、提供された動画などのデータをリストに追加する動作を示す。なお、本実施形態では、例えばネットワーク上のサーバによって実現されるストレージにおいて、任意のデータオブジェクトを格納するリストが提供されうる。このリストにデータを追加することによって、ユーザは、他のユーザとの間でデータを共有することができる。図示された例では、具体的な利用方法の一例として、エレメントアイコン６００３ｇによって示される「リスト」のソフトウェアエレメントは、祖父母との動画のデータを共有するために用意されている。そのため、名前フィールド６０３１ｇには「Ｇｒａｎ」という名称が設定されている。

（第４の表示例）
図３３は、本開示の第２の実施形態における第４の表示例を示す図である。図３３では、上記の第３の例と同様の機能を実現するエレメントの連係動作の別の設定例が示されている。図３３の例では、ボタン１００ｄを示すエレメントアイコン６００３ｅの動作アイコン６００９ｅが、リンク６０１５によって、「トグルスイッチ」のソフトウェアエレメントを示すエレメントアイコン６００３ｈの動作アイコンに接続されている。「トグルスイッチ」のソフトウェアエレメントは、特殊な機能として、トリガになる動作が他のエレメントにおいて発生した場合に、実行される動作を交互に切り替える。

図示された例では、動作アイコン６００９ｅによって示されるボタン１００ｄの押下の動作が発生した場合に、１回目は動作アイコン６００９ｈ１によって示されるようにスイッチがＯＮ（またはＯＦＦ）になり、２回目は動作アイコン６００９ｈ２によって示されるようにスイッチがＯＦＦ（またはＯＮ）になり、３回目はまた動作アイコン６００９ｈ１によって示されるようにスイッチがＯＮ（またはＯＦＦ）になる。なお、スイッチのＯＮおよびＯＦＦは便宜的に設定されたラベルである。「トグルスイッチ」のソフトウェアエレメントは、ＯＮおよびＯＦＦに相当する動作だけではなく、あらゆる種類の動作を切り替えることができる。また、切り替えの対象になる動作は２つには限られず、３つ以上の動作が順番に切り替えて実行されてもよい。

「トグルスイッチ」のソフトウェアエレメントを示すエレメントアイコン６００３ｈの動作アイコンのうち、スイッチをＯＮにする動作を示す動作アイコン６００９ｈ１は、リンク６０１５によって、カメラ１００ｂを示すエレメントアイコン６００３ｆの動作アイコン６００９ｆ１に接続されている。動作アイコン６００９ｆ１は、「カメラ１００ｂで動画の撮影を開始する」動作を示す。さらに、動作アイコン６００９ｆ１は、リンク６０１５によって、「リスト」のソフトウェアエレメントを示すエレメントアイコン６００３ｇの動作アイコン６００９ｇに接続されている。動作アイコン６００９ｇは、提供された動画などのデータをリストに追加する動作を示す。また、動作アイコン６００９ｈ１は、ＬＥＤランプ１００ｆ（エレメントアイコン６００３ｄ）が点灯することを示す動作アイコン６００９ｄ１にも接続されている。

一方、エレメントアイコン６００３ｈの動作アイコンのうち、スイッチをＯＦＦにする動作を示す動作アイコン６００９ｈ２は、リンク６０１５によって、カメラ１００ｂを示すエレメントアイコン６００３ｆの動作アイコン６００９ｆ２に接続されている。動作アイコン６００９ｆ２は、「カメラ１００ｂでの撮影を終了する」動作を示す。また、動作アイコン６００９ｈ２は、ＬＥＤランプ１００ｆ（エレメントアイコン６００３ｄ）が消灯すること示す動作アイコン６００９ｄ２にも接続されている。

上記で図３３に示した例では、「トグルスイッチ」のソフトウェアエレメント（エレメントアイコン６００３ｈ）が導入されることによって、カメラ１００ｂによる動画の撮影の開始および終了を、ボタン１００ｄを介したユーザ操作によって任意に制御することができる。さらに、上記の例では、リンク６０１５によって、動作アイコン６００９ｈ１から動作アイコン６００９ｆ１および動作アイコン６００９ｄ１への分岐が形成され、さらに、動作アイコン６００９ｈ２から動作アイコン６００９ｆ３および動作アイコン６００９ｄ２への分岐が形成される。このような複線的な分岐が形成されることによって、ボタン１００ｄの押下によるカメラ１００ｂでの動作の撮影の開始および終了と、ＬＥＤランプ１００ｆの点灯および消灯とを同期させることができる。従って、ユーザは、ボタン１００ｄを押下したことによって撮影が開始されたのか終了したかを、ＬＥＤランプ１００ｆの点灯状態によって容易に認識することができる。

（第５の表示例）
図３４は、本開示の第２の実施形態における第５の表示例を示す図である。図３４の例では、「リスト」のソフトウェアエレメントを示すエレメントアイコン６００３ｉの動作アイコン６００９ｉが、リンク６０１５によって、ＬＥＤランプ１００ｆを示すエレメントアイコン６００３ｊの動作アイコン６００９ｊ１に接続されている。動作アイコン６００９ｉは、リストの更新を検出する動作を示す。一方、動作アイコン６００９ｊ１は、ＬＥＤランプ１００ｆを３回点滅させる動作を示す。動作アイコン６００９ｊ１では、例えば図示された例のように、点滅の回数をユーザが設定可能であってもよい。

図示された例は、上記で図３２または図３３を参照して説明された動画データの共有のための仕組みの、参照側でのプログラムでありうる。「リスト」のソフトウェアエレメントを示すエレメントアイコン６００３ｉでは、名前フィールド６０３１ｉによって「Ｇｒａｎ」という名称が設定されている。つまり、エレメントアイコン６００３ｉによって示される「リスト」のソフトウェアエレメントは、上記の例においてエレメントアイコン６００３ｇによって示された「リスト」のソフトウェアエレメントと同一のリストを参照しうる。例えば、動作アイコン６００９ｇによって示されたように、リストに動作データを追加する動作が実行されると、動作アイコン６００９ｉによって示されるようにリストの更新が検出され、「リスト」のソフトウェアエレメントとＬＥＤランプ１００ｆとの連係動作によって、ＬＥＤランプ１００ｆが３回点滅してリストの更新（動画データの追加）を通知する。

（第６の表示例）
図３５は、本開示の第２の実施形態における第６の表示例を示す図である。図３５の例では、上記で図３４を参照して説明した例と同様のアイコンが配置され、同様の機能が実現されるが、エレメントアイコン６００３ｊに付随する動作アイコン６００９ｊ２が、上記の例の動作アイコン６００９ｊ１とは異なっている。動作アイコン６００９ｊ２では、ＬＥＤランプ１００ｆの点滅のパターンについて、点灯時間、待機（消灯）時間、および繰り返し回数を含む、より詳細な設定が可能である。

（第７の表示例）
図３６は、本開示の第２の実施形態における第７の表示例を示す図である。図３６の例では、玄関の鍵の置場に設置されたＮＦＣリーダが、キーリングに埋め込まれたＩＣタグを読み取ることによって母親または父親のどちらが帰宅したのかを検出し、それに合わせてＬＥＤランプを点灯させたり、プレイリストの音楽を再生したりする仕組みが実現される。

図示された例では、ＮＦＣリーダを示すエレメントアイコン６００３ｋに、動作アイコン６００９ｋ１，６００９ｋ２が付随している。動作アイコン６００９ｋ１は、ＩＣタグとの通信によって母親のＩＤが検出される動作を示す。一方、動作アイコン６００９ｋ２は、ＩＣタグとの通信によって父親のＩＤが検出される動作を示す。動作アイコン６００９ｋ１，６００９ｋ２と、ＬＥＤランプ１００ｆを示すエレメントアイコン６００３ｄの動作アイコン６００９ｄ３，６００９ｄ４との間には、リンク６０１５によって複線的な接続が形成されている。これによって、母親の帰宅が検出された場合には（動作アイコン６００９ｋ１）ＬＥＤランプ１００ｆがパターンＡで点滅し（動作アイコン６００９ｄ３）、父親の帰宅が検出された場合には（動作アイコン６００９ｋ２）ＬＥＤランプ１００ｆがパターンＢで点灯する（動作アイコン６００９ｄ４）。なお、動作アイコン６００９ｄ３については点滅パターンを設定するための動作プロパティ６０３５ｄ３が表示され、動作アイコン６００９ｄ４については点灯色のパターンを設定するための動作プロパティ６０３５ｄ４が表示されている。

その一方で、動作アイコン６００９ｋ１，６００９ｋ２は、いずれも、リンク６０１５によって、「リレースイッチ」のソフトウェアエレメントを示すエレメントアイコン６００３ｍの動作アイコン６００９ｍに接続されている。「リレースイッチ」のソフトウェアエレメントは、特殊な機能として、トリガになる動作が他のエレメントにおいて発生した場合に、当該動作によって示される状態に応じてスイッチの状態を切り替える。より具体的には、図示された例においてエレメントアイコン６００３ｍによって示される「リレースイッチ」のソフトウェアエレメントは、動作アイコン６００９ｋ１の動作によって示される「母親の在宅」という状態（「Ｍｏｍ」がＯＮ）と、動作アイコン６００９ｋ２の動作によって示される「父親の在宅」という状態（「Ｄａｄ」がＯＮ）とに基づいて、動作プロパティ６０３５ｍに示されるような状態Ａ〜Ｄを切り替える。これらの状態Ａ〜Ｄは、動作アイコン６００９ｍの拡張部分６００９ｍ＿ｅによって示されている。

上記の拡張部分６００９ｍ＿ｅに含まれる４つの状態Ａ〜Ｄに対応する部分は、それぞれがスピーカ１００ｅを示すエレメントアイコン６００３ｃの動作アイコンに、複々線的に接続されている。これによって、状態Ａ（母親のみ在宅）では母親用のプレイリストが再生され（動作アイコン６００９ｃ１）、状態Ｂ（父親のみ在宅）では父親用のプレイリストが再生され（動作アイコン６００９ｃ２）、状態Ｃ（母親および父親が在宅）では混合のプレイリストが再生され、状態Ｄ（どちらも在宅せず）ではプレイリストが再生されないという動作が実現される。

（第８の表示例）
図３７は、本開示の第２の実施形態における第８の表示例を示す図である。図３７の例では、所定の日付時刻にスピーカ１００ｅによって音声が再生されるとともに、音声の再生中にＬＥＤランプ１００ｆが所定のパターンで繰り返し点灯する仕組みが実現される。

図示された例では、「タイマー」のソフトウェアエレメントを示すエレメントアイコン６００３ｎに動作アイコン６００９ｎが付随している。動作アイコン６００９ｎは、所定の日付時刻（５月１７日１９：００）にトリガを発生させる動作を示す。動作アイコン６００９ｎに接続されるリンク６０１５は、スピーカ１００ｅを示すエレメントアイコン６００３ｃの動作アイコン６００９ｃ５と、ＬＥＤランプ１００ｆを示すエレメントアイコン６００ｄの動作アイコン６００９ｄ５への分岐を形成する。従って、図示された例では、所定の日付時刻にトリガが発生した（動作アイコン６００９ｎ）場合に、スピーカ１００ｅによって音声が再生される動作（動作アイコン６００９ｃ）に同期して、ＬＥＤランプ１００ｆが所定のパターンで繰り返し点灯する動作（動作アイコン６００９ｄ５）が発生する。動作アイコン６００９ｃ５では、再生する音声を指定することが可能であってもよい。また、動作アイコン６００９ｄ５では、点灯パターンを構成する発光色を指定することが可能であってもよい。

さらに、図示された例では、動作アイコン６００９ｃ５が、エレメントアイコン６００３ｄの動作アイコン６００９ｄ６に接続されている。つまり、図示された例において、動作アイコン６００９ｃ５によって示される動作（スピーカ１００ｅによる音声の再生）と動作アイコン６００９ｄ５によって示される動作（ＬＥＤランプ１００ｆの点灯）とが同期して発生するとともに、動作アイコン６００９ｃ５によって示される動作（スピーカ１００ｅによる音声の再生）に続いて、動作アイコン６００９ｄ６によって示される動作（スピーカ１００ｅによる音声の再生の停止）が発生する。このようにして、本実施形態では、リンクの分岐と、アイコンの直列的な連関とを組み合わせることによって、限られた数のエレメントによって高度な連係動作を実現させることも可能である。

（第９の表示例）
図３８は、本開示の第２の実施形態における第９の表示例を示す図である。図３８の例では、上記で図３７を参照して説明した例と同様のアイコンが配置され、同様の機能が実現されるが、エレメントアイコン６００３ｄの部分が、「ループ」のソフトウェアエレメントを示すエレメントアイコン６００３ｐおよび動作アイコン６００９ｐ１，６００９ｐ２に置き換えられている。

エレメントアイコン６００３ｐによって示される「ループ」のソフトウェアエレメントは、ループ設定ウインドウ６０４５で表示されている動作を繰り返す制御を実行する。ループ設定ウインドウ６０４５は、ユーザインターフェースとしてディスプレイに表示される画面にサブウインドウとして配置される。ループ設定ウインドウ６０４５内では、エレメントアイコン６００３、動作アイコン６００９、およびリンク６０１５によって、ループの対象になる連係動作を表現することが可能である。図示された例では、ループ設定ウインドウ６０４５内に、ＬＥＤランプ１００ｆを示すエレメントアイコン６００３ｄと、動作アイコン６００９ｄ７とが配置されている。動作アイコン６００９ｄ７には、点灯の色と間隔とを定義する拡張部分６００９ｄ７＿ｅが付随している。図示された例では、拡張部分６００９ｄ７＿ｅの終端部と、動作アイコン６００９ｄ７とがリンク６０１５で循環状に接続され、ＬＥＤランプ１００ｆの動作によってループが完結することが示されている。他の例では、ループ設定ウインドウ６０４５内に他のエレメントアイコン６００３や動作アイコン６００９が配置され、複数のエレメント、および複数の動作によるループ処理が定義されてもよい。

一方、「ループ」のソフトウェアエレメントを示すエレメントアイコン６００３ｐに付随する動作アイコン６００９ｐ１は、ループの開始動作を示す。図示された例では、動作アイコン６００９ｎに示される動作によって所定の日付時刻にトリガが発生した場合に、ループ設定ウインドウ６０４５において定義されているループ処理が開始される。動作アイコン６００９ｐ１には、ループ処理の持続時間を示す拡張部分６００９ｐ１＿ｅが付随していてもよい。一方、エレメントアイコン６００３ｐに付随する動作アイコン６００９ｐ２は、ループ処理の終了動作を示す。図示された例では、動作アイコン６００９ｃ５に示される音声の再生動作が終了した場合に、ループ設定ウインドウ６０４５において定義されているループ処理が終了される。図示された例のように、拡張部分６００９ｐ１＿ｅと、動作アイコン６００９ｐ２との両方によってループ処理の終了が定義されている場合、例えばいずれか早い方、またはいずれか遅い方の処理が優先的に採用されてもよい。

（３．ハードウェア構成）
次に、図３９を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図３９は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。図示された情報処理装置９００は、例えば、上記の実施形態におけるエレメント１００、マネージャ２００、サーバ３００、および／またはＵＩ装置４００を実現しうる。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）またはＡＳＩＣ（Application Specific Integrated Circuit）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Global Positioning System）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（４．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置（ＵＩ装置、ＵＩ装置におけるユーザインターフェースの提供を制御するマネージャもしくはサーバ、またはマネージャとしても機能するエレメント）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記の実施形態では、アイコンとしてエレメントアイコンと動作アイコンとが表示され、動作アイコン同士がリンクによって接続される例について説明したが、本開示の実施形態はこのような例には限られない。例えば少なくとも一部のエレメントの動作が、動作アイコンを表示しなくても実質的に特定されるような場合には、エレメントアイコン同士、またはエレメントアイコンと他のエレメントアイコンに付随する動作アイコンとがリンクで接続されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させる表示制御部を備え、
前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応する情報処理装置。
（２）前記空間的シークエンスは、前記複数のアイコンの直列的な連関を含む、前記（１）に記載の情報処理装置。
（３）前記複数のアイコンは、第１のアイコンと複数の第２のアイコンとを含み、
前記空間的シークエンスは、前記第１のアイコンから前記各第２のアイコンへの分岐を含む、前記（１）または（２）に記載の情報処理装置。
（４）前記各アイコンは、前記ソフトウェアエレメントまたは前記ハードウェアエレメントの種類を示すエレメントアイコンと、前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の種類を示す動作アイコンとを含み、
前記リンクは、前記動作アイコンを互いに接続する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）前記動作アイコンは、互いに独立して発生する複数の動作を示す複数のアイコンを含む、前記（４）に記載の情報処理装置。
（６）前記複数のアイコンは、第１のアイコンと第２のアイコンとを含み、
前記第１のアイコンに含まれる複数の動作アイコンのそれぞれと、前記第２のアイコンに含まれる複数の動作アイコンのそれぞれとが前記リンクによって複線的に接続される、前記（５）に記載の情報処理装置。
（７）前記複数のアイコンは、第１のアイコンと複数の第２のアイコンとを含み、
前記第１のアイコンに含まれる複数の動作アイコンのそれぞれと前記各第２のアイコンに含まれる動作アイコンとが前記リンクで接続されることによって前記第１のアイコンから前記各第２のアイコンへの分岐が形成される、前記（５）に記載の情報処理装置。
（８）前記複数のアイコンは、第１のアイコンと複数の第２のアイコンとを含み、
前記第１のアイコンに含まれる単一の動作アイコンと前記各第２のアイコンに含まれる動作アイコンとが前記リンクで接続されることによって前記第１のアイコンから前記各第２のアイコンへの分岐が形成される、前記（４）に記載の情報処理装置。
（９）前記表示制御部は、さらに、前記複数のアイコンが配置されるフィールドを表示させ、
前記フィールドでは、第１の方向が定義され、
前記リンクは、前記第１の方向から前記各アイコンに接続される、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）前記各アイコンは、前記リンクが接続されるソケットアイコンを含み、
前記複数のアイコンは、前記第１の方向に面する片側だけに前記ソケットアイコンが配置される末端アイコンと、前記第１の方向に面する両側に前記ソケットアイコンが配置される中間アイコンとを含む、前記（９）に記載の情報処理装置。
（１１）前記表示制御部は、さらに、前記フィールド上で前記第１の方向および前記第１の方向に交差する第２の方向のグリッド線を表示させる、前記（９）または（１０）に記載の情報処理装置。
（１２）前記グリッド線を指定する第１のユーザ操作を取得する操作取得部をさらに備え、
前記表示制御部は、前記第１のユーザ操作によって指定されたグリッド線を分割し、該分割されたグリッド線の間に新たな行または列を挿入する、前記（１１）に記載の情報処理装置。
（１３）前記第１のユーザ操作は、前記グリッド線を選択する操作、または前記グリッド線をまたいだ位置でのピンチアウト操作を含む、前記（１２）に記載の情報処理装置。
（１４）前記グリッド線によって定義される行または列を指定する第２のユーザ操作を取得する操作取得部をさらに備え、
前記表示制御部は、前記第２のユーザ操作によって指定された行または列を削除し、該削除された行または列の両側の前記グリッド線を統合する、前記（１１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）前記第２のユーザ操作は、前記行もしくは前記列を選択する操作、または前記行もしくは前記列の少なくとも一部をまたいだ位置でのピンチイン操作を含む、前記（１４）に記載の情報処理装置。
（１６）前記各アイコンは、前記グリッド線に従ってアライメントされる、前記（１１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させることを含み、
前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応する表示制御方法。
（１８）情報処理装置の処理回路において実行されることによって、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させる機能を実現し、
前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応するプログラム。

１０ システム
１００ エレメント
１１０ 通信部
１２０ 制御部
１３０ 機能部
１４０ 電源部
２００ マネージャ
２１０ 通信部
２２０ 制御部
２３０ 記憶部
３００ サーバ
３１０ 通信部
３２０ 制御部
３３０ 記憶部
４００ ＵＩ装置
４１０ 通信部
４２０ 制御部
４３０ 入出力部
５００２ フィールド
５００３ エレメントアイコン
５００５ グリッド線
５００９ 動作アイコン
５０１１ ソケットアイコン
５０１５ リンク

本開示は、システムおよび装置に関する。

そこで、本開示では、ハードウェアエレメントまたはソフトウェアエレメントの連係動作を設定するためのユーザの直観的な操作を可能にする、新規かつ改良されたシステムおよび装置を提案する。

本開示によれば、少なくともスピーカエレメントを含む複数のエレメントの識別情報と、前記複数のエレメントを連携して実現する複数のプログラムを記憶し、センサエレメントが取得した情報に基づいて一のプログラムを特定し、前記一のプログラムに対応する指示情報を前記スピーカエレメントに対して送信するサーバと、タッチパネル、ボタン又はマイクロフォンのいずれかのセンサを備え、前記センサからの入力に基づいて、前記サーバに対して入力情報を送信する前記センサエレメントと、前記サーバから送信された前記指示情報に基づいて、音声を出力する前記スピーカエレメント、からなるシステムが提供される。

また、本開示によれば、タッチパネル、ボタン又はマイクロフォンのいずれかのセンサを備えるセンサエレメントと、音声を出力するスピーカエレメントからなるシステムであって、前記センサエレメントは、前記センサからの入力に基づいてサーバに対して入力情報を送信し、前記スピーカエレメントは、前記サーバが受信した入力情報に基づいて特定した、複数のエレメントを連携して実現するプログラム及び前記エレメントの識別情報に基づいて、前記特定したプログラムに対応する指示情報を受信し、受信した前記指示情報に基づいて音声を出力するシステムが提供される。

また、本開示によれば、タッチパネル、ボタン又はマイクロフォンのいずれかのセンサと、音声を出力するスピーカを有する装置であって、前記センサからの入力に応じてサーバに対して入力情報を送信し、前記入力情報に基づいて特定された、複数のエレメントの識別情報と前記複数のエレメントを連携して実現するプログラムに対応する指示情報を前記サーバから受信し、受信した前記指示情報に基づいて音声を出力する装置が提供される。

Claims (18)

1. 互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させる表示制御部を備え、
   前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応する情報処理装置。
2. 前記空間的シークエンスは、前記複数のアイコンの直列的な連関を含む、請求項１に記載の情報処理装置。
3. 前記複数のアイコンは、第１のアイコンと複数の第２のアイコンとを含み、
   前記空間的シークエンスは、前記第１のアイコンから前記各第２のアイコンへの分岐を含む、請求項１に記載の情報処理装置。
4. 前記各アイコンは、前記ソフトウェアエレメントまたは前記ハードウェアエレメントの種類を示すエレメントアイコンと、前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の種類を示す動作アイコンとを含み、
   前記リンクは、前記動作アイコンを互いに接続する、請求項１に記載の情報処理装置。
5. 前記動作アイコンは、互いに独立して発生する複数の動作を示す複数のアイコンを含む、請求項４に記載の情報処理装置。
6. 前記複数のアイコンは、第１のアイコンと第２のアイコンとを含み、
   前記第１のアイコンに含まれる複数の動作アイコンのそれぞれと、前記第２のアイコンに含まれる複数の動作アイコンのそれぞれとが前記リンクによって複線的に接続される、請求項５に記載の情報処理装置。
7. 前記複数のアイコンは、第１のアイコンと複数の第２のアイコンとを含み、
   前記第１のアイコンに含まれる複数の動作アイコンのそれぞれと前記各第２のアイコンに含まれる動作アイコンとが前記リンクで接続されることによって前記第１のアイコンから前記各第２のアイコンへの分岐が形成される、請求項５に記載の情報処理装置。
8. 前記複数のアイコンは、第１のアイコンと複数の第２のアイコンとを含み、
   前記第１のアイコンに含まれる単一の動作アイコンと前記各第２のアイコンに含まれる動作アイコンとが前記リンクで接続されることによって前記第１のアイコンから前記各第２のアイコンへの分岐が形成される、請求項４に記載の情報処理装置。
9. 前記表示制御部は、さらに、前記複数のアイコンが配置されるフィールドを表示させ、
   前記フィールドでは、第１の方向が定義され、
   前記リンクは、前記第１の方向から前記各アイコンに接続される、請求項１に記載の情報処理装置。
10. 前記各アイコンは、前記リンクが接続されるソケットアイコンを含み、
    前記複数のアイコンは、前記第１の方向に面する片側だけに前記ソケットアイコンが配置される末端アイコンと、前記第１の方向に面する両側に前記ソケットアイコンが配置される中間アイコンとを含む、請求項９に記載の情報処理装置。
11. 前記表示制御部は、さらに、前記フィールド上で前記第１の方向および前記第１の方向に交差する第２の方向のグリッド線を表示させる、請求項９に記載の情報処理装置。
12. 前記グリッド線を指定する第１のユーザ操作を取得する操作取得部をさらに備え、
    前記表示制御部は、前記第１のユーザ操作によって指定されたグリッド線を分割し、該分割されたグリッド線の間に新たな行または列を挿入する、請求項１１に記載の情報処理装置。
13. 前記第１のユーザ操作は、前記グリッド線を選択する操作、または前記グリッド線をまたいだ位置でのピンチアウト操作を含む、請求項１２に記載の情報処理装置。
14. 前記グリッド線によって定義される行または列を指定する第２のユーザ操作を取得する操作取得部をさらに備え、
    前記表示制御部は、前記第２のユーザ操作によって指定された行または列を削除し、該削除された行または列の両側の前記グリッド線を統合する、請求項１１に記載の情報処理装置。
15. 前記第２のユーザ操作は、前記行もしくは前記列を選択する操作、または前記行もしくは前記列の少なくとも一部をまたいだ位置でのピンチイン操作を含む、請求項１４に記載の情報処理装置。
16. 前記各アイコンは、前記グリッド線に従ってアライメントされる、請求項１１に記載の情報処理装置。
17. 互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させることを含み、
    前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応する表示制御方法。
18. 情報処理装置の処理回路において実行されることによって、互いに連係動作するハードウェアエレメントまたはソフトウェアエレメントを示す複数のアイコンと、前記複数のアイコンを互いに接続するリンクとを表示させる機能を実現し、
    前記リンクによって形成される前記複数のアイコンの空間的シークエンスは、前記複数のアイコンによってそれぞれ示される前記ソフトウェアエレメントまたは前記ハードウェアエレメントの動作の時間的シークエンスに対応するプログラム。

Images