JP2023035318A - デバイス制御システム - Google Patents

Abstract

【課題】さまざまなデバイス装置に柔軟に対応可能なデバイス制御技術を提供する。【解決手段】 デバイス制御システムは、複数のデバイス装置と、デバイス装置と接続されるシングルボードコンピュータと、シングルボードコンピュータと接続されるクライアント端末と、クライアント端末と接続されるサーバを備える。サーバは、ＧＵＩプログラムを生成するＧＵＩプログラム生成部と、ＧＵＩプログラムを変換することにより、前記第１の情報処理装置の実行プログラムを生成する実行プログラム生成部と、生成された実行プログラムをシングルボードコンピュータに送信する送信部を含む。シングルボードコンピュータは、実行プログラムにしたがってデバイス装置を制御する。【選択図】図１０

Description

特許法第３０条第２項適用申請有り 令和３年３月５日にｈｔｔｐｓ：／／ｗｗｗ．ｃｏｓｍｏ－ｐｏｔｅｃｈ．ｃｏｍ／にて公開。令和３年５月１０日にｈｔｔｐｓ：／／ｗｗｗ．ｆｕｋｕｒｉ．ｊｐ／ｄｅｍｏより会員情報を入力することによりアクセス可能なサイトにて公開。令和３年６月９日にプログラミング教室「ぽてっく」にて公開。令和３年６月２３日にプログラミング教室「ぽてっく」にて公開。令和３年８月４日にプログラミング教室「ぽてっく」にて公開。

本発明は、デバイスの制御、特に、プログラミングによるデバイス制御技術、に関する。

ＩｏＴ（Internet of Things）化の推進にともない、ますます多くの製品がインターネットを介してつながっていくことは確実である。ＩｏＴ時代において重要な役割を果たすと考えられているのが、ラズベリーパイ（Raspberry Pi）などのシングルボードコンピュータである。

シングルボードコンピュータは、プリント基板上にＭＰＵ（Micro-Processing Unit）と最小限の周辺機器をむき出しのまま取り付けただけの小型コンピュータである。シングルボードコンピュータは、低価格、低消費電力であり、コンピュータプログラムを実行することでさまざまなデバイス装置を制御できる。

特開２０１９－１９１８２９号公報

センサ、アクチュエータ、スピーカ、ライトなどのさまざまなデバイス装置を組み合わせてＩｏＴ製品を設計する上で、「ものをつくる能力」と「ものを動かす能力」の両方を備える人材は大変貴重である。

デバイス設計が得意なハードウェア・エンジニアには、Pythonなどの比較的高度なプログラミング言語を苦手とする人も多い。プログラミングを勉強する人は増えているが、実際には、途中で脱落してしまう人も多い。一方、プログラミングに精通するソフトウェア・エンジニアには、ものづくりの体験の豊富な人が少ない。

本発明は、上記背景に基づいて完成された発明であり、その主たる目的は、さまざまなデバイス装置に柔軟に対応可能なデバイス制御技術、を提供することにある。

本発明のある態様におけるデバイス制御システムは、１以上のデバイス装置と、１以上のデバイス装置と接続される第１の情報処理装置と、第１の情報処理装置と接続される第２の情報処理装置と、を備える。
第２の情報処理装置は、デバイス装置の操作命令を視覚化したＧＵＩ（Graphical User Interface）コードの入力を受け付けることにより、ＧＵＩプログラムを生成するＧＵＩプログラム生成部と、ＧＵＩプログラムを変換することにより、第１の情報処理装置の実行プログラムを生成する実行プログラム生成部と、生成された実行プログラムを第１の情報処理装置に送信する送信部と、を含む。
第１の情報処理装置は、第２の情報処理装置から実行プログラムを受信する受信部と、実行プログラムにしたがって１以上のデバイス装置を制御するデバイス制御部と、を含む。

本発明の別の態様におけるデバイス制御システムは、複数の端子と、複数の端子のいずれかと接続される１以上のデバイス装置と、複数の端子と接続される第１の情報処理装置と、第１の情報処理装置と接続される第２の情報処理装置と、を備える。
第２の情報処理装置は、端子とデバイス装置の対応を指定した上で１以上のデバイス装置を制御するソースプログラムがユーザにより作成されたあと、ソースプログラムを変換することにより、第１の情報処理装置の実行プログラムを生成する実行プログラム生成部と、生成された実行プログラムを第１の情報処理装置に送信する送信部と、を含む。
第１の情報処理装置は、第２の情報処理装置から実行プログラムを受信する受信部と、実行プログラムにしたがって１以上のデバイス装置を制御するデバイス制御部と、を含む。

本発明によれば、さまざまなデバイス装置に柔軟に対応ししながらデバイス装置を制御しやすくなる。

デバイス制御システムのハードウェア構成図である。 工作キットのハードウェア構成図である。 サーバおよびクライアント端末の機能ブロック図である。 シングルボードコンピュータの機能ブロック図である。 電子工作品を完成させるまでの作業の流れを示すフローチャートである。 ＧＵＩプログラムによりデバイス装置を制御する仕組みを示す概念図である。 デバイス装置とＧＵＩコードセットの関係を示す概念図である。 テーマ選択画面の画面図である。 課題選択画面の画面図である。 プログラム作成画面の第１の画面図である。 プログラム作成画面の第２の画面図である。 プログラム作成画面の第３の画面図である。 拡張ソケットと拡張デバイスとの接続を示す模式図である。 図１３に示した拡張デバイスを制御するＧＵＩプログラムの一例である。

本実施形態におけるデバイス制御システムの利用場面としては、主に、２種類の場面を想定している。
１つ目は教育である。センサやモーターなどのさまざまなデバイス装置を組み合わせて作品（以下、「電子工作品」とよぶ）を作り、プログラムを組んで電子工作品を実際に動かしてみることで、ＩｏＴ製品に対するユーザの理解を深めることを第１の目的とする。
２つ目は試作である。エンジニアがデバイス装置を組み合わせて電子工作品を作り、プログラムを組んで電子工作品を動かしながら新しいＩｏＴ製品の可能性を探ることを第２の目的とする。
以下においては、小学生程度の子どもがＩｏＴ製品に対する理解を深めるための教育を想定して説明する。

図１は、デバイス制御システム２００のハードウェア構成図である。
デバイス制御システム２００において、サーバ１００とクライアント端末１０４はインターネット１０２を介して相互に接続される。クライアント端末１０４は、ユーザ（生徒、エンジニア等）により使用される通信端末であり、スマートフォン、タブレットコンピュータ、デスクトップＰＣ、ラップトップＰＣなど通信機能と表示機能を有する任意のコンピュータであればよい。本実施形態におけるクライアント端末１０４は、デスクトップＰＣであると想定して説明する。

サーバ１００は、ＩｏＴ製品の教育および試作のためのサービスとして「デバイス制御サービス」を提供する。ユーザは、あらかじめユーザＩＤとパスワードをサーバ１００に登録しておく。サーバ１００は、ユーザＩＤとパスワードに基づいてユーザのアカウントを管理する。

クライアント端末１０４は、ＵＳＢ（Universal Serial Bus）ケーブル１２４により工作キット１０６と接続される。工作キット１０６は複数のデバイス装置をシングルボードコンピュータに接続することで、電子工作品のハードウェアを製作（以下、「ハードウェア設計」とよぶ）するための機材である（後述）。また、電子工作品を制御するためのコンピュータプログラムを作成することを「ソフトウェア設計」とよぶ。ハードウェア設計およびソフトウェア設計をまとめていうときには「電子工作」とよぶ。
工作キット１０６は「第１の情報処理装置」に対応し、サーバ１００およびクライアント端末１０４は「第２情報処理装置」に対応する。

図２は、工作キット１０６のハードウェア構成図である。
工作キット１０６においては、プリント基板１２２上にさまざまな装置が搭載される。工作キット１０６は、プリント基板１２２のほか、シングルボードコンピュータ１０８、拡張ソケット１１０、ＬＥＤ１１２、スイッチ１１４、モーター１１６およびモニタ１１８を搭載する。上述したように、シングルボードコンピュータ１０８は、ＵＳＢケーブル１２４を介してクライアント端末１０４と接続される。シングルボードコンピュータ１０８は、ＡＲＭ社のプロセッサ（ＭＰＵ）を搭載した６００円から１０００円程度の簡易な小型コンピュータである。シングルボードコンピュータ１０８はＯＳ（Operating System）を搭載し、オブジェクトコードとして構成される実行プログラムにしたがってデバイス装置を制御する。

ＬＥＤ１１２、スイッチ１１４、モーター１１６およびモニタ１１８は、いずれもシングルボードコンピュータ１０８と接続される「デバイス装置」である。本実施形態における「デバイス装置」とは、シングルボードコンピュータ１０８とのデータ送受が可能な電子部品である。たとえば、ＬＥＤ１１２は、シングルボードコンピュータ１０８から点灯命令を受信したときに点灯する。スイッチ１１４は、押しボタン式のスイッチであり、スイッチ１１４が押されたときにはスイッチ１１４からシングルボードコンピュータ１０８に「オン信号」が送信される。

モーター１１６は、シングルボードコンピュータ１０８から回転角度、回転数、回転速度等を指定する制御命令を受信し、制御命令にしたがって回転する。モニタ１１８は、小型の表示装置であり、シングルボードコンピュータ１０８から指定されたデータを画面表示させる。ＬＥＤ１１２、スイッチ１１４、モーター１１６、モニタ１１８のようにあらかじめプリント基板１２２に搭載されているデバイス装置のことを「基本デバイス１２０」とよぶ。サーバ１００およびシングルボードコンピュータ１０８には、プリント基板１２２にどのような基本デバイス１２０が搭載されているかが初期登録されている。

拡張ソケット１１０は、１０種類の入出力用の端子を含む。端子は、端子ＩＤにより識別される。ユーザは、拡張ソケット１１０の端子に任意のデバイス装置を追加接続できる。拡張ソケット１１０に追加接続されるデバイス装置のことを「拡張デバイス」とよぶ。ユーザは、拡張デバイスを使用するときには、拡張デバイスを接続した端子の端子ＩＤをシングルボードコンピュータ１０８に認識させる必要があるが、詳細は後述する。

図３は、サーバ１００およびクライアント端末１０４の機能ブロック図である。
サーバ１００およびクライアント端末１０４の各構成要素は、ＣＰＵ（Central Processing Unit）および各種コプロセッサ（co-processor）などの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。
以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。図４に示すシングルボードコンピュータ１０８についても同様である。

（サーバ１００）
サーバ１００は、通信部１３０、データ処理部１３２およびデータ格納部１３４を含む。
通信部１３０は、クライアント端末１０４との通信処理を担当する。データ格納部１３４は、各種のデータを格納する。データ処理部１３２は、通信部１３０により取得されるデータおよびデータ格納部１３４に格納されるデータに基づいて各種処理を実行する。データ処理部１３２は、通信部１３０およびデータ格納部１３４のインタフェースとしても機能する。

通信部１３０は、クライアント端末１０４に各種情報を送信する送信部１３６と、クライアント端末１０４から各種情報を受信する受信部１３８を含む。

データ処理部１３２は、ＧＵＩプログラム生成部１４０、ソースプログラム生成部１４２、実行プログラム生成部１４４、課題提示部１４６、言語管理部２６４、回答提示部１４８および進捗管理部１５０を含む。
ＧＵＩプログラム生成部１４０は、ＧＵＩ（Graphical User Interface）コードをユーザが入力することによりＧＵＩプログラムを作成するためのユーザインタフェースを提供する。ＧＵＩコードは、デバイス装置に対する命令をScratch言語と同様の方式で視覚化した画像コードであるが詳細は後述する。ＧＵＩプログラム生成部１４０は、ユーザからのＧＵＩコードの入力にしたがってＧＵＩプログラムを生成する。

ソースプログラム生成部１４２は、ＧＵＩコードをソースコードに変換することにより、ＧＵＩプログラムからソースプログラムを生成する。ソースプログラムは、Python、Ｃ言語、Javaなどの一般的な高級プログラム言語である。ユーザはソースプログラムを編集・作成することもできる。実行プログラム生成部１４４は、ソースプログラムから実行プログラム（オブジェクトコード）を生成するコンパイラ（Compiler）として機能する。

課題提示部１４６は、電子工作に習熟するためにあらかじめ用意された各種課題を提示する。回答提示部１４８は、課題に対する回答を提示する。進捗管理部１５０は、ユーザごとに課題の進捗率を管理する。課題と回答、進捗率については図８以降に関連して後述する。言語管理部２６４は、表示言語を設定する。言語設定に関しては図１０に関連して後述する。

（クライアント端末１０４）
クライアント端末１０４は、ユーザインタフェース処理部１５２、データ処理部１５４、データ格納部１５６および通信部１５８を含む。
ユーザインタフェース処理部１５２は、キーボード、マウス、タッチパネル等の入力デバイスを介してユーザからの操作を受け付けるほか、画像表示や音声出力など、ユーザインタフェースに関する処理を担当する。通信部１５８は、サーバ１００および工作キット１０６との通信処理を担当する。データ格納部１５６は各種データを格納する。データ処理部１５４は、ユーザインタフェース処理部１５２からの入力、通信部１５８の受信データおよびデータ格納部１５６に格納されているデータに基づいて各種処理を実行する。データ処理部１５４は、通信部１５８、ユーザインタフェース処理部１５２およびデータ格納部１５６のインタフェースとしても機能する。

ユーザインタフェース処理部１５２は、入力部１６０および出力部１６２を含む。
入力部１６０は、ユーザからの各種入力を受け付ける。出力部１６２は、ユーザに対して各種情報を出力する。出力部１６２は、モニタに各種情報を表示するとともに、各種音声を出力する。

通信部１５８は、各種データを送信する送信部１６４とデータを受信する受信部１６６を含む。

図４は、シングルボードコンピュータ１０８の機能ブロック図である。
シングルボードコンピュータ１０８は、通信部１７０、デバイス制御部１７２およびデータ格納部１７４を含む。
通信部１７０は、クライアント端末１０４との通信処理を担当する。データ格納部１７４は、実行プログラム等の各種のデータを格納する。デバイス制御部１７２は、クライアント端末１０４から提供される実行プログラムにしたがって各種デバイス装置１８０を制御する。デバイス制御部１７２は、通信部１７０およびデータ格納部１７４のインタフェースとしても機能する。

通信部１７０は、各種データを送信する送信部１７６とデータを受信する受信部１７８を含む。

図５は、電子工作品を完成させるまでの作業の流れを示すフローチャートである。
ユーザは、拡張デバイスを選び、選んだ拡張デバイスを拡張ソケット１１０に接続することでハードウェア設計を行う（Ｓ１０）。なお、基本デバイス１２０のみを使う場合には、Ｓ１０の作業は不要である。次に、ユーザはクライアント端末１０４からサーバ１００にアクセスし、ＧＵＩプログラムを作成する（Ｓ１２）。具体的には、ユーザはウェブブラウザを介してサーバ１００にログインし、ＧＵＩプログラム生成部１４０はＧＵＩプログラムを作成するための画面（後述）をサーバ１００に表示させる。ＧＵＩプログラム生成部１４０は、ユーザからの入力にしたがってＧＵＩプログラムを作成する。

ソースプログラム生成部１４２は、ＧＵＩプログラムからソースプログラムを生成する（Ｓ１４）。ユーザはソースプログラムを編集することもできる。更に、実行プログラム生成部１４４は、ソースプログラムから実行プログラムを生成する（Ｓ１６）。実行プログラムは、サーバ１００からクライアント端末１０４にダウンロードされ、クライアント端末１０４から工作キット１０６のシングルボードコンピュータ１０８に送られる。シングルボードコンピュータ１０８は実行プログラムにしたがって、デバイス装置１８０を制御する（Ｓ１８）。

図６は、ＧＵＩプログラムによりデバイス装置１８０を制御する仕組みを示す概念図である。
上述したように、ユーザは、まず、ＧＵＩプログラムを作成する。ＧＵＩプログラムの詳細については図１０に関連して説明する。ソースプログラム生成部１４２は、ＧＵＩプログラムからソースプログラムを生成する。ユーザは、生成後のソースプログラムを加筆・修正してもよい。実行プログラム生成部１４４は、ソースプログラムを変換して実行プログラムを生成する。実行プログラムは、シングルボードコンピュータ１０８において実行可能なオブジェクトファイルとして構成される。

実行プログラムは、クライアント端末１０４からＵＳＢケーブル１２４を経由して工作キット１０６のシングルボードコンピュータ１０８に送信される。シングルボードコンピュータ１０８は、ＭＰＵ１９２とＯＳ１９４を含む。ＭＰＵ１９２およびＯＳ１９４は「デバイス制御部１７２」として実行プログラムを実行する。

シングルボードコンピュータ１０８には多数のデバイス装置１８０が接続される。デバイス装置１８０は、基本デバイス１２０および拡張デバイス１９０の２種類である。拡張デバイス１９０は、拡張ソケット１１０を介してシングルボードコンピュータ１０８と接続される。シングルボードコンピュータ１０８は、実行プログラムにしたがって、デバイス装置１８０に制御命令を送信し、デバイス装置１８０から計測値、制御状態等を示すデータを取得する。

図７は、デバイス装置１８０とＧＵＩコードセット２１０の関係を示す概念図である。
デバイス装置１８０には、デバイス装置１８０を制御するためのＧＵＩコードセット２１０があらかじめ対応づけられている。たとえば、デバイス装置１８０がＬＥＤであれば、「ＬＥＤを点灯させる」「ＬＥＤを消灯させる」「ＬＥＤを点滅させる」などの制御に対応するＬＥＤ専用のＧＵＩコードがあらかじめ用意される。ＧＵＩコードセット２１０は、サーバ１００のデータ格納部１３４に登録される。

サーバ１００は、すべての基本デバイス１２０に対応するＧＵＩコードセット２１０を格納する。たとえば、デバイス装置１８０ａ（スイッチＷ１）に対してはＧＵＩコードセット２１０ａ、デバイス装置１８０ｂ（モニタＤ１）に対してはＧＵＩコードセット２１０ｂが登録される。基本デバイス１２０として搭載されていない新規のデバイス装置１８０ｘを拡張デバイス１９０として使いたいときには、デバイス装置１８０ｘの開発者またはサーバ１００の運営者は、デバイス装置１８０ｘのためのＧＵＩコードセット２１０ｘを用意する。

たとえば、新規のリニアエンコーダが開発されたとき、拡張デバイス１９０としてこのリニアエンコーダを使用可能とするためには、開発者はリニアエンコーダ用のＧＵＩコードセット２１０も開発し、サーバ１００に登録しておく。より具体的には、リニアエンコーダの移動量を指定する命令、リニアエンコーダの計測値を読み取る命令などがＧＵＩコードセット２１０として用意される。ユーザは、リニアエンコーダを拡張ソケット１１０に接続したときには、リニアエンコーダ用のＧＵＩコードをつかってリニアエンコーダを制御する。

図８は、テーマ選択画面２２０の画面図である。
ユーザは、クライアント端末１０４からサーバ１００にログインしたとき、サーバ１００の送信部１３６はテーマ選択画面２２０に対応するウェブページをクライアント端末１０４に送信する。テーマ選択画面２２０は、さまざまなデバイス装置１８０を制御する方法を学習するための画面である。

テーマ選択画面２２０には、６種類のテーマに対応して６種類のテーマボタン２２２が表示される。ここでいう「テーマ」とは「光の制御」「音の制御」「表示の制御」「動きの制御」「センサの制御」「ガジェット作り」のように、ハードウェア設計およびソフトウェア設計に習熟するために必要と考えられる科目を意味する。

ユーザは、６種類のテーマボタン２２２のいずれかを選択することにより、次に示す課題選択のための課題選択画面２３０を表示させることができる。テーマボタン２２２の中央には進捗率グラフ２２４が示される。進捗管理部１５０は、進捗率に応じて進捗率グラフ２２４を変化させる。進捗率は、課題の達成度を意味する。たとえば、「光の制御」というテーマについては６種類の課題が用意されており（後述）、ユーザはそのうち３種類の課題を達成したときには、進捗管理部１５０は進捗率を５０（％）（＝３÷６）と算出する。

図９は、課題選択画面２３０の画面図である。
テーマ選択画面２２０において、ユーザが「光の制御」のテーマボタン２２２を選択したとき、サーバ１００は課題選択画面２３０をクライアント端末１０４のウェブブラウザに表示させる。課題選択画面２３０においては、「光の制御」に関する６種類の課題が提示される。「光の制御」の課題は、「（１）ＬＥＤを点けてみよう」「（２）ＬＥＤを消してみよう」「（３）ＬＥＤを点滅させてみよう」「（４）ＬＥＤの明るさを変えてみよう」「（５）スイッチを押したらＬＥＤが点くようにしてみよう」「（６）ＬＥＤの色を変えてみよう」の６種類である。課題選択画面２３０には、６種類の課題に対応して６種類の課題領域２３２が表示される。

課題領域２３２の中央には達成マーク２３４が表示される。課題が達成済みのときには、進捗管理部１５０は達成マーク２３４の色を白色から黄色に変化させる。ユーザは学習ボタン２３６を選択することで、課題実行のためのプログラム作成画面２４０を表示させることができる。

図１０は、プログラム作成画面２４０の第１の画面図である。
課題選択画面２３０において、ユーザが「ＬＥＤを点けてみよう」を選択したとき、サーバ１００は図１０に示すプログラム作成画面２４０をクライアント端末１０４に表示させる。課題選択画面２３０は、メニュー領域２４２、コード選択領域２４４、プログラム領域２４６およびコメント領域２４８を含む。

メニュー領域２４２は、電子工作のための各種メニューを表示する。メニュー領域２４２は、ホームボタン２５０、実行ボタン２５２、ソースコードボタン２５４、セーブボタン２５６、ロードボタン２５８、相談ボタン２６０および表記変更ボタン２６２を含む。

ホームボタン２５０が選択されたとき、サーバ１００はホーム画面（不図示）を表示させる。ユーザは、ホーム画面からテーマ選択画面２２０等の各種画面を呼び出すことができる。実行ボタン２５２が選択されたとき、プログラム領域２４６において作成されるＧＵＩプログラムが実行され、デバイス装置１８０が制御される。より具体的には、実行ボタン２５２が選択されたとき、ＧＵＩプログラムに基づいて実行プログラムが生成され、サーバ１００からクライアント端末１０４を経由してシングルボードコンピュータ１０８に実行プログラムが送信され、シングルボードコンピュータ１０８のデバイス制御部１７２は実行プログラムにしたがってデバイス装置１８０を制御する。

ソースコードボタン２５４が選択されたとき、ソースプログラム生成部１４２はＧＵＩプログラムに対応するソースプログラムを画面表示させる。ソースプログラムの画面表示については図１２に関連して後述する。セーブボタン２５６が選択されたとき、ＧＵＩプログラム生成部１４０はＧＵＩプログラムをデータ格納部１３４に保存する。データ格納部１３４においてはユーザごとにＧＵＩプログラムが保存されている。セーブボタン２５６が選択されたときには、データ格納部１３４に保存されているＧＵＩプログラムがプログラム領域２４６にロードされる。相談ボタン２６０が選択されたときには、ユーザと指導員のチャット画面が表示される。

表記変更ボタン２６２が選択されたとき、言語管理部２６４は各画面における表示言語を変更する。具体的には、表記変更ボタン２６２が選択されたとき、言語管理部２６４は「漢字可否」を確認するダイアログボックス（不図示）を表示させる。ユーザが小学校低学年のときには「ひらがな・カタカナ（漢字不可）」と設定すれば「ひらがな・カタカナ」のみの表記となる。言語表記を変更可能とすることにより、低年齢のユーザであっても電子工作を楽しむことができる。

コード選択領域２４４は、ＧＵＩコード３００を選ぶためのボタン群を含む。コード選択領域２４４は、基本ボタン２７０～関数ボタン２９８の１５種類のボタンを含む。基本ボタン２７０が選択されたとき、拡張デバイス１９０と端子ＩＤの対応づけなど、工作キット１０６の制御において基本となるＧＵＩコード３００がコード選択領域２４４のとなりに一覧表示される。ユーザは、一覧表からＧＵＩコード３００を選択してプログラム領域２４６に置く。

光ボタン２７２はＬＥＤ、音ボタン２７４はスピーカ、スイッチボタン２７６はスイッチ、モーターボタン２７８はモーター（アクチュエータ）、センサボタン２８０はセンサ、モニタボタン２８４はモニタ（ディスプレイ）を制御するためのＧＵＩコード３００を一覧表示させる。時間ボタン２８２は、日時設定、待ち時間設定など時間制御に関するＧＵＩコード３００を一覧表示させる。

文字ボタン２８６は、印刷制御、テキスト文の入力などに関する。数字ボタン２８８は、数式演算、数値設定、乱数生成などに関するＧＵＩコード３００に対応する。ロジックボタン２９０は、条件文（if文）などの論理式に関するＧＵＩコード３００に対応する。ループボタン２９２は、繰り返し制御（for文）に関するＧＵＩコード３００に対応する。リストボタン２９４は、ソート、配列などのリスト構造の制御に関する。変数ボタン２９６は変数、関数ボタン２９８は関数の制御に関するＧＵＩコード３００に対応する。

ユーザは、コード選択領域２４４からＧＵＩコード３００を選んでプログラム領域２４６に配列することで、ＧＵＩプログラムを作成する。ユーザは、プログラミング言語のScratchに類似したユーザインタフェースにてＧＵＩプログラムを作成できる。

「ＬＥＤを点けてみよう」という課題に対して、図１０ではユーザは「キットをつかう」「ＬＥＤを点ける」「ＬＥＤを消す」「処理を１秒待つ」などのＧＵＩコード３００を選んでいる。ユーザはこれらのＧＵＩコード３００をパズルのように組み合わせながら「ＬＥＤを点灯させる」という課題を達成できるＧＵＩプログラムを作成する。

課題提示部１４６は、ステップ・バイ・ステップにてユーザを課題に導くためのコメントをコメント領域２４８に表示させる。ユーザは、コメント領域２４８を参照しながら、ＧＵＩプログラムを作成する。

図１１は、プログラム作成画面２４０の第２の画面図である。
ユーザは、課題に対応するＧＵＩプログラムを作成したあと、実行ボタン２５２を選択してＧＵＩプログラムを実行させる。最後にユーザは「答え合わせ」を行う。ユーザが次ボタン３０２を選択したとき、回答提示部１４８はあらかじめ登録されている課題達成のためのお手本となるＧＵＩプログラムをプログラム領域２４６に表示させる。

図１１では、「キットをつかう」という初期化のためのＧＵＩコード３００ａ（基本ボタン２７０に対応）、「ＬＥＤを点ける」という点灯制御のためのＧＵＩコード３００ｂ（光ボタン２７２に対応）、「処理を１秒待つ」という時間制御のためのＧＵＩコード３００ｃ（時間ボタン２８２に対応）という３種類のＧＵＩコード３００をつなげることによりＧＵＩプログラムが形成されている。ユーザは、「ＬＥＤを点けてみよう」という課題を達成できたとき、あるいは、理解できたときには図示しない「できた」ボタンを選択する。このとき、進捗管理部１５０はユーザが課題を達成したと判定し、進捗率を更新する。

図１２は、プログラム作成画面２４０の第３の画面図である。
ソースプログラム生成部１４２はプログラム領域２４６において作成中のＧＵＩプログラムからソースプログラムを生成する。ユーザがソースコードボタン２５４を選択したとき、ソースプログラム生成部１４２はプログラム作成画面２４０の上にソースプログラム画面３１０を表示させる。ソースプログラム画面３１０は、オリジナルコード領域３１２および変更コード領域３１４を含む。

オリジナルコード領域３１２にはソースプログラムが表示される。ユーザは、オリジナルコード領域３１２においてソースプログラムを自由に編集できる。ソースプログラム生成部１４２は、変更後のソースプログラムを変更コード領域３１４に表示される。すなわち、オリジナルコード領域３１２はソースプログラムの初期状態を示す領域であり、変更コード領域３１４はソースプログラムを編集するための領域である。

ユーザは、ソースプログラム画面３１０を参照することにより、ＧＵＩプログラムから生成されるソースプログラムを確認できる。ユーザは自分で作成したＧＵＩプログラムを通してソースプログラムを学ぶことができる。ユーザはソースプログラムを直接編集することもできる。たとえば、ユーザはＧＵＩコード３００を使ってＧＵＩプログラムを作成し、ＧＵＩプログラムから生成されるソースプログラムに対して細かな加筆・修正作業をすることもできる。直感的でわかりやすいＧＵＩコード３００を組み合わせることで基本的なアルゴリズムを作った後に、ソースプログラムを編集することによりアルゴリズムを細かく調整できるので、ソースプログラムを一から作るよりもコード生産性が高くなる。

図１３は、拡張ソケット１１０と拡張デバイス１９０との接続を示す模式図である。
上述したように、ユーザはデバイス装置１８０を「拡張デバイス１９０」として拡張ソケット１１０に接続できる。図１３においては、拡張ソケット１１０の端子ＩＤ＝１の端子（以下、「端子（１）」のように表記する）には光センサ３２０が接続され、端子（２）にサーボモータ３２２、端子（９）にモニタ３２４が接続されている。光センサ３２０、サーボモータ３２２およびモニタ３２４はいずれも拡張デバイス１９０である。

光センサ３２０は、Ａ社が最近発売した新型のデバイス装置１８０であるとする。この場合、Ａ社は光センサ３２０に対応するＧＵＩコードセット２１０をサーバ１００に登録しておく。サーバ１００の運営者が光センサ３２０用のＧＵＩコードセット２１０をサーバ１００に登録してもよい。ユーザは、端子（１）と光センサ３２０が接続されていることをＧＵＩコード３００によりシングルボードコンピュータ１０８に認識させ（後述）、光センサ３２０用のＧＵＩコード３００をつかって光センサ３２０を制御する。

図１４は、図１３に示した拡張デバイス１９０を制御するＧＵＩプログラムの一例である。
ここでは、サーボモータ３２２を５０（度）回転させ、光センサ３２０の計測値をモニタ３２４に表示させる処理を想定して説明する。まず、ＧＵＩコード３００ｄで初期化（開始宣言）をしたあと、光センサ３２０が接続される端子（１）（ＧＰ１）をＧＵＩコード３００ｅにより「入力端子」に設定する。ＧＵＩコード３００ｅにおいては、端子ＩＤ、入出力などの変数を自由に選ぶことができる。

ＧＵＩコード３００ｆは、端子（１）に光センサ３２０が接続されていることをシングルボードコンピュータ１０８に認識させる。３００ｇは、変数Ｍ１に端子（１）からの入力値を設定する。ＧＵＩコード３００ｅ、ＧＵＩコード３００ｆにより、シングルボードコンピュータ１０８は端子（１）には光センサ３２０が接続され、端子（１）から光センサ３２０の計測値を取得できることを認識する。また、光センサ３２０の計測値は変数Ｍ１に代入される。

次に、ＧＵＩコード３００ｈにより、端子（２）を「出力端子」に設定する。ＧＵＩコード３００ｊは、端子（２）にサーボモータ３２２が接続されていることをシングルボードコンピュータ１０８に認識させる。ＧＵＩコード３００ｊはサーボモータ３２２を５０（度）回転させる。ＧＵＩコード３００ｈ、３００ｉ、３００ｊにより、サーボモータ３２２の回転制御が行われる。

ＧＵＩコード３００ｋは、端子（９）を「出力端子」に設定する。ＧＵＩコード３００ｌは、端子（９）にモニタ３２４が接続されていることをシングルボードコンピュータ１０８に認識させる。ＧＵＩコード３００ｍは、モニタ３２４の画面座標（１５，２０）に変数Ｍ１、すなわち、光センサ３２０の計測値を表示させる。

ＧＵＩコード３００ｄ、３００ｅ、３００ｈ、３００ｋは、基本ボタン２７０に対応する基本制御となるＧＵＩコード３００である。ＧＵＩコード３００ｆは、光ボタン２７２に対応する光センサ３２０のためのＧＵＩコード３００である。３００ｇは、変数ボタン２９６に対応するＧＵＩコード３００である。ＧＵＩコード３００ｉ、３００ｊは、モーターボタン２７８に対応するサーボモータ３２２のためのＧＵＩコード３００である。ＧＵＩコード３００ｌ、３００ｍは、モニタボタン２８４に対応する進捗率グラフ２２４を制御するためのＧＵＩコード３００である。ユーザは、さまざまな拡張デバイス１９０を拡張ソケット１１０に自由に接続し、各拡張デバイス１９０に対応してあらかじめ用意されるＧＵＩコード３００を組み合わせながらＧＵＩプログラムを作成する。

［総括］
以上、実施形態に基づいてデバイス制御システム２００を説明した。
ユーザは、制御文としてあらかじめ用意されているＧＵＩコード３００と、デバイス装置１８０ごとにあらかじめ用意されているＧＵＩコードセット２１０により、ＧＵＩプログラムを作成できる。パズルのようにＧＵＩコード３００を選んで組み合わせることでＧＵＩプログラムを生成できるので、本格的にプログラミングを勉強していないユーザでも手軽にデバイス装置１８０を制御できる。

Python、Javaなどの本格的なプログラミング言語に苦手意識をもつユーザであっても、ＧＵＩプログラムによって基本的なアルゴリズムを組むことができる。自分が作成したＧＵＩプログラムからどのようなソースプログラムが生成されるのかを確認できるので、PythonやJavaなどのプログラミング言語に対してユーザはより興味をもって理解を深めることができる。

ユーザは、ソースプログラムを修正することもできる。ユーザは、いったんＧＵＩプログラムを作成して基本的なアルゴリズムを設計したあと、ソースプログラムを修正することでアルゴリズムを細かく調整できるので、プログラムを作成するときの生産性が向上する。たとえば、エンジニアは、イメージするＩｏＴ製品に必要な拡張デバイス１９０を集めてハードウェア設計をしたあと、ＧＵＩプログラミングにより試作品としての電子工作品を動作確認し、その後に、ソースプログラムを本格的に修正することでソースプログラムの質を効率的に高めることができる。

本実施形態においては、ユーザはウェブブラウザにより、サーバ１００が提供するデバイス制御サービスを利用できる。サーバ１００は、ユーザのアカウントを管理し、ユーザごとにＧＵＩプログラムを保存する。このため、ユーザはクライアント端末１０４があれば、自宅以外でもいつでも自作のＧＵＩプログラムを利用できる。

新しくデバイス装置１８０ｘが開発されたとき、デバイス装置１８０ｘに対応するＧＵＩコードセット２１０ｘも同時に用意しておけば、ユーザはすぐにデバイス装置１８０ｘを試すことができる。デバイス開発者は、デバイス装置１８０と同時にＧＵＩコードセット２１０ｘも用意しておくことで、多くのユーザにデバイス装置１８０ｘの長所や短所についてのフィードバックを早期かつ大量に得やすくなる。また、ユーザが他のデバイス装置１８０と組み合わせていろいろな電子工作品を開発することで、デバイス開発者が想定していなかったデバイス装置１８０ｘの使い途や可能性が発見されるかもしれない。

サーバ１００は、テーマ別に課題を提供することにより、ユーザを少しずつデバイス装置１８０の制御に馴染ませることができる。特に、子どもにとっては簡単な課題から少しずつ難しい課題にチャレンジすることで、デバイス装置１８０を動かす楽しさや難しさに気づくことができるので、プログラミング学習を効率的に進めることができる。

小学生などの低年齢のユーザは、自由にデバイス装置１８０を組み合わせながら、電子工作品を動かすためのＧＵＩプログラムもつくる。ハードウェア設計とソフトウェア設計を通して、自分でつくった電子工作品を動かす楽しさを提供できる。現在、プログラミング教育の重要性が認識されつつあるが、プログラミングの勉強だけでは飽きてしまう子どもも多い。デバイス制御システム２００によれば、ユーザはオリジナルの電子工作品を動かすためにＧＵＩプログラムを作るので、自分の作品がイメージ通りに動くという感動を味わうことができる。また、このような自由と感動を与えることにより、ユーザの学習意欲や挑戦意欲を高めることができる。

ユーザは、工夫次第でいろいろな電子工作品をつくることができる。たとえば、土中の水分含有量を計測可能な特殊なセンサがあるとする。このようなセンサを鉢植えに差し込み、土中の水分含有量が減ったときにモニタに「水が欲しい」と表示される電子工作品を作ることもできる。新型のセンサの使い方を電子工作品という実例で示すことができるので、デバイス開発者はセンサなどの新型のデバイス装置１８０を販売しやすくなる。

他の例として、４つのモーターにペットボトルのキャップを「タイヤ」として取り付けることにより、工作キット１０６を自走可能な電子工作品とすることもできる。このように、デバイス装置１８０にボトルキャップのような他の部材を接続することで電子工作品に更に多様性をもたせることができる。このほか、気温センサの計測値に基づいてプロペラの回転速度を自動的に調整する扇風機、多数のスイッチに音を割り当てることによって構成される電子ピアノなど、工夫次第でさまざまな電子工作品を作ることができる。

新しいデバイス装置１８０が開発されるほどＩｏＴ製品の可能性も広がるので、デバイス制御システム２００はいろいろな発明を生み出すプラットフォームになる可能性がある。

ソフトウェアをつくる楽しさとハードウェアをつくる楽しさを一体として味わうことができるので、デバイス制御システム２００は今後需要が高まるＩｏＴエンジニアの育成にも寄与すると考えられる。

なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。

１つのクライアント端末１０４と１つのサーバ１００によりデバイス制御システム２００が構成されるとして説明したが、クライアント端末１０４の機能の一部はサーバ１００により実現されてもよいし、サーバ１００の機能の一部または前部がクライアント端末１０４に割り当てられてもよい。また、クライアント端末１０４やサーバ１００以外の第３の装置が、サーバ１００またはクライアント端末１０４の機能の一部を担ってもよい。１つまたは複数のハードウェアに対して、本発明を実現するために必要な複数の機能をどのように配分するかは、各ハードウェアの処理能力やデバイス制御システム２００に求められる仕様等に鑑みて決定されればよい。

［変形例］
シングルボードコンピュータ１０８としての機能の全部または一部がクライアント端末１０４に割り当てられてもよい。たとえば、クライアント端末１０４はシングルボードコンピュータ１０８を介することなく直接デバイス装置１８０を制御してもよい。

本実施形態においては、課題を提示し、課題に対応するＧＵＩプログラムを作成する場面を想定して説明したが、ユーザは課題に関わりなく自由にＧＵＩプログラムをつくることもできる。

ＧＵＩプログラミングは必須ではない。たとえば、ユーザはクライアント端末１０４においてＧＵＩプログラムを経由することなく、直接ソースプログラムを作成してもよい。

言語管理部２６４は、漢字使用可否以外にも、ユーザに合わせて言語レベルを設定してもよい。たとえば、ユーザが小学校１年生のときには、言語管理部２６４は小学校１年生で学習する常用漢字のみを使用し、それ以外の漢字はひらがなにて表記するとしてもよい。同様に、ユーザが小学校２年生のときには、言語管理部２６４は小学校２年生で学習する常用漢字のみを使用するとしてもよい。このほか、言語管理部２６４は日本語、英語、中国語などの使用言語をユーザからに指定にしたがって変更してもよい。

１００ サーバ、１０２ インターネット、１０４ クライアント端末、１０６ 工作キット、１０８ シングルボードコンピュータ、１１０ 拡張ソケット、１１２ ＬＥＤ、１１４ スイッチ、１１６ モーター、１１８ モニタ、１２０ 基本デバイス、１２２ プリント基板、１２４ ＵＳＢケーブル、１３０ 通信部、１３２ データ処理部、１３４ データ格納部、１３６ 送信部、１３８ 受信部、１４０ ＧＵＩプログラム生成部、１４２ ソースプログラム生成部、１４４ 実行プログラム生成部、１４６ 課題提示部、１４８ 回答提示部、１５０ 進捗管理部、１５２ ユーザインタフェース処理部、１５４ データ処理部、１５６ データ格納部、１５８ 通信部、１６０ 入力部、１６２ 出力部、１６４ 送信部、１６６ 受信部、１７０ 通信部、１７２ デバイス制御部、１７４ データ格納部、１７６ 送信部、１７８ 受信部、１８０ デバイス装置、１９０ 拡張デバイス、１９２ ＭＰＵ、１９４ ＯＳ、２００ デバイス制御システム、２１０ ＧＵＩコードセット、２２０ テーマ選択画面、２２２ テーマボタン、２２４ 進捗率グラフ、２３０ 課題選択画面、２３２ 課題領域、２３４ 達成マーク、２３６ 学習ボタン、２４０ プログラム作成画面、２４２ メニュー領域、２４４ コード選択領域、２４６ プログラム領域、２４８ コメント領域、２５０ ホームボタン、２５２ 実行ボタン、２５４ ソースコードボタン、２５６ セーブボタン、２５８ ロードボタン、２６０ 相談ボタン、２６２ 表記変更ボタン、２６４ 言語管理部、２７０ 基本ボタン、２７２ 光ボタン、２７４ 音ボタン、２７６ スイッチボタン、２７８ モーターボタン、２８０ センサボタン、２８２ 時間ボタン、２８４ モニタボタン、２８６ 文字ボタン、２８８ 数字ボタン、２９０ ロジックボタン、２９２ ループボタン、２９４ リストボタン、２９６ 変数ボタン、２９８ 関数ボタン、３００ ＧＵＩコード、３０２ 次ボタン、３１０ ソースプログラム画面、３１２ オリジナルコード領域、３１４ 変更コード領域、３２０ 光センサ、３２２ サーボモータ、３２４ モニタ

Claims (12)

1. １以上のデバイス装置と、
   前記１以上のデバイス装置と接続される第１の情報処理装置と、
   前記第１の情報処理装置と接続される第２の情報処理装置と、を備え、
   前記第２の情報処理装置は、
   前記デバイス装置の操作命令を視覚化したＧＵＩ（Graphical User Interface）コードの入力を受け付けることにより、ＧＵＩプログラムを生成するＧＵＩプログラム生成部と、
   前記ＧＵＩプログラムを変換することにより、前記第１の情報処理装置の実行プログラムを生成する実行プログラム生成部と、
   前記生成された実行プログラムを前記第１の情報処理装置に送信する送信部と、を含み、
   前記第１の情報処理装置は、
   前記第２の情報処理装置から前記実行プログラムを受信する受信部と、
   前記実行プログラムにしたがって前記１以上のデバイス装置を制御するデバイス制御部と、を含む、デバイス制御システム。
2. 前記第１の情報処理装置は、シングルボードコンピュータである、請求項１に記載のデバイス制御システム。
3. 前記第２の情報処理装置は、
   前記ＧＵＩプログラムを変換することにより、所定のプログラミング言語によるソースプログラムを生成するソースプログラム生成部、を更に備え、
   前記実行プログラム生成部は、前記ＧＵＩプログラムから生成されたソースプログラムを変換することにより、前記実行プログラムを生成する、請求項１または２に記載のデバイス制御システム。
4. 前記第２の情報処理装置のソースプログラム生成部は、更に、前記ソースプログラムに対する編集操作を受け付け、
   前記実行プログラム生成部は、編集後のソースプログラムを変換することにより、前記実行プログラムを生成する、請求項３に記載のデバイス制御システム。
5. 前記第２の情報処理装置は、サーバおよびクライアント端末を含み、
   前記サーバは、ＧＵＩプログラムを作成するための編集画面を前記クライアント端末に提供する、請求項１から４のいずれかに記載のデバイス制御システム。
6. 前記第１の情報処理装置および前記第２の情報処理装置には、前記第１の情報処理装置に接続される前記１以上のデバイス装置があらかじめ登録されており、
   前記第２の情報処理装置は、前記１以上のデバイス装置それぞれに対応するＧＵＩコードをあらかじめ記憶する、請求項１から５のいずれかに記載のデバイス制御システム。
7. 前記第２の情報処理装置は、
   課題を提示する課題提示部と、
   前記提示された課題にしたがってユーザにより作成されたＧＵＩプログラムとは別に、前記提示された課題に対応する手本となるＧＵＩプログラムを提示する回答提示部と、を更に含む請求項１から６のいずれかに記載のデバイス制御システム。
8. 前記第２の情報処理装置は、
   ユーザのプログラミング学習の進捗を管理する進捗管理部、を更に備え、
   前記進捗管理部は、複数のテーマそれぞれにあらかじめ設定される複数の課題それぞれの達成度に基づいて、前記複数のテーマそれぞれについての学習の進捗率を提示する、請求項７に記載のデバイス制御システム。
9. 前記第１の情報処理装置は、更に、複数の端子と接続されており、
   前記複数の端子のいずれかとセンサが接続されたときには、前記第２の情報処理装置において、前記センサの接続先となる端子の識別番号を設定する第１のＧＵＩコードと、前記識別番号の接続先のデバイス装置からデータを取得する第２のＧＵＩコードにより、前記センサの計測値を取得するＧＵＩプログラムを作成可能である、請求項１から８のいずれかに記載のデバイス制御システム。
10. 前記複数の端子のいずれかとアクチュエータが接続されたときには、前記第２の情報処理装置において、前記アクチュエータの接続先となる端子の識別番号を設定する第３のＧＵＩコードと、前記識別番号の接続先のデバイス装置に制御命令を送信する第４のＧＵＩコードにより、前記アクチュエータを制御するＧＵＩプログラムを作成可能である、請求項９に記載のデバイス制御システム。
11. 前記複数の端子のいずれかと表示装置が接続されたときには、前記第２の情報処理装置において、前記表示装置の接続先となる端子の識別番号を設定する第５のＧＵＩコードと、前記識別番号の接続先のデバイス装置に表示命令を送信する第６のＧＵＩコードにより、前記表示装置の表示内容を制御するＧＵＩプログラムを作成可能である、請求項９または１０に記載のデバイス制御システム。
12. 複数の端子と、
    前記複数の端子のいずれかと接続される１以上のデバイス装置と、
    前記複数の端子と接続される第１の情報処理装置と、
    前記第１の情報処理装置と接続される第２の情報処理装置と、を備え、
    前記第２の情報処理装置は、
    端子とデバイス装置の対応を指定した上で前記１以上のデバイス装置を制御するソースプログラムがユーザにより作成されたあと、前記ソースプログラムを変換することにより、前記第１の情報処理装置の実行プログラムを生成する実行プログラム生成部と、
    前記生成された実行プログラムを前記第１の情報処理装置に送信する送信部と、を含み、
    前記第１の情報処理装置は、
    前記第２の情報処理装置から前記実行プログラムを受信する受信部と、
    前記実行プログラムにしたがって前記１以上のデバイス装置を制御するデバイス制御部と、を含む、デバイス制御システム。

Images