JP2019184779A - 端末装置、情報処理装置、表示システム、情報表示方法、情報処理方法、制御プログラム、及び電気機器 - Google Patents

Abstract

【課題】対象機器によって再生されるコンテンツに関する情報を、簡単な操作で端末装置に表示することができる技術を提供する。【解決手段】画像取得部（１３）が取得した画像データを参照して、当該画像データが示す画像に含まれる対象機器（５０）を特定し、特定された上記対象機器（５０）に関連する再生情報を、上記通信部（１１）を介して取得し、取得した再生情報を参照して、特定した対象機器（５０）が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、特定した楽曲関連情報を表示部（１５）に表示する。【選択図】図１

Description

本発明は、端末装置、情報処理装置、表示システム、情報表示方法、情報処理方法、制御プログラム、及び電気機器に関する。

従来、楽曲を再生する再生装置と、携帯端末とが無線通信を行い、再生装置が楽曲の再生を行う際に、楽曲に関する情報を携帯端末に送信することで、携帯端末上に楽曲の再生に同期した歌詞画像を表示する技術が知られている（例えば、特許文献１参照）。

特開２００３−０１５６６８号公報（２００３年１月１７日公開）

ところで、近年、家電等の電気機器により、クラウドサーバから配信される楽曲等のコンテンツを再生するコンテンツ配信サービスがある。また、このようなコンテンツ配信サービス機能を有した電気機器がユーザの周囲に複数存在する場合もある。このように、複数の電気機器があり、それぞれが別々のコンテンツを再生している場合には、コンテンツに関する情報を受信した携帯端末は、どの電気機器が再生しているコンテンツに関する情報をユーザに提示するべきかが分からないという問題がある。

本発明の一態様は、上述した事情に鑑みてなされたものであり、対象機器によって再生されるコンテンツに関する情報を、簡単な操作で端末装置に表示することができる技術を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る端末装置は、画像取得部と、表示部と、通信部と、制御部とを備えている端末装置であって、上記制御部は、上記画像取得部が取得した画像データを参照して、当該画像データが示す画像に含まれる対象機器を特定し、特定された上記対象機器に関連する楽曲再生情報を、上記通信部を介して取得し、取得した上記楽曲再生情報を参照して、特定した上記対象機器が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、特定した楽曲関連情報を上記表示部に表示する構成である。

また、上記の課題を解決するために、本発明の一態様に係る情報処理装置は、通信部と、記憶部と、制御部とを備えている情報処理装置であって、上記制御部は、上記通信部が取得した画像データを参照して、当該画像データが示す画像に含まれる対象機器を特定し、上記記憶部が記憶する情報を参照して、特定した上記対象機器が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、特定した上記楽曲関連情報を、上記通信部を介して送信する構成である。

また、上記の課題を解決するために、本発明の一態様に係る表示システムは、端末装置と、サーバとを含む表示システムであって、上記端末装置は、画像取得部と、表示部と、通信部と、制御部とを備え、上記制御部は、上記画像取得部が取得した画像データを参照して、当該画像データが示す画像に含まれる対象機器を特定し、上記通信部が取得した情報を参照して、特定した上記対象機器が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、特定した楽曲関連情報を上記表示部に表示する構成である。

また、上記の課題を解決するために、本発明の一態様に係る電気機器は、取得部と、制御部とを備えた電気機器であって、上記制御部は、上記取得部を介して、当該電気機器が撮像対象である旨の情報を取得した場合、当該電気機器の動作モードを変更する構成である。

本発明の一態様によれば、対象機器によって再生されるコンテンツに関する情報を、簡単な操作で端末装置に表示することができる。

実施形態１に係る表示システムの要部構成を示すブロック図である。 実施形態１に係る表示システムの概略構成を模式的に示した図である。 ロボット掃除機の要部構成を示すブロック図である。 ロボット端末５０ｄの要部構成を示すブロック図である。 （ａ）〜（ｅ）は、電気機器の外見的特徴の例を示す図である。 電気機器から、端末装置に送信される再生情報の例を示している。 表示システムの動作の例を示す図である。 楽曲の歌詞のテキスト情報と、フレームとの対応を示す図である。 表示部の表示例を示す図である。 表示システムの動作の例を示す図である。 表示システムの動作の例を示す図である。 表示システムの処理の流れを示すフローチャートである。 表示システムの処理の流れを示すフローチャートである。 実施形態２に係る表示システムの概略構成を模式的に示した図である。 端末装置、電気機器、またはサーバとして利用可能なコンピュータの構成を例示したブロック図である。

〔実施形態１〕
以下、本発明の実施形態１に係る表示システム１について、詳細に説明する。なお、以下の実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。図１は、表示システム１の要部構成を示すブロック図である。図２は、表示システム１の概略構成を模式的に示した図である。

図１に示されるように、表示システム１は、端末装置１０と、電気機器５０と、サーバ８０と、を含んでいる。端末装置１０とサーバ８０とは、インターネット等のネットワークを介して接続されている。また、電気機器５０とサーバ８０とも、インターネット等のネットワークを介して接続されている。端末装置１０と電気機器５０とは、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を介して接続されている。

図２に示すように、端末装置１０には、複数の電気機器５０が同時に接続可能な構成であってもよい。電気機器５０は、例えばロボット掃除機５０ａのようなロボット家電であっても良いし、電気調理機器５０ｂや冷蔵庫５０ｃ等の家電機器であってもよい。また、電気機器５０は、頭や手足等の可動部を備えたロボット端末５０ｄ（図４参照）であってもよい。また、電気機器５０は、所謂スマートスピーカやＡＩスピーカであってもよい。

図３は、ロボット掃除機５０ａの要部構成を示すブロック図である。図４は、ロボット端末５０ｄの要部構成を示すブロック図である。なお、図３、及び図４において、図１に示した部材と同じ機能を有する部材については、同じ符号を付記している。

（端末装置１０の構成）
端末装置１０は、通信部１１、制御部１２、撮影部１３、入力部１４、及び表示部１５を含んでいる。端末装置１０は、例えば、スマートフォンやタブレット端末等の携帯型端末である。

通信部１１は、電気機器５０、及びサーバ８０と無線通信を行う通信部として機能する。

制御部１２は、端末装置１０の各部を統括的に制御する機能を備えている演算装置である。制御部１２は、例えば１つ以上のプロセッサ（例えばＣＰＵなど）が、１つ以上のメモリ（例えばＲＡＭやＲＯＭなど）に記憶されているプログラムを実行することで端末装置１０の各構成要素を制御する。

撮影部１３は、静止画像、および動画像を撮影して、制御部１２に撮影画像の画像データを供給する撮像デバイスである。図示は省略するが、撮影部１３は、カメラレンズを含み、カメラレンズが結ぶ像は、表示部１５に表示される。このように、撮影部１３は、画像データを取得する画像取得部として機能する。

入力部１４は、ユーザ操作による入力を受け付ける機能を有し、例えば、操作ボタンや、表示部１５に重畳配置されたタッチパネルから構成されている。また、入力部１４は、ユーザによる音声入力を受け付けることができてもよい。

表示部１５は、制御部１２の制御に応じて、画像を表示することができるディスプレイデバイスである。表示部１５は、通信部１１を介して、サーバ８０から取得した情報をディスプレイ表示することにより対象者に提示することができてもよい。

（電気機器５０の構成）
電気機器５０は、機器制御部６０、機器通信部５１、再生部５２、及びＬＥＤ５３を含んでいる。なお、電気機器５０がロボット掃除機５０ａである場合には、図３に示すように、電気機器５０は、更に掃除を行う吸引部６６やブラシ部６７を含む掃除部６５を備えている。また、電気機器５０がロボット端末５０ｄである場合には、図４に示すように、電気機器５０は、更に可動部６１と、可動部を駆動する駆動部６２とを備えている。

機器制御部６０は、電気機器５０の各部を統括的に制御する機能を備えている演算装置である。機器制御部６０は、例えば１つ以上のプロセッサ（例えばＣＰＵなど）が、１つ以上のメモリ（例えばＲＡＭやＲＯＭなど）に記憶されているプログラムを実行することで電気機器５０の各構成要素を制御する。

機器通信部５１（取得部）は、端末装置１０、及びサーバ８０と通信を行う。

再生部５２は、機器通信部５１を介してサーバ８０から取得した楽曲コンテンツの再生を行う。また、再生部５２は、スピーカを備え、再生した楽曲の音声を出力する。

ＬＥＤ５３は、所定の点灯パターン、点灯リズム、又は点灯色で点灯するように構成されている。ＬＥＤ５３の点灯パターン、点灯リズム、及び点灯色は、ユーザによって任意の設定に変更可能な構成であってもよい。

なお、図示は省略するが、電気機器５０が、電気機器５０の各部と統括的に制御する機能を有するＣＰＵ等の演算装置を備えている構成であることは言うまでもない。また、電気機器５０は、画像を表示することができるディスプレイパネルや、ユーザ操作を受け付ける操作部を備えていてもよい。

（サーバ８０）
サーバ８０は、サーバ制御部８５と、サーバ通信部８１と、記憶部８２と、を含んでいる。図示は省略するが、表示システム１では、１又は複数のサーバ８０が１又は複数の端末装置１０、及び１又は複数の電気機器５０と通信可能に接続されている構成であってもよい。

サーバ制御部８５は、サーバ８０の各部を統括的に制御する機能を備えている演算装置である。サーバ制御部８５は、例えば１つ以上のプロセッサ（例えばＣＰＵなど）が、１つ以上のメモリ（例えばＲＡＭやＲＯＭなど）に記憶されているプログラムを実行することでサーバ８０の各構成要素を制御する。

サーバ通信部８１は、ネットワークを介して端末装置１０、及び電気機器５０と無線通信を行う。

記憶部８２は、表示システム１で用いられる種々のデータを格納するストレージである。

（端末装置１０による電気機器５０の特定について）
図３の（ａ）〜（ｅ）は、端末装置１０が電気機器５０を特定する際に用いる電気機器５０の外見的特徴の例を示す図である。図６は、電気機器５０から、端末装置１０に送信される再生情報（楽曲再生情報）の例を示している。

端末装置１０の通信部１１は、無線通信の電波が届く範囲に在る複数の電気機器５０のそれぞれから送信されている再生済、再生中、又は再生予定である楽曲の再生情報を取得する。図６に示すように、電気機器５０から送信される再生情報には、例えば、端末ＩＤと、機種情報と、マークと、ＬＥＤと、楽曲ＩＤと、再生位置と、歌詞情報と、が含まれている。

端末ＩＤは、各電気機器５０に固有のＩＤであり、例えば製造番号等であってもよい。機種情報は、電気機器５０の機種や製品名を示す情報である。マークは、電気機器５０を一意に特定するたに電気機器５０の外観に付されたマークであり、電気機器５０の外見的特徴を示すものである。ＬＥＤは、電気機器５０が備えているＬＥＤ５３の発光に関する情報であり、ＬＥＤ５３の点灯パターン、点灯リズム、または点灯色に関する情報である。楽曲ＩＤは、電気機器５０によって再生済、再生中、又は再生予定である楽曲に固有のＩＤであり、楽曲名であってもよい。また、
再生位置は、電気機器５０によって再生済、再生中、又は再生予定である楽曲の再生位置を示す情報であり、当該楽曲の再生中のフレームを示す情報が含まれている。歌詞情報は、電気機器５０によって再生済、再生中、又は再生予定である楽曲の歌詞に関する情報と当該歌詞に含まれる各単語の時間的位置を示す情報とを含んでいる。また、サーバ８０が、ラジオのように複数チャンネルを用いてブロードキャストで楽曲を配信することができる構成の場合には、楽曲ＩＤは当該配信のチャンネル情報であってもよい。

端末装置１０の制御部１２は、撮影部１３が取得した画像データを参照し、当該画像データが示す画像に含まれる対象機器の外見的特徴に応じて、電気機器５０を特定する。

例えば、図５の（ａ）、及び図５の（ｂ）に示すように、端末装置１０の制御部１２は、電気機器５０の外観に付されたマーク５５ａ，５５ｂに応じて電気機器５０を特定してもよい。端末装置１０の制御部１２は、撮影部１３が取得した画像データを参照し、当該画像データが示す画像に含まれるマークを認識するともに、周囲の電気機器５０から通信部１１を介して取得した再生情報に含まれるマークとのマッチングを行う。端末装置１０の制御部１２は、画像に含まれるマークと、再生情報に含まれるマークとが一致した場合に、当該再生情報を送信している電気機器５０が対象機器であると特定する。

また、端末装置１０の制御部１２は、図５の（ｃ）、及び図５の（ｄ）に示すように、電気機器５０に設けられたＬＥＤ５３の点灯パターン、点灯リズム、または点灯色に応じて電気機器５０を特定してもよい。端末装置１０の制御部１２は、撮影部１３が取得した画像データを参照し、当該画像データが示す画像に含まれるＬＥＤの点灯パターン、点灯リズム、または点灯色を認識するともに、周囲の電気機器５０から受信した再生情報に含まれるＬＥＤ５３の点灯パターン、点灯リズム、または点灯色に関する情報とのマッチングを行う。端末装置１０の制御部１２は、画像に含まれるＬＥＤの点灯パターン、点灯リズム、または点灯色と、再生情報に含まれるＬＥＤ５３の点灯パターン、点灯リズム、または点灯色とが一致した場合に、当該再生情報を送信している電気機器５０が対象機器であると特定する。

なお、端末装置１０の制御部１２は、図５（ｅ）に示すように、端末装置１０の無線通信の電波が届く範囲に同様の外見的特徴を有する複数の電気機器５０が存在する場合には、通信電波強度の最も強い電気機器５０を対象機器として特定する構成であってもよい。

なお、図示は省略するが、端末装置１０は、通信部１１、及び制御部１２の機能を備えた情報処理装置と通信可能に構成され、当該情報処理装置に撮影部１３が取得した画像データを送信してもよい。そして、端末装置１０が画像データを取得した情報処理装置の制御部は、取得した画像データを参照し、当該画像データが示す画像に含まれる対象機器である電気機器５０を特定し、特定した結果を端末装置１０に送信する構成であってもよい。また、情報処理装置は、特定した電気機器５０が再生済、再生中、又は再生予定である楽曲の再生情報を選択して、選択した結果を端末装置１０に送信する構成であってもよい。情報処理装置は、サーバ８０がその機能を備えている構成であってもよい。

（表示システム１の動作について）
図７〜図１１は、表示システム１の動作の例を示す図である。

図７に示すように、電気機器５０は機器通信部５１の機能により、インターネットを介してサーバ８０にコンテンツの要求を行う。コンテンツは、本実施形態では楽曲であり、サーバ８０は音楽配信サーバである。サーバ８０は記憶部８２に記憶された楽曲をサーバ通信部８１を介して電気機器５０に送信する。

電気機器５０は、インターネットを介してサーバ８０に送信したコンテンツ要求に対して、サーバ８０から送信されたコンテンツを取得し、取得したコンテンツに応じて、楽曲の再生を開始する。また、電気機器５０は、楽曲の再生を開始すると共に、無線通信の電波が届く範囲に在る端末装置１０に再生情報を送信する。電気機器５０は、無線通信の電波が届く範囲に在る複数の端末装置１０のそれぞれに再生情報を送信してもよい。また、電気機器５０が送信する再生情報は、楽曲のタイトル等の楽曲ＩＤ、楽曲の歌詞のテキストデータ、及び楽曲の歌詞の画像データの少なくとも何れか一つであってもよい。

例えば、電気機器５０は、端末装置１０に再生情報として楽曲ＩＤと、楽曲の再生位置とを、電気機器５０を特定するための外見的特徴の情報とともに送信する。図８は、楽曲の再生位置の歌詞のテキスト情報と、当該テキスト情報が楽曲の何フレーム目に対応するのかとを示した図である。図８に示すように、歌詞のテキスト情報は１文字ずつ、フレームに対応付けて記憶されている。また、歌詞のテキスト情報には、歌詞の改行に係る情報も含まれている。電気機器５０は、再生中の楽曲について、現在何フレーム目を再生中であるかの情報を随時に端末装置１０に送信する。

再生情報と、電気機器５０の外見的特徴の情報とを受信した端末装置１０において、ユーザが対象機器を撮影部１３によって撮像する操作を行うと、端末装置１０の制御部１２は、撮像画像に含まれる電気機器５０を特定する。

端末装置１０の制御部１２は、特定した電気機器５０から通信部１１を介して取得した、当該電気機器５０に関連する再生情報を参照して、通信部１１の機能によりインターネットを介してサーバ８０に電気機器５０によって再生済、再生中、又は再生予定である楽曲に関する情報である楽曲情報を要求する。端末装置１０の制御部１２は、楽曲情報要求に対して、サーバ８０から送信された楽曲情報を取得する。端末装置１０は、例えば、楽曲の歌詞、楽曲のタイトル、楽曲のアーティスト、楽曲のジャケット画像等を楽曲情報としてサーバ８０から取得する。そして、端末装置１０の制御部１２は、サーバ８０から取得した楽曲情報を参照して、楽曲に関連する情報である楽曲関連情報を、表示部１５に表示された電気機器５０の撮影画像に重畳して表示する。

また、端末装置１０の制御部１２は、電気機器５０から受信した、再生中の楽曲の現在の再生位置に関する情報（何フレーム目）を参照して、再生中の楽曲の再生位置に応じた歌詞を表示部１５に表示する。

図９は、表示部１５の表示例を示す図である。図９に示すように、端末装置１０の表示部１５には、撮影部１３で撮像中の景色がそのまま表示されるとともに、その上に、再生中の曲名等の楽曲関連情報と、楽曲の再生に係る操作を行うためのアイコンなどのユーザインターフェイスが重畳して表示される。

また、端末装置１０の制御部１２は、特定した対象機器によって再生されている楽曲の楽曲関連情報として、例えば楽曲の歌詞を表示部１５に表示する。端末装置１０の制御部１２は、例えば、対象機器である電気機器５０から取得した再生情報に含まれる楽曲ＩＤと、再生位置に関する情報である再生経過時間とを参照して、楽曲の歌詞における表示するワードを特定し、表示部１５に表示する。これにより、ユーザは、特定の電気機器５０が再生している楽曲の関連情報である楽曲の歌詞が知りたいときには、当該電気機器５０を撮影部１３で撮影するだけで、楽曲の歌詞を簡単に取得して、端末装置１０の表示部１５に表示させることができる。

なお、端末装置１０の制御部１２は、公知の画像認識機能を用いて、撮影部１３で撮像中の画像における電気機器５０の位置を特定し、楽曲の歌詞を電気機器５０の位置に応じて適切な位置、例えば、電気機器５０の表示位置とは重ならない位置に表示することができてもよい。

また、端末装置１０の制御部１２は、表示部１５に表示した楽曲の歌詞において、再生中のワードの色を変えたり、再生中のワードに下線を付したり等して、再生中の位置を示すことができてもよい。

なお、楽曲の歌詞、楽曲のタイトル、楽曲のアーティスト、楽曲のジャケット画像等の楽曲情報は端末装置１０が不図示の記憶部に予め記憶している構成でも良く、対象機器として特定した電気機器５０から受信した再生情報に対応する楽曲情報を記憶部から読み出して、楽曲関連情報を表示部１５に表示してもよい。

また、図１０、及び図１１に示すように、端末装置１０の制御部１２は、撮影部１３が取得した画像データが示す画像に含まれる対象機器の外見的特徴に応じて特定した電気機器５０に対して、電気機器５０の各部を制御するための制御情報を、通信部１１を介して送信することができてもよい。

例えば、楽曲を再生中のロボット掃除機５０ａが対象機器として特定された場合、ユーザはロボット掃除機５０ａが再生している楽曲に興味を示しているということがわかる。よって、このような場合には、端末装置１０の制御部１２は、図１０に示すように、特定した対象機器の楽曲の再生以外の動作のモードを変更する制御情報を、対象機器に送信することができてもよい。

端末装置１０の制御部１２は、楽曲再生以外の動作を停止するモードに動作モードを変更することを指示する制御情報を電気機器５０に送信してもよい。また、端末装置１０の制御部１２は、楽曲再生以外の動作を停止するモード以外にも、モータ音を小さくする静音モードで動作する動作モード等に変更することを指示する制御情報を電気機器５０に送信することができてもよい。

電気機器５０の演算装置は、機器通信部５１を介して、自機器が端末装置１０の撮影部１３によって撮影され、対象機器として特定された旨の情報を取得すると、自機器の動作モードを変更することができるように構成されている。なお、対象機器として特定された旨の情報は、端末装置１０から送信された、端末装置１０に対するユーザの操作入力に応じた制御情報であってもよい。

例えば、電気機器５０の演算装置は、動作モードの変更として、再生部によって再生中の楽曲の音量を増大させることができてもよい。電気機器５０の演算装置は、端末装置１０から送信された、端末装置１０に対するユーザの操作入力に応じた制御情報を受信して、当該制御情報を参照して、再生中の楽曲の音量を増大させてもよい。

また、電気機器５０の演算装置は、動作モードの変更として、ＬＥＤ５３（発光部）を光らせることができてもよい。これにより、電気機器５０の演算装置は、ＬＥＤ５３を再生中の楽曲のリズムに合わせて光らせることで、ユーザが生成中の楽曲を楽しむことができるような演出をすることができてもよい。

また、電気機器５０がロボット掃除機５０ａである場合には、電気機器５０の演算装置は、動作モードの変更として、掃除部の動作モードを変更することができてもよい。電気機器５０の演算装置は、掃除部の動作モードを停止モードに変更したり、清音モードに変更したりすることができてもよい。また、電気機器５０の演算装置は、端末装置１０から送信された、端末装置１０に対するユーザの操作入力に応じた制御情報を受信して、掃除部の動作モードを変更してもよい。

また、電気機器５０がロボット端末である場合には、電気機器５０の演算装置は、動作モードの変更として、ロボットの可動部を駆動することができてもよい。これにより、電気機器５０の演算装置は、ロボットの可動部を再生中の楽曲のリズムに合わせて駆動させることで、ユーザが生成中の楽曲を楽しむことができるような演出をすることができてもよい。

これらの構成によれば、ユーザは、端末装置１０の撮影部１３で対象機器である電気機器５０を撮影するという簡単な操作で、対象機器として特定された電気機器５０の動作モードを変更することができる。

また、図１１に示すように、対象機器が特定されると、端末装置１０の表示部１５には、対象機器の楽曲の再生に係る操作を行うためのアイコンが表示されてもよい。端末装置１０から、表示部１５に表示されたアイコンに対する操作で実行することができる対象機器の楽曲の再生に係る操作は、例えば、楽曲の再生音量の調整、再生位置の変更、再生停止、再生開始等である。

表示部１５に表示されたアイコンは、例えば、図８に示した、楽曲の再生中の位置を示すスライダーであってもよく、スライダーを動かすことで、再生中の楽曲の再生位置を戻したり、進めたりすることができてもよい。また、表示部１５には、再生中の楽曲の再生を停止する再生停止ボタンや、再生中の楽曲の再生を再開する再開ボタンが表示されてもよい。

端末装置１０の制御部１２は、ユーザからの操作入力に応じた制御情報であって、特定した対象機器の楽曲の再生に係る制御情報を、対象機器に送信する。制御情報を受信した対象機器である電気機器５０は、制御情報に応じて、楽曲の再生に係る制御を実行する。

（表示システム１の処理の流れについて）
次に、表示システム１の処理の流れの一例について、図１２、及び図１３のフローチャートを用いて説明する。

図１２は、端末装置１０と、電気機器５０と、サーバ８０との連携により楽曲に関する情報を送受信する処理の流れを示すフローチャートである。

（ステップＳ１）
電気機器５０は、機器通信部５１の機能により、サーバ８０に対して楽曲取得要求を送信する。電気機器５０は、例えば、予め設定された時間になったらサーバ８０に対して楽曲取得要求を送信する構成であってもよいし、ユーザ操作に応じて動作を起動する際にサーバ８０に対して楽曲取得要求を送信する構成であってもよい。

（ステップＳ２）
サーバ８０は、サーバ通信部８１の機能により、電気機器５０から楽曲取得要求を受信する。

（ステップＳ３）
サーバ８０は、電気機器５０から楽曲取得要求に応じて、記憶部８２に記憶している楽曲の配信を行う。なお、サーバ８０は、記憶部８２に記憶している楽曲を配信する構成に限らず、他の楽曲配信サーバから取得した楽曲を電気機器５０から楽曲取得要求に応じて配信することができてもよい。

（ステップＳ４）
電気機器５０は、サーバ８０によって配信された楽曲を取得する。

（ステップＳ５）
電気機器５０は、取得した楽曲の再生を開始する。

（ステップＳ６）
電気機器５０は、周囲の端末装置１０に対して再生している楽曲に係る情報である再生情報を送信し、ステップＳ１２に進む。

（ステップＳ７）
端末装置１０の制御部１２は、通信部１１を介して電気機器５０から送信された再生情報を取得する。

（ステップＳ８）
端末装置１０の制御部１２は、電気機器５０から取得した再生情報に応じて、電気機器５０が再生している楽曲の歌詞を取得する要求をサーバ８０に対して送信する。

（ステップＳ９）
サーバ８０は、端末装置１０が送信した歌詞取得要求を受信する。

（ステップＳ１０）
サーバ８０は、受信した歌詞取得要求に応じて、記憶部８２に記憶している楽曲の歌詞を端末装置１０に対して配信する。

（ステップＳ１１）
端末装置１０の制御部１２は、通信部１１を介してサーバ８０から配信された楽曲の歌詞を取得して保存する。なお、端末装置１０の制御部１２は、取得した歌詞を保存するとともに、ステップＳ７で電気機器５０から取得した再生情報を参照して、当該歌詞の再生部分を表示部１５に表示させてもよい。

（ステップＳ１２）
電気機器５０は、楽曲の再生が終了したか否かを所定の時間間隔で判定する。電気機器５０は、楽曲の再生が終了したと判定すると（ステップＳ１２でＹＥＳ）、ステップＳ１３に進む。電気機器５０は、楽曲の再生が終了していないと判定すると（ステップＳ１２でＮＯ）、ステップＳ１６に戻り処理を繰り返す。

（ステップＳ１３）
電気機器５０は、楽曲の再生が終了すると、再生終了の情報を端末装置１０に送信する。

（ステップＳ１４）
端末装置１０の制御部１２は、通信部１１を介して再生終了の情報を受信する。

（ステップＳ１５）
端末装置１０の制御部１２は、保存した歌詞を破棄し、処理を終了する。

このように、端末装置１０の制御部１２は、再生開始の情報を受信して歌詞を取得し、保存するとともに、再生終了の情報を受信した際には、当該保存した歌詞を破棄する構成であってもよい。なお、端末装置１０が記憶部を備え、楽曲の歌詞が予め端末装置１０に記憶されている場合には、端末装置１０の制御部１２は、サーバ８０に歌詞取得を要求する必要が無い。よって、端末装置１０の制御部１２は、サーバ８０に歌詞取得要求を送信することなく、電気機器５０から受信した再生情報に応じて、予め内部メモリに記憶している楽曲の歌詞を読みだしてもよい。

図１３は、端末装置１０と、電気機器５０との連携により、電気機器５０の楽曲の再生以外の動作のモードを変更する処理の流れを示すフローチャートである。

（ステップＳ２１）
端末装置１０の制御部１２は、撮影部１３の機能により、電気機器５０（対象端末）を撮影する。

（ステップＳ２２）
端末装置１０の制御部１２は、楽曲再生中の周囲の電気機器５０から通信部１１を介して取得した再生情報を参照して、撮影部１３によって取得された撮影画像に含まれる電気機器５０が楽曲を再生中の対象機器であるか否かを判定する。端末装置１０の制御部１２は、撮影画像に含まれる電気機器５０が楽曲を再生中の対象機器であると判定すると（ステップＳ２２でＹｅｓ）、ステップＳ２３に進む。端末装置１０の制御部１２は、撮影画像に含まれる電気機器５０が楽曲を再生中の対象機器でないと判定すると（ステップＳ２２でＮＯ）、処理を終了する。

（ステップＳ２３）
端末装置１０の制御部１２は、対象機器であると判定した電気機器５０の楽曲再生以外の動作を停止するか否かを判定する。端末装置１０の制御部１２は、例えば表示部１５への表示を用いてユーザに楽曲再生以外の動作を停止するか否かの問い合わせを行い、その回答に基づいて動作を停止するか否かを判定してもよいし、ユーザに問い合わせを行わずに、停止するか否かを判定してもよい。

また端末装置１０の制御部１２は、電気機器５０から通信部１１を介して取得した再生情報を参照して、例えば、電気機器５０の製品の種類に応じて、楽曲再生以外の動作を停止するか否かを判定してもよい。具体的には、端末装置１０の制御部１２は、対象機器であると判定した電気機器５０がロボット掃除機５０ａのように駆動音が再生中の楽曲を妨げるような機器の場合には、楽曲再生以外の動作を停止させ、電気機器５０が電気調理機器５０ｂや冷蔵庫５０ｃ等の場合には、楽曲再生以外の動作を停止させない構成であってもよい。

端末装置１０の制御部１２は、電気機器５０の楽曲再生以外の動作を停止すると判定すると（ステップＳ２３でＹＥＳ）、ステップＳ２４に進む。端末装置１０の制御部１２は、電気機器５０の楽曲再生以外の動作を停止させないと判定すると（ステップＳ２３でＮＯ）、ステップＳ２７に進む。

（ステップＳ２４）
端末装置１０の制御部１２は、電気機器５０に対して通信部１１を介して、楽曲再生以外の動作を停止させる指示を含む制御情報を送信し、ステップＳ２７に進む。

（ステップＳ２５）
電気機器５０は、機器通信部５１を介して楽曲再生以外の動作を停止させる指示を含む制御情報を受信する。

（ステップＳ２６）
電気機器５０は、楽曲の再生以外の動作を停止する。

（ステップＳ２７）
ステップＳ２３、又はステップＳ２４を経た後、端末装置１０の制御部１２は、電気機器５０から受信した再生情報を参照して、表示部１５に再生中の楽曲に合わせて、当該楽曲の歌詞を表示する。

（ステップＳ２８）
端末装置１０の制御部１２は、ユーザによって、楽曲の早送り等の楽曲の再生に係る操作入力が行われたか否かを判定する。端末装置１０の制御部１２は、楽曲の再生に係る操作入力が行われたと判定すると（ステップＳ２８でＹＥＳ）、ステップＳ２９に進む。端末装置１０の制御部１２は、楽曲の再生に係る操作入力が行われていないと判定すると（ステップＳ２８でＮＯ）、ステップＳ３２に進む。

（ステップＳ２９）
端末装置１０の制御部１２は、電気機器５０に対して通信部１１を介して、楽曲の再生位置を更新させる指示を含む制御情報を送信し、ステップＳ３２に進む。

（ステップＳ３０）
電気機器５０は、機器通信部５１を介して楽曲の再生位置を更新させる指示を含む制御情報を受信する。

（ステップＳ３１）
電気機器５０は、楽曲の再生位置を更新する。

（ステップＳ３２）
端末装置１０の制御部１２は、電気機器５０から楽曲の再生終了通知を受信したか、或いは対象端末として特定した電気機器５０から撮影部１３の撮影対象が外れたか、否かを判定する。端末装置１０の制御部１２は、再生終了通知を受信した、或いは電気機器５０が撮影対象から外れたと判定すると（ステップＳ３２でＹＥＳ）、ステップＳ３３に進む。端末装置１０の制御部１２は、再生終了通知を受信していない、及び電気機器５０が撮影対象から外れていないと判定すると（ステップＳ３２でＮＯ）、ステップＳ２７に戻り、処理を継続する。

（ステップＳ３３）
端末装置１０の制御部１２は、電気機器５０に対して通信部１１を介して、ステップＳ２６において停止させた楽曲の再生以外の動作を再開させる指示を含む制御情報を必要に応じて送信し、処理を終了する。

（ステップＳ３４）
電気機器５０は、ステップＳ２６において停止させた楽曲の再生以外の動作を再開させる指示を含む制御情報を受信したか否かを判定する。電気機器５０は、楽曲の再生以外の動作を再開させる指示を含む制御情報を受信したと判定すると（ステップＳ３４でＹＥＳ）、ステップＳ３５に進む。電気機器５０は、楽曲の再生以外の動作を再開させる指示を含む制御情報を受信していないと判定すると（ステップＳ３４でＮＯ）、ステップＳ３０に戻り処理を継続する。

（ステップＳ３５）
電気機器５０は、ステップＳ２６において停止させた楽曲の再生以外の動作を再開させて、処理を終了する。

このように、端末装置１０において、撮影部１３で対象機器である電気機器５０を撮影するという簡単な操作で、ユーザは、電気機器５０の楽曲の再生以外の動作を停止させたり、楽曲の再生位置を更新したり、停止させた動作を再開させたりすることができる。

〔実施形態２〕
本発明の実施形態２について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。なお、実施形態２の表示システム１の構成は、上記実施形態１において図１を用いて説明した構成と同様であり、その説明を省略する。

図１４は、実施形態２に係る表示システム１の概略構成を模式的に示した図である。図１４に示されるように、表示システム１は、端末装置１０には、ロボット掃除機５０ａ、電気調理機器５０ｂ、及び冷蔵庫５０ｃを含む複数の電気機器５０が同時に接続可能である。端末装置１０は、これらの複数の電気機器５０が楽曲を再生している場合には、電気機器５０のそれぞれから再生している楽曲に関する情報と、電気機器５０を特定するための情報とを含む再生情報を受信する。

このように、複数の電気機器５０から再生情報を受信している場合において、ユーザが端末装置１０の撮影部１３で対象機器である電気機器５０、ここではロボット掃除機５０ａ、を撮影すると、端末装置１０の制御部１２は、ロボット掃除機５０ａを対象機器として特定する。そして、端末装置１０の制御部１２は、対象機器として特定したロボット掃除機５０ａとは異なる周辺機器、ここでは電気調理機器５０ｂ、及び冷蔵庫５０ｃ、に対して楽曲の再生を停止させる制御情報を送信する。

これらの構成によれば、ユーザは、端末装置１０の撮影部１３で対象機器を撮影するという簡単な操作で、対象機器を特定し、特定した対象機器が再生中の楽曲の再生情報を取得することができるとともに、対象機器とは異なる周辺機器の楽曲の再生を停止することができる。よって、ユーザは、複数の周辺機器がそれぞれ異なる楽曲を再生している場合には、簡単な操作で、好きな楽曲の再生だけを継続させ、他の楽曲の再生は停止させることができる。

〔実施形態３〕
上記各実施形態では、１つのサーバ８０を用いる例を説明したが、サーバ８０の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。

また、上記各実施形態において、電気機器５０、及び端末装置１０の何れかが行っていた一部の機能が、サーバ８０によって行われる構成であってもよい。例えば、サーバ８０は、サーバ通信部８１が取得した画像データを参照して、当該画像データが示す画像に含まれる対象の電気機器５０を特定し、記憶部８２が記憶する情報を参照して、特定した電気機器５０が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、特定した楽曲関連情報を、通信部を介して端末装置１０に送信してもよい。なお、楽曲関連情報は、記憶部８２に予め記憶されている構成であってもよいし、制御部８５がサーバ通信部８１を介して、楽曲関連情報を特定するための情報を取得して、記憶部８２に記憶させる構成であってもよい。

〔実施形態４〕
端末装置１０、電気機器５０、およびサーバ８０の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、端末装置１０、電気機器５０、およびサーバ８０のそれぞれを、図１５に示すようなコンピュータ（電子計算機）を用いて構成することができる。

図１５は、端末装置１０、電気機器５０、またはサーバ８０として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばプロセッサ（例えばＣＰＵ：Central Processing Unit等）、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。

補助記憶装置９１４には、コンピュータ９１０を端末装置１０、電気機器５０、またはサーバ８０として動作させるための各種のプログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、端末装置１０、電気機器５０、またはサーバ８０が備える各部として機能させる。なお、補助記憶装置９１４が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置９１３上に展開することなく実行可能なコンピュータであれば、主記憶装置９１３を省略してもよい。なお、上記各装置（演算装置９１２、主記憶装置９１３、補助記憶装置９１４、入出力インターフェース９１５、通信インターフェース９１６、入力装置９２０、および出力装置９３０）は、それぞれ１つであってもよいし、複数であってもよい。

また、上記プログラムは、コンピュータ９１０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る端末装置（１０）は、画像取得部（１３）と、表示部（１５）と、通信部（１１）と、制御部（１２）とを備えている端末装置（１０）であって、上記制御部は、上記画像取得部（１３）が取得した画像データを参照して、当該画像データが示す画像に含まれる対象機器を特定し、特定された上記対象機器（５０）に関連する楽曲再生情報を、上記通信部（１１）を介して取得し、取得した上記楽曲再生情報を参照して、特定した上記対象機器（５０）が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、特定した楽曲関連情報を上記表示部（１５）に表示する構成である。

上記の構成によれば、対象機器が再生済、再生中、又は再生予定である楽曲に関する情報を、対象機器の画像を取得するという簡単な操作で端末装置（１０）の表示部（１５）に表示することができる。

本発明の態様２に係る端末装置（１０）は、上記の態様１において、上記制御部（１０）は、上記楽曲関連情報として、上記楽曲の歌詞を上記表示部（１５）に表示する構成としてもよい。

上記の構成によれば、対象機器が再生済、再生中、又は再生予定である楽曲の歌詞を、対象機器の画像を取得するという簡単な操作で端末装置（１０）の表示部（１５）に表示することができる。

本発明の態様３に係る端末装置（１０）は、上記の態様１又は２において、上記制御部（１２）は、ユーザからの操作入力に応じた制御情報であって、特定した上記対象機器（５０）の楽曲の再生に係る制御情報を、上記対象機器（５０）に送信する構成としてもよい。

上記の構成によれば、対象機器の画像を取得するという簡単な操作で、対象機器を特定し、特定した対象機器に対して楽曲の再生に係る制御情報送信して制御することができる。

本発明の態様４に係る端末装置（１０）は、上記の態様１又は２において、上記制御部（１２）は、特定した上記対象機器（５０）の楽曲の再生以外の動作のモードを変更する制御情報を、上記対象機器（５０）に送信する構成としてもよい。

上記の構成によれば、対象機器の画像を取得するという簡単な操作で、対象機器を特定し、特定した対象機器に対して楽曲の再生以外の動作のモードを変更する制御情報を送信して制御することができる。

本発明の態様５に係る端末装置（１０）は、上記の態様１から４において、上記制御部（１２）は、特定した上記対象機器（５０）とは異なる周辺機器に、楽曲の再生を停止させる制御情報を送信する構成としてもよい。

上記の構成によれば、対象機器の画像を取得するという簡単な操作で、対象機器を特定し、対象機器として特定されなかった周辺機器に対して楽曲の再生を停止させる制御情報を送信して制御することができる。

本発明の各態様に係る端末装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記端末装置が備える各部（ソフトウェア要素）として動作させることにより上記端末装置をコンピュータにて実現させる端末装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 表示システム
１０ 端末装置（情報処理装置）
１１ 通信部
１２ 制御部
１３ 撮影部（画像取得部）
１４ 入力部
１５ 表示部
５０ 電気機器
５１ 機器通信部（取得部）
５２ 再生部
５３ ＬＥＤ（発光部）
８０サーバ
８１ サーバ通信部
８２ 記憶部

Claims (15)

1. 画像取得部と、表示部と、通信部と、制御部とを備えている端末装置であって、
   上記制御部は、
   上記画像取得部が取得した画像データを参照して、当該画像データが示す画像に含まれる対象機器を特定し、
   特定された上記対象機器に関連する楽曲再生情報を、上記通信部を介して取得し、
   取得した上記楽曲再生情報を参照して、特定した上記対象機器が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、
   特定した楽曲関連情報を上記表示部に表示する
   ことを特徴とする端末装置。
2. 上記制御部は、上記楽曲関連情報として、上記楽曲の歌詞を上記表示部に表示する
   ことを特徴とする請求項１に記載の端末装置。
3. 上記制御部は、
   ユーザからの操作入力に応じた制御情報であって、特定した上記対象機器の楽曲の再生に係る制御情報を、上記対象機器に送信する
   ことを特徴とする請求項１又は２に記載の端末装置。
4. 上記制御部は、
   特定した上記対象機器の楽曲の再生以外の動作のモードを変更する制御情報を、上記対象機器に送信する
   ことを特徴とする請求項１又は２に記載の端末装置。
5. 上記制御部は、
   特定した上記対象機器とは異なる周辺機器に、楽曲の再生を停止させる制御情報を送信する
   ことを特徴とする請求項１から４の何れか一項に記載の端末装置。
6. 通信部と、記憶部と、制御部とを備えている情報処理装置であって、
   上記制御部は、
   上記通信部が取得した画像データを参照して、当該画像データが示す画像に含まれる対象機器を特定し、
   上記記憶部が記憶する情報を参照して、特定した上記対象機器が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、
   特定した上記楽曲関連情報を、上記通信部を介して送信する
   ことを特徴とする情報処理装置。
7. 端末装置と、サーバとを含む表示システムであって、
   上記端末装置は、
   画像取得部と、表示部と、通信部と、制御部とを備え、
   上記制御部は、
   上記画像取得部が取得した画像データを参照して、当該画像データが示す画像に含まれる対象機器を特定し、
   特定された上記対象機器に関連する楽曲再生情報を、上記通信部を介して取得し、
   取得した上記楽曲再生情報を参照して、特定した上記対象機器が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を特定し、
   特定した楽曲関連情報を上記表示部に表示する
   ことを特徴とする表示システム。
8. 端末装置による情報表示方法であって、
   画像データを取得する画像データ取得ステップと、
   取得した上記画像データを参照し、当該画像データが示す画像に含まれる対象機器を特定する対象機器特定ステップと、
   特定された上記対象機器に関連する楽曲再生情報を取得する楽曲再生情報取得ステップと、
   取得した上記楽曲再生情報を参照して、特定した上記対象機器が再生済、再生中、又は再生予定である楽曲の楽曲関連情報を表示部に表示する表示ステップと、を含む
   ことを特徴とする情報表示方法。
9. 表示システムによる情報処理方法であって、
   画像データを取得する画像データ取得ステップと、
   取得した上記画像データを参照し、当該画像データが示す画像に含まれる対象機器を特定する対象機器特定ステップと、
   特定された上記対象機器に関連する楽曲再生情報を取得する楽曲再生情報取得ステップと、
   取得した上記楽曲再生情報を参照して、特定した上記対象機器が再生済、再生中、又は再生予定である楽曲の楽曲関連情報をサーバから取得する情報取得ステップと、
   取得した楽曲関連情報を表示部に表示する表示ステップと、を含む
   ことを特徴とする情報処理方法。
10. 請求項１に記載の端末装置としてコンピュータを機能させるためのプログラムであって、上記制御部としてコンピュータを機能させるための制御プログラム。
11. 取得部と、制御部とを備えた電気機器であって、
    上記制御部は、
    上記取得部を介して、当該電気機器が撮像対象である旨の情報を取得した場合、当該電気機器の動作モードを変更する
    ことを特徴とする電気機器。
12. 楽曲を再生する再生部を更に備え、
    上記制御部は、上記動作モードの変更として、再生中の楽曲の音量を増大させる
    ことを特徴とする請求項１１に記載の電気機器。
13. 掃除を行う掃除部を更に備え、
    上記制御部は、上記動作モードの変更として、上記掃除部の動作モードを変更する
    ことを特徴とする請求項１１又は１２に記載の電気機器。
14. 発光部を更に備え、
    上記制御部は、上記動作モードの変更として、上記発光部を光らせる
    ことを特徴とする請求項１１から１３の何れか一項に記載の電気機器。
15. 可動部を更に備え、
    上記制御部は、上記動作モードの変更として、上記可動部を駆動する
    ことを特徴とする請求項１１から１４の何れか一項に記載の電気機器。

Images