JP2020201868A - 表示装置、表示制御方法および表示制御プログラム - Google Patents

Abstract

【課題】 コンテンツが表示された表示面を見る人物に適した言語の種類でコンテンツを自動的に表示する。【解決手段】 表示装置は、文字情報を含むコンテンツを表示する表示部と、人物の視線を検出する視線検出部７１と、検出された視線に基づいて表示部の表示面中の注目領域を特定する領域特定部６１と、電子機器に関連付けられた言語の種類を取得する言語種類取得部７７と、コンテンツのうち注目領域に表示された第１文字情報を電子機器から取得された言語の種類で表される第２文字情報に変換する変換部６５と、第２文字情報を注目領域に表示する対応言語表示部７９と、を備える。【選択図】 図３

Description

この発明は、表示装置、表示制御方法および表示制御プログラムに関し、特に、複数の人が閲覧可能な表示装置、その表示装置で実行される表示制御方法およびその表示制御方法を表示装置に実行させる表示制御プログラムに関する。

近年、空港ターミナル等に設置される表示装置は、多国籍の人が閲覧するために、複数の言語で情報を表示する必要がある。例えば、特許第４０８５１２０号には、大型の画面表示装置と、画面表示装置に情報を所定の標準言語で表示する情報表示部と、利用者の希望する言語情報を含む利用者情報を入力する利用者情報入力部と、利用者情報入力部で入力した利用者希望言語が標準言語と異なる場合に、画面表示装置の標準言語の全部または一部を利用者の希望言語に切り替えて表示する言語切替表示部と、を備え、情報表示部は、全ての利用者に共通なパブリック領域と各利用者に依存した複数の個別領域で構成される案内情報を標準言語で表示し、言語切替表示部は、入力された利用者希望言語が標準言語と異なる場合に、パブリック領域を標準言語と利用者希望言語により時分割または空間分割で表示し、個別領域を標準言語から利用者希望言語に切り替えて表示することを特徴とする情報表示システムが記載されている。

しかしながら、特許第４０８５１２０号に記載の情報表示システムは、ユーザーが保有する例えば非接触型のＩＣカードから読み取ったユーザ情報に基づいて利用者希望言語を取得するものである。このため、画面表示装置を閲覧しようとするユーザーが、情報表示システムに利用者希望言語を入力しなければならない。このため、操作が煩雑であるといった問題がある。

特許第４０８５１２０号

この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、コンテンツが表示された表示面を見る人物に適した言語の種類でコンテンツを自動的に表示することが可能な表示装置を提供することである。

この発明の他の目的は、コンテンツが表示された表示面を見る人物に適した言語の種類でコンテンツを自動的に表示することが可能な表示制御方法を提供することである。

この発明のさらに他の目的は、コンテンツが表示された表示面を見る人物に適した言語の種類でコンテンツを自動的に表示することが可能な表示制御プログラムを提供することである。

この発明は上述した問題点を解決するためになされたもので、この発明のある局面によれば、表示装置は、文字情報を含むコンテンツを表示する表示手段と、人物の視線を検出する視線検出手段と、検出された視線に基づいて表示手段の表示面中の注目領域を特定する領域特定手段と、電子機器に関連付けられた言語の種類を取得する言語種類取得手段と、コンテンツのうち注目領域に表示された第１文字情報を言語種類取得手段により取得された言語の種類で表される第２文字情報に変換する変換手段と、第２文字情報を注目領域に表示する対応言語表示手段と、を備える。

この局面に従えば、人物の視線が検出され、視線に基づいて表示面中の注目領域が特定され、電子機器に関連付けられた言語の種類が取得され、コンテンツのうち注目領域に表示された第１文字情報が取得された言語の種類で表される第２文字情報に変換され、第２文字情報が注目領域に表示される。電子機器に関連付けられた言語の種類の第２文字情報が注目領域に表示されるので、表示面を見る人物に言語の種類を選択する操作をさせることなく、その人物が見ている部分の文字情報をその人物が携帯する電子機器に設定された言語の種類で表示することができる。その結果、コンテンツが表示された表示面を見る人物に適した言語の種類でコンテンツを自動的に表示することが可能な表示装置を提供することができる。

好ましくは、領域特定手段は、表示手段の表示面と視線とが交わる視線位置を含む領域を注目領域に決定する。

この局面に従えば、コンテンツ中で人物が見ている部分を容易に特定することができる。

好ましくは、領域特定手段は、視線位置が時間の経過に伴って変動する場合、注目領域を視線が変動する方向に拡張する。

この局面に従えば、コンテンツを見る人物の視線の変動に従って注目領域が拡張するので、その人物が次に見ようとしている領域を予測することができる。

好ましくは、人物を撮像して画像を出力する撮像手段と、撮像手段が出力する画像に基づいて人物の位置を検出する人物位置検出手段と、電子機器と通信する通信手段と、通信手段が電子機器から受信する信号に基づいて電子機器の位置を検出する装置位置検出手段と、人物の位置と電子機器の位置とに基づいて、人物と電子機器とを関連付ける関連付手段と、をさらに備える。

この局面に従えば、人物が携帯する電子機器を特定することができる。

好ましくは、視線検出手段は、撮像手段が出力する画像を解析することにより視線を検出する。

この局面に従えば、人物の視線を容易に検出することができる。

好ましくは、関連付手段は、人物が複数の場合、複数の人物それぞれを複数の電子機器のいずれかに関連付け、領域特定手段は、複数の人物ごとに、人物に対応する注目領域を特定し、変換手段は、複数の人物ごとに、コンテンツのうち人物に対応する注目領域に表示された第１文字情報を人物に関連付けられた電子機器に関連付けられた言語の種類で表される第２文字情報に変換し、対応言語表示手段は、複数の人物ごとに、人物に対応する注目領域に人物に対応する第２文字情報を表示する。

この局面に従えば、コンテンツを複数の人物が同時に見ている場合に、複数の人物それぞれに適した言語の種類でコンテンツを自動的に表示することができる。

好ましくは、領域特定手段により複数の人物にそれぞれ対応して同一の注目領域が特定される場合であって、関連付手段により注目領域に複数の言語の種類が対応付けられる場合、対応言語表示手段は、注目領域に対応する第１文字情報から複数の言語の種類に変換された複数の第２文字情報を注目領域に時分割で表示するかまたは並べて表示する。

この局面に従えば、複数の人物がコンテンツの同じ部分を見ている場合であっても複数の人物それぞれに適した言語の種類でコンテンツを自動的に表示することができる。

この発明の他の局面によれば、表示制御方法は、文字情報を含むコンテンツを表示する表示ステップと、人物の視線を検出する視線検出ステップと、検出された視線に基づいて表示されたコンテンツ中の注目領域を特定する領域特定ステップと、人物が携帯する電子機器に関連付けられた言語の種類を取得する言語種類取得ステップと、コンテンツに含まれる注目領域に対応する第１文字情報を取得された言語の種類で表される第２文字情報に変換する変換ステップと、第２文字情報を注目領域に表示する対応言語表示ステップと、を表示装置に実行させる。

この局面に従えば、コンテンツが表示された表示面を見る人物に適した言語の種類でコンテンツを自動的に表示することが可能な表示制御方法を提供することができる。

この発明の他の局面によれば、表示制御プログラムは、文字情報を含むコンテンツを表示する表示ステップと、人物の視線を検出する視線検出ステップと、検出された視線に基づいて表示されたコンテンツ中の注目領域を特定する領域特定ステップと、人物が携帯する電子機器に関連付けられた言語の種類を取得する言語種類取得ステップと、コンテンツに含まれる注目領域に対応する第１文字情報を取得された言語の種類で表される第２文字情報に変換する変換ステップと、第２文字情報を注目領域に表示する対応言語表示ステップと、をコンピューターに実行させる。

この局面に従えば、コンテンツが表示された表示面を見る人物に適した言語の種類でコンテンツを自動的に表示することが可能な表示制御プログラムを提供することができる。

本発明の実施の形態の１つにおける表示装置の外観を示す斜視図である。 表示装置のハードウェア構成の一例を示す図である。 本実施の形態における表示装置が備えるＣＰＵが有する機能の一例を示す図である。 人物の位置および視線位置の一例を示す図である。 人物テーブルの一例を示す図である。 電子機器が配置される位置の一例を示す図である。 装置テーブルの一例を示す図である。 関連テーブルの一例を示す図である。 表示部に表示されるコンテンツの一例を示す第１の図である。 部分領域の一例を示す図である。 注目領域テーブルの一例を示す第１の図である。 表示部に表示されるコンテンツの一例を示す第２の図である。 部分領域の横方向の拡張の一例を示す図である。 注目領域テーブルの一例を示す第２の図である。 表示部に表示されるコンテンツの一例を示す第３の図である。 部分領域の縦方向の拡張の一例を示す図である。 注目領域テーブルの一例を示す第３の図である。 表示部に表示されるコンテンツの一例を示す第４の図である。 注目領域テーブルの一例を示す第４の図である。 表示部に表示されるコンテンツの一例を示す第５の図である。 表示部に表示されるコンテンツの一例を示す第６の図である。 表示部に表示されるコンテンツの一例を示す第７の図である。 表示制御処理の流れの一例を示すフローチャートである。 人物検出処理の流れの一例を示すフローチャートである。 装置検出処理の流れの一例を示すフローチャートである。 関連付処理の流れの一例を示すフローチャートである。 注目領域決定処理の流れの一例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

図１は、本発明の実施の形態の１つにおける表示装置の外観を示す斜視図である。図２は、表示装置のハードウェア構成の一例を示す図である。図１および図２を参照して、表示装置１００は、表示装置１００の全体を制御するための中央演算処理装置（ＣＰＵ）１０１と、ＣＰＵ１０１が実行するためのプログラムを記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＣＰＵ１０１の作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、データを不揮発的に記憶するＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）１０４と、通信部１０５と、情報を表示する表示部１０６と、ユーザーの操作の入力を受け付ける操作部１０７と、第１カメラ１０８と、第２カメラ１０９と、外部記憶装置１１０と、表示部１０６を支える基台１３１と、を含む。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＰＲＯＭ１０４、通信部１０５、表示部１０６、操作部１０７、第１カメラ１０８、第２カメラ１０９および外部記憶装置１１０それぞれは、バス１１２に接続される。

表示部１０６は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、プラズマディスプレイパネル、電子ペーパー等の表示装置である。表示部１０６は、ＣＰＵ１０１により制御され、画像を表示する。

基台１３１は、底板１３３と、底板から垂直に伸びる支柱１３２と、を含む。表示部１０６は、背面を支柱１３２の上方部分に固定され、表示部１０６の表示面は、垂直方向と略平行となる。表示部１０６が支柱１３２に固定される位置を変更することにより、表示部１０６の表示面の地上からの高さを変更可能である。表示部１０６の表示面の地上からの高さは、直立した人の目の高さ以上となるのが好ましい。

表示部１０６の上部の両端に第１カメラ１０８および第２カメラ１０９がそれぞれ配置される。第１カメラ１０８および第２カメラ１０９それぞれは、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データを出力する。光電変換素子は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー等である。

第１カメラ１０８および第２カメラ１０９それぞれは、表示部１０６の表示面を視認可能な者を撮像することが可能な位置に配置される。例えば、第１カメラ１０８および第２カメラ１０９それぞれのレンズの光軸は、表示部１０６の表示面側を向ように第１カメラ１０８および第２カメラ１０９が配置される。また、第１カメラ１０８の撮像領域と第２カメラ１０９の撮像領域とが一部で重なるように、第１カメラ１０８および第２カメラ１０９が配置される。また、第１カメラ１０８と第２カメラ１０９との間の距離は予め定められている。

なお、第１カメラ１０８および第２カメラ１０９それぞれの光軸および画角を変更可能にするようにしてもよい。また、第１カメラ１０８および第２カメラ１０９それぞれが表示部１０６の上方に配置されるようにしたが、表示部１０６の下方または表示部１０６の側方に配置されてもよい。

ＲＯＭ１０２は、ＣＰＵ１０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１がプログラムを実行する際の作業領域として用いられる。

通信部１０５は、近距離通信機能を有する。例えば、通信部１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格のＧＡＰ（Ｇｅｎｅｒｉｃ Ａｃｃｅｓｓ Ｐｒｏｆｉｌｅ）等に基づき、無線により通信する。通信部１０５は、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄを有する。４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれは、配置される位置が定められている。通信部１０５は、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれから電波を送信し、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれで受信される電波を検出する。通信部１０５は、通信相手の装置と４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄを用いて通信する。通信部１０５は、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄから同時に電波を送信し、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれで受信される電波を検出する。なお、本実施の形態においては、通信部１０５が４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄを有する場合を例に説明するが、通信部１０５は、２以上のアンテナを有すればよい。

外部記憶装置１１０には、ＣＤ−ＲＯＭ１１１が装着される。ＣＰＵ１０１は、外部記憶装置１１０を介してＣＤ−ＲＯＭ１１１にアクセス可能である。ＣＰＵ１０１は、外部記憶装置１１０に装着されたＣＤ−ＲＯＭ１１１に記録されたプログラムをＲＡＭ１０３にロードして実行することができる。なお、ＣＰＵ１０１が実行するプログラムは、ＣＤ−ＲＯＭ１１１に記録されたプログラムに限られず、ＥＰＲＯＭ１０４に記憶されたプログラムをＲＡＭ１０３にロードして実行してもよい。この場合、通信部１０５を介して接続された他のコンピューターが、ＥＰＲＯＭ１０４に記憶されたプログラムを書き換えてもよいし、新たなプログラムを追加して書き込んでもよい。さらに、表示装置１００が、通信部１０５を介して接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＥＰＲＯＭ１０４に記憶してもよい。ここでいうプログラムは、ＣＰＵ１０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラムまたは暗号化されたプログラム等を含む。

図３は、本実施の形態における表示装置が備えるＣＰＵが有する機能の一例を示す図である。図３に示す機能は、表示装置１００が備えるＣＰＵ１０１が、ＲＯＭ１０２、ＲＡＭ１０３、ＥＰＲＯＭ１０４またはＣＤ−ＲＯＭ１１１に記憶された表示制御プログラムを実行することにより、ＣＰＵ１０１により実現される機能である。

図３を参照して、ＣＰＵ１０１は、撮像制御部５１と、通信制御部５３と、コンテンツ取得部５５と、表示制御部５７、第１文字情報決定部５９と、領域特定部６１と、関連付部６３と、変換部６５と、を含む。

撮像制御部５１は、第１カメラ１０８および第２カメラ１０９を制御する。撮像制御部５１は、第１カメラ１０８が被写体を撮像して出力する画像データを第１画像データとして取得し、第２カメラ１０９が被写体を撮像して出力する画像データを第２画像データとして取得する。撮像制御部５１は、人物テーブルを生成し、人物テーブルを領域特定部６１および関連付部６３に出力する。人物テーブルは、人物ごとにその人物の位置と視線位置とを関連付ける。

撮像制御部５１は、視線検出部７１と、人物位置検出部７３と、とを含む。人物位置検出部７３は、表示装置１００の近傍に位置する人物の位置を検出する。ここでは、人物位置検出部７３は、表示装置１００の表示面の中心に対する人物の相対位置を検出する。人物位置検出部７３は、第１画像データおよび第２画像データそれぞれから人物が表された部分を抽出し、第１画像データおよび第２画像データそれぞれにおける人物が表された部分を用いて三角測量で人物の位置を検出する。２つの画像から三角測量で対象物までの距離を検出する技術は周知なのでここでは説明は繰り返されない。人物位置検出部７３は、複数の人物を検出する場合、複数の人物ごとに位置を検出する。人物位置検出部７３は、検出された人物に対して人物ＩＤを付与し、人物ＩＤと位置とを関連付けた人物レコードを生成し、人物テーブルに追加する。人物テーブルは、ＥＰＲＯＭ１０４に記憶される。また、人物位置検出部７３は、第１画像データにおいて人物が表された部分を示す部分情報とその人物に対して付与された人物ＩＤとの組を視線検出部７１に出力する。

視線検出部７１は、表示装置１００の近傍に位置する人物の視線を検出し、視線が表示部１０６の表示面と交わる視線位置を検出する。視線検出部７１は、第１画像データに基づいて、人物の視線を検出する。画像から視線を検出する技術は周知なのでここでは説明を繰り返さない。視線検出部７１は、人物位置検出部７３から部分情報と人物ＩＤとの組が入力される。視線検出部７１は、第１画像データにおいて部分情報により特定される部分に表された人物の視線を検出する。視線検出部７１は、人物ＩＤで特定される人物の位置と視線とに基づいて、視線が表示部１０６の表示面と交わる位置を視線位置に決定する。人物の位置は、人物レコードにおいて人物ＩＤと関連付けられる。視線検出部７１は、検出された視線位置を人物に関連付ける。具体的には、視線検出部７１は、人物テーブルから人物ＩＤが関連付けられた人物レコードを特定し、その人物レコードに視線位置情報を追加する。したがって、視線検出部７１は、人物位置検出部７３により複数の人物が検出される場合、複数の人物ごとに視線を検出し、人物と視線位置とを関連付ける。

なお、ここでは、視線検出部７１が第１画像データを用いて視線を検出する場合を例に説明したが、第２画像データから視線を検出してもよいし、第１画像データおよび第２画像データそれぞれから視線を検出してもよい。

視線検出部７１は、視線を検出した後に視線が変動する場合、変動後の視線に基づいて視線位置を決定し、人物に関連付ける。具体的には、視線検出部７１は、人物テーブルから人物ＩＤが関連付けられた人物レコードを特定し、その人物レコードに変動後の視線に基づいて決定された視線位置を示す視線位置情報を追加する。

図４は、人物の位置および視線位置の一例を示す図である。図４を参照して、表示部１０６の上部両端に配置された第１カメラ１０８および第２カメラ１０９で３人の人物を検出する場合を例に示している。ここでは、３人の人物の人物ＩＤをそれぞれＨ１、Ｈ２，Ｈ３としている。人物ＩＤがＨ１の人物が位置（Ｈｘ１，Ｈｙ１）に位置し、人物ＩＤがＨ２の人物が位置（Ｈｘ２，Ｈｙ２）に位置し、人物ＩＤがＨ３の人物が位置（Ｈｘ３，Ｈｙ３）に位置する場合を示している。また、人物ＩＤがＨ１の人物の視線から定まる視線位置をＶ１、人物ＩＤがＨ２の人物の視線から定める視線位置をＶ２としている。なお、人物ＩＤがＨ３の人物の視線が表示部１０６の表示面と交わらない場合を例に示している。

図５は、人物テーブルの一例を示す図である。図５を参照して、人物テーブルは、３つの人物レコードを含む。人物レコードは、人物ＩＤの項目と、位置の項目と、視線位置の項目とを、含む。したがって、人物ＩＤにＨ１が設定された人物レコードは、位置の項目に（Ｈｘ１，Ｈｙ１）が設定され、視線位置の項目にＶ１が設定される。人物ＩＤの項目にＨ２が設定された人物レコードは、位置の項目に（Ｈｘ２，Ｈｙ２）が設定され、視線位置の項目にＶ２が設定される。人物ＩＤにＨ３が設定された人物レコードは、位置の項目に（Ｈｘ３，Ｈｙ３）が設定され、視線位置の項目に何も設定されていない。

図３に戻って、通信制御部５３は、通信部１０５を制御し、表示装置１００の近傍に位置する電子機器と通信する。電子機器は、例えば、人物により携帯されるスマートフォン等の携帯情報装置である。また、電子機器は、人物に割り当てられたＩＣカードであってもよい。通信制御部５３は、装置テーブルを生成し、装置テーブルを関連付部６３に出力する。装置テーブルは、電子機器ごとにその電子機器の位置と、その電子機器に設定された言語の種類とを関連付ける。

通信制御部５３は、装置位置検出部７５と、言語種類取得部７７と、を含む。装置位置検出部７５は、表示装置１００の近傍に位置する電子機器の位置を検出する。通信部１０５が通信可能な範囲が制限される。このため、装置位置検出部７５は、通信部１０５が通信可能な電子機器の位置を検出する。具体的には、装置位置検出部７５は、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれが受信する電波の強度に基づいて、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれと電子機器との間の距離を決定する。なお、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれが同一の電波を受信するタイミングの違いに基づいて、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれと電子機器との間の距離を決定してもよい。そして、通信制御部５３は、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれと電子機器との間の距離に基づいて、電子機器の位置を検出する。例えば、アンテナ１２１Ａが受信する電波の強度からアンテナ１２１Ａと電子機器との間の距離を決定し、アンテナ１２１Ｂが受信する電波の強度からアンテナ１２１Ｂと電子機器との間の距離を決定する。装置位置検出部７５は、アンテナ１２１Ａとアンテナ１２１Ｂとの位置が予め定められているので、表示装置１００の表示部１０６の表示面の中心に対する電子機器の相対位置を決定する。なお、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄのうち少なくとも２つを用いて電子機器の相対位置が決定される。

装置位置検出部７５は、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれと電子機器との間の距離を求め、電子機器の位置を検出する。なお、装置位置検出部７５は、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄのうち少なくとも２つを用いて、電子機器の位置を検出してもよい。装置位置検出部７５は、通信部１０５が複数の電子機器と通信可能な場合、複数の電子機器それぞれの位置を検出する。装置位置検出部７５は、電子機器を識別するための装置ＩＤと、位置を示す位置情報とを関連付ける装置レコードを生成し、装置テーブルに追加する。装置テーブルは、ＥＰＲＯＭ１０４に記憶される。

言語種類取得部７７は、通信部１０５を制御して、電子機器と通信し、電子機器に設定されている言語の種類を示す言語情報を取得する。言語種類取得部７７は、電子機器に言語情報の送信を要求し、電子機器から送信される言語情報を受信する。言語種類取得部７７は、電子機器の装置ＩＤと言語とを関連付ける。具体的には、言語種類取得部７７は、装置テーブルから装置ＩＤが関連付けられた装置レコードを特定し、その装置レコードに言語情報を追加する。言語種類取得部７７は、通信部１０５が複数の電子機器と通信可能な場合、複数の電子機器それぞれから言語情報を取得し、装置レコードに言語情報を追加する。

関連付部６３は、人物の位置と電子機器の位置とに基づいて、人物と電子機器とを関連付ける。関連付部６３は、人物テーブルから人物の位置を取得し、装置テーブルから電子機器の位置を取得する。関連付部６３は、人物と電子機器との間の距離が予め定められた閾値以下の距離の人物と電子機器とを関連付ける。具体的には、人物の位置に最も近い電子機器を決定し、人物と電子機器との間の距離が閾値以下ならば関連レコードを生成し、関連テーブルに追加する。関連テーブルは、ＥＰＲＯＭ１０４に記憶される。関連レコードは、人物と電子機器と視線位置と言語の種類とを関連付ける。具体的には、関連レコードは、人物ＩＤ、装置ＩＤ、視線位置情報および言語情報を含む。関連付部６３は、人物ＩＤが設定された人物レコードから視線位置情報を決定し、装置ＩＤが設定された装置レコードから言語情報を決定する。

図６は、電子機器が配置される位置の一例を示す図である。図６を参照して、表示部１０６に対して予め定められた位置に４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄが配置される。ここでは、装置ＩＤがＭ１の電子機器と、装置ＩＤがＭ２の電子機器と、装置ＩＤがＨ３の電子機器がそれぞれ位置する場合を例に示している。

図７は、装置テーブルの一例を示す図である。図７を参照して、装置テーブルは、３つの装置レコードを含む。装置レコードは、装置ＩＤの項目と、位置の項目と、言語の項目とを、含む。ここでは、装置ＩＤにＭ１が設定された装置レコードは、位置の項目に（Ｍｘ１，Ｍｙ１）が設定され、言語の項目に英語が設定される。装置ＩＤの項目にＭ２が設定された装置レコードは、位置の項目に（Ｍｘ２，Ｍｙ２）が設定され、言語の項目に韓国語が設定される。装置ＩＤにＭ３が設定された人物レコードは、位置の項目に（Ｍｘ３，Ｍｙ３）が設定され、言語の項目に中国語が設定されている。

図８は、関連テーブルの一例を示す図である。ここでは、位置（Ｈｘ１，Ｈｙ１）と位置（Ｍｘ１，Ｍｙ１）とが閾値Ｔ以下で、位置（Ｈｘ２，Ｈｙ２）と位置（Ｍｘ２，Ｍｙ２）とが閾値Ｔ以下で、位置（Ｈｘ３，Ｈｙ３）と位置（Ｍｘ３，Ｍｙ３）とが閾値Ｔ以下の場合を例に示している。図８を参照して、関連テーブルは、３つの関連レコードを含む。関連レコードは、人物ＩＤの項目と、視線位置の項目と、装置ＩＤの項目と、言語の項目と、含む。ここでは、人物ＩＤにＨ１が設定された関連レコードは、視線位置の項目にＶ１が設定され、装置ＩＤの項目にＭ１が設定され、言語の項目に英語が設定される。人物ＩＤにＨ２が設定された関連レコードは、視線位置の項目にＶ２が設定され、装置ＩＤの項目にＭ２が設定され、言語の項目に韓国語が設定される。人物ＩＤにＨ３が設定された関連レコードは、視線位置の項目に何も設定されず、装置ＩＤの項目にＭ３が設定され、言語の項目に何も設定されない。

図３に戻って、コンテンツ取得部５５は、文字で表された文字情報を含むコンテンツを取得する。例えば、コンテンツ取得部５５は、ＥＰＲＯＭ１０４に記憶されたデータをコンテンツとして取得する。また、コンテンツ取得部５５は、通信部１０５が外部のコンピューターから受信したデータをコンテンツとして取得してもよい。コンテンツ取得部５５は、コンテンツを表示制御部５７、第１文字情報決定部５９および領域特定部６１に出力する。

領域特定部６１は、表示装置１００が備える表示部１０６の表示面中で人物が注目している注目領域を特定する。具体的には、領域特定部６１は、関連テーブルを用いて注目領域を特定する。領域特定部６１は、関連レコードで定められる視線位置情報で特定される視線位置に基づいて注目領域を決定する。領域特定部６１は、注目領域ごとに、注目領域と言語の種類とを関連付ける。具体的には、領域特定部６１は、関連レコードごとに注目領域レコードを生成し、注目領域テーブルに追加する。注目領域テーブルは、ＥＰＲＯＭ１０４に記憶される。注目領域レコードは、注目領域と言語の種類とを関連付ける。注目領域レコードは、関連レコードから決定された注目領域を示す領域情報と、関連レコードに設定された言語情報と、を含む。

領域情報は、表示部１０６の表示面中で注目領域の位置を示す情報である。注目領域は、視点位置を含む領域である。注目領域は、表示部１０６に表示されるコンテンツに基づいて定めてもよい。例えば、コンテンツが複数の部分領域に分割される場合、領域特定部６１は、複数の部分領域のうち視線位置を含む部分領域を注目領域に決定する。また、領域特定部６１は、視線位置に表示されている文字を含み所定のまとまりのある文字列を囲む領域を注目領域に決定してもよい。また、領域特定部６１は、視点位置から所定の範囲内の領域を注目領域に決定してもよい。

領域特定部６１は、注目領域を決定した後に、関連レコードで定められる視線位置情報で特定される視線位置が変更される場合、視線位置が変動した方向を検出し、注目領域を視線位置が変更した方向に拡張する。例えば、領域特定部６１は、視線位置が横方向に変動する場合、注目領域を左右に拡張する。また、領域特定部６１は、視線位置が縦方向に変動する場合、注目領域を上下に拡張する。

なお、関連付部６３が、関連レコードをそれが生成された日時とともに関連テーブルに追加してもよい。領域特定部６１は、同じ人物ＩＤおよび装置ＩＤを含む複数の関連レコードが関連テーブルに記憶されている場合に、２つの視線位置情報に基づいて視線位置が変動する方向を検出する。また、関連付部６３が関連レコードを関連テーブルに追加する際に視線位置の変動方向を検出し、関連レコードをその変動方向とともに関連テーブルに追加してもよい。この場合、関連付部６３は、生成された関連レコードの人物ＩＤおよび装置ＩＤと同じ人物ＩＤおよび装置ＩＤを含む関連レコードが関連テーブルに存在する場合は、関連レコードを更新する。

第１文字情報決定部５９は、注目領域テーブルを参照して、コンテンツのうちから注目領域に表示される文字列を第１文字情報に決定し、領域情報を変換部６５に出力する。具体的には、第１文字情報決定部５９は、注目領域テーブルのうちから順に注目領域レコードを処理対象に選択する。第１文字情報決定部５９は、注目領域レコードに設定された領域情報を用いて注目領域を決定する。第１文字情報決定部５９は、コンテンツに含まれる文字情報のうちで注目領域に表示される文字列を第１文字情報に決定する。第１文字情報決定部５９は、注目領域レコードが複数の場合、複数の注目領域レコードごとに第１文字情報を決定する。第１文字情報決定部５９は、第１文字情報と領域情報との組を変換部６５に出力する。第１文字情報決定部５９は、注目領域テーブルが複数の注目領域レコードを含む場合には、複数の注目領域レコードごとに第１文字情報を決定する。

変換部６５は、第１文字情報を言語の種類が異なる第２文字情報に変換する。変換部６５は、注目領域テーブルを参照して、第１文字情報が含まれる注目領域を示す領域情報が設定された注目領域レコードを特定する。変換部６５は、注目領域レコードに設定された言語情報を取得する。変換部６５は、注目領域レコードに設定された言語情報で特定される言語の種類が第１文字情報の言語の種類と異なる場合、第１文字情報を関連レコードに設定された言語情報で特定される言語の種類の第２文字情報に変換する。例えば、第１文字情報に対応して複数の言語の種類の第２文字情報を定めた変換テーブルが予め記憶されている場合は、変換部６５はその変換テーブルを用いて変換する。また、複数の言語の種類に対応した辞書が記憶されている場合には、変換部６５は、辞書を用いて変換する。変換部６５は、第２文字情報と領域情報との組を表示制御部５７に出力する。

第１文字情報が含まれる注目領域を示す領域情報が設定された注目領域レコードが複数の場合がある。複数の人物が同じ部分領域を見ている場合である。変換部６５は、注目領域レコードが複数の場合、複数の注目領域レコードにそれぞれ設定された複数の言語情報を取得する。変換部６５は、複数の注目領域レコードごとに、それに設定された言語情報で特定される言語の種類が第１文字情報の言語の種類と異なる場合、第１文字情報を関連レコードに設定された言語情報で特定される言語の種類の第２文字情報に変換する。したがって、変換部６５は、複数の人物が同じ注目領域を見ている場合、第１文字情報を複数の人物ごとに、その人物が用いる言語の種類の第２文字情報に変換する。したがって、変換部６５は、１つの注目領域に対して言語の情報が異なる複数の第２文字情報に変換する場合がある。この場合、変換部６５は、領域情報が同じで第２文字情報が異なる複数の組を表示制御部５７に出力する。

表示制御部５７は、コンテンツ取得部５５により取得されたコンテンツの画像を表示部１０６に表示する。表示制御部５７は、対応言語表示部７９を含む。対応言語表示部７９は、変換部６５から第２文字情報と領域情報の組が入力される場合、表示部１０６の表示面の領域情報で特定される注目領域に第２文字情報を表示する。表示制御部５７は、注目領域に表示されている第１文字情報に代えて第２文字情報を表示する。表示制御部５７に、変換部６５から第２文字情報と領域情報の組の複数が入力される場合がある。複数の組のうちに領域情報が同じ２以上の組が含まれる場合がある。さらに、２以上の組にそれぞれ含まれる２以上の第２文字情報の間で言語の種類が異なる場合がある。対応言語表示部７９は、２以上の組の間で言語の種類が異なる場合、言語の種類が異なる２以上の第２文字情報を時分割で表示する。例えば、対応言語表示部７９は、１秒ごとに表示を切り換えて２以上の第２文字情報を順に表示する。また、時分割に代えて空間分割して２以上の第２文字情報を表示してもよい。具体的には、空間分割で表示する場合、対応言語表示部７９は、注目領域を第２文字情報の数に分割し、分割された２以上の領域に２以上の第２文字情報をそれぞれ表示する。

図９は、表示部に表示されるコンテンツの一例を示す第１の図である。コンテンツは、空港に表示される飛行機の出発便の案内を示すテーブルとしている。図９を参照して、コンテンツは、言語の種類が日本語である。コンテンツは、出発便ごとの情報を示すレコードの複数を含む。レコードは、空港会社の項目と、便名の項目と、目的地の項目と、定刻の項目と、備考の項目と、を含む。便名の項目は、便名が設定される。目的地の項目は、目的地が設定される。定刻の項目は、出発時刻が設定される。備考の項目は、その便に対する状態が設定される。複数のレコードそれぞれが、複数の項目を含む。複数のレコードごとに、複数の項目が横方向に並んで表示される。複数のレコードは、縦方向に並んで表示される。

図１０は、部分領域の一例を示す図である。図９に示したコンテンツに含まれる複数の部分領域が示される。図１０においては、複数の部分領域それぞれが点線で表される矩形で示され、説明のために識別番号が付される。図１０を参照して、コンテンツは、テーブルと、表題で分割され、テーブルが複数のレコードで分割され、レコードがさらに複数の項目で分割される。なお、複数の部分領域それぞれは、言語の種類が異なる第１文字情報を含む項目のみを示し、記号または時刻が示される項目は含まない。

図１１は、注目領域テーブルの一例を示す第１の図である。図１１を参照して、注目領域テーブルは、図８に示した関連テーブルに基づいて生成される。ここでは、視線位置情報Ｖ１で示される視線位置が領域情報Ｄ１９で示される注目領域を示し、視線位置情報Ｖ２で示される視線位置が領域情報Ｄ３５で示される注目領域を示す場合を例に示している。なお、人物ＩＤＨ３のユーザーには、視線位置が設定されていないため、注目領域レコードは、生成されない。

図１２は、表示部に表示されるコンテンツの一例を示す第２の図である。図９に示したコンテンツと異なる点は、領域情報Ｄ１９で示される注目領域に言語の種類が英語の第２文字情報が表示され、領域情報Ｄ３５で示される注目領域に言語の種類が韓国語の第２文字情報が表示される。

図１３は、部分領域の横方向の拡張の一例を示す図である。図１０に示した部分領域を横方向に拡張した部分領域が示される。

図１４は、注目領域テーブルの一例を示す第２の図である。ここでは、視線位置がＶ１であった人物ＩＤがＨ１の人物および視線位置がＶ２であった人物ＩＤがＨ２の人物それぞれの視線が横方向に変動する場合を例に示している。この場合、図１１に示した注目領域テーブルが図１４に示す注目領域テーブルに書き換えられる。具体的には、領域情報Ｄ１９で示される部分領域が領域情報Ｄ４７で示される部分領域に拡張され、領域情報Ｄ３５で示される部分領域が領域情報Ｄ５１で示される部分領域に拡張される。

図１５は、表示部に表示されるコンテンツの一例を示す第３の図である。図９に示したコンテンツと異なる点は、領域情報Ｄ４７で示される注目領域に言語の種類が英語の第２文字情報が表示され、領域情報Ｄ３５で示される注目領域に言語の種類が韓国語の第２文字情報が表示される。

図１６は、部分領域の縦方向の拡張の一例を示す図である。図１０に示した部分領域を縦方向に拡張した部分領域が示される。

図１７は、注目領域テーブルの一例を示す第３の図である。ここでは、視線位置がＶ１であった人物ＩＤがＨ１の人物の視線が縦方向に変動する場合を例に示している。この場合、図１１に示した注目領域テーブルが図１７に示す注目領域テーブルに書き換えられる。具体的には、領域情報Ｄ１９で示される部分領域が領域情報Ｄ６２で示される部分領域に拡張される。

図１８は、表示部に表示されるコンテンツの一例を示す第４の図である。図１２に示したコンテンツと異なる点は、領域情報Ｄ６２で示される注目領域に言語の種類が英語の第２文字情報が表示される。

次に、複数の人物の視線位置が同じ場合の具体例を示す。図１９は、注目領域テーブルの一例を示す第４の図である。ここでは、視線位置情報Ｖ１で示される視線位置が領域情報Ｄ１９で示される注目領域を示し、視線位置情報Ｖ２で示される視線位置が領域情報Ｄ１９で示される注目領域を示す場合を例に示している。人物ＩＤがＨ１の人物と人物ＩＤＨ２の人物とが同じ視線位置情報Ｖ１で示される領域情報Ｄ１９を見ている場合を例に示している。

図２０は、表示部に表示されるコンテンツの一例を示す第５の図である。図９に示したコンテンツと異なる点は、領域情報Ｄ１９で示される注目領域に言語の種類が英語の第２文字情報が表示される。

図２１は、表示部に表示されるコンテンツの一例を示す第６の図である。図９に示したコンテンツと異なる点は、領域情報Ｄ１９で示される注目領域に言語の種類が韓国語の第２文字情報が表示される。

図１９に示される注目領域テーブルがＥＰＲＯＭ１０４に記憶される場合、図２０に示されるコンテンツの表示と、図２１に示されるコンテンツの表示とが所定時間間隔で繰り返して表示される。

図２２は、表示部に表示されるコンテンツの一例を示す第７の図である。図９に示したコンテンツと異なる点は、領域情報Ｄ１９で示される注目領域に言語の種類が英語の第２文字情報と言語の種類が韓国語の第２文字情報とが並んで表示される。

図２３は、表示制御処理の流れの一例を示すフローチャートである。表示制御処理は、表示装置１００が備えるＣＰＵ１０１が、ＲＯＭ１０２、ＲＡＭ１０３、ＥＰＲＯＭ１０４またはＣＤ−ＲＯＭ１１１に記憶された表示制御プログラムを実行することにより、ＣＰＵ１０１により実行される処理である。図２３を参照して、ＣＰＵ１０１は、表示部１０６にコンテンツを表示し（ステップＳ０１）、処理をステップＳ０２に進める。ステップＳ０２においては、人物検出処理が実行され、処理はステップＳ０３に進む。ステップＳ０３においては、装置検出処理が実行され、処理はステップＳ０４に進む。ステップＳ０４においては、関連付処理が実行され、処理はステップＳ０５に進む。人物検出処理、装置検出処理および関連付処理の詳細は後述する。

ステップＳ０５においては、処理対象の人物が選択され、処理はステップＳ０６に進む。具体的には、人物テーブルに含まれる人物レコードの１つが処理対象に選択される。ステップＳ０５においては、注目領域決定処理が実行され、処理はステップＳ０７に進む。ステップＳ０７においては、処理対象に選択されていない人物が存在するか否かが判断される。人物テーブルに含まれる人物レコードのすべてが処理対象に選択されたか否かが判断される。未選択の人物レコードが存在すれば処理はステップＳ０５に戻るが、そうでなければ処理はステップＳ０８に進む。したがって、人物テーブルに登録されているすべての人物それぞれに対して、注目領域決定処理が実行される。

図２４は、人物検出処理の流れの一例を示すフローチャートである。人物検出処理は、表示制御処理のステップＳ０２において実行される処理である。図２４を参照して、ＣＰＵ１０１は、第１画像データを取得し（ステップＳ２１）、処理をステップＳ２２に進める。第１カメラ１０８が出力する画像データが第１画像データとして取得される。ステップＳ２２においては、第２画像データが取得され、処理はステップＳ２３に進む。第２カメラ１０９が出力する画像データが第２画像データとして取得される。

ステップＳ２３においては、第１画像データから人物が抽出されたか否かが判断される。第１画像データから人物の特徴を表す部分が抽出されたならば処理はステップＳ２４に進むが、そうでなければ処理はステップＳ２１に戻る。人物の特徴は、例えば、形状または色で特定される。第１画像データに人物が表された部分の複数が含まれる場合がある。この場合は、人物が表された部分のすべてが抽出される。

ステップＳ２４においては、処理対象の人物が選択され、処理はステップＳ２５に進む。ステップＳ２５においては、人物ＩＤが付与され、処理はステップＳ２６に進む。人物ＩＤは、ユニークな値であればよい。ステップＳ２３において人物が表された部分が複数抽出される場合は、複数の人物それぞれに人物ＩＤが付与される。

ステップＳ２６においては、人物の位置が決定される。第１画像データにおいて人物が表された部分の位置と、第２画像データにおいて人物が表された部分の位置との差から人物の位置が決定される。次のステップＳ２７においては、視線が検出される。人物が表された部分は目が表された部分を含むので、目の画像に基づいて視線を検出する。

次のステップＳ２８においては、視線位置が決定され、処理はステップＳ２９に進む。ステップＳ２６において決定された人物の位置と、ステップＳ２７において決定された視線とから視線位置が決定される。視線位置は、視線が表示部１０６の表示面と交わる位置である。次のステップＳ２９においては、人物レコードが生成され、人物テーブルに追加され、処理はステップＳ３０に進む。人物レコードは、ステップＳ２５において人物に付与された人物ＩＤと、ステップＳ２６において決定された人物の位置を示す位置情報と、ステップＳ２８において決定された視線位置を示す視線位置情報と、を含む。

ステップＳ３０においては、処理対象に選択されていない人物が存在するか否かが判断される。ステップＳ２３において第１画像データから抽出された人物のうちにステップＳ２４において処理対象に選択されていない人物が存在するか否かが判断される。処理対象に選択されていない人物が存在するならば処理はステップＳ２４に戻るが、そうでなければ処理は表示制御処理に戻る。

図２５は、装置検出処理の流れの一例を示すフローチャートである。装置検出処理は、表示制御処理のステップＳ０３において実行される処理である。図２５を参照して、ＣＰＵ１０１は、電子機器を検出したか否かを判断する。通信部１０５において通信可能な電子機器が検出されたか否かが判断される。通信部１０５において電子機器が検出されるまで待機状態となり（ステップＳ３１においてＮＯ）、電子機器が検出されたならば（ステップＳ３１においてＹＥＳ）、処理はステップＳ３２に進む。通信部１０５が複数の電子機器と通信可能な場合は、複数の電子機器が検出される。

ステップＳ３２においては、処理対象の電子機器が選択され、処理はステップＳ３３に進む。ステップＳ３３においては、処理対象の電子機器と通信が開始され、処理はステップＳ３４に進む。ステップＳ３４においては、装置ＩＤが付与され、処理はステップＳ３５に進む。装置ＩＤは、ユニークな値であればよい。また、電子機器から受信される装置識別情報が装置ＩＤに設定されてもよい。ステップＳ３１において通信可能な電子機器が複数抽出される場合は、複数の電子機器それぞれに装置ＩＤが付与される。

ステップＳ３５においては、電子機器から言語情報が取得され、処理はステップＳ３６に進む。電子機器に言語情報の送信を要求し、電子機器が返信する言語情報を受信する。言語情報は、電子機器を使用するユーザーによりその電子機器に設定されている言語の種類を示す。

ステップＳ３６においては、電子機器の位置が決定され、処理はステップＳ３７に進む。具体的には、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれが電子機器から受信する電波の強度に基づいて、４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれと電子機器との間の距離が決定される。４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれの位置と４つのアンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれと電子機器との間の距離とに基づいて電子機器の位置が決定される。

ステップＳ３７においては、装置レコードが生成され、装置テーブルに追加され、処理はステップＳ３８に進む。装置レコードは、ステップＳ３４において電子機器に付与された装置ＩＤと、ステップＳ３５において取得された言語情報と、ステップＳ３６において決定された電子機器の位置を示す位置情報と、を含む。

ステップＳ３８においては、処理対象に選択されていない電子機器が存在するか否かが判断される。ステップＳ３１において検出された電子機器のうちにステップＳ３２において処理対象に選択されていない電子機器が存在するか否かが判断される。処理対象に選択されていない電子機器が存在するならば処理はステップＳ３２に戻るが、そうでなければ処理は表示制御処理に戻る。

図２６は、関連付処理の流れの一例を示すフローチャートである。関連付処理は、表示制御処理のステップＳ０４において実行される処理である。図２６を参照して、ＣＰＵ１０１は、処理対象となる人物を選択する（ステップＳ４１）。人物テーブルに含まれる複数の人物レコードが順に選択される。次のステップＳ４２においては、処理対象に選択された人物に最も近い電子機器が選択され、処理はステップＳ４３に進む。装置テーブルに含まれる複数の装置レコードが順に選択され、人物レコードにより処理対象の人物の人物ＩＤと関連付けられている位置情報と、装置レコードに設定されている位置情報とから距離が求められる。そして、距離が最も短い装置レコードに設定されている装置ＩＤで特定される電子機器が直近の電子機器として選択される。

ステップＳ４３においては、人物と電子機器との間の距離が閾値以下か否かが判断される。距離が閾値以下ならば処理はステップＳ４４に進むが、そうでなければ処理はステップＳ４６に進む。ステップＳ４４においては、人物と電子機器とが関連付けられ、処理はステップＳ４５に進む。処理対象に選択された人物の人物ＩＤと、その人物に最も近い電子機器の装置ＩＤとを含む関連レコードが生成される。また、関連レコードは、人物に関連付けられた視線位置と、電子機器に関連付けられた言語情報とを含む。ステップＳ４５においては、関連レコードが関連テーブルに追加され、処理はステップＳ４６に進む。

ステップＳ４６においては、処理対象に選択されていない人物が存在するか否かが判断される。処理対象に選択されていない人物が存在するならば処理はステップＳ４１に戻るが、そうでなければ処理は表示制御処理に戻る。

図２７は、注目領域決定処理の流れの一例を示すフローチャートである。注目領域決定処理は表示制御処理のステップＳ０６において実行される処理である。注目領域決定処理が実行される前の段階で、処理対象の人物が選択されている。図２７を参照して、ＣＰＵ１０１は、視線位置を決定し（ステップＳ５１）、処理をステップＳ５２に進める。処理対象に選択されている人物の人物ＩＤを含む関連レコードに設定されている視線位置情報が取得される。視線位置情報は視線位置を示す。

ステップＳ５２においては、注目領域が決定され、処理はステップＳ５３に進む。コンテンツに含まれる複数の部分領域のうち視線位置を含む領域が注目領域に決定される。具体的には、コンテンツが複数の部分領域に分割され、複数の部分領域のうち視線位置を含む部分領域が注目領域に決定される。ステップＳ５３においては、注目領域が注目領域テーブルに追加され、処理はステップＳ５４に進む。具体的には、処理対象に選択されている人物の人物ＩＤを含む関連レコードに設定されている言語情報が取得される。そして、注目領域を示す領域情報と言語情報とを含む注目領域レコードが生成され、注目領域レコードが注目領域テーブルに追加される。注目領域レコードは、処理対象に選択されている人物の人物ＩＤと、その人物ＩＤに関連レコードで関連付けられた装置ＩＤ、視線位置情報を含んでもよい。

ステップＳ５４においては、視線位置が変動したか否かが判断される。ステップＳ５２において注目領域が決定される前に処理対象に選択されている人物に対する注目領域が決定されている場合がある。この場合、処理対象に選択されている人物の人物ＩＤが設定された注目領域レコードが注目領域テーブルに登録されている。そして、注目領域テーブルに登録されている注目領域レコードに設定されている領域情報が特定される。そして、特定された領域情報で特定される注目領域がステップＳ５２において決定された注目領域と異なる場合に視線位置が変動したと判断する。視線位置が変動したならば処理はステップＳ５５に進むが、そうでなければ処理は表示制御処理に戻る。

ステップＳ５５においては、注目領域に対して視線位置の移動方向に配置された部分領域が注目領域に決定され、処理はステップＳ５６に進む。ステップＳ５２において注目領域が決定される前に決定されていた注目領域と、ステップＳ５２において決定された注目領域とが並ぶ方向が視線位置の移動方向である。コンテンツに含まれる複数の領域のうちステップＳ５２において決定された注目領域と、その注目領域と移動方向に並ぶ領域のすべてが新たに注目領域に決定される。

ステップＳ５６においては、新たな注目領域が注目領域テーブルに追加され、処理は表示制御処理に戻る。具体的には、処理対象に選択されている人物の人物ＩＤを含む関連レコードに設定されている言語情報が取得される。そして、新たな注目領域を示す領域情報と言語情報とを含む注目領域レコードが生成され、注目領域レコードが注目領域テーブルに追加される。

図２３に戻って、ステップＳ０８においては、処理対象となる注目領域が選択され、処理はステップＳ０９に進む。注目領域テーブルの注目領域レコードが順に選択される。ステップＳ０９においては、第１文字情報が決定され、処理はステップＳ１０に進む。コンテンツに含まれる文字情報のうちで注目領域に含まれる文字列が第１文字情報に決定される。ステップＳ１０においては、注目領域レコードが複数か否かが判断される。処理対象に選択された注目領域の領域情報と同じ領域情報が設定された注目領域レコードの複数が存在するか否かが判断される。そのような注目領域レコードが複数ならば処理はステップＳ１１に進むが、そうでなければ処理はステップＳ１４に進む。ステップＳ１１においては、言語の種類が異なるか否かが判断される。複数の注目領域レコードそれぞれに設定された言語情報で特定される言語の種類が異なれば処理はステップＳ１２に進めるが、すべてが同じならば処理はステップＳ１４に進む。

ステップＳ１２においては、第１文字情報が複数の言語の種類ごとの第２文字情報に変換され、処理はステップＳ１３に進む。例えば、第１文字情報の言語の種類が日本語で、２つの注目領域に関連付けられた言語の種類が、英語と韓国語の場合を例に説明する。この場合、第１文字情報を英語に翻訳した第２文字情報と、第１文字情報を韓国語に翻訳した第２文字情報と、が生成される。ステップＳ１３においては、表示部１０６に、複数の第２文字情報が注目領域に時分割で表示され、処理はステップＳ１６に進む。

一方、ステップＳ１４においては、第１文字情報が、ステップＳ０８において選択された注目領域レコードに設定された言語の種類の第２文字情報に変換され、処理はステップＳ１５に進む。例えば、第１文字情報の言語の種類が日本語で、注目領域レコードに設定された言語の種類が英語の場合、第１文字情報を英語に翻訳した第２文字情報が生成される。ステップＳ１５においては、表示部１０６に、第２文字情報が注目領域に表示され、処理はステップＳ１６に進む。

ステップＳ１６においては、処理対象に選択されていない注目領域が存在するか否かが判断される。未選択の注目領域が存在するならば処理はステップＳ０８に戻るが、そうでなければ処理はステップＳ０１に戻る。

以上説明したように、本実施の形態における表示装置１００は、文字情報を含むコンテンツを表示する表示部１０６を備え、ＣＰＵ１０１は、人物の視線を検出し、検出された視線に基づいて表示部１０６の表示面中の注目領域を特定し、スマートフォン等の電子機器に関連付けられた言語の種類を取得し、コンテンツのうち注目領域に表示された第１文字情報を電子機器から取得された言語の種類で表される第２文字情報に変換し、第２文字情報を注目領域に表示する。このため、電子機器に関連付けられた言語の種類の第２文字情報が第１文字情報に代えて注目領域に表示されるので、表示面を見る人物に言語の種類を選択する操作をさせることなく、その人物が見ている部分の文字情報をその人物が携帯する電子機器に設定された言語の種類で表示することができる。したがって、コンテンツが表示された表示面を見る人物に適した言語の種類でコンテンツを自動的に表示することができる。

また、表示装置１００が備えるＣＰＵ１０１は、表示部１０６の表示面と人物の視線とが交わる視線位置を含む領域を注目領域に決定する。このため、コンテンツ中で人物が見ている部分を容易に特定することができる。

また、表示装置１００が備えるＣＰＵ１０１は、視線位置が時間の経過に伴って変動する場合、注目領域を視線が変動する方向に拡張する。このため、ＣＰＵ１０１は、コンテンツを見る人物の視線の変動に従って注目領域を拡張するので、その人物が次に見ようとしている領域を予測することができる。

また、表示装置１００が備えるＣＰＵ１０１は、第１カメラ１０８および第２カメラ１０９がそれぞれ出力する第１画像データおよび第２画像データに基づいて人物の位置を検出し、アンテナ１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄそれぞれが電子機器から受信する信号に基づいて電子機器の位置を検出し、人物の位置と電子機器の位置とに基づいて、人物と電子機器とを関連付ける。このため、人物が携帯する電子機器を特定することができる。

また、表示装置１００が備えるＣＰＵ１０１は、第１カメラ１０８および第２カメラ１０９がそれぞれ出力する第１画像データおよび第２画像データを解析することにより視線を検出する。このため、人物の視線を容易に検出することができる。

また、表示装置１００が備えるＣＰＵ１０１は、人物が複数の場合、複数の人物それぞれを複数の電子機器のいずれかに関連付け、複数の人物ごとに、その人物に対応する注目領域を特定し、コンテンツのうち人物に対応する注目領域に表示された第１文字情報を人物に関連付けられた電子機器に関連付けられた言語の種類で表される第２文字情報に変換し、表示する。このため、コンテンツを複数の人物が同時に見ている場合に、複数の人物それぞれに適した言語の種類でコンテンツを自動的に表示することができる。

また、表示装置１００が備えるＣＰＵ１０１は、複数の人物にそれぞれ対応して同一の注目領域が特定される場合であって、その注目領域に複数の言語の種類が対応付けられる場合、注目領域に対応する第１文字情報から複数の言語の種類に変換された複数の第２文字情報を注目領域に時分割で表示するかまたは並べて表示する。このため、複数の人物がコンテンツの同じ部分を見ている場合であっても複数の人物それぞれに適した言語の種類でコンテンツを自動的に表示することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１００ 表示装置、１０１ ＣＰＵ、１０２ ＲＯＭ、１０３ ＲＡＭ、１０４ ＥＰＲＯＭ、１０５ 通信部、１０６ 表示部、１０７ 操作部、１０８ 第１カメラ、１０９ 第２カメラ、１１０ 外部記憶装置、１１１ ＣＤ−ＲＯＭ、１１２ バス、１２１Ａ，１２１Ｂ，１２１Ｃ，１２１Ｄ アンテナ、１３１ 基台、１３２ 支柱、１３３ 底板、５１ 撮像制御部、５３ 通信制御部、５５ コンテンツ取得部、５７ 表示制御部、５９ 第１文字情報決定部、６１ 領域特定部、６３ 関連付部、６５ 変換部、７１ 視線検出部、７３ 人物位置検出部、７５ 装置位置検出部、７７ 言語種類取得部、７９ 対応言語表示部。

Claims (9)

1. 文字情報を含むコンテンツを表示する表示手段と、
   人物の視線を検出する視線検出手段と、
   検出された前記視線に基づいて前記表示手段の表示面中の注目領域を特定する領域特定手段と、
   電子機器に関連付けられた言語の種類を取得する言語種類取得手段と、
   前記コンテンツのうち前記注目領域に表示された第１文字情報を前記言語種類取得手段により取得された前記言語の種類で表される第２文字情報に変換する変換手段と、
   前記第２文字情報を前記注目領域に表示する対応言語表示手段と、を備えた表示装置。
2. 前記領域特定手段は、前記表示手段の前記表示面と前記視線とが交わる視線位置を含む領域を前記注目領域に決定する、請求項１に記載の表示装置。
3. 前記領域特定手段は、前記視線位置が時間の経過に伴って変動する場合、前記注目領域を前記視線が変動する方向に拡張する、請求項２に記載の表示装置。
4. 前記人物を撮像して画像を出力する撮像手段と、
   前記撮像手段が出力する前記画像に基づいて前記人物の位置を検出する人物位置検出手段と、
   前記電子機器と通信する通信手段と、
   前記通信手段が前記電子機器から受信する信号に基づいて前記電子機器の位置を検出する装置位置検出手段と、
   前記人物の位置と前記電子機器の位置とに基づいて、前記人物と前記電子機器とを関連付ける関連付手段と、をさらに備えた請求項１〜３のいずれか１項に記載の表示装置。
5. 前記視線検出手段は、前記撮像手段が出力する前記画像を解析することにより前記視線を検出する、請求項４に記載の表示装置。
6. 前記関連付手段は、前記人物が複数の場合、複数の前記人物それぞれを複数の前記電子機器のいずれかに関連付け、
   前記領域特定手段は、複数の前記人物ごとに、前記人物に対応する前記注目領域を特定し、
   前記変換手段は、複数の前記人物ごとに、前記コンテンツのうち前記人物に対応する前記注目領域に表示された前記第１文字情報を前記人物に関連付けられた前記電子機器に関連付けられた前記言語の種類で表される前記第２文字情報に変換し、
   前記対応言語表示手段は、複数の前記人物ごとに、前記人物に対応する前記注目領域に前記人物に対応する前記第２文字情報を表示する、請求項４または５に記載の表示装置。
7. 前記領域特定手段により複数の前記人物にそれぞれ対応して同一の前記注目領域が特定される場合であって、前記関連付手段により前記注目領域に複数の前記言語の種類が対応付けられる場合、前記対応言語表示手段は、前記注目領域に対応する前記第１文字情報から複数の前記言語の種類に変換された複数の前記第２文字情報を前記注目領域に時分割で表示するかまたは並べて表示する、請求項６に記載の表示装置。
8. 文字情報を含むコンテンツを表示する表示ステップと、
   人物の視線を検出する視線検出ステップと、
   検出された前記視線に基づいて表示された前記コンテンツ中の注目領域を特定する領域特定ステップと、
   前記人物が携帯する電子機器に関連付けられた言語の種類を取得する言語種類取得ステップと、
   前記コンテンツに含まれる前記注目領域に対応する第１文字情報を取得された前記言語の種類で表される第２文字情報に変換する変換ステップと、
   前記第２文字情報を前記注目領域に表示する対応言語表示ステップと、を表示装置に実行させる表示制御方法。
9. 文字情報を含むコンテンツを表示する表示ステップと、
   人物の視線を検出する視線検出ステップと、
   検出された前記視線に基づいて表示された前記コンテンツ中の注目領域を特定する領域特定ステップと、
   前記人物が携帯する電子機器に関連付けられた言語の種類を取得する言語種類取得ステップと、
   前記コンテンツに含まれる前記注目領域に対応する第１文字情報を取得された前記言語の種類で表される第２文字情報に変換する変換ステップと、
   前記第２文字情報を前記注目領域に表示する対応言語表示ステップと、をコンピューターに実行させる表示制御プログラム。
   
   
   
   

Images