JP2015018365A - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】ＮＵＩにおいて操作対象のＵＩコンポーネントを特定するためのシンボルを、ユーザにわかりやすく通知する。
【解決手段】ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義する呼称定義機能と、上記画像を上記ディスプレイに表示させるとともに、上記呼称を上記領域に関連付けて一時的に上記ディスプレイに表示させる表示制御機能と、上記画像に対する音声入力を取得する音声入力取得機能と、上記音声入力に上記呼称が含まれる場合に、上記領域に関するコマンドを発行するコマンド発行機能とを実現するプロセッサを備える情報処理装置が提供される
【選択図】図２

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

コンピュータのユーザインターフェースのうち、ユーザにとってより自然、または直感的な動作での操作を実現するナチュラルユーザインターフェース（ＮＵＩ：Natural User Interface）が、近年広く注目されている。よく知られているのは、ユーザの発話などによる音声や、ジェスチャなどを入力操作として利用するＮＵＩである。これらの入力操作は個別に用いられることが多いが、例えば特許文献１には、音声による入力操作とジェスチャによる入力操作とを組み合わせて利用する技術が記載されている。

特開２０１２−１０３８４０号公報

しかしながら、例えば、ＮＵＩによって複数のＵＩコンポーネントを選択的に操作しようとする場合、操作対象のＵＩコンポーネントを特定するために、どのようなシンボル（例えば、音声による呼称（address term））が設定されているかが、ユーザにとってわかりにくい場合がある。上述の特許文献１などに記載された技術は、ＮＵＩにおけるユーザ体験（User Experience）の向上に貢献するものであるが、上記の点については必ずしも十分に対応しているとはいえない。

そこで、本開示では、ＮＵＩにおいて操作対象を特定するためのシンボルを、ユーザにわかりやすく通知することを可能にする、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提案する。

本開示によれば、ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義する呼称定義機能と、上記画像を上記ディスプレイに表示させるとともに、上記呼称を上記領域に関連付けて一時的に上記ディスプレイに表示させる表示制御機能と、上記画像に対する音声入力を取得する音声入力取得機能と、上記音声入力に上記呼称が含まれる場合に、上記領域に関するコマンドを発行するコマンド発行機能とを実現するプロセッサを備える情報処理装置が提供される。

また、本開示によれば、プロセッサが、ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義することと、上記画像を上記ディスプレイに表示させるとともに、上記呼称を上記領域に関連付けて一時的に上記ディスプレイに表示させることと、上記画像に対する音声入力を取得することと、上記音声入力に上記呼称が含まれる場合に、上記領域に関するコマンドを発行することとを含む情報処理方法が提供される。

また、本開示によれば、ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義する呼称定義機能と、上記画像を上記ディスプレイに表示させるとともに、上記呼称を上記領域に関連付けて一時的に上記ディスプレイに表示させる表示制御機能と、上記画像に対する音声入力を取得する音声入力取得機能と、上記音声入力に上記呼称が含まれる場合に、上記領域に関するコマンドを発行するコマンド発行機能とをコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、ＮＵＩにおいて操作対象を特定するためのシンボルを、ユーザにわかりやすく通知することができる。

本開示の一実施形態に係る表示装置の概略的な構成を示すブロック図である。 本開示の一実施形態に係る表示装置において実現される概略的な機能構成を示す図である。 本開示の第１の実施形態において定義される画像内の領域のレイヤ構造について説明するための図である。 本開示の第１の実施形態において定義される画像内の領域のレイヤ構造について説明するための図である。 本開示の第１の実施形態における呼称の表示例を示す図である。 本開示の第１の実施形態における呼称の表示例を示す図である。 本開示の第２の実施形態において定義される画像内の領域のレイヤ構造について説明するための図である。 本開示の第２の実施形態における呼称の表示例を示す図である。 本開示の第２の実施形態における呼称の表示例を示す図である。 本開示の第２の実施形態の第１の変形例を示す図である。 本開示の第２の実施形態の第２の変形例を示す図である。 本開示の第２の実施形態の第２の変形例を示す図である。 本開示の第３の実施形態における呼称の表示例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システム構成
１−１．ハードウェア構成
１−２．機能構成
１−３．領域のレイヤ構造
１−４．呼称の表示例
２．第２の実施形態
２−１．領域のレイヤ構造
２−２．呼称の表示例
２−３．変形例
３．第３の実施形態
４．補足

（１．システム構成）
（１−１．ハードウェア構成）
図１は、本開示の一実施形態に係る表示装置の概略的な構成を示すブロック図である。図１を参照すると、表示装置１００は、プロセッサ１０２、メモリ１０４、ストレージ１０６、通信モジュール１０８、ディスプレイ１１０、スピーカ１１２、マイクロフォン１１４、入力装置１１６、カメラモジュール１１８、および接続ポート１２０を含みうる。

表示装置１００は、ユーザの所望に応じてディスプレイ１１０に画像を表示させる各種の装置でありうる。例えば、表示装置１００は、ディスプレイ１１０を有するテレビやＰＣ（Personal Computer）、タブレット端末、スマートフォン、携帯型メディアプレーヤ、または携帯型ゲーム機などであってもよい。また、例えば、表示装置１００は、別体で構成されたディスプレイ１１０に接続されて、ディスプレイ１１０を制御する、ＰＣ、セットトップボックス、レコーダ、またはゲーム機などであってもよい。以下、かかる表示装置１００の構成要素についてさらに説明する。

プロセッサ１０２は、例えばＣＰＵ（Central Processing unit）、ＤＳＰ（Digital Signal Processor）、またはＡＳＩＣ（Application Specific Integrated Circuit）などによって実現され、メモリ１０４に格納されたプログラムに従って動作することによって各種の機能を実現する。プロセッサ１０２は、表示装置１００の各部を制御することによって、各種の入力を取得し、また各種の出力を提供する。なお、プロセッサ１０２によって実現される機能の詳細については後述する。

メモリ１０４は、例えばＲＡＭ（Random Access Memory）またはＲＯＭ（Read Only Memory）として用いられる半導体メモリによって実現される。メモリ１０４には、例えばプロセッサ１０２が動作するためのプログラムが格納される。このプログラムは、例えばストレージ１０６から読み出されてメモリ１０４に一時的に展開されてもよく、メモリ１０４に持続的に格納されていてもよい。あるいは、プログラムは、通信モジュール１０８によって受信されて、メモリ１０４に一時的に展開されてもよい。メモリ１０４は、さらに、プロセッサ１０２の処理によって生成された各種のデータを、一時的または持続的に格納する。

ストレージ１０６は、例えばＨＤＤ（Hard Disk Drive）などの磁気ディスク、光ディスク、もしくは光磁気ディスクなどを利用した記憶装置、またはフラッシュメモリなどによって実現される。ストレージ１０６には、例えばプロセッサ１０２が動作するためのプログラムや、プロセッサ１０２の処理によって生成された各種のデータが持続的に格納される。ストレージ１０６は、リムーバブルメディアを含んで構成されてもよいし、表示装置１００に内蔵されてもよい。

通信モジュール１０８は、プロセッサ１０２の制御に従って有線または無線のネットワーク通信を実行する各種の通信回路によって実現される。無線通信を実行する場合、通信モジュール１０８はアンテナを含んでもよい。通信モジュール１０８は、例えばインターネットやＬＡＮ（Local Area Network）、またはＢｌｕｅｔｏｏｔｈ（登録商標）などの通信規格に従ってネットワーク通信を実行する。

表示装置１００は、出力部としてディスプレイ１１０およびスピーカ１１２を有する。ディスプレイ１１０は、例えばＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどによって実現される。上述のように、ディスプレイ１１０は、表示装置１００と一体であってもよく、別体であってもよい。ディスプレイ１１０は、プロセッサ１０２の制御に従って各種の情報を画像として表示する。なお、ディスプレイ１１０に表示される画像の例については後述する。スピーカ１１２は、プロセッサ１０２の制御に従って各種の情報を音声として出力する。

マイクロフォン１１４は、例えばユーザによる発話音声など、表示装置１００の周辺で発生しているさまざまな種類の音声を取得し、音声データとしてプロセッサ１０２に提供する。ここで、本実施形態において、マイクロフォン１１４は、ＮＵＩにおける音声入力手段として利用される。つまり、マイクロフォン１１４によって提供される音声データはプロセッサ１０２によって解析され、音声データから抽出されたユーザの発話音声などに基づいて各種のコマンドが実行される。

入力装置１１６は、表示装置１００において利用されるその他の入力手段である。入力装置１１６は、例えばキーボード、ボタン、またはマウスなどを含んでもよい。また、入力装置１１６は、ディスプレイ１１０に対応する位置に配設されるタッチセンサを含み、ディスプレイ１１０とタッチセンサとによってタッチパネルが構成されてもよい。なお、マイクロフォン１１４を利用した音声入力によって十分に表示装置１００の操作が可能であるような場合には、別途の入力装置１１６が設けられなくてもよい。

カメラモジュール１１８は、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子と、撮像素子への被写体像の結像を制御するためのレンズなどの光学系と、撮像素子および光学系を駆動させる駆動回路とによって実現される。カメラモジュール１１８は、撮像素子が被写体像を撮像することによって生成された静止画または動画を、画像データとしてプロセッサ１０２に提供する。カメラモジュール１１８によって生成された静止画または動画は、例えばスルー画像として、または記録された画像としてディスプレイ１１０に表示されてもよい。

接続ポート１２０は、表示装置１００に外部装置を直接的に接続するためのポートであり、例えばＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、またはＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどによって実現される。図示された例では、ストレージ１０６、ディスプレイ１１０、スピーカ１１２、マイクロフォン１１４、および入力装置１１６が内部的に（例えばバスなどによって）プロセッサ１０２に接続されているが、これらの構成要素は表示装置１００とは別体であってもよい。このような場合、接続ポート１２０には、例えば表示装置（外部ディスプレイなど）、入力装置（キーボードやマウスなど）、または記憶装置（外部ＨＤＤなど）などが接続されうる。なお、接続ポート１２０に接続される装置はこれらの例には限られず、上述したような装置以外にも各種の装置が接続されうる。

（１−２．機能構成）
図２は、本開示の一実施形態に係る表示装置において実現される概略的な機能構成を示す図である。図２を参照すると、表示装置１００では、画像生成機能１５１、呼称定義機能１５３、表示制御機能１５５、音声入力取得機能１５７、およびコマンド発行機能１５９が実現されうる。

これらの機能は、例えば、表示装置１００のプロセッサ１０２がメモリ１０４に格納されたプログラムに従って動作することによって実現される。また、上記の機能のうちのいくつかは、コマンドＤＢ１６１を参照する。コマンドＤＢ１６１は、例えば、表示装置１００のストレージ１０６に格納され、必要に応じてその一部または全部がメモリ１０４に読み出されてもよい。

（画像生成機能）
画像生成機能１５１は、表示装置１００のディスプレイ１１０に表示するための画像を生成する。例えば、画像は、写真や映像などのコンテンツ画像や、各種のフォーマットで記述されたドキュメント（例えばｈｔｔｐ（hypertext markup language）で記述されたＷｅｂページなどを含む）の画像を含みうる。また、画像は、表示装置１００の操作のために利用されるＧＵＩ（Graphical User Interface）画像を含んでもよい。これらの画像を表示するためのデータは、例えば、ストレージ１０６から読み出されてもよく、また通信モジュール１０８を介してネットワーク上のサーバなどから取得されてもよい。画像生成機能１５１によって生成された画像は、表示制御機能１５５によってディスプレイ１１０に表示される。

例えば、画像生成機能１５１は、複数のサブ画像を含む画像を生成しうる。サブ画像は、例えばコンテンツ画像やドキュメント画像、ＧＵＩ画像などでありえ、これらの画像が所定の領域に配置されることによってディスプレイ１１０に表示される画像が構成されていてもよい。この場合、画像生成機能１５１は、例えばコマンド発行機能１５９によって発行されるコマンドに従って、サブ画像のうちのいずれかをディスプレイ１１０の全体の領域（フルスクリーン）に拡大表示させることが可能でありうる。

また、例えば、画像生成機能１５１は、被写体領域が定義された画像を生成しうる。この画像は、例えば写真や映像などのコンテンツ画像でありえ、画像認識処理、またはユーザの設定操作に基づいて、画像中の被写体領域が認識されている。この場合、画像生成機能１５１は、例えばコマンド発行機能１５９によって発行されるコマンドに従って、被写体領域のうちのいずれかを基準にして画像を拡大表示させることが可能でありうる。このような画像は、例えばディスプレイ１１０の全体の領域（フルスクリーン）に表示されていてもよく、あるいは上記のサブ画像の１つであってもよい。

（呼称定義機能）
呼称定義機能１５３は、画像生成機能１５１によって生成され、表示制御機能１５５によってディスプレイ１１０に表示される画像の少なくとも一部の領域に関する呼称（address term）を定義する。上記の通り、本実施形態では、ディスプレイ１１０に表示される画像が、例えばサブ画像や被写体領域として、画像内に定義される領域を含みうる。呼称定義機能１５３は、これらの領域についてそれぞれ呼称を定義することによって、後述するように音声入力によってディスプレイ１１０における画像の表示を操作することを容易にする。呼称定義機能１５３は、定義された呼称をディスプレイ１１０への表示のために表示制御機能１５５に提供するとともに、呼称に関する情報をコマンドＤＢ１６１に格納する。

例えば、呼称定義機能１５３は、ディスプレイ１１０に表示される画像に含まれる複数のサブ画像の表示領域のそれぞれについて呼称を定義する。この場合、呼称定義機能１５３は、例えばそれぞれのサブ画像を提供するアプリケーション機能の設定情報に基づいて呼称を定義してもよい（例えば、「Ｗｅｂブラウザ」、「メディアプレーヤ」のような呼称が定義されうる）。また、呼称定義機能１５３は、例えばそれぞれのサブ画像に含まれるタイトルまたはテキストなどに基づいて呼称を定義してもよい（例えば、「ニュース」、「メモ」、「映画」のような呼称が定義されうる）。ここで、例えばこれらの例において、重複する呼称が定義される場合、呼称定義機能１５３は、例えば連番などを用いて呼称をユニークにしてもよい（例えば、「Ｗｅｂブラウザ１」「Ｗｅｂブラウザ２」のような呼称が定義されうる）。さらに、呼称定義機能１５３は、例えばそれぞれのサブ画像の画像内での位置に基づいて呼称を定義してもよい（例えば、「左上」、「右下」のような呼称が定義されうる）。

ここで、例えば、呼称定義機能１５３は、上記のサブ画像であるコンテンツ画像またはドキュメント画像など（以下、アプリケーション画像ともいう）が、例えばコマンド発行機能１５９によって発行されるコマンドに従ってディスプレイ１１０の全体の領域に拡大表示された場合、アプリケーション画像に含まれるＧＵＩコンポーネント（例えば、ボタンやタブ、アイコンなどでありうる）の領域について呼称を定義してもよい。この場合、呼称定義機能１５３は、例えばアプリケーション画像を提供するプログラムにおいて定義されたＧＵＩコンポーネントの情報に基づいて呼称を定義してもよい（例えば、「ヘッダ」、「タブ」、「アドレスバー」などの呼称が定義されうる）。

また、例えば、呼称定義機能１５３は、ディスプレイ１１０に表示される画像に含まれる複数の被写体領域のそれぞれについて呼称を定義する。この場合、呼称定義機能１５３は、例えば新たに実行された画像解析の結果、または画像にメタデータとして付加された情報に基づいて呼称を定義してもよい。ここで、例えば画像解析の結果によって被写体の識別が可能であったり、メタデータとして被写体の名称が記録されているような場合、呼称定義機能１５３は、被写体の名称に基づいて被写体領域の呼称を定義してもよい（例えば、「両親」、「子供」、「手」、「顔」のような呼称が定義されうる）。そうではない場合、呼称定義機能１５３は、例えばそれぞれの被写体領域の画像内での位置に基づいて呼称を定義してもよい（例えば、「左上」、「右下」のような呼称が定義されうる）。

また、例えば、呼称定義機能１５３は、ディスプレイ１１０に表示される画像に対する操作について呼称を定義する。ここでいう「画像に対する操作」は、画像の中の特定の領域を指定することなく実行される操作という点で、他の例の操作とは区別されうる。ここで定義される呼称は、ディスプレイ１１０に表示される画像の全部の領域に関する呼称ともいえる。この場合、呼称定義機能１５３は、例えばコマンドＤＢ１６１に予め格納された操作コマンドの名称に基づいて呼称を定義してもよい（例えば、「ズームアウト」、「スクロールダウン」などの呼称が定義されうる）。

（表示制御機能）
表示制御機能１５５は、画像生成機能１５１によって生成された画像をディスプレイ１１０に表示させるとともに、呼称定義機能１５３によって定義された呼称を、呼称に対応する画像内の領域に関連付けて一時的にディスプレイ１１０に表示させる。例えば、表示制御機能１５５は、呼称を、対応する領域の中のどこかの位置にテキストとして表示させる。また、表示制御機能１５５は、呼称に対応する領域を示す枠線などを表示させ、呼称と枠線などを関連付けて表示させてもよい。

上記の通り、表示制御機能１５５による呼称（および枠線など）の表示は一時的なものである。例えば、表示制御機能１５５は、画像生成機能１５１によって新たに生成された画像のディスプレイ１１０への表示を開始してから所定の時間だけ呼称（および枠線など）をディスプレイ１１０に表示させてもよい。所定の時間の経過後は、画像生成機能１５１によって生成された画像だけがディスプレイ１１０に表示されうる。

このように、呼称定義機能１５３によって定義された呼称が当該呼称に対応する領域に関連付けて一時的にディスプレイ１１０に表示されることによって、ユーザは、後述するように音声入力を利用して表示装置１００を操作するにあたり、どのような呼称によって操作対象を特定すればよいかを容易に認識することができる。また、呼称（および枠線など）の表示が一時的なものであり、例えば所定の時間の経過後には消滅することによって、ディスプレイ１１０に表示された画像の視認性を確保することができる。

さらに、表示制御機能１５５は、例えばコマンド発行機能１５９によって発行されるコマンドに従って、呼称（および枠線など）の表示を再開させることが可能でありうる。この場合、表示制御機能１５５は、呼称（および枠線など）の表示を、例えばコマンド発行機能１５９から別途のコマンドが発行されるまで継続してもよい。

（コマンドＤＢ）
コマンドＤＢ１６１には、上述のように、呼称定義機能１５３によって定義された呼称に関する情報が格納される。呼称に関する情報は、例えば、呼称そのものと、呼称によって特定される画像内の領域を特定するための情報を含みうる。例えば、呼称がサブ画像の表示領域に対応して設定される場合には、サブ画像を提供するアプリケーション機能の識別情報（例えば、プロセスＩＤやウインドウＩＤなどでありうる）が呼称とともに格納されうる。また、例えば、呼称がアプリケーション画像に含まれるＧＵＩコンポーネントの領域に対応して設定される場合には、ＧＵＩコンポーネントの識別情報（例えば、ボタンやタブなどに与えられるＩＤでありうる）が呼称とともに格納されうる。さらに、例えば、呼称が被写体領域に対応して設定される場合には、被写体領域の識別情報（例えば、画像内での座標情報でありうる）が呼称とともに格納されうる。

また、コマンドＤＢ１６１には、予め定義された操作コマンドの名称が格納される。操作コマンドの名称は、例えば、上述のように呼称定義機能１５３がディスプレイ１１０に表示される画像に対する操作についての呼称を設定するときに参照されるのに加えて、後述するコマンド発行機能１５９が、ユーザからの音声入力を解析するときにも参照される。操作コマンドには、上述したように画像の中の特定の領域を指定することなく実行されるものに加えて、画像の中の特定の領域を指定して実行されるものも含まれる（例えば、「ズームイン」、「選択する」などの操作コマンドがありうる）。このようなコマンド発行機能１５９は、コマンドＤＢ１６１に格納された操作コマンドの名称を参照することによって音声入力によって指示されているコマンドの種類を特定するとともに、コマンドＤＢ１６１に格納された呼称に関する情報を参照することによって対象の領域を特定する。

（音声入力取得機能）
音声入力取得機能１５７は、ディスプレイ１１０に表示された画像に対する音声入力を取得する。より具体的には、音声入力取得機能１５７は、表示制御機能１５５によってディスプレイ１１０に画像が表示されているときに、マイクロフォン１１４を介して取得されたユーザの音声入力を取得する。上述の通り、マイクロフォン１１４は表示装置１００の周辺で発生しているさまざまな種類の音声を取得するため、音声入力取得機能１５７は、取得された音声データから、ユーザの発話などの所定の音声を抽出する処理を実行してもよい。あるいは、音声入力取得機能１５７とは別に、上記の処理を実行する前処理部（図示せず）が存在してもよい。

（コマンド発行機能）
コマンド発行機能１５９は、音声入力取得機能１５７が取得した音声入力に、呼称定義機能１５３によって定義された呼称が含まれる場合に、その呼称に対応する領域に関するコマンドを発行する。より具体的には、コマンド発行機能１５９は、取得された音声入力から音声認識によって抽出されたテキストに基づいてコマンドＤＢ１６１を参照し、テキストに含まれる呼称および操作コマンドの名称を検索する。該当する呼称および操作コマンドの名称が発見された場合、コマンド発行機能１５９は、テキストに含まれる呼称に対応する領域について、テキストに含まれる名称に対応する操作コマンドを発行する。コマンドは、例えば画像生成機能１５１または表示制御機能１５５に対して発行されうる。

例えば、コマンド発行機能１５９は、ディスプレイ１１０に表示される画像が複数のサブ画像を含む場合に、サブ画像のうちのいずれかをディスプレイ１１０の全体の領域（フルスクリーン）に拡大表示させるためのコマンドを、画像生成機能１５１に対して発行する。このとき、どのサブ画像を拡大表示させるかは、音声入力に含まれる呼称に基づいてコマンドＤＢ１６１を参照することによって決定されうる。

また、例えば、コマンド発行機能１５９は、ディスプレイ１１０に表示される画像が複数の被写体領域を含む場合に、被写体領域のうちのいずれかを基準にして画像を拡大表示させるためのコマンドを、画像生成機能１５１に対して発行する。このとき、どの被写体領域を基準にして画像を拡大表示させるかは、音声入力に含まれる呼称に基づいてコマンドＤＢ１６１を参照することによって決定されうる。

（１−３．領域のレイヤ構造）
図３および図４は、本開示の第１の実施形態において定義される画像内の領域のレイヤ構造について説明するための図である。本実施形態では、呼称定義機能１５３による呼称の定義の対象になる画像内の領域が、以下に説明するようなレイヤ構造に従って設定されうる。

図３に示された例では、レイヤ１〜レイヤ４の４つのレイヤが、上位下位の関係を構成している。つまり、レイヤ１の領域はレイヤ２の領域に対する上位レイヤ領域であり、レイヤ２の領域はレイヤ３の領域に対する上位レイヤ領域であり、レイヤ３の領域はレイヤ４の領域に対する上位レイヤ領域である。本実施形態において、下位レイヤ領域は、上位レイヤ領域に包含される。図示された例では、下位レイヤ領域の全部が上位レイヤ領域に包含されているが、他の例では、下位レイヤ領域の少なくとも一部が上位レイヤ領域に包含されていればよい。

本実施形態において、このようなレイヤ構造は、呼称が表示される画像内の領域を選択するために用いられる。図３に示した例の場合、例えばレイヤ１からレイヤ４までのすべての領域について呼称が画像とともにディスプレイ１１０に表示されると、一時的な表示とはいえ画像の視認性が損なわれる可能性がある。そこで、表示制御機能１５５は、上位レイヤ領域がディスプレイ１１０に表示されている場合には、表示された上位レイヤ領域に包含される下位レイヤ領域の呼称をディスプレイ１１０に表示させうる。

つまり、例えば、表示制御機能１５５は、レイヤ１の領域（上位レイヤ領域）がディスプレイ１１０に表示されている場合には、レイヤ１の領域に包含されるレイヤ２の領域（下位レイヤ領域）の呼称をディスプレイ１１０に表示させる。また、例えば、表示制御機能１５５は、図示された例では２つあるレイヤ２の領域のうちのいずれか（上位レイヤ領域）がディスプレイ１１０に表示されている場合には、表示されているレイヤ２の領域に包含されるレイヤ３の領域（下位レイヤ領域）の呼称をディスプレイ１１０に表示させる。

上記のようなレイヤ構造は、例えば図４に示す例のようなリンク関係または親子関係として定義されてもよい。図示された例では、レイヤ１の領域（１つだけ設定され、例えば画像の全体に対応する）にレイヤ２の２つの領域（レイヤ２−１、レイヤ２−２）が包含され、このうちレイヤ２−１には、レイヤ３の３つの領域（レイヤ３−１、レイヤ３−２、レイヤ３−３）が包含されることなどが示されている。このような関係は、例えば呼称定義機能１５３が各領域に対して呼称を定義するときに特定され、以後表示制御機能１５５やコマンド発行機能１５９によって利用されうる。なお、領域のレイヤ構造の具体的な利用例については後述する。

（１−４．呼称の表示例）
図５および図６は、本開示の第１の実施形態における呼称の表示例を示す図である。本実施形態では、例えば図５の例に示されるように、ディスプレイ１１０に表示される画像に含まれる複数のサブ画像の表示領域のそれぞれについて呼称が定義される。図示された例では、レイヤ１の領域がディスプレイ１１０に表示される画像全体に対応して設定され、レイヤ２の領域が画像に含まれるサブ画像の表示領域について定義される。呼称定義機能１５３は、Ｗｅｂブラウザ（レイヤ２−１）、開発ツール（レイヤ２−２）、テキストエディタ（レイヤ２−３）、およびタスクバー（レイヤ２−４）の各表示領域に対応して呼称を定義しうる。なお、この例において、表示装置１００は、例えばＰＣでありうる。

このとき、表示制御機能１５５は、画像（レイヤ１の領域）をディスプレイ１１０に表示させるとともに、各サブ画像に対応する領域について定義された呼称と、呼称に対応する領域を示す枠線とを、一時的にディスプレイ１１０に表示させる。図では、レイヤ２−１（Ｗｅｂブラウザ）の領域に対応する呼称ＡＴ２−１と、レイヤ２−２（開発ツール）の領域に対応する呼称ＡＴ２−２と、レイヤ２−３（テキストエディタ）の領域に対応する呼称ＡＴ２−３と、レイヤ２−４（タスクバー）の領域に対応する呼称ＡＴ２−４とが、それぞれ表示制御機能１５５によってディスプレイ１１０に一時的に表示される。

その後、画像（レイヤ１の領域）の表示を開始してから所定の時間が経過すると、表示制御機能１５５は呼称ＡＴ２−１〜ＡＴ２−４および枠線の表示を終了し、画像（レイヤ１の領域）だけの表示に戻る。呼称ＡＴ２−１〜ＡＴ２−４の表示中も、表示後も、ユーザは、呼称ＡＴ２−１〜ＡＴ２−４を含む音声入力を表示装置１００に与えることによって、呼称ＡＴ２−１〜ＡＴ２−４に対応する領域に対する操作を実行することができる。例えばユーザが「Zoom in “Web browser”」と発話した場合、この音声入力を音声入力取得機能１５７から提供されたコマンド発行機能１５９によって、後述するような、レイヤ２−１の領域に対応するＷｅｂブラウザの表示領域へのズームイン操作が実行されうる。また、例えばユーザが「Hide Task Bar」と発話した場合、レイヤ２−４の領域に対応するタスクバーの表示が隠されうる。

図６に示された例では、図５に示された第１の例において、ユーザが「Zoom in “Web browser”」と発話した場合の表示の変化が示されている。この場合、コマンド発行機能１５９は、上記の発話の音声入力から音声認識によって抽出されたテキストに基づいてコマンドＤＢ１６１を参照し、「Zoom in」という操作コマンドの名称と、「Web browser」という呼称（図５の例で表示された呼称ＡＴ２−１に対応する）を発見する。そこで、コマンド発行機能１５９は、画像生成機能１５１に対して、Ｗｅｂブラウザのサブ画像（レイヤ２−１の領域に対応する）をディスプレイ１１０に表示される画像の全体の領域に拡大表示させることを要求するコマンドを発行する。画像生成機能１５１は、このコマンドに応じて、ディスプレイ１１０に表示される画像を、レイヤ１の領域を表示する画像から、レイヤ２−１の領域の表示を全体に拡大表示する画像へと変化させる。

このとき、表示制御機能１５５は、新たな画像（レイヤ２−１の領域）をディスプレイ１１０に表示させるとともに、画像に含まれるＧＵＩコンポーネントの領域について定義された呼称と、呼称に対応する領域を示す枠線とを、一時的にディスプレイ１１０に表示させる。図では、レイヤ３−１（タブ）の領域に対応する呼称ＡＴ３−１と、レイヤ３−２（アドレスバー）の領域に対応する呼称ＡＴ３−２と、レイヤ３−３（ヘッダ）の領域に対応する呼称ＡＴ３−３と、レイヤ３−４（ボディ）の領域に対応する呼称ＡＴ３−４と、レイヤ３−５（オプション）の領域に対応する呼称ＡＴ３−５とが、それぞれ表示制御機能１５５によってディスプレイ１１０に一時的に表示される。

なお、図示された例において、新たな画像（レイヤ２−１の領域）がディスプレイ１１０に表示されたときに一時的に表示される呼称ＡＴ３−１〜ＡＴ３−５は、例えば呼称定義機能１５３によって新たに定義されてもよく、また例えばレイヤ２−１の領域がサブ画像としてレイヤ１の領域の画像の中に表示されたときに呼称定義機能１５３によって定義され、図４に示したレイヤ構造のデータとともにコマンドＤＢ１６１などに格納されていてもよい。

さらに、表示制御機能１５５は、ディスプレイ１１０に表示される画像に対する操作についての呼称Ｃ１（ズームアウトの操作に対応する）およびＣ２（スクロールダウンの操作に対応する）を、上記の呼称ＡＴ３−１〜ＡＴ３−５とともにディスプレイ１１０に一時的に表示させる。ディスプレイ１１０に表示される新たな画像（レイヤ２−１の領域）では、Ｗｅｂブラウザの画像が全体に表示されているために、画像の中の特定の領域を指定することなく、例えばズームアウトやスクロールダウンなどの操作を実行することが可能である。そこで、呼称定義機能１５３は、コマンドＤＢ１６１予め格納された操作コマンドの名称の中から、Ｗｅｂブラウザの画像について実行可能な操作コマンドの名称を抽出し、これに対応する呼称を定義する。その結果として、表示制御機能１５５は、呼称Ｃ１，Ｃ２をディスプレイ１１０に一時的に表示させる。呼称Ｃ１，Ｃ２が表示される位置は、例えば、表示されている画像の視認を妨げないように、ディスプレイ１１０の端部付近、または角付近でありうる。

その後、画像（レイヤ２−１の領域）の表示を開始してから所定の時間が経過すると、表示制御機能１５５は呼称ＡＴ３−１〜ＡＴ３−５および枠線、ならびに呼称Ｃ１，Ｃ２の表示を終了し、画像（レイヤ２−１の領域）だけの表示に戻る。呼称ＡＴ３−１〜ＡＴ３−５および呼称Ｃ１，Ｃ２の表示後も、ユーザは、呼称ＡＴ３−１〜ＡＴ３−５または呼称Ｃ１，Ｃ２を含む音声入力を表示装置１００に与えることによって、呼称ＡＴ３−１〜ＡＴ３−５または呼称Ｃ１，Ｃ２に対応する領域に対する操作を実行することができる。

また、ユーザが所定の音声入力（例えば、「Show Commands」など）を表示装置１００に与えた場合、コマンド発行機能１５９は、表示制御機能１５５に対して、呼称ＡＴ３−１〜ＡＴ３−５および枠線、ならびに呼称Ｃ１，Ｃ２を再びディスプレイ１１０に表示させることを要求するコマンドを発行する。表示制御機能１５５は、このコマンドに応じて、上記の呼称および枠線を再びディスプレイ１１０に表示させる。このときに表示される呼称および枠線は、最初に表示されたときと同様に表示が開始されてから所定の時間で消滅してもよいし、ユーザによって意図的に呼び出されたことを考慮して、自動的には消滅しないように設定されていてもよい。この場合、ユーザが別の所定の音声入力（例えば、「Hide Commands」など）を表示装置１００に与えた場合に、表示制御機能１５５はこれらの呼称および枠線）の表示を終了しうる。

（２．第２の実施形態）
続いて、本開示の第２の実施形態について説明する。なお、この第２の実施形態は、上記の第１の実施形態と比較して、以下で説明する領域の構成例および呼称の表示例を除いてはほぼ同様の構成とすることが可能であるため、これらの点以外についての詳細な説明は省略する。

（２−１．領域のレイヤ構造）
図７は、本開示の第２の実施形態において定義される画像内の領域のレイヤ構造について説明するための図である。本実施形態では、ディスプレイ１１０に表示される写真の画像の全体がレイヤ１の領域になる。さらに、レイヤ１の領域に包含されるレイヤ２の２つの領域（レイヤ２−１、レイヤ２−２）が定義される。レイヤ２の２つの領域（レイヤ２−１、レイヤ２−２）は、それぞれレイヤ３の２つの領域（レイヤ３−１、レイヤ３−２と、レイヤ３−３、レイヤ３−４）を包含する。レイヤ３の４つの領域（レイヤ３−１〜レイヤ３−４）のうちの２つ（レイヤ３−３、レイヤ３−４）は、それぞれさらにレイヤ４の２つの領域（レイヤ４−１、レイヤ４−２と、レイヤ４−３、レイヤ４−４）を包含する。

レイヤ２以下の各レイヤの領域は、例えば、画像解析の結果に基づいて特定された被写体領域を含みうる。なお、この場合、必ずしもすべての領域が画像解析の結果に基づいて定義されていなくてもよい。例えば、上位のレイヤの領域（例えばレイヤ２の領域）は、画像解析の結果に基づいて特定された被写体領域に対応する下位のレイヤの領域（例えばレイヤ３、レイヤ４の領域）をグルーピングするための領域として事後的に設定された領域であってもよい。あるいは、被写体領域は、画像解析に加えて、またはこれに代えて、ユーザの設定操作に基づいて特定されてもよい。例えば、被写体領域は、画像解析の結果に基づいて提示された候補領域を、ユーザが承認したり修正したりすることによって決定されたものを含んでもよい。また、これらの領域は、例えば写真の画像データに付随するメタデータによって予め定義されていてもよいし、画像の表示時に画像解析を実行した結果に基づいて新たに定義されてもよい。

（２−２．呼称の表示例）
図８および図９は、本開示の第２の実施形態における呼称の表示例を示す図である。本実施形態では、例えば、図７の例に示されるように、ディスプレイ１１０に表示される画像に含まれる複数の被写体領域のそれぞれについて呼称が定義される。図示された例では、レイヤ１の領域がディスプレイ１１０に表示される写真の画像全体に対応して設定され（なお、写真の画像は、必ずしもディスプレイ１１０の全体に表示されなくてもよい。つまり、上記の第１の実施形態におけるサブ画像の１つとして写真の画像が表示されてもよい）、レイヤ２以下の領域が画像に含まれる被写体領域について定義される。

最初に、図８Ａに示すように、画像（レイヤ１の領域）をディスプレイ１１０に表示させる場合、表示制御機能１５５は、レイヤ２の各領域に対応する領域について定義された呼称と、呼称に対応する領域を示す枠線とを、一時的にディスプレイ１１０に表示させる。図では、レイヤ２−１の領域に対応する呼称ＡＴ２−１と、レイヤ２−２の領域に対応する呼称ＡＴ２−２とが、それぞれ表示制御機能１５５によってディスプレイ１１０に一時的に表示される。

ここで、呼称定義機能１５３は、呼称ＡＴ２−１，ＡＴ２−２として表示される呼称を、例えば画像解析またはユーザからの入力によって特定された被写体の名称に基づいて定義する。例えば、写真の画像データに付随するメタデータに、レイヤ２−１の領域に含まれる被写体が両親であり、レイヤ２−２の領域に含まれる被写体が子供たちであることが記録されていれば、呼称生成機能は、レイヤ２−１の領域について「両親」、レイヤ２−２の領域について「子供たち」という呼称を定義しうる。

その後、画像（レイヤ１の領域）の表示を開始してから所定の時間が経過すると、表示制御機能１５５は呼称ＡＴ２−１，ＡＴ２−２および枠線の表示を終了し、シンプルな画像（レイヤ１の領域）の表示に戻る。呼称ＡＴ２−１，ＡＴ２−２の表示中も、表示後も、ユーザは、呼称ＡＴ２−１，ＡＴ２−２を含む音声入力を表示装置１００に与えることによって、呼称ＡＴ２−１，ＡＴ２−２に対応する領域に対する操作を実行することができる。図示された例では、呼称および枠線の表示が終了する前に、ユーザが「Select “Children”」という音声入力を表示装置１００に与えている。

このとき、コマンド発行機能１５９は、音声入力から音声認識によって抽出されたテキストに基づいてコマンドＤＢ１６１を参照し、「Select」という操作コマンドの名称と、「Children」という領域の呼称（図８Ａの例で表示された呼称ＡＴ２−２に対応する）を発見する。そこで、コマンド発行機能１５９は、画像生成機能１５１に対して、レイヤ２−２の領域を選択状態にすることを要求するコマンドを発行する。画像生成機能１５１は、このコマンドに応じて、図８Ｂに示すように、ディスプレイ１１０に表示される画像においてレイヤ２−２の領域を選択状態で表示する画像を生成し、表示制御機能１５５がこの画像をディスプレイ１１０に表示させる。なお、レイヤ２−２の領域が選択状態であることは、例えば、レイヤ２−２の領域以外の領域を暗く表示したり、レイヤ２−２の領域に枠線をつけて表示したりすることによって表現されうる（この表現については、図８Ｂには必ずしも示されていない）。

ここで、表示制御機能１５５は、図８Ｂに示すように、新たな画像（レイヤ２−２の領域が選択状態になった画像）をディスプレイ１１０に表示させるとともに、選択状態になったレイヤ２−２の領域に包含されるさらに下位のレイヤ領域、つまりレイヤ３−３およびレイヤ３−４の領域について定義された呼称および呼称に対応する領域を示す枠線を、レイヤ２の各領域について定義された呼称および枠線とともに、一時的にディスプレイ１１０に表示させる。図では、呼称ＡＴ２−１，ＡＴ２−２に加えて、さらに呼称ＡＴ３−３，ＡＴ３−４が、表示制御機能１５５によってディスプレイ１１０に一時的に表示される。

その後、画像（レイヤ２−２の領域が選択状態になった画像）の表示を開始してから所定の時間が経過すると、表示制御機能１５５は、上記のそれぞれの呼称および枠線の表示を終了し、シンプルな画像（レイヤ２−２の領域が選択状態になった画像）の表示に戻る。呼称および枠線の表示中も、表示後も、ユーザは、呼称を含む音声入力を表示装置１００に与えることによって、呼称に対応する領域に対する操作を実行することができる。図示された例では、呼称および枠線の表示が終了する前に、ユーザが「Zoom in “Boy”」という音声入力を表示装置１００に与えている。

このとき、コマンド発行機能１５９は、音声入力から音声認識によって抽出されたテキストに基づいてコマンドＤＢ１６１を参照し、「Zoom in」という操作コマンドの名称と、「Boy」という領域の呼称とを発見する。そこで、コマンド発行機能１５９は、画像生成機能１５１に対して、レイヤ３−３の領域を基準にして画像を拡大表示させることを要求するコマンドを発行する。画像生成機能１５１は、このコマンドに応じて、図８Ｃに示すように、レイヤ３−３の領域を基準にして拡大された画像を生成し、表示制御機能１５５がこの画像をディスプレイ１１０に表示させる。上記の図８Ｂの状態において、レイヤ２の領域の呼称（ＡＴ２−１，ＡＴ２−２）に加えて、レイヤ３の一部の領域の呼称（ＡＴ３−３，ＡＴ３−４）が一時的にディスプレイ１１０に表示されたことによって、レイヤ１の領域の画像が表示された状態から、一足飛びに（レイヤ２の領域をスキップして）レイヤ３の領域を基準にした画像の拡大表示を実現することができる。

ここで、表示制御機能１５５は、図８Ｃに示すように、新たな画像（レイヤ３−３の領域を基準にして拡大された画像）をディスプレイ１１０に表示させるとともに、拡大の基準になったレイヤ３−３の領域に包含されるさらに下位のレイヤ領域、つまりレイヤ４−１およびレイヤ４−２の領域について定義された呼称および呼称に対応する領域を示す枠線を、レイヤ３−３の領域について定義された呼称および枠線とともに、一時的にディスプレイ１１０に表示させる。

なお、図示された例では、レイヤ３−３の領域を基準にして画像が拡大表示されるのであって、必ずしもレイヤ３−３がディスプレイ１１０の全体に表示されるわけではないため（多くの場合、被写体領域のアスペクト比とディスプレイ１１０のアスペクト比は一致しない）、画像が拡大表示された後もなお、レイヤ３−３の領域について定義された呼称および領域を表示することが有用でありうる。

また、図８Ｃに示されているように、新たな画像（レイヤ３−３の領域を基準にして拡大された画像）の表示範囲にレイヤ３（拡大の基準になった画像が属するレイヤ）の他の領域（レイヤ３−４の領域）が含まれる場合、この領域について定義された呼称および領域も、表示制御機能１５５によって一時的にディスプレイ１１０に表示されてもよい。

さらに、図８Ｃに示す段階において、表示制御機能１５５は、ディスプレイ１１０に表示される画像に対する操作についての呼称Ｃ１（ズームアウトの操作に対応する）を、上記の呼称とともにディスプレイ１１０に一時的に表示させる。ディスプレイ１１０に表示される新たな画像（レイヤ３−３の領域を基準にして拡大された画像）では、元の画像が拡大して表示されているために、画像の中の特定の領域を指定することなく、例えばズームアウトの操作を実行することが可能である。そこで、呼称定義機能１５３は、コマンドＤＢ１６１に予め格納された操作コマンドの名称の中から、画像について実行可能な操作コマンドの名称を抽出し、これに対応する呼称を定義する。その結果として、表示制御機能１５５は、呼称Ｃ１をディスプレイ１１０に一時的に表示させる。

その後、画像（レイヤ３−３の領域を基準にして拡大された画像）の表示を開始してから所定の時間が経過すると、表示制御機能１５５は上記の呼称および枠線の表示を終了し、シンプルな画像（レイヤ３−３の領域を基準にして拡大された画像）の表示に戻る。呼称の表示中も、表示後も、ユーザは、呼称を含む音声入力を表示装置１００に与えることによって、呼称に対応する領域に対する操作を実行することができる。図示された例では、図９Ａに示されるように、呼称および枠線の表示が終了する前に、ユーザが「”Hand”」という音声入力を表示装置１００に与えている。

このとき、コマンド発行機能１５９は、音声入力から音声認識によって抽出されたテキストに基づいてコマンドＤＢ１６１を参照し、「Hand」という領域の名称を発見する。さらに、コマンド発行機能１５９は、コマンドＤＢ１６１を参照して、操作対象として特定された領域（レイヤ４-１の領域）に対する操作コマンドを推定する。例えば、コマンドＤＢ１６１に、一般的な領域に対して実行可能な操作コマンドとして、「ズームイン」および「選択」が定義されている場合、コマンド発行機能１５９は、レイヤ４が最下層であってさらに下位のレイヤ領域が存在しないため、レイヤ４−１の領域を選択しても意味がないことを認識し、これに基づいて、操作コマンドが「ズームイン」であることを推定しうる。そこで、コマンド発行機能１５９は、画像生成機能１５１に対して、レイヤ４−１の領域を基準にして画像を拡大表示させることを要求するコマンドを発行する。画像生成機能１５１は、このコマンドに応じて、図９Ｂに示すように、レイヤ４−１の領域を基準にして拡大された画像をディスプレイ１１０に表示させる。

ここで、図９Ｂに示す段階において、上記の通りレイヤ４は最下層であるため、表示制御機能１５５は、新たな領域の呼称をディスプレイ１１０に表示させることはない。一方、図９Ａまでで表示されていた画像と同様に、図９Ｂで表示される画像でもズームアウトの操作が可能であるために、表示制御機能１５５は、ズームアウトの操作に対応する呼称Ｃ２をディスプレイ１１０に一時的に表示させる。例えば、表示されている画像の被写体領域との関係に応じて、呼称Ｃ２の表示位置（画像の右上隅）は、図９Ａまでの呼称Ｃ１の表示位置（画像の左下隅）とは異なる位置に設定されてもよい。

その後、画像（レイヤ４−１の領域を基準にして拡大された画像）の表示を開始してから所定の時間が経過すると、表示制御機能１５５は呼称ＡＴ４−１および対応する枠線の表示を終了し、シンプルな画像（レイヤ４−１の領域を基準にして拡大された画像）の表示に戻る。呼称の表示中も、表示後も、ユーザは、呼称を含む音声入力を表示装置１００に与えることによって、呼称に対応する領域に対する操作を実行することができる。図示された例では、図９Ｂに示されるように、呼称および枠線の表示が終了する前に、ユーザが「Show “Girl’s Face“」という音声入力を表示装置１００に与えている。

このとき、コマンド発行機能１５９は、音声入力から音声認識によって抽出されたテキストに基づいてコマンドＤＢ１６１を参照し、「Show」という操作コマンドの名称と、「Girl’s Face」という領域の呼称とを抽出する。しかしながら、図９Ｂの時点で表示されている画像には、「Girl’s Face」という呼称の領域は存在しない。そこで、コマンド発行機能１５９は、領域のレイヤ構造に関連付けてコマンドＤＢ１６１に格納された呼称の情報を検索する。例えば、コマンド発行機能１５９は、「Girl’s Face」というテキストを分解し、まず「Girl」について、次に「Face」について検索を実行する。これは、より下位レイヤ領域についての呼称、例えば「Face」は、互いに異なる上位レイヤ領域に包含される別々の下位レイヤ領域に、重複して定義されている可能性があるためである。

上記の通り、図示された例において、コマンド発行機能１５９は、まず呼称「Girl」についてコマンドＤＢ１６１の検索を実行した結果、レイヤ３−４の領域について定義された呼称「Girl」を発見する。さらに、コマンド発行機能１５９は、レイヤ３−４の領域に包含される下位レイヤ領域の中で呼称「Face」についてコマンドＤＢ１６１の検索を実行した結果、レイヤ４−４の領域について定義された呼称「Face」を発見する。以上の検索結果に基づいて、コマンド発行機能１５９は、画像生成機能１５１に対して、レイヤ４−４の領域を基準にして画像を拡大表示させることを要求するコマンドを発行する。画像生成機能１５１は、このコマンドに応じて、図９Ｃに示すように、レイヤ４−４の領域を基準にして拡大された画像を拡大表示させる。上記の図８Ａ〜図９Ｂの段階を通じて、以前に定義または表示された領域の呼称がコマンドＤＢ１６１に格納されていることによって、その時点ではディスプレイ１１０に表示されていないが、以前に表示されたものをユーザが覚えていた呼称を含む音声入力についても、ユーザの意図をくんだ操作を実現させることができる。

（２−３．変形例）
（第１の変形例）
図１０は、本開示の第２の実施形態の第１の変形例を示す図である。図１０Ａ〜図１０Ｃには、上記で図８Ｂおよび図８Ｃを参照して説明された、ユーザの「Zoom in “Boy”」という発話が音声入力として取得された場合にレイヤ３−３の領域を基準にして画像が拡大表示されるときのディスプレイ１１０の表示の変化が、遷移中の表示（図１０Ｂ）とともに示されている。

図１０Ｂでは、画像生成機能１５１が、ディスプレイ１１０に表示される画像を、レイヤ１の領域の画像から、レイヤ３−３の領域を基準にして拡大表示された画像へと遷移される途中の段階で、表示装置１００（コマンド発行機能１５９）が認識した、音声入力に含まれる呼称を含むテキストＴが表示される。あるいは、テキストＴは、表示装置１００のコマンド発行機能１５９によって発行されたコマンドを示すものであってもよい。ディスプレイ１１０においてこのような表示がされることによって、ユーザは、表示装置１００がユーザの意図に従って動作しているかを認識することができる。例えば、表示装置１００がユーザの音声入力を正しく認識せず、ユーザが意図していないコマンドが実行されたような場合には、このような表示によって、ユーザは、何が起きたのかを理解することができる。

（第２の変形例）
図１１および図１２は、本開示の第２の実施形態の第２の変形例を示す図である。本実施形態では、図７を参照して説明したように、ディスプレイ１１０に表示される写真について、被写体領域を含む領域のレイヤ構造が設定された。図７に示した例では、下位レイヤ領域は上位レイヤ領域にその全部が包含されていたが、本変形例ではそうではない。

例えば、図１１に示されているように、下位レイヤ領域の一部分だけが上位レイヤ領域に包含されるケースがあってもよい。図１１に示した例では、レイヤ４−１の領域の一部分だけが、上位レイヤ領域であるレイヤ３−３の領域に包含されており、他の部分はレイヤ３−３の領域の外に出ている。同様に、レイヤ４−３の領域の一部分だけが、上位レイヤ領域であるレイヤ３−４の領域に包含されており、他の部分はレイヤ３−４の領域の外に出ている。他のレイヤ３またはレイヤ４の領域のように、その全部が上位レイヤ領域に包含される下位レイヤ領域も存在しうる。

図１２は、図１１の例のように領域が設定された場合の画像の拡大表示の例を示す。本変形例では、下位レイヤ領域が必ずしも全部上位レイヤ領域に包含されないため、上位レイヤ領域と下位レイヤ領域との間で認識される関連性が比較的緩やかでありうる。従って、例えばレイヤ３−３の領域を基準にして画像を拡大表示させたような場合も、レイヤ３−３に包含される下位レイヤ領域（レイヤ４−１、レイヤ４−２）の呼称（ＡＴ４−１，ＡＴ４−２）だけではなく、レイヤ３−４に包含される下位レイヤの領域（レイヤ４−３）の呼称（ＡＴ４−３）も表示されうる。

なお、ここで、呼称ＡＴ４−１と呼称ＡＴ４−３とは、元々いずれも「Hand」で重複しているため、呼称定義機能１５３は、呼称ＡＴ４−１を「Hand1」、呼称ＡＴ４−３を「Hand2」というように連番を付加して呼称を区別可能にする。なお、呼称ＡＴ４−１または呼称ＡＴ４−３のうちのいずれか１つしかディスプレイ１１０に表示されない場合、呼称定義機能１５３は連番の負荷を省略しうる。

上記のような表示は、下位レイヤ領域の一部だけが上位レイヤ領域に包含されるか、下位レイヤ領域の全部が上位レイヤ領域に包含されるかにかかわらず可能である。つまり、画像内の領域が、図７に示す例のように構成されている場合も、図１１に示す例のように構成されている場合も可能である。例えば、レイヤ２−２に領域に対する下位レイヤ領域であるレイヤ３−３の領域を基準にして画像が拡大表示された場合、レイヤ３−３の領域に対する下位レイヤ領域であるレイヤ４−１およびレイヤ４−２の呼称が一時的に表示されるのに加えて、画像の表示範囲に含まれるレイヤ３−４の領域と、レイヤ３−４の領域に対する下位レイヤ領域であるレイヤ４−３およびレイヤ４−４の呼称も一時的に表示されうる。ただし、例えばレイヤ４−１またはレイヤ４−２の領域の呼称と、レイヤ４−３またはレイヤ４−４の領域の呼称とが重複する場合、上記のように連番を付加することによって両者が区別されるか、重複するレイヤ４−３またはレイヤ４−４の領域の呼称が表示されなくなることによって、重複が解消されうる。

（３．第３の実施形態）
続いて、本開示の第３の実施形態について説明する。なお、この第３の実施形態は、上記の第１の実施形態と比較して、以下で説明する呼称の表示例を除いてはほぼ同様の構成とすることが可能であるため、呼称の表示例以外についての詳細な説明は省略する。

図１３は、本開示の第３の実施形態における呼称の表示例を示す図である。本実施形態では、例えば図１３の例に示されるように、ディスプレイ１１０に表示される画像に含まれる複数のサブ画像の表示領域のそれぞれについて呼称が定義される。図示された例では、レイヤ１の領域がディスプレイ１１０に表示される画像全体に定義され、レイヤ２の領域が画像に含まれるサブ画像の表示領域について定義される。ディスプレイ１１０に表示される画像は、プレゼンテーションの発表者用に表示される画像であり、現在表示されているスライド（ページ）や、以前に表示されたグラフまたはページなどを示すサブ画像を含む。呼称定義機能１５３は、「現在のスライド」というタイトルの中のメインテキスト（レイヤ２−１）、右側のグラフ（レイヤ２−２）、「現在のスライド」とは別に表示される、直前に表示したグラフ（レイヤ２−３）、直前のページ（レイヤ２−４）、および次のページ（レイヤ２−５）の各表示領域に対応して呼称を定義しうる。

このとき、表示制御機能１５５は、画像（レイヤ１の領域）をディスプレイ１１０に表示させるとともに、各サブ画像に対応する領域について定義された呼称と、呼称に対応する領域を示す枠線とを、一時的にディスプレイ１１０に表示させる。図では、レイヤ２−１（メインテキスト）の領域に対応する呼称ＡＴ２−１と、レイヤ２−２（右側のグラフ）の領域に対応する呼称ＡＴ２−２と、レイヤ２−３（直前に表示したグラフ）の領域に対応する呼称ＡＴ２−３と、レイヤ２−４（直前のページ）の領域に対応する呼称ＡＴ２−４と、レイヤ２−５（次のページ）の領域に対応する呼称ＡＴ２−５とが、それぞれ表示制御機能１５５によってディスプレイ１１０に一時的に表示される。

本実施形態において、表示装置１００に与えられるユーザの音声入力は、例えば、「Show “Last graph”」や「Go to “Next page”」とったようなものでありうる。コマンド発行機能１５９は、このような音声入力に対して、例えば、画像生成機能１５１に対して、直前に参照したグラフを再び大きく表示させることを要求するコマンドや、スライド（ページ）を次に進めることを要求するコマンドなどを発行する。例えば、画像生成機能１５１が、スライド（ページ）を次に進めることを要求するコマンドに基づいて、図では「Next page」として表示されているスライド（ページ）を「現在のスライド」の領域に新たに表示させた場合、それまで「現在のスライド」として表示されていたスライド（ページ）が、今度は「Last Page」として表示されることになる。

本実施形態において、呼称定義機能１５３は、このような領域の表示態様の時系列的な変化に基づいて呼称を定義されてもよい。例えば、呼称定義機能１５３は、それまで「現在のスライド」として表示されていたスライド（ページ）が、「現在のスライド」とは別の場所で、より小さく表示されるようになったような場合に、このスライド（ページ）に対応する領域について「直前のページ」といったような意味の呼称を定義してもよい。

（４．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置（表示装置として説明された）、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義する呼称定義機能と、
前記画像を前記ディスプレイに表示させるとともに、前記呼称を前記領域に関連付けて一時的に前記ディスプレイに表示させる表示制御機能と、
前記画像に対する音声入力を取得する音声入力取得機能と、
前記音声入力に前記呼称が含まれる場合に、前記領域に関するコマンドを発行するコマンド発行機能と
を実現するプロセッサを備える情報処理装置。
（２）前記領域は、上位レイヤ領域と下位レイヤ領域とを含み、
前記表示制御機能は、前記上位レイヤ領域が前記ディスプレイに表示されている場合に、前記表示された上位レイヤ領域に少なくとも一部が包含される下位レイヤ領域の呼称を表示させる、前記（１）に記載の情報処理装置。
（３）前記コマンド発行機能は、前記下位レイヤ領域を拡大表示させるコマンドを発行する、前記（２）に記載の情報処理装置。
（４）前記領域は、前記下位レイヤ領域のさらに下位のレイヤ領域を含み、
前記表示制御機能は、前記下位レイヤ領域が拡大表示された場合に、前記下位レイヤ領域に少なくとも一部が包含される、前記下位レイヤ領域のさらに下位のレイヤ領域の呼称を表示させる、前記（３）に記載の情報処理装置。
（５）前記コマンド発行機能は、前記下位レイヤ領域を選択状態にするコマンドを発行する、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）前記領域は、前記下位レイヤ領域のさらに下位のレイヤ領域を含み、
前記表示制御機能は、前記下位レイヤ領域が選択状態になった場合に、前記下位レイヤ領域に少なくとも一部が包含される、前記下位レイヤ領域のさらに下位のレイヤ領域の呼称を表示させる、前記（５）に記載の情報処理装置。
（７）前記コマンド発行機能は、前記下位レイヤ領域のさらに下位のレイヤ領域を拡大表示させるコマンドを発行する、前記（６）に記載の情報処理装置。
（８）前記上位レイヤ領域は、前記画像の全体の領域に対応し、
前記下位レイヤ領域は、前記画像に含まれる複数のサブ画像のそれぞれの表示領域に対応する、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（９）前記コマンド発行機能は、前記複数のサブ画像のうち前記音声入力に含まれる呼称に対応するサブ画像を前記画像の全体の領域に拡大表示させるコマンドを発行する、前記（８）に記載の情報処理装置。
（１０）前記上位レイヤ領域は、前記画像の全体の領域に表示されるアプリケーション画像に対応し、
前記下位レイヤ領域は、前記アプリケーション画像に含まれるＧＵＩコンポーネントの領域に対応する、前記（２）〜（７）のいずれか１項に記載の情報処理装置。
（１１）前記上位レイヤ領域は、前記画像の全体の領域に対応し、
前記下位レイヤ領域は、前記画像において認識された複数の被写体領域のそれぞれに対応する、前記（２）に記載の情報処理装置。
（１２）前記コマンド発行機能は、前記複数の被写体領域のうち前記音声入力に含まれる呼称に対応する被写体領域を基準にして前記画像を拡大表示させるコマンドを発行する、前記（１１）に記載の情報処理装置。
（１３）前記下位レイヤ領域は、前記上位レイヤ領域に全部が包含される、前記（２）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）前記呼称定義機能は、前記領域に関する設定情報に基づいて前記呼称を定義する、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）前記呼称定義機能は、前記領域の前記画像内での位置に基づいて前記呼称を定義する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）前記呼称定義機能は、前記領域の表示態様の時系列的な変化に基づいて前記呼称を定義する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）前記表示制御機能は、前記音声入力に含まれる呼称を前記ディスプレイに表示させる、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）前記表示制御機能は、前記発行されたコマンドを前記ディスプレイに表示させる、前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）プロセッサが、
ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義することと、
前記画像を前記ディスプレイに表示させるとともに、前記呼称を前記領域に関連付けて一時的に前記ディスプレイに表示させることと、
前記画像に対する音声入力を取得することと、
前記音声入力に前記呼称が含まれる場合に、前記領域に関するコマンドを発行することと
を含む情報処理方法。
（２０）ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義する呼称定義機能と、
前記画像を前記ディスプレイに表示させるとともに、前記呼称を前記領域に関連付けて一時的に前記ディスプレイに表示させる表示制御機能と、
前記画像に対する音声入力を取得する音声入力取得機能と、
前記音声入力に前記呼称が含まれる場合に、前記領域に関するコマンドを発行するコマンド発行機能と
をコンピュータに実現させるためのプログラム。

１００ 表示装置
１０２ プロセッサ
１０４ メモリ
１０６ ストレージ
１０８ 通信モジュール
１１０ ディスプレイ
１１４ マイクロフォン
１５３ 呼称定義機能
１５５ 表示制御機能
１５７ 音声入力取得機能
１５９ コマンド発行機能

Claims (20)

1. ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義する呼称定義機能と、
   前記画像を前記ディスプレイに表示させるとともに、前記呼称を前記領域に関連付けて一時的に前記ディスプレイに表示させる表示制御機能と、
   前記画像に対する音声入力を取得する音声入力取得機能と、
   前記音声入力に前記呼称が含まれる場合に、前記領域に関するコマンドを発行するコマンド発行機能と
   を実現するプロセッサを備える情報処理装置。
2. 前記領域は、上位レイヤ領域と下位レイヤ領域とを含み、
   前記表示制御機能は、前記上位レイヤ領域が前記ディスプレイに表示されている場合に、前記表示された上位レイヤ領域に少なくとも一部が包含される下位レイヤ領域の呼称を表示させる、請求項１に記載の情報処理装置。
3. 前記コマンド発行機能は、前記下位レイヤ領域を拡大表示させるコマンドを発行する、請求項２に記載の情報処理装置。
4. 前記領域は、前記下位レイヤ領域のさらに下位のレイヤ領域を含み、
   前記表示制御機能は、前記下位レイヤ領域が拡大表示された場合に、前記下位レイヤ領域に少なくとも一部が包含される、前記下位レイヤ領域のさらに下位のレイヤ領域の呼称を表示させる、請求項３に記載の情報処理装置。
5. 前記コマンド発行機能は、前記下位レイヤ領域を選択状態にするコマンドを発行する、請求項２に記載の情報処理装置。
6. 前記領域は、前記下位レイヤ領域のさらに下位のレイヤ領域を含み、
   前記表示制御機能は、前記下位レイヤ領域が選択状態になった場合に、前記下位レイヤ領域に少なくとも一部が包含される、前記下位レイヤ領域のさらに下位のレイヤ領域の呼称を表示させる、請求項５に記載の情報処理装置。
7. 前記コマンド発行機能は、前記下位レイヤ領域のさらに下位のレイヤ領域を拡大表示させるコマンドを発行する、請求項６に記載の情報処理装置。
8. 前記上位レイヤ領域は、前記画像の全体の領域に対応し、
   前記下位レイヤ領域は、前記画像に含まれる複数のサブ画像のそれぞれの表示領域に対応する、請求項２に記載の情報処理装置。
9. 前記コマンド発行機能は、前記複数のサブ画像のうち前記音声入力に含まれる呼称に対応するサブ画像を前記画像の全体の領域に拡大表示させるコマンドを発行する、請求項８に記載の情報処理装置。
10. 前記上位レイヤ領域は、前記画像の全体の領域に表示されるアプリケーション画像に対応し、
    前記下位レイヤ領域は、前記アプリケーション画像に含まれるＧＵＩコンポーネントの領域に対応する、請求項２に記載の情報処理装置。
11. 前記上位レイヤ領域は、前記画像の全体の領域に対応し、
    前記下位レイヤ領域は、前記画像において認識された複数の被写体領域のそれぞれに対応する、請求項２に記載の情報処理装置。
12. 前記コマンド発行機能は、前記複数の被写体領域のうち前記音声入力に含まれる呼称に対応する被写体領域を基準にして前記画像を拡大表示させるコマンドを発行する、請求項１１に記載の情報処理装置。
13. 前記下位レイヤ領域は、前記上位レイヤ領域に全部が包含される、請求項２に記載の情報処理装置。
14. 前記呼称定義機能は、前記領域に関する設定情報に基づいて前記呼称を定義する、請求項１に記載の情報処理装置。
15. 前記呼称定義機能は、前記領域の前記画像内での位置に基づいて前記呼称を定義する、請求項１に記載の情報処理装置。
16. 前記呼称定義機能は、前記領域の表示態様の時系列的な変化に基づいて前記呼称を定義する、請求項１に記載の情報処理装置。
17. 前記表示制御機能は、前記音声入力に含まれる呼称を前記ディスプレイに表示させる、請求項１に記載の情報処理装置。
18. 前記表示制御機能は、前記発行されたコマンドを前記ディスプレイに表示させる、請求項１に記載の情報処理装置。
19. プロセッサが、
    ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義することと、
    前記画像を前記ディスプレイに表示させるとともに、前記呼称を前記領域に関連付けて一時的に前記ディスプレイに表示させることと、
    前記画像に対する音声入力を取得することと、
    前記音声入力に前記呼称が含まれる場合に、前記領域に関するコマンドを発行することと
    を含む情報処理方法。
20. ディスプレイに表示される画像の少なくとも一部の領域に関する呼称を定義する呼称定義機能と、
    前記画像を前記ディスプレイに表示させるとともに、前記呼称を前記領域に関連付けて一時的に前記ディスプレイに表示させる表示制御機能と、
    前記画像に対する音声入力を取得する音声入力取得機能と、
    前記音声入力に前記呼称が含まれる場合に、前記領域に関するコマンドを発行するコマンド発行機能と
    をコンピュータに実現させるためのプログラム。

Images