JP2013186628A - 情報処理装置、情報処理方法およびコンピュータプログラム - Google Patents

Abstract

【課題】厳密な操作を行うことなく容易に選択操作が可能な新しいインタフェースを提供する情報処理装置を提供する。
【解決手段】本技術の情報処理装置は、表示部の表示エリアに表示されるＷｅｂページ内における選択可能部分を解析する選択可能部分解析部と、選択可能部分を、操作エリアに選択オブジェクトとして再配置するレイアウト処理部と、を備える。
【選択図】図１

Description

本開示は、操作性の高いインタフェースを提供する情報処理装置、情報処理方法およびコンピュータプログラムに関する。

例えば特許文献１に記載のようなジェスチャを利用した機器やＧＵＩ等の操作は、従来のインタフェースと比較して、より直感的な操作が可能となる。

特開２０１１−２０９７８７号公報

しかし、操作対象がユーザと遠く離れている場合や操作対象が小さい場合においては、細かな操作が必要であり、ジェスチャによる操作は困難となる。また、ジェスチャの認識性能が環境等の影響で悪化し正確な操作ができない場合もある。さらに、ウェブサイト内の選択領域の小さなリンクをクリックする場合や操作可能な部分が密集している箇所での操作を行う場合等においては、意図しない部分を操作してしまうこともある。

このように、正しい操作ができない場合、操作を完了するために数回の操作を繰り返すことになり、ユーザの装置利用のモチベーションを低下させる要因にもなる。また、ハンドジェスチャ等のある程度大きな動きによって操作を行う場合には、ユーザに腕が疲れる等の身体的負担がかかる。そこで、厳密な操作を行うことなく容易に選択操作が可能な新しいインタフェースが求められている。

本開示によれば、表示部の表示エリアに表示されるＷｅｂページ内における選択可能部分を解析する選択可能部分解析部と、選択可能部分を、操作エリアに選択オブジェクトとして再配置するレイアウト処理部と、を備える、情報処理装置が提供される。

また、本開示によれば、表示部の表示エリアに表示されるＷｅｂページ内における選択可能部分を解析するステップと、選択可能部分を、操作エリアに選択オブジェクトとして再配置するステップと、を含む、情報処理方法が提供される。

さらに、本開示によれば、コンピュータを、表示部の表示エリアに表示されるＷｅｂページ内における選択可能部分を解析する選択可能部分解析部と、選択可能部分を、操作エリアに選択オブジェクトとして再配置するレイアウト処理部と、を備える、情報処理装置として機能させるコンピュータプログラムが提供される。

以上説明したように本開示によれば、厳密な操作を行うことなく容易に選択操作が可能な新しいインタフェースを実現することができる。

本開示の第１の実施形態に係る情報処理装置の全体構成を示すブロック図である。 同実施形態に係る情報処理装置のデータ処理部の構成を示すブロック図である。 同実施形態に係る情報処理装置による操作エリアのレイアウト処理を示すフローチャートである。 同実施形態に係る情報処理装置によりレイアウトされる操作エリアの一例を示す説明図である。 図４に示す操作エリアでの操作例を示す説明図である。 図４に示す操作エリアの他の配置例を示す説明図である。 操作ジェスチャの一例を説明する説明図である。 カーソルが指し示している位置の一部を拡大して操作エリアとして表示する場合を示す説明図である。 カーソルが指し示している位置の一部を拡大して操作エリアとして表示する場合の他の一例を示す説明図である。 ジェスチャ反応部分を説明するための説明図である。 小型端末に対してレイアウトされる操作エリアの一例を示す説明図である。 小型端末に対してレイアウトされる操作エリアの他の一例を示す説明図である。 音楽再生アプリケーションの操作画面に対してレイアウトされる操作エリアの一例を示す説明図である。 音楽再生アプリケーションの操作画面に対してレイアウトされる操作エリアの他の一例を示す説明図である。 同実施形態に係る情報処理装置の一ハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理装置の構成
２．操作エリアのレイアウト処理
２−１．Ｗｅｂページにおける操作エリアのレイアウト処理
２−２．操作エリアのバリエーション
３．ハードウェア構成例

＜１．情報処理装置の構成＞
まず、図１および図２を参照して、本開示の第１の実施形態に係る情報処理装置の全体構成について説明する。なお、図１は、本実施形態に係る情報処理装置１００の全体構成を示すブロック図である。図２は、本実施形態に係る情報処理装置１００のデータ処理部１６０の構成を示すブロック図である。

本実施形態に係る情報処理装置１００は、ジェスチャを主として、アプリケーションに応じて音声入力等を操作入力情報として利用する、ウェブページや映像、音楽等のコンテンツ等を操作するための装置である。情報処理装置１００は、図１に示すように、コンテンツ入力部１１０と、画像音声入力部１２０と、画像音声解析部１３０と、ジェスチャ入力部１４０と、ジェスチャ解析部１５０と、データ処理部１６０と、画像出力部１７０と、音声出力部１８０とからなる。

コンテンツ入力部１１０は、操作対象となるコンテンツが入力されるインタフェースである。コンテンツ入力部１１０は、当該情報処理装置１００と接続された機器等から入力されるウェブページや画像、音楽等のコンテンツを受入、データ処理部１６０へ出力する。

画像音声入力部１２０は、コンテンツ入力部１１０から入力されるコンテンツのうち、音声や画像による操作入力が行われる。画像音声入力部１２０は、アプリケーションに応じて音声操作や画像表示面への接触あるいは近接操作等の操作入力を受け、その操作入力情報を画像音声解析部１３０へ出力する。

画像音声解析部１３０は、画像音声入力部１２０から入力された操作入力情報に基づいて、ユーザにより行われた操作内容を解析する。画像音声解析部１３０は、操作入力情報が例えば音声であれば、音声解析によりユーザが指示する操作内容を解析する。また、操作入力情報がユーザの画像表示面への接触あるいは近接操作であれば、画像音声解析部１３０は、画像表示面の接触あるいは近接位置を特定し、対応する位置に表示されている部分を操作対象として特定する。このように、画像音声解析部１３０は、ユーザから入力された操作入力情報より操作内容を解析すると、解析結果をデータ処理部１６０へ出力する。

ジェスチャ入力部１４０は、ユーザが行うジェスチャを操作入力情報として取得する。ジェスチャ入力部１４０は、例えばジェスチャをしているユーザを撮影する撮像装置であってもよく、ユーザの身体のうち動作を行う部位の空間位置を認識可能なセンサであってもよい。ジェスチャ入力部１４０は、取得した操作入力情報をジェスチャ解析部１５０へ出力する。

ジェスチャ解析部１５０は、ジェスチャ入力部１４０から入力された操作入力情報に基づいて、ユーザにより行われた操作内容を解析する。具体的には、ジェスチャ解析部１５０は、ユーザが操作入力を行う部位の位置変化から、その動作内容を解析して、ユーザが指示する操作内容を特定する。ジェスチャ解析部１５０は、ユーザから入力された操作入力情報より操作内容を解析すると、解析結果をデータ処理部１６０へ出力する。

データ処理部１６０は、画像音声解析部１３０あるいはジェスチャ解析部１５０から入力された解析結果に基づいて、コンテンツ入力部１１０から入力されたコンテンツの表示処理を行う。ジェスチャや接触操作を利用したシステムにおいては、操作対象がユーザから離れていたり小さかったりすると、細かな操作が必要となる。また、ジェスチャの認識性能が環境等の影響で悪化して正確な操作をすることが困難となる場合もある。

そこで、本実施形態に係るデータ処理部１６０は、後述する画像出力部１７０に表示されるコンテンツ内に含まれる選択可能なオブジェクトを容易に選択することができるように、ユーザが操作入力を行う操作エリアにこれらのオブジェクトを大きく再配置する。これにより、操作が困難なコンテンツに対する操作性を向上させることができる。具体的には、データ処理部１６０は、図２に示すように、操作エリア表示判定部１６２と、選択可能部分解析部１６４と、レイアウト処理部１６６とからなる。

操作エリア表示判定部１６２は、画像出力部１７０に表示されるコンテンツに含まれる選択可能部分を、コンテンツを通常通り表示する表示エリアとは異なる操作エリアに再配置するか否かを判定する。操作エリア表示判定部１６２は、例えば、表示エリアに表示されるコンテンツ内に選択可能部分が存在する場合に、当該選択部分を操作エリアに再配置して表示してもよい。あるいは、コンテンツ内で選択可能部分が集中している場合、選択可能部分の文字サイズが所定サイズ以下である場合等に、操作エリア表示判定部１６２は、当該選択部分を操作エリアに再配置して表示してもよい。操作エリア表示判定部１６２は、操作エリアの表示を決定すると、選択可能部分解析部１６４に対して、操作エリアに再配置する選択可能部分を特定する処理の実行を指示する。

選択可能部分解析部１６４は、コンテンツに含まれる選択可能部分のうち、操作エリアに再配置する選択可能部分を特定する。選択可能部分解析部１６４は、コンテンツの構成を解析し、選択可能部分を抽出する。そして、選択可能部分解析部１６４は、抽出した選択可能部分の情報を、レイアウト処理部１６６へ出力する。

レイアウト処理部１６６は、選択可能部分解析部１６４により抽出された選択可能部分を、画像出力部１７０の操作エリアに再配置して表示する。レイアウト処理部１６６は、コンテンツの選択可能部分を、ユーザがジェスチャや接触操作等によって操作し易いように、表示エリアに表示された元の選択可能部分よりも大きく操作エリアに配置する。選択可能部分の操作エリアへの再配置する処理についての詳細は後述する。ユーザは、操作エリアに再配置された選択オブジェクトに対して操作入力を行うことで、表示エリアに表示されたコンテンツの選択可能部分を選択する操作を行うことができる。

レイアウト処理部１６６は、この際、操作エリアで選択されている選択オブジェクトと、表示エリアに表示されているコンテンツの選択可能部分との対応関係を示す表示を行ってもよい。対応関係を示す表示としては、例えば、操作エリアで選択されている選択オブジェクトと、これに対応する表示エリアのコンテンツの選択可能部分とを、同一種類の枠で囲んだり、同一色で表示したりすることが考えられる。レイアウト処理部１６６は、画像音声解析部１３０またはジェスチャ解析部１５０からユーザの操作内容を取得する。そして、レイアウト処理部１６６は、ユーザの選択位置が操作エリア内にある場合には、当該操作エリアで選択している選択オブジェクトと、これに対応するコンテンツの選択可能部分とに、対応関係を示す表示を施す。これにより、ユーザは操作エリアで選択している部分がコンテンツのどの部分に対応するかを容易に認識することができる。

レイアウト処理部１６６は、作成した操作エリアのレイアウト情報や、操作エリアで選択されている選択オブジェクトと表示エリアの選択可能部分との対応関係情報等を画像出力部１７０へ出力し、表示させる。また、表示されているコンテンツに音声情報もある場合には、レイアウト処理部１６６は、当該音声情報を音声出力部１８０へ出力する。

画像出力部１７０は、レイアウト処理部１６６から入力されたレイアウト情報や対応関係情報等の情報に基づいて、当該情報を表示する表示部である。画像出力部１７０には、例えば液晶ディスプレイや有機ＥＬディスプレイ等を用いることができる。

音声出力部１８０は、レイアウト処理部１６６から入力された音声情報を出力する。音声出力部１８０には、例えばスピーカ等の音声出力装置を用いることができる。

＜２．操作エリアのレイアウト処理＞
［２−１．Ｗｅｂページにおける操作エリアのレイアウト処理］
本実施形態に係る情報処理装置１００は、画像出力部１７０の表示エリアに表示されているコンテンツに含まれる選択可能部分を選択し易くするために、操作エリアに当該選択可能部分を選択オブジェクトとして再配置する。以下、図３〜図７に基づいて、本実施形態に係る情報処理装置１００による操作エリアのレイアウト処理について説明する。なお、図３は、本実施形態に係る情報処理装置１００による操作エリアのレイアウト処理を示すフローチャートである。図４は、本実施形態に係る情報処理装置１００によりレイアウトされる操作エリアの一例を示す説明図である。図５は、図４に示す操作エリアでの操作例を示す説明図である。図６は、図４に示す操作エリアの他の配置例を示す説明図である。図７は、操作ジェスチャの一例を説明する説明図である。

本実施形態に係る情報処理装置１００による操作エリアのレイアウト処理は、図３に示すように、まず、画像出力部１７０に出力するコンテンツの内容を表すコンテンツデータをコンテンツ入力部１１０から取得することから開始される（Ｓ１００）。コンテンツ入力部１１０は、コンテンツデータを取得すると、当該データをデータ処理部１６０へ出力する。

次いで、データ処理部１６０は、操作エリア表示判定部１６２により、取得したコンテンツデータに選択可能部分が含まれるか否かを解析する（Ｓ１１０）。ステップＳ１１０では、表示エリアに表示するコンテンツに含まれる選択可能部分を、表示エリアとは異なる操作エリアに再配置するか否かを判定するためにコンテンツデータを解析している。操作エリア表示判定部１６２は、解析結果に基づいて、コンテンツに含まれる操作可能部分を操作エリアに再配置するレイアウト処理を行うか否かを判定する（Ｓ１２０）。

ステップＳ１２０の判定は、例えば、表示エリアに表示されるコンテンツ内に選択可能部分が存在するか否か、コンテンツ内で選択可能部分が集中しているか否か、あるいは、選択可能部分の文字サイズが所定サイズ以下であるか否かに応じて行うことができる。例えば、コンテンツ内に選択可能部分が存在する場合には、後述するステップＳ１３０、Ｓ１４０の処理を実行し、当該選択可能部分を操作エリアに再配置して表示してもよい。また、表示エリアに表示されるコンテンツ内で、所定面積内に所定数以上の選択可能部分が存在する場合に選択可能部分が集中していると判断して、当該選択可能部分を操作エリアに再配置して表示してもよい。あるいは、コンテンツの選択可能部分の文字サイズが、所定サイズ以下であるときに当該選択部分を操作エリアに再配置して表示してもよい。

すなわち、操作エリア表示判定部１６２は、コンテンツ内に含まれる選択可能部分をジェスチャや接触操作等によって選択し難いと判断される場合に、選択可能部分を操作エリアに再配置し、ユーザが選択操作を行い易いようにする。ステップＳ１２０にて操作エリアを表示してコンテンツ内の選択可能部分を再配置することが決定されると、選択可能部分解析部１６４は、操作エリアに再配置する選択可能部分を特定する（Ｓ１３０）。選択可能部分はコンテンツのソースデータからリンクを持つリンク部分であり、選択可能部分解析部１６４は、当該リンク部分を抽出することで、操作エリアに再配置する選択可能部分を取得する。

例えば、図４に示すように、画像出力部１７０の画像表示面２００にコンテンツの一例であるＷｅｂページが表示されているとする。画像表示面２００は、コンテンツが通常通りに表示される表示エリア２１０と、コンテンツに含まれる選択可能部分を選択オブジェクトとして再配置して表示する操作エリア２２０とからなる。図４に示す例では、表示エリア２１０と操作エリア２２０とは画像出力部１７０の同一画面内に設けられている。これにより、ユーザは表示エリア２１０と操作エリア２２０とを同時に視認しやすくなり、操作エリア２２０での操作と表示エリア２１０での操作位置との対応を認識しやすくなる。なお、操作エリア２２０は、ステップＳ１２０にて操作エリア２２０を表示すると決定された場合にのみ表示させることができ、この場合には、画像出力部１７０の画像表示面２００には表示エリア２１０のみが表示される。

図４の表示エリア２１０に表示されているＷｅｂページには、例えば「サイトマップ」や「グループリンク」へのリンク部分２１２Ａや、「お問合せ・サポート」、「技術情報」等へのリンク部分２１２Ｂが含まれている。さらに、当該Ｗｅｂページには、「製品情報」、「ゲーム」、「映画」、「音楽」等へのリンク部分２１２Ｃや、例えばリンク部分２１２Ｂ、２１２Ａで選択された項目が表示される詳細情報表示エリア２１２Ｄ等がある。詳細情報表示エリア２１２Ｄに表示される情報にも、他のＷｅｂページとリンク付けされたリンク部分が含まれていたりする。ステップＳ１３０では、このようなＷｅｂページ内のリンク部分をソースデータから抽出する。

ステップＳ１３０にて選択可能部分が特定されると、レイアウト処理部１６６は、選択可能部分を選択オブジェクトとして操作エリア２２０に再配置する（Ｓ１４０）。操作エリア２２０では、例えば図４に示すように、コンテンツから特定された選択特定部分を選択オブジェクト２２２として一列に配置して表示する。このとき、操作エリア２２０の選択オブジェクト２２２のサイズを、表示エリア２１０の各選択可能部分より大きくすることで、操作を認識する領域を大きくして、厳密な操作入力でなくとも所望の選択可能部分を選択できるようにする。

操作エリア２２０の選択オブジェクト２２２のサイズを大きくすると、表示エリア２１０から抽出された選択可能部分の数が多い場合選択オブジェクト２２２の数が多くなり、操作エリア２２０内に全ての選択オブジェクト２２２を表示することができなくなる。この場合、例えば図４に示すように、操作エリア２２０に表示する複数の選択オブジェクト２２２のうち所定サイズで一部のみを表示する。操作エリア２２０に表示できない選択オブジェクト２２２については、操作エリア２２０に設けられたスクロールボタン２２４ａ、２２４ｂを押下することで操作エリア２２０内に一列に配置された選択オブジェクト２２２を所定の向きにスクロールできるようにする。これにより、コンテンツ内に選択可能部分が多く含まれている場合にも、選択可能部分に対応する選択オブジェクトの全てを操作エリア２２０に選択可能に表示することができる。

ステップＳ１４０にて操作エリア２２０のレイアウトを決定すると、レイアウト処理部１６６は、画像出力部１７０に操作エリア２２０を表示する（Ｓ１５０）。これにより、例えば図４に示すように、表示エリア２１０にコンテンツが通常通りに表示されるとともに、コンテンツ内に含まれる選択可能部分が選択オブジェクト２２２として操作エリア２２０に表示される。画像表示面２００に表示されている情報は、これらの情報を操作するためのカーソル２３０によって操作することができ、カーソル２３０は、ユーザのジェスチャや画像表示面２００への接触操作によって動かすことができる。ユーザは、カーソル２３０を動かして、表示エリア２１０に表示されている選択可能部分を直接操作してもよく、操作エリア２２０の選択オブジェクト２２２を操作することで表示エリア２１０に表示されているコンテンツを操作してもよい。

ここで、操作エリア２２０内の選択オブジェクト２２２をカーソル２３０で操作したときに、レイアウト処理部１６６は、選択された選択オブジェクト２２２とこれに対応するコンテンツ内の選択可能部分とに対応関係を示す対応表示処理を行う。対応表示は、例えば図４に示すように、カーソル２３０により選択中の選択オブジェクト２２２とこれに対応する選択可能部分とに同一の枠２２５、２１５を付けたり、同一のハイライト表示をしたりすること等が考えられる。このような対応表示を行うことで、ユーザは操作エリア２２０においてコンテンツのどの部分を操作しているのかを容易に認識することができ、操作エリア２２０での操作性を向上させることができる。

対応表示は、例えば図５に示すように、図４で「映画」の選択オブジェクト２２２を選択した状態から「インターネット」の選択オブジェクト２２２を選択した状態となったとする。このとき、選択されている選択オブジェクト２２２の変更に伴い、表示エリア２１０に表示されているコンテンツ内の対応する選択可能部分の対応表示（枠２２５、２１５）の位置も変更される。

以上、本実施形態に係る情報処理装置１００による操作エリアのレイアウト処理について説明した。このように、表示目年２００に、Ｗｅｂページ等のコンテンツを表示する表示エリア２１０とともに、コンテンツ内の選択可能部分を選択オブジェクト２２２として再配置した操作エリア２２０を設ける。この際、選択オブジェクト２２２を選択可能部分よりも大きいサイズとすることで、操作し難い操作対象の操作を容易にすることができる。

なお、操作エリア２２０は、図４の例では画像表示面２００の右端に配置したが、本発明はかかる例に限定されない。例えば、図６に示すように、画像表示面２００の左端に操作エリア２２０を配置してもよい。操作エリア２２０の表示位置は、ユーザの利き手等を考慮して、画像表示面２００の操作し易い位置に配置すればよい。

また、図４に示すように操作エリア２２０に一列に選択オブジェクト２２２が配置されているとき、選択オブジェクト２２２の選択操作に続けて、その後のユーザの操作入力に応じて次の処理を実行できるようにしてもよい。例えば、図７に示すように、選択中の選択オブジェクト２２２（中央のセル部分）を基準として、放射状に８方向を規定する。このとき、選択中の選択オブジェクト２２２からいずれかの方向にジェスチャを行う手や画像表示面２００に接触している指等が移動したことが検知すると、データ処理部１６０は、移動した方向に応じて割り当てられた処理を実行する。例えば、図７において、選択中の選択オブジェクト２２２の位置から第４の方向（紙面右側）へ移動したときに、選択中の選択オブジェクト２２２に関連付けられた処理を実行するようにしてもよい。これにより、ユーザは選択オブジェクト２２２の選択操作に続けて当該選択オブジェクト２２２に関連付けられた処理を実行することができ、操作性を向上させることができる。

なお、選択オブジェクト２２２の選択操作から連続して次の処理を実行させる操作としては、図７の例以外にも、例えば音声により次の処理を指示してもよく、ジェスチャを行う手の形状を変化させて次の処理を指示してもよい。あるいは、選択中の選択オブジェクト２２２上に所定時間以上カーソル２３０を置いて長押し操作をすることで、次の処理を指示することもできる。

［２−２．操作エリアのバリエーション］
操作エリアのレイアウトは、図４に示した以外のレイアウトであってもよい。また、操作対象となるコンテンツはＷｅｂページ以外であってもよい。以下、図８〜図１４に基づいて、様々なコンテンツに対する操作エリアのバリエーションを説明する。

（１）選択部分の拡大表示
まず、コンテンツがＷｅｂページである場合、図４以外の操作エリアのバリエーションとして、カーソル２３０が指し示している位置の一部を拡大して操作エリア２４０として表示することもできる。例えば図８上図に示すように、画像出力部１７０の画像表示面２００に通常通りにＷｅｂページが表示される表示エリア２１０が設けられている。表示エリア２１０にて、カーソル２３０がＷｅｂページ内の選択可能部分上に置かれたとき、レイアウト処理部１６６は、カーソル２３０の位置近辺の選択可能部分の一部をそのまま拡大して操作エリア２４０として表示エリア２１０上に表示する。操作エリア２４０内の各選択可能部分が選択オブジェクト２４２となる。

操作エリア２４０は、拡大元となる領域と隣接して表示される。これにより、拡大元の内容と操作エリア２４０内の選択オブジェクト２４２とを同時に視認し易くすることができる。また、表示エリア２１０での操作から操作エリア２４０での操作と、ジェスチャを連続的に行うことも可能となり、操作性を向上させることができる。また、操作エリア２４０と表示エリア２１０の拡大元部分とを同一種類の枠で囲む等して対応関係を明確にしてもよい。

操作エリア２４０内の選択オブジェクト２４２のうち１つをカーソル２３０により選択すると、表示エリア２１０の対応する選択可能部分が選択される。このとき、図８下図に示すように、操作エリア２４０内の選択オブジェクト２４２が選択されると、当該選択オブジェクト２４２とこれに対応する表示エリア２１０内の選択可能部分との対応関係を示す対応表示処理が行われる。対応表示は、例えば図８下図に示すように、カーソル２３０により選択中の選択オブジェクト２４２とこれに対応する選択可能部分とに同一の枠２４５、２１５を付けたり、同一のハイライト表示をしたりすること等が考えられる。このような対応表示を行うことで、ユーザは操作エリア２４０においてコンテンツのどの部分を操作しているのかを容易に認識することができ、操作エリア２４０での操作性を向上させることができる。

図８に示すようなＷｅｂページの構成以外にも、例えば図９に示すような一覧表示画面３００においても同様に操作エリア３２０をレイアウトすることができる。すなわち、例えばニュース一覧が表示エリア３１０に表示されているとき、カーソル３３０により指し示される位置近辺の一部を拡大して操作エリア３２０として表示する。このとき、操作エリア３２０は、拡大元となる領域と隣接して表示される。これにより、表示エリア３１０では選択面積の小さいニュース一覧の各項目が操作エリア３２０において拡大表示されるため、選択面積が大きくなり所望の項目の選択操作が容易になる。

このとき、図８と同様、操作エリア３２０と対応する拡大元部分との対応関係がわかるように同一種類の枠で囲む等してもよい。また、操作エリア３２０内の選択オブジェクトのうち１つがカーソル３３０により選択されると、選択された選択オブジェクトとこれに対応する表示エリア３１０の選択可能部分との対応関係を示す対応表示を行ってもよい。これにより、ユーザは操作エリア３２０においてコンテンツのどの部分を操作しているのかを容易に認識することができ、操作エリア３２０での操作性を向上させることができる。

なお、図８や図９に示すように、表示エリアの一部を拡大して操作エリアとして表示することで、上述したように表示エリアでの操作から操作エリアでの操作と、ジェスチャを連続的に行うことも可能となる。また、操作エリアで選択オブジェクトの選択面積が大きくなることで、ジェスチャを認識する反応部分が広くなり、例えば図１０に示すように粒度の粗い操作であってもジェスチャ操作を認識することが可能となる。

（２）小型端末への適用
図４に示したような操作レイアウト２２０は、操作性の観点から、例えばテレビやデスクトップパソコンのディスプレイ、巨大スクリーン等へコンテンツを表示させた場合等に主に適用されることが考えられる。一方で、携帯電話機やスマートフォン、タブレット端末等のような小型端末においても同様に、表示エリアに表示されるコンテンツ内の選択可能部分を操作エリアに選択オブジェクトとして再配置することで、操作性を向上させることができる。小型端末では特に画像出力部１７０の表示面積が小さいことから、操作エリアを設けることによる効果は大きい。

例えばスマートフォンでのコンテンツの操作では、図１１のように、画像表示面４００に、通常通りにＷｅｂページ等のコンテンツを表示する表示エリア４１０と、表示エリア４１０の選択可能部分を選択オブジェクトとして再配置した操作エリア４２０とが表示される。操作エリア４２０は、図３の処理と同様に、表示エリア４１０内の選択可能部分を特定し、選択オブジェクトとして操作エリア４２０内に一列に再配置する。このとき、操作性の観点から、操作エリア４２０を画面下部に設け、横一列に操作オブジェクトを配置してもよい。すなわち、図１１に示すような端末においては、ユーザが端末を保持した際に操作しやすいと考えられる画面下部に操作エリア４２０を配置することで、操作性を向上させることができる。

また、表示エリア４１０から抽出された選択可能部分が多く、所定のサイズ以上の選択オブジェクトとして全てを操作エリア４２０に表示できない場合には、操作エリア４２０にスクロールボタン４２４ａ、４２４ｂを設ける。当該スクロールボタン４２４ａ、４２４ｂを押下することで操作エリア４２０内に一列に配置された選択オブジェクトを所定の向きにスクロールできるようにする。これにより、コンテンツ内に選択可能部分が多く含まれている場合にも、選択可能部分に対応する選択オブジェクトの全てを操作エリア４２０に選択可能に表示することができる。

さらに、カーソル４３０によって操作エリア４２０内の選択オブジェクトのうち１つが選択されると、選択された選択オブジェクトとこれに対応する表示エリア４１０の選択可能部分との対応関係を示す対応表示（枠４２５、４１５）を行ってもよい。これにより、ユーザは操作エリア４２０においてコンテンツのどの部分を操作しているのかを容易に認識することができ、操作エリア４２０での操作性を向上させることができる。

あるいは、スマートフォンでのコンテンツの操作を、図１２のように、カーソル４３０が指し示している位置の一部を拡大して操作エリア４４０として表示することもできる。例えば図１２に示すように、画像出力部１７０の画像表示面４００に通常通りにＷｅｂページが表示される表示エリア４１０が設けられている。表示エリア４１０にて、カーソル４３０がＷｅｂページ内の選択可能部分上に置かれたとき、レイアウト処理部１６６は、カーソル４３０の位置近辺の選択可能部分の一部をそのまま拡大して操作エリア４４０として表示エリア４１０上に表示する。操作エリア４４０内の各選択可能部分が選択オブジェクトとなる。

操作エリア４４０は、例えば図８と同様、拡大元となる領域と隣接して表示される。これにより、拡大元の内容と操作エリア４４０内の選択オブジェクトとを同時に視認し易くすることができる。また、表示エリア４１０での操作から操作エリア４４０での操作と、ジェスチャを連続的に行うことも可能となり、操作性を向上させることができる。また、操作エリア４４０と表示エリア４１０の拡大元部分とを同一種類の枠で囲む等して対応関係を明確にしてもよい。

さらに、操作エリア４４０内の選択オブジェクトのうち１つをカーソル４３０により選択すると、表示エリア４１０の対応する選択可能部分が選択される。このとき、選択された選択オブジェクトとこれに対応する表示エリア４１０内の選択可能部分との対応関係を示す対応表示処理が行われる。対応表示は、カーソル４３０により選択中の選択オブジェクトとこれに対応する選択可能部分とに同一の枠を付けたり、同一のハイライト表示をしたりすること等が考えられる。このような対応表示を行うことで、ユーザは操作エリア４４０においてコンテンツのどの部分を操作しているのかを容易に認識することができ、操作エリア４４０での操作性を向上させることができる。

（３）他のアプリケーションへの適用
上記では、Ｗｅｂページ等のコンテンツを操作する場合に、表示エリアとともに操作エリアを表示して操作性を向上させる場合について説明したが、本実施形態に係る情報処理装置１００によるレイアウト処理は、他のアプリケーションにも適用できる。例えば音楽データを再生する音楽再生アプリケーション等への適用が考えられる。

図１３に音楽再生アプリケーションの操作画面５００の一例を示す。操作画面５００には、音楽データの一覧を表示する表示エリア５１０と、表示エリア５１０の選択可能部分を選択オブジェクトとして再配置した操作エリア５２０とが表示される。表示エリア５１０には、例えば音楽アルバムに含まれる楽曲のトラック番号、タイトル、アーティスト名、アルバム名等が一覧表示されており、一覧から選択された一曲に対して再生等の操作を行うことができる。このとき、表示エリア５１０での楽曲の選択は選択面積が小さいことから誤操作等が生じやすく、操作し難い。そこで、本実施形態に係る情報処理装置１００により、一覧の各楽曲を選択可能部分とし、これらを操作エリア５２０に選択オブジェクト５２２として再配置する。

操作エリア５２０には、例えば図１３に示すように、トラック番号とタイトルとを表示した選択オブジェクト５２２を一列に再配置することができる。また、表示エリア５１０に表示された楽曲が多く、所定のサイズ以上の選択オブジェクト５２２として全てを操作エリア５２０に表示できない場合には、操作エリア５２０にスクロールボタン５２４ａ、５２４ｂを設ける。当該スクロールボタン５２４ａ、５２４ｂを押下することで操作エリア５２０内に一列に配置された選択オブジェクト５２２を所定の向きにスクロールできるようにする。これにより、楽曲が多い場合にも、各楽曲に対応する選択オブジェクト５２２の全てを操作エリア５２０に選択可能に表示することができる。

操作エリア５２０内の選択オブジェクト５２２のうち１つが選択されると、選択された選択オブジェクト５２２とこれに対応する表示エリア５１０の選択可能部分との対応関係を示す対応表示（枠５２５、５１５）を行ってもよい。これにより、ユーザは操作エリア５２０において一覧のどの部分を操作しているのかを容易に認識することができ、操作エリア５２０での操作性を向上させることができる。

あるいは、図１４のように、カーソル５３０が指し示している位置の一部を拡大して操作エリア５４０として表示することもできる。画像出力部１７０に表示された操作画面５００には、通常通りに楽曲一覧が表示される表示エリア５１０が設けられている。表示エリア５１０にて、カーソル５３０が楽曲一覧の選択可能部分上に置かれたとき、レイアウト処理部１６６は、カーソル５３０の位置近辺の選択可能部分の一部をそのまま拡大して操作エリア５４０として表示エリア５１０上に表示する。操作エリア５４０内の各選択可能部分が選択オブジェクトとなる。

操作エリア５４０は、例えば図８と同様、拡大元となる領域と隣接して表示される。これにより、拡大元の内容と操作エリア５４０内の選択オブジェクトとを同時に視認し易くすることができる。また、表示エリア５１０での操作から操作エリア５４０での操作と、ジェスチャを連続的に行うことも可能となり、操作性を向上させることができる。また、操作エリア５４０と表示エリア５１０の拡大元部分とを同一種類の枠で囲む等して対応関係を明確にしてもよい。

さらに、操作エリア５４０内の選択オブジェクトのうち１つをカーソル５３０により選択すると、表示エリア５１０の対応する選択可能部分が選択される。このとき、選択された選択オブジェクトとこれに対応する表示エリア５１０内の選択可能部分との対応関係を示す対応表示処理が行われる。対応表示は、カーソル５３０により選択中の選択オブジェクトとこれに対応する選択可能部分とに同一の枠を付けたり、同一のハイライト表示をしたりすること等が考えられる。このような対応表示を行うことで、ユーザは操作エリア５４０において楽曲一覧のどの部分を操作しているのかを容易に認識することができ、操作エリア５４０での操作性を向上させることができる。

以上、本実施形態に係る情報処理装置１００の構成とこれによる操作エリアのレイアウト処理について説明した。情報処理装置１００は、例えば表示エリアに表示されているＷｅｂページ等のコンテンツから、ジェスチャ操作（選択）対象となりえる選択可能部分を抜きだし、ジェスチャ操作用に新たに選択オブジェクトとして操作エリアにレイアウトする。このとき、選択オブジェクトを表示エリアに表示されている選択可能部分よりも大きく表示することで、選択面積を大きくし、厳密な操作をせずとも容易に所望の選択可能部分を操作することができる。さらに、操作エリアで選択されている選択オブジェクトと、表示エリアに表示されている元のＷｅｂページとの対応関係が分かるように同時に表示する。対応関係を示す対応表示をしてもよい。これにより、さらに操作性を向上させることができる。

＜３．ハードウェア構成例＞
本実施形態に係る情報処理装置１００による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、情報処理装置１００は、図１５に示すように構成することもできる。以下、図１５に基づいて、本実施形態に係る情報処理装置１００の一ハードウェア構成例について説明する。

本実施形態に係る情報処理装置１００は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理装置１００は、図１５に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理装置１００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置（ＨＤＤ）９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

ストレージ装置９０８は、情報処理装置１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、上記実施形態では、ユーザが操作エリアにおいて指などを接触させた操作位置に応じて画像出力部１７０の操作エリアに選択オブジェクトとして表示する選択可能部分を決定したが、本技術はかかる例に限定されない。例えば、画像音声入力部１２０やジェスチャ入力部１４０は画像表示面に対する操作体の近接位置を認識可能であってもよい。この場合、レイアウト処理部１６６は、操作体が画像出力部１７０の表示エリアに近接している付近に存在する選択可能部分を、選択オブジェクトとして操作エリアに再配置するようにしてもよい。操作体の近接位置が移動すると、操作体の移動に伴い操作エリアに表示される選択オブジェクトが変更される。これにより、ユーザが操作しようとしている表示エリアの選択可能部分がより早いタイミングで操作エリアに表示されるようになり、操作性をさらに高めることが可能となる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示部の表示エリアに表示されるＷｅｂページ内における選択可能部分を解析する選択可能部分解析部と、
前記選択可能部分を、操作エリアに選択オブジェクトとして再配置するレイアウト処理部と、
を備える、情報処理装置。
（２）
ユーザが操作入力を行う操作入力部の入力結果に基づいて操作内容を解析する操作解析部を更に備え、
前記レイアウト処理部は、前記操作解析部の解析結果から選択されている前記操作エリアの選択オブジェクトと、これに対応する前記Ｗｅｂページの前記選択可能部分との対応関係を表す対応表示をそれぞれに表示する、前記（１）に記載の情報処理装置。
（３）
前記レイアウト処理部は、ユーザからの操作入力に応じて連動して、選択されている前記選択オブジェクトと前記Ｗｅｂページの前記選択可能部分とにそれぞれ表示される前記対応表示を移動させる、前記（２）に記載の情報処理装置。
（４）
ユーザの操作入力は、前記表示エリアおよび前記操作エリアでの選択操作を行うためのカーソルを移動する操作であり、
前記ユーザの操作入力に基づいて移動される前記カーソルの位置に応じて、前記対応表示が移動される、前記（３）に記載の情報処理装置。
（５）
前記操作エリアの前記選択オブジェクトのうちいずれか１つが前記カーソルにより選択された状態で、前記ユーザにより所定の操作入力が行われたとき、当該処理の操作入力に関連付けられた処理が実行される、前記（４）に記載の情報処理装置。
（６）
前記選択オブジェクトのサイズは、前記Ｗｅｂページ内における前記選択可能部分より大きい、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記選択可能部分解析部は、前記Ｗｅｂページ内における前記選択可能部分の文字が所定のサイズより小さいとき、前記レイアウト処理部に対して前記選択オブジェクトを再配置した前記操作エリアを作成させる、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記選択可能部分解析部は、前記表示エリアの所定面積内に所定数以上の前記選択可能部分が存在するとき、前記レイアウト処理部に対して当該選択可能部分を再配置した前記操作エリアを作成させる、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（９）
前記表示エリアと前記操作エリアとは、同一画面に表示される、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記レイアウト処理部は、前記Ｗｅｂページを表示する表示エリアに隣接して前記操作エリアを表示する、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記操作エリアには、前記選択オブジェクトが一列に配置される、前記（１）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記表示エリアの前記選択可能部分に対応する前記選択オブジェクトすべてを前記操作エリアに表示できないとき、
前記レイアウト処理部は、前記操作エリアに表示される前記選択オブジェクトをスクロール可能に表示し、前記操作エリアの前記選択オブジェクトのスクロールに伴って、前記操作エリアに表示されている前記選択オブジェクトに対応する前記選択可能部分が前記表示エリアに表示されるように前記表示エリアの前記Ｗｅｂページをスクロールさせる、前記（１１）に記載の情報処理装置。
（１３）
前記レイアウト処理部は、ユーザが操作入力を行う操作体の操作位置に応じて表示部における前記操作エリアの表示位置を決定する、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
ユーザが操作入力を行う操作入力部の入力結果として前記表示部に対する近接状態を取得可能なとき、前記レイアウト処理部は、前記操作体が前記表示部の前記表示エリアに近接している付近に存在する前記選択可能部分を、前記選択オブジェクトとして前記操作エリアに再配置する、前記（１）〜（１３）のいずれか１項に記載の情報処理装置。

１００ 情報処理装置
１１０ コンテンツ入力部
１２０ 画像音声入力部
１３０ 画像音声解析部
１４０ ジェスチャ入力部
１５０ ジェスチャ解析部
１６０ データ処理部
１６２ 操作エリア表示判定部
１６４ 選択可能部分解析部
１６６ レイアウト処理部
１７０ 画像出力部
１８０ 音声出力部
２００、４００ 画像表示面
２１０、３１０、４１０、５１０ 表示エリア
２２０、２４０、３２０、４２０、４４０、５２０、５４０ 操作エリア
２３０、３３０、４３０、５３０ カーソル
３００ 一覧表示画面
５００ 操作画面

Claims (16)

1. 表示部の表示エリアに表示されるＷｅｂページ内における選択可能部分を解析する選択可能部分解析部と、
   前記選択可能部分を、操作エリアに選択オブジェクトとして再配置するレイアウト処理部と、
   を備える、情報処理装置。
2. ユーザが操作入力を行う操作入力部の入力結果に基づいて操作内容を解析する操作解析部を更に備え、
   前記レイアウト処理部は、前記操作解析部の解析結果から選択されている前記操作エリアの選択オブジェクトと、これに対応する前記Ｗｅｂページの前記選択可能部分との対応関係を表す対応表示をそれぞれに表示する、請求項１に記載の情報処理装置。
3. 前記レイアウト処理部は、ユーザからの操作入力に応じて連動して、選択されている前記選択オブジェクトと前記Ｗｅｂページの前記選択可能部分とにそれぞれ表示される前記対応表示を移動させる、請求項２に記載の情報処理装置。
4. ユーザの操作入力は、前記表示エリアおよび前記操作エリアでの選択操作を行うためのカーソルを移動する操作であり、
   前記ユーザの操作入力に基づいて移動される前記カーソルの位置に応じて、前記対応表示が移動される、請求項３に記載の情報処理装置。
5. 前記操作エリアの前記選択オブジェクトのうちいずれか１つが前記カーソルにより選択された状態で、前記ユーザにより所定の操作入力が行われたとき、当該処理の操作入力に関連付けられた処理が実行される、請求項４に記載の情報処理装置。
6. 前記選択オブジェクトのサイズは、前記Ｗｅｂページ内における前記選択可能部分より大きい、請求項１に記載の情報処理装置。
7. 前記選択可能部分解析部は、前記Ｗｅｂページ内における前記選択可能部分の文字が所定のサイズより小さいとき、前記レイアウト処理部に対して前記選択オブジェクトを再配置した前記操作エリアを作成させる、請求項１に記載の情報処理装置。
8. 前記選択可能部分解析部は、前記表示エリアの所定面積内に所定数以上の前記選択可能部分が存在するとき、前記レイアウト処理部に対して当該選択可能部分を再配置した前記操作エリアを作成させる、請求項１に記載の情報処理装置。
9. 前記表示エリアと前記操作エリアとは、同一画面に表示される、請求項１に記載の情報処理装置。
10. 前記レイアウト処理部は、前記Ｗｅｂページを表示する表示エリアに隣接して前記操作エリアを表示する、請求項１に記載の情報処理装置。
11. 前記操作エリアには、前記選択オブジェクトが一列に配置される、請求項１に記載の情報処理装置。
12. 前記表示エリアの前記選択可能部分に対応する前記選択オブジェクトすべてを前記操作エリアに表示できないとき、
    前記レイアウト処理部は、前記操作エリアに表示される前記選択オブジェクトをスクロール可能に表示し、前記操作エリアの前記選択オブジェクトのスクロールに伴って、前記操作エリアに表示されている前記選択オブジェクトに対応する前記選択可能部分が前記表示エリアに表示されるように前記表示エリアの前記Ｗｅｂページをスクロールさせる、請求項１１に記載の情報処理装置。
13. 前記レイアウト処理部は、ユーザが操作入力を行う操作体の操作位置に応じて表示部における前記操作エリアの表示位置を決定する、請求項１に記載の情報処理装置。
14. ユーザが操作入力を行う操作入力部の入力結果として前記表示部に対する近接状態を取得可能なとき、前記レイアウト処理部は、前記操作体が前記表示部の前記表示エリアに近接している付近に存在する前記選択可能部分を、前記選択オブジェクトとして前記操作エリアに再配置する、請求項１に記載の情報処理装置。
15. 表示部の表示エリアに表示されるＷｅｂページ内における選択可能部分を解析するステップと、
    前記選択可能部分を、操作エリアに選択オブジェクトとして再配置するステップと、
    を含む、情報処理方法。
16. コンピュータを、
    表示部の表示エリアに表示されるＷｅｂページ内における選択可能部分を解析する選択可能部分解析部と、
    前記選択可能部分を、操作エリアに選択オブジェクトとして再配置するレイアウト処理部と、
    を備える、情報処理装置として機能させるコンピュータプログラム。
    

Images