JP2012043107A

JP2012043107A - 情報入力装置

Info

Publication number: JP2012043107A
Application number: JP2010182572A
Authority: JP
Inventors: Ryosuke Aoki; 良輔青木; Atsuhiko Maeda; 篤彦前田; Tomoki Watabe; 智樹渡部; Minoru Kobayashi; 稔小林
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2010-08-17
Filing date: 2010-08-17
Publication date: 2012-03-01
Anticipated expiration: 2030-08-17
Also published as: JP5449088B2

Abstract

【課題】ジェスチャを用いてウエブページ等のリンク情報を選択操作する際の操作性の向上を図る。
【解決手段】テレビジョン受信機２において、そのディスプレイに表示されたウエブページ上に設定された各リンクに、図形の種類とその描画方向により表現されるＵＦＴを関連付け、このＵＦＴをウエブページ上の各リンクの位置に対応付けて表示する。そして、選択しようとするリンクに関連付けられたＵＦＴをユーザがリモコン装置１のタッチパネル上で描画した場合に、この描画されたＵＦＴをテレビジョン受信機２が認識して、このＵＦＴに関連付けられたリンクを選択し、該当するサイトにアクセスして情報を取得する。
【選択図】図２

Description

この発明は、ユーザの指の動き等のジェスチャを用いてウエブページのリンクを選択操作する機能を備える情報入力装置に関する。

近年、インターネットにアクセスするためのブラウザ機能がパーソナル・コンピュータばかりでなくゲーム機やテレビジョン受信機等にも搭載され、テレビジョン受信機からインターネット上のウエブサイトを閲覧できるようになっている。

パーソナル・コンピュータは一般に卓上に設置されているので、キーボードや、マウス等のポインティングデバイスを使用してウエブサイトに対しアクセスすることができる。しかしながら、ゲーム機やテレビジョン受信機は離れた場所から見ることが多いため、マウス等のポインティングデバイスを接続して閲覧操作することは難しく、リモートコントローラによる操作に頼らざるを得ない。

しかし、テレビジョン受信機のディスプレイに電子番組案内（Electronic Program Guide：ＥＰＧ）情報を表示した場合、番組ごとのウエブサイトへのリンクが多数表示される。また、ニュースサイト等のウエブページを表示させた場合にも、ニュースのヘッドラインや各ジャンルへのリンクが多数表示される。一方、リモートコントローラは、一般に数字キーや機能キーの他には十字型のカーソルキーしか備えていない。このため、リモートコントローラを用いて上記多数のリンクを選択的に操作することは、非常に面倒である。

そこで、従来ではリンクごとに異なる向きの矢印タグを割り当てて表示し、この表示された矢印タグに従いリモートコントローラのカーソルキーを操作することで所望のリンクを選択操作できるようにする技術が提案されている（例えば、特許文献１を参照。）。
また、最近ではスマートフォンのようなタッチパネルつきのパーソナルデバイスが急速に普及しており、この種のデバイスをテレビジョン受信機のリモートコントローラとして使用することが検討されている。さらに、いわゆるテレビ電話サービスのためにテレビジョン受信機に備え付けられるカメラも登場しつつあり、カメラの画像認識を用いたリモコン操作も増えてきている。

特開２００８−２１７２２８号公報

ところが、ウエブページ上に存在するリンクの数は８０程度もあり、一方矢印タグは上下左右を示す４種類しかない。このため、上記多数のリンクを個別に識別するには上記４種類の矢印タグを３種類もしくは4種類組み合わせなければならない。このような場合、ユーザは所望のリンクを１つ選択するためにその都度カーソルキーを３回もしくは4回操作しなければならず、操作数が多くなり１つのリンクを選択するまでに多くの手間と時間を要する。また、タッチパネルでこの上下左右の方向キーを入力するのは従来のメカニカルなボタンを押すよりも操作が煩わしい。さらにカメラを用いた画像認識を用いた従来の入力方法では上下左右の入力を行うのも容易ではない。

この発明は上記事情に着目してなされたもので、その目的とするところは、ウエブページ等のリンクをジェスチャを用いて少ない回数で選択操作できるようにし、しかもジェスチャによる操作を誤ることなく簡単かつ正確に行えるようにして操作性の向上を図った情報入力装置を提供することにある。

上記目的を達成するためにこの発明の１つの観点は、ディスプレイに表示された情報ページに設定された、他の情報ページにアクセスするためのリンク情報に対し、一筆書きにより描かれる二次元図形の種類とその描画方向により表現される固有の図形タグ情報を割り当て、この図形タグ情報を前記リンク情報に関連付けた状態で前記情報ページに表示させる。そして、この状態で一筆書きにより描画された二次元図形データを取り込んで、その描画軌跡と終始点の座標から前記描画された二次元図形の種類と描画方向を判定し、この判定された二次元図形の種類と描画方向を前記情報ページに表示中の図形タグ情報と照合し、両者が一致した場合に当該表示中の図形タグ情報が関連付けられたリンク情報を選択するようにしたものである。

したがって、少数の二次元図形の組み合わせにより多数の図形タグ情報を表現することができ、この図形タグ情報をリンク情報に個別に割り当てることで、情報ページ上に多数のリンク情報が設定されている場合でも、ユーザは少数の図形描画回数により所望のリンク情報を選択することが可能となる。このため、例えば上下左右の４種類の矢印を組み合わせた矢印タグを使用する場合に比べ、リンク情報を選択する際の操作回数を減らして操作性を高めることが可能となる。
しかも、情報ページ上にはリンク情報に関連付けられて図形タグ情報が表示される。このため、ユーザは所望のリンク情報に関連付けられた図形タグ情報に従い、図形を誤ることなく常に簡単かつ正確に描画入力することができる。

また、この発明の１つの観点は以下のような態様を備えることを特徴とする。
第１の態様は、タグ情報を表示させる際に、複数のリンク情報のうちユーザにより選択される可能性が高いリンク情報に対し、１個の二次元図形により表現される図形タグ情報を優先的に割り当てるものである。
第２の態様は、タグ情報を表示させる際に、図形数が同数の図形タグ情報が複数ある場合には、これらの図形タグ情報のうち楕円や円形のような丸みのある二次元図形を用いた図形タグ情報を、前記割り当て対象のリンク情報に対し優先的に割り当てるものである。
第３の態様は、タグ情報を表示させる際に多角形のような角のある図形を用いた図形タグ情報の場合に、角の数が少ない図形を前記割り当て対象のリンク情報に対し優先的に割り当てるものである。
第４の態様は、タグ情報を表示させる際に、複数の二次元図形の組み合わせにより表現される図形タグ情報が複数ある場合には、これらの図形タグ情報のうち複数の図形の配置関係が点対称をなす図形タグ情報を、前記割り当て対象のリンクに対し優先的に割り当てるものである。
これらの態様を選択的に採用することで、リンク情報のうち選択される可能性の高いリンク情報の選択操作を、より一層簡単かつ短時間に行うことが可能となる。

第５の態様は、図形タグの種類を表す情報と、リンク先のアドレスを表す情報と、図形タグ情報の表示位置を指定する情報と、表示色を指定する情報とを相互に関連付けるものである。このようにすると、図形タグ情報の表示位置及び表示色を制御することが可能となり、これにより図形タグ情報を常に最適な状態で表示することができる。

第６の態様は、ユーザがリンク情報を選択する意志を示す操作を行ったか否かを判定し、当該操作が行われた場合にのみ前記図形タグ情報を前記情報ページに表示させるものである。このようにすると、図形タグ情報は、ユーザがリンク情報を選択する意志を示した場合にのみ表示される。このため、ユーザが表示画面のスクロール操作等のその他の操作を行った場合には図形タグ情報が表示されないようになり、これにより情報ページの表示画面が図形タグ情報により混雑して見難くならないようにすることができる。

すなわちこの発明によれば、ウエブページ等のリンクをジェスチャを用いて少ない回数で選択操作できるようになり、しかもジェスチャによる操作を誤ることなく簡単かつ正確に行えるようにして操作性の向上を図った情報入力装置を提供することができる。

この発明の一実施形態に係わる情報入力装置のシステム構成を示す概略構成図。図１に情報入力装置として示したテレビジョン受信機の機能構成を示すブロック図。図２に示したテレビジョン受信機の全体の処理手順と処理内容を示すフローチャート。図３に示した全体の処理手順のうち信号受信処理の手順と処理内容を示すフローチャート。図３に示した全体の処理手順のうちジェスチャ認識処理の手順と処理内容を示すフローチャート。図３に示した全体の処理手順のうち表示画像制御処理の手順と処理内容を示すフローチャート。図６に示した表示画像制御処理のうち、表示画像決定処理におけるＵＦＴ−リンク対応表処理及びジェスチェ入力対応処理の処理手順と処理内容を示すフローチャート。図６に示した表示画像制御処理のうち、ＵＦＴ情報表示判断処理を含む表示画像更新処理の処理手順と処理内容を示すフローチャート。図５に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第１の方法を説明するための図。図５に示したジェスチャ認識処理において、図形の始点と終点の一致を検出するための第２の方法を説明するための図。図５に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。図５に示したジェスチャ認識処理において、方向キー検出処理を説明するための図。図７に示した表示画像決定処理において用いられるＵＦＴの種類の一例を示す図。図７に示した表示画像決定処理において用いられるＥＵＯＴの種類の一例を示す図。図７に示した表示画像決定処理において用いられるＵＦＴ−リンク対応表記憶部の初期状態を示す図。図７に示した表示画像決定処理において用いられるＵＦＴ−リンク対応表記憶部に情報を記憶させた状態を示す図。ディスプレイにＵＦＴが表示された状態の一例を示す図。ディスプレイに表示されたＵＦＴの１つが選択操作された状態を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
この発明の一実施形態に係わる情報入力装置のシステム構成を示す概略構成図である。このシステムは、リモートコントロール装置（以後リモコン装置と略称する）１から送信されるリモコン信号をテレビジョン受信機２により受信するものとなっている。通信回線３としては例えば赤外線又は無線が用いられる。無線の場合の通信方式には、Bluetooth（登録商標）等の微弱又は小電力タイプの近距離無線データ通信方式が使用可能である。

リモコン装置１は、入力デバイスとして静電容量型のタッチパネルを使用した端末からなる。そして、このタッチパネルの静電分布のデータをリアルタイムにリモコン信号としてテレビジョン受信機２へ送信する．

ところで、テレビジョン受信機２は以下のように構成される。図２はその機能構成を示すブロック図である。
すなわち、テレビジョン受信機２は、リモコン装置１から送信されたリモコン信号を受信する信号受信ユニット１０と、データベース２０と、ジェスチャ認識ユニット３０と、表示画像制御ユニット４０とを備えている。

信号受信ユニット１０は、リモコン装置１から送信された赤外線又は無線からなるリモコン信号を受信する信号受信部１２と、信号受信判断部１１とを備えている。信号受信判断部１１は、上記信号受信部１２により受信されたリモコン信号をもとにタッチパネルに対する指の接触の有無を判断し、接触していると判断した期間における静電分布データをデータベース２０内の信号蓄積部２１に記憶させる処理を行う。
データベース２０は、信号蓄積部２１と、ジェスチャコマンド変換テーブル部２２と、表示画像データ蓄積部２３と、図形パターン記憶部２４を備え、さらにＵＦＴ−リンク対応表記憶部２５を備えている。

信号蓄積部２１は、上記信号受信ユニット１０により受信されたリモコン信号の静電分布データを記憶するために用いられる。ジェスチャコマンド変換テーブル部２２には、認識対象の複数の入力コマンドに対応付けて、当該入力コマンドが意味する表示処理内容を表す情報が予め記憶されている。表示画像データ蓄積部２３には、上記入力コマンドが意味する表示処理内容に応じた画像を表示するために必要な様々な表示画像データが記憶される。図形パターン記憶部２４には、認識対象となる複数の図形形状の基本パターンが記憶される。

ＵＦＴ−リンク対応表記憶部２５は、ウエブページに表示される複数のリンク情報と、これらのリンク情報をジェスチャにより選択する際にその操作を支援するために用いるＵＦＴ（Unicursal Figure Tag）とを関連付けて記憶する。ＵＦＴとは、一筆書きで描ける図形の種類と、当該図形の始点と終点とが一致する点（以後終始点と呼ぶ）の位置とを組み合わせることで表現されるタグ情報である。ＵＦＴ−リンク対応表記憶部２５には、具体的には図１６に例示するように、ＵＦＴの種類を表す情報に関連付けて、リンク先を表す情報と、ＵＦＴの表示位置を表す情報と、表示色を表す情報が記憶される。

ジェスチャ認識ユニット３０は、ＵＧＩ入力処理部３１０と、フリック入力処理部３２０を備えている。ＵＧＩ入力処理部３１０はジェスチャにより一筆書きで入力される図形を認識するためのインタフェース機能（ＵＧＩ；（Unicursal Gesture Interface）を有するもので、終始点一致検出部３１１と、図形追跡部３１２と、図形判断部３１３と、図形位置判断部３１４を備えている。

終始点一致検出部３１１は、上記信号蓄積部２１に記憶された静電分布データをもとに、ユーザがリモコン装置１のタッチパネル上で指を移動させることにより描画した図形データの終始点、つまり座標値が一致する２つの点を検出する機能を有する。

図形追跡部３１２は、上記終始点一致検出部３１１により終始点として検出された２点、つまり始点と終点とを結ぶ図形の軌跡を、上記信号蓄積部２１に記憶された静電分布のデータをもとに検出する機能を有する。

図形位置判断部３１４は、上記終始点一致検出部３１１により検出された終始点を中心にタッチパネルの上下左右各方向に４つの方向領域を設定し、上記図形追跡部３１２により検出された図形の軌跡の描画位置が上記４つの方向領域のいずれに含まれるかを判定する。

図形判断部３１３は、上記データベース２０の図形パターン記憶部２４に記憶された認識対象となる複数の図形形状の基本パターンを参照し、上記図形追跡部３１２により検出された軌跡がどの図形に対応するかを判定する。この判定処理にはパターンマッチングが用いられる。そして、上記判定された図形の形状の種類と、上記図形位置判断部３１４により判断された図形の描画方向をもとに、上記ジェスチャコマンド変換テーブル２２から対応する入力コマンドを読み出す処理を行う。

フリック入力処理部３２０は、ディスプレイに表示された情報をスクロールするための入力操作の形態を認識するもので、フリック入力検出部３２１と、フリック方向判定部３２２を備えている。フリック入力とは指をタッチパネルに触れた状態でスライドさせてから指をタッチパネルから離すことによって、表示情報のスクロール方向を入力する方式である。

フリック入力検出部３２１は、タッチパネルに指がタッチされた場合の連続タッチ時間を検出し、この連続タッチ時間が予め定められた時間内のとき、このときのタッチ操作をフリック入力操作であると認識する。フリック方向判定部３２２は、上記連続タッチされているときの位置座標の変化を検出し、この検出された位置座標の変化の方向からフリック入力の方向を判定する。具体的には、タッチ位置が最初のタッチ位置座標から上下左右のいずれかの位置座標に変化した場合に、このときの操作をフリック入力操作と判定し、そのタッチ位置のスライド方向をスクロール方向として認識する。

表示画像制御ユニット４０は、表示画像決定部４１０と、表示画像更新部４２０と、表示画像出力部４３０とを備えている。表示画像決定部４１０は、上記ジェスチャ認識ユニット３０により生成された入力コマンドに応じてディスプレイの表示画像の内容を決定するもので、ＵＦＴ−リンク対応表処理部４１１と、ジェスチャ入力対応処理部４１２を有している。

ＵＦＴ−リンク対応表処理部４１１は、ディスプレイの表示画像中のリンクにＵＦＴを関連付けるか否かを判断し、ＵＦＴ−リンク対応表記憶部２５のデータを更新する処理を行う。ジェスチャ入力対応処理部４１２は、ジェスチャ認識ユニット３０により検出されたＵＧＩによる図形入力操作及びフリック入力操作に応じてＵＦＴ−リンク対応表記憶部２５のデータを更新し、かつ上記図形入力操作により選択されたリンクに対応するＵＦＴの表示変更処理や、上記フリック入力操作に応じたスクロール処理を行う。

表示画像更新部４２０は、ＵＦＴ情報表示判断部４２１を有している。ＵＦＴ情報表示判断部４２１は、上記図形位置判断部３１４により生成された入力コマンド、又は上記図形判断部３１３により更新された入力コマンドをもとに、表示画像データ蓄積部２３から当該入力コマンドが意味するＵＦＴの表示処理内容を表す情報を読み出し、この読み出されたＵＦＴ表示情報をもとに表示画像データを更新する処理を行う。
表示画像出力部４３０は、上記ＵＦＴ情報表示判断部４２１により更新されたＵＦＴの表示画像データを、ディスプレイに出力して表示させる処理を行う。

なお、以上述べた受信信号判断部１１、ジェスチャ認識ユニット３０及び表示画像制御ユニット４０が備える各機能は、データベース２０内のプログラムメモリ（図示せず）に格納されたアプリケーション・プログラムを、図示しない中央処理ユニット（ＣＰＵ）に実行させることにより実現される。

次に、以上のように構成されたテレビジョン受信機２による、ジェスチャを用いた入力情報の認識動作を説明する。
なお、ここではテレビジョン受信機２のディスプレイにニュースサイト等のウエブページを表示させ、このウエブページに表示されたリンクをリモコン装置１から選択操作する場合を例にとって説明する。

リンクの選択処理は、概略次のような手順で実行される。
(1) 表示中のリンクに対応付けてＵＦＴを表示させる。
(2) 選択したいリンクに対応付けて表示されているＵＦＴに従い、リモコン装置１のタッチパネルにおいて当該ＵＦＴに対応する図形が描画入力されたとき、この描画入力された図形の種類と描画方向をもとに入力コマンドを生成する。
(3) 上記入力コマンドをもとに、どのリンクが選択されたかを判定する。

以下、以上の処理を処理手順に従い説明する。図３は、その全体の処理手順と処理内容を示すフローチャートである。
リモコン装置１において、ユーザがタッチパネルにタッチ操作すると、その静電分布を表す情報がリモコン信号としてリモコン装置１から通信回線３を介してテレビジョン受信機２へ送られる。

テレビジョン受信機２は、先ずステップＳ１１において、信号受信ユニット１０の信号受信部１２及び信号受信判断部１１が上記リモコン信号を受信する処理を行い、ステップＳ１２において、上記受信されたリモコン信号により表される静電分布データをデータベース２０内の信号蓄積部２１に記憶させる。

次にステップＳ１３において、ジェスチャ認識ユニット３０が、上記信号蓄積部２１に記憶された静電分布データをもとに、ユーザの操作がタッチパネル上でジェスチャにより一筆書きで図形を描いたＵＧＩ入力操作であるのか、又はディスプレイに表示された情報をスクロールするためのフリック入力操作であるのかを判定する。そして、ＵＧＩ入力操作であれば、入力された図形の種類と描画方向を判定して対応する入力コマンドを出力する。これに対しフリック入力操作であれば、タッチ操作のスライド方向からスクロール方向を判定し、そのスクロールコマンドを出力する。

最後にステップＳ１４において、表示画像制御ユニット４０が、上記ステップＳ１３により生成された入力コマンドが意味する表示処理内容を表す情報を検索し、この情報に応じてウエブページの表示データにＵＴＦを表示させるＥＰＧ情報に対する番組選択位置、つまりカーソルの位置を変化させるように表示画像データを更新する。

以下、上記各ステップＳ１１〜Ｓ１４における処理内容をより詳しく説明する。
（１）信号受信処理
図４はこの信号受信処理の手順と処理内容を示すフローチャートである。
信号受信ユニット１０では、リモコン装置１から送信されたリモコン信号を信号受信部１２が受信したことをステップＳ２１で検出すると、先ずステップＳ２２において信号受信判断部１１が、上記受信されたリモコン信号をもとにユーザの指がタッチパネルに接触しているか否かを判定する。この判定の結果、接触していなければ、ステップＳ２３により信号蓄積部２１から静電分布データを消去する。一方、指がタッチパネルに触れ続けたとき、この連続する接触動作により描かれた図形を表す静電分布データを、ステップＳ２４によりデータベース２０の信号蓄積部２１へ出力して蓄積させる。したがって、信号蓄積部２１にはリモコン装置１のタッチパネル上に描かれた図形を表すデータが記憶される。

（２）ジェスチャ認識処理
図５はこのジェスチャ認識処理の手順と処理内容を示すフローチャートである。なお、同図において、ステップＳ３０はＵＧＩ入力処理を、ステップＳ３６はフリック入力処理をそれぞれ示す。

ジェスチャ認識ユニット３０は、先ずステップＳ３１において終始点一致検出処理を以下のように実行する。すなわち、終始点一致検出部３１が、信号蓄積部２１から静電分布データを読み出し、この読み出した静電分布データをもとに、ユーザがリモコン装置１のタッチパネル上で指を移動させることにより描画した図形データの終始点、つまり座標値が一致する２つの点を検出する。

このとき、終始点の検出手法には例えば次の２つの手法が考えられる。第１の検出手法は、図９（ａ）〜（ｃ）に示すように、ユーザがタッチパネル上で最初に指を触れた点Ａから図形Ｂを描き始めて上記点Ａに再度触れたとき、この点Ａを終始点として検出するものである。第２の検出手法は、図１０（ａ）〜（ｃ）に示すように、ユーザがタッチパネル上で指を動かして図形を描いた場合に、その軌跡を追跡して当該軌跡が交差する点を終始点Ａとして検出するものである。

ジェスチャ認識ユニット３０は、上記終始点Ａが検出されると、ユーザがタッチパネル上で描画した図形はリンク選択操作を表す図形としての条件を満たすと判断し、ステップＳ３２における図形追跡処理に移行する。これに対し終始点Ａが検出されなかった場合には、何も処理せず、検出されない状態で指を離すと上記描画された図形はリンク選択操作を表す図形としての条件を満たさないと判断し、フリック入力処理Ｓ３６に移行する。

フリック入力処理Ｓ３６では、先ずステップＳ３７においてタッチパネルに指がタッチされてからの連続タッチ時間が予め定められた時間内であるか否かが判定され、連続タッチ時間が予め定められた時間内の場合に、このときのタッチ操作はフリック入力操作であると判定される。続いてステップＳ３８において、上記連続タッチされているときの位置座標の変化の方向からフリック入力の方向がスクロール方向として判定される。
なお、この判定処理を終了したのちジェスチャ認識ユニット３０は、信号蓄積部２１に記憶された上記判定対象の静電分布データを消去する。

さて、上記ステップＳ３２に移行するとジェスチャ認識ユニット３０は、図形追跡処理を以下のように実行する。すなわち、図形追跡部３１２により、上記終始点一致検出処理（ステップＳ３１）により検出された終始点Ａを構成する終点（時刻Ｔe）から始点（時刻Ｔs）までの静電分布データを信号蓄積部２１から読み出す。そして、この読み出した静電分布データをもとに、図形データの軌跡を追跡する処理を行う。

図形データの軌跡を追跡する手段としては、例えば次のようなものが考えられる。すなわち、静電容量を用いたタッチパネルであれば、指が触れている点のその周辺に対する静電分布は凸型分布になる。したがって、この凸型分布の頂点を結ぶことで、描かれた図形データの軌跡を追跡することができる。

上記図形データの軌跡が検出されると、ジェスチャ認識ユニット３０は続いてステップＳ３３において図形判断処理を実行する。すなわち、図形判断部３１３により、データベース２０の図形パターン記憶部２４から複数の基本図形パターンを順次読み出し、この読み出された基本図形パターンと上記図形追跡処理（ステップＳ３２）により検出された図形の軌跡のパターンとをパターンマッチング処理により比較し、その類似度を検出する。そして、この検出された類似度がしきい値以上であって、かつ最も大きいものを選択する。そして、この選択された基本図形パターンを、上記タッチパネルに描かれた図形の形状の種類として認識する。

ジェスチャ認識ユニット３０は、次にステップＳ３４に移行して図形位置判断処理を実行する。すなわち、図形位置検出部３１４により、先ず上記終始点一致検出処理（ステップＳ３１）により検出された終始点Ａを中心に、図１１に示すようにタッチパネルの入力領域を(a),(b)のように分割することにより上下左右各方向に４つの方向領域を設定する。そして、上記図形追跡処理（ステップＳ３２）により検出された図形の軌跡の描画位置が上記４つの方向領域のいずれに含まれるかを判定する。この判定処理は、例えば描かれた図形の重心を求め、この重心と終始点Ａが結ぶ直線の方向に図形の描画位置が存在するものと見なして、この直線の方向がいずれの方向領域の角度に含まれるかを判定することにより可能である。

上記図形の描画位置が判定されると、ジェスチャ認識ユニット３０は続いてステップＳ３５において方向キー検出処理を実行し、上記図形位置判断処理（ステップＳ３４）により判定された図形の描画位置を上下左右の４つの方向のいずれかに対応付けする。そして、この対応付けられた方向キーに対応する命令コマンドを生成する。

例えば、図１２（ｂ）に示すように図形の描画位置が終始点Ａに対し右方向領域に含まれる場合には右方向キーを示す入力コマンドが生成され、反対に図１２（ｄ）に示すように左方向領域に含まれる場合には左方向キーを示す入力コマンドが生成される。同様に、図１２（ａ）に示すように図形の描画位置が終始点Ａに対し上方向領域に含まれる場合には上方向キーを示す入力コマンドが生成され、反対に図１２（ｃ）に示すように下方向領域に含まれる場合には下方向キーを示す命令コマンドが生成される。

（３）表示画像制御処理
上記ジェスチャ認識処理（ステップＳ１３）が終了すると、続いて表示画像制御ユニット４０が以下のように表示画像の更新処理を実行する。図６はその制御手順と制御内容を示すフローチャートである。
すなわち、先ずステップＳ４１において表示画像決定部４１０が、上記ジェスチャ認識処理により生成された命令コマンドに対応する表示内容を決定する。続いて、ステップＳ４２において表示画像更新部４２０が、上記図形位置判断処理（ステップＳ３４）により生成された命令コマンドをもとに表示画面上の表示データを更新し、最後にステップＳ４３において表示画像出力部４３０が、上記更新された表示データをディスプレイに表示する。

図７は、上記表示画像制御処理の処理手順と処理内容の具体例を示すフローチャートであり、図中Ｓ５０はＵＦＴ−リンク対応表処理を、またＳ６０はジェスチャ入力対応画面処理を示している。
表示画像決定部４１０のＵＦＴ−リンク対応表処理部４１１は、リモコン装置１のタッチパネルに指がタッチされたことが先に述べたジェスチァ認識部３０で検出されたとき、ステップＳ４１において指がタッチパネルに接触した状態がＴ秒連続したが否か否かを判定する。この判定の結果、指がタッチパネルにタッチされた状態がＴ秒未満であれば、ステップＳ５２に移行し、ここでＵＦＴ−リンク対応表記憶部２５を初期化する処理を実行する。

すなわち、ユーザの指がタッチパネルに触れていないとき、もしくはタッチパネルにふれてもその時間長がＴ秒未満のときには、ＵＦＴ−リンク対応表記憶部２５のＵＦＴに対応する情報は例えば図１５に示すように“−”（無効）に初期化される。なお、上記判定時間Ｔは、表示画面のスクロール操作に用いられるフリック入力のための指のタッチ時間より長い時間に設定される。このようにすることで、フリック入力操作中にＵＦＴが点滅表示されることを防ぐことができる。

一方、指がタッチパネルにタッチされた状態がＴ秒以上連続したとする。この場合ＵＦＴ−リンク対応表処理部４１１は、ステップＳ５３によりＵＦＴ−リンク対応表記憶部２５が初期化された状態にあるか否かを判定する。この判定の結果、ＵＦＴ−リンク対応表記憶部２５が初期化された状態にあれば、ＵＦＴ−リンク対応表処理部４１１はステップＳ５４によりリンクとＵＦＴとを関連付ける処理を実行する。

このリンクとＵＦＴとの関連付けは、以下のように行われる。すなわち、いま仮にＵＦＴとして例えば図１３（ａ）〜（ｌ）に示すように１２種類の図形パターンが用意されているものとする。なお、拡張用タグとして図１４（ａ）〜（ｌ）に示すようなExtended Unicursal Object Tag；ＥＵＯＴを用意しておくことも可能である。

ＵＦＴ−リンク対応表処理部４１１は、ウエブページ上に表示されているリンクを順に選択し、この選択したリンクの１つ１つに対し適当なＵＦＴを上記１２種類のＵＦＴの中から選択して割り当てる。なお、リンクの数が上記ＵＦＴの数（１２種類）を超える場合には、上記１２種類のＵＦＴの中から２個を選択して組み合わせ、このＵＦＴの組み合わせを上記リンクに割り当てる。そして、ＵＦＴ−リンク対応表記憶部２５において、上記選択されたＵＦＴ又はその組み合わせに対応付けて、上記リンクのリンク先を表すＵＲＬ（Uniform Resource Locator）を記憶させる。さらに、上記選択したＵＦＴの表示画面上の表示位置を表す座標情報と、表示色を表す情報をそれぞれ決定し、この決定した表示位置を表す座標情報及び表示色を表す情報を、上記選択したＵＦＴに関連付けてＵＦＴ−リンク対応表記憶部２５に記憶させる。図１６はこのようにして関連付けの情報が記憶されたＵＦＴ−リンク対応表記憶部２５の一例を示すものである。なお、図１５は記憶前のＵＦＴ−リンク対応表記憶部２５の状態を示す。

ここで、上記各リンクに対するＵＦＴの割り当て処理はランダムに行うのではなく、表示されているリンクの中で選択される可能性が高いものに、入力操作がし易いＵＦＴを優先的に割り当てるようにする。その割当アルゴリズムには以下のものが考えられる。

第１のアルゴリズムは、ＵＦＴの集合を構成する複数のＵＦＴを入力し易い順に並び替えておき、この状態で図形が１個により表されるＵＦＴを、選択される可能性の高いリンクに対し優先的に割り当てるものである。

第２のアルゴリズムは、同一数の図形で表現されるＵＦＴの中では楕円や円形のような丸みのある円形に近い図形を用いたＵＦＴを、選択される可能性が高いリンクに優先的に割り当てるものである。これは、楕円や円形のような丸みのある円形に近い図形のほうが滑らかに描けるためユーザのジェスチャ操作の負担が小さいからである。

第３のアルゴリズムは、多角形のような角のある図形に関しては角の数（頂点の数）が少ないものを選択される可能性の高いリンクに優先的に割り当てる。頂点の数が小さい図形ほど描きやすいからである。

第４のアルゴリズムは、複数の図形の組み合わせにより表現されるＵＦＴの中では、点対称となる複数の図形の組み合わせを、選択される可能性の高いリンクに割り当てるものである。複数の図形を連続して一筆書きで描画する場合、各図形が点対称であれば終始点上の接線が同じであるため、ユーザは一連の図形をより円滑に描くことができ、負担が少ないからである。

なお、ＵＦＴの表示位置は関連付けられるリンクに近くかつ近くの他のリンクと重ならないような位置に設定される。また、表示色はすべて同一色に設定される。リンクの選択され易さを表す情報は、リンクに対する過去の選択履歴を保存しておくことにより、容易に得られる。

上記表示画像決定部４１０による表示画像の決定を反映して、表示画像更新処理部４２０は以下のように表示画像データの更新処理を実行する。図８はその処理手順と処理内容を示すフローチャートであり、Ｓ７０はＵＦＴ情報表示判断処理を示している。

すなわち、表示画像更新処理部４２０は、ＵＦＴ情報表示判断部４２１により、先ずステップＳ７１において上記ＵＦＴ−リンク対応表記憶部２５が初期化された状態であるか否か判定する。この判定の結果、ＵＦＴ−リンク対応表記憶部２５に先に述べたように慣例付け情報が記憶されていれば、ステップＳ７３によりこの関連付け情報をＵＦＴ−リンク対応表記憶部２５から読み出し、この読み出された関連付け情報に基づいてウエブページ上にその各リンクに対応付けてＵＦＴを表示させる。図１７はその表示例を示すもので、この例ではディスプレイに表示中の各リンクのうち、リンクＣ、リンクＤ及びリンクＥにそれぞれＵＦＴが表示された場合を示している。

先に述べたＵＦＴ−リンク対応処理部４１１によるリンクとＵＦＴとの関連付け処理が終了すると、表示画像決定部４１０は次にジェスチャ入力対応処理を以下のように実行する。
すなわち、表示画像決定部４１０のジェスチャ入力対応処理部４１２は、先ずステップＳ６１により表示画面上にＵＦＴが表示されているか否かを判定する。そして、上記図１７に例示したようにＵＦＴが表示されていれば、ステップＳ６２においてジェスチャ認識ユニット３０における図形の検出を待つ。

この状態で、ユーザがリモコン装置１のタッチパネル上で、上記表示されたＵＦＴに従いその図形を描画入力すると、この図形の描画入力がジェスチェ認識ユニット３０により検出されて、その入力コマンドが生成される。なお、この図形の認識処理は先に図５、図９〜図１２において説明した通りである。

上記入力コマンドが生成されると、ジェスチャ入力対応処理部４１２はステップＳ６３に移行し、ここでＵＦＴによるリンクの選択処理を行う。具体的には、上記入力コマンドに対応するＵＦＴに関連付けられたリンクを「選択された状態」に保持し、ＵＦＴ−リンク対応表記憶部２５の該当するＵＦＴの表示色を「黒」から「グレー」に変更する。この結果、表示画面上の上記選択されたＵＦＴは、図１８に示すように表示色が「黒」から「グレー」に変更される。このため、ユーザはこの表示色の変更により自身の選択操作が受付けられたことを確認できる。

そして、この状態でユーザが上記図形の描画入力後の指をタッチパネルから離したとする。そうすると表示画像決定部４１０は、選択中のリンク先が存在するかどうかをステップＳ６４により判定する。そして、上記したようにリンクを「選択された状態」が保持されていれば、当該選択中のリンクがアクセス先として決定されたと判断する。そして、ステップＳ６６に移行して、ここで上記選択されたリンク先のウエブページのデータを取得する処理を実行する。

上記ウエブページの取得処理が行われると、表示画像更新部４２０は図８に示すようにステップＳ７４からステップＳ７５に移行し、ここで上記取得されたウエブページの表示データをそれまで表示されていた表示データに代えて表示させるべく表示画像データを更新する。この結果、ディスプレイには、上記更新後の新たなウエブページの表示画像データが表示される。そして、このウエブページの表示更新処理が終了すると、表示画像更新部４２０は上記リンクに対する「選択された状態」を初期化する。

なお、上記ステップＳ６４による判定の結果、選択中のリンクが存在しなかった場合には、ステップＳ６７に移行して、先に述べたフリック入力処理Ｓ３６による検出結果をもとに、フリック入力が行われた否かを判定する。そして、フリック入力がなされた場合には、ステップＳ６８において、上記フリック入力のスライド方向に応じたスクロール処理を行うよう、表示画像更新部４２０に指示する。

このスクロール処理の指示を受けて表示画像更新部４２０は、図８に示すようにステップＳ７６からステップＳ７７に移行し、表示中のウエブページの表示画像を上下左右のいずれかの方向にスクロールするべく表示画像データを更新する。この結果、ディスプレイには上記更新後のスクロールされた表示画像データが表示される。

以上詳述したようにこの実施形態では、テレビジョン受信機２において、そのディスプレイに表示されたウエブページ上に設定された各リンクに、図形の種類とその描画方向により表現されるＵＦＴを関連付け、このＵＦＴをウエブページ上の各リンクの位置に対応付けて表示する。そして、選択しようとするリンクに関連付けられたＵＦＴをユーザがリモコン装置１のタッチパネル上で描画した場合に、この描画入力されたＵＦＴをテレビジョン受信機２が認識して、このＵＦＴに関連付けられたリンクを選択し、該当するサイトにアクセスして情報を取得するようにしている。

したがって、少数の図形の組み合わせで多数のＵＦＴを表現することができ、このＵＦＴをリンクに個別に関連付けることで、ウエブページ上に多数のリンクが設定されている場合でも、ユーザは少数の図形描画回数により所望のリンクを選択することが可能となる。このため、上下左右の４種類の矢印を組み合わせた矢印タグを使用する場合に比べ、リンクを選択する際の操作回数を減らして操作性を高めることができる。

しかも、ウエブページ上には、各リンクの表示位置に対応付けられてかつ予め設定された表示色でＵＦＴが表示される。このため、ユーザは所望のリンクに関連付けられたＵＦＴに従い、図形を誤ることなく常に簡単かつ正確に描画入力することができる。また、その際ＵＦＴは、ユーザがタッチパネルに一定時間以上連続してタッチした場合に、つまりユーザがリンクを選択する意志を示した場合にのみ表示される。このため、ユーザが表示画面のスクロール操作等のためにタッチパネルに短時間タッチした場合にはＵＦＴが表示されないようになり、これによりウエブページの表示画面がＵＦＴにより混雑して見難くならないようにすることができる。

さらに、各リンクに対しＵＦＴを関連付けする際には、ＵＦＴの集合を構成する複数のＵＦＴを入力し易い順に並び替えておき、この配列に従い１個の図形のみで表現されるＵＦＴを、選択される可能性の高いリンクに対し優先的に割り当てるようにしている。また、同一数の図形で表現されるＵＦＴの中では楕円や円形のような丸みのある円形に近い図形を用いたＵＦＴを、選択される可能性が高いリンクに優先的に割り当てるようにしている。この丸みのある図形と多角形のような角のある図形との区別は、図形の各点の接線の方向を見たときにすべての点で接線が滑らかにつながっているかどうかを判断することで可能となる。多角形の中では角の数が少ないものを優先的にリンクに割り当てるようにしている。また、多角形のように角のある図形を割り当てる場合に、角の数が少ない図形を選択される可能性が高いリンクに優先的に割り当てるようにしている。さらに、複数の図形の組み合わせにより表現されるＵＦＴの中では、点対称となる複数の図形の組み合わせを、選択される可能性の高いリンクに割り当てるようにしている。したがって、選択される可能性の高いリンクの選択操作を、より一層簡単かつ短時間に行うことが可能となる。

なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではユーザがタッチパネルに一定時間以上連続してタッチしてリンクを選択する意志を示した場合に、リンクに対するＵＦＴの関連付け処理を行うようにした。しかし、それに限定されるものではなく、ウエブページに出現する頻度の高いリンクに対してはＵＦＴを予め固定的に関連付けて記憶しておき、上記リンクに対しては常に上記固定的に設定されたＵＦＴが表示されるようにしてもよい。このようにすると、ユーザは頻繁に選択するリンクに関連付けられたＵＦＴを記憶することで、さらに円滑な選択操作を行うことが可能となる。

また前記実施形態では、図形の終始点Ａに対する描画位置を検出してカーソルの移動方向を制御するようにした。しかしこれに限らず、図形の描画速度、描画時間又は描画サイズを判定し、この図形の描画速度、描画時間又は描画サイズの判定結果に応じて、カーソルの移動量を変化させるようにしてもよい。

前記実施形態は、タッチパネル上でユーザが指により図形を描画し、その軌跡を認識する場合を例にとって説明した。しかし、それに限るものではなく、ユーザが腕を動かして空間に図形を描画し、この図形を描画する動き、つまりユーザのジェスチャをカメラにより撮像してその撮像画像データをテレビジョン受信機に取り込み、この取り込まれた図形をもとにジェスチャを認識するようにしてもよい。

この実施形態を実現するには、例えばテレビジョン受信機２に付属してカメラを設置し、このカメラによりユーザのジェスチャを撮像する。テレビジョン受信機２の信号受信ユニット１０は、カメラから出力された撮像画像データを受信し、この撮像画像データから腕の動きを表すデータを抽出して信号蓄積部２１に記憶させる機能を有する。腕の認識はパターンマッチングにより可能である。なお、ジェスチャ認識ユニット３０及び表示画像制御ユニット４０の機能は、前記実施形態で述べた機能と同じである。

この実施形態によれば、ユーザが腕を動かして空間に図形を描画した場合にも、このジェスチャによる図形をカメラにより撮像してテレビジョン受信機２に取り込むことにより、先に述べた実施形態と同様に、ユーザのジェスチャによりウエブページのリンクの選択操作を行うことができる。

その他、情報入力装置の種類や構成、ＵＦＴを表現する図形の種類やサイズ、図形の組み合わせの種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…リモコン装置、２…テレビジョン受信機、３…通信回線、１０…信号受信ユニット、１１…信号受信判断部、１２…信号受信部、２０…データベース、２１…信号蓄積部、２２…ジェスチャコマンド変換テーブル部、２３…表示画像データ蓄積部、２４…図形パターン記憶部、２５…ＵＦＴ−リンク対応表記憶部、３０…ジェスチャ認識ユニット、３１０…ＵＧＩ入力処理部、３１１…終始点一致検出部、３１２…図形追跡部、３１３…図形判断部、３１４…図形位置判断部、３２０…フリック入力処理部、３２１…フリック入力検出部、３２２…フリック方向判定部、４０…表示画像制御ユニット、４１０…表示画像決定部、４１１…ＵＦＴ−リンク対応表処理部、４１２…ジェスチャ入力対応処理部、４２０…表示画像更新部、４２１…ＵＦＴ情報表示判断部、４３０…表示画像出力部、４１…画像更新部、４２…画像出力部、４３…表示画像決定部。

Claims

ディスプレイに表示された情報ページに設定された、他の情報ページにアクセスするためのリンク情報に対し、一筆書きにより描かれる二次元図形の種類とその描画方向により表現される固有の図形タグ情報を割り当て、この図形タグ情報を前記リンク情報に関連付けた状態で前記情報ページに表示させるタグ情報表示制御手段と、
一筆書きにより描画された二次元図形データを取り込み、この取り込んだ二次元図形データの描画軌跡と終始点の座標から二次元図形の種類と描画方向を判定する図形判定手段と、
前記判定された二次元図形の種類と描画方向を前記情報ページに表示中の図形タグ情報と照合し、両者が一致した場合に当該表示中の図形タグ情報が関連付けられたリンク情報を選択するリンク情報選択手段と
を具備することを特徴とする情報入力装置。
前記タグ情報表示制御手段は、複数のリンク情報のうちユーザにより選択される可能性が高いリンク情報に対し、１個の二次元図形により表現される図形タグ情報を優先的に割り当てることを特徴とする請求項１記載の情報入力装置。
前記タグ情報表示制御手段は、図形数が同数の図形タグ情報が複数ある場合には、これらの図形タグ情報のうち楕円や円形のような丸みのある円形に近い二次元図形を用いた図形タグ情報を、前記割り当て対象のリンク情報に対し優先的に割り当てることを特徴とする請求項１又は２記載の情報入力装置。
前記タグ情報表示制御手段は、図形数が同数の図形タグ情報が複数ある場合には、これらの図形タグ情報のうち多角形のような角のある二次元図形を用いた図形タグ情報を割り当てる場合に、角の数が少ない図形のタグ情報を前記割り当て対象のリンク情報に対し優先的に割り当てることを特徴とする請求項１又は２記載の情報入力装置。
前記タグ情報表示制御手段は、複数の二次元図形の組み合わせにより表現される図形タグ情報が複数ある場合には、これらの図形タグ情報のうち複数の図形の配置関係が点対称をなす図形タグ情報を、前記割り当て対象のリンクに対し優先的に割り当てることを特徴とする請求項１乃４至のいずれかに記載の情報入力装置。
前記タグ情報表示制御手段は、図形タグの種類を表す情報と、リンク先のアドレスを表す情報と、図形タグ情報の表示位置を指定する情報と、表示色を指定する情報とを相互に関連付けることを特徴とする請求項１乃至５のいずれかに記載の情報入力装置。
前記タグ情報表示制御手段は、ユーザがリンク情報を選択する意志を示す操作を行ったか否かを判定し、当該操作が行われた場合にのみ前記図形タグ情報を前記情報ページに表示させることを特徴とする請求項１乃至６のいずれかに記載の情報入力装置。