JP2016535343A - ディスプレイ装置及びその方法 - Google Patents

Abstract

ディスプレイ装置が開示される。本装置は、ディスプレイ部と、遠隔制御装置でユーザの手書きが行われると、手書き軌跡を受信する入力部と、手書き軌跡に対応するテキストを抽出する抽出部と、テキストに対応するアイテムを検索し、検索されたアイテムを複数のカテゴリに分類してディスプレイ部にディスプレイする制御部とを含む。

Description

本発明は、ディスプレイ装置及びその方法に関し、より詳細には、ユーザの手書き軌跡によって制御されるディスプレイ装置及びその方法に関する。

近年の技術が発展するにつれ、多様な機能を採択したテレビが発売されている。テレビを通じてコンテンツのみを視聴するだけでなく、インターネット等との結合を通じてより多様なコンテンツ、アプリケーション等を経験することができる。このような多様な機能を提供するものとして、スマートテレビを挙げることができる。

スマートテレビが多様な機能を含むにつれて、このような機能を使用するうえで必要な制御装置も複雑化するようになる。よって、複雑な制御装置によって多様な機能の使用に対する敷居を下げるために、スマートテレビに使用される制御装置及びそれによるＵＩは単純化される必要がある。このような必要性に応じて、スマートテレビに使用されるリモコンもボタンを最小化するなど、単純にデザインされて使用の利便性を追求している傾向にある。

ただ、このような単純なデザインのリモコンは、スマートテレビの多様な機能を全てサポートするのに限界が存在する。すなわち、従来は、スマートテレビで所望の機能を直接探さなければならないため、ユーザは複雑なツリー構造の機能を検索するうえで時間がかかるだけでなく、検索するうえで不都合が生じていた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザの手書き軌跡に応じてアイテムを検索してディスプレイするディスプレイ装置及びその方法を提供することにある。

上記目的を達成するために、本発明の一実施形態に係るディスプレイ装置は、ディスプレイ部と、遠隔制御装置でユーザの手書きが行われると、手書き軌跡を受信する入力部と、手書き軌跡に対応するテキストを抽出する抽出部と、前記テキストに対応するアイテムを検索し、検索されたアイテムを複数のカテゴリに分類してディスプレイ部にディスプレイする制御部とを含む。

なお、制御部は、遠隔制御装置で後続の手書きが行われると、後続の手書きによる手書き軌跡から後続テキストを抽出し、テキスト及び後続テキストに対応するアイテムを再検索し、再検索されたアイテムを複数のカテゴリに応じて分類してディスプレイ部にディスプレイしてよい。

なお、制御部は、受信された手書き軌跡を示す手書き表示領域を画面の一領域に位置させ、手書き表示領域を基準に上側、下側、左側及び右側方向に対して複数のカテゴリのそれぞれをマッチングし、カテゴリ別に分類された検索結果を整列してディスプレイしてよい。

なお、制御部は、手書き表示領域を画面の中央または前記画面に対する４つの角のうちの一側に位置させてよい。

なお、制御部は、アイテムが選択されると、選択されたアイテムに対応する制御動作を行ってよい。

なお、複数のカテゴリは、アプリケーションカテゴリ、ウェブカテゴリ、機能カテゴリ及びコンテンツカテゴリのうち、少なくとも１つを含んでよい。

一方、本発明の一実施形態に係るディスプレイ方法は、遠隔制御装置でユーザの手書きが行われると、手書き軌跡を受信するステップと、手書き軌跡に対応するテキストを抽出するステップと、テキストに対応するアイテムを検索するステップと、検索されたアイテムを複数のカテゴリに分類してディスプレイするステップとを含む。

なお、遠隔制御装置で後続の手書きが行われると、後続の手書きによる手書き軌跡から後続テキストを抽出するステップと、テキスト及び後続テキストに対応するアイテムを再検索するステップと、再検索されたアイテムを複数のカテゴリに応じて分類してディスプレイするステップとを更に含んでよい。

なお、受信された手書き軌跡を示す手書き表示領域を画面の一領域に位置させるステップと、手書き表示領域を基準に上側、下側、左側及び右側方向に対して複数のカテゴリのそれぞれをマッチングするステップと、カテゴリ別に分類された検索結果を整列してディスプレイするステップとを更に含んでよい。

なお、手書き表示領域を画面の中央または前記画面に対する４つの角のうちの一側に位置させるステップを更に含んでよい。

なお、アイテムが選択されると、選択されたアイテムに対応する制御動作を行うステップを更に含んでよい。

なお、複数のカテゴリは、アプリケーションカテゴリ、ウェブカテゴリ、機能カテゴリ及びコンテンツカテゴリのうち、少なくとも１つを含んでよい。

以上説明したように本発明によれば、ユーザはディスプレイ装置に含まれた多様な機能を容易に且つ直観的に検索した後でそれを使用することができるようになる。

本発明の一実施形態に係るディスプレイ装置のブロック図である。 本発明の一実施形態に係る通信システムの構成を示すブロック図である。 本発明の一実施形態に係るディスプレイ装置の構成を具体的に説明するためのブロック図である。 本発明の一実施形態に係るディスプレイ装置の構成を総合的に説明するためのブロック図である。 本発明の一実施形態に係るディスプレイ装置が使用するソフトウェア構造の一例を示す図である。 本発明の一実施形態に係るディスプレイ方法に関するフローチャートである。 本発明の一実施形態に係るディスプレイ方法に関する別のフローチャートである。 本発明の一実施形態に係るユーザの手書きの一例を示す図である。 本発明の一実施形態に係るディスプレイ装置の詳細画面の一例を示す図である。 本発明の一実施形態に係るディスプレイ装置の詳細画面の別の例を示す図である。 本発明の一実施形態に係るディスプレイ装置の詳細画面の更に別の例を示す図である。 本発明の一実施形態に係るユーザの手書きの別の例を示す図である。 本発明の一実施形態に係るディスプレイ装置の詳細画面の更に別の例を示す図である。 本発明の一実施形態に係るユーザ入力の一例を示す図である。 本発明の一実施形態に係るディスプレイ装置の詳細画面の更に別の例を示す図である。 本発明の別の実施形態に係るディスプレイ装置の詳細画面の更に別の例を示す図である。 本発明の別の実施形態に係るディスプレイ装置の詳細画面の更に別の例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係るディスプレイ装置１００のブロック図である。

図１を参照すると、本発明の一実施形態に係るディスプレイ装置１００は、入力部１１０と、検出部１２０と、ディスプレイ部１３０及び制御部１４０を含む。

入力部１１０は、遠隔制御装置から制御信号を受信する。すなわち、ユーザが遠隔制御装置を用いてディスプレイ装置１００に対する制御信号を伝送すると、入力部１１０はこのような制御信号を受信することができる。

遠隔制御装置は、タッチパッドを含んでよい。この場合、ユーザは、遠隔制御装置のタッチパッドを通じて制御信号を入力することができる。具体的には、ユーザはタッチパッド上に指やペン、その他の入力手段を用いて手書きで書くことができる。遠隔制御装置は、タッチパッドを介して入力されるユーザの手書きをディスプレイ装置１００に伝送する。更に、タッチパッドは、文字キー、数字キー、機能キー等を含むタッチ入力領域をディスプレイすることもできる。

例えば、ユーザはタッチパッド上にタッチジェスチャを用いて入力信号を提供することができる。ユーザは、ピンチジェスチャ、ズームアウトジェスチャを入力することができ、または、ユーザは特定機能を提供する２バイト文字を入力することもできる。例えば、ユーザは、“＜”または“＞”のようなシェブロン（ｃｈｅｖｒｏｎ）模様を入力することができ、それは早送りまたは巻き戻し機能と解釈されてよい。または、ユーザは同時に２本指を用いて“＞＞”または“＜＜”模様を入力することができ、それは更に速い巻き戻し、早送りまたはメニューナビゲーション機能と解釈されてよい。それと類似するように、ユーザは同時に３本指を用いて“＞＞＞”模様を描くことができ、それは通常の再生速度より３倍も速く再生する機能またはメニュースクローリング機能を提供することができる。その他に、別のマルチ入力文字またはジェスチャが用いられてよい。

なお、遠隔制御装置は、ユーザの選択に応じて、ユーザの手書きを入力するか、それともキー入力をするかに対して選択することができるボタンを含んでよい。従って、ユーザの手書きを入力する機能を選択した場合、遠隔制御装置に設けられたタッチパッド上においてユーザの手書きが行われると、タッチパッドはユーザの手書きをディスプレイすることができる。この場合、遠隔制御装置はユーザの手書きに対応する信号をディスプレイ装置１００の入力部１１０に伝送することができる。入力部１１０は、ユーザの手書きに対応する信号を遠隔制御装置から受信して検出部１２０に伝送することができる。

検出部１２０は、入力部１１０からユーザの手書きに対応する信号を受信し、手書き軌跡に対応するテキストを抽出することができる。すなわち、検出部１２０は、入力されたユーザの手書きの軌跡を検出し、検出された軌跡に対応するテキストを抽出することができる。

この場合、ディスプレイ装置１００は、複数個のテキストを保存する保存部（図示せず）を更に含んでよい。保存部（図示せず）は、検出部１２０と接続されてよい。よって、検出部１２０は、入力部１１０から入力されたユーザの手書きの軌跡を分析し、それに対応するテキストを保存部（図示せず）から読み込むことができる。ユーザの手書きの軌跡に対応するテキストを抽出した検出部１２０は抽出されたテキストを制御部１４０及びディスプレイ部１３０に伝送することができる。一方、検出部１２０は、テキストを抽出するために入力されたユーザの軌跡を分析することができるが、具体的には入力された手書き軌跡の座標データを分析することができる。

まず、検出部１２０は、入力された手書き軌跡の座標データを分析し、入力された手書き軌跡の特性を検出し、その特性に対応するテキストを検出する。検出部１２０は、多様な方式で手書き軌跡を分析することができる。

一例として、検出部１２０は、手書きの始点から終点までの軌跡を一定の距離単位で区分し、各単位距離ごとに始点及び終点の間を連結する線の方向ベクトルを検出する。検出部２１０は、各方向ベクトルの間の角度を演算し、演算結果に基づいて手書き軌跡の特性を判断する。例えば、各単位距離に対応する方向ベクトルの角度が一定範囲内で類似するか同一の場合に、全軌跡を直線と判断する。

一方、一定角度以上差が生じる部分があれば、その部分において手書き軌跡が折れていると判断することができる。検出部１２０は、手書き軌跡が折れている部分が予め設定された数以上であれば曲線と判断することができる。

なお、検出部１２０は、手書き軌跡の中で相互重なる部分が存在すると、その部分において閉曲線は発生したと認識する。検出部１２０は、閉曲線か否か、ラインの曲がり角度、曲がり部分の数等に基いてユーザの手書き軌跡の特性情報を検出することができる。検出部１２０は、特性情報と予め保存されたテキスト情報とを比較し、ユーザの手書き軌跡がどのようなテキストを意味するかを検出することができる。

このような方式で抽出された手書き軌跡は、検出部１２０と接続されたディスプレイ部１３０によってディスプレイされてよい。

なお、予め定められた時間内に別の手書き軌跡が入力されると、検出部１２０は、それに対する軌跡データを上述のように分析することで、直線か曲線かを判断するようになる。ディスプレイ部１３０は、以前に入力されてディスプレイされている手書き軌跡に付加し、予め定められた時間内に入力された別の手書き軌跡をディスプレイすることができる。

以上のように、検出部１２０は、予め定められた時間内に入力された少なくとも１つ以上の軌跡を組み合わせることで、全テキストを抽出することができる。検出部１２０は、このような方式で抽出されたテキストをディスプレイ部１３０及び制御部１４０に伝送することができる。ディスプレイ部１３０は、検出部１２０から伝送されたテキストをディスプレイすることができる。制御部１４０は、検出部１３０から伝送されたテキストに応じてアイテムを検出することができる。

制御部１４０は、検出部１２０からテキストを受信し、受信されたテキストに対応するアイテムを検索することができる。アイテムには、放送チャネル、コンテンツジャンル、コンテンツタイトル、アプリケーション、機能（ｆｕｎｃｔｉｏｎ）、ウェブサイトなどのような多様な基準の情報が含まれてよい。

アイテムは、保存部（図示せず）に保存されているか、外部送信装置または外部サーバから受信することができる。よって、制御部１４０は、テキストに対応するアイテムを保存部（図示せず）から検索して受信するか、外部送信装置及び／または外部サーバから検索して受信することができる。もし、検索されたアイテムがない場合、制御部１４０は検索されたアイテムがないことを示すメッセージをディスプレイすることができる。なお、検索されたアイテムが複数個である場合、制御部１４０は検索された複数個のアイテムを複数のカテゴリに分類してディスプレイすることができる。それについては、図９ないし図１２を参照して詳細に説明する。

一方、制御部１４０は、遠隔制御装置で後続の手書きが行われると、後続の手書きによる手書き軌跡から後続のテキストを抽出することができる。このような抽出過程は、上述の通りであるため、詳細な説明は省略する。この場合、制御部１４０は、以前に抽出されたテキスト及び後続に抽出されたテキストの組み合わせに対応するアイテムを再検索するように制御することができる。以前に抽出されたテキスト及び後続に抽出されたテキストの組み合わせに対応するアイテムを再検索する過程も上述した通りである。この場合、制御部１４０は、再検索されたアイテムを複数のカテゴリに応じて分類してディスプレイするように制御することができる。

一方、制御部１４０は、受信された手書き軌跡を示す手書き表示領域を画面の一領域に位置させるように制御することができる。なお、制御部１４０は、このような手書き表示領域を基準に上側、下側、左側及び／または右側方向に対して複数のカテゴリのそれぞれをマッチングし、カテゴリ別に分類された検索結果を整列してディスプレイするように制御することができる。この場合、複数のカテゴリは、アプリケーションカテゴリ、ウェブカテゴリ、機能カテゴリ及びコンテンツカテゴリのうち少なくとも１つを含んでよい。なお、手書き表示領域は、画面の中央に位置することができる。この場合、カテゴリ別に分類された検索結果は、画面の中央に位置した手書き表示領域の上側、下側、左側及び／または右側方向に対して整列されてディスプレイされてよい。更に、手書き表示領域は、画面の角領域に位置することもできる。この場合、カテゴリ別に分類された検索結果は、画面の角領域に位置した手書き表示領域の両方向に対して整列されてディスプレイされてよい。例えば、手書き表示領域が画面の左側上段角領域に位置したとしたら、手書き表示領域を中心に右側方向及び下側方向に検索結果が整列されてディスプレイされてよい。このような方式によってディスプレイされた少なくとも１つのアイテムのいずれかのアイテムが選択されると、制御部１４０は選択されたアイテムに対応する制御動作を行うようにすることができる。

一方、ディスプレイ装置１００は、多様なソースからアイテムを検索して表示することができる。具体的には、ディスプレイ装置１００に内蔵された保存部（図示せず）だけでなく、コンテンツ再生装置、放送局、ウェブサーバ、クラウドサーバ、ユーザ端末装置等のような多様な外部装置からアイテムを検索することができる。

図２は、多様な外部装置からアイテムを検索することができる一実施形態に係る通信システムの構成を示すブロック図である。図２を参照すると、通信システムは複数の送信装置及び通信部１５０を含む。

複数の送信装置は、相互異なる通信網を介して信号を送信する。図２においては、第１送信装置２００−１は、ＲＦ通信網３００−１を介して信号を送信し、第２送信装置２００−２は、ＩＰ通信網３００−２を介して信号を送信するものとして示しているが、通信網の種類がそれに限られるわけではない。説明の便宜上、本明細書においては、第１送信装置２００−１が送信する信号は第１信号と称し、第２送信装置２００−２が送信する信号は第２信号と称する。

第１信号及び第２信号は、アイテムを構成するために区分されたデータをそれぞれ含んでよい。すなわち、第１信号は、ＲＦ通信網３００−１を介して受信されるアイテムを構成するデータであり、第２信号は、ＩＰ通信網３００−２を介して受信されるアイテムを構成するデータであってよい。このような第１信号及び第２信号は、制御部１４０によって同時に受信されるか、選択的に受信されるものであってよい。なお、第１信号は、いずれかのアイテムを構成するデータであり、第２信号は、それとは別の別個のアイテムを構成するデータであってよい。更に、第１信号は、１つのアイテムに対する一部を構成するデータであり、第２信号は、それと同一のアイテムに対する残りを構成するデータであってよい。その他に、アイテムは、ビデオデータ及びオーディオデータに区分されるか、動画データ及び字幕データ等のように多様な基準に応じて区分されて、第１及び第２信号で伝送されてよい。

ＲＦ通信網３００−１を介して信号を伝送する方法及びその構成は、放送規格に応じて異なるように実現されてよい。すなわち、デジタル放送規格としては、ＡＴＳＣ（Ａｄｖａｎｃｅｄ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）、ＤＶＢ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｂｒｏａｄｃａｓｔｉｎｇ）、ＩＳＤＢ−Ｔ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｂｒｏａｄｃａｓｔｉｎｇ−Ｔｅｒｒｅｓｔｒｉａｌ）方式等がある。

ＲＦ通信網３００−１を介して第１信号を伝送する第１送信装置２００−１の細部構成及び動作は、上述の放送規格のうちいずれの放送規格が適用されたかに応じて、異なってよい。第１通信部１５０−１の構成及び動作も同様である。一例として、ＡＴＳＣ規格が採用された場合なら、第１送信装置２００−１は、ランダム化部、ＲＳエンコーダ、データインターリーバ、トレリスエンコーダ、シンク及びパイロット挿入部、８ＶＳＢ変調部、ＲＦアップコンバータ、アンテナ等を含んでよい。一方、第１通信部１５０−１は、アンテナ、ＲＦダウンコンバータ、復調部、等化部、デマルチプレクサ、ＲＳデコーダ、デインターリーバ等を含んでよい。各放送規格別信号送信及び受信のための細部構成については、各放送規格の標準文書において具体的に開示しているため、具体的な図示及び説明は省略する。

第２送信装置２００−２は、付加データを含む第２信号をＩＰ通信網３００−２を介して第２通信部１５０−２に伝送する。ＩＰ通信部３００−２は、ウェブ、クラウドネットワーク、ローカルネットワーク等のように、多様なネットワークで実現されてよい。第２送信装置２００−２は、ストリーミング方式で第２信号を伝送することができる。具体的には、ＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）やＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などのような多様なストリーミング方式が使用されてよい。別の実施形態によると、第２送信装置２００−２は、ダウンロード方式で付加データを提供することもできる。ダウンロード方式である場合、ファイルフォーマットは、ＡＶＩ、ＭＰ４、ＭＰＧ、ＭＯＶ、ＷＭＶ等のように多様な形態であってよい。

一方、ディスプレイ装置１００の制御部１３０は、多様な形態で構成されてよい。

図３は、本発明の一実施形態に係る制御部の細部構成を説明するためのブロック図である。

図３を参照すると、制御部１４０は、ディスプレイ装置１００の動作全般を制御する。制御部１４０は、ＲＡＭ１４１、ＲＯＭ１４２、ＣＰＵ１４３、ＧＰＵ１４４、バス１４５を含む。ＲＡＭ１４１、ＲＯＭ１４２、ＣＰＵ１４３、ＧＰＵ１４４等はバス１４５を介して相互接続されてよい。

ＣＰＵ１４３は、保存部（図示せず）にアクセスし、保存部（図示せず）に保存されたＯ／Ｓを用いてブートを行う。そして、保存部（図示せず）に保存された各種プログラム、コンテンツ、データ等を用いて多様な動作を行う。更に、手書き軌跡を分析し、それに対応するテキストを保存部（図示せず）から抽出する。

ＲＯＭ１４２には、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源を供給されると、ＣＰＵ１４３は、ＲＯＭ１４２に保存された命令語に応じて、保存部（図示せず）に保存されたＯ／ＳをＲＡＭ１４１にコピーし、Ｏ／Ｓを実行させてシステムをブートさせる。ブートが完了すると、ＣＰＵ１４３は保存部（図示せず）に保存された各種プログラムをＲＡＭ１４１にコピーし、ＲＡＭ１４１にコピーされたプログラムを実行させて各種動作を行う。

ＧＰＵ１４４は、ディスプレイ装置１００のブートが完了すると、アイテム画面、コンテンツ画面または検索結果画面等をディスプレイする。具体的には、ＧＰＵ１４４は、演算部（図示せず）及びレンダリング部（図示せず）を用いて、アイコン、イメージ、テキスト等のような多様な客体を含む画面を生成することができる。演算部は、画面のレイアウトに応じて各客体が表示される座標値、形、大きさ、カラー等のような属性値を演算する。レンダリング部は、演算部で演算した属性値に基いて客体を含む多様なレイアウトの画面を生成する。レンダリング部で生成した画面は、ディスプレイ部１３０に提供され、ディスプレイ領域内に表示される。一方、ＧＰＵ１４４は、遠隔制御装置から受信される信号に基いて、ユーザが遠隔制御装置のタッチパッドに手書きした内容をそのまま画面上に表示する。

ディスプレイ部１３０は、上述のような多様な画面をディスプレイする。ディスプレイ部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）ディスプレイ、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等のような多様なディスプレイで実現されてよい。ディスプレイ部１３０内には、ａ−ｓｉ ＴＦＴ、ＬＴＰＳ（ｌｏｗ ｔｅｍｐｅｒａｔｕｒｅ ｐｏｌｙ ｓｉｌｉｃｏｎ）
ＴＦＴ、ＯＴＦＴ（ｏｒｇａｎｉｃ ＴＦＴ）等のような形態で実現され得る駆動回路、バックライトユニット等のようも同時に含まれてよい。

図４は、本発明の一実施形態に係るディスプレイ装置１００の構成を総合的に説明するためのブロック図である。

図４を参照すると、ディスプレイ装置１００は、ディスプレイ部１３０と、制御部１４０と、通信部１５０と、保存部１６０と、ビデオプロセッサ１７０−１と、オーディオプロセッサ１７０−２と、入力部１１０と、検出部１２０と、マイク部１８０−１と、カメラ部１８０−２及びスピーカ部１８０−３を含んでよい。

保存部１６０は、ディスプレイ装置１００の動作に必要な各種プログラム及びデータを保存するための構成要素である。

ディスプレイ部１３０は、一般のＬＣＤディスプレイで実現されてよく、タッチスクリーン形態で実現されてよい。タッチスクリーンで実現される場合、ユーザは画面をタッチしてディスプレイ装置１００の動作を制御することができる。なお、ディスプレイ部１３０がタッチスクリーンで実現されない場合、遠隔制御装置から伝送される信号を入力部１１０が受信してそれを制御部１４０に伝送することができる。

制御部１４０は、保存部１６０に保存された各種プログラム及びデータを用いてディスプレイ装置１００の動作の全般を制御する。ディスプレイ部１３０と、制御部１４０については、上述の多様な実施形態において既に具体的に説明しているため、繰り返し説明は省略する。

通信部１５０は、多様な通信方式によって多様な類型の外部機器と通信を行う構成である。通信部１５０は、Ｗｉ−Ｆｉチップ１５０−１、ブルートゥースチップ１５０−２、無線通信チップ１５０−３、ＮＦＣチップ１５０−４を含んでよい。

Ｗｉ−Ｆｉチップ１５０−１、ブルートゥースチップ１５０−２は、それぞれＷｉ−Ｆｉ方式、ブルートゥース方式で通信を行う。Ｗｉ−Ｆｉチップ１５０−１やブルートゥースチップ１５０−２を用いる場合には、ＳＳＩＤ及びセッションキー等のような各種接続情報を先に送受信し、それを用いて通信接続した後各種情報を送受信することができる。無線通信チップ１５０−３は、ＩＥＥＥ、Ｚｉｇｂｅｅ（登録商標）、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等のような多様な通信規格によって通信を行うチップを意味する。ＮＦＣチップ１５０−４は、１３５ｋＨｚ、１３．５６ＭＨｚ、４３３ＭＨｚ、８６０〜９６０ＭＨｚ、２．４５ＧＨｚ等のような多様なＲＦ−ＩＤ周波数帯域のうち、１３．５６ＭＨｚ帯域を使用するＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）方式で動作するチップを意味する。

なお、通信部１５０は、検索サーバ等のような多様な外部サーバ装置と通信を行うこともできる。

入力部１１０を介して受信された信号に基いて、検出部１２０がユーザの手書き軌跡に対応するテキストを検出すると、制御部１４０は通信部１５０を介して多様な外部装置にアクセスし、検出されたテキストに対応するアイテムを受信することができる。

その他に、通信部１５０は、サーバ装置ではない多様な外部装置と直接通信を行って検索を行うこともできる。

ビデオプロセッサ１７０−１は、通信部１５０を介して受信されたアイテムまたは保存部１６０に保存されたアイテムに含まれたビデオデータを処理するための構成要素である。すなわち、ビデオデータに対するデコード、スケーリング、ノイズフィルタリング、フレームレート変換、解像度変換等のような多様なイメージを処理を行うことができる。

オーディオプロセッサ１７０−２は、通信部１５０を介して受信されたアイテムまたは保存部１６０に保存されたアイテムに含まれたオーディオデータを処理するための構成要素である。オーディオプロセッサ１７０−２においては、オーディオデータに対するデコードや増幅、ノイズフィルタリング等のような多様な処理が行われてよい。

制御部１４０は、ディスプレイ部１３０に表示されたアイテムの中からマルチメディアコンテンツに対応するアイテムが選択されると、通信部１５０を介して当該マルチメディアコンテンツを受信する。

制御部１４０は、マルチメディアコンテンツが受信されると、そのマルチメディアコンテンツをデマルチプレキシングしてビデオデータ及びオーディオデータをそれぞれ抽出し、抽出されたビデオデータ及びオーディオデータをそれぞれデコードして当該アイテムを再生するようにビデオプロセッサ１７０−１及びオーディオプロセッサ１７０−２を制御することができる。

ディスプレイ部１３０は、ビデオプロセッサ１７０−１で生成したイメージフレームをディスプレイすることができる。

スピーカ部１８０−３は、オーディオプロセッサ１７０−２で生成したオーディオデーチャを出力する。

入力部１１０は、外部の遠隔制御装置が伝送した操作信号を受信し、それを制御部１４０に伝送することができる。この場合、入力部１１０は、ディスプレイ装置１００の本体の外観の前面部、側面部、背面部等の任意の領域に形成されてよい。

マイク部１８０−１は、ユーザ音声やその他の音を受信してオーディオデータに変換するための構成である。制御部１４０は、マイク部１８０−１を介して入力されるユーザ音声をアイテム検索または抽出に利用したり、オーディオデータに変換して保存部１６０に保存することができる。

カメラ部１８０−２は、ユーザの制御に応じて静止画像または動画を撮像するための構成である。カメラ部１８０−２は、前面カメラ、後面カメラのように複数個で実現されてよい。

カメラ部１８０−２及びマイク部１８０−１が設けられた場合、制御部１４０はマイク部１８０−１を介して入力されるユーザ音声やカメラ部１８０−２によって認識されるユーザモーションに応じて制御動作を行うこともできる。すなわち、ディスプレイ装置１００は、モーション制御モードや音声制御モードで動作することができる。モーション制御モードで動作する場合、制御部１４０はカメラ部１８０−２を活性化させてユーザを撮像し、ユーザのモーション変化を追跡してそれに対応する制御動作を行う。音声制御モードで動作する場合、制御部１４０はマイク部１８０−１を介して入力されたユーザ音声を分析し、分析されたユーザ音声に応じて制御動作を行う音声認識モードで動作することもできる。よって、カメラ部１８０−２及びマイク部１８０−１は、ユーザのモーションまたはユーザの音声を認識して制御部１４０がアイテムを抽出することに利用されてよい。

モーション制御モードや音声制御モードがサポートされるディスプレイ装置においては、音声認識技術またはモーション認識技術が上述の多様な実施形態に使用されてよい。仮に、ユーザが画面に表示されたアイテム等のオブジェクトを選択するようなモーションを取るか、そのオブジェクトに対応する音声命令語を発音する場合、当該オブジェクトが選択されたと判断し、そのオブジェクトにマッチングする制御動作を行うことができる。

その他に、図４に示していないが、実施形態によっては、ディスプレイ装置１００内にＵＳＢコネクタが接続され得るＵＳＢポート、ヘッドセット、マウス、ＬＡＮ等のような多様な外部端子と接続するための多様な外部入力ポート、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）信号を受信して処理するＤＭＢチップ等を更に含んでよい。

以上のように、ディスプレイ装置１００は、多様な形態で実現されてよい。

図５は、本発明の一実施形態に係るディスプレイ装置１００が使用するソフトウェア構造のブロック図である。

図５のソフトウェアは、保存部１６０に保存されてよいが、必ずしもそれに限定されるわけではなく、ディスプレイ装置１００内に使用される多様な保存手段に保存されてよい。図５によると、ディスプレイ装置１００には、ＯＳ１９１、カーネル１９２、ミドルウェア１９４、アプリケーション等を含むソフトウェアが保存されてよい。

運営体制（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）１９１は、ハードウェアの動作全般を制御し、管理する機能を行う。すなわち、ＯＳ１９１は、ハードウェア管理とメモリ、セキュリティ等の基本的な機能を担当する階層である。

カーネル１９２は、ディスプレイ装置１００内の検知手段によって検知される各種信号をミドルウェア１９３に伝達する通路役割を担う。

ミドルウェア１９３は、ディスプレイ装置１００の動作を制御する各種ソフトウェアモジュールを含む。図５によると、ミドルウェア１９３は、ＵＩフレームワーク１９３−１、ウィンドウマネージャ１９３−２、手書き認識モジュール１９３−３、セキュリティモジュール１９３−４、システムマネージャ１９３−５、マルチメディアフレームワーク１９３−６、Ｘ１１モジュール１９３−７、ＡＰＰマネージャ１９３−８、接続マネージャ１９３−９を含む。

ＵＩウィンドウワーク１９３−１は、各種ＵＩを提供するためのモジュールである。ＵＩフレームワーク１９３０１は、テキスト、アイテム等の各種オブジェクトを構成するイメージ合成器（Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｏｒ ｍｏｄｕｌｅ）、オブジェクトが表示される座標を算出する座標合成器、構成されたオブジェクトを算出された座標にレンダリングするレンダリングモジュール、２Ｄまたは３ＤのＵＩを構成するためのツール（Ｔｏｏｌ）を提供する２Ｄ／３ＤＵＩツールキットなどを含んでよい。

ウィンドウマネージャ１９３−２は、ユーザの体やペンを用いたタッチイベント、ユーザの音声を用いた音声認識イベント、ユーザの動作を用いた動作認識イベント、その他の入力イベントを検知することができる。ウィンドウマネージャ１９３−２は、このようなイベントが検知されると、ＵＩフレームワーク１９３−１にイベント信号を伝達し、イベントに対応する動作を行うようにする。

手書き認識モジュール１９３−３は、遠隔制御装置のタッチパッド上でユーザがドローイングした軌跡をパーシングし、その内容を認識するためのモジュールである。検出部１２０は、手書き認識モジュール１９３−３を実行させ、ユーザが手書きしたテキストを検出することができる。手書き認識モジュール１９３−３は、入力されたユーザの手書きの軌跡による連続した座標値を受信し、このような連続的な座標値をストロークで保存する。そして、ストロークを用いてストロークアレイを生成することができる。そして、手書き認識モジュール１９３−３は、予め保存された手書きライブラリと生成されたストロークアレイとを比較することで、手書き軌跡を認識し、手書き軌跡に対応するテキストを抽出することができる。

セキュリティモジュール１９３−４は、ハードウェアに対する認証（Ｃｅｒｔｉｆｉｃａｔｉｏｎ）、要請許容（Ｐｅｒｍｉｓｓｉｏｎ）、セキュリティ保存（Ｓｅｃｕｒｅ Ｓｔｏｒａｇｅ）等をサポートするモジュールである。

システムマネージャ１９３−５は、ディスプレイ装置１００内の各構成要素の状態をモニタリングし、そのモニタリングの結果を他のモジュールに提供する。例えば、バッテリの残量が不足していたり、エラーが発生する場合、通信接続状態が途切れる場合等のイベントが発生すると、システムマネージャ１９３−５はそのモニタリング結果をＵＩフレームワーク１９３−１に提供して報知メッセージや報知音を出力することができる。

マルチメディアフレームワーク１９３−６は、ディスプレイ装置１００に保存されているか、外部ソースから提供されるマルチメディアコンテンツを再生するためのモジュールである。マルチメディアフレームワーク１９３−６は、プレーヤモジュール、カムコーダモジュール、サウンド処理モジュール等を含んでよい。それにより、各種マルチメディアアイテムを再生して画面及び音響を生成して再生する動作を行うことができる。

Ｘ１１モジュール１９３−７は、ディスプレイ装置１００に具備された各種ハードウェアから各種イベント信号を受信するモジュールである。ここで、イベントとは、ユーザ操作が検知されるイベント、システムアラームが発生するイベント、特定プログラムが実行または終了するイベント等のように多様に設定されてよい。

ＡＰＰマネージャ１９３−８は、保存部１６０にインストールされた各種アプリケーションの実行状態を管理するモジュールである。ＡＰＰマネージャ１９３−８は、Ｘ１１モジュール１９３−７からアプリケーション実行命令が入力されたイベントが検知されると、当該イベントに対応するアプリケーションを呼び出して実行させる。すなわち、ＡＰＰマネージャ１９３−８は、少なくとも１つのオブジェクトが選択されたイベントが検知されると、そのオブジェクトに対応するアプリケーションを呼び出して実行させる動作を行う。

接続マネージャ１９３−９は、有線または無線ネットワーク接続をサポートするためのモジュールである。接続マネージャ１９３−９は、ＤＮＥＴモジュール、ＵＰｕＰモジュール等のような多様な細部モジュールを含んでよい。

アイテム認識モジュール１９３−１０は、保存部１６０に保存されたアイテムまたは通信部１５０が受信したアイテムを認識し、そのアイテムに対する情報を抽出するモジュールである。具体的に、アイテム認識モジュール１９３−１０は、アイテムのタイトル、アイテムのタイトルに該当するテキスト、その他のアイテムに対する具体的な情報を抽出することができる。

一方、ミドルウェア１９３の上部階層には、ディスプレイ装置１００の多様な機能を実現するブラウザ階層及び少なくとも１つ以上のアプリケーション階層が存在する。

図５に示すソフトウェア構造は一例に過ぎないため、必ずしもそれに限定されるわけではない。よって、必要に応じて一部が省略または変形されたり、追加されてよい。仮に、保存部１６０は、各種センサでセンシングされた信号を分析するためのセンシングモジュール、メッセンジャプログラム、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）＆ＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）プログラム、Ｅ−Ｍａｉｌプログラム等のようなメッセージングモジュール、電話情報収集器（Ｃａｌｌ Ｉｎｆｏ Ａｇｇｒｅｇａｔｏｒ）プルグラムモジュール、ＶｏＩＰモジュール、ウェブブラウザ１９４−ｍ等のように多様なプログラムが更に設けられてよい。

図６は、本発明の一実施形態に係るディスプレイ方法に関するフローチャートである。

図６を参照すると、ディスプレイ装置１００は、遠隔制御装置からユーザの手書き軌跡を受信する（Ｓ６１０）。この場合、ディスプレイ装置１００は、手書き軌跡の座標データを分析することができる。

手書き軌跡を受信したディスプレイ装置１００は手書き軌跡に対応するテキストを抽出する（Ｓ６２０）。この場合、ディスプレイ装置１００は、手書き軌跡の座標データを分析した状態であるため、分析した座標データに対応するテキストを抽出することができる。すなわち、分析した手書き軌跡の座標データと予め保存されたテキスト軌跡の座標データとを比較し、相互対応するテキストを抽出するようになる。

その後、ディスプレイ装置１００は、抽出されたテキストに対応するアイテムを検索する（Ｓ６３０）。アイテムは、それぞれの固有のネーム、タイトル、名称等を含むため、ディスプレイ装置１００は抽出されたテキストに対応するアイテムのネーム、タイトル、名称等を検索及び抽出することができる。

よって、抽出されたテキストに対応するアイテムがあれば、ディスプレイ装置１００はそれをディスプレイする。特に、検索されたアイテムが複数であれば、ディスプレイ装置１００は検索された複数のアイテムを複数のカテゴリに分類し、それをディスプレイする（Ｓ６４０）。もし、検索されたアイテムがなければ、検索結果がないことを示す視覚メッセージ及び／または音メッセージ等を表示することができる。なお、検索された複数のアイテムが１つのカテゴリに該当する場合には、該当する１つのカテゴリのみに分類して検索された複数のアイテムを配列してディスプレイすることができる。一方、上述のディスプレイ方法については、図８を参照して詳細に説明する。

図７は、本発明の一実施形態に係るディスプレイ方法に関する別のフローチャートである。

図７を参照すると、ユーザは遠隔制御装置に含まれたタッチパッド上に手書きをするようになり、遠隔制御装置はタッチパッド上でユーザのタッチによる手書きを検知する（Ｓ７１０）。この場合、遠隔制御装置は、ユーザのタッチ及びドラッギングを検知することができる。遠隔制御装置に含まれたタッチパッド上でユーザのタッチ及び／またはドラッギングを検知する構成は広く知られているため、詳細な説明は省略する。

ユーザタッチ及びドラッギングによる軌跡を検知した遠隔制御装置は、軌跡の座標値を抽出することができる（Ｓ７２０）。手書き軌跡の座標値を抽出した遠隔制御装置は、それをディスプレイ装置１００に伝送することができる（Ｓ７３０）。手書き軌跡の座標値を抽出する構成については、図１においてディスプレイ装置１００の検出部１２０において説明しているため、詳細な説明は省略する。この場合、遠隔制御装置が手書き軌跡の座標値を抽出するようになるため、手書き軌跡の座標値を受信したディスプレイ装置１００は別途に手書き軌跡の座標値を抽出しなくてよい。よって、ディスプレイ装置１００は、遠隔制御装置から手書き軌跡の座標値を受信し、受信された座標値に対応するテキストを検索及び抽出することができる。

一方、遠隔制御装置は、ユーザの手書き軌跡を受信した後、手書き軌跡の座標値を直接抽出せずに、ディスプレイ装置１００に対してユーザの手書き軌跡による信号を伝送することができる。すなわち、遠隔制御装置は、手書き軌跡の座標値を含まない信号をディスプレイ装置１００に伝送し、それを受信したディスプレイ装置１００は手書き軌跡の信号から座標値を抽出することができる。

図８は、本発明の一実施形態に係るユーザの手書きの一例を示す図であり、図９は、本発明の一実施形態に係るディスプレイ装置１００の詳細画面の一例を示す図である。

図８を参照すると、遠隔制御装置４００が設けられる。遠隔制御装置４００は、ユーザのタッチを入力するためのタッチパッド４１０を含む。図８には示していないが、遠隔制御装置４００はディスプレイ装置１００を制御するための少なくとも１つ以上のボタンを更に含んでよい。

ユーザは遠隔制御装置４００として手書きモードの活性化及び非活性化を制御することができる。すなわち、ユーザは遠隔制御装置４００上に設けられた手書きモードボタンを押すことで、遠隔制御装置４００及びディスプレイ装置１００を手書きモードに設定することができる。または、遠隔制御装置４００の方向をディスプレイ装置１００の一領域に設けられた手書きモード表示領域１３１に向かわせた後、タッチパッド４１０をタッチすることで遠隔制御装置４００及びディスプレイ装置１００を手書きモードに設定することができる。または、予め設定された時間以上の間、ユーザがタッチパッド４１０上にドローイングしないでタッチすることで、手書きモードは設定されることができる。または、ユーザがタッチパッド４１０上に予め設定された長さ以上の直線をドローイングすることで手書きモードは設定されることができる。その後、遠隔制御装置４００を上述の方式と同一の方式でもう一度操作することで手書きモードは解除されることができる。

図９に示すように、ディスプレイ装置１００の一領域には手書きモード表示領域１３１が形成されており、このような手書きモード表示領域１３１には、現在の状態が手書きモードの状態か否かが表示されてよい。例えば、手書きモードが活性化された状態であれば、ディスプレイ装置１００のテキスト表示領域１３２には別の領域と対比できる色で表示されたり、別の領域に比べて輝度を高くするなどの視覚的効果を与えることができる。

手書きモードが設定された状態で、ユーザはタッチパッド４１０上でタッチ及び／またはドラッグすることができる。この場合、ユーザはタッチペンを用いて行ってよく、ユーザの体を用いてよい。図８においては、ユーザの指で“Ｓ”という文字の軌跡を描くことを示している。すなわち、ユーザがタッチパッド４１０上で“Ｓ”という文字を描くと、タッチパッド４１０はユーザのドラッグと同時に“Ｓ”という文字の軌跡をディスプレイするようになる。

ユーザのタッチ及びドラッギングによる軌跡を検知した遠隔制御装置４００は、軌跡の座標値を抽出することができる。手書き軌跡の座標値を抽出した遠隔制御装置４００は、それをディスプレイ装置１００に伝送することができる。この場合、遠隔制御装置４００が手書き軌跡の座標値を抽出するようになるため、手書き軌跡の座標値を受信したディスプレイ装置１００は別途に手書き軌跡の座標利を抽出しなくてよい。よって、ディスプレイ装置１００は、遠隔制御装置４００から手書き軌跡の座標値を受信し、受信された座標値に対応するテキストを検索及び抽出することができる。

一方、遠隔制御装置４００は、ユーザの手書き軌跡を受信した後、手書き軌跡の座標値を抽出してなくてよい。この場合、遠隔制御装置４００が手書き軌跡の座標値を抽出しないため、遠隔制御装置４００はディスプレイ装置１００に対してユーザの手書き軌跡による信号を伝送することができる。すなわち、遠隔制御装置４００は、手書き軌跡の座標値を含まない信号をディスプレイ装置１００に伝送し、それを受信したディスプレイ装置１００は手書き軌跡の信号から座標値を抽出することができる。

図９は、図８に示す遠隔制御装置４００の入力によるディスプレイ装置１００を示している。図９を参照すると、手書きモード表示領域１３１は、手書きモードであることをディスプレイしており、テキスト表示領域１３２は、遠隔制御装置４００から受信された手書き軌跡をディスプレイしている。ユーザは、遠隔制御装置４００として手書きモードを設定した状態で、タッチパッド４１０上に“Ｓ”を手書きした状態である。よって、ディスプレイ装置１００の手書きモード表示領域１３１は、“手書きモードＯＮ”と表示され、テキスト表示領域１３２は“Ｓ”と表示される。

一方、ディスプレイ装置１００は、テキスト表示領域１３２に表示された“Ｓ”を含むアイテムをディスプレイすることができる。すなわち、初期化されたテキスト表示領域１３２に最初にディスプレイされたテキストが“Ｓ”であるため、アイテムのネーム、名称またはタイトルの中から“Ｓ”で始まるアイテムが検索される。

この場合、検索されるアイテムはディスプレイされたテキストを含むアイテムのネーム、名称またはタイトルに限定されるわけでなく、検索されるアイテムはディスプレイされたテキストを含むキーワードに対するアイテムであってよい。すなわち、ディスプレイ装置１００は、テキスト表示領域１３２に表示されたテキストを含むキーワードに対するアイテムをディスプレイすることもできる。例えば、音量調節機能を行うアイテムの名称に該当する“Ｖｏｌｕｍｅ”に対するキーワードを“Ｓｏｕｎｄ”と予め設定したと仮定する。その後、図８に示すように、ユーザはタッチパッド４１０上で“Ｓ”をドローイングすることができる。この場合、音量調節機能を担うアイテムの名称に該当する“Ｖｏｌｕｍｅ”は“Ｖ”から始まるとしても、“Ｓｏｕｎｄ”というキーワードが検索されてよい。よって、ユーザがタッチパッド４１０上で“Ｓ”をドローイングすると、“Ｓｏｕｎｄ”というキーワードを含むアイテムである“Ｖｏｌｕｍｅ”が検索されてよい。

複数のアイテムが検索された場合、各アイテムは予め定められたカテゴリによって分類されてよい。図９を参照すると、検索されたアイテムを４つのカテゴリに分類することができ、分類されたアイテムは、第１カテゴリ領域１３３−１、第２カテゴリ領域１３３−２、第３カテゴリ領域１３３−３及び第４カテゴリ領域１３３−４にディスプレイされてよい。なお、複数のカテゴリ領域は、テキスト表示領域１３２を中心にして対称的にディスプレイされてよい。

図９は、ディスプレイ装置１００を設定する機能カテゴリを第１カテゴリと、映画、ドラマ、ドキュメンタリ、ニュース等のコンテンツに関するカテゴリを第２カテゴリと、ディスプレイ装置１００上で実行されるアプリケーションに関するカテゴリを第３カテゴリと、ディスプレイ装置１００上で実行されるウェブに関するカテゴリを第４カテゴリと示しているが、それに限定されるわけではない。なお、図９は、テキスト表示領域１３２を中心に、第１カテゴリ領域１３３−１ないし第４カテゴリ領域１３３−４が上側、下側、左側及び右側方向にディスプレイされていることを示しているが、それに限定されるわけではない。

一方、アイテムはディスプレイ装置１００に保存されてよく、外部サーバ等の送受信装置から受信されたものであってよい。なお、アイテムは、外部サーバ等の送受信装置から受信されないものであってよい。

なお、アイテムの整列方向やカテゴリ分類基準、手書きモード表示領域等の位置、大きさ、形等は実施形態に応じて多様に変形されてよい。

図１０ないし図１１は、多様な実施形態に係る検索結果画面の例を示す図である。

図１０を参照すると、手書きモード表示領域１３１及びテキスト表示領域１３２が左側に表示され、第１カテゴリ領域１３３−１ないし第４カテゴリ領域１３３−４が配列されてよい。この場合、各カテゴリ領域に含まれるアイテムは、上下方向に配列されてディスプレイされてよい。

図１１においては、カテゴリ領域が更に細分化された場合を示している。図１１を参照すると、テキスト表示領域１３２を中心にし、第１カテゴリ領域１３３−１ないし第８カテゴリ領域１３３−８が周縁方向に配列されてよい。この場合、各カテゴリ領域に含まれるアイテムは当該カテゴリ領域の配列された方向に配列されてディスプレイされてよい。

一方、ユーザは、複数のテキストを順次に入力することができる。例えば、ユーザは１つのテキストを手書きした後、次のテキストを順次に手書きすることができる。この場合、制御部１４０は、後続の手書き内容に基いて順次にテキストを抽出し、抽出されたテキストを組み合わせてアイテムを検索することができる。

図１２は、図８による手書き軌跡の後続の手書きが行われる場合を示しており、図１３は、このような後続の手書きによるディスプレイ装置１００の詳細画面を示している。

図１２を参照すると、ユーザは“Ｓ”の後続の手書きで“Ｐ”という文字の軌跡を描く。この場合、遠隔制御装置４００は、以前に手書きされた“Ｓ”はタッチパッド４１０上から消え、後で手書きされた“Ｐ”という軌跡をディスプレイするようになる。すなわち、ユーザがタッチパッド４１０上で“Ｐ”を描くと、タッチパッド４１０はユーザのドラッグと同時に“Ｐ”という軌跡をディスプレイするようになる。遠隔制御装置４００は、タッチパッド４１０上にディスプレイされた“Ｐ”の軌跡をディスプレイ装置１００に伝送する。

図１３を参照すると、テキスト表示領域１３２は、遠隔制御装置４００から受信された“Ｐ”の軌跡をディスプレイする。この場合、遠隔制御装置４００が伝送する“Ｐ”は以前に伝送した“Ｓ”の後続の手書きであるため、テキスト表示領域１３２には前のテキストである“Ｓ”はそのままディスプレイされた状態で、後続テキストである“Ｐ”をディスプレイするようになる。すなわち、テキスト表示領域１３２には“ＳＰ”がディスプレイされる。

一方、ディスプレイ装置１００は、テキスト表示領域１３２にディスプレイされた“ＳＰ”を含むアイテムをディスプレイすることができる。すなわち、図９に示すような状態で、アイテムのネーム、名称またはタイトルのうち、“ＳＰ”から始まるアイテムが検索される。よって、ユーザは所望のアイテムをより素早くかつ直観的に検索することができるようになる。

ユーザは、検索結果が表示された画面上で少なくとも１つのアイテムを選択することができる。ユーザの選択は、多様な方式で行われてよい。

図１４は、アイテムを選択する方法の一例を示す図であり、図１５は、それによるディスプレイ装置１００の詳細画面の一例である。

図１４によると、ユーザは手書きモードを解除した後、タッチパッドを用いて予め設定されたパターンのタッチを行ってアイテムを選択することができる。すなわち、遠隔制御装置４００の本体内には手書きモード選択及び解除をトグルすることができるトグルスイッチ（図示せず）が設けられてよく、タッチパッド内に手書きモード選択及び解除をトグルすることができるトグルメニュー（図示せず）が表示されてよい。ユーザは、このようなトグルスイッチまたはトグルメニューを選択し、手書きモードを解除することができる。

図１４においては、手書きモードを解除した後、特定パターン（例えば、|）をドローイングした状態を示す。この場合、制御部１４０は、手書きモードを解除することができる。手書きモードが解除されると、図８を参照して説明したようなテキスト表示領域１３２の視覚的効果は消えるようになる。制御部１４０は、手書きモード解除後、ユーザがドローイングした特定パターンに従ってアイテムを選択する。

なお、アイテム選択は、遠隔制御装置４００に設けられた方向キーを用いて行われてよい。遠隔制御装置４００は、上方向キー、下方向キー、左方向キー、右方向キーを含んでよい。よって、ユーザは、遠隔制御装置４００に設けられた４つの方向キーのうちいずれかを選択することで、現在カーソルが位置している領域から所望の方向にカーソルを移動させることができる。図１３を参照すると、カーソルは、現在テキスト表示領域１３２に位置している。この状態で、ユーザは上述の方式によって手書きモードを解除した後、遠隔制御装置４００に設けられた４つの方向キーのうち、下方向キーを押してよい。それにより、カーソルは、テキスト表示領域１３２で“ＳＰＯＲＴＳ−ＴＶ”というアイテム領域に移動することができる。

なお、アイテム選択は、ユーザの音声認識またはユーザのモーション認識によって行われてよい。音声認識またはモーション認識によるアイテム選択は、手書きモードが設定された状態だけでなく、手書きモードが解除された状態でも適用されてよい。よって、ユーザは、ディスプレイされた少なくとも１つのアイテムの中から選択しようとするアイテムを音声またはモーションによって選択することができる。図１３を参照すると、カーソルは、現在テキスト表示領域１３２に位置している。この状態で、ユーザは選択しようとするアイテムに該当する音声である“ＳＰＯＲＴＳ−ＴＶ”を発音することで、アイテムを選択することができる。または、ユーザが手を下方に向くモーションを取ることで、カーソルはテキスト表示領域１３２で“ＳＰＯＲＴＳ−ＴＶ”というアイテム領域に移動することができる。

図１５によると、制御部１４０は、手書きモードが解除されたことを示すＧＵＩ１３１を表示し、予め検索されたアイテムの中からユーザがドローイングしたパターンに対応する方向に表示されたアイテムにカーソルを表示する。図１４のように、ユーザが上側から下側にドローイングした場合なら、制御部１４０はテキスト表示領域１３２を基準に下側のアイテムである“ＳＰＯＲＴＳ−ＴＶ”に定められた視覚的効果、すなわちカーソルを表示する。

この状態で、ユーザがタッチパッド４１０上でタッチをすると、遠隔制御装置４００は選択信号を伝送する。制御部１４０は、“ＳＰＯＲＴＳ−ＴＶ”というネームのアイテムに視覚的効果が表示された状態で選択信号が受信されると、当該アイテムが選択されたと判断する。それにより、当該アイテムに対応する制御動作を行う。例えば、“ＳＰＯＲＴＳ−ＴＶ”が選択された場合、制御部１４０は“ＳＰＯＲＴＳ−ＴＶ”という放送チャネルを選択し、その放送チャネルを通じて受信される信号を出力する。その他にも、アイテムには各種アプリケーションが表示されてよく、制御部１４０は、このようなアプリケーションが選択されたと判断されると、そのアプリケーションを実行させてその実行画面をディスプレイすることもできる。このように、制御部１４０は、ユーザの手書き内容に応じて、多様なアイテムを選別的に表示し、その中からユーザの選択したアイテムに対応する制御動作を行うことができる。

一方、制御部１４０は、ユーザの選択したアイテムに従属する下位アイテムが存在する場合、その下位アイテムを表示することができる。ユーザは、下位アイテムの中の１つを選択することができ、制御部１４０は選択された下位アイテムに対応する制御動作を選択することができる。下位アイテムの選択は、上述のような手書き認識方式で行われてよく、カーソル移動方式で行われてよい。

手書き認識方式で行われる場合、制御部１４０は下位アイテムを表示しつつ手書きモードを再度活性化させることができる。

図１６は、手書きモードを活性させて下位アイテムを選択する方法の一例を示す図である。

すなわち、図１５のように、ユーザが“ＳＰＯＲＴＳ−ＴＶ”というアイテムを選択した場合、制御部１４０は、それに含まれる複数の下位アイテムを予め定められた順に配列してよい。

図１６においては、“ＳＰＯＲＴＳ−ＴＶ”というアイテムに含まれた複数の下位アイテムをアイテムのネーム、名称またはタイトルのアルファベット順に配列してディスプレイしたものを示している。

制御部１４０は、手書きモードを自動的に再度活性化させ、図１６に示すように、テキスト表示領域１３２を表示する。ユーザは、上述のように、手書きを入力し、ディスプレイ装置１００は入力された手書きに対応する下位アイテムを検索及び抽出することができる。

一方、別の実施形態によると、制御部１４０は手書きモードが非活性化された状態をそのまま維持しつつ、下位アイテムを表示することもできる。

すなわち、図１７に示すように、制御部１４０は、テキスト表示領域１３２を表示せずに、下位アイテムのうちの１つの下位アイテムにカーソルを表示することができる。ユーザは、上述のように、タッチパッド４１０上に上下方向、左右方向、対角線方向等に対するタッチ及びドラッグを行うことで、所望の下位アイテムを選択して実行することができる。

以上のように、ユーザは遠隔制御装置上における手書き入力を通じて、ディスプレイ装置の動作を便宜に制御することができる。

上述の多様な実施形態に係るディスプレイ装置のディスプレイ方法は、非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存されていてよい。このような非一時的な読み取り可能な媒体は、多様な装置に搭載されて使用されてよい。

一例として、遠隔制御装置でユーザの手書きが行われると、手書き軌跡を受信するステップと、前記手書き軌跡に対応するテキストを抽出するステップと、前記テキストに対応するアイテムを検索するステップと、前記検索されたアイテムを複数のカテゴリに分類してディスプレイするステップとを含むディスプレイ方法を行うためのプログラムコードが非一時的な読み取り可能な媒体に保存されて提供されてよい。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（Ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ ディスプレイ装置
１１０ 入力部
１２０ 検出部
１３０ ディスプレイ部
１４０ 制御部
１５０ 通信部
１６０ 保存部
４００ 遠隔制御装置
４１０ タッチパッド

Claims (12)

1. ディスプレイ部と、
   遠隔制御装置でユーザの手書きが行われると、手書き軌跡を受信する入力部と、
   前記手書き軌跡に対応するテキストを抽出する抽出部と、
   前記テキストに対応するアイテムを検索し、前記検索されたアイテムを複数のカテゴリに分類して前記ディスプレイ部にディスプレイする制御部と
   を含むディスプレイ装置。
2. 前記制御部は、
   前記遠隔制御装置で後続の手書きが行われると、前記後続の手書きによる手書き軌跡から後続テキストを抽出し、前記テキスト及び前記後続テキストに対応するアイテムを再検索し、前記再検索されたアイテムを前記複数のカテゴリに応じて分類して前記ディスプレイ部にディスプレイすることを特徴とする請求項１に記載のディスプレイ装置。
3. 前記制御部は、
   前記受信された手書き軌跡を示す手書き表示領域を画面の一領域に位置させ、前記手書き表示領域を基準に上側、下側、左側及び右側方向に対して前記複数のカテゴリのそれぞれをマッチングし、前記カテゴリ別に分類された検索結果を整列してディスプレイすることを特徴とする請求項１に記載のディスプレイ装置。
4. 前記制御部は、
   前記手書き表示領域を前記画面の中央または前記画面に対する４つの角のうちの一側に位置させることを特徴とする請求項３に記載のディスプレイ装置。
5. 前記制御部は、
   前記アイテムが選択されると、前記選択されたアイテムに対応する制御動作を行うことを特徴とする請求項１に記載のディスプレイ装置。
6. 前記複数のカテゴリは、
   アプリケーションカテゴリ、ウェブカテゴリ、機能カテゴリ及びコンテンツカテゴリのうち、少なくとも１つを含むことを特徴とする請求項１ないし請求項５のいずれか一項に記載のディスプレイ装置。
7. 遠隔制御装置でユーザの手書きが行われると、手書き軌跡を受信するステップと、
   前記手書き軌跡に対応するテキストを抽出するステップと、
   前記テキストに対応するアイテムを検索するステップと、
   前記検索されたアイテムを複数のカテゴリに分類してディスプレイするステップと
   を含むディスプレイ方法。
8. 前記遠隔制御装置で後続の手書きが行われると、前記後続の手書きによる手書き軌跡から後続テキストを抽出するステップと、
   前記テキスト及び前記後続テキストに対応するアイテムを再検索するステップと、
   前記再検索されたアイテムを前記複数のカテゴリに応じて分類してディスプレイするステップと
   を更に含むことを特徴とする請求項７に記載のディスプレイ方法。
9. 前記受信された手書き軌跡を示す手書き表示領域を画面の一領域に表示するステップと、
   前記手書き表示領域を基準に上側、下側、左側及び右側方向に対して前記複数のカテゴリのそれぞれをマッチングするステップと、
   前記カテゴリ別に分類された検索結果を整列してディスプレイするステップと
   を更に含むことを特徴とする請求項７に記載のディスプレイ方法。
10. 前記手書き表示領域は、前記画面の中央または前記画面に対する４つの角のうちの一側に表示されることを特徴とする請求項９に記載のディスプレイ方法。
11. 前記アイテムが選択されると、前記選択されたアイテムに対応する制御動作を行うステップを更に含むことを特徴とする請求項７に記載のディスプレイ方法。
12. 前記複数のカテゴリは、
    アプリケーションカテゴリ、ウェブカテゴリ、機能カテゴリ及びコンテンツカテゴリのうち、少なくとも１つを含むことを特徴とする請求項７ないし請求項１１のいずれか一項に記載のディスプレイ方法。

Images