JP2009015813A - イメージを利用したブラウザー制御方法及びそのシステム - Google Patents

Abstract

【課題】使用者がより容易にブラウザー命令を実行でき、ブラウザー画面を効率的に利用できるイメージを利用したブラウザー制御方法及びシステムを提供する。
【解決手段】本発明はイメージを利用したブラウザー制御方法及びシステムに関するものであって、この方法はイメージを受信する段階と、イメージを認識する段階と、認識されたイメージに基づいた命令を実行する段階と、を含む。
【選択図】図３

Description

本発明は、イメージを利用したブラウザー制御方法及びそのシステムに関するものである。

最近、超高速インターネットが急速に普及することに伴い、インターネットは、現代生活になくてはならない必需品となっている。インターネット使用者は、通信端末装置を通じてポータルサイト、ゲームサイト又はコミュニティサイトなどに接続して多様なウェブサービスを利用している。

ウェブサービスを利用する使用者は、ウェブブラウザーに各種の命令及びデータを入力してウェブブラウジングを行う。例えば、使用者は、ウェブサーフィンをしながらアドレス窓にＵＲＬ（ｕｎｉｆｏｒｍｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒ）を入力したり、検索窓に検索語を入力して所望する情報を得ることができる。また、「戻る」、「進む」、「スクロール」、「更新」などのウェブブラウジング命令を通じて多様なウェブページに移動することができる（ウェブページを表示させることができる）。

一般に使用者は、キーボードやマウス等の入力手段を使用してウェブブラウジングを行う。キーボードは主にハングルやアルファベットのようなテキストを入力することに使用され、マウスはウェブブラウザー窓の各種のボタン（戻る、進む、更新ボタンなど）及び命令（決定、キャンセルなど）を選択したり、又はウェブページ上でハイパーリンクを選択することに利用される。

ところで、ハングルやアルファベットは、キーボードで容易に入力することができるが、キーボードを用いた漢字やアラビア文字又は各種の記号の入力は、利便性が低く不便である。特に、キーボードを使用した入力が困難な使用者端末機の場合、その利便性がより一層低くなる。例えば、携帯電話、ＰＤＡなどの無線端末機の場合、キーパッドにより入力することができるが、入力可能な文字数又は記号数が制限されているので、所望の文字を入力し難い。

一方、小型コンピュータや無線端末機の場合、画面が小さいためブラウザー窓に各種ファンクションボタン及びメニューを表示すると、実際に使用者が願望する情報を表示する領域が減少してしまう。

そこで、本発明の目的は、使用者がより容易にブラウザー命令を実行でき、ブラウザー画面を効率的に利用できるイメージを利用したブラウザー制御方法及びシステムを提供することにある。

上記目的を達成するための本発明の一実施例におけるイメージを利用したブラウザー制御方法は、イメージを受信する段階と、該イメージを認識する段階と、認識されたイメージに基づいた命令を実行する段階とを含むことを特徴とする。

上記命令実行段階は、認識されたイメージに対応するブラウザーメニュー命令又はウェブページメニュー命令を実行する段階を含むことができる。

上記命令実行段階は、上記認識されたイメージに対応する文字を検索窓に入力する段階を含むことができる。

また、上記命令は、ブラウザーのＤＯＭオブジェクトを変更して実行されることができる。

上記認識されたイメージに基づいた推薦文字又は推薦記号を抽出して表示する段階を更に含み、上記命令実行段階は、上記推薦文字又は推薦記号の中で選択された文字又は記号に対応する命令を実行する段階を含むことができる。

また、上記認識されたイメージに対応する命令が存在するのかを判断する段階を更に含み、上記命令実行段階は、上記判断段階で認識されたイメージに対応する命令が存在すると判断した場合に上記認識されたイメージに対応する命令を実行する段階と、上記判断段階で認識されたイメージに対応する命令が存在しないと判断した場合に認識されたイメージに基づいた推薦文字又は推薦記号から選択された文字又は記号に対応する命令を実行する段階と、を含むことができる。

本発明の他の実施例によるコンピュータ読み取り可能な記録媒体は、上記イメージを利用したブラウザー制御方法のいずれか一つをコンピュータに実行させるためのプログラムを記録する。

本発明の他の実施例によるイメージを利用したブラウザー制御システムは、イメージ命令コンポーネント及びウェブページ情報を使用者端末機に提供するウェブサーバーを含み、上記イメージ命令コンポーネントは、入力されたイメージに基づいた命令をブラウザーで実行するように上記ブラウザーにイベントを伝達する。

上記命令は、ブラウザーメニュー命令及びウェブページメニュー命令のうちの少なくとも一つを含むことができる。

上記入力されたイメージに基づいた命令は、上記入力されたイメージに対応する文字をウェブページ検索窓に入力する命令であることができる。

上記イメージ命令コンポーネントは、上記入力されたイメージを認識し、認識されたイメージに対応する命令イベントを上記ブラウザーに伝達することができる。

上記イメージ命令コンポーネントから伝送される上記入力されたイメージを認識して推薦文字又は推薦記号を抽出し、上記推薦文字又は推薦記号を上記使用者端末機に伝送するイメージ処理サーバーを更に含むことができる。

上記イメージ命令コンポーネントは、上記入力されたイメージを認識し、認識されたイメージに対応する命令が存在するのか否かを判断し、上記認識されたイメージに対応する命令が存在する場合に認識されたイメージに対応する命令イベントを上記ブラウザーに伝達し、上記認識されたイメージに対応する命令が存在しない場合に上記推薦文字又は推薦記号の中で使用者の選択により選択された文字又は記号に対応する命令イベントを上記ブラウザーに伝達することができる。

また、上記イメージ処理サーバーは、上記入力されたイメージを認識して正確度を算出し、認識イメージの正確度が基準値以上である場合に、上記認識されたイメージに対応する命令情報を上記イメージ命令コンポーネントに伝送することができる。

また、上記イメージ処理サーバーは、認識されたイメージに対応する命令が存在するのか否かを判断し、上記認識されたイメージに対応する命令が存在する場合に認識されたイメージに対応する命令情報を上記イメージ命令コンポーネントに伝送し、上記認識されたイメージに対応する命令が存在しない場合に上記推薦文字又は推薦記号を上記使用者端末機に伝送することができる。

また、上記イメージ命令コンポーネントは、上記推薦文字又は推薦記号を上記使用者端末機に表示し、上記推薦文字又は推薦記号の中で使用者の選択により選択された文字又は記号に対応する命令イベントを上記ブラウザーに伝達することができる。

上記イメージ命令コンポーネントは、上記入力されたイメージを認識して正確度を算出し、認識イメージの正確度が基準値以上である場合に、上記認識されたイメージに対応する命令イベントを上記ブラウザーに伝達することができる。

上記イメージ命令コンポーネントは、上記入力されたイメージを認識して推薦文字又は推薦記号を抽出し、上記推薦文字又は推薦記号を上記使用者端末機に表示することができる。

本発明によれば、使用者が入力したイメージに基づいてブラウザーのＤＯＭオブジェクトを変更してブラウザー制御を遂行するため、入力されたイメージに対応する命令をブラウザーで実行させることが可能となる。

このため、ブラウザーをより容易に利用でき、ウェブサービスへのアクセス性を向上させることができる。また、入力方法が難しかった漢字やアラビア文字、記号などの検索窓への入力を容易にし、例えば、記号を含むクエリーを容易に生成することができ、使用者の満足度を向上させることができる。

そして、ブラウザー窓に各種ファンクションボタンを表示する必要がなくなり、画面をより効率的に利用することができる。

発明を実施するための最良の態様

以下、添付の図面を参照しながら、本発明を好適な実施例に則して詳細に説明する。

図１は、本発明の一実施例におけるイメージを利用したブラウザー制御システムを説明するためのブロック図であり、図２は、図１に示した使用者端末機の一例を示すブロック図である。

図１に示すように、本発明の実施例におけるイメージを利用したブラウザー制御システムは、ウェブサーバー２００及びイメージ処理サーバー３００を含み、通信網１０を介して複数の使用者端末機１００と連結されている。

通信網１０は構内情報通信網（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ（ＬＡＮ））、都市圏通信網（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａｎｅｔｗｏｒｋ（ＭＡＮ））、広域通信網（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ（ＷＡＮ））、インターネットなどを含むデータ通信網のみならず、電話網などを含むことができ、有線と無線を問わずに如何なる通信方式を使用してもよい。

使用者端末機１００は、使用者がウェブサービスを利用するために使用する通信端末装置であって、通信網１０を介してウェブサーバー２００に接続して情報の通信を行う。使用者端末機１００は、デスクトップコンピュータ、ノートパソコン、ワークステーション、パームトップ（ｐａｌｍｔｏｐ）コンピュータ、ＵＭＰＣ（ｕｌｔｒａｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、個人携帯情報端末機（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ウェブパッド、携帯電話などのようなメモリ手段を備え、マイクロプロセッサを搭載して演算能力を有する端末機である。

図２に示すように、使用者端末機１００は、入力部１１０、表示部１２０、ブラウザー１３０及びイメージ命令コンポーネント１４０を含む。

入力部１１０は、使用者から情報又は命令を受信する機能を行い、筆記入力が可能なマウス、ペンマウス、電子ペン、タッチパッド、タッチパネル又はタブレット（ｔａｂｌｅｔ）等で構成することができる。また、使用者端末機１００は、入力部１１０を通じて使用者からイメージ（筆記入力に基づく画像データ）を受信する。

表示部１２０は、各種情報を画面に出力して使用者に提供する機能を行い、ＬＣＤ（ｌｉｑｕｉｄ-ｃｒｙｓｔａｌ-ｄｉｓｐｌａｙａｙ）、ＣＲＴ（ｃａｔｈｏｄｅ-ｒａｙｔｕｂｅ）、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）モニターなどから構成される。なお、表示部１２０にタッチスクリーンを備えるように構成することもでき、この場合、入力部１１０の機能を共に提供することができる。

ブラウザー１３０は、ウェブページを開いて見ることができるアプリケーションプログラムであって、ウェブサーバー２００に接続してウェブページ情報を受け、当該ウェブページを表示部１２０に表示する。ブラウザー１３０の例として、ＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒ、Ｎｅｔｓｃａｐｅ、Ｍｏｚｉｌｌａ、Ｆｉｒｅｆｏｘなどのような商業用プログラムが挙げられるが、これに限らない。また、使用者端末機１００が無線端末機である場合、当該ブラウザー１３０は、モバイルウェブブラウザーで構成される。

イメージ命令コンポーネント１４０は、ウェブサーバー２００から伝送されて使用者端末機１００で実行されるＦｌａｓｈ、Ｊａｖａｓｃｒｉｐｔ、アクティブエックス（Ａｃｔｉｖｅ-Ｘ）等のウェブコンポーネントである。本発明の一実施例のイメージ命令コンポーネント１４０は、イメージ認識アルゴリズムを備えており、使用者が入力部１１０を介して入力したイメージ（筆記入力に基づく画像データ）を認識する。そして、イメージ命令コンポーネント１４０は、認識されたイメージに対応する命令をブラウザー１３０が実行することができるように当該ブラウザー１３０に送る。つまり、イメージ命令コンポーネント１４０は、ブラウザー１３０内に搭載されたスクリプトマシンに命令イベントを伝送し、スクリプトマシンはこれに対応するスクリプトを実行してＣＳＳ（ｃａｓｃａｄｉｎｇｓｔｙｌｅ ｓｈｅｅｔｓ）を変更したり、又はブラウザー１３０のＤＯＭ（ｄｏｃｕｍｅｎｔｏｂｊｅｃｔ ｍｏｄｅｌ）オブジェクトを変更することで、当該命令を実行させることができる。例えば、ブラウザー１３０のテキストエディターＤＯＭオブジェクトのＴｅｘｔＢｏｘのValue値を変更することでテキストボックスに文字が書き込み可能となる。

ここで命令は、ブラウザー１３０で実行され得る命令であって、ブラウザー１３０のＤＯＭオブジェクトを変更することで実行され得る命令であれば、如何なるものでも適用され得る。このような命令の例として、‘戻る’、‘進む’、‘中止’、‘更新’、‘ホーム’、‘お気に入り’等のブラウザー１３０メニュー命令だけでなく、ウェブページ画面をスクロールしたり、ブラウザー１３０の背景画面の色相を変更したり、又はテキストボックス（、例えば、検索窓）内に文字を入力することなどの命令が挙げられ、さらに、ウェブページ内で提供するメニュー命令が挙げられる。ウェブページ内で提供するメニューの例として、ブログのショートカット、メールのショートカット、カフェのショートカットなどのように特定ページへハイパーリンクさせることと、検索窓に入力されているクエリーに対する検索実行などが挙げられるが、これに限定されない。

また、必要に応じて特定の命令（例えば、検索窓にクエリーを入力する命令）だけを実行できるようにイメージ命令コンポーネント１４０を構成したり、一部の命令だけを実行できるようにイメージ命令コンポーネント１４０を構成することも可能である。

イメージ命令コンポーネント１４０により認識されたイメージが、‘←’、‘→’、‘×’、‘Ｒ’、‘Ｈ’、‘Ｆ’である場合、‘戻る’、‘進む’、‘中止’、‘更新’、‘ホーム’、‘お気に入り’命令を各イメージに対応させ、これらの認識されたイメージに対応した命令を実行させることができる。また、‘↑’、‘↓’である場合、スクロール上げとスクロール下げをそれぞれ実行させることができ、‘（ｂ）’である場合、背景画面の色相を黒色に変更する命令を実行させることができる。また、‘Ｂ’、‘Ｍ’、‘Ｃ’である場合、ブログのショートカット、メールのショートカット、カフェのショートカットをそれぞれ実行させることができ、‘Ｓ’である場合、検索窓に入力されているクエリーに対する検索命令を実行させることができる。そして、認識されたイメージがこのように予め設定されているイメージ以外のイメージである場合は、認識されたイメージに対応する文字などを検索窓に入力させることができる。なお、上記イメージと命令との対応関係は一例に過ぎず、イメージ命令コンポーネント１４０が提供するオプションメニューにより使用者は、このような命令の活性化如何（アクティブ／非アクティブ）を選択でき、各命令とイメージを任意にマッチングさせることができる。

イメージ命令コンポーネント１４０は、入力されたイメージを認識する際、正確度を算出し、算出した正確度に基づいて当該イメージに対応する命令を直ちに行うように命令イベントをブラウザー１３０に提供する。例えば、イメージが入力された場合、入力されたイメージと当該命令に対して予め決められた複数の基準イメージとの間の正確度を算出し、入力されたイメージとの間で最も高い正確度を有する基準イメージを抽出する。そして、抽出した基準イメージと入力されたイメージとの間の上記算出された正確度が基準値以上であるか否かを判断し、基準値以上であれば、入力された当該イメージに対応する命令を直ちに行うように命令イベントをブラウザー１３０に提供する。一方、基準値未満である場合、認識されたイメージに対応する推薦文字又は推薦記号を表示し、使用者の推薦文字又は推薦記号の選択、すなわち、選択された推薦文字又は推薦記号に応じた命令を行うように構成することができる。

また、イメージ命令コンポーネント１４０は、必要に応じて入力されたイメージをウェブサーバー２００又はイメージ処理サーバー３００に伝送して、ウェブサーバー２００又はイメージ処理サーバー３００から入力されたイメージに対応する推薦文字情報又は推薦記号情報を受信することができる。そして、受信した推薦文字情報又は推薦記号情報をブラウザー１３０に表示し、使用者の選択により選択された推薦文字又は推薦記号に対応する命令を行うようにブラウザー１３０に当該命令イベントを送ることができる。

さらに、イメージ命令コンポーネント１４０は、ウェブサーバー２００が提供するウェブサイト以外の他のウェブサイトでも独立的に駆動することができ、このためにイメージ命令コンポーネント１４０を活性化（アクティブに）させるボタンをブラウザー１３０のメニュー表示ライン又はツールバーなどに表示することができる。

また、イメージ命令コンポーネント１４０は、使用者端末機１００がウェブサーバー２００に接続する度にウェブサーバー２００から伝送されて当該使用者端末機１００でその都度実行することもできるが、一度伝送された後は使用者端末機１００に設置され、アップデートなどの場合を除いてウェブサーバー２００から再度伝送されないように構成することも可能である。

ウェブサーバー２００は、検索、ゲーム、コミュニティなどのウェブサイトを提供し、使用者端末機１００が接続すると、ウェブページ情報及びイメージ命令コンポーネント１４０を通信網１０を介して使用者端末機１００に伝送する。ウェブページ情報には検索、ゲーム、コミュニティなどの関連情報が含まれる。

イメージ処理サーバー３００は、文字情報及び記号情報が記録されたデータベース（図示せず）とイメージ認識アルゴリズムを備えることができ、ウェブサーバー２００又は使用者端末機１００からイメージが伝達されると、そのイメージをイメージ認識アルゴリズムを通じて認識し、認識されたイメージに対応する推薦文字又は推薦記号をデータベースから抽出し、これをウェブサーバー２００を経由して使用者端末機１００に提供したり、又は直接使用者端末機１００に提供する。

また、イメージ処理サーバー３００は、イメージを認識する際に正確度を算出でき、最も高い正確度を有する認識イメージの正確度が基準値以上であれば、当該イメージに対応する命令情報をイメージ命令コンポーネント１４０に伝送して当該命令を直ちに行うようにし、その正確度が基準値を越えなければ、認識されたイメージに対応する推薦文字又は推薦記号を使用者端末機１００に伝送して使用者の選択に応じた命令を行うことができる。

また、イメージ処理サーバー３００は複数の推薦文字又は推薦記号を抽出でき、抽出された推薦文字又は推薦記号をテキスト又はイメージ形態にウェブサーバー２００又は使用者端末機１００に伝送できる。なお、イメージ処理サーバー３００は、ウェブサーバー２００と共に一つのサーバーで具現化することもでき、また、ウェブサーバー２００と別途に具現化することも可能である。

以下、本発明の実施例におけるイメージを利用したブラウザー制御方法について図３から図５を参照して詳細に説明する。

図３は、本発明の一実施例におけるイメージを利用したブラウザー制御方法を示すフローチャートであり、図４は、本発明の実施例におけるイメージ命令コンポーネントが実行されているウェブページの一例を示す概略図である。図５は、本発明の実施例におけるイメージ命令コンポーネントが実際に具現化されたウェブページの一例を示す図である。

図３及び図４に示すように、使用者端末機１００がウェブサーバー２００に接続すると（Ｓ５１０）、ウェブサーバー２００は、ウェブページ情報及びイメージ命令コンポーネント１４０を使用者端末機１００に伝送する（Ｓ５１５）。その後、使用者端末機１００は伝送されたウェブページ情報に基づいたウェブページ４００をブラウザー１３０に表示し（Ｓ５２０）、イメージ入力インターフェイス４１０を表示する（Ｓ５２５）。

ウェブページ４００には検索窓４２０、検索ボタン（Ｓｅａｒｃｈ）、イメージ認識ボタン（Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ）及びイメージ入力インターフェイス４１０が表示され、検索、ゲーム、コミュニティなどの多様なコンテンツがテキスト又はイメージなどで表示される。

イメージ入力インターフェイス４１０は、イメージ命令コンポーネント１４０により生成されて表示され、イメージ入力欄４１２、推薦欄４１４、Ｕｎｄｏボタン、Ｃｌｅａｒボタン及びＣｌｏｓｅボタンを含む。イメージ命令コンポーネント１４０が使用者端末機１００に伝送された後に直ちに実行されてイメージ入力インターフェイス４１０が表示されることができるが、使用者がイメージ認識ボタンを押したり、又はマウスポインタをイメージ認識ボタン上に置いたままで所定時間が経過した後にイメージ命令コンポーネント１４０が実行されてイメージ入力インターフェイス４１０が表示されるように構成することもできる。なお、使用者がイメージ認識ボタンを押すなどして当該使用者が所望する時にイメージ入力インターフェイス４１０が表示されるように構成することで、他のコンテンツが表示される領域を浸食せず、既存のウェブページの形態及びデザインを保護できる。

イメージ命令コンポーネント１４０は、イメージ入力インターフェイス４１０が表示されている状態で使用者のイメージ入力を待つ（Ｓ５３０）。使用者は、マウス、電子ペンやタブレットなどでイメージ入力欄４１２に絵を描くことによってイメージを入力することができる。一方、使用者はイメージをイメージ入力欄４１２に直接入力せずに文字などが描かれているイメージファイルを呼び入れてイメージ認識を行わせることもできる。

イメージ命令コンポーネント１４０は、マウスなどのイベントによる座標情報、入力順序、クリック＆リリースなどを組み合わせた情報に基づいてイメージデータを生成する。入力部１１０がタブレットである場合には、圧力の大きさなどの付加的な情報もイメージを生成する際の情報に含まれ、どの程度の強さで押したのかに応じてイメージデータが異なるように生成することもできる。

使用者は、イメージを入力しながらＵｎｄｏボタン、Ｃｌｅａｒボタン及びＣｌｏｓｅボタンを利用することができる。Ｕｎｄｏボタンは、使用者がイメージ入力欄４１２内に残っているイメージの中で最も最近入力したイメージを画する機能を行い、Ｃｌｅａｒボタンは使用者が入力した全体イメージを消して新たなイメージを受信できる状態に戻す機能を行う。Ｃｌｏｓｅボタンは、イメージ入力インターフェイス４１０を非活性化（非アクティブ）にさせてブラウザー１３０から消えるようにする。

イメージ命令コンポーネント１４０は、イメージが入力されると、入力されたイメージを認識する（Ｓ５３５）。イメージ認識は、使用者が一画を描く度にその時まで入力されたイメージに基づいて行われるが、使用者がイメージ入力を完了して認識ボタン（図示せず）を押すとイメージ認識が行われるように構成することもできる。

イメージ命令コンポーネント１４０は、認識されたイメージに対応する推薦文字又は推薦記号を抽出して推薦欄４１４に表示する。推薦文字又は推薦記号は、認識されたイメージと比較して所定以上の正確度を有する文字又は記号で抽出される。なお、イメージ命令コンポーネント１４０が推薦文字を抽出できない場合には、イメージ処理サーバー３００に入力されたイメージを伝送し、イメージ処理サーバー３００でイメージを認識した後に推薦文字を受信してこれを推薦欄４１４に表示することもできる。

次に、イメージ命令コンポーネント１４０は、認識されたイメージと関連した命令を実行させることができるのか否かを判断する（Ｓ５４０）。つまり、イメージ命令コンポーネント１４０は、認識されたイメージに対応する命令が存在するのか否かを判断し、当該命令が存在する場合に、ブラウザー１３０が当該命令を実行するように命令イベントを送る（Ｓ５６５）。最も高い正確度を有する認識イメージの正確度が基準値以上であれば、これに対応する命令が存在すると判断する。

なお、イメージ命令コンポーネント１４０が認識できるイメージを、命令に直接関係する文字又は記号に限定することもできる。従って、クエリー入力のための一般文字や記号に対するイメージ認識は、イメージ処理サーバー３００で行われ、これによって、入力されたイメージを一般文字や記号にマッチングさせるために多くのデータを備える必要がないので、イメージ命令コンポーネント１４０の大きさを減らすことができる。ここで一般文字は、漢字やアラビア文字などのように検索窓４２０に直接入力し難い文字だけでなく、ハングル、仮名、アルファベットなどのような文字を含む。

段階Ｓ５４０で判断した結果、当該命令が存在しないと判断した場合、入力されたイメージをイメージ処理サーバー３００に伝送する（Ｓ５４５）。イメージ処理サーバー３００は、伝送されたイメージを認識し（Ｓ５５０）、認識されたイメージに対応する推薦文字又は推薦記号を抽出して使用者端末機１００に伝送する（Ｓ５５５）。この際、イメージ処理サーバー３００は、推薦文字又は推薦記号と共にこれらと関連する命令スクリプトを共に伝送することができ、イメージ命令コンポーネント１４０は、推薦文字又は推薦記号の中で選択された文字などに関連した命令スクリプトをブラウザー１３０に伝送し、これを実行するようにできる。

イメージ命令コンポーネント１４０は、伝送されてきた推薦文字又は推薦記号を推薦欄４１４に表示して使用者の選択を待ち、使用者が推薦文字又は推薦記号を選択すると（Ｓ５６０）、選択された文字又は記号に該当する命令イベントをブラウザー１３０に伝送して当該命令を実行するようにする（Ｓ５６５）。この際、使用者が選択した文字又は記号が命令に直接関係するものではない場合、検索窓４２０にクエリーで入力するようにイベントをブラウザー１３０に送る。ブラウザー１３０が命令を実行するとイメージ入力インターフェイス４１０は非活性化されて当該ブラウザー１３０から消去される。

また、イメージ処理サーバー３００は、推薦文字又は推薦記号に対する正確度の情報を共にイメージ命令コンポーネント１４０に伝送でき、イメージ命令コンポーネント１４０は、正確度に応じた順序で推薦文字などを推薦欄４１４に表示することができる。抽出された推薦文字又は推薦記号の数が推薦欄４１４に表示できる数よりも多い場合、推薦欄４１４を複数のページで構成することができ、推薦欄４１４の下に次ページボタンを生成し、これを押すことで次ページが表示される。

次に、図５を参照して実際に使用者が入力したイメージがクエリーで入力され、検索が実行される一例を説明する。先ず、使用者がイメージ入力欄４１２に‘雨’を描くと、このイメージはブラウザー１３０の制御に直接関係するものではないので、イメージ命令コンポーネント１４０は、クエリー入力命令であると判断する。そして、このイメージをイメージ処理サーバー３００に伝送し、イメージ処理サーバー３００から推薦文字を受信した後、これを推薦欄４１４に表示する。使用者が推薦欄４１４の左側上段に表示されている‘雨’を選択すると、イメージ命令コンポーネント１４０は、選択された‘雨’を検索窓４２０に入力するためのイベントをブラウザー１３０に送り、‘雨’が検索窓４２０に入力されるようにする。その後、使用者がイメージ入力欄４１２に‘Ｓ’を描いたり、検索ボタンを押すと、‘雨’に対する検索が行われる。

クエリー入力の場合、検索を行う前まで複数のイメージを順次に入力して複数の文字からなる単語又は句に対する検索を行うことができる。この際、イメージを入力する度にこれに対応する文字が検索窓４２０に順次に入力されてクエリーを作るようになる。一方、ウェブサーバー２００は、検索窓４２０に入力された少なくとも一つの文字に基づいたキーワード自動完成機能を提供でき、これによって使用者が検索を所望する単語を容易に入力することができる。

以下、本発明の他の実施例によるイメージを利用したブラウザー制御方法について図６を参照しながら詳細に説明する。なお、本実施例は、上記実施例（図３）と多くの部分が実質的に同一であるので、同一部分についての詳細な説明を省略する。

図６は、本発明の他の実施例におけるイメージを利用したブラウザー制御方法を示すフローチャートである。

図６に示すように、使用者端末機１００がウェブサーバー２００に接続すると（Ｓ６１０）、ウェブサーバー２００は、ウェブページ情報及びイメージ命令コンポーネント１４０を使用者端末機１００に伝送する（Ｓ６１５）。その後、使用者端末機１００は、伝送されたウェブページ情報に基づいたウェブページ４００をブラウザー１３０に表示し（Ｓ６２０）、イメージ入力インターフェイス４１０を表示する（Ｓ６２５）。

イメージ命令コンポーネント１４０は、イメージ入力インターフェイス４１０が表示されている状態で使用者のイメージ入力を待つ（Ｓ６３０）。

イメージ命令コンポーネント１４０は、入力部１１０を介してイメージが入力されると、イメージデータを生成してイメージ処理サーバー３００に伝送する（Ｓ６３５）。

イメージ処理サーバー３００は、イメージ命令コンポーネント１４０からのイメージデータに基づいてイメージ認識を行う（Ｓ６４０）。

その後、イメージ処理サーバー３００は、認識されたイメージに対応する命令が存在するのかを判断し（Ｓ６４５）、当該命令が存在する場合には、当該命令情報をイメージ命令コンポーネント１４０に伝送する（Ｓ６６０）。これによって、イメージ命令コンポーネント１４０は、ブラウザー１３０が当該命令を実行するようにブラウザー１３０に命令イベントを送る（Ｓ６６５）。イメージ処理サーバー３００は、最も高い正確度を有する認識イメージの正確度が基準値以上であればこれに対応する命令が存在すると判断する。

段階Ｓ６４５で判断した結果、当該命令が存在しないと判断した場合、イメージ処理サーバー３００は、認識されたイメージに対応する推薦文字又は推薦記号を抽出して使用者端末機１００に伝送する（Ｓ６５０）。推薦文字又は推薦記号は、認識されたイメージと比較し、所定以上の正確度を有する文字又は記号として抽出するができる。この際、イメージ処理サーバー３００は、推薦文字又は推薦記号と共に、これらと関連した命令スクリプトを共に伝送できる。

イメージ命令コンポーネント１４０は、伝送された推薦文字又は推薦記号を推薦欄４１４に表示して使用者の選択を待ち、使用者が推薦文字又は推薦記号で選択すると（Ｓ６５５）、選択された文字又は記号に該当する命令イベントをブラウザー１３０に伝送して当該命令を実行するようにする（Ｓ６６５）。

このように本実施例によると、イメージ命令コンポーネント１４０がイメージ認識を行わず、また、イメージに対応する命令が存在するのかに対する判断を行わずに、これらの動作をイメージ処理サーバー３００が行う。従って、イメージ命令コンポーネント１４０がイメージ認識アルゴリズム及び判断モジュールを備えなくてよいので、イメージ命令コンポーネント１４０の大きさをより一層減らすことができる。

このように本発明の実施例におけるイメージを利用したブラウザー制御方法及びシステムは、別途のアプリケーションプログラムを設置することなく、使用者が必要な場合に、ウェブサーバー２００で提供するイメージ入力インターフェイス４１０を表示し、ブラウザー１３０を備えていれば、どこでもイメージ形態の入力を可能とし、使用者が入力したイメージに基づいてブラウザー１３０のＤＯＭオブジェクトを変更することによってブラウザー１３０を制御できる。このため、入力されたイメージに対応する命令をブラウザー１３０で実行させることができる。

また、キーボードを備えていないＵＭＰＣ、タブレットＰＣなどの場合、入力装置又はOSに関わらずウェブサービスへのアクセス性を向上させることができる。また、入力方法が難しかった漢字やアラビア文字などの検索窓への入力を容易にし、文字を利用して表現できなかった幾何学的形態の記号に基づいた質問（クエリー）を容易に生成することができる。すなわち、検索窓に記号を入力することが容易であるため、記号を含むクエリーを容易に生成することができる。したがって、検索サービス利用時に検索結果を向上させることができ、検索質問の入力の便宜性を提供することができるので、使用者の満足度を向上させることができる。

本発明の実施例は、多様なコンピュータにより具現される動作を行うためのプログラム命令を含むコンピュータ読み取り可能な記録媒体を含む。この記録媒体は上記説明したセキュリティーモジュール又はセキュリティー認証方法を実行させるためのプログラム又はファイルを記録する。この記録媒体はプログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。このような記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）と磁気−光媒体、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し遂行するように構成されたハードウェア装置などがある。又は、このような記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する搬送波を含む光又は金属線、導波管などの伝送媒体であってもよい。プログラム命令の例としては、コンパイラーにより作成されるような機械語コードだけでなく、インタープリタなどを使用してコンピュータにより実行される高級言語コードを含むことができる。

以上、本発明を好適な実施例に則して詳細に説明したが、本発明の技術的範囲はこれに限定されず、特許請求の範囲で定義している本発明の技術的思想を利用した当業者の多様な変形及び改良形態もまた本発明の技術的範囲に属することを付言する。

本発明の一実施例によるイメージを利用したブラウザー制御システムを説明するためのブロック図である。 図１に示した使用者端末機の一例を示すブロック図である。 本発明の一実施例によるイメージを利用したブラウザー制御方法を示すフローチャートである。 本発明の実施例によるイメージ命令コンポーネントが実行されているウェブページの一例を示す概略図である。 本発明の実施例によるイメージ命令コンポーネントが実際具現されているウェブページの一例を示す図である。 本発明の他の実施例によるイメージを利用したブラウザー制御方法を示すフローチャートである。

符合の説明

１０ ：通信網
１００：使用者端末機
１１０：入力部
１２０：表示部
１３０：ウェブブラウザー
１４０：イメージ命令コンポーネント
２００：ウェブサーバー
３００：イメージ処理サーバー
４００：ウェブページ画面
４１０：イメージ入力インターフェイス
４１２：イメージ入力欄
４１４：推薦欄
４２０：検索窓

Claims (19)

1. イメージを受信する段階と、
   前記イメージを認識する段階と、
   前記認識されたイメージに基づいた命令を実行する段階と、を含むことを特徴とするイメージを利用したブラウザー制御方法。
2. 前記命令実行段階は、前記認識されたイメージに対応するブラウザーメニュー命令又はウェブページメニュー命令を実行する段階を含むことを特徴とする請求項１に記載のイメージを利用したブラウザー制御方法。
3. 前記命令実行段階は、前記認識されたイメージに対応する文字を検索窓に入力する段階を含むことを特徴とする請求項１に記載のイメージを利用したブラウザー制御方法。
4. 前記命令は、ブラウザーのＤＯＭオブジェクトを変更して実行されることを特徴とする請求項１に記載のイメージを利用したブラウザー制御方法。
5. 前記認識されたイメージに基づいた推薦文字又は推薦記号を抽出して表示する段階を更に含み、
   前記命令実行段階は、前記推薦文字又は前記推薦記号の中で選択された文字又は記号に対応する命令を実行する段階を含むことを特徴とする請求項１に記載のイメージを利用したブラウザー制御方法。
6. 前記認識されたイメージに対応する命令が存在するのかを判断する段階を更に含み、
   前記命令実行段階は、
   前記判断段階で前記認識されたイメージに対応する命令が存在すると判断した場合に、前記認識されたイメージに対応する命令を実行する段階と、
   前記判断段階で前記認識されたイメージに対応する命令が存在しないと判断した場合に、前記認識されたイメージに基づいた推薦文字又は推薦記号から選択された文字又は記号に対応する命令を実行する段階を含むことを特徴とする請求項１に記載のイメージを利用したブラウザー制御方法。
7. 請求項１から６のいずれか一つに記載のブラウザー制御方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
8. イメージ命令コンポーネント及びウェブページ情報を使用者端末機に提供するウェブサーバーを含み、
   前記イメージ命令コンポーネントは、入力されたイメージに基づいた命令をブラウザーで実行するように前記ブラウザーにイベントを伝送することを特徴とするイメージを利用したブラウザー制御システム。
9. 前記入力されたイメージに基づいた命令は、ブラウザーメニュー命令及びウェブページメニュー命令のうちの少なくとも一つを含むことを特徴とする請求項８に記載のイメージを利用したブラウザー制御システム。
10. 前記入力されたイメージに基づいた命令は、前記入力されたイメージに対応する文字をウェブページ検索窓に入力する命令であることを特徴とする請求項８に記載のイメージを利用したブラウザー制御システム。
11. 前記入力されたイメージに基づいた命令は、前記ブラウザーのＤＯＭオブジェクトを変更して実行されることを特徴とする請求項８に記載のイメージを利用したブラウザー制御システム。
12. 前記イメージ命令コンポーネントは、前記入力されたイメージを認識し、認識されたイメージに対応する命令イベントを前記ブラウザーに伝送することを特徴とする請求項８に記載のイメージを利用したブラウザー制御システム。
13. 前記イメージ命令コンポーネントから伝送される前記入力されたイメージを認識して推薦文字又は推薦記号を抽出し、前記推薦文字又は前記推薦記号を前記使用者端末機に伝送するイメージ処理サーバーを更に含むことを特徴とする請求項８に記載のイメージを利用したブラウザー制御システム。
14. 前記イメージ命令コンポーネントは、前記入力されたイメージを認識し、認識されたイメージに対応する命令が存在するのか否かを判断し、前記認識されたイメージに対応する命令が存在する場合に、前記認識されたイメージに対応する命令イベントを前記ブラウザーに伝送し、前記認識されたイメージに対応する命令が存在しない場合に、前記推薦文字又は前記推薦記号の中で使用者の選択により選択された文字又は記号に対応する命令イベントを前記ブラウザーに伝送することを特徴とする請求項１３に記載のイメージを利用したブラウザー制御システム。
15. 前記イメージ処理サーバーは、前記入力されたイメージを認識して正確度を算出し、認識イメージの正確度が基準値以上である場合に、前記認識されたイメージに対応する命令情報を前記イメージ命令コンポーネントに伝送することを特徴とする請求項１３に記載のイメージを利用したブラウザー制御システム。
16. 前記イメージ処理サーバーは、認識されたイメージに対応する命令が存在するのか否かを判断し、前記認識されたイメージに対応する命令が存在する場合に、前記認識されたイメージに対応する命令情報を前記イメージ命令コンポーネントに伝送し、前記認識されたイメージに対応する命令が存在しない場合に、前記推薦文字又は前記推薦記号を前記使用者端末機に伝送することを特徴とする請求項１３に記載のイメージを利用したブラウザー制御システム。
17. 前記イメージ命令コンポーネントは、前記推薦文字又は前記推薦記号を前記使用者端末機に表示し、前記推薦文字又は前記推薦記号の中で使用者の選択により選択された文字又は記号に対応する命令イベントを前記ブラウザーに伝送することを特徴とする請求項１３又は請求項１６に記載のイメージを利用したブラウザー制御システム。
18. 前記イメージ命令コンポーネントは、前記入力されたイメージを認識して正確度を算出し、認識イメージの正確度が基準値以上である場合に、前記認識されたイメージに対応する命令イベントを前記ブラウザーに伝送することを特徴とする請求項８に記載のイメージを利用したブラウザー制御システム。
19. 前記イメージ命令コンポーネントは、前記入力されたイメージを認識して推薦文字又は推薦記号を抽出し、前記推薦文字又は推薦記号を前記使用者端末機に表示することを特徴とする請求項８に記載のイメージを利用したブラウザー制御システム。

Images