JP2010102666A - テキストまたは画像の範囲指定方法および処理方法 - Google Patents

Abstract

【課題】範囲指定する対象がテキスト文字列と画像とのいずれであっても適用可能なテキストまたは画像の範囲指定方法を提供すること、タッチパネルの特性を活用した範囲指定の方法を提供すること、範囲指定したテキストまたは画像を所定のアプリケーションに渡して処理する動作を簡単に行うことのできるテキストまたは画像の処理方法を提供すること。
【解決手段】コンピュータの表示装置に第１のアプリケーションが表示したテキストまたは画像を選択する方法において、前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、ユーザが前記シート上の所定領域を指定する操作を受け付けるステップと、前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、前記特定されたテキストまたは画像のデータをコピーして前記コンピュータのメモリ上に保持する。
【選択図】 図１

Description

本発明は、テキストまたは画像の範囲指定方法および処理方法に関するものである。

コンピュータシステムのグラフィカルユーザインターフェイスにおいては、表示装置にアプリケーションが表示したテキストまたは画像をユーザが選択し、選択したテキストまたは画像を別のアプリケーションに渡して処理することが可能となっている。ここで、テキストまたは画像を選択する方法としては、画面に表示された入力カーソルを利用して範囲指定する方法と、ポインティングデバイスを利用して矩形に選択範囲を指定する方法とを挙げることができる。

入力カーソルを利用して範囲指定する方法は、テキスト文字列の一部を選択することを前提としており、例えば、画面に表示されているテキストの文字間に入力カーソルを表示した状態で、メニューからコピーまたは切り取りを選択し、始点および終点を指定することにより行われる。また、始点の前に入力カーソルを表示した状態で、カーソルをポインティングデバイスで終点までドラッグすることにより行われる場合もある。

これに対してポインティングデバイスを利用して矩形に選択範囲を指定する方法は、主として画像の一部を選択することを前提としており、例えば、マウスカーソルを画像上の所定位置に動かしてクリックし、そのままドラッグすることで選択する矩形領域の対角点を指定することにより行われる。

また、近時においては、液晶表示装置に各種センサ機能を設け、ユーザが表示装置の表面に手を触れたりスタイラスで圧力を加える操作を行うことに応じて、その画面上の位置を検出してコンピュータシステムへの入力情報とするタッチパネル機能が、パーソナルコンピュータ、ＰＤＡ、ＡＴＭ端末、ＰＯＳ端末、携帯電話等の様々なコンピュータシステムで利用されている。

以上のような従来技術に関して、例えば特開昭６１−１１２２７７号公報には、作業対象位置を示すカーソルを移動させ、作業対象範囲の開始位置と終了位置とを設定し、当該範囲に対して所望の処理を行うワードプロセッサ用処理範囲指定実行装置が開示されている。また、特開昭６１−１３６１２４号公報には、対角点の２位置が指定されたことにより矩形領域を選択する矩形領域選択方式において、上記対角点の位置が既成の矩形領域の境界点の近傍内に有るか無いかを判定し、有るときは上記既成の領域を、反対に無いときは新規の領域を選択することを特徴とする矩形領域選択方式が開示されている。さらに、ＷＯ ２００８／０８５７８４には、連続したタッチパネル操作に「アプリケーションを開く」などの特定の機能を割り当ててコンピュータを操作する方法が開示されている。
特開昭６１−１１２２７７号公報 特開昭６１−１３６１２４号公報 ＷＯ ２００８／０８５７８４

しかしながら、前述のようにカーソルを利用する方法はテキスト文字列の選択を前提とし、ポインティングデバイスで矩形に選択範囲を指定する方法は画像の選択を前提としており、選択する対象に応じて範囲指定する方法を使い分ける必要がある。また、タッチパネルをコンピュータシステムの入力に利用することは広く行われているが、範囲指定する方法については既存の方法をそのまま適用しているに過ぎず、タッチパネルの特性を活用した範囲指定の方法は提案されていない。

さらに、テキスト文字列または画像を範囲指定する場合、続いて指定したデータを別のアプリケーションに渡して処理することが少なくない。具体的には、例えば文書表示中に特定の単語を範囲指定してコピーし、ブラウザを起動して検索サイトのテキストフィールドに貼り付けて検索する処理、同様に辞書サイトで用語の意味を調べる処理、翻訳サイトで外国語を翻訳する処理等を挙げることができる。しかし、このような処理を携帯電話のようなＰＣ以外の機器で行おうとすると、その操作は極めて複雑となり煩雑である。

本発明は、上記事情を鑑みてなされたものであって、範囲指定する対象がテキスト文字列と画像とのいずれであっても適用可能なテキストまたは画像の範囲指定方法を提供することを目的とする。また、本発明は、タッチパネルの特性を活用した範囲指定の方法を提供することを目的とする。さらに、本発明は、範囲指定したテキストまたは画像を所定のアプリケーションに渡して処理する動作を簡単に行うことのできるテキストまたは画像の処理方法を提供することを目的とする。

上記課題を解決するため、本発明の第１の観点は、コンピュータの表示装置に第１のアプリケーションが表示したテキストまたは画像を選択する方法において、
前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、
ユーザが前記シート上の所定領域を指定する操作を受け付けるステップと、
前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、
前記特定されたテキストまたは画像のデータをコピーして前記コンピュータのメモリ上に保持することを特徴とするテキストまたは画像の範囲指定方法を提供する。

また、本発明の第２の観点は、タッチパネル機能を備えた表示装置を有するコンピュータで、前記表示装置に第１のアプリケーションが表示したテキストまたは画像を選択して処理する方法において、
前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、
ユーザが前記表示装置のタッチパネル機能を利用して前記シート上の所定領域を指定する操作を受け付けるステップと、
前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、
前記特定されたテキストまたは画像のデータをコピーして前記コンピュータのメモリ上に保持することを特徴とするテキストまたは画像の範囲指定方法を提供する。

本発明の第２の観点においては、前記シート上の所定領域を指定する操作は、当該所定領域を囲むように直線および／または曲線をタッチパネル機能を利用して入力することにより行われる構成とすることができる。

また、前記シート上の所定領域を指定する操作は、ユーザが前記表示装置にタッチした位置に所定形状のカーソルを表示するステップと、ユーザがタッチを継続しつつタッチする位置を移動させたことを検出して前記カーソルを追従させるステップと、ユーザがタッチを終了したことを検出するステップとからなり、前記カーソルの通過した軌跡を前記指定された所定領域とすることも可能である。

さらに、前記シート上の所定領域を指定する操作は、ユーザが前記表示装置にタッチした部分の位置および形状を検出するステップと、ユーザがタッチを継続しつつタッチする領域を移動させたことを検出するステップと、ユーザがタッチを終了したことを検出するステップとからなり、ユーザが前記表示装置にタッチした部分の通過した軌跡を前記指定された所定領域としてもよい。

さらに、本発明の第３の観点は、コンピュータの表示装置に第１のアプリケーションが表示したテキストまたは画像を選択して処理する方法において、
前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、
ユーザが前記シート上の所定領域を指定する操作を受け付けるステップと、
前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、
前記特定されたテキストまたは画像を第２のアプリケーションに渡して所定の処理を実行させるステップと
を有することを特徴とするテキストまたは画像の処理方法を提供する。

さらにまた、本発明の第４の観点は、タッチパネル機能を備えた表示装置を有するコンピュータで、前記表示装置に第１のアプリケーションが表示したテキストまたは画像を選択して処理する方法において、
前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、
ユーザが前記表示装置のタッチパネル機能を利用して前記シート上の所定領域を指定する操作を受け付けるステップと、
前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、
前記特定されたテキストまたは画像を第２のアプリケーションに渡して所定の処理を実行させるステップと
を有することを特徴とするテキストまたは画像の処理方法を提供する。

本発明の第２および第４の観点においては、前記シート上の所定領域を指定する操作は、当該所定領域を囲むように直線および／または曲線をタッチパネル機能を利用して入力することにより行われる構成とすることができる。

また、前記シート上の所定領域を指定する操作は、ユーザが前記表示装置にタッチした位置に所定形状のカーソルを表示するステップと、ユーザがタッチを継続しつつタッチする位置を移動させたことを検出して前記カーソルを追従させるステップと、ユーザがタッチを終了したことを検出するステップとからなり、前記カーソルの通過した軌跡を前記指定された所定領域とすることも可能である。

さらに、前記シート上の所定領域を指定する操作は、ユーザが前記表示装置にタッチした部分の位置および形状を検出するステップと、ユーザがタッチを継続しつつタッチする領域を移動させたことを検出するステップと、ユーザがタッチを終了したことを検出するステップとからなり、ユーザが前記表示装置にタッチした部分の通過した軌跡を前記指定された所定領域としてもよい。

さらにまた、本発明の第４の観点においては、第２のアプリケーションが実行した処理の結果を、前記シートに表示することを特徴とすることが好適である。

本発明の第１の観点によれば、第１のアプリケーションの画面に重ねて透明または半透明のシートを表示装置に表示し、ユーザがシート上の所定領域を指定する操作を受け付ける。そして、当該所定領域と重なる位置に第１のアプリケーションが表示しているテキストまたは画像を特定し、特定されたテキストまたは画像のデータを選択されたものとしてコピーし、メモリ上に保持する。したがって、シート上の所定領域を指定する操作を行えば、選択する対象がテキスト文字列と画像とのいずれであっても、第１のアプリケーションがシート上の所定領域と重ねて表示している内容を選択して取り出すことができる。

また、本発明の第２の観点によれば、第１のアプリケーションの画面に重ねて透明または半透明のシートを表示装置に表示し、ユーザが表示装置のタッチパネル機能を利用してシート上の所定領域を指定する操作を受け付ける。そして、当該所定領域と重なる位置に前記第１のアプリケーションが表示しているテキストまたは画像を特定し、特定されたテキストまたは画像のデータを選択されたものとしてコピーし、メモリ上に保持する。したがって、タッチパネル機能を利用してシート上の所定領域を指定する直感的な操作を行えば、選択する対象がテキスト文字列と画像とのいずれであっても、指定領域に第１のアプリケーションが表示している内容を選択して取り出すことができる。

さらに、本発明の第３および第４の観点によれば、第１および第２の観点に準じた方法により選択したテキストまたは画像が、そのまま第２のアプリケーションに渡されて所定の処理に供される。したがって、範囲指定したテキストまたは画像を第２のアプリケーションに渡して処理する動作を、煩雑な操作を行うことなく簡単に実行することが可能である。

本発明の第２および第４の観点において、シート上の所定領域を指定する操作を、当該所定領域を囲むように直線および／または曲線をタッチパネル機能を利用して入力することにより行う構成とすれば、タッチパネル機能を利用した直感的な操作で範囲指定を行うことが可能となる。

また同じく本発明の第２および第４の観点において、ユーザが前記表示装置にタッチした位置に所定形状のカーソルを表示し、ユーザの操作に応じてカーソルを移動させ、カーソルの通過した軌跡をもってシート上の指定された所定領域とする構成とすれば、範囲指定したい部分を指先やスタイラス等でなぞるという直感的な操作で範囲指定することが可能となる。ユーザが表示装置にタッチした部分の位置および形状を検出し、タッチした部分の通過した部分をもってシート上の指定された所定領域とする構成とした場合も同様である。

さらに、本発明の第４の観点において、第２のアプリケーションが実行した処理の結果をシートに表示すれば、画面の構成要素を増やすことなく、よりシームレスに一連の処理を行うことが可能となる。

以下、本発明を実施するための最良の形態について説明する。図１（ａ）および（ｂ）は、いずれも本発明にかかるテキストまたは画像の範囲指定方法または処理方法を実施するために用いられるコンピュータシステムの代表的なハードウェアのブロック図である。図１（ａ）はパーソナルコンピュータのブロック図であり、図１（ｂ）は携帯端末のブロック図である。

図１（ａ）に示すパーソナルコンピュータ１００は、主として、ユーザの操作を受け付けるキーボード１０１およびマウス１０２と、ＬＡＮ等のネットワークに接続するためのネットワークＩ／Ｆ１０３と、演算およびシステムの制御を行うＣＰＵ１０５を備えた制御部１０４と、記憶装置であるメモリ１０６と、二次記憶装置であるＨＤＤ１０７とを有している。さらにコンピュータシステム１００は、画面表示を行うためのＬＣＤモジュール１１３およびＬＣＤコントローラ１１２と、画面にユーザがタッチする操作に反応し、その位置を検出するセンサモジュール１１４および位置検出部１１１とを備え、タッチパネル機能を実現した表示装置１１０を有している。すなわち、表示装置１１０は、制御部１０４からのデータおよび制御信号をＬＣＤコントローラ１１２で受け付けて所定の画面をＬＣＤモジュール１１３で表示するとともに、ユーザが画面をタッチする操作をセンサモジュール１１４で受け付けて位置検出部１１１にてその位置を検出し、その位置信号を制御部１０４に入力として通知するものである。これによりパーソナルコンピュータ１００においては、表示装置１１０の画面にＧＵＩ部品を表示し、これをユーザにタッチさせることにより操作を行うことが可能となっている。

また、図１（ｂ）に示す携帯端末２００は、主として、パーソナルコンピュータ１００のキーボード１０１を簡略化したキーパッド２０１と、音声通話のために音声入出力を実現するための音声Ｉ／Ｆ２０２と、不図示の移動体通信網に無線接続して通信を行うためのＲＦ通信部２０３と、ＣＰＵ２０５を備えた制御部２０４と、メモリ２０６と、携帯端末２００でデジタル写真の撮影を実現するカメラ部２０７を有している。さらに、この携帯端末２００は、パーソナルコンピュータ１００と同様に、ＬＣＤモジュール２１３およびＬＣＤコントローラ２１２と、センサモジュール２１４および位置検出部２１１とを備えた表示装置２１０を有しており、そのタッチパネル機能を利用して操作することが可能に構成されている。なお、以上説明したように携帯端末２００のコンピュータシステムとしての基本構成はパーソナルコンピュータ１００と同様であるが、携帯端末２００はモバイル機器としてバッテリー（不図示）による長時間駆動を実現する必要があるため、消費電力の低い組み込み機器向けの制御部２０４およびＣＰＵ２０５が使用されており、その処理能力はパーソナルコンピュータ１００の制御部１０４およびＣＰＵ１０５よりも低いことが通常である。また、携帯端末２００には二次記憶装置であるＨＤＤ１０７が設けられておらず、コスト面の問題からメモリ２０６の容量もパーソナルコンピュータ１００のメモリ１０６よりも小さい。さらに、携帯性を確保する必要があるため、表示装置２１０の画面の広さもパーソナルコンピュータ１００の表示装置１１０よりも大幅に小さくなっている。

図２（ａ）および（ｂ）は、以上のようなパーソナルコンピュータ１００または携帯端末２００で本発明を実施するためのソフトウェア構成を例示した図面である。なお、図２（ａ）および（ｂ）においては、本発明の実施に必要なソフトウェア構成のみを示し、本発明の実施に直接関係のないソフトウェア構成については記載を省略している。また、上述したようにパーソナルコンピュータ１００と携帯端末２００との間には、処理能力、メモリ容量、表示画面サイズ等の点で差異があるものの、これらのいずれにおいても図２（ａ）および（ｂ）のソフトウェア構成により本発明を実施することが可能である。

図２（ａ）は、本発明にかかるテキストまたは画像の範囲指定方法および処理方法を、独立したアプリケーションではなくシートミドルウェア３０３として実装したプログラムにより実施する場合を示している。この場合のソフトウェア構成は、ＯＳ／デバイスドライバ３０１と、ウィンドウマネージャ３０２と、第１のプロセス空間３０６にて実行される第１のアプリケーション３０４およびシートミドルウェア３０３と、第２のプロセス空間３０７にて実施される第２のアプリケーション３０５とから構成されている。以下、これらのソフトウェア構成について説明する。

ＯＳ／デバイスドライバ３０１は、オペレーティングシステムおよびデバイスドライバからなっている。このうちオペレーティングシステムは、アプリケーション等の上位ソフトに標準的な機能をＡＰＩとして提供するとともに、アプリケーションの実行コンテキストであるプロセスを管理し、各プログラムによるＣＰＵおよびメモリの使用を管理し、ファイルシステムによりファイルを管理する等、コンピュータの基本的な機能を提供するソフトウェアである。本実施形態におけるオペレーティングシステムは、複数のアプリケーションを同時並行的に実行するマルチプロセス（マルチタスク）機能を有しており、アプリケーションごとに互いに独立したプロセス空間をアドレス空間上になし、各アプリケーションのデータ、コンテキスト、コードをそれぞれ保護しつつ実行することが可能となっている。一方、デバイスドライバは、オペレーティングシステムまたはアプリケーションを実行している制御部１０４，２０４から各種デバイスに対して発行される命令を受け、命令に応じた処理を行うようにデバイスを制御するソフトウェアである。

ウィンドウマネージャ３０２は、画面描画を行うためのＡＰＩをアプリケーションに提供し、ＯＳ／デバイスドライバ３０１の機能を利用して、表示装置１１０／２１０の画面にアプリケーションから指示されたテキスト、画像または両者の組み合わせを描画するソフトウェアである。また、このウィンドウマネージャ３０２は、あるアプリケーションが描画している画面について、画面上の座標範囲を指定することにより、当該座標範囲に描画されているテキストまたは画像を特定する機能を有している。

第１のアプリケーション３０４は、本発明にかかるテキストまたは画像の範囲指定方法および処理方法において、範囲指定する対象であるテキストまたは画像を画面に表示するアプリケーションである。第１のアプリケーション３０４の実行にはＯＳ／デバイスドライバ３０１によって第１のプロセス空間が割り当てられている。図３（ａ）に、第１のアプリケーション３０４を携帯端末２００で実行した場合の表示画面の一例を示す。また、第２のアプリケーション３０５は、本発明にかかる画像またはテキストの処理方法において、範囲指定したテキストまたは画像を処理するアプリケーションであり、その実行には、第２のプロセス空間３０７が割り当てられている。

シートミドルウェア３０３は、アプリケーションから呼び出されることにより、本発明にかかるテキストまたは画像の範囲指定方法および処理方法を実現するミドルウェアプログラムである。図２（ａ）に示すように、シートミドルウェア３０３は、第１のアプリケーション３０４から呼び出された場合には第１のプロセス空間３０６において実行される。図３（ａ）に示すように、携帯端末２００で第１のアプリケーション３０４を実行中にシートミドルウェア３０３が呼び出されると、表示装置２１０の画面上に半透明のシート４０３（図３（ｂ））が表示される。このシート４０３は、例えばシート４０３の端部にあたる位置をタッチしてドラッグする等の操作をユーザが行うことにより、表示画面上を所定の位置に移動させることが可能である。

図４および図５は、このようなシートミドルウェア３０３によって本発明にかかるテキストまたは画像の範囲指定方法および処理方法を実現する動作イメージの画面遷移を示す図面である。

図４の動作イメージは、表示装置２１０のタッチパネル機能を利用して、選択するテキストまたは画像を囲むように直線および／または曲線をシートの上からユーザに入力させる場合を示したものである。この動作イメージでは、まずユーザがシート４０３を選択する対象（ここではテキストの一部である「environment」という単語）の上に移動させ（図４（ａ））、シート４０３の上から表示装置２１０のタッチパネル機能で単語「environment」を囲むように曲線を入力し（図４（ｂ））、これに応じて「environment」が選択されたことを示して確認画面を表示し（図４（ｃ））、続いて範囲指定した対象であるテキストに応じた処理としてWeb検索とWeb翻訳を選択する画面を表示し（図４（ｄ））、選択した処理を行った結果をシート３０４上に表示する（図４（ｅ））。さらに、この画面ではシート３０４上に「クリア」ボタンが設けられており、「クリア」ボタンがクリックされた場合には表示している内容をシートから消去することにより、新たなテキストまたは画像の選択を行うことが可能となっている。

また、図５の動作イメージは、表示装置２１０のタッチパネル機能を利用して、テキストまたは画像上をカーソルでなぞる動作によって、選択する範囲を指定する場合を示したものである。この動作イメージでは、前記同様にユーザがシート４０３を選択する対象（単語「environment」）の上に移動させ（図５（ａ））、表示装置２１０のタッチパネル機能で単語「environment」上をタッチすることに併せてタッチ位置に楕円カーソルを表示し（図５（ｂ））、ユーザがタッチを継続しつつタッチ位置を移動させることに併せてカーソルを移動させ、同時にカーソルの移動した軌跡をシート４０３上に表示し（図５（ｃ））、単語「environment」の全体をカーソルの軌跡で覆った状態でタッチを終了すると（図５（ｄ））、軌跡で覆われた位置に表示されている単語「environment」が選択されたことを示して確認画面を表示する（図５（ｅ））。以降の処理は、図４の動作イメージと同様のため省略する。なお、図４および図５の動作イメージにおいては、携帯端末２００で本発明を実施する場合を示したが、パーソナルコンピュータ１００における動作イメージもこれらに準じた態様とすることが可能である。

以上、本発明にかかるテキストまたは画像の範囲指定方法および処理方法をシートミドルウェア３０３により実施する場合について説明したが、本発明にかかるテキストまたは画像の範囲指定方法および処理方法を独立したアプリケーションとして実施することも可能である。このような場合のソフトウェア構成は、図２（ｂ）に示すように、ＯＳ／デバイスドライバ３０１と、ウィンドウマネージャ３０２と、第１のプロセス空間３０６′にて実行される第１のアプリケーション３０４′と、第２のプロセス空間３０７にて実施される第２のアプリケーション３０５と、第３のプロセス空間３０８にて実行されるシートアプリケーション３０３′と、から構成されている。ＯＳ／デバイスドライバ３０１およびウィンドウマネージャ３０２は前述と同様であるが、このような構成ではウィンドウマネージャ３０２にマルチウィンドウ機能を設け、第１のアプリケーション３０４の表示画面上にシートアプリケーション３０３′のウィンドウであるシート４０３を表示して本発明を実施することになる。なお、このような場合でも図４および図５に示した動作イメージはいずれも実現可能である。

以下、本発明にかかるテキストまたは画像の範囲指定方法および処理方法を実施する動作について、図６および図７のフローチャートを参照して、より詳細に説明する。図６のフローチャートは、本発明にかかるテキストまたは画像の範囲指定方法を実施する動作について示したものである。

ここでは、まず第１のアプリケーション３０４を起動して範囲指定する対象となるテキストおよび画像を表示する（ＳＴ１０１）。次いで、シートミドルウェア３０３またはシートアプリケーション３０３′を起動して、第１のアプリケーション３０４の画面上にシート４０３を表示する（ＳＴ１０２）。

以下、本発明を実施するためにシートミドルウェア３０３またはシートアプリケーション３０３′を実行することによる処理に入り、まずユーザがシートを移動させる操作を行ったかを判断し（ＳＴ１０３）、操作を行ったと判断した場合にはユーザの操作に応じてシート４０３を移動させてから（ＳＴ１０４）、操作を行ったと判断しなかった場合にはそのままの状態で、シート４０３上でタッチパネル機能による入力の開始を検出したかを判断し（ＳＴ１０５）、入力の開始を検出したと判断した場合にはタッチパネル機能による入力情報の蓄積を開始する（ＳＴ１０６）。ＳＴ１０５で入力の開始を検出したと判断しなかった場合には、所定時間の間隔でＳＴ１０５の判断を繰り返す。

ＳＴ１０６で入力情報の蓄積を開始した場合は、続いてタッチパネル機能による入力の終了を検出したかが判断され（ＳＴ１０７）、入力の終了を検出していないと判断した場合にはＳＴ１０５に戻って入力情報の蓄積を継続する。なお、タッチパネルによる入力情報を蓄積するとは、タッチパネル機能により入力された位置情報を入力開始から入力終了まで蓄積することを意味し、入力情報を蓄積している間はその軌跡をシート４０３上に表示することが望ましい。また、タッチパネル機能による入力の終了はユーザがシート４０３上をタッチする操作を終了したことにより検出することができる。

一方、ＳＴ１０７において入力の終了を検出したと判断した場合には、入力情報の蓄積を終了し、それまでに蓄積された入力情報が範囲指定を行うに足りるかが判断される（ＳＴ０８）。ここで範囲指定を行うに足りると判断されなかった場合には、蓄積された入力情報を破棄し、ＳＴ１０５以降の処理を繰り返す。一方、ＳＴ１０８で蓄積された入力情報が範囲指定を行うに足りると判断した場合には、蓄積された入力情報から範囲指定する領域の範囲を決定する（ＳＴ１０９）。範囲指定する領域の範囲は、例えば図４に示した動作イメージの場合には直線およびまたは曲線で囲われた範囲としてもよいし、図５に示した動作イメージの場合にはカーソルの通過した範囲としてもよく、またこれらの範囲に相当する矩形領域とするようにしても構わない。

次に、シートミドルウェア３０３またはシートアプリケーション３０３′は、範囲指定する領域の座標をウィンドウマネージャ３０２に通知する（ＳＴ１１０）。この通知を受けたウィンドウマネージャ３０２は、通知された領域に表示されているテキストまたは画像を特定し（ＳＴ１１１）、特定されたテキストまたは画像をシートミドルウェア３０３またはシートアプリケーション３０３′に返す（ＳＴ１１２）。

特定されたテキストまたは画像を受け取ったシートミドルウェア３０３またはシートアプリケーション３０３′は、当該テキストまたは画像をＯＫボタン、ＮＧボタンとともにシート４０３上に表示し、ユーザに確認を促す（ＳＴ１１３）。これに応じて操作された内容について、ＮＧが入力されたかが判断され（ＳＴ１１４）、ＮＧが入力されたと判断した場合にはウィンドウマネージャ３０２が返したテキストまたは画像を破棄し、ＳＴ１０３以降の処理を繰り返す。一方、ＮＧが入力されたと判断されなかった場合には、ＯＫが入力されたかが判断され（ＳＴ１１５）、ＯＫが入力されたと判断された場合には、シート４０３上に表示しているテキストまたは画像を範囲指定されたテキストまたは画像として確定し（ＳＴ１１６）、メモリ上に確保する。一方、ＳＴ１１５でＯＫが入力されたと判断されなかった場合には、ユーザがＯＫとＮＧを選択していないのでＳＴ１１４に戻る。

以上のような動作により、範囲指定する対象がテキスト文字列と画像とのいずれであっても適用可能であり、さらにタッチパネルの特性を活用して直感的な操作を実現することの可能なテキストまたは画像の範囲指定方法が実施され、範囲指定する対象ごとに範囲指定する方法を手入力で切り替えることなく、平易な操作で画面表示されたテキストまたは画像の範囲指定を行うことが可能となる。なお、第１のアプリケーション３０４の表示している画像の一部が範囲指定された場合には、元の画像から範囲指定された部分を切り出す処理を行うことになるが、そのような処理を行う機能はシートミドルウェア３０３またはシートアプリケーション３０３′に実装してもよいし、そのような機能を実装した既存のアプリケーションを呼び出すことにより実現しても構わない。また、選択した範囲にテキストと画像との双方が表示されていた場合には、双方をシート４０３上に表示して、どちらか一方を選択する構成としてもよい。

以上のような図６に示した動作に加えて、図７のフローチャートに示した動作を行うことにより、本発明にかかるテキストまたは画像の処理方法を実施することができる。

この動作では、まず、シートミドルウェア３０３またはシートアプリケーション３０３′が、図６に示した動作により範囲指定されたテキストまたは画像に応じた処理ボタンを表示する（ＳＴ２０１）。例えば、範囲指定された対象がテキストである場合には、当該テキストをキーワードとしたＷｅｂ検索、当該テキストの翻訳、用語集サイトの検索等のボタンを表示し、範囲指定された対象が画像である場合には、Ｗｅｂの画像検索、百科事典サイトでの画像検索等のボタンを表示することが好適である。

シートミドルウェア３０３またはシートアプリケーション３０３′は、ＳＴ２０１により各種処理ボタンを表示した状態で、ユーザが処理ボタンをクリックまたはタッチする動作を受け付け（ＳＴ２０２）、クリックまたはタッチされた処理ボタンに対応した第２のアプリケーション３０５を起動する。処理ボタンが各種Ｗｅｂサービスを利用するものである場合には、第２のアプリケーション３０５にはＷｅｂブラウザを用い、アクセスするサーバのＵＲＬを切り替えるようにしても構わない。続いて第２のアプリケーション３０５に範囲指定されたテキストまたは画像を渡して処理を行う（ＳＴ２０４）。前述のようにＷｅｂサービスを利用する場合には、サーバにコマンドともに範囲指定されたテキストまたは画像を送信するようにしてもよい。第２のアプリケーションが処理結果を返すと（ＳＴ２０５）、シートミドルウェア３０３またはシートアプリケーション３０３′は、シート４０３上に返された結果を表示して（ＳＴ２０６）、一連の処理を終了する。

以上のような動作により、範囲指定したテキストまたは画像を所定のアプリケーションに渡して処理する動作を簡単に行うことのできるテキストまたは画像の処理方法が実施され、複数のアプリケーションを手動で切り替えたり、データを手動でコピーすることなく、平易な操作で複数のアプリケーションを連携させることが可能となる。

以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、
その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。例えば、上タッチパネル機能を利用して範囲指定を行う場合の動作イメージは、図４および図５に限られるものではなく、例えば、タッチパネル機能がユーザのタッチした部分の位置および形状の双方を検出可能な場合には、タッチした部分の通過した軌跡を範囲指定した領域とすることも可能である。また、ユーザが同時に複数箇所をタッチした場合に、ユーザのタッチした位置をそれぞれ検出可能な場合には、同時にタッチの検出された２箇所のうち１箇所を開始点とし、もう１箇所を終了点として、開始点から終了点までカーソルを移動させた場合にカーソルが通過する領域を持って範囲指定した領域とするようにしても構わない。

（ａ）パーソナルコンピュータのブロック要素 （ｂ）携帯端末のブロック図 （ａ）ソフトウェア構成の一例を示す図 （ｂ）ソフトウェア構成の別の例を示す図 表示装置上に表示されたシートを示す図 本発明の動作イメージの一例を示す図 本発明の動作イメージの別の例を示す図 本発明にかかるテキストまたは画像の範囲指定方法のフローチャート 本発明にかかるテキストまたは画像の処理方法のフローチャート

符号の説明

１００ パーソナルコンピュータ
１０１ キーボード
１０２ マウス
１０３ ネットワークＩ／Ｆ
１０４ 制御部
１０５ ＣＰＵ
１０６ メモリ
１０７ ＨＤＤ
１１０ 表示装置
１１１ 位置検出部
１１２ ＬＣＤコントローラ
１１３ ＬＣＤモジュール
１１４ センサモジュール

Claims (11)

1. コンピュータの表示装置に第１のアプリケーションが表示したテキストまたは画像選択する方法において、
   前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、
   ユーザが前記シート上の所定領域を指定する操作を受け付けるステップと、
   前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、
   前記特定されたテキストまたは画像のデータをコピーして前記コンピュータのメモリ上に保持することを特徴とするテキストまたは画像の範囲指定方法。
2. タッチパネル機能を備えた表示装置を有するコンピュータで、前記表示装置に第１のアプリケーションが表示したテキストまたは画像を選択して処理する方法において、
   前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、
   ユーザが前記表示装置のタッチパネル機能を利用して前記シート上の所定領域を指定する操作を受け付けるステップと、
   前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、
   前記特定されたテキストまたは画像のデータをコピーして前記コンピュータのメモリ上に保持することを特徴とするテキストまたは画像の範囲指定方法。
3. 前記シート上の所定領域を指定する操作は、当該所定領域を囲むように直線および／または曲線をタッチパネル機能を利用して入力することにより行われることを特徴とする請求項２に記載のテキストまたは画像の範囲指定方法。
4. 前記シート上の所定領域を指定する操作は、ユーザが前記表示装置にタッチした位置に所定形状のカーソルを表示するステップと、ユーザがタッチを継続しつつタッチする位置を移動させたことを検出して前記カーソルを追従させるステップと、ユーザがタッチを終了したことを検出するステップとからなり、前記カーソルの通過した軌跡を前記指定された所定領域とすることを特徴とする請求項２に記載のテキストまたは画像の範囲指定方法。
5. 前記シート上の所定領域を指定する操作は、ユーザが前記表示装置にタッチした部分の位置および形状を検出するステップと、ユーザがタッチを継続しつつタッチする領域を移動させたことを検出するステップと、ユーザがタッチを終了したことを検出するステップとからなり、ユーザが前記表示装置にタッチした部分の通過した軌跡を前記指定された所定領域とすることを特徴とする請求項２に記載のテキストまたは画像の範囲指定方法。
6. コンピュータの表示装置に第１のアプリケーションが表示したテキストまたは画像を選択して処理する方法において、
   前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、
   ユーザが前記シート上の所定領域を指定する操作を受け付けるステップと、
   前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、
   前記特定されたテキストまたは画像を第２のアプリケーションに渡して所定の処理を実行させるステップと
   を有することを特徴とするテキストまたは画像の処理方法。
7. タッチパネル機能を備えた表示装置を有するコンピュータで、前記表示装置に第１のアプリケーションが表示したテキストまたは画像を選択して処理する方法において、
   前記第１のアプリケーションの画面に重ねて透明または半透明のシートを前記表示装置の所定位置に表示するステップと、
   ユーザが前記表示装置のタッチパネル機能を利用して前記シート上の所定領域を指定する操作を受け付けるステップと、
   前記指定されたシート上の所定領域と重なる位置に、前記第１のアプリケーションが表示しているテキストまたは画像を特定するステップと、
   前記特定されたテキストまたは画像を第２のアプリケーションに渡して所定の処理を実行させるステップと
   を有することを特徴とするテキストまたは画像の処理方法。
8. 前記シート上の所定領域を指定する操作は、当該所定領域を囲むように直線および／または曲線をタッチパネル機能を利用して入力することにより行われることを特徴とする請求項７に記載のテキストまたは画像の処理方法。
9. 前記シート上の所定領域を指定する操作は、ユーザが前記表示装置にタッチした位置に所定形状のカーソルを表示するステップと、ユーザがタッチを継続しつつタッチする位置を移動させたことを検出して前記カーソルを追従させるステップと、ユーザがタッチを終了したことを検出するステップとからなり、前記カーソルの通過した軌跡を前記指定された所定領域とすることを特徴とする請求項７に記載のテキストまたは画像の処理方法。
10. 前記シート上の所定領域を指定する操作は、ユーザが前記表示装置にタッチした部分の位置および形状を検出するステップと、ユーザがタッチを継続しつつタッチする領域を移動させたことを検出するステップと、ユーザがタッチを終了したことを検出するステップとからなり、ユーザが前記表示装置にタッチした部分の通過した軌跡を前記指定された所定領域とすることを特徴とする請求項７に記載のテキストまたは画像の処理方法。
11. さらに、第２のアプリケーションが実行した処理の結果を、前記シートに表示することを特徴とする請求項６から請求項１０のいずれか１項に記載のテキストまたは画像の処理方法。

Images