JP2012018644A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2012018644A
JP2012018644A JP2010157230A JP2010157230A JP2012018644A JP 2012018644 A JP2012018644 A JP 2012018644A JP 2010157230 A JP2010157230 A JP 2010157230A JP 2010157230 A JP2010157230 A JP 2010157230A JP 2012018644 A JP2012018644 A JP 2012018644A
Authority
JP
Japan
Prior art keywords
stroke
attribute
image information
displayed
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010157230A
Other languages
English (en)
Inventor
Ai Qin
愛 秦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2010157230A priority Critical patent/JP2012018644A/ja
Publication of JP2012018644A publication Critical patent/JP2012018644A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】直感的な操作で画像情報の属性を容易に所望する属性に変更することができる情報処理装置、情報処理方法およびプログラムを提供する。
【解決手段】タッチペン26により円形状のストロークが描画されジェスチャと判断されると、ストローク47を囲う環状のパレット60が表示される。パレット60内でのタッチ箇所に応じ、ストローク47の属性が変更される。ペンダウンしたままパレット60の周方向61にタッチ箇所を移動させると「色相」が変更され、径方向62に移動させると「太さ」が変更され、静止状態で所定時間が経過すると、連続的かつ周期的に「透過度」が変更される。パレット60内でペンアップすると、ストローク47の属性はペンアップした位置に応じた属性に設定される。パレット60外でペンアップした場合には、属性が初期状態に戻る。
【選択図】図5

Description

本発明は、表示画面に表示した画像情報の属性を変更する情報処理装置、情報処理方法およびプログラムに関する。
例えばPDA、携帯電話、フォトフレーム、多機能情報端末など、タッチパネルを搭載した情報処理装置が広く利用されており、指やタッチペン等による文字や図形の手書き入力が行われている。文字や図形を構成する線が描画される際に、線の太さや色は、あらかじめユーザによって設定された太さや色で描画される。文字や図形の入力後に線の太さや色を変更する場合、メニューから線の太さや色を選択するためのパレットを呼び出し、任意の太さや色を選ぶことにより、選択された線の太さや色が反映される。
しかし、ユーザがパレットを呼び出す操作を行うには、タッチペン等を、描画中の文字や図形から離れた位置にあるメニューに移動させる必要があり、煩わしい。また、パレットで選択した線の太さや色が反映され、反映された線の太さや色がユーザの思惑と異なれば、再度、パレットを呼び出す操作から行う必要があり、ユーザの思考が妨げられてしまう。そこで、線を描画しながらの状態で、線の太さや色を変更する方法が提案されている(例えば特許文献1参照)。特許文献1では、線を描画するときの入力装置の移動量が大きければ、線を細くするとともに色を薄くし、移動量が小さければ、線を太くするとともに色を濃くしている。特許文献1では、パレットを呼び出さずとも、線の太さと色を変更することができる。
特開2003−162369号公報
しかしながら、先行文献1では、入力装置の移動量に応じて線の太さと色の濃さの組み合わせが決まってしまうため、太いながらも色の薄い線や、細くとも色の濃い線を描画することができなかった。また、上記の方法では、線の色合いは変更できなかった。
本発明は、上記問題点を解決するためになされたものであり、直感的な操作で画像情報の属性を容易に所望する属性に変更することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
本発明の第1態様によれば、表示画面に表示した画像情報の属性を変更する処理を行う情報処理装置であって、前記表示画面上に設けられ、前記表示画面上で検出対象体が接触する接触位置を検出する検出手段と、前記検出手段により検出された前記検出対象体の接触位置に基づき、前記表示画面上における前記検出対象体の動作が、所定のパターンに対応する動作であるか否かを判断する第1判断手段と、前記第1判断手段により前記検出対象体の動作が前記所定のパターンに対応する動作であると判断された場合、前記接触位置に基づいて、前記表示画面上で前記検出対象体の動作がなされた部位に対応して前記画像情報の表示の有無を検出する対象となる領域を設定する領域設定手段と、前記領域設定手段により設定された領域に、前記画像情報が表示されているか否かを判断する第2判断手段と、前記領域設定手段により設定された領域に前記画像情報が表示されていると前記第2判断手段により判断された場合、前記表示画面に、前記画像情報の属性を変更するための候補選択情報を表示する候補表示手段と、前記候補表示手段により表示されている前記候補選択情報内で前記検出対象体により選択される候補に応じて、前記画像情報の属性を変更する第1変更手段と、を備える情報処理装置が提供される。
第1態様によれば、表示画面上で、所定のパターンに対応するように検出対象体が動作されれば、画像情報の属性を変更するための候補選択情報が表示される。また、検出対象体の動作がなされた部位に応じて設定される領域に含まれる画像情報が、属性の変更対象となる。つまりユーザは、画像情報の属性を変更させたい場合に、検出対象体を所定のパターンで動作させ、その動作の領域に画像情報を含めるという直感的な操作を行うだけで、その画像情報の属性を変更するための候補選択情報を表示させることができる。そして候補選択情報内の候補を検出対象体で選択するだけで、容易に、画像情報の属性を変更することができる。
第1態様は、前記所定のパターンと、前記所定のパターンごとに異なる形態の前記候補選択情報とを対応付けて記憶する記憶手段をさらに備えてもよい。第1態様において、前記候補表示手段は、前記記憶手段に基づいて、前記第1判断手段によって判断された前記検出対象体の動作のパターンに対応する前記候補選択情報を表示してもよい。検出対象体の動作のパターンに応じた形態の候補選択情報を表示させることができるので、属性の変更対象となる画像情報を、より直感的な操作で選択することができる。また、ユーザの好みや使い勝手に応じても、異なる形態の候補選択情報を表示させることができる。
第1態様において、前記候補表示手段は、前記画像情報の少なくとも2以上の属性を同時に変更可能な前記候補選択情報を表示してもよい。2以上の属性の変更を一回の候補の選択で行うことができるので、ユーザの操作の手間を軽減することができ、ユーザの思考が妨げられることがない。
第1態様は、前記検出対象体によって前記候補選択情報内で同一の候補が選択された状態のまま維持される維持時間を計測する計測手段と、前記維持時間が所定時間以上経過した場合、前記画像情報の前記2以上の属性とは異なる他の属性を、時間の経過に伴い変更しながら前記画像情報に適用する第2変更手段と、をさらに備えてもよい。上記の2以上の属性に加えてさらに他の属性の変更を、検出対象体を静止状態に維持するだけで、新たな候補選択情報を表示させることなく行うことができるので、ユーザの操作の手間を軽減することができ、ユーザの思考が妨げられることがない。
第1態様は、前記候補表示手段によって表示された前記候補選択情報内において前記検出対象体による候補の選択がなされなかった場合に、前記第1判断手段が所定のパターンに応じた動作であると判断した前記検出対象体によってなされた動作を、前記画像情報に変換する変換手段をさらに備えてもよい。検出対象体の動作が所定のパターンに応じた動作となって、ユーザが意図せずに候補選択情報の表示がなされてしまった場合でも、ユーザは、表示された候補選択情報内で候補の選択を行わないことで、もとの検出対象体の動作を、ユーザの意図する画像情報に変換することができる。
本発明の第2態様によれば、検出対象体が接触する接触位置を検出する検出手段が設けられた表示画面に画像情報を表示するコンピュータにおいて実行され、前記表示画面に表示した前記画像情報の属性を変更する処理を行う情報処理方法であって、前記検出手段により検出された前記検出対象体の接触位置に基づき、前記表示画面上における前記検出対象体の動作が、所定のパターンに対応する動作であるか否かが判断される第1判断ステップと、前記第1判断ステップにおいて前記検出対象体の動作が前記所定のパターンに対応する動作であると判断された場合、前記接触位置に基づいて、前記表示画面上で前記検出対象体の動作がなされた部位に対応して前記画像情報の表示の有無を検出する対象となる領域が設定される領域設定ステップと、前記領域設定ステップにおいて設定された領域に、前記画像情報が表示されているか否かが判断される第2判断ステップと、前記領域設定ステップにおいて設定された領域に前記画像情報が表示されていると前記第2判断ステップにおいて判断された場合、前記表示画面に、前記画像情報の属性を変更するための候補選択情報が表示される候補表示ステップと、前記候補表示ステップにおいて表示されている前記候補選択情報内で前記検出対象体により選択される候補に応じて、前記画像情報の属性が変更される第1変更ステップと、を含む情報処理方法が提供される。
本発明の第3態様によれば、検出対象体が接触する接触位置を検出する検出手段が設けられた前記表示画面に表示した画像情報の属性を変更する処理を行う情報処理装置として機能させるためのプログラムであって、コンピュータに、前記検出手段により検出された前記検出対象体の接触位置に基づき、前記表示画面上における前記検出対象体の動作が、所定のパターンに対応する動作であるか否かが判断される第1判断ステップと、前記第1判断ステップにおいて前記検出対象体の動作が前記所定のパターンに対応する動作であると判断された場合、前記接触位置に基づいて、前記表示画面上で前記検出対象体の動作がなされた部位に対応して前記画像情報の表示の有無を検出する対象となる領域が設定される領域設定ステップと、前記領域設定ステップにおいて設定された領域に、前記画像情報が表示されているか否かが判断される第2判断ステップと、前記領域設定ステップにおいて設定された領域に前記画像情報が表示されていると前記第2判断ステップにおいて判断された場合、前記表示画面に、前記画像情報の属性を変更するための候補選択情報が表示される候補表示ステップと、前記候補表示ステップにおいて表示されている前記候補選択情報内で前記検出対象体により選択される候補に応じて、前記画像情報の属性が変更される第1変更ステップと、を実行させるプログラムが提供される。
第2態様に係る情報処理方法に従う処理をコンピュータで実行することによって、あるいは、第3態様に係るプログラムを実行してコンピュータを情報処理装置として機能させることで、第1態様と同様の効果を得ることができる。
情報処理装置1の正面図である。 情報処理装置1の電気的な構成を示すブロック図である。 円形のストローク40を描く動作がジェスチャして識別される例について説明するための図である。 横棒状のストローク50を描く動作がジェスチャして識別される例について説明するための図である。 環状のパレット60によりストローク47の属性が変更される例について説明するための図である。 矩形のパレット70によりストローク57,58の属性が変更される例について説明するための図である。 情報処理装置1のメイン処理のフローチャートである。 属性変更処理のフローチャートである。
以下、本発明の一実施の形態としての情報処理装置1について、図面を参照して説明する。なお、参照される図面は、本発明が採用しうる技術的特徴を説明するために用いられるものであり、記載されている装置の構成、各種処理のフローチャートなどは、それのみに限定する趣旨ではなく、単なる説明例である。
図1を参照し、情報処理装置1の外観について説明する。本実施の形態において、情報処理装置1は、卓上に載置したり壁に掛けたりすることが可能な、いわゆるデジタルフォトフレームとして構成されている。情報処理装置1は、ACアダプタ(図示外)と接続され、AC電源から供給される電力によって駆動し、電源スイッチ14がONにされると、写真等の画像を表示する。
図1に示すように、情報処理装置1は、薄型の直方体状の筐体2と、表示ユニット10と、電源スイッチ14とを備えている。表示ユニット10は、筐体2の正面に設けられた正面視横長長方形状のディスプレイ3と、ディスプレイ3の正面側の表面上に設けられたタッチパネル16(図2参照)とを含む。ディスプレイ3の画像表示領域30内には、写真等の画像、およびユーザが操作するための操作ボタン等(図示外)を含む様々な画面が表示される。ユーザは、ディスプレイ3に表示される様々な情報を視認しながら、タッチペン26(指でもよい)を用いてタッチパネル16に触れることによって、文字や図形を描画したり、様々な指示を入力したりすることができる。
図2を参照し、情報処理装置1の電気的構成について説明する。図2に示すように、情報処理装置1は、CPU1、ROM12、RAM13、フラッシュメモリ20、ディスプレイ3に接続する表示コントローラ15、タッチパネル16、電源スイッチ14、外部コネクタ17、メモリカードコネクタ18、およびタイマ19を備えており、これらはバスを介して電気的に接続している。
CPU11は、情報処理装置1の制御処理を司る。ROM12は、CPU11が各種処理を実行するために必要なプログラムおよび数値データ等を記憶している。RAM13は、CPU11が各種処理を実行する際、演算結果や各種フラグ等のデータを一時的に記憶する。フラッシュメモリ20は、書き換え可能な不揮発性のメモリである。フラッシュメモリ20には、ディスプレイ3に表示する写真や絵などの画像データが記憶される。また、後述するペイントツールを含むアプリケーション等もフラッシュメモリ20に記憶される。
表示コントローラ15は、ディスプレイ3に接続しており、ディスプレイ3の表示駆動制御を司る。CPU11は、表示コントローラ15を介して、ディスプレイ3に所望の画像を表示させることができる。ディスプレイ3としては、例えば液晶ディスプレイや有機ELディスプレイなどが使用できる。
タッチパネル16として、本実施の形態では、投影型静電容量方式のタッチスクリーンが採用されている。投影型静電容量方式とは、表面全体に電界を形成し、触れられた部分の電荷の変化に基づいて位置検出を行う方式である。図1に示すように、本実施の形態では、ディスプレイ3の画像表示領域30に対応するタッチパネル16の領域に、領域の左上の角を原点O(0,0)として、原点から右方向をX軸プラス方向、下方向をY軸プラス方向とするXY座標系が設定される。タッチパネル16は、タッチパネル16上で触れられた位置(以下「タッチ箇所」という)として、このXY座標系における座標(X,Y)を検出する。CPU11は、タッチパネル16により検出された座標に基づいて、タッチパネル16を介して入力された指示を認識することができる。
電源スイッチ14は、情報処理装置1の電源をON・OFF(あるいは休止状態への移行・復帰)するためのスイッチである。外部コネクタ17は、外部機器との通信を行うためのケーブル(図示外)が接続されるコネクタ(ジャック)を有する通信回路である。例えば、USB規格やIEEE1394規格の端末間通信用のコネクタ(プラグ)が接続されるジャックであってもよい。あるいはRJ−11やRJ−45等のネットワーク通信用プラグが接続されるジャックであってもよい。情報処理装置1は、外部コネクタ17を介してローカルPCや外部ストレージ、ネットワーク上のサーバなどの外部機器と接続し、外部機器との間でデータの送受信を行うことができる。なお、外部コネクタ17は、例えばBluetooth(登録商標)やIEEE802.11規格に基づく無線通信用の通信回路およびアンテナであってもよい。メモリカードコネクタ18には、記憶機器であるメモリカード(図示外)を挿入可能である。本実施の形態では、画像データは、あらかじめ外部コネクタ17またはメモリカードコネクタ18を介して外部機器またはメモリカードから取得され、フラッシュメモリ20に記憶されている。タイマ19は、計時装置である。CPU11は、タイマ19を利用して時間を測定することができる。
本実施の形態の情報処理装置1は駆動されると、後述するメイン処理(図7参照)が実行され、ユーザの操作によって、後述するペイントツールを含む、様々なアプリケーションが起動される。アプリケーションの起動によって、例えば写真の閲覧やスライドショーなど、フォトフレームとして動作するための機能が提供される。もちろん、音楽の再生やメールの送受信など、その他の様々な機能がアプリケーションにより提供されてもよい。
ペイントツールでは、ディスプレイ3の画像表示領域30に表示される写真や絵などの画像(以下では便宜上「背景画像」ともいう)に重ねて、ユーザがタッチペン26を用いて文字や図形などの描画を行うことができる。より詳細には、背景画像と同じ画素数からなり背景画像に重ねる透明なレイヤーの記憶エリアがRAM13に確保され、背景画像とともに画像表示領域30に表示される。CPU11によってタッチ箇所の座標が検出されると、その座標に対応したレイヤー上の座標に配置された画素が、描画画素として設定される。本実施の形態では、描画画素に、「太さ」、「色相」、および「透過度」の属性の情報が対応付けられる。「色相」の属性は、描画画素の色合いを決定する情報であり、RGB値が設定される。「透過度」の属性は、描画画素の透過率を決定する情報であり、アルファ値が設定される。「太さ」の属性は、描画画素を中心に円形に配置される画素群(以下、「周囲画素」という)の大きさ(画素数)を決定する情報である。周囲画素には、描画画素と同じ「色相」および「透過度」の属性が対応付けられる。
タッチペン26がタッチパネル16に接触(以下「ペンダウン」ともいう)したまま移動することによって、レイヤー上には、描画画素が連なり、各描画画素を中心に配置される周囲画素が重なって、周囲画素の直径(画素数)を幅とする一続きの線が描画される。なお、以下では、ペンダウンしてから、タッチペン26がタッチパネル16から離れる(以下「ペンアップ」ともいう)までの手書きによって描かれる一続きの線を、「ストローク」とよぶ。本実施の形態では、ストロークを構成するすべての描画画素および周囲画素の属性が同一に設定されるため、以下では便宜上、属性の変更が、ストロークに対して行われるものとする。ペイントツールでは、レイヤー上に配置される描画画素と周囲画素からなる一続きのストロークが、画像として扱われる。すなわち文字や図形は、1つ以上のストロークの組み合わせによって、画像として表現される。レイヤー上に形成されたストロークが画像として背景画像上に重ねられて表示されることにより、ディスプレイ3の画像表示領域30に、背景画像に文字や図形が描き込まれた画像が表示される。
また、ペイントツールでは、タッチペン26によって上記のストロークが描かれる際に、特定の条件を満たした場合に、そのストロークを描く動作がいわゆるジェスチャとして識別され、所定の操作に対する指示として検出される。本実施の形態では、円形および横棒状の2種類のジェスチャが識別される。公知のジェスチャ識別方法は多数あるが、ここではその一例について、図3、図4を参照して簡単に説明する。図3では、円形のジェスチャが識別される例について説明する。図3に示すように、画像表示領域30に、ユーザにより、3つのストローク47(ストローク同士が重なる場合は1つのストロークとして合成される)を組み合わせた「Ai」という文字(画像)が描かれている。例えば、タッチペン26によって「Ai」の周囲に円形のストローク40が描画されたときに、以下の(1)〜(6)の各条件が満たされる場合に、ジェスチャによる指示が検出される。
タイマ19を利用して、描画が開始されたタイミング(ペンダウンしたタイミング)と、描画が終了したタイミング(ペンアップしたタイミング)までにかかった時間が計測される。計測された時間が、所定の第1時間以上所定の第2時間以内である場合に(1)、ストローク40の画像データから、始点の描画画素41の座標と、終点の描画画素42の座標とが読み出される。さらに、描画画素41と描画画素42との間に配置された全描画画素の1/4番目,2/4番目,3/4番目の各描画画素43,44,45の各座標とが読み出される。そして、描画画素41の座標と描画画素42の座標とが近接し、所定の第1距離以内であれば(2)、以下の(3)〜(6)についても確認される。
(3)描画画素41のX座標よりも描画画素43のX座標が小さく、描画画素41のY座標よりも描画画素43のY座標が小さいこと。(4)描画画素43のX座標よりも描画画素44のX座標が大きく、描画画素43のY座標よりも描画画素44のY座標が小さいこと。(5)描画画素44のX座標よりも描画画素45のX座標が大きく、描画画素44のY座標よりも描画画素45のY座標が大きいこと。(6)描画画素45のX座標よりも描画画素42のX座標が小さく、描画画素45のY座標よりも描画画素42のY座標が大きいこと。(3)〜(6)の条件(すなわち(1)〜(6)の全条件)が満たされた場合に、ペイントツールでは、後述する環状のパレット60(図5参照)を表示する指示がジェスチャによりなされたと判断される。
次に図4では、横棒状のジェスチャが識別される例について説明する。図4に示すように、画像表示領域30に、ユーザにより、「H」を構成するストローク57,「e」を構成するストローク58,および「llo」を構成するストローク59を組み合わせた「Hello」という文字(画像)が描かれている。例えば、タッチペン26によって横棒状のストローク50が描画されたときに、上記の(1)の条件と、以下の(7)および(8)の条件が満たされる場合に、ジェスチャによる指示が検出される。
描画が開始されたタイミングから、描画が終了したタイミングまでにかかった時間が、所定の第1時間以上所定の第2時間以内である場合に(1)、上記同様、ストローク50の画像データから、始点の描画画素51の座標と、終点の描画画素52の座標とが読み出される。描画画素52のX座標よりも描画画素51のX座標が大きければ(7)、テンプレートマッチング(8)が行われる。
テンプレートマッチングは、描かれたストロークと、あらかじめ用意された複数のテンプレートとの照合を行い、一致するテンプレートがある場合に、ジェスチャとして認識するものである。詳細については公知であるため説明を省略するが、本実施の形態では、横棒状のジェスチャのテンプレートがあらかじめ複数作成され、ペイントツールのインストールの際に、フラッシュメモリ20に記憶されている。テンプレートの例としては、真っ直ぐ伸びる棒状のものや、延伸方向に対して波打ちながら伸びる波形のものなど、複数の形態のものが作成されている。描かれたストロークと、これら複数のテンプレートとの照合が行われる。より具体的には、テンプレートごとに拡大・縮小、回転などが行われ、その都度、ストロークを構成する画素とテンプレートを構成する画素との差分が求められる。そして、例えば90%以上の画素がテンプレートの画素と一致する場合に、描かれたストロークが横棒状のジェスチャであると識別される。このように、画像表示領域30において、右側から左側へ向けて所定の第1時間以上所定の第2時間以内にストロークの描画が行われ、そのストロークの形状が横棒状(真っ直ぐのみならず多少波形であってもテンプレートと一致すればよい)であれば、条件(1)、(7)、(8)が満たされる。ペイントツールでは、後述する矩形のパレット70(図6参照)を表示する指示がジェスチャによりなされたと判断される。
また、ペイントツールでは、ジェスチャが識別された場合に、ジェスチャに応じて設定される領域に基づいて、後述する属性変更の対象となる他のストロークの検出が行われる。図3に示す、円形のストローク40によるジェスチャが識別された場合には、ストローク40に囲まれる領域と重なるストローク47が描画画素および周囲画素の全座標の情報をもとに検出され、属性変更対象のストロークとして設定される。なお、円形のストローク40の始点の描画画素41と終点の描画画素42との間が離れて開環していれば、仮想線46で結ばれて、閉環されたストローク40内(ストローク40上も含む)が、ジェスチャにより設定された領域となる。このジェスチャにより設定された領域に基づき、属性変更対象のストロークが検出される。図3の場合、ストローク40に囲まれた「Ai」の文字を構成する3つのストローク47が、属性変更対象のストロークとして検出される。また、図示しないが、ジェスチャにより設定された領域の外にストロークがはみ出している場合でも、ストロークに、ジェスチャにより設定された領域と重なる部分があれば、そのストロークは属性変更対象のストロークとして検出される。
一方、図4に示す、横棒状のストローク50によるジェスチャが識別された場合には、矩形の選択枠56が仮に形成(設定)され、選択枠56に囲まれる領域に重なるストローク57,58が、属性変更の対象となる。選択枠56は、以下のように設定される。横棒状のストローク50の始点の描画画素51と、終点の描画画素52とが、第1の仮想直線(図示外)で結ばれる。ストローク50と重なるすべてのストロークが抽出され、例えば図4では「H」の文字を構成するストローク57が抽出される。抽出されたストローク57を構成する全画素のうち、画素のY座標が第1の仮想直線よりも大きい画素の中から、さらに、第1の仮想直線から最も離れた位置にある(第1の仮想直線に垂らした垂線が最も長い)画素53を通り、第1の仮想直線と平行な第2の仮想直線が求められる。同様に、画素のY座標が第1の仮想直線よりも小さい画素の中から、第1の仮想直線から最も離れた位置にある画素54を通り、第1の仮想直線と平行な第3の仮想直線が求められる。始点の描画画素51を通り第1の仮想直線と直交する第4の仮想直線と、終点の描画画素52を通り第1の仮想直線と直交する第5の仮想直線とが求められる。そして、第2〜第5の仮想直線によって形成される枠が、選択枠56として設定される。ストローク50と重なり「H」を構成するストローク57は、選択枠56内に含まれ、属性変更対象のストロークとして設定される。「e」を構成するストローク58は、ストローク50と重ならないが、選択枠56内に含まれるため、ストローク57と同様に属性変更対象のストロークとして設定される。「llo」を構成するストローク59は、ストローク50と重ならず、選択枠56内にも含まれないため、属性変更の対象外となる。
さらに、ペイントツールでは、属性変更対象のストロークの属性を変更するため、円形のストローク40によるジェスチャが識別された場合には、フラッシュメモリ20に記憶されたテーブルにおいて対応付けられた、図5に示す、環状のパレット60が表示される。パレット60は、周方向61と径方向62の2軸を有し、2種類の属性を変更することができる。パレット60の周方向61は、属性変更対象のストローク(図5ではストローク47)の色合いを変更するための軸に設定されている。ユーザがパレット60上でペンダウンしたまま周方向61にタッチ箇所を移動させると、移動先の座標に配置された候補に設定されたRGB値に、ストローク47の「色相」の属性が変更され、ストローク47の色合いに反映される。また、パレット60の径方向62は、属性変更対象のストローク(ストローク47)の太さを変更するための軸に設定されている。ユーザがパレット60上でペンダウンしたまま径方向62にタッチ箇所を移動させると、移動先の座標とパレット60の中央の座標との距離に応じ、ストローク47の「太さ」の属性が変更(すなわち周囲画素の大きさが変更)され、ストローク47の太さに反映される。パレット60の径方向62の外側へペンダウンしたままタッチ箇所を移動させるとストローク47が太くなり、タッチ箇所を内側へ移動させると細くなるように「太さ」の属性が対応付けられており、操作が直感的に結果に反映される。
一方、横棒状のストローク50によるジェスチャが識別された場合には、フラッシュメモリ20に記憶されたテーブルにおいて対応付けられた、図6に示す、矩形のパレット70が表示される。パレット70は、横方向71(X軸方向)と縦方向72(Y軸方向)の2軸を有し、環状のパレット60と同様に2種類の属性を変更することができる。パレット70の横方向71は、パレット60の周方向61と同様であり、属性変更対象のストローク(ストローク57)の「色相」の属性の変更に対応している。また、パレット70の縦方向72は、パレット60の径方向62と同様であり、属性変更対象のストローク57の「太さ」の属性の変更に対応している。パレット70の縦方向72の上側へペンダウンしたままタッチ箇所を移動させるとストローク57が太くなり、タッチ箇所を下側へ移動させると細くなるように「太さ」の属性が対応付けられており、上記同様、操作が直感的に結果に反映される。
さらに、パレット60,70は、共に、属性変更対象のストロークの「透過度」の属性を変更するため、第3の軸を有する。第3の軸は、時間軸として設定されている。具体的には、ユーザが、パレット60または70内でペンダウンしたままタッチ箇所を移動させず、所定時間(例えば1秒)以上、タッチ箇所で静止状態を維持させた場合、第3の軸が有効となる。タッチ箇所の静止状態が維持される間、時間の経過と共に、属性変更対象のストロークのアルファ値が連続的かつ周期的に変更され続け、ストロークの透過率に反映される。換言すると、アルファ値は、最大値から最小値へ向けて時間経過に応じて徐々に変更され、最小値に達したら、最大値へ向けて時間経過に応じて徐々に変更される状態が繰り返される。ユーザがタッチ箇所を再度移動させたとき、あるいはペンアップしたときに、ストロークに反映されていたアルファ値が、「透過度」の属性として設定される。
以下、図3〜図6を参照しながら、図7、図8のフローチャートに従い、情報処理装置1で行われる処理の流れについて説明する。なお、図7、図8に示す各種処理を実行するためのプログラムはROM12に記憶されており、CPU11がプログラムに従って実行する。
情報処理装置1が駆動されると、図7に示すメイン処理の実行が開始される。メイン処理において、CPU11は、情報処理装置1のフラッシュメモリ20にあらかじめインストールされているペイントツールや他のアプリケーションがユーザによる操作によって起動されるまで待機する。待機中には(S1:NO)、スライドショーなどのアイドル時の処理(待機)が行われる(S7)。なお、その他のアプリケーション等により、あらかじめ画像表示領域30に背景画像が表示されているものとするが、説明を分かりやすくするため、図3〜図6において背景画像は図示していない。
ペイントツールが起動されると(S1:YES)、CPU11によるタッチ箇所の座標の検出がなされるまで、待機が行われる(S2:NO)。タッチ箇所の座標が検出され、ユーザによる入力が行われたと判断されると(S2:YES)、検出結果に基づき、背景画像に重ねられたレイヤー上にストロークの描画が行われる。ストロークの描画が完了する毎に(ペンアップする毎に)、描画されたストロークが、上記した各条件(一例)を満たす特定のジェスチャであるか否かが判定される(S3)。描画されたストロークが特定のジェスチャでないと判定されれば(S3:NO)、描画されたストロークは画像として扱われ、図示しない、その他の処理が行われる(S5)。また、タッチ箇所に応じて、ストロークではなく操作の入力として処理され、例えばメニュー操作等の処理、背景画像や背景画像に重ねて表示する任意の画像の挿入処理、画像の保存処理など、ペイントツールとして機能する、公知の他の処理が行われる。ペイントツールの終了が指示されない限り(S6:NO)、S2に戻り、入力待ちが行われる。一方、S3において、描画されたストロークがストローク40(図3参照)またはストローク50(図4参照)であり、特定のジェスチャが行われたと識別されると(S3:YES)、属性変更処理のサブルーチンがコールされる(S4)。
図8に示す、属性変更処理では、ジェスチャとして識別されたストローク40または50によって設定される領域に基づき、属性変更対象のストローク(ストローク47または57,58)の検出が行われる(S11)。ここで、ストローク40または50によって囲まれる領域内に他のストロークがなければ(S12:NO)、属性変更対象のストロークが存在しないとして、CPU11は属性変更処理を終了し、メイン処理(図7参照)に戻る。ストローク40または50によって囲まれる領域内に、属性変更対象のストローク(ストローク47または57,58)があれば(S12:YES)、ストローク40または50を構成する画素の情報(描画画素の座標および属性)が、RAM13の中の描画レイヤーとは異なる記憶エリアに記憶される。さらにストローク40または50を構成する画素の情報が描画レイヤー上から削除され、画像表示領域30においてストローク40または50が非表示となる(S13)。
ジェスチャがストローク40によるものであった場合には、ストローク40によって囲まれる領域内で検出されたストローク47を取り囲む環状のパレット60(図5参照)が、画像表示領域30に表示される。ジェスチャがストローク50によるものであれば、矩形のパレット70(図6参照)が、画像表示領域30でストローク57,58の近傍に表示される(S14)。
パレット60または70が表示されたらタイマ19による計時が開始され、ペンダウンがなされるか、所定時間(例えば2秒)が経過するまでCPU11は待機する(S16:NO、S17:NO、S16)。ペンダウンされる前に所定時間が経過した場合(S17:YES)、画像表示領域30に表示されたパレット60または70が消去される。さらに、RAM13に記憶されたストローク40または50の画素の情報がレイヤー上に戻され、ストローク40または50が画像表示領域30に再表示される(S19)。その後、CPU11は属性変更処理を終了し、メイン処理(図7参照)に戻る。
所定時間が経過する前にペンダウンされた場合でも(S16:YES)、タッチ箇所の座標がパレット60または70の表示された領域外の座標であれば(S18:NO)、パレット60または70の消去とストローク40または50の再表示がなされる(S19)。その後、CPU11は属性変更処理を終了し、メイン処理(図7参照)に戻る。パレット60または70内でペンダウンされたら(S18:YES)、タイマ19による新たな計時が開始される。上記したように、パレット60または70内のタッチ箇所の座標に応じて、ストローク47または57,58の「色相」と「太さ」の属性が変更される(S21)。なお、S21の初回実行時に、ストローク47または57,58の「色相」、「太さ」および「透過度」の属性が、RAM13に記憶される。変更された属性は、ストローク47または57,58の色合いと太さに反映される。
タイマ19による計時は、タッチ箇所の座標に変更がなければ継続され、タッチ箇所に変更があればリセットされて、再度0から計時が開始される。つまり、パレット60または70内でペンダウンしたままタッチ箇所が移動されない場合にのみ、タイマ19のカウンタが進む。所定時間が経過する前は(S22:NO)、ペンアップされなければS21に戻り(S27:NO)、タッチ箇所に応じたストローク47または57,58の属性が変更される(S21)。タッチ箇所が移動されないまま所定時間(例えば1秒)が経過した場合(S22:YES)、ストローク47または57,58の「透過度」の属性(アルファ値)が連続的かつ周期的に変更される(S23)。変更されたアルファ値は、ストローク47または57,58の透過率に反映される。
ストローク47または57,58の「透過度」の属性の変更は、タッチ箇所が移動されず(S24:NO)、ペンアップもされない限り(S28:NO、S23)、継続される。タッチ箇所が移動された場合(S24:YES)、アルファ値の変更が停止され(S26)。停止された時のアルファ値が、ストローク47または57,58の「透過度」の属性として設定されて、透過率に反映される。また、タイマ19がリセットされ、再度0から計時が開始される。そしてS27に進み、ペンアップがなければS21に戻る(S27:NO)。
このように、最初にパレット60または70内でペンダウンされ、ペンダウンしたままタッチ箇所が移動されたら、移動後のタッチ箇所に応じてストローク47または57,58の「色相」と「太さ」の属性が変更される。ペンダウンしたままタッチ箇所の移動がなく所定時間が経過すれば、ストローク47または57,58の「透過度」の属性が連続的かつ周期的に変更される。さらにペンダウンしたままタッチ箇所が再び移動されれば、「色相」と「太さ」の属性の変更に戻る。
「色相」と「太さ」の属性が変更されている間にペンアップされた場合(S27:YES)、または、「透過度」の属性が変更されている間にペンアップされた場合(S28:YES)、S31に進む。S31では、ペンアップがなされた座標が確認され、パレット60または70外の座標であれば(S31:NO)、S19と同様に、画像表示領域30に表示されたパレット60または70が消去される。また、RAM13に記憶されたストローク40または50の画素の情報がレイヤー上に戻され、ストローク40または50が画像表示領域30に再表示される。さらに、S21の初回実行時にRAM13に記憶された、ストローク47または57,58の「色相」、「太さ」および「透過度」の初回変更前の属性が、ストローク47または57,58の属性として設定される。すなわち、ストローク47または57,58の色合い、太さおよび透過率は、変更前の状態に戻る(S32)。その後、CPU11は属性変更処理を終了し、メイン処理(図7参照)に戻る。
一方、ペンアップがなされた座標がパレット60または70内の座標であれば(S31:YES)、ストローク47または57,58の属性が、S21〜S28の処理において最後に設定されていた情報に変更される(S33)。すなわち、ストローク47または57,58が、パレット60または70で選択された色合い、太さおよび透過度に設定される。その後、CPU11は属性変更処理を終了し、図7に示すメイン処理に戻る。
上記したように、図7に示すメイン処理では、ペイントツールの終了が指示されない限りS2〜S6が繰り返される。ペイントツールの終了が指示されるとS1に戻り、ペイントツールや他のアプリケーションの起動の待ち状態に移行する。
以上説明したように、本実施の形態の情報処理装置1では、タッチパネル16上でタッチペン26がペンダウンしたまま移動されて、ジェスチャとして識別される円形のストローク40あるいは横棒状のストローク50が描画され、ストローク40または50によって囲まれる領域内に属性の変更対象となるストロークがあれば、環状のパレット60または矩形のパレット70が表示される。つまりユーザは、ストローク47または57,58の属性を変更させたい場合に、タッチペン26を、ジェスチャとして識別される円形あるいは横棒状に移動させ、その際に、ストローク47を囲う、あるいはストローク57,58に描画を重ねるという直感的な操作を行うだけで、パレット60または70を表示させることができる。そしてパレット60または70内にペンダウンするだけで、タッチ箇所に応じた属性がストローク47または57,58に反映されるので、ユーザは、容易に、ストローク47または57,58の属性を変更することができる。
本実施の形態では、タッチペン26の移動のパターン(円形または横棒状)に応じて、異なる形態(環状または矩形)のパレット60または70を表示させることができる。属性の変更対象となるストローク47または57,58を、タッチペン26の移動のパターンという、より直感的な操作で選択することができる。また、ユーザの好みや使い勝手に応じてジェスチャを使い分け、好みのパレット60または70を表示させることができる。
本実施の形態では、パレット60または70において、ストローク47または57,58の「太さ」、「色相」の属性を変更することができる。「太さ」、「色相」の属性の変更は、タッチ箇所を一カ所選択することで行うことができるので、ユーザの操作の手間を軽減することができ、ユーザの思考が妨げられることがない。
本実施の形態では、上記の「太さ」、「色相」の属性に加え、「透過度」の属性を変更することができる。「透過度」の属性の変更はパレット60または70内でタッチ箇所を静止状態に維持するだけで、新たなパレットを表示させることなく行うことができるので、ユーザの操作の手間を軽減することができ、ユーザの思考が妨げられることがない。
本実施の形態では、表示されたパレット60または70外でペンダウンされた場合や、パレット60または70外でペンアップされた場合に、ストローク40または50が、ジェスチャではなく、画像として処理される。つまりユーザは、タッチペン26による描画がジェスチャとして識別されて、意図せずに、パレット60または70が表示された場合でも、上記のように、パレット60または70外でペンダウンまたはペンアップすれば、ストローク40または50を、ユーザの意図する画像として扱うことができる。
本発明は上記実施の形態に限定されるものではなく、種々の変更が可能である。例えば、本実施の形態では、情報処理装置1がデジタルフォトフレームとして構成される例を挙げたが、情報処理装置1は、表示画面上に、検出対象体の接触位置を検出する検出手段を備える装置であればよい。例えば、携帯型表示端末やテレビ会議装置等として構成されてもよい。
本実施の形態では、入力される文字や図形を構成するストロークとして、指やタッチペン26等を用いた手書きにより描画されたものを対象としたが、文字コードによって指定されるテキスト文字や、単色の図形などを対象としてもよい。また、ストロークの「太さ」の属性を変更する方法として、例えば公知の膨張・収縮処理を行ってもよい。レイヤー上において、ストロークを構成する画素を1、ストロークの描かれていない画素を0とすると、膨張処理とは、任意の画素の周囲に一つでも0の画素があれば、任意の画素を1にする処理である。膨張処理により、ストロークを太くすることができる。また、収縮処理とは、任意の画素の周囲に一つでも0の画素があれば、任意の画素を0にする処理である。圧縮処理により、ストロークを細くすることができる。
本実施の形態では、ジェスチャの識別において、ストロークが(1)〜(6)の条件、または(1)、(7)および(8)の条件を満たす場合を例に挙げた。これに限らず、あらかじめ用意されたデータベースに、ジェスチャの基準となる画像を記憶させておき、ストロークが描画されるたびにデータベースに照合し、所定の類似範囲内にあれば(拡大あるいは縮小して一致する画素が例えば90%以上ある場合など)、ジェスチャとして識別してもよい。また、ジェスチャは、あらかじめ用意された形態のものだけでなく、ユーザが任意の形態のジェスチャを登録できるようにしてもよい。例えばユーザに任意のジェスチャを描画させ、これを上記のデータベースに追加記憶させたり、あるいは本実施の形態のように、テンプレートとして用いたりすればよい。その際に、ジェスチャとしての識別の条件(ストロークの始点と終点との位置関係や描画時間など)についても、任意に設定できるようにしてもよい。もちろん、すでに設定されているジェスチャの識別の条件についても、任意に設定できるようにしてもよい。例えば、条件(1)の時間を変更して短くできるようにしてもよい。
また、本実施の形態において、パレット60は、画像表示領域30に、ストローク40に囲まれる領域と重なるストローク47を取り囲んで表示されることとした。ストローク47が大きかったり、あるいはストローク47が画像表示領域30の端部に位置したりする場合、パレット60が、画像表示領域30外にはみ出る虞がある。この場合、パレット60を、画像表示領域30内で、ストローク47とは重ならない位置に表示するとよい。パレット70についても同様である。あるいは、画像表示領域30に表示されるパレット60または70を、画像表示領域30内の任意の位置に移動できるようにしてもよい。例えば、パレット60または70にはタッチペン26をペンダウンさせたまま、指等で画像表示領域30のパレット60または70が表示された領域以外の領域に触れる(いわゆるツータッチ状態)。この状態でタッチペン26を移動させれば、パレット60または70をタッチペン26に追従させて画像表示領域30内で移動できるようにすればよい。あるいはパレット60または70にポインタを併設し、ペンダウンしたままタッチペン26をポインタ上に移動させた場合に、パレット60または70をタッチペン26に追従させて移動できるようにしてもよい。このとき、ポインタ上でペンアップさせた場合に限り、S16に進むようにし、再度パレット60または70上にペンダウンすれば、属性の変更が継続されるようにするとよい。
また、環状のパレット60は、円形であっても楕円形であってもよいし、開環状であってもよい。また、属性変更対象のストロークが画像表示領域30の端部にあり、パレット60の一部が画像表示領域30外にはみ出る場合には、パレット60が必ずしも属性変更対象のストロークを囲んで表示されなくともよいし、あるいは環状のパレット60の代わりに矩形のパレット70を表示させてもよい。矩形のパレット70についても、矩形に限らず、台形であっても、菱形であっても、多角形であってもよい。いずれのパレットも、ジェスチャに応じた直感的な操作で表示できるように、ジェスチャと対応付けるとよい。
また、パレットとジェスチャとの対応付けを、ユーザが任意に設定できるようにしてもよい。言い換えると、所定のパレットを呼び出すためのジェスチャを、ユーザが任意に変更あるいは作成できるようにすればよい。具体的には、例えば、本実施の形態では環状のパレット60は円形のストローク40によって呼び出されるが、横棒状のストローク50で呼び出せるように、パレットとジェスチャとの対応付けを変更してもよい。あるいは、例えばチェックマーク様のジェスチャなど、上記したようにユーザが登録した任意の形態のジェスチャで、環状のパレット60を呼び出せるようにしてもよい。もちろん、1種類のパレットに複数種類のジェスチャを対応付け、チェックマーク様のジェスチャと円形のジェスチャとのどちらからも、環状のパレット60を呼び出せるようにしてもよい。このようにすれば、パレットを呼び出すための操作を、よりユーザの趣向に合わせた、直感的なジェスチャによって行うことができる。
本実施の形態では、横棒状のストロークをジェスチャと判定した場合に、ストロークの描画が右側から左側へ向けて行われることを条件としたが((7)の条件)、描画が左側から右側、すなわち始点のX座標が終点のX座標よりも大きいことを条件としてもよい。また、選択枠56を構成する第2、第3の仮想直線はX軸と平行な直線であり、第4、第5の仮想直線はY軸と平行な直線であってもよい。
また、一般的なPCの操作において行われる領域選択方法を、ジェスチャおよび選択枠の設定に用いてもよい。これを実現するには、例えば、以下の(9)〜(12)の条件を満たした場合にジェスチャとして認識するとよい。ストロークの描画において、(9)ペンダウン後、ペンダウンしたままタッチ箇所の移動が認識されること。(10)そのままペンアップされず、同一のタッチ箇所にて所定の第3時間以上の静止状態の維持が検出されること。(11)第3時間以上の経過後に、タッチ箇所の更なる移動がなくペンアップされること。(12)始点の描画画素の座標よりも終点の描画画素の座標がX座標、Y座標ともに大きいこと。以上の(9)〜(12)の条件を満たした場合に、ジェスチャとして認識し、始点の描画画素の座標と、終点の描画画素の座標とを対角の座標とし、X軸、Y軸に平行な辺からなる長方形を、選択枠として設定する。その選択枠に囲まれる領域に重なる他のストロークを、属性変更対象のストロークとして設定すればよい。このように、ジェスチャとして識別するストロークの形態は、本実施の形態のような円形あるいは横棒状に限らず、任意であることは言うまでもない。
また、ジェスチャにより設定された領域の外に自身の一部がはみ出しているストローク(便宜上、以下では「はみ出しストローク」という)について、本実施の形態では、属性変更対象のストロークとして検出されるものとした。はみ出しストロークを属性変更対象のストロークとするか否かについて、更なる条件を設けてもよい。例えば、はみ出しストロークの全体に対する、ジェスチャにより設定された領域と重複するはみ出しストロークの部分の割合を重複率として求め、重複率が、例えば70%以上の場合に、はみ出しストロークを属性変更対象のストロークとして検出してもよい。重複率は、例えば、以下のように求める。まず、はみ出しストロークを構成するすべての画素数をカウントし、これを分母とする。次に、はみ出しストロークを構成する画素と、ジェスチャにより設定された領域を構成する画素との論理積を求め、画素数をカウントし、これを分子として百分率を求め、これを重複率とすればよい。
また、横棒状のストロークのジェスチャで変更可能な属性と、環状のストロークのジェスチャで変更可能な属性とを互いに異ならせてもよい。一例として、環状のストロークのジェスチャでは「色相」および「太さ」の属性を変更でき、横棒状のストロークのジェスチャでは「明度」および「彩度」の属性を変更できるようにしてもよい。あるいは同一のジェスチャであっても、属性変更対象として一度選択したストロークを、二度目に選択した場合に、上記のように、異なる属性を変更できるようにしてもよい。また、本実施の形態では、ストロークを構成する描画画素に対応付けた属性の例として、「色相」、「太さ」、「透過度」を挙げたが、描画画素の明るさを決定する「明度」の属性の情報を対応付けてもよい。あるいは、ストロークの描画画素および周囲画素の透過率を、ストロークの始端から終端まで所定数の描画画素ごとに、上記「透過度」の属性の情報で決定される透過率と、透過率100%との間で交互に設定する、「点線」の属性の情報を、ストロークを構成する描画画素に対応付けてもよい。
本実施の形態では、パレット60または70を用いてストロークの属性を変更したが、文字変換に利用してもよい。ジェスチャで囲んだ領域内のストロークを文字認識させて、キャラクタコードに基づく文字に変換してもよい。
また、属性変更処理のS32では、パレット60または70が消去され、ストローク40または50が画像表示領域30に再表示されることとしたが、S32では、ストローク40または50の再表示は行わなくともよい。S32は、S14で表示されたパレット内で、一度ペンダウンされた後に行われる処理である。ゆえに、S3でジェスチャとして認識されたストロークは、パレットを表示するために描画されたもの(つまり属性変更を行うことを意図したもの)とみなすことができる。よって、S31においてパレット外でのペンアップが検出されたら、属性変更自体の中止とみなすことができるので、S32では、ストロークの再表示を行わなくともよい。
また、S33でストロークの属性が変更された場合に限り、メイン処理に戻る前に、以降に描画されるストロークの属性が、あらかじめ、S33で変更された属性となるように、描画されるストロークの属性の設定を変更する処理を加えてもよい。あるいは、S33でストロークの属性が変更された場合に限り、メイン処理に戻る前に、RAM13の所定の記憶エリアに、S33で変更された「色相」および「太さ」の属性の情報を記憶する処理を加えてもよい。この場合、さらにS14でパレットを表示する際に、RAM13に、「色相」および「太さ」の属性の情報が記憶されていれば、パレット上でその属性の情報の該当する位置をユーザが認識しやすくなるように、例えば該当する位置の画素の周囲を黒色の画素(黒色は一例であり黒色に限るものではない)で囲んだり、該当する位置の画素を点滅させたりしてもよい。
また、S14でパレット60または70が画像表示領域30に表示される際に、S11で検出された属性変更対象のストローク47または57,58を、一時的に点滅表示させたり、一時的に異なる色合いで表示させたりしてもよい。あるいは、属性変更対象のストローク47または57,58の周囲を取り囲む円形や多角形の枠を表示させてもよい。このようにすれば、ユーザに、属性変更対象のストロークを認識させやすくすることができる。特に、矩形のパレット70が表示される場合や、環状のパレット60であっても、上記したように、画像表示領域30外にはみ出るため属性変更対象のストロークを取り囲むことができない場合に、有効である。
本実施の形態では、情報処理装置1が、本発明の「情報処理装置」に相当する。ディスプレイ3が、「表示画面」に相当する。タッチペン26が、「検出対象体」に相当する。ストローク47または57,58が、「画像情報」に相当する。タッチパネル16が、「検出手段」に相当する。パレット60または70が、「候補選択情報」に相当し、パレット60または70をジェスチャに対応付けて記憶するフラッシュメモリ20が「記憶手段」に相当する。S3の処理を行うCPU11が、「第1判断手段」に相当する。S11で、属性変更対象のストロークを検出する際に、ジェスチャとして識別されたストロークによって囲まれる領域を設定する処理を行うCPU11が、「領域設定手段」に相当する。S12の処理を行うCPU11が、「第2判断手段」に相当する。S14の処理を行うCPU11が、「候補表示手段」に相当する。S21の処理を行うCPU11が、「第1変更手段」に相当する。S22の処理を行うCPU11が、「計測手段」に相当する。S23の処理を行うCPU11が、「第2変更手段」に相当する。S19またはS32の処理を行うCPU11が、「変換手段」に相当する。
1 情報処理装置
3 ディスプレイ
11 CPU
16 タッチパネル
26 タッチペン
47,57,58 ストローク
60,70 パレット

Claims (7)

  1. 表示画面に表示した画像情報の属性を変更する処理を行う情報処理装置であって、
    前記表示画面上に設けられ、前記表示画面上で検出対象体が接触する接触位置を検出する検出手段と、
    前記検出手段により検出された前記検出対象体の接触位置に基づき、前記表示画面上における前記検出対象体の動作が、所定のパターンに対応する動作であるか否かを判断する第1判断手段と、
    前記第1判断手段により前記検出対象体の動作が前記所定のパターンに対応する動作であると判断された場合、前記接触位置に基づいて、前記表示画面上で前記検出対象体の動作がなされた部位に対応して前記画像情報の表示の有無を検出する対象となる領域を設定する領域設定手段と、
    前記領域設定手段により設定された領域に、前記画像情報が表示されているか否かを判断する第2判断手段と、
    前記領域設定手段により設定された領域に前記画像情報が表示されていると前記第2判断手段により判断された場合、前記表示画面に、前記画像情報の属性を変更するための候補選択情報を表示する候補表示手段と、
    前記候補表示手段により表示されている前記候補選択情報内で前記検出対象体により選択される候補に応じて、前記画像情報の属性を変更する第1変更手段と、
    を備えることを特徴とする情報処理装置。
  2. 前記所定のパターンと、前記所定のパターンごとに異なる形態の前記候補選択情報とを対応付けて記憶する記憶手段をさらに備え、
    前記候補表示手段は、前記記憶手段に基づいて、前記第1判断手段によって判断された前記検出対象体の動作のパターンに対応する前記候補選択情報を表示することを特徴とする請求項1に記載の情報処理装置。
  3. 前記候補表示手段は、前記画像情報の少なくとも2以上の属性を同時に変更可能な前記候補選択情報を表示することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記検出対象体によって前記候補選択情報内で同一の候補が選択された状態のまま維持される維持時間を計測する計測手段と、
    前記維持時間が所定時間以上経過した場合、前記画像情報の前記2以上の属性とは異なる他の属性を、時間の経過に伴い変更しながら前記画像情報に適用する第2変更手段と、
    をさらに備えることを特徴とする請求項3に記載の情報処理装置。
  5. 前記候補表示手段によって表示された前記候補選択情報内において前記検出対象体による候補の選択がなされなかった場合に、前記第1判断手段が所定のパターンに応じた動作であると判断した前記検出対象体によってなされた動作を、前記画像情報に変換する変換手段をさらに備えたことを特徴とする請求項1から4のいずれかに記載の情報処理装置。
  6. 検出対象体が接触する接触位置を検出する検出手段が設けられた表示画面に画像情報を表示するコンピュータにおいて実行され、前記表示画面に表示した前記画像情報の属性を変更する処理を行う情報処理方法であって、
    前記検出手段により検出された前記検出対象体の接触位置に基づき、前記表示画面上における前記検出対象体の動作が、所定のパターンに対応する動作であるか否かが判断される第1判断ステップと、
    前記第1判断ステップにおいて前記検出対象体の動作が前記所定のパターンに対応する動作であると判断された場合、前記接触位置に基づいて、前記表示画面上で前記検出対象体の動作がなされた部位に対応して前記画像情報の表示の有無を検出する対象となる領域が設定される領域設定ステップと、
    前記領域設定ステップにおいて設定された領域に、前記画像情報が表示されているか否かが判断される第2判断ステップと、
    前記領域設定ステップにおいて設定された領域に前記画像情報が表示されていると前記第2判断ステップにおいて判断された場合、前記表示画面に、前記画像情報の属性を変更するための候補選択情報が表示される候補表示ステップと、
    前記候補表示ステップにおいて表示されている前記候補選択情報内で前記検出対象体により選択される候補に応じて、前記画像情報の属性が変更される第1変更ステップと、
    を含む情報処理方法。
  7. 検出対象体が接触する接触位置を検出する検出手段が設けられた前記表示画面に表示した画像情報の属性を変更する処理を行う情報処理装置として機能させるためのプログラムであって、
    コンピュータに、
    前記検出手段により検出された前記検出対象体の接触位置に基づき、前記表示画面上における前記検出対象体の動作が、所定のパターンに対応する動作であるか否かが判断される第1判断ステップと、
    前記第1判断ステップにおいて前記検出対象体の動作が前記所定のパターンに対応する動作であると判断された場合、前記接触位置に基づいて、前記表示画面上で前記検出対象体の動作がなされた部位に対応して前記画像情報の表示の有無を検出する対象となる領域が設定される領域設定ステップと、
    前記領域設定ステップにおいて設定された領域に、前記画像情報が表示されているか否かが判断される第2判断ステップと、
    前記領域設定ステップにおいて設定された領域に前記画像情報が表示されていると前記第2判断ステップにおいて判断された場合、前記表示画面に、前記画像情報の属性を変更するための候補選択情報が表示される候補表示ステップと、
    前記候補表示ステップにおいて表示されている前記候補選択情報内で前記検出対象体により選択される候補に応じて、前記画像情報の属性が変更される第1変更ステップと、
    を実行させるプログラム。
JP2010157230A 2010-07-09 2010-07-09 情報処理装置、情報処理方法およびプログラム Pending JP2012018644A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010157230A JP2012018644A (ja) 2010-07-09 2010-07-09 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010157230A JP2012018644A (ja) 2010-07-09 2010-07-09 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2012018644A true JP2012018644A (ja) 2012-01-26

Family

ID=45603831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010157230A Pending JP2012018644A (ja) 2010-07-09 2010-07-09 情報処理装置、情報処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2012018644A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168927A (ja) * 2012-02-15 2013-08-29 Samsung Electronics Co Ltd 映像表示装置で字幕の属性を変更するための装置及び方法
WO2014147722A1 (ja) * 2013-03-18 2014-09-25 株式会社 東芝 電子機器、方法及びプログラム
WO2015005696A1 (en) * 2013-07-10 2015-01-15 Samsung Electronics Co., Ltd. Method and apparatus for applying graphic effect in electronic device
JP2015197795A (ja) * 2014-04-01 2015-11-09 日本電気株式会社 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム
JP2016110329A (ja) * 2014-12-04 2016-06-20 シャープ株式会社 表示入力装置および表示方法
JP2017016232A (ja) * 2015-06-29 2017-01-19 セイコーエプソン株式会社 表示装置および画像表示方法
JP2019125403A (ja) * 2019-05-10 2019-07-25 シャープ株式会社 表示入力装置および表示方法
KR20190139335A (ko) * 2015-06-10 2019-12-17 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
US11175780B2 (en) 2018-10-25 2021-11-16 Seiko Epson Corporation Display device, display method, and display system
WO2022176535A1 (ja) * 2021-02-17 2022-08-25 株式会社ワコム 色選択方法及び色選択装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168927A (ja) * 2012-02-15 2013-08-29 Samsung Electronics Co Ltd 映像表示装置で字幕の属性を変更するための装置及び方法
WO2014147722A1 (ja) * 2013-03-18 2014-09-25 株式会社 東芝 電子機器、方法及びプログラム
JPWO2014147722A1 (ja) * 2013-03-18 2017-02-16 株式会社東芝 電子機器、方法及びプログラム
US10134161B2 (en) 2013-07-10 2018-11-20 Samsung Electronics Co., Ltd. Method and apparatus for applying graphic effect in electronic device
WO2015005696A1 (en) * 2013-07-10 2015-01-15 Samsung Electronics Co., Ltd. Method and apparatus for applying graphic effect in electronic device
JP2015197795A (ja) * 2014-04-01 2015-11-09 日本電気株式会社 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム
JP2016110329A (ja) * 2014-12-04 2016-06-20 シャープ株式会社 表示入力装置および表示方法
KR102354955B1 (ko) * 2015-06-10 2022-02-08 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR20220013465A (ko) * 2015-06-10 2022-02-04 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR20190139335A (ko) * 2015-06-10 2019-12-17 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
US10678351B2 (en) 2015-06-10 2020-06-09 Apple Inc. Devices and methods for providing an indication as to whether a message is typed or drawn on an electronic device with a touch-sensitive display
KR102187943B1 (ko) * 2015-06-10 2020-12-07 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR20200138442A (ko) * 2015-06-10 2020-12-09 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
US11907446B2 (en) 2015-06-10 2024-02-20 Apple Inc. Devices and methods for creating calendar events based on hand-drawn inputs at an electronic device with a touch-sensitive display
KR102515009B1 (ko) * 2015-06-10 2023-03-29 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR20220074991A (ko) * 2015-06-10 2022-06-03 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR102402892B1 (ko) * 2015-06-10 2022-05-30 애플 인크. 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
JP2017016232A (ja) * 2015-06-29 2017-01-19 セイコーエプソン株式会社 表示装置および画像表示方法
US11175780B2 (en) 2018-10-25 2021-11-16 Seiko Epson Corporation Display device, display method, and display system
JP2019125403A (ja) * 2019-05-10 2019-07-25 シャープ株式会社 表示入力装置および表示方法
WO2022176535A1 (ja) * 2021-02-17 2022-08-25 株式会社ワコム 色選択方法及び色選択装置

Similar Documents

Publication Publication Date Title
JP2012018644A (ja) 情報処理装置、情報処理方法およびプログラム
CN104932809B (zh) 用于控制显示面板的装置和方法
US8669955B2 (en) Portable display device, method of controlling portable display device, program, and recording medium
RU2667047C2 (ru) Способ обеспечения тактильного эффекта в портативном терминале, машинно-считываемый носитель и портативный терминал
KR101229699B1 (ko) 애플리케이션 간의 콘텐츠 이동 방법 및 이를 실행하는 장치
JP5107453B1 (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
US9395823B2 (en) User terminal device and interaction method thereof
WO2015161653A1 (zh) 一种终端操作方法及终端设备
JP5811603B2 (ja) 情報処理端末および方法、プログラム、並びに記録媒体
CN110347317B (zh) 一种窗口切换方法、装置、存储介质及交互智能平板
US8866772B2 (en) Information processing terminal and method, program, and recording medium
US20150154444A1 (en) Electronic device and method
JP5713180B2 (ja) 検知領域がディスプレイの表示領域よりも小さくても同等時のように動作するタッチパネル装置
CN103793159A (zh) 一种移动终端及其设置显示区域和显示内容的方法
US9377944B2 (en) Information processing device, information processing method, and information processing program
JP5173001B2 (ja) 情報処理装置、画面表示方法、制御プログラムおよび記録媒体
CN108845752A (zh) 触控操作方法、装置、存储介质及电子设备
KR20140141305A (ko) 화면분할이 가능한 이동통신단말기 및 그 제어방법
CN109101179A (zh) 移动终端的触控方法、移动终端及计算机可读存储介质
WO2022068725A1 (zh) 导航手势的设置方法及装置、电子设备
US20110037731A1 (en) Electronic device and operating method thereof
JP2009098990A (ja) 表示装置
JP6437299B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
CN113485590A (zh) 触控操作方法及装置
CN104571844B (zh) 一种信息处理方法及电子设备