JP2014044561A - 押圧力に依存した描画像が生成可能なユーザインタフェース装置、方法及びプログラム - Google Patents

Abstract

【課題】指又は入力器具による入力操作に合わせて、描線の太さ等の描画像の幅が制御可能なユーザインタフェース装置を提供する。
【解決手段】本ユーザインタフェース装置は、描画像を画面に表示する画像表示部と、操作面における指又は入力器具の接触位置を検出する接触位置検出部とを備えた装置であって、操作面に接触した指又は入力器具によって付与される押圧力Ｐ_ｃを検出する押圧力検出部と、接触位置の時間変化から接触位置の移動速度Ｖ_ｃを決定する移動速度決定手段と、各時点で、検出された押圧力Ｐ_ｃと決定された移動速度Ｖ_ｃとに基づいて算出された（半径Ｒｍ等の）大きさを有する描画素領域Ｉｍを決定する描画素領域決定手段と、各時点で決定された描画素領域Ｉｍの連続から描画像を逐次生成し、この描画像を表示させる描画像形成手段とを有する。
【選択図】図６

Description

本発明は、指又は入力器具による入力操作によって描画像を生成する画像生成技術に関する。

従来、タッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、ＰＤＡ(Personal Digital Assistant)のようなユーザインタフェース装置、いわゆる携帯型情報機器では、指で、又はスタイラス等の入力器具を用いて手書き入力を行い、手書き文字データ又は描画データを作成できるものも多い。

例えば、手書きメモを作成して撮影した写真データに説明を添えたり、地図等の画像に道順や目的地等を示す描画情報を付加したり、更には、フリーハンドの線・文字を描画したりすることができる装置が、数多く上市されている。この手書き入力機能については、種々の応用が可能なこともあり、従来、様々な工夫がなされてきた。

例えば、特許文献１では、接触した指を移動させて指の軌跡として線を描画している中で、２つの端点を結ぶ線分を簡単に描画することのできる描画装置が開示されている。この装置では、２本の指を用いて、第１端点及び第２端点を決定し、これらの端点を結ぶ線分に対応した描画データを生成する。

また、特許文献２では、タブレット部に対する入力ペンの描画操作に応じて描画情報を取り込む手書き入力表示装置が開示されている。この装置では、描画情報に関連付けられたユーザＩＤと、入力された消去対象範囲とに応じて、描画情報が消去されるか否かが決定される。この際、消去対象範囲は、入力ペンによって閉曲線を描画することにより画定される。

さらに、特許文献３では、手書き文字又は図形の色を、手間を掛けずに変更可能な手書き入力装置が開示されている。この装置では、手書き入力された描画図形から単位図形を特定し、特定された単位図形の大きさに応じて単位図形の色を決定する。

特開２０１１−１００２５３号公報 特開２０１０−２３９４６９号公報 特開２０１１−２５３２２１号公報

しかしながら、上述したような従来技術を用いても、入力操作に合わせて、描線の太さ等の描画像の幅を制御することは困難であった。

実際の手書き、例えば鉛筆書きや書道での筆書き、又は絵画の作成、例えば絵筆やスプレーガン等を用いた描画、においては、描かれた線の太さは、筆の押し付け具合やスプレーガンのレバーの押し込み具合に応じて変化する。線を描く者は、通常、このような描線のための動作に応じて、描かれた線の太さが変化する感覚を保持する。従って、ユーザインタフェース装置を用いて描線を生成する際にも、ユーザがこれと類似のリアルな感覚を得ることが、操作性を向上させ、又は多様な表現を容易に実施する上で、非常に重要となる。

この点、例えば、特許文献１の技術では、第２の描画操作の開始時におけるタッピング数に応じて、描線の太さを選択することはできる。また、特許文献２の技術では、ボード脇に配置された描線幅調整ボタンを操作して描線の太さを決定する。しかしながら、このような操作時にユーザの得る感覚は、実際の手書き等の描線時に得る感覚とは大きく相違する。さらに、特許文献３の技術では、描画した単位図形の大きさに応じて、当該図形の色が決定されるのみである。即ち、描線の太さの調整は何ら言及されていない。

そこで、本発明は、指又は入力器具による入力操作に合わせて、描線の太さ等の描画像の幅が制御可能なユーザインタフェース装置、描画像生成プログラム及び方法を提供することを目的とする。

本発明によれば、描画像を画面に表示する画像表示部と、操作面における指又は入力器具の接触位置を検出する接触位置検出部とを備えたユーザインタフェース装置であって、
操作面に接触した指又は入力器具によって付与される押圧力を検出する押圧力検出部と、
接触位置の時間変化から接触位置の移動速度を決定する移動速度決定手段と、
各時点で、検出された押圧力と決定された移動速度とに基づいて算出された大きさを有する描画素領域を決定する描画素領域決定手段と、
各時点で決定された描画素領域の連続から描画像を逐次生成し、この描画像を表示させる描画像形成手段と
を有するユーザインタフェース装置が提供される。

この本発明によるユーザインタフェース装置によれば、描画素領域決定手段は、押圧力が大きいほどより大きく、移動速度が大きいほどより小さい描画素領域を決定することも好ましい。

また、本発明によるユーザインタフェース装置における一実施形態として、描画素領域決定手段は、移動速度が第１の速度閾値以下である際、時間経過とともに大きさが増加する描画素領域を決定することも好ましい。これにより、例えば「にじみ」に相当する描線（描画像）を生成することが可能となる。また、この実施形態において、描画素領域決定手段は、押圧力が大きいほど描画素領域の大きさの増加割合をより高くすることも好ましい。

さらに、「にじみ」に係る他の実施形態として、描画素領域決定手段は、各時点で、検出された押圧力と決定された移動速度と少なくとも１つの過去の時点において決定された描画素領域の大きさとに基づいてにじみパラメータを算出し、各時点で、検出された押圧力と決定された移動速度と算出されたにじみパラメータに基づいて算出された大きさを有する描画素領域を決定することも好ましい。

さらに、本発明によるユーザインタフェース装置における他の実施形態として、描画素領域決定手段は、移動速度が第２の速度閾値以上である際、「かすれ」の部分をなす描画素領域を決定し、
描画像形成手段は、決定された「かすれ」の部分をなす描画素領域からかすれを有する描画像を形成することも好ましい。

また、この「かすれ」に係る実施形態において、描画素領域決定手段は、押圧力が小さいほどかすれの程度がより高い描画素領域を決定することも好ましい。

さらにまた、本発明によるユーザインタフェース装置によれば、操作面に対して指又は入力器具をより強く押し付けるほど、また、操作面に接触させた指又は入力器具をより遅く移動させるほど、より太い描線が生成されることも好ましい。

本発明によれば、さらに、描画像を画面に表示する画像表示部と、操作面における指又は入力器具の接触位置を検出する接触位置検出部とを備えたユーザインタフェース装置に搭載された描画像生成プログラムであって、
このユーザインタフェース装置は、操作面に接触した指又は入力器具によって付与される押圧力を検出する押圧力検出部を更に備えており、
本描画像生成プログラムは、
接触位置の時間変化から接触位置の移動速度を決定する移動速度決定手段と、
各時点で、検出された押圧力と決定された移動速度とに基づいて算出された大きさを有する描画素領域を決定する描画素領域決定手段と、
各時点で決定された描画素領域の連続から描画像を逐次生成し、描画像を表示させる描画像形成手段と
してコンピュータを機能させる描画像生成プログラムが提供される。

本発明によれば、さらにまた、描画像を画面に表示する画像表示部と、操作面における指又は入力器具の接触位置を検出する接触位置検出部とを備えたユーザインタフェース装置における描画像生成方法であって、
操作面に接触した指又は入力器具によって付与される押圧力を検出する第１のステップと、
接触位置の時間変化から接触位置の移動速度を決定する第２のステップと、
各時点で、検出された押圧力と決定された移動速度とに基づいて算出された大きさを有する描画素領域を決定する第３のステップと、
各時点で決定された描画素領域の連続から描画像を逐次生成し、描画像を表示させる第４のステップと
を有する描画像生成方法が提供される。

本発明のユーザインタフェース装置、描画像生成プログラム及び方法によれば、指又は入力器具による入力操作に合わせて、描線の太さ等の描画像の幅を制御することができる。

本発明の携帯型情報機器における手書き入力操作を説明するための、携帯型情報機器の前面図及び描画像生成手順の概略図である。 本発明の携帯型情報機器における「払い」を含む手書き入力操作を説明するための、操作手順の概略図及びグラフである。 本発明の携帯型情報機器における「にじみ（止め）」を含む手書き入力操作を説明するための、操作手順の概略図及びグラフである。 本発明の携帯型情報機器における「かすれ」を含む手書き入力操作を説明するための、操作手順の概略図及びグラフである。 本発明に係る描画素領域に係る他の実施形態を示す、携帯型情報機器の前面図及び描画像生成手順の概略図である。 本発明による携帯型情報機器の一実施形態を概略的に示す斜視図及び機能構成図である。 本発明による描画像生成方法の一実施形態を示すフローチャートである。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

図１は、本発明の携帯型情報機器における手書き入力操作を説明するための、携帯型情報機器の前面図及び描画像生成手順の概略図である。

図１（Ａ）によれば、携帯型情報機器１は、操作面における指又は入力器具の接触位置を検出する接触位置検出部としてのタッチパネル１００と、指又は入力器具による入力操作によって描かれた描画像を画面に表示する画像表示部としてのディスプレイ１０１とを備えたユーザインタフェース装置である。ここで、操作面は、指又は入力器具が実際に接触して入力操作を実行する面であり、ディスプレイ１０１の画面上に合わせて又は該画面の表面として設定されている。

また、入力器具は、押し付けることによって操作面に押圧力Ｐ_ｃを付与可能な、スタイラス等の器具である。尚、以後の図を用いて説明される入力操作は、入力器具を用いずに指によって実行される。しかしながら、説明される全ての入力操作は入力器具によっても実行可能である。

携帯型情報機器１は、さらに、押圧力検出部１０２を備えている。押圧力検出部１０２はそれぞれ、操作面の対向する端辺近傍に設置されていて互いに対向しており、操作面に接触した指又は入力器具によって付与される押圧力Ｐ_ｃを検出する。

同じく図１（Ａ）によれば、携帯型情報機器１には、ユーザの指による入力操作によって描画された書道風の文字「春」が、表示されている。この描線の際、ユーザの指は、操作面に接触したまま、操作面を押し込みつつ（操作面に押圧力Ｐ_ｃを付与しつつ）スライドする。即ち、指の接触位置が移動する。この指の接触位置における移動の軌跡に応じて、描線（描画像）が生成・更新される。

描線の生成においては、最初に、指の接触位置、及びその指による押圧力Ｐｃがそれぞれ、タッチバネル１００及び押圧力検出部１０２によって、微小な一定時間Δｔ経過毎に検出・測定される。また、検出された接触位置の時間変化から接触位置の移動速度Ｖ_ｃが、例えば次式
（１−１） Ｖ_ｃ＝Ｌ（ｔ_ｉ）／Δｔ
を用いて決定される。ここで、Ｌ（ｔ_ｉ）は、時刻ｔ_ｉ−１（＝ｔ_ｉ−Δｔ）から時刻ｔ_ｉまでの間における接触位置の移動距離である。例えば、操作面にｘｙ座標系を適用して接触位置をｘ及びｙ座標の組（ｘ，ｙ）で表し、時刻ｔ_ｉ及びｔ_ｉ−１での接触位置をそれぞれ（ｘ_ｉ，ｙ_ｉ）及び（ｘ_ｉ−１，ｙ_ｉ−１）とすると、
（１−２） Ｌ（ｔ_ｉ）＝（（ｘ_ｉ−ｘ_ｉ−１）^２＋（ｙ_ｉ−ｙ_ｉ−１）^{２）０.５}
とすることができる。

次いで、Δｔ経過毎の各時点において、これらの検出された押圧力Ｐ_ｃ及び決定された移動速度Ｖ_ｃに基づいて算出された大きさ（サイズ）を有する、接触位置を含む描画素領域Ｉｍが決定される。描画素領域Ｉｍは、図１（Ａ）において接触位置を中心とした円内領域であるが、これに限定されるものではなく、描画素領域として多角形、楕円等種々の形状の領域が設定可能である。

この描画素領域Ｉｍの半径Ｒｍは、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃの関数、即ち、
（２） Ｒｍ＝ｆ（Ｐ_ｃ，Ｖ_ｃ）
として算出される。この際、半径Ｒｍは、押圧力Ｐ_ｃに関して（Ｐ_ｃの所定定義域において）単調増加関数であって、移動速度Ｖ_ｃに関して（Ｖ_ｃの所定定義域において）単調減少関数であることが好ましい。言い換えると、押圧力Ｐ_ｃが大きいほど、半径Ｒｍ（描画素領域Ｉｍ）はより大きく、移動速度Ｖ_ｃが大きいほど、半径Ｒｍ（描画素領域Ｉｍ）はより小さくなるように設定されることが好ましい。

次いで、図１（Ｂ）に示すように、これら各時点で決定された描画素領域Ｉｍの連続から、描線（描画像）が、逐次生成され、新たに決定された描画素領域Ｉｍを加える形で更新される。最終的な描線ＩＭＧは、指による描線を開始した最初の描画素領域Ｉｍ_１から、最後の描画素領域Ｉｍ_ｎまでの連続から生成される。本実施形態において、描線ＩＭＧは、描画素領域Ｉｍ_ｉ（ｉ＝１，２，・・・，ｎ）に外接する図形となる。

ここで、一定時間Δｔ経過毎に押圧力Ｐ_ｃ及び移動速度Ｖ_ｃに基づいて描画素領域Ｉｍを決定する場合、指の移動速度Ｖ_ｃが大きい範囲ほど、描画素領域Ｉｍ_ｉはより密集した状態で連続し、その範囲における指の移動方向に垂直な方向の幅（描線の太さ）も、より大きくなる。尚、描線ＩＭＧを生成する際、その時点までの描線内に完全に含まれる描画素領域Ｉｍ_ｉについては、その外接をとらないこととする。

このように描線ＩＭＧを生成・更新することによって、ユーザは、操作面に対して指又は入力器具をより強く押し付けるほど、また、操作面に接触させた指又は入力器具をより遅く移動させるほど、より太い描線（より幅のある描画像）ＩＭＧが生成される、というリアルな感覚を得ることができる。ここで、描画像の幅は、指の移動方向に垂直な方向に関する幅とする。

尚、描画素領域は、形状、濃淡、色彩等について種々の設定が可能であり、本実施形態に限定されるものではない。また、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃの関数とすべき、描画素領域の大きさ（サイズ）の指標も半径に限定されるものではなく、例えば、多角形の１辺の長さ、描画素領域の面積、描画素領域を構成するドット数等、種々の設定が可能である。

以上説明したように、携帯型情報機器１によれば、ユーザの指による入力操作、特に押圧力Ｐ_ｃでの押し込み及び移動速度Ｖ_ｃでのスライド、に合わせて、描線の太さ等の描画像の幅が制御可能となる。

図２は、携帯型情報機器１における「払い」を含む手書き入力操作を説明するための、操作手順の概略図及びグラフである。

図２によれば、携帯型情報機器１（図１（Ａ））で生成された書道風の文字「春」における、「払い（右払い）」の部分が生成される。図２の押圧力Ｐ_ｃ及び移動速度Ｖ_ｃのグラフに示したように、ユーザの指は、最初に、操作面に接触して操作面に対する押し込み（押圧力Ｐ_ｃ）を増加させつつ、増加する移動速度Ｖ_ｃをもって操作面上をスライドする。

ここで、押圧力Ｐ_ｃが、所定の押圧力閾値Ｐ_ｔｈ以上となった際、即ち次式
（３） Ｐ_ｃ≧Ｐ_ｔｈ
が満たされた際、描画素領域Ｉｍが決定されて、描線（「払い」の部分）の生成が開始される。この押圧力閾値Ｐ_ｔｈは、例えば、０.２〜２.０Ｎ（ニュートン）の範囲内の値に設定可能である。

また、生成される描線の太さは、各時点での描画素領域Ｉｍの半径Ｒｍの２倍（２・Ｒｍ）に相当し、例えば、次式
（４） ２・Ｒｍ＝Ｃ_１・Ｐ_ｃ ^ｐ／Ｖ_ｃ ^ｑ （Ｃ_１，ｐ，ｑは正の定数）
で表すことができる。式（４）においてｐ＝ｑ＝１の場合、描線の太さ（２・Ｒｍ）は、押圧力Ｐ_ｃに比例し、移動速度Ｖ_ｃに反比例することになる。尚、当然に、描線の太さは、式（４）の形に限定されるものではない。

図２によれば、描線の太さ（２・Ｒｍ）は、最初、押圧力Ｐ_ｃの増加による影響が移動速度Ｖ_ｃの増加による影響を上回ることによって、徐々に増加する。次いで、ユーザの指は、操作面に対する押し込み（押圧力Ｐ_ｃ）を尚増加させつつ、移動速度Ｖ_ｃを減少させて、「払い」の直前の段階に向かう。この際、描線の太さは、更に増大してピークを迎える（描線は最も太い部分をなす）。

その後、ユーザの指は、操作面に対する押し込み（押圧力Ｐ_ｃ）を緩めつつ（減少させつつ）、素早くスライドさせて指を操作面から離隔させる（移動速度Ｖ_ｃを増大させて接触位置を消滅させる）。この際、押圧力Ｐ_ｃは、上式（３）の条件を満たさなくなり、描画素領域Ｉｍが決定されず、結果として、描線の生成が終了する。

これにより、図２に示すような書道風の「払い（右払い）」に相当する、先細の描線が生成され、表示される。

以上説明したように、携帯型情報機器１によれば、ユーザの指による入力操作で描線の太さを制御することができる。その結果、例えば書道風の文字における「払い」に相当する描線を生成することができ、実際に筆等の筆記具で紙等の媒体に筆記又は描画する際と同様のリアルな操作感・感覚を得ることが可能となる。

図３は、携帯型情報機器１における「にじみ（止め）」を含む手書き入力操作を説明するための、操作手順の概略図及びグラフである。ここで、図３（Ａ）及び（Ｂ）はそれぞれ、異なる実施形態を示す。

最初に、図３（Ａ）に示した実施形態によれば、携帯型情報機器１（図１（Ａ））で生成された書道風の文字「春」における、「にじみ（止め）」の部分が生成される。図３（Ａ）の押圧力Ｐ_ｃ及び移動速度Ｖ_ｃのグラフに示したように、ユーザの指は、描線を生成させながら、操作面に対する押し込み（押圧力Ｐ_ｃ）を増加させ、一方で移動速度Ｖ_ｃを減少させて「止め」の位置で停止する（移動速度Ｖ_ｃをゼロにする）。

ここで、移動速度Ｖ_ｃが、所定の第１の速度閾値Ｖ_ｔｈ１以下となった際、即ち次式
（５） Ｖ_ｃ≦Ｖ_ｔｈ１
が満たされた際、時間経過とともに大きさが増加する描画素領域Ｉｍが決定されて、「にじみ（止め）」の生成が開始される。尚、Ｖ_ｔｈ１＝０に設定すれば、指が停止して（Ｖ_ｃ＝０となって）初めて、「にじみ」の生成が開始することとなる。

また、描画素領域Ｉｍは、例えば、次式
（６） Ｒｍ（ｔ）＝−Ｃ_２／（ｔ−ｔ_ｌ）＋Ｒ_ｌ （Ｃ_２は正の定数）
で表される半径Ｒｍ（ｔ）を有する。ここで、ｔ_ｌは調整パラメータであり、ｔ＝ｔ_ｓ（「にじみ（止め）」の開始時刻）の際、Ｒｍ（ｔ）が、その時点（直前）での描画素領域Ｉｍの半径Ｒｍに等しくなるように調整される。また、Ｒ_ｌは、半径Ｒｍ（ｔ）の上限（漸近値）である。尚、当然に、半径Ｒｍ（ｔ）は、式（６）に限定されるものではない。

図３（Ａ）によれば、半径Ｒｍ（ｔ）は、「にじみ」の開始時刻から、時間経過とともに増大する。即ち、描画素領域Ｉｍ（「にじみ」の領域）は、時間経過とともに膨張していく。

ここで、図３（Ａ）のグラフに示すように、描画素領域Ｉｍ（「にじみ」）の大きさは、指による押圧力Ｐ_ｃが大きいほどより高い増加割合で増加することも好ましい。これは、実際の手書きにおいて筆をより強く紙に押し付けるほど、にじみの程度が大きくなる感覚に合致する。具体的には、式（６）において、Ｃ_２を押圧力Ｐ_ｃの単調減少関数としてもよい。また、Ｒ_ｌを押圧力Ｐ_ｃの単調増加関数とすることも好ましい。

尚、「にじみ」を表す描画像を生成する際、その時点までの描画像内に完全に含まれる描画素領域Ｉｍについては、「にじみ」の描画像の考慮に入れないこととする。最後に、ユーザの指は、「止め」の位置での押し込みを止めて操作面から離隔する。これにより、押圧力Ｐ_ｃは、上式（３）の条件を満たさなくなり、描画素領域Ｉｍが決定されず、結果として、「にじみ」の描画像の生成が終了する。

一方、図３（Ｂ）に示した実施形態によっても、「にじみ（止め）」の部分を生成することができる。この実施形態では、ある時刻ｔ_ｉにおいて生成された描画素領域の半径Ｒｍ［ｔ＝ｔ_ｉ］は、押圧力Ｐ_ｃ、移動速度Ｖ_ｃ、及びにじみパラメータＮ_ｃの関数、即ち
（７） Ｒｍ［ｔ＝ｔ_ｉ］＝ｆｎ（Ｐ_ｃ、Ｖ_ｃ、Ｎ_ｃ）
として決定される。ここで、半径Ｒｍ［ｔ＝ｔ_ｉ］は、Ｐ_ｃが大きくなるほど、またＶ_ｃが小さくなるほど、さらにＮ_ｃが大きくなるほどより大きな値をとることが好ましい。このように本実施形態では、描画素領域の半径Ｒｍが、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃに基づくだけではなく、以下に説明するにじみパラメータＮ_ｃにも基づいて算出される。

にじみパラメータＮ_ｃは、描画素領域の半径Ｒｍにおける「にじみ」分の指標であり、押圧力Ｐ_ｃ、移動速度Ｖ_ｃ、及び1つ前の時点の半径Ｒｍ［ｔ＝ｔ_ｉ−Δｔ］の関数、即ち
（８） Ｎ_ｃ＝ｇｎ（Ｐ_ｃ、Ｖ_ｃ、Ｒｍ［ｔ＝ｔ_ｉ−Δｔ］）
として決定される。ここで、半径Ｒｍ［ｔ＝ｔ_ｉ−Δｔ］は、（現在時刻をｔ_ｉとして）直前に生成された描画素領域の半径である（Δｔ：描画素領域を生成する時間間隔）。

式（８）に示されるにじみパラメータＮ_ｃは、Ｐ_ｃが大きくなるほど、またＶ_ｃが小さくなるほどより大きな値をとることが好ましい。これは、例えば、毛筆等の筆を用いた描線の際、筆を紙に押し付けるほど、また筆の運びを緩やかにするほど、「にじみ」が大きくなる実際の感覚に合致する。さらに、にじみパラメータＮ_ｃは、Ｒｍ［ｔ＝ｔ_ｉ−Δｔ］が大きくなるほど、より小さな値をとることが好ましい。これは、描線が太くなるほど、そこからさらににじむ程度は小さくなる実際の感覚に合致する。

このにじみパラメータＮ_ｃを示す単純な式として、例えば、
（９） Ｎ_ｃ＝Ｃ_３・Ｐ_ｃ／（Ｖ_ｃ・Ｒｍ［ｔ＝ｔ_ｉ−Δｔ］） （Ｃ_３は正の定数）
とすることも可能である。

図３（Ｂ）のグラフに示したように、ユーザの指は、描線を生成させながら、操作面に対する押し込み（押圧力Ｐ_ｃ）を増加させ、一方で移動速度Ｖ_ｃを減少させて「止め」の位置で停止する（移動速度Ｖ_ｃをゼロにする）。次いで、その位置で押し込み（押圧力Ｐ_ｃ）をより増加させた後、操作面から離隔する。これに応じて、図３（Ｂ）のグラフに示すようなにじみパラメータＮ_ｃが生成される。

各時点においてこのように、Ｐ_ｃ、Ｖ_ｃ、及びＮ_ｃが決定し、これらの値から、式（７）を用いて各時点の描画素領域の半径Ｒｍが算出される。従って、本実施形態では、図３（Ａ）に示したような速度閾値を用いずとも、描線（描画像）において「にじみ」を表現することが可能となる。

尚、にじみパラメータＮ_ｃが依存する半径Ｒｍとしては、本実施形態におけるような１つ前の時点の半径Ｒｍ［ｔ＝ｔ_ｉ−Δｔ］に限定されるものではない。にじみパラメータＮ_ｃが1つ以上前の過去の時点で決定された半径Ｒｍに依存してもよい。さらに、にじみパラメータＮ_ｃが、過去の複数の時点での半径Ｒｍに依存して決定されることも可能である。これらの実施形態においても、現時点での描画素領域の半径Ｒｍは、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃに基づくだけではなく、過去に決定された半径Ｒｍを反映したにじみパラメータＮ_ｃにも基づいて算出されることになる。

以上説明したように、携帯型情報機器１によれば、ユーザの指による入力操作で描線の太さを制御することができる。その結果、例えば書道風の文字における「にじみ（止め）」に相当する描画像を生成することができ、実際に筆等の筆記具で紙等の媒体に筆記又は描画する際と同様のリアルな操作感・感覚を得ることが可能となる。

図４は、携帯型情報機器１における「かすれ」を含む手書き入力操作を説明するための、操作手順の概略図及びグラフである。

図４によれば、携帯型情報機器１（図１（Ａ））で生成された書道風の文字「春」における、「かすれ（左払い）」の部分が生成される。図４の押圧力Ｐ_ｃ及び移動速度Ｖ_ｃのグラフに示したように、ユーザの指は、最初に、操作面に接触して操作面を一気に押し込む（押圧力Ｐ_ｃを増大させる）。ここで、押圧力Ｐ_ｃが、所定の押圧力閾値Ｐ_ｔｈ以上となった際、上式（３）Ｐ_ｃ≧Ｐ_ｔｈが満たされた際、描画素領域Ｉｍが決定されて、描線（「左払い」の部分）の生成が開始される。

次いで、ユーザの指は、押圧力Ｐ_ｃを徐々に減少させつつ、増加する移動速度Ｖ_ｃをもって操作面上をスライドする。これによって生成される描線の太さは、各時点での描画素領域Ｉｍの半径Ｒｍの２倍（２・Ｒｍ）に相当し、例えば、上式（４）で表される。

同じく図４によれば、描線の太さ（２・Ｒｍ）は、押圧力Ｐ_ｃの減少及び移動速度Ｖ_ｃの増加によって減少する。次いで、ユーザの指は、操作面に対する押し込み（押圧力Ｐ_ｃ）を尚減少させつつ、移動速度Ｖ_ｃを更に増大させて、「かすれ」の段階に向かう。この際、描線の太さは更に減少する。

ここで、移動速度Ｖ_ｃが、所定の第２の速度閾値Ｖ_ｔｈ２以上となった際、即ち次式
（１０） Ｖ_ｃ≧Ｖ_ｔｈ２
が満たされた際、「かすれ」の部分をなす描画素領域Ｉｍが決定されて、「かすれ」の生成が開始される。この「かすれ」の部分をなす描画素領域Ｉｍは、図４に示すように、指の進行方向に伸長した描画されない部分である無描画帯Ｂｎを有することも好ましい。

ここで、この無描画帯Ｂｎの設定例として、最初に、移動速度Ｖ_ｃの単調増加関数（移動速度Ｖ_ｃが大きくなるほど大きくなる関数）であるかすれ度αを規定する。次いで、かすれ度αが大きくなるほどより幅の広い（面積の大きい）、又はより数の多い無描画帯Ｂｎを、描画素領域Ｉｍ内に設定する。このような描画素領域Ｉｍ（α）を各時点で決定することによって、「かすれ」を有する描線（描画像）を生成することができる。尚、描画素領域Ｉｍ（α）の太さ（２・Ｒｍ）は、図２で説明した描線と同じく、例えば上式（４）で決定されてもよい。

また、かすれ度αは、指による押圧力Ｐ_ｃが小さいほどより高くなるように設定されることも好ましい。これは、実際の手書きにおいて筆の紙への押し付けを緩めるほど、かすれの程度が大きくなる感覚に合致する。具体的には、かすれ度αを、押圧力Ｐ_ｃの単調減少関数としてもよい。

次いで、ユーザの指は、操作面に対する押し込み（押圧力Ｐ_ｃ）を更に緩めつつ（減少させつつ）、素早くスライドさせて指を操作面から離隔させる（移動速度Ｖ_ｃを増大させて接触位置を消滅させる）。この際、押圧力Ｐ_ｃは、上式（３）の条件を満たさなくなり、描画素領域Ｉｍ（α）が決定されず、結果として、描線の生成が終了する。

これにより、図４に示すような書道風の「かすれ」に相当する部分を有する、先細の描線が生成され、表示される。

以上説明したように、携帯型情報機器１によれば、ユーザの指による入力操作で描線の太さを制御することができる。その結果、例えば書道風の文字における「かすれ」に相当する描線を生成することができ、実際に筆等の筆記具で紙等の媒体に筆記又は描画する際と同様のリアルな操作感・感覚を得ることが可能となる。

図５は、本発明に係る描画素領域に係る他の実施形態を示す、携帯型情報機器１の前面図及び描画像生成手順の概略図である。

図５（Ａ）に示す実施形態では、ユーザの指が、操作面を押圧力Ｐ_ｃで押し込みつつ移動速度Ｖ_ｃをもって操作面上をスライドしている。これに伴い、指の接触位置の軌跡に、スプレー画風の描線が生成される。ここで、指の接触位置を検出する各時点で、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃとに基づいて算出された半径Ｒｍ’、即ち、
（１１） Ｒｍ’＝ｇ（Ｐ_ｃ，Ｖ_ｃ）
を有する描画素領域Ｉｍ’が決定される。この際、押圧力Ｐ_ｃが大きいほど、半径Ｒｍ’（描画素領域Ｉｍ’）はより大きく、移動速度Ｖ_ｃが大きいほど、半径Ｒｍ’（描画素領域Ｉｍ’）はより小さくなるように設定されることが好ましい。

ここで、描画素領域Ｉｍ’は、スプレーをある１点を中心に吹き付けた際の模様のように、所定の色が中心において最も濃く（所定の色の輝度が中心において最も高く）、周辺に行くほど淡くなる（低くなる）円領域となっている。次いで、各時点で決定されたこのような描画素領域Ｉｍ’の連続、即ち濃淡の重ね合わせから、スプレー画風の描線（描画像）が、逐次生成され、新たに決定された描画素領域Ｉｍ’を加える形で更新される。

また、スプレー画風の描線（半径Ｒｍ’）は、書道風の描線（半径Ｒｍ）と比べて、同じ押圧力Ｐ_ｃ値でもより太くなる（大きくなる）ように設定されてもよい。このように、上式（１１）及び上式（２）における、Ｐ_ｃ及びＶ_ｃについての関数形を工夫することによって、更には描画素領域の形状、所定の色の濃淡、色彩を選択することによって、スプレー画風、書道風、その他絵画風、マジック書き風等、様々な種類の描線（描画像）を生成することが可能となる。これは、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃに基づいて算出された大きさを有する描画素領域の連続から描画像を生成する、という機能構成を有する本発明における、１つの際だった特徴である。

さらに、図５（Ｂ）に示す実施形態では、描画素領域Ｉｍ_ｌは、指の移動方向に垂直に伸長する線分状である。描画素領域Ｉｍ_ｌの幅Ｗｍ_ｌは、次式
（１２） Ｗｍ_ｌ＝ｈ（Ｐ_ｃ，Ｖ_ｃ）
で示されるように、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃの関数となっている。この際、押圧力Ｐ_ｃが大きいほど、幅Ｗｍ_ｌはより広く、移動速度Ｖ_ｃが大きいほど、幅Ｗｍ_ｌはより狭くなるように設定されることが好ましい。

ここで、各時点で決定されたこのような描画素領域Ｉｍ_ｌの連続から、各位置での幅が幅Ｗｍ_ｌとなる描線（描画像）が、逐次生成され、新たに決定された描画素領域Ｉｍ_ｌを加える形で更新される。この場合、ユーザは、単純に、指でより強く押し込むほど、また、指をよりゆっくりスライドさせるほど、より太い描線を生成することができる。即ち、感覚的に操作に合致した描画像を表示させることができる。

図６は、本発明による携帯型情報機器の一実施形態を概略的に示す斜視図及び機能構成図である。

図６によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、押圧力検出部１０２と、プロセッサ・メモリとしての機能構成部とを備えている。ここで、機能構成部（プロセッサ・メモリ）は、携帯型情報機器１に搭載されたコンピュータを機能させるプログラムを実行することによって、その機能を実現する。

タッチパネル１００は、操作面における指又は入力器具の接触位置を検出する接触位置検出部である。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。

ディスプレイ１０１は、指又は入力器具による入力操作によって生成された描画像を画面に表示する画像表示部である。尚、タッチパネル１００とディスプレイ１０１とが一体化したタッチパネル・ディスプレイが、接触位置検出部及び画像表示部として使用されてもよい。

押圧力検出部１０２は、操作面に接触した指によって付与される押圧力Ｐ_ｃを検出する。図６では、２つの押圧力検出部１０２がそれぞれ、タッチパネル１００の対向する端辺近傍の直下に取り付けられている。操作面（タッチパネル１００）が指によって押し込まれた際、タッチパネル１００の対向する端辺も湾曲するように撓む。押圧力検出部１０２は、この撓みに追随して自らも撓み、その撓みに応じた（押圧力値に対応した）出力を行う。押圧力検出部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電センサとすることができる。但し、当然に、他の種類の圧力センサ素子を利用して押圧力検出部１０２とすることも可能である。

尚、押圧力検出部１０２を、触覚応答機構部として使用することも可能である。触覚応答機構部は、操作面（タッチパネル１００）に接触した指に対し、タッチパネル１００を振動させることによって触覚応答を与える素子である。例えば、描線が生成されている際、押圧力検出部（触覚応答機構部）１０２を圧電アクチュエータとして利用し、操作面に接触した指に対して、押圧力Ｐ_ｃの大きさに応じた振動を付与することができる。この場合、指で描線を描いているユーザは、指を通して、手書きの際に感じる感覚と類似した触覚を得ることができる。

同じく図６によれば、プロセッサ・メモリとしての機能構成部は、押圧力決定部１１０と、接触位置決定部１１１と、移動速度決定部１１２と、描画素領域決定部１１３と、描画像形成部１１４と、アプリケーション処理部１２０と、表示制御部１２１とを有する。

押圧力決定部１１０は、押圧力検出部１０２から出力された押圧力情報から押圧力Ｐ_ｃの値を決定する。また、この押圧力Ｐ_ｃ値が所定閾値Ｐ_ｔｈ以上であるか否かを判定する。次いで、この押圧力Ｐ_ｃ値情報及び判定結果を描画素領域決定部１１３に出力する。尚、押圧力決定部１１０は、押圧力検出部１０２から出力された押圧力情報を、複数の段階を有するデジタル値に変換し、描画素領域決定部１１３に、デジタル化された押圧力Ｐ_ｃ値情報を出力することも好ましい。

接触位置決定部１１１は、タッチパネル１００からの接触位置信号を入力し、この信号に基づいて接触位置を決定する。この接触位置は、例えば、操作面にｘｙ座標系を適用して、ｘ及びｙ座標の組（ｘ，ｙ）として決定されてもよい。接触位置決定部１１１は、次いで、決定された接触位置を、移動速度決定部１１２及び描画像形成部１１４に出力する。

移動速度決定部１１２は、接触位置決定部１１１から入力した接触位置を用い、各時点での接触位置の時間変化分から接触位置の移動速度Ｖ_ｃを決定する。次いで、決定された移動速度Ｖ_ｃ情報を描画素領域決定部１１３に出力する。

描画素領域決定部１１３は、各時点で入力された押圧力Ｐ_ｃ情報及び移動速度Ｖ_ｃ情報に基づいて、（半径Ｒｍ等の）描画素領域の大きさを規定するパラメ−タ値を算出し、算出された大きさ（パラメータ値）を有する描画素領域Ｉｍを決定する。次いで、決定された描画素領域Ｉｍ情報を逐次、描画像形成部１１４に出力する。

描画像形成部１１４は、各時点で決定された描画素領域Ｉｍの連続から描画像を逐次生成・更新し、この描画像を、ディスプレイ１０１に表示させるように表示制御部１２１に指示する。尚、描画素領域Ｉｍの生成位置は、接触位置決定部１１１からの接触位置情報によって決定される。

アプリケーション処理部１２０は、手書き入力を可能とするアプリケーションにおける設定に応じた描画素領域の形状、所定の色の濃淡、色彩等の情報を、描画素領域決定部１１３に出力する。また、描画像形成部１１４との間で情報の入出力を行い、生成された描画像についてのアプリケーション上での処理を実行する。また、この実行された処理に応じた表示を、表示制御部１２１に指示する。表示制御部１２１は、描画像形成部１１４及びアプリケーション処理部１２０からそれぞれ、描画像情報並びにアプリケーション処理情報を入力して、これらの情報に応じた画像（描画像）をディスプレイ１０１に表示させる。

図７は、本発明による描画像生成方法の一実施形態を示すフローチャートである。尚、本フローチャートは、指又は入力器具が操作面に接触してから最初に離隔するまでの間に生成される描画像の生成の手順を示す。即ち、書道での文字で例えれば、筆を紙に下ろしてから次いで最初に上げるまでに書かれた、左払い、右払い、一の字等の文字部分の描画手順となる。

（Ｓ６００）最初に、指又は入力器具の接触状態を測定する。
（Ｓ６０１）指又は入力器具が操作面（タッチパネル１００）に接触しているか否かを判定する。ここで、偽の判定、即ち指又は入力器具が接触していない、との判定がなされた際、ステップＳ６００に戻って接触の有無をモニタする。

（Ｓ６０２）一方、ステップＳ６０１で真の判定、即ち指又は入力器具が接触している、との判定がなされた際、接触位置Ｃ_０（の座標）を決定する。
（Ｓ６０３）描画像生成ループ（ステップＳ６０３〜Ｓ６１４）を開始する。初期条件としてループパラメータｉ＝１とし、ループ開始時刻をｔ_０とする。また、ループ継続条件として、指又は入力器具が接触していることとする。

（Ｓ６０４）時刻ｔ_ｉ＝ｔ_ｉ−１＋Δｔまでウェイトする。ここで、Δｔは、１ループで経過する時間であり、接触位置測定の時間間隔に相当する。
（Ｓ６０５）押圧力Ｐ_ｃｉを測定する。
（Ｓ６０６）押圧力Ｐ_ｃｉ値が所定閾値Ｐ_ｔｈ以上（Ｐ_ｃ≧Ｐ_ｔｈ）であるか否かを判定する。ここで、偽の判定、即ちＰ_ｃｉ＜Ｐ_ｔｈとの判定がなされた際、ステップＳ６１３に進んで次のループステップに向かう。

（Ｓ６０７）一方、ステップＳ６０６で真の判定、即ちＰ_ｃｉ≧Ｐ_ｔｈとの判定がなされた際、再び指又は入力器具の接触状態を測定する。
（Ｓ６０８）接触位置Ｃ_ｉ（の座標）を決定する。
（Ｓ６０９）接触位置Ｃ_ｉ及びＣ_ｉ−１から移動速度Ｖ_ｃｉを決定する。
（Ｓ６１０）移動速度Ｖ_ｃｉの大きさが（ａ）Ｖ_ｃｉ≦Ｖ_ｔｈ１、（ｂ）Ｖ_ｔｈ１＜Ｖ_ｃｉ＜Ｖ_ｔｈ２、（ｃ）Ｖ_ｔｈ２≦Ｖ_ｃｉのいずれを満たすか、を判定する。

（Ｓ６１１ａ）Ｖ_ｃｉが（ａ）Ｖ_ｃｉ≦Ｖ_ｔｈ１の条件を満たす場合、本条件を継続して満たしながら経過した時間Δｔ×ｊ（ｊ≦ｉ）と、押圧力Ｐ_ｃとに基づいて半径Ｒｍ_ｉ（ｔ）（大きさのパラメータ値）を算出し、この半径Ｒｍ_ｉ（ｔ）を有する、「にじみ」を生成する描画素領域Ｉｍ_ｉを決定する。
（Ｓ６１１ｂ）Ｖ_ｃｉが（ｂ）Ｖ_ｔｈ１＜Ｖ_ｃｉ＜Ｖ_ｔｈ２の条件を満たす場合、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃｉに基づいて半径Ｒｍ_ｉ（大きさのパラメータ値）を算出し、この半径Ｒｍ_ｉを有する描画素領域Ｉｍ_ｉを決定する。
（Ｓ６１１ｃ）Ｖ_ｃｉが（ｃ）Ｖ_ｔｈ２≦Ｖ_ｃｉの条件を満たす場合、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃｉに基づいて、かすれ度α、更には半径Ｒｍ_ｉ（α）（大きさのパラメータ値）を算出し、この半径Ｒｍ_ｉ（α）を有する、「かすれ」を生成する描画素領域Ｉｍ_ｉを決定する。

（Ｓ６１２）決定された描画素領域Ｉｍ_ｉを用いて描画像を生成・更新する。
（Ｓ６１３）ｉを１だけ増分させる。
（Ｓ６１４）ステップＳ６０３に戻って、描画像生成ループを繰り返す。本ループは、指又は入力器具が操作面に接触している間、継続される。一方、ステップＳ６０３で、指又は入力器具が操作面に接触していないと判定された場合、指又は入力器具が操作面から離隔し、一度の接触期間における描線（描画像）の生成が終了したとして、本フローチャートの手順が完了する。

以上説明されたように、本発明によれば、押圧力Ｐ_ｃでの押し込み及び移動速度Ｖ_ｃでのスライドに合わせて、描線の太さ等の描画像の幅が制御可能となる。これにより、ユーザは、実際に筆等の筆記具で紙等の媒体に筆記又は描画する際と同様のリアルな操作感・感覚を得ることができる。

また、押圧力Ｐ_ｃ及び移動速度Ｖ_ｃと描画素領域の大きさとの関係を工夫することによって、更には描画素領域の形状、濃淡、色彩を選択することによって、スプレー画風、書道風、その他絵画風、マジック書き風等、様々な種類の描線（描画像）を生成することが可能となる。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 携帯型情報機器（ユーザインタフェース装置）
１００ タッチパネル（接触位置検出部）
１０１ ディスプレイ（画像表示部）
１０２ 押圧力検出部
１１０ 押圧力決定部
１１１ 接触位置決定部
１１２ 移動速度決定部
１１３ 描画素領域決定部
１１４ 描画像形成部
１２０ アプリケーション処理部
１２１ 表示制御部

Claims (10)

1. 描画像を画面に表示する画像表示部と、操作面における指又は入力器具の接触位置を検出する接触位置検出部とを備えたユーザインタフェース装置であって、
   前記操作面に接触した指又は入力器具によって付与される押圧力を検出する押圧力検出部と、
   当該接触位置の時間変化から接触位置の移動速度を決定する移動速度決定手段と、
   各時点で、検出された当該押圧力と決定された当該移動速度とに基づいて算出された大きさを有する描画素領域を決定する描画素領域決定手段と、
   各時点で決定された当該描画素領域の連続から描画像を逐次生成し、当該描画像を表示させる描画像形成手段と
   を有することを特徴とするユーザインタフェース装置。
2. 前記描画素領域決定手段は、当該押圧力が大きいほどより大きく、当該移動速度が大きいほどより小さい描画素領域を決定することを特徴とする請求項１に記載のユーザインタフェース装置。
3. 前記描画素領域決定手段は、当該移動速度が第１の速度閾値以下である際、時間経過とともに大きさが増加する描画素領域を決定することを特徴とする請求項１又は２に記載のユーザインタフェース装置。
4. 前記描画素領域決定手段は、当該押圧力が大きいほど当該描画素領域の大きさの増加割合をより高くすることを特徴とする請求項３に記載のユーザインタフェース装置。
5. 前記描画素領域決定手段は、各時点で、検出された当該押圧力と決定された当該移動速度と少なくとも１つの過去の時点において決定された描画素領域の大きさとに基づいてにじみパラメータを算出し、各時点で、検出された当該押圧力と決定された当該移動速度と算出された当該にじみパラメータに基づいて算出された大きさを有する描画素領域を決定する
   ことを特徴とする請求項１又は２に記載のユーザインタフェース装置。
6. 前記描画素領域決定手段は、当該移動速度が第２の速度閾値以上である際、かすれの部分をなす描画素領域を決定し、
   前記描画像形成手段は、決定された当該かすれの部分をなす描画素領域からかすれを有する描画像を形成する
   ことを特徴とする請求項１から５のいずれか１項に記載のユーザインタフェース装置。
7. 前記描画素領域決定手段は、当該押圧力が小さいほどかすれの程度がより高い描画素領域を決定することを特徴とする請求項６に記載のユーザインタフェース装置。
8. 前記操作面に対して指又は入力器具をより強く押し付けるほど、また、前記操作面に接触させた指又は入力器具をより遅く移動させるほど、より太い描線が生成されることを特徴とする請求項１から７のいずれか１項に記載のユーザインタフェース装置。
9. 描画像を画面に表示する画像表示部と、操作面における指又は入力器具の接触位置を検出する接触位置検出部とを備えたユーザインタフェース装置に搭載された描画像生成プログラムであって、
   前記ユーザインタフェース装置は、前記操作面に接触した指又は入力器具によって付与される押圧力を検出する押圧力検出部を更に備えており、
   前記描画像生成プログラムは、
   当該接触位置の時間変化から接触位置の移動速度を決定する移動速度決定手段と、
   各時点で、検出された当該押圧力と決定された当該移動速度とに基づいて算出された大きさを有する描画素領域を決定する描画素領域決定手段と、
   各時点で決定された当該描画素領域の連続から描画像を逐次生成し、当該描画像を表示させる描画像形成手段と
   してコンピュータを機能させることを特徴とする描画像生成プログラム。
10. 描画像を画面に表示する画像表示部と、操作面における指又は入力器具の接触位置を検出する接触位置検出部とを備えたユーザインタフェース装置における描画像生成方法であって、
    前記操作面に接触した指又は入力器具によって付与される押圧力を検出する第１のステップと、
    当該接触位置の時間変化から接触位置の移動速度を決定する第２のステップと、
    各時点で、検出された当該押圧力と決定された当該移動速度とに基づいて算出された大きさを有する描画素領域を決定する第３のステップと、
    各時点で決定された当該描画素領域の連続から描画像を逐次生成し、当該描画像を表示させる第４のステップと
    を有することを特徴とする描画像生成方法。

Images