JP2015176558A - 情報処理装置およびコンピュータプログラム - Google Patents

情報処理装置およびコンピュータプログラム Download PDF

Info

Publication number
JP2015176558A
JP2015176558A JP2014054772A JP2014054772A JP2015176558A JP 2015176558 A JP2015176558 A JP 2015176558A JP 2014054772 A JP2014054772 A JP 2014054772A JP 2014054772 A JP2014054772 A JP 2014054772A JP 2015176558 A JP2015176558 A JP 2015176558A
Authority
JP
Japan
Prior art keywords
image
display
magnification
image object
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014054772A
Other languages
English (en)
Other versions
JP6146350B2 (ja
Inventor
朋子 梶本
Tomoko Kajimoto
朋子 梶本
博樹 衛藤
Hiroki Eto
博樹 衛藤
槻館 良太
Ryota Tsukidate
良太 槻館
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014054772A priority Critical patent/JP6146350B2/ja
Priority to US14/658,550 priority patent/US20150268828A1/en
Publication of JP2015176558A publication Critical patent/JP2015176558A/ja
Application granted granted Critical
Publication of JP6146350B2 publication Critical patent/JP6146350B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

【課題】画像の拡大・縮小表示機能に関して、使用者が操作しやすいユーザ・インタフェースを提供する。
【解決手段】情報処理装置は、画像を表示する表示装置と、ユーザ操作を受け付けるユーザ・インタフェースと、ユーザ・インタフェースへのユーザ操作を検出する検出回路と、ユーザ操作として画像の表示倍率の変更操作を受け付けたときは、受け付けた表示倍率で画像を表示装置に表示させ、ユーザ操作として描画操作を受け付けたときは、描画操作に応じた画像オブジェクトを表示装置に表示させる処理回路とを備えている。処理回路は、表示倍率に依存しない太さ、またはサイズで、かつ画像と画像オブジェクトとの相対的な位置関係を維持して、表示装置上に画像オブジェクトを表示させる。
【選択図】図8

Description

本開示は、画像の拡大縮小表示機能を有する情報処理装置に入力を行うためのユーザ・インタフェース技術に関する。
特許文献1は、電子絵画装置を開示する。電子絵画装置は、ライトペンと、ディスプレイ装置とを有している。電子絵画装置は、使用者からライトペンの色や線の太さの選択を受け付ける。使用者は、ライトペンを用いてディスプレイ装置のブラウン管上にカラーの絵を描くことができる。
特開昭58−10260号公報
電子的な描画を可能にする装置の中には、画像の拡大・縮小表示機能を有するものが存在する。画像の拡大・縮小表示を利用するにあたり、使用者が操作しやすいユーザ・インタフェースが必要とされている。
本開示における情報処理装置は、画像を表示する表示装置と、ユーザによる操作を受け付けるユーザ・インタフェースと、ユーザによる、ユーザ・インタフェースへの操作を検出する検出回路と、操作として画像の表示倍率の変更操作を受け付けたときは、受け付けた表示倍率で画像を表示装置に表示させ、操作として描画操作を受け付けたときは、描画操作に応じた画像オブジェクトを表示装置に表示させる処理回路とを備えている。処理回路は、表示倍率に依存しない太さまたはサイズで、かつ画像と画像オブジェクトとの相対的な位置関係を維持して、表示装置上に画像オブジェクトを表示させる。
本開示における情報処理装置によれば、画像の拡大・縮小表示機能に関して、使用者が操作しやすいユーザ・インタフェースを提供することができる。
本開示による情報処理システム100の構成を示す図である。 タブレット端末10aのハードウェア構成を示す図である。 タブレット端末10aにおける画像の表示例を示す図である。 図3Aに示される映像の拡大表示例を示す図である。 倍率調整パネル35の例を示す図である。 タブレット端末10aに表示された日本地図の映像、および倍率調整パネル35を示す図である。 表示倍率調整パネル35を用いたユーザによる表示倍率の変更操作により、図5に示す日本地図が300%に拡大されたときの表示例を示す図である。 通常モードによる画像オブジェクト70の書き込み例を示す図である。 アノテーションモードによる画像オブジェクト70の書き込み例を示す図である。 アノテーションモードでの書き込み処理の手順を示すフローチャートである。 画像オブジェクトの存在を通知するアイコン92の表示例を示す図である。 アノテーションモードでの書き込み後の表示倍率変更処理の手順を示すフローチャートである。 複数の画像オブジェクトの存在を通知する複数のアイコン92、および各画像オブジェクトのサムネイル画像93−1〜93−4が表示されたサムネイル画像表示領域93の例を示す図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
以下、図1〜12を参照しながら、本開示による情報処理装置の実施の形態を説明する。本明細書においては、情報処理装置をタブレット端末として説明する。
[1−1.構成]
図1は、本実施形態による情報処理システム100の構成を示す。情報処理システム100は、タブレット端末10aと、スタイラスペン10bとを備える。ユーザはスタイラスペン10bを利用してタブレット端末10aにタッチ操作を行い、タブレット端末10aを動作させる。
タブレット端末10aは、タッチパネル11と、表示パネル12と、筐体13とを備える。
タッチパネル11は、ユーザのタッチ操作を受け付けるユーザ・インタフェースである。タッチパネル11は、少なくとも操作領域をカバーする広さで、表示パネル12に重畳して配置されている。
本実施形態においては、ユーザがスタイラスペン10bを用いてタッチ操作を行う例を説明する。なお、本実施形態では、タッチパネル11および表示パネル12は別体であるとして説明するが、これらは一体的に形成されていてもよい。後述する図2には、タッチパネル11および表示パネル12の機能を包含するタッチスクリーンパネル14が示されている。なお、タッチスクリーンパネル14は、別体であるタッチパネル11および表示パネル12を重畳して形成される構成のほか、表示パネルの構造部品の中にセルに、タッチセンサー用の配線を設けた、いわゆるインセル方式の構成も含む。
表示パネル12は、いわゆる表示装置である。表示パネル12は、後述するグラフィックコントローラ22によって処理された画像データに基づいて画像を表示する。表示パネル12は、文字、数字等のテキストデータや、図形を表示可能である。本願明細書では、これらを包括的に「画像オブジェクト」と呼ぶことがある。画像オブジェクトは、ユーザが手書きによって描いた線図であってもよいし、予め用意された図形(直線、曲線等の線図を含む)、画像であってもよい。
本実施形態においては、表示パネル12は、32インチまたは20インチの液晶パネルであり、その画面解像度は、3840x2560ドットであるとする。
表示パネル12として、液晶パネルの他、例えば、有機ELパネル、電子ペーパ、プラズマパネルなどの公知の表示装置を用いることができる。なお、表示パネル12は、電源回路、駆動回路、およびパネルの種類によっては光源を含んでもよい。
筐体13は、タッチパネル11および表示部12を収納する。筐体13には電源ボタンや、スピーカ等がさらに設けられてもよいが、図1では記載は省略している。
スタイラスペン10bは、ポインティングデバイスの一種である。ユーザは、スタイラスペン10bの先端部15をタッチパネル11に当接させることにより、タッチ操作を行う。スタイラスペン10bの先端部15は、タブレット端末10aのタッチパネル11におけるタッチ操作の検出方式に対応した材料で形成されている。本実施形態では、タッチパネル11は静電容量方式でタッチ操作を検出するため、スタイラスペン10bの先端部15は、導電性の金属繊維、または導電性のシリコンゴム等で形成されている。
図2は、タブレット端末10aのハードウェア構成を示す。
タブレット端末10aは、タッチパネル11と、表示パネル12と、マイクロコンピュータ20と、タッチ操作検出回路21と、グラフィックコントローラ22と、RAM23と、ストレージ24と、通信回路25と、スピーカ26と、バス27を備える。
タッチパネル11およびタッチ操作検出回路(以下「検出回路」と記述する。)21は、たとえば投影型静電容量方式でユーザのタッチ操作を検出する。
タッチパネル11は、ユーザが操作する側から順に、ガラスやプラスチックなどの絶縁体フィルム層、電極層、演算処理を行う検出回路21を搭載した基板層の順に構成されている。電極層には、X軸(たとえば横軸)とY軸(たとえば縦軸)に透明電極がマトリクス状に配置されている。なお、各電極は表示パネル12の各画素より小さい密度で配置されていてもよいし、各画素と概ね同等の密度で配置されていてもよい。本実施形態では前者の構成を採用しているとして説明する。
タッチパネル11として、例えば、静電式、抵抗膜式、光学式、超音波方式、電磁式などのタッチパネルを用いることもできる。
検出回路21は、X軸、およびY軸のマトリックスを順次スキャンする。そして、静電容量の変化を検出すると、検出回路21はその位置にタッチ操作が行われたことを検出し、表示パネル12の各画素と同等以上の密度(解像度)で座標情報を生成する。検出回路21は、同時に複数箇所のタッチ操作を検出することが可能である。検出回路21は、タッチ操作に起因して検出された一連の座標データを継続的に出力している。この座標データは、後述するマイクロコンピュータ20によって受け取られ、種々のタッチ操作(タップ、ドラッグ、フリック、スワイプなど)として検出される。なお、そのようなタッチ操作を検出する機能は、一般にはタブレット端末10aを動作させているオペレーティング・システムの機能として実現される。
マイクロコンピュータ20は、検出回路21から受け取ったユーザのタッチ位置の情報を用いて後述する各種の処理を行う処理回路(たとえばCPU)である。
グラフィックコントローラ22は、マイクロコンピュータ20によって生成される制御信号に基づいて動作する。グラフィックコントローラ22は、表示パネル12に表示される画像データを生成し、表示パネル12の表示動作を制御する。
RAM23は、いわゆるワークメモリである。RAM23には、マイクロコンピュータ20によって実行される、タブレット端末10aを動作させるためのコンピュータプログラムが展開される。
このコンピュータプログラムには、たとえば後述する図9や図11に対応する処理の手順が記載されている。ただし、本明細書に記載されてはいるが図示されていない処理であっても、コンピュータプログラムによる処理として規定され得る。
ストレージ24は、たとえばフラッシュメモリである。ストレージ24には、表示に利用される画像データ24a、上述のコンピュータプログラム24bが格納されている。本実施形態において、画像データ24aは、設計図のような静止画像のデータ、後述する建築物のバーチャルツアーを可能にするための三次元動画像データを含む。
通信回路25は、例えばインターネットや、パーソナルコンピュータ等への通信を可能とする回路である。通信回路25は、たとえば、Wi−Fi規格、および/またはBluetooth(登録商標)規格に準拠した無線通信回路である。
スピーカ26は、マイクロコンピュータ20が生成した音声信号に基づく音声を出力する。
バス27は、タッチパネル11および表示パネル12を除く、上述した構成要素を相互に接続し、信号の授受を可能にするための信号線である。
上述の通り、本開示においては、ユーザがスタイラスペン10bを用いてタッチ操作を行う例を説明する。しかしながら、スタイラスペン10bを用いたタッチ操作は必須ではない。後述する操作、具体的には、表示パネル12に表示されている画像の表示倍率の変更操作、および表示パネル12への画像オブジェクトの表示操作、を行うことが可能であれば、その手段は問わない。たとえば、ユーザが自らの指を用いて操作を行ってもよいし、ポインティングデバイスであるマウスを利用して操作を行ってもよい。前者の例ではタッチパネル11がユーザの指の接触を検出するためのユーザ・インタフェースとして機能する。後者の例では、マウスと接続される端子、および/または当該端子に入力された信号を解釈する回路がユーザ・インタフェースとして機能する。
図3Aは、タブレット端末10aにおける画像の表示例を示す。図3Aには地図に関する画像の表示例が示されている。表示された画像は種々の画像オブジェクトを含む。たとえば、図3Aの例には、建築物の平面図の画像オブジェクト30、区画された敷地に関する画像オブジェクト31、道路上の設置物32が示されている。
さらに図3Aには、倍率調整パネル35が示されている。ユーザは、スタイラスペン10bの先端部15で倍率調整パネル35に触れ、表示倍率を調整する。これにより表示されている画像を拡大または縮小することができる。
なお、本明細書における「画像オブジェクト」とは、いわゆるコンテンツである表示対象の画像を構成する要素を意味する。コンテンツを構成しない倍率調整パネル35は、画像オブジェクトには含まれない。ただし一般的にはコンテンツに該当すると考えられる要素であっても、本開示の画像オブジェクトに含まれない場合もある。後述するように、本開示では画像と画像オブジェクトとの相対的な位置関係が保持された状態で拡大または縮小が行われる。このとき、拡大または縮小の対象とならない表示要素(単に重畳されたサムネイル画像等)は、本開示における「画像オブジェクト」には該当しない。本開示では、たとえばユーザが書き込んだ要素は画像オブジェクトに含まれ得る。画像と画像オブジェクトとの相対的な位置関係が保持された状態で拡大または縮小が行われるからである。
また、本明細書において、画像を「拡大する」とは、画像を広げて大きく表示することを意味し、画像を「縮小する」とは、画像をちぢめて小さくすることを意味する。ユーザにとって、画像が大きく表示され、または小さく表示される限り、実現するための具体的な手段は問わない。たとえば、ベクタ形式の画像を用意しておき、ユーザによって倍率が選択されたときにマイクロコンピュータ20またはグラフィックコントローラ22が計算を行い、その倍率に対応する解像度の画像に変更して表示してもよい。あるいは、複数の部分画像(タイル画像)で構成された画像を、離散的に設定された倍率ごとに用意してもよい。選択された倍率に直接対応する画像が用意されていない場合には、マイクロコンピュータ20またはグラフィックコントローラ22が、その前後の倍率のタイル画像を用いて画像補完処理を行い、選択された倍率に対応する画像を生成すればよい。他の方法を用いて画像を拡大し、または縮小してもよい。
図3Bは、図3Aに示される映像の拡大表示例を示す。図3Aの表示倍率を100%(等倍)としたとき、図3Bに表示された例では表示倍率が150%に設定されている。その結果、図3Bには、建築物の平面図の映像オブジェクト30のみが示されている。
図4は、倍率調整パネル35の例を示す。倍率調整パネル35は、表示倍率指定フィールド40、スライダ41、縮小ボタン42a、および拡大ボタン42bを有する。ユーザは、スタイラスペン10bの先端部15でこれらいずれかに触れて、拡大・縮小倍率を調整する。なお、スライダ41の中央値が拡大率100%に対応するとして説明して いる。
[1−2.動作]
次に、図5〜図12を参照しながら、タブレット端末10aの動作を説明する。
1.書き込み処理
図5は、タブレット端末10aに表示された日本地図の映像、および倍率調整パネル35を示す。倍率は100%(等倍)であり、線の太さはユーザの指定に基づいて5ポイントに設定されているとする。ユーザがスタイラスペン10bを用いて日本地図の一部を囲むようになぞると、マイクロコンピュータ20は、グラフィックコントローラ22に指示して、表示パネル20上に、設定された5ポイントの太さでその軌跡50を描画させる。
次に、ユーザがさらに他の位置を特定するため、日本地図を拡大して描画を継続する例を考える。
図6は、表示倍率調整パネル35を用いたユーザによる表示倍率の変更操作により、図5に示す日本地図が300%に拡大されたときの表示例を示す。マイクロコンピュータ20は、グラフィックコントローラ22に指示して、日本地図のみならず、図5に表示されていた軌跡50もまた、同じ倍率で拡大させる。図6には拡大された軌跡60が示されている。もとの軌跡50は5ポイントの太さで描画されていたため、軌跡60は15ポイント相当の太さで表示されていることになる。
次に、図6に表示された日本地図に、ユーザがさらに他の位置を示す書き込みを行う例を考える。本開示によるタブレット端末10aは、書き込み処理に関して少なくとも2つのモードを有している。すなわち、「通常モード」と「アノテーションモード」である。タブレット端末10aはユーザの選択により、または端末の処理に応じて、マイクロコンピュータ20は、「通常モード」と「アノテーションモード」とを任意に切り替えて動作してもよい。なお、タブレット端末10aは「アノテーションモード」のみを備えていてもよい。
以下では、通常モードに関して図7を参照しながら説明する。アノテーションモードに関しては図8および図9を参照しながら説明する。
1.1.通常モードによる書き込み処理
図7は、通常モードによる画像オブジェクト70の書き込み例を示す。いま、ユーザがスタイラスペン10bを用いて、図面左側の九州地方の一部(たとえば島原半島)を囲むようになぞる操作を考える。マイクロコンピュータ20はその描画操作を受け付けてグラフィックコントローラ22に指示し、その操作に対応する軌跡70を表示パネル20に表示させる。
ここで留意すべきは、300%に拡大された映像に書き込みを行うと、軌跡60と同じ15ポイント相当の太さで軌跡70が表示される、ということである。視認性は高まると言える一方で、一部の地域を囲むという細かな作業を行うことは比較的困難であると考えられる。そのような緻密な作業を行いたい場合には、アノテーションモードによる書き込み処理が有用である。
1.2.アノテーションモードによる書き込み処理
図8は、アノテーションモードによる画像オブジェクト70の書き込み例を示す。アノテーションモードでは、マイクロコンピュータ20は、表示倍率に依存しない太さ、またはサイズで、表示パネル20上に画像オブジェクトを表示させる。たとえば本実施の形態においては、マイクロコンピュータ20は、拡大前の倍率(拡大率100%)におけるペンの太さである5ポイントに相当する太さで、画像オブジェクトである軌跡80を表示パネル上に表示させる。図8に示される軌跡80の太さは、図5に示す軌跡50の太さと同じであることが理解される。図7の軌跡70と比較してより細いため、アノテーションモードは、より緻密な書き込み作業を行う必要がある場合には非常に有用な書き込みモードであると言える。
図9は、アノテーションモードでの書き込み処理の手順を示すフローチャートである。
ステップS1において、マイクロコンピュータ20は、ユーザから、描画ペンの太さの選択を受け付ける。描画ペンとは、スタイラスペン10bを用いた書き込みを行う際の、表示パネル12上に表示される仮想的なペンである。典型的には、表示パネル12上に描画ペンの太さ、描画時の色、線の種類を反映したカーソルまたはマークが表示される。物理的なスタイラスペン10bの先端の細さは不変であるが、種々の太さ、色、線種を有する描画ペンをユーザが選択し、スタイラスペン10bを用いて操作することにより、自由度の高い描画が可能になる。なお、スタイラスペン10bと描画ペンとは対応関係があるため、特に区別して用語を使い分けなくても、意図や対象は明確であると考えられる。そこで以下では、単に「ペン」と記述することにする。
ステップS2において、マイクロコンピュータ20は、ペンの太さに対応するパラメータαを設定する。たとえば、ユーザがペンの太さとして5ポイントを指定した場合にはパラメータα=5と設定すればよい。
ステップS3において、マイクロコンピュータ20は、ユーザによる表示倍率変更操作を受け付ける。たとえばユーザは、表示倍率調整パネル35を利用して、100%であった表示倍率をN%に変更する。
ステップS4において、マイクロコンピュータ20は、ユーザによる表示倍率の変更操作に応答して、変更後の表示倍率で画像を表示するよう、グラフィックコントローラ22に指示する。その指示を受けてグラフィックコントローラ22は、表示パネル12上に、N/100倍に拡大した画像を表示する。
ステップS5において、マイクロコンピュータ20は、パラメータをαからβに変更する。ここでβは、β=α/(N/100)によって得られる値である。この処理は、N/100倍に拡大された画像上で、線の太さを1/(N/100)倍する処理に対応する。この処理により、表示倍率変更前のペンの太さと絶対的に同じ太さで、N/100倍に拡大された画像上に線を描くことができる。
ステップS6において、マイクロコンピュータ20は、ペンを用いた書き込み操作に応答して、グラフィックコントローラ22に指示を送る。グラフィックコントローラ22は、書き込まれた結果である画像オブジェクトを、表示倍率N%の画像上でパラメータβに対応するペンの太さで表示する。その結果、図8に示す軌跡80が描かれる。
上述の例では、表示倍率の変化を相殺するパラメータβを利用して、表示倍率変更前後においてペンの太さを同一にしたが、この方法は一例である。たとえば、画像と画像オブジェクトとを表示するレイヤを分け、画像オブジェクトを表示するレイヤに関しては、表示倍率変更前後で解像度を変化させずに一定とする。この方法によれば、画像の表示倍率の変化に依存しない、画像オブジェクトの線図の太さ、またはサイズを実現できる。
以上のとおり、アノテーションモードでの書き込み処理によれば、変更後の表示倍率に依存することなく、線図の太さ、またはサイズを一定にして画像オブジェクトを描画することが可能になる。
2.書き込み後の表示倍率変更処理
次に、画像オブジェクトが書き込まれた後で、表示倍率が変更された場合の動作を説明する。
まず、通常モードで画像オブジェクト(図7の軌跡70)の書き込みが行われ、その後、表示倍率変更処理が行われた場合には、画像と同じ倍率で、その画像オブジェクトを拡大または縮小すればよい。画像および画像オブジェクトを同じ表示倍率に変更する処理は非常に明確であるため、フローチャートを利用した説明は省略する。
次に、アノテーションモードでの書き込みが行われた後の表示倍率変更処理を説明する。
アノテーションモードで画像オブジェクト(図8の軌跡80)が書き込まれた後、表示倍率が、たとえば300%から100%に縮小された場合を考える。通常モードと同様に画像および画像オブジェクトを縮小すると、軌跡70(図7)よりも細い軌跡80は、縮小されて非常に細くなる。縮小率によっては、視認が困難になる可能性もある。
そこで、本開示では、縮小処理によって所定の細さ、またはサイズ以下になった画像オブジェクトの存在を通知することとした。
図10は、画像オブジェクトの存在を通知するアイコン92の表示例を示す。軌跡90は、図8の軌跡80に対応する画像オブジェクトであり、表示倍率変更処理によって視認が困難な細さにまで縮小されている。本開示では、画像オブジェクト(軌跡90)の存在を通知するアイコン92が表示される。アイコン92のみを画像オブジェクトの近傍に表示してもよいし、図10のように、アイコン92に加えて引出線を付加してもよい。通知により、ユーザは、どの位置に画像オブジェクトが存在するかがより的確に判断できるようになる。
図11は、アノテーションモードでの書き込み後の表示倍率変更処理の手順を示すフローチャートである。
ステップS11において、マイクロコンピュータ20は、ユーザによる表示倍率変更操作を受け付ける。たとえばユーザは、表示倍率調整パネル35を利用して、N%であった表示倍率をM%に変更する。ここではN>Mを想定している。
ステップS12において、マイクロコンピュータ20は、表示倍率の変更操作に応答して、グラフィックコントローラ22に指示を送る。グラフィックコントローラ22は、変更後の表示倍率で、画像および画像オブジェクト(軌跡)を表示する。この例では、N%からM%に変更されたとする。
ステップS13において、マイクロコンピュータ20は、表示倍率変更後の軌跡の太さが所定値以下か否かを判断する。所定値以下の場合には処理はステップS14に進み、そうでない場合には処理は終了する。所定値は、たとえば人間の視覚の解像度によって決定すればよい。この場合には、人間の目の解像度と表示パネル12の解像度との関係も考慮することが好ましい。
または、背景の色と画像オブジェクトの色との関係を考慮して動的に所定値を決定してもよい。たとえば背景の色と画像オブジェクトの色とが補色の関係にあれば、基準値Tよりも小さい値(Tーk)を所定値とすればよい。一方、背景の色と画像オブジェクトの色とが補色の関係になければ、基準値Tよりも大きい値(T+k)を所定値とすればよい。
ステップS14において、マイクロコンピュータ20は、グラフィックコントローラ22に指示を送り、軌跡の存在を示す通知としてアイコン92を表示させ、処理を終了する。
なお、上述の例では、表示パネル12上に通知としてアイコン92を表示すると説明したが、これは一例に過ぎない。ユーザが画像オブジェクトの存在を認識し得るような通知の態様は種々考えられる。たとえば、軌跡90を含む所定範囲の領域を反転させ点滅させてもよいし、軌跡90が存在する領域にスタイラスペン10bまたは指を接触させたときに筐体13を振動させ、筐体13上に設けられた発光部(図示せず)を発光させ、あるいはスピーカ26(図2)から音を出力してもよい。通知は、振動、光、および音の少なくとも一つを利用して提示され得る。
[1−3.効果等]
以上のように、本実施の形態にかかるタブレット端末10aは、画像を表示する表示パネル12と、ユーザによる操作を受け付けるタッチパネル11と、ユーザによる、タッチパネル11への操作を検出するタッチ操作検出回路21と、当該操作として画像の表示倍率の変更操作を受け付けたときは、受け付けた表示倍率で画像を表示パネル12に表示させ、当該操作として描画操作を受け付けたときは、描画操作に応じた画像オブジェクトを表示パネル12に表示させるマイクロコンピュータ20とを備えている。マイクロコンピュータ20は、表示倍率に依存しない太さ、またはサイズで、表示パネル12上に画像オブジェクトを表示させる。
たとえば拡大表示した後に画像オブジェクトを追加したとしても、画像オブジェクトがその拡大率に影響されて大きく表示されることはない。そのため、大きく表示されすぎて書きづらい、または書くことができない、ということがなくなる。本開示は、拡大して緻密な作業を行う必要がある使用環境において好適である。たとえば美術作品を超高解像度で撮影し、その画像を用いて作品の破損箇所を確認する用途では、非常に大きく拡大した後に、微小な破損箇所に画像上マークを付す必要が生じる。そのような場合に、マークが大きくなりすぎることはないため、緻密な破損箇所のチェック作業を効率的に薦めることが可能である。また、他の例として、本開示は医療分野においても好適に用いられ得る。患者の臓器等を超高解像度で撮影し、その画像を用いて後に腫瘍や患部を確認する用途でも、非常に大きく拡大した後に、微小な患部に画像上マークを付す必要が生じる。その場合も美術作品の例のように、緻密な患部等のチェック作業を効率的に薦めることが可能である。
上述の説明では、手書きの線図を画像オブジェクトであるとして説明したが、これは一例である。手書きの線図でなくてもよい。たとえば、先端部15が接触した位置に、スタンプのように所定の図形が書き込まれてもよい。
また、上述した、書き込み後の表示倍率変更処理(典型的には縮小処理)に関しては、他の変形例も考えられる。たとえば、アイコンによる通知に加え、該当箇所のサムネイル画像を表示してもよい。図12は、複数の画像オブジェクトの存在を通知する複数のアイコン92、および各画像オブジェクトのサムネイル画像93−1〜93−4が表示されたサムネイル画像表示領域93の例を示す。複数の画像オブジェクトが存在する場合には、各アイコン92にはマークおよび数字が含まれている。サムネイル画像表示領域93には、マークおよび数字の組ごとに、サムネイル画像93−1〜93−4が表示されている。サムネイル画像93−1〜93−4は、ユーザが書き込んだ線の軌跡(画像オブジェクト)の部分が、表示領域に収まるよう調整された倍率で表示されている。
ユーザがスタイラスペン10bで任意のアイコン92を選択すると、その選択操作に応答して、マイクロコンピュータ20は、グラフィックコントローラ22に指示を送り、たとえばそのアイコン92に対応するサムネイル画像の枠をハイライト表示させ、または枠を相対的に太く表示させる。一方、ユーザがスタイラスペン10bで任意のサムネイル画像を選択すると、その選択操作に応答して、マイクロコンピュータ20は、グラフィックコントローラ22に指示を送り、たとえばそのサムネイル画像に対応するマークおよび数字の組を示すアイコンを点滅またはハイライト表示させる。つまり、ユーザによるタッチ操作として、アイコンおよびサムネイル画像の一方を選択する操作を受け付けたときは、マイクロコンピュータ20は、グラフィックコントローラ22に指示を送り、アイコンおよびサムネイル画像の他方を視認可能に表示する。
上述の処理によれば、表示倍率変更処理によって視認が困難な細さにまで縮小されたとしても、ユーザは画像オブジェクトの存在位置、またはその画像オブジェクトの詳細を認識しやすくなる。視認性をより高めるため、たとえばアイコンとサムネイルとを結ぶラインを表示させてもよい。
なお、他の例として、縮小処理は行うが通知は出さない、という方法を採用してもよいし、書き込み後の表示倍率変更処理の前後で画像オブジェクトの線の太さや大きさを変更しない、という処理を行ってもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、映像の編集機能、および映像の拡大縮小表示機能を有する装置に適用可能である。具体的には、本開示は、タブレットコンピュータ、PC、携帯電話機、スマートフォンなどに適用可能である。または、本開示は、映像の編集、および映像の拡大縮小表示を可能にするためのコンピュータプログラムに適用可能である。
10a タブレット端末
10b スタイラスペン
11 タッチパネル11
12 表示パネル
14 タッチスクリーンパネル
20 マイクロコンピュータ
21 タッチ操作検出回路
22 グラフィックコントローラ
23 RAM
24 ストレージ
25 通信回路
26 スピーカ
27 バス

Claims (12)

  1. 画像を表示する表示装置と、
    ユーザによる操作を受け付けるユーザ・インタフェースと、
    前記ユーザによる、前記ユーザ・インタフェースへの前記操作を検出する検出回路と、
    前記操作として前記画像の表示倍率の変更操作を受け付けたときは、受け付けた表示倍率で前記画像を前記表示装置に表示させ、前記操作として描画操作を受け付けたときは、前記描画操作に応じた画像オブジェクトを前記表示装置に表示させる処理回路と
    を備えた情報処理装置であって、
    前記処理回路は、前記表示倍率に依存しない太さまたはサイズで、かつ前記画像と前記画像オブジェクトとの相対的な位置関係を維持して、前記表示装置上に前記画像オブジェクトを表示させる、情報処理装置。
  2. 前記描画操作が線図の描画に関する操作である場合において、
    前記処理回路は、前記表示倍率に依存しない太さで、前記線図の画像オブジェクトを前記表示装置に表示させる、請求項1に記載の情報処理装置。
  3. 前記描画操作が図形の描画に関する操作である場合において、
    前記処理回路は、前記表示倍率に依存しないサイズで、前記図形の画像オブジェクトを前記表示装置に表示させる、請求項1に記載の情報処理装置。
  4. 前記画像の表示倍率の変更操作を受け付けたときであって、前記変更操作前の倍率における太さまたはサイズに対応するパラメータαが予め設定されており、前記変更操作前の倍率を基準として前記変更操作後の倍率がN倍であるときにおいて、
    前記処理回路は、受け付けた表示倍率で表示させた前記画像に、β=α/Nによって定められるパラメータβに対応する太さまたはサイズで、前記画像オブジェクトを前記表示装置に表示させる、請求項1に記載の情報処理装置。
  5. 前記表示倍率に依存しない太さまたはサイズで、前記表示装置上に前記画像オブジェクトを表示させた後、さらに表示倍率の変更操作を受け付けた後において、
    前記処理回路は、前記表示倍率の変更操作に応答して、前記表示倍率に依存する太さまたはサイズで、かつ前記画像と前記画像オブジェクトとの相対的な位置関係を維持して、前記表示装置上に前記画像オブジェクトを表示させ、前記画像オブジェクトの太さまたはサイズが所定値以下になったときは、前記画像オブジェクトの存在を示す通知を出力する、請求項1に記載の情報処理装置。
  6. 前記通知は、前記画像オブジェクトが存在する位置の近傍に表示される、請求項5に記載の情報処理装置。
  7. 前記通知は、前記画像オブジェクトが存在する位置を示す態様で表示される、請求項5に記載の情報処理装置。
  8. 前記通知は、振動、光、および音の少なくとも一つを含む、請求項5に記載の情報処理装置。
  9. 前記画像オブジェクトの太さまたはサイズが所定値以下になったときにおいて、前記処理回路は、前記画像オブジェクトに関するサムネイル画像を予め定められた倍率で前記表示装置上に重畳して表示させる、請求項5に記載の情報処理装置。
  10. 前記ユーザによる、前記ユーザ・インタフェースへの前記操作として、前記通知および前記サムネイル画像の一方を選択する操作を受け付けたときは、前記処理回路は、前記通知および前記サムネイル画像の他方を識別可能に表示する、請求項9に記載の情報処理装置。
  11. 前記処理回路は、前記ユーザの描画操作によって書き込まれた前記画像オブジェクトを前記表示装置上に表示する、請求項1に記載の情報処理装置。
  12. 情報処理装置の処理回路によって実行されるコンピュータプログラムであって、
    前記情報処理装置は、画像を表示する表示装置と、ユーザ・インタフェースと、前記ユーザによる、前記ユーザ・インタフェースへの前記操作を検出する検出回路と、処理回路とを備えており、
    前記コンピュータプログラムは、前記処理回路に、
    前記ユーザ・インタフェースを介して前記ユーザによる操作を受け付け、
    前記操作として前記画像の表示倍率の変更操作を受け付けたときは、受け付けた表示倍率で前記画像を前記表示装置に表示させ、
    前記操作として描画操作を受け付けたときは、前記描画操作に応じた画像オブジェクトを、前記表示倍率に依存しない太さまたはサイズで、かつ前記画像と前記画像オブジェクトとの相対的な位置関係を維持して、前記表示装置上に前記画像オブジェクトを表示させる、コンピュータプログラム。
JP2014054772A 2014-03-18 2014-03-18 情報処理装置およびコンピュータプログラム Expired - Fee Related JP6146350B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014054772A JP6146350B2 (ja) 2014-03-18 2014-03-18 情報処理装置およびコンピュータプログラム
US14/658,550 US20150268828A1 (en) 2014-03-18 2015-03-16 Information processing device and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014054772A JP6146350B2 (ja) 2014-03-18 2014-03-18 情報処理装置およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2015176558A true JP2015176558A (ja) 2015-10-05
JP6146350B2 JP6146350B2 (ja) 2017-06-14

Family

ID=54142122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014054772A Expired - Fee Related JP6146350B2 (ja) 2014-03-18 2014-03-18 情報処理装置およびコンピュータプログラム

Country Status (2)

Country Link
US (1) US20150268828A1 (ja)
JP (1) JP6146350B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042322A (ja) * 2018-09-06 2020-03-19 セイコーエプソン株式会社 画像表示装置及びその制御方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409481B2 (en) * 2017-06-06 2019-09-10 Polycom, Inc. Adaptive inking in an electronic presentation system
WO2019135969A1 (en) * 2018-01-03 2019-07-11 Texting Tip LLC Fingernail tip stylus
US11068158B2 (en) * 2019-06-07 2021-07-20 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof
CN110989905A (zh) * 2019-12-18 2020-04-10 深圳市商汤科技有限公司 信息处理方法及装置、电子设备和存储介质
JP2022113262A (ja) * 2021-01-25 2022-08-04 セイコーエプソン株式会社 表示装置の制御方法及び表示装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098990A (ja) * 2007-10-18 2009-05-07 Sharp Corp 表示装置
US20130198653A1 (en) * 2012-01-11 2013-08-01 Smart Technologies Ulc Method of displaying input during a collaboration session and interactive board employing same

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2885435T3 (es) * 2001-04-30 2021-12-13 Activemap Llc Mapa interactivo presentado electrónicamente
US20050228688A1 (en) * 2002-02-14 2005-10-13 Beyond Compliance Inc. A compliance management system
US20040046760A1 (en) * 2002-08-30 2004-03-11 Roberts Brian Curtis System and method for interacting with three-dimensional data
US7379063B2 (en) * 2004-07-29 2008-05-27 Raytheon Company Mapping application for rendering pixel imagery
US7996465B2 (en) * 2005-03-03 2011-08-09 Raytheon Company Incident command system
US7535471B1 (en) * 2005-11-23 2009-05-19 Apple Inc. Scale-adaptive fonts and graphics
US7945852B1 (en) * 2006-05-19 2011-05-17 Washington State University Research Foundation Strategies for annotating digital maps
US8713421B2 (en) * 2007-08-28 2014-04-29 Autodesk, Inc. Scale information for drawing annotations
US8199166B2 (en) * 2008-03-14 2012-06-12 Schlumberger Technology Corporation Visualization techniques for oilfield operations
TWI374255B (en) * 2008-07-24 2012-10-11 Htc Corp Method and system for synchronizing mark on electronic map and computer program product using the same
JP5083150B2 (ja) * 2008-09-30 2012-11-28 カシオ計算機株式会社 画像処理装置、及びその処理順設定方法、処理順設定プログラム
JPWO2010038296A1 (ja) * 2008-10-01 2012-02-23 任天堂株式会社 情報処理装置、情報処理システム、ならびに起動用プログラムおよびそれを記憶した記憶媒体
US9477649B1 (en) * 2009-01-05 2016-10-25 Perceptive Pixel, Inc. Multi-layer telestration on a multi-touch display device
US20110191014A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Mapping interface with higher zoom level inset map
US8644618B2 (en) * 2010-08-10 2014-02-04 BrandFast LLC Automatic evaluation of line weights
KR101753141B1 (ko) * 2010-09-07 2017-07-04 삼성전자 주식회사 디스플레이장치 및 그 컨텐츠 표시방법
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
JP6124543B2 (ja) * 2011-12-26 2017-05-10 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム
US9250768B2 (en) * 2012-02-13 2016-02-02 Samsung Electronics Co., Ltd. Tablet having user interface
US9552129B2 (en) * 2012-03-23 2017-01-24 Microsoft Technology Licensing, Llc Interactive visual representation of points of interest data
US9113033B2 (en) * 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
US9268423B2 (en) * 2012-09-08 2016-02-23 Stormlit Limited Definition and use of node-based shapes, areas and windows on touch screen devices
US20140282077A1 (en) * 2013-03-14 2014-09-18 Sticky Storm, LLC Software-based tool for digital idea collection, organization, and collaboration
KR102183448B1 (ko) * 2013-04-26 2020-11-26 삼성전자주식회사 사용자 단말 장치 및 그 디스플레이 방법
KR102203885B1 (ko) * 2013-04-26 2021-01-15 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR102010298B1 (ko) * 2013-05-21 2019-10-21 엘지전자 주식회사 영상표시장치 및 영상표시장치의 동작방법
US20150098653A1 (en) * 2013-10-07 2015-04-09 Kabushiki Kaisha Toshiba Method, electronic device and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009098990A (ja) * 2007-10-18 2009-05-07 Sharp Corp 表示装置
US20130198653A1 (en) * 2012-01-11 2013-08-01 Smart Technologies Ulc Method of displaying input during a collaboration session and interactive board employing same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020042322A (ja) * 2018-09-06 2020-03-19 セイコーエプソン株式会社 画像表示装置及びその制御方法

Also Published As

Publication number Publication date
US20150268828A1 (en) 2015-09-24
JP6146350B2 (ja) 2017-06-14

Similar Documents

Publication Publication Date Title
US10698564B2 (en) User terminal device and displaying method thereof
JP6146350B2 (ja) 情報処理装置およびコンピュータプログラム
US10387014B2 (en) Mobile terminal for controlling icons displayed on touch screen and method therefor
US9865224B2 (en) Transparent display apparatus and display method thereof
US20140210748A1 (en) Information processing apparatus, system and method
JP5808712B2 (ja) 映像表示装置
KR20140046319A (ko) 멀티 디스플레이 장치 및 멀티 디스플레이 방법
JP5908648B2 (ja) 電子機器、表示制御方法およびプログラム
US20140015785A1 (en) Electronic device
KR20140030379A (ko) 단말의 표시 제어 방법 및 그 단말
JP6160305B2 (ja) 画像処理装置、プログラム、画像処理システムおよび画像処理方法
US20140267049A1 (en) Layered and split keyboard for full 3d interaction on mobile devices
JP2013182543A (ja) 拡大縮小操作縮尺表示方法及び装置
WO2011055459A1 (ja) 情報処理装置、その方法、および、表示装置
JP2015043135A (ja) 情報処理装置
US10114501B2 (en) Wearable electronic device using a touch input and a hovering input and controlling method thereof
TWI442305B (zh) 多點控制的操作方法及其控制系統
JP2015138360A (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
JP2009098990A (ja) 表示装置
KR20140082434A (ko) 전자장치에서 화면 표시 방법 및 장치
WO2013047023A1 (ja) 表示装置、表示方法およびプログラム
WO2018179552A1 (ja) タッチパネル装置、その表示制御方法、及びプログラム
JP2014149815A (ja) 情報処理装置、システムおよび方法
RU146516U1 (ru) Система управления сенсорным вводом данных сенсорной панели
KR20110088719A (ko) 터치 패널을 이용한 디스플레이에서 화면 확대 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170501

R151 Written notification of patent or utility model registration

Ref document number: 6146350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees