JP2005352464A - 情報処理装置および情報処理方法ならびに記憶媒体、プログラム - Google Patents

情報処理装置および情報処理方法ならびに記憶媒体、プログラム Download PDF

Info

Publication number
JP2005352464A
JP2005352464A JP2005135425A JP2005135425A JP2005352464A JP 2005352464 A JP2005352464 A JP 2005352464A JP 2005135425 A JP2005135425 A JP 2005135425A JP 2005135425 A JP2005135425 A JP 2005135425A JP 2005352464 A JP2005352464 A JP 2005352464A
Authority
JP
Japan
Prior art keywords
block
displayed
area
display
zoom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005135425A
Other languages
English (en)
Other versions
JP5072194B2 (ja
JP2005352464A5 (ja
Inventor
Toshimi Maeda
聡美 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005135425A priority Critical patent/JP5072194B2/ja
Priority to US11/128,972 priority patent/US7742095B2/en
Publication of JP2005352464A publication Critical patent/JP2005352464A/ja
Publication of JP2005352464A5 publication Critical patent/JP2005352464A5/ja
Application granted granted Critical
Publication of JP5072194B2 publication Critical patent/JP5072194B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 簡易な操作により、操作者がズーム表示させたい領域を画面の大きさに即してズーム表示させることが可能な表示技術を提供することを目的とする。
【解決手段】 画面に表示される画像のうち、指定された領域を拡大表示させるための情報処理方法であって、与えられた指示に基づいて前記画像を複数の領域に分割する分割工程(ステップS1303)と、前記分割された前記画像の各領域を識別する識別工程と、前記識別された各領域を前記表示された画像に関連づけて記憶する第1の記憶制御工程と、前記識別された各領域と与えられた指示情報と関連づけて記憶する第2の記憶制御工程(以上、ステップS1304)と、前記各領域を指定するためのポインタを順次移動させるポインタ移動工程(ステップS1311)と、を備え、前記ポインタによって指定された領域を、前記画面の大きさに応じて拡大して表示する(ステップS1310)ことを特徴とする。
【選択図】 図13

Description

本発明は、見易く画像を表示するための表示技術に関するものである。
従来より、画面に表示される画像の任意の領域を拡大・縮小し、最適サイズにして表示する表示技術として、「ズーミング」が知られている。ズーミングは、一般に、画面に表示される画像のどの領域をどのようにズーミングするかによって以下のように分類することができる。第一は画面中心を基準として画面全体を任意の大きさにズーミングしてズーム表示するものであり、最も汎用的なズーミングである(例えば、特開平09−026769号公報参照)。第二は「ポイントズーム」と呼ばれるもので、画面に表示された画像のうち、操作者が指示したポイントを中心に任意の大きさにズーミングし、当該ポイントがズーミング後に画面の中心位置にくるようにズーム表示するものである(例えば、特開2001−324974号公報参照)。第三は「エリアズーム」と呼ばれるもので、操作者が指定した選択領域を、当該領域が画面の大きさにフィットするようにズーミングしてズーム表示するものである(例えば、特開平11−282454号公報参照)。
また、上記「エリアズーム」において用いる領域指定方法(エリア指定操作)としては、対角線による矩形指定や、予め用意された矩形の位置やサイズを変更して指定する方法が一般的に知られている。
特開平09−026769号公報 特開2001−324974号公報 特開平11−282454号公報 特開平06−282258号公報 特開平08−202856号公報
しかしながら、上記第一のズーミング(特許文献1)の場合、ズーミングの基準を画面中心としているため、画面にズーム表示された画像と、操作者が実際にズーム表示させたい領域とが一致するとは限らない。このため、ズーム表示させたい領域が画面にフィットして表示されるように、ズーミング後に操作者が縦・横スクロール機能をつかって適宜位置調整を(場合によっては再度ズーミングを)行わなければならない。
また、上記第二のズーミング(特許文献2)の場合、ズーム表示させたいポイントは操作者が指示できるものの、当該操作者が指示したポイントを中心にズーミングしてしまうため、操作者はズーム表示させたい領域の中心位置を正確に指示することが求められる。しかし、実際に操作者が中心位置を正確に指示することは困難であり、得られたズーム表示と、操作者がズーム表示させたい領域とが一致せず、上記第一のズーミング同様、ズーミング後に適宜、位置調整(場合によっては再度ズーミング)を行って画面に表示されるように操作する必要がある。
一方、上記第三のズーミング(特許文献3)の場合、ズーム表示したい領域を任意に指定して画面の大きさにフィットした表示を行うことができるため、ズーム表示したい領域と実際にズーム表示された領域とが一致しないという問題は回避できる。しかし、かかるエリアズームを実現するためにはポインティングデバイス等の指示入力手段を用いて、ズーミングを行うごとにズーム表示したい領域について、個々に指示する必要があり、複数の領域に対してズーミングを行いたい場合には操作性が悪いという技術課題がある。
さらに、画面に収まりきらない画像の一部をズーミングするような場合にあっては、上記第一乃至第三のズーミングはいずれの場合も、ズーミング前に縦・横スクロール機能などを使って画像の移動を行い、画面上にズーム表示させたい領域を一旦表示させる必要があり、この点においても操作性が悪いという技術課題がある。
なお、領域指定の方法としては上記の他に、画像情報を解析してレイアウトや特徴量などから認識技術を使って抽出した領域を表示範囲として指定するものもある(特開平06−282258号公報、特開平08−202856号公報参照)が、これは特徴量の抽出が困難な画像に対しては有効でないだけでなく、ユーザはまず自動認識の結果決定された領域に対して、選択して指示を行うことになるので、予め表示したい領域が決まっている場合には操作性が悪いという技術課題がある。
本発明は、上記課題に鑑みてなされたものであり、簡易な操作により、操作者がズーム表示させたい領域を画面の大きさに応じてズーム表示させることが可能な表示技術を提供することを目的とする。
上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
画面に表示される画像のうち、指定された任意の領域を拡大して表示させることが可能な情報処理装置であって、
与えられた指示に基づいて前記画面に表示された画像を複数の領域に分割する分割手段と、
前記分割手段により分割された前記画像の各領域を識別する識別手段と、
前記識別手段により識別した各領域を前記表示された画像に関連づけて記憶手段に記憶する第1の記憶制御手段と、
前記識別手段により識別された各領域と与えられた指示情報とを関連づけて記憶手段に記憶する第2の記憶制御手段と、
前記各領域を指定するための指定情報を順次更新指示する手段と、を備え、
前記指定情報によって指定された領域を、前記画面の大きさに応じて拡大して表示することを特徴とする。
本発明によれば、簡易な操作により、操作者がズーム表示させたい領域を画面の大きさに応じてズーム表示させることが可能となる。
[第1の実施形態]
はじめに、以下の説明において使用する各用語の意味について定義する。以下において「ブロック数」とは、分割されたブロックの数をいい、区切り線の数により算出されるものをいう。また、「総ブロック数」とはブロックテーブルに格納されているブロック情報の数をいい、ブロック数+1により算出される。また、「変数L」とは、ブロックテーブルに格納されているブロック情報の数をいい、ブロックテーブル最大IDを特定するのに使用される。
<情報処理装置の外観構成>
図11は本発明の一実施形態にかかる情報処理装置(1100)の外観構成の一例を示す図である。図11において、1101は表示画面であり入力された画像を表示する。1109はブロックズーム切替ボタンであり、情報処理装置1100の有するブロックズームモード(詳細は後述)のON−OFFを電気的に切り替える。画面に処理対象画像を表示した状態でブロックズーム切替ボタン1109を押すとブロックズームモードONになり、ブロックズームモード実行中に再度押すことで、ブロックズームモードOFFになる。また、ブロックズームモードにおいて、処理対象ブロックを指定する情報が取得できない場合などのエラー時には、操作者によるブロックズームモードOFF操作を経ずに、ブロックズームモードをOFFにする。
1102乃至1105はカーソルキーである。ブロックズームモードがOFFの際には当該カーソルキーを押すことで表示画面1101に表示された画像を上下左右にスクロールさせることができる。
また、ブロックズームモードがONの際には、当該カーソルキーを押すことで表示画面1101に表示された画像に含まれる各ブロック(操作者によって区分けされた画像の各領域)間をポインタ(ブロックが指定されていることを示す表示)が移動する。なお、上カーソルキー1102を押すと、上位層のブロックにポインタが移動し、下カーソルキー1103を押すと、下位層のブロックにポインタが移動する。また、右カーソルキー1104を押すと、同一層内の次のブロックにポインタが移動し、左カーソルキー1105を押すと同一層内の前のブロックにポインタが移動する。
1106はシフトキーであり、他のキーと組み合わせて使用される。ブロックズームモード中に、当該シフトキー1106を押した状態で、上記カーソルキー1102乃至1105を押すと、表示画面1101に表示された画像を任意のブロックに区切るための区切り線が表示され、当該区切り線がカーソルキーの方向に移動する(上カーソルキー1002及び下カーソルキー1103は、横区切り線の上下移動に、右カーソルキー1104及び左カーソルキー1105は、縦区切り線の左右移動に用いられる)。
1111は非表示キーであり、ブロックズームモード中に、非表示にしたいブロックの指定を行う。表示画面に任意のブロックがズーム表示されている状態で、当該非表示キーを押すと、ブロックテーブルの当該ブロックの非表示フラグを書換え、当該ブロックを非表示にする。非表示フラグは、0で非表示OFFを示し、1で非表示ONを示す。初期値は0である。
1108はズームキーであり、モードに関わらず(ブロックズームモードであるか、その他のモードであるかに関わらず)、表示画面1101に表示された画像を画面中心を基準として画面全体を任意の大きさにズーミングさせる。
また、エリア指定操作において、シフトキー1106を押した状態で、ズームキー1108を押すことで矩形を表示して、矩形の領域内をズーム表示対象として指定することができる。この操作で、矩形を表示した状態で、カーソルキー1002乃至1105を操作することで表示した矩形の位置を移動し、また、ズームキー1108を押すことで、表示した矩形のサイズを変更し選択領域を調整する。さらに、決定キー1107を押すことで、表示した矩形の領域をエリアズーム表示する。なお、エリア指定操作による選択領域を示す表示は、矩形に限らず、例えば円形や、領域の対角線を示す線分であってもよい。
1107は決定キーであり、各種動作を確定させる。例えば、ブロックズームモードにおいては、カーソルキー1102乃至1105を押すことで所望の位置まで移動した区切り線は、決定キー1107が押されることで当該位置に固定される。また、区切り線によって任意のブロックに区分けされた状態では、ポインタにより指定されていたブロックは、決定キー1107が押されることで表示画面1101にフィットするようにズーミングされる。また、エリア指定操作により選択領域を指定する矩形が表示された状態で、決定キー1107が押されることで表示された選択領域が、表示画面1101にフィットするようにズーミングされる。
1110はメニューボタンであり、各種メニューを表示させる。例えば、表示画面1101に表示させる画像の取り込みは、当該メニューボタン1110を押すことで表示されるメニューに従って行われる。また、メニューボタン1110を押すことで、ブロック化指定(詳細は後述)の設定として、レイアウト解析自動/手動を選択することができる。
<情報処理装置のシステム構成>
図1は、情報処理装置1100のシステム構成を示す図である。同図において、101は画像入力部であり画像表示部102によって表示される画像を入力する機能を有する。102は当該入力された画像を表示するための機能を有する画像表示部である(なお、画像表示部102は、表示画面1101を含む概念である)。110は操作部であり、上述したカーソルキーや各種キー、ボタンが含まれる。103は入出力I/F部であり、上記画像入力部101、画像表示部102、操作部110は入出力I/F部103を介してバス109と接続され、データの送受信を行う。
105はプログラムメモリであり、本実施形態にかかる情報処理方法(後述する図2、3、4のフローチャートに示す処理方法)を実現するための制御プログラム112が記憶されている。106はデータメモリであり制御プログラム112によって処理されるデータ(後述する区切り線テーブル107、ブロックテーブル108等)が格納されている。104は中央処理装置(CPU)であり、制御プログラム112やテーブル107・108は、当該CPU104の制御のもと、バス109を通じてRAM111に取り込まれ、CPU104によって実行される。
<情報処理装置における処理の流れ(全体)>
図2は、情報処理装置1100における全体処理の流れを示すフローチャートである。同図に示すように、システムが起動されるとステップS201において電源がoffでないかを確認し、offでなければステップS202に進む。ステップS202では画像表示処理を実行し、画像入力部101より入力された画像を表示画面1101に表示する。
ステップS203ではイベント情報(操作者が情報処理装置1100の各種ボタンを操作することによって発生する情報)を判定し、ブロックズームモードになっていた場合にはステップS204に進み、表示画面1101に表示された画像に対してブロックズーム処理を実行する(なお、ブロックズーム処理の詳細は後述する)。一方、イベント情報がブロックズームモードでなかった場合にはステップS205に進み、ブロックズーム処理以外のその他の処理を実行する(なお、その他の処理は、本発明とは直接関係がないため、詳細は省略する)。
ステップS204またはステップS205における処理が完了したら、ステップS201に戻り電源がoffでないかを確認し、offでなければ上記ステップS202からステップS205の処理を繰り返し、offであった場合にはステップS206に進みシステムを終了する。
<ブロックズーム処理の流れ>
次に図3を用いて、上記ブロックズーム処理(ステップS204)の詳細を説明する。ブロックズーム切替ボタン1109が押されブロックズームモードに切り替えられることでブロックズーム処理が起動される。ステップS300ではズーム確定操作(決定キー1107を押す操作)が実行されるまで待機する。ステップS300でズーム確定操作が実行されると、ステップS301に進み、操作部110より入力されメモリに格納されている座標データ(区切り線の位置を示す座標データ)が取得され、続くステップS302において、該座標データに基づいて区切り線テーブル(各区切り線の始点座標と終点座標とが各区切り線を示すID番号に対応して記述されたテーブル。図5の501参照)が生成される。
ステップS303では、区切り線テーブル501の座標データを参照してブロック座標(区切り線によって区分けされた各矩形領域(=ブロック)の対角座標)を算出し、続くステップS304でブロックテーブル(各ブロックのブロック座標が各ブロックのID番号と対応して記述されたテーブル。図5の502参照)を生成する。
ステップS305では、分割されたブロック数に、1を加算した値を変数Lに格納する。変数Lは、ブロックテーブルに格納されたブロック情報の数と等しく、ブロックテーブルの最大IDを特定するために利用される。なお、分割されたブロック数は、区切り線の数より算出される(((縦区切り線の数+1)×(横区切り線の数+1))。変数Lを算出する際に、分割されたブロック数に1を加算するのは、分割されたブロック数を含む画像全体をブロックとするID0の分である。
ステップS306では、エリアズーム表示しようとする処理対象をブロックテーブル502のID1にセットする(つまり、ブロックテーブル502のID1に対応するブロックがポインタにより指定されたブロックとなる)。次にステップS310でズーム表示処理を起動し、処理対象であるブロックをエリアズーム表示する。
ステップS311ではイベント情報を判定し、イベント情報が「前送り操作」(ブロックズームモードにおける左カーソルキー1105の操作)であった場合にはステップS312に進む。ステップS312では、処理対象のブロック(ポインタで指定されたブロック)のIDが0であるか否かを判定し、ID=0でないと判定された場合には(つまり、現在指定されているブロックがブロックテーブルの最小IDでないと判定された場合には)、ステップS317に進み、IDをディクリメントしステップS310に戻る。一方、ステップS312でID=0と判定された場合には、ステップS318に進み、IDを(総ブロック数−1)にすることで処理対象をブロックテーブルの最大ID(=L−1)に対応するブロックに移動し、ステップS310に戻る。
一方、ステップS311でイベント情報が「次送り操作」(ブロックズームモードにおける右カーソルキー1104の操作)であった場合には、ステップS313に進み、処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)であるか否かを判定する。処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)であった場合には、ステップS320に進み、IDを先頭(ID=0)に移動し、ステップS310に戻る。一方、ステップS313で、処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)でなかった場合には、ステップS319に進み、IDを1つ進めてステップS310に戻る。
また、ステップS311でイベント情報が「エリア指定操作」(シフトキー1106を押した状態で、ズームキー1108を押すことで矩形を表示して、矩形の領域内を選択領域として指定して、決定キー1107を押すことで選択領域をズーム表示する操作)であった場合には、ステップS314に進み、ブロックテーブルの現在処理対象に設定されているID(すなわち、「エリア指定操作」実行時に表示中であったブロック)のブロックテーブルIDとブロック座標をテンポラリーのブロックテーブルに書き込む。続いて、ステップS315でブロックテーブルの該当するIDのブロック座標を「エリア指定操作」によって指定された選択領域の座標に書き換え、ステップS310に戻る。
また、ステップS311でイベント情報が「アンドゥ」であった場合には、ステップS316に進み、テンポラリーのブロックテーブルよりIDとブロック座標を取得して、ブロックテーブル502の該当するIDのブロック座標を書き換え(つまり、「エリア指定操作」によって変更される前のブロック座標に戻し)、ステップS310に戻る。
また、ステップS311でイベントが「ブロックズームモード終了」(ブロックズーム切替ボタン1109の操作)であった場合には、ブロックズーム処理を終了する。
<エリアズーム表示処理>
図4は、上記ステップS310のズーム表示処理の流れを詳細に示すフローチャートである。同図に示すように、ズーム確定操作によりズーム表示処理が起動されると(ブロックズームモードにおいて、区切り線によって任意のブロックに区分けされた状態で決定キー1107が押されると)、ステップS401において、ブロックテーブル502よりブロック座標データが取得され、続くステップS402で、該ブロックについてエリアズーム表示を行う(指定されたブロックを表示画面1101の大きさにフィットするようにズーミングして表示する)。
<区切り線データテーブル及びブロックテーブルの一例>
図6はブロック化処理(ステップS301乃至S304)の結果生成される区切り線テーブル501及び同テーブルより生成されるブロックテーブル502の具体例を示す図である。同図に示すように、区切り線テーブル601には、初期値として、処理対象画像の表示サイズ640×480(pixel)に基づいて、ID0には始点座標(0,0)、終点座標(639、479)が格納され、ID1〜nには、n個の区切り線の各始点及び終点の座標がセットで格納されている。
602は、区切り線テーブル601を参照して生成されたブロックテーブルである。ブロックテーブル602には区切り線の始点座標及び終点座標より算出された、ブロック座標(矩形状のブロックの左上と右下の対角座標)がセットで格納されている。ここで、ブロックテーブル602と関連付けられている画像の表示サイズが640×480(pixel)であるので、ID0には、始点座標(X0、Y0)に(0、0)が、終点座標(Xw、Yh)に(639、479)が格納されている。すなわち、ID0のブロック座標には、初期値として、画像全体をブロックとする(0、0)、(639、479)が格納されている。
ID0のブロックは、画像データの全体表示と等しく、区切り線に基づいて分割される全てのブロックを含む特別なブロックであり、ID1のブロック(分割された最初のブロック)の始点座標はID0のブロックの始点座標と等しく,最大IDを持つブロックの終点座標は、ID0のブロックの終点座標と等しい。
<実施例>
図7は情報処理装置1100において、ブロック化処理(ステップS301乃至S304)によりブロック化され、エリアズーム表示(ステップS402)された画像の具体例を示す図である。
701のようなドキュメント画像に対して、操作者は区分けしたい部分に上下/左右に区切り線(線1、線2、線3)を引き、ブロックに分割する。0〜6の数字は、図6のブロックテーブル602に対応しており、ブロックズーム表示時の表示順番を示している。0は、初期値として画像全体をブロックとし、1〜6のブロックの表示が終わると再びブロック0を表示する。なお、説明の為に、ブロック番号を図示しているが、実際の画面上では表示しても良いししなくてもよい。702は、ブロックに対してエリアズーム表示した画像である。ここでは、ブロック1をエリアズーム表示している。
以下、上述したフローチャートに即して、図7に示すエリアズーム表示を行うまでの具体的な処理の流れについて説明する。
操作者がブロックズーム切替ボタン1109を押すと、図2のステップS204(ブロックズーム処理)が起動される。シフトキー1106を押した状態でカーソルキー1102乃至1105を押し、当該区切り線を移動させることで所定の位置に区切り線がひかれる(例えば、シフトキー1106を押した状態でカーソルキー1104乃至1105を押すことで、線1が表示される)。区切り線が表示された状態で、決定キー1107を押すと、表示中の区切り線が確定され、区切り線座標はメモリ上の「区切り線レジスタ」に格納される。
同様にして、シフトキー1106を押した状態でカーソルキー1102乃至1103を押すことで線2を表示し、決定キー1107を押すことで区切り線を確定すると、表示中の区切り線(線2)の座標がメモリ上の「区切り線レジスタ」に線1に続いて格納される。同様にして、区切り線指示操作を繰り返す(線3)。
その後さらに、決定キー1107を押すと(ズーム確定操作)ステップS301で「区切り線レジスタ」を参照して座標データが取得され、ステップS302で図6の601のような区切り線テーブルが生成される。
続いてステップS303で区切り線テーブル601の座標よりブロック座標が算出され、602のようなブロックテーブルが生成される。続いて、ステップS305で変数Lが算出されメモリに格納される。変数Lは、区切り線により分割されたブロック数に、1を加算して算出されるので、図7に示すように縦区切り線の数が1で、横区切り線の数が2であることから、分割されたブロック数=(1+1)×(2+1)=6、従って、変数L=6+1=7となる。
区切り線テーブル601の先頭には、ID0として、ドキュメント画像全体を示す始点及び終点座標が格納されており、ブロックテーブル602の先頭には、ID0として、ドキュメント画像全体を1つのブロックとするブロック座標が格納されている。図7では、これをブロック0として、便宜的に701において数字0と点線とで示している。
なお、本実施例では区切り線が3本ひかれており、0番目のブロックの他に、6つのブロックが区切り線によりブロック化されている。それぞれブロック1〜6として、区切り線と点線による囲み及び1〜6の数字でこれを示す。図7及び対応したブロックテーブル602より、ブロック0とこれを分割したブロック1からブロック6までの6つのブロックの、計7つのブロックがあることがわかる。
ステップS306で、ブロックテーブル602のID1のブロック座標(0、0)、(300、120)が処理対象としてセットされると、ステップS310で図4のズーム表示処理が起動され、取得したブロック1についてエリアズーム表示を行う(ステップS402)。ここで、次送り操作(右カーソルキー1104を押す操作)を行うと、ステップS313でブロックテーブル602の現在処理対象IDをチェックし、次のブロック座標(0、120)、(300、240)に移動して(ステップS319)、次のブロック(ブロック2)をエリアズーム表示する(ステップS310)。702はこのようにして表示されたブロック1のエリアズーム表示の画像である。
同様に、次送り操作で、ブロック3、ブロック4・・・ブロック6をエリアズーム表示する。ここで、前送り操作(左カーソルキー1105を押す操作)を行うと、ステップS312でブロックテーブル602を参照して1つ前のIDのブロック座標を取得して、表示する。現在処理対象としてブロック0をエリアズーム表示中に、前送り操作をした場合には、ブロックテーブル602を参照し最大IDのブロック座標を取得し(ステップS318)、ブロック6をエリアズーム表示する。このように、ブロックズームモードを終了するまでの間は、分割されたブロック番号の順番にブロックを表示する。ブロックズームモードは、ブロックズーム切替ボタン1109を再び押すことで、終了する。
ブロックズームモードで、エリアズーム表示中の画像についてエリア指定操作を行うと、エリア指定操作前のブロックIDとブロック座標をテンポラリのブロックテーブルに書き込みし(ステップS314)、エリア指定操作により指定された選択領域について座標をブロックテーブル602の現在処理対象に設定されているIDのブロック座標と書き換え(ステップS315)、エリアズーム表示する(S310)。この時、ブロックズームモードを終了するまでは、アンドゥ操作により変更前のブロック座標に戻ることができる。
以上説明したように、本実施形態によれば、カーソルキーにより区切り線を入力することにより、エリアズーム表示をするための複数の領域を一度に決定すると同時に各ブロックの表示倍率を決定することができるため、従来のポインティングデバイスを用いた領域指定に比べて操作性が格段に向上する。
また、区切り線を入力することにより一旦ブロック化したブロック情報を画像データと関連付けて記憶するので、各ブロックをカーソルキーの操作だけで順次エリアズーム表示させることができ、ズーミングを行うごとに画像をスクロールさせ領域指定を行っていた従来のエリアズーム表示に比べ、操作性が格段に向上する。
[第2の実施形態]
上記第1の実施形態では、区切り線の入力により画像を複数のブロックに区分けすることとしたが、本発明はこれに限られず、エリアズーム表示する領域を他の方法により区分けしてもよい。以下、本発明の第2の実施形態について説明する。なお、情報処理装置の外観構成、及びシステム構成ならびに全体処理の流れについては上記第1の実施形態(図11、図1、図2)と同様であるため、ここでは説明を省略する。
図8は、第2の実施形態におけるブロックズーム処理(ステップS204)の流れを示す図である。同図に示すように、ブロックズーム処理が起動されると、ステップS800で、レイアウト解析指示操作(図11のメニューボタン1110において選択される操作)が実行されるまで待機する。
ステップS800で、レイアウト解析指示操作が実行されるとステップS801に進み、レイアウト解析処理を起動し、OCR処理によりレイアウトを解析し、ブロックの切出しを行う。
ステップS802では、ブロック化処理を起動し、レイアウト解析結果より取得された座標データに基づいてブロックテーブル(図5の503参照)を生成する。このとき、ブロックテーブルのID0には、画像全体を表示領域とするブロックとして、処理対象画像の表示サイズに基づいた座標データが格納され、ID1以降には、レイアウト解析結果より分割されたブロックの座標が格納される。次にステップS803で、総ブロック数(=分割されたブロック数+1)を算出し変数Lに格納する。
ステップS804では、処理対象をブロックテーブル503のID1にセットする。さらにステップS810では、ズーム表示処理を起動し、処理対象であるブロック(ポインタで指定されたブロック)をエリアズーム表示する。
ステップS811ではイベント情報を判定し、イベント情報が「前送り操作」である場合にはステップS812に進み、処理対象のブロックのIDが0であるか否かを判定する。処理対象のブロックのIDが0でない場合には(つまり、現在指定されているブロックがブロックテーブルの最小IDのブロックでないと判定された場合には)ステップS817に進み、ブロックのIDを1つマイナスしステップS810に戻る。ステップS812でID=0の場合にはステップS818に進み、処理対象をブロックテーブル502の最大IDのブロックに移動し、ステップS810に戻る。
一方、ステップS811でイベント情報が「次送り操作」であった場合には、ステップS813に進み、処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)であるか否かを判定する。処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)であった場合には、ステップS820に進み、IDを先頭(ID=0)に移動し、ステップS810に戻る。一方、ステップS813で、処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)でない場合には、ステップS819に進み、IDを1つ進めてステップS810に戻る。
また、ステップS811でイベント情報が「エリア指定操作」であった場合には、ステップS814に進み、ブロックテーブルの現在処理対象に設定されているID(すなわち、「エリア指定操作」実行時に表示中であったブロックのIDとブロック座標をテンポラリーのブロックテーブルに書き込む。続いて、ステップS815でブロックテーブルの該当するIDのブロック座標をエリア指定操作によって指定された選択領域の座標に書き換え、ステップS810に戻る。
また、ステップS811でイベント情報が「アンドゥ」であった場合には、ステップS816に進み、テンポラリーのブロックテーブルより該当するIDとブロック座標を取得し、ブロックテーブル503の該当するIDのブロック座標を書き換え(つまり、「エリア指定操作」によって変更される前のブロック座標に戻し)、ステップS810に戻る。
また、ステップS811でイベント情報が「ブロックズームモード終了」である場合には、ブロックズーム処理を終了する。
<実施例>
図9は第2の実施形態において、レイアウト解析処理によってブロック化処理(ステップS801、802)した場合の処理の具体例を示す図である。901は、ドキュメント画像903の段組を利用してブロック化した画像である。902は、ドキュメント画像904の枠線を利用してブロック化した画像であり、枠で囲まれた領域単位でブロック化している。この場合、表等の枠ではなく、全体画像を見た上で、囲み線である外枠を枠線として判断する。
図10は第2の実施形態において、レイアウト解析処理によってブロック化処理(ステップS801、802)した場合の他の具体例を示す図である。
1001は、ドキュメント画像1003の見出し文字サイズの違いを利用してブロック化した画像であり、同図のように、見出し文字は全体に比較して大きく表示されることが多いことに鑑みて、レイアウト解析でこれを判断する。
1002は、ドキュメント画像1004中の、矢印記号を利用してブロック化した画像であり、雑誌記事などにおいて、段落終わりに次の段落を指し示す記号として矢印が用いられることがあることに鑑みて、レイアウト解析でこれを判断する。
以下に、本実施例(図9の903のようなドキュメント画像が表示されている場合)についての情報処理装置1100の具体的な動作を上記フローチャート(図8)に即して説明する。
ブロックズーム切替ボタン1109を押すと、図2のステップS204(ブロックズーム処理)が起動される。メニューボタン1110よりレイアウト解析を選択すると、ステップS801でレイアウト解析処理が起動し、OCR処理によりレイアウト解析を実行する。
その結果、段組等の情報より、901にあるようなブロックが判別され、該解析結果データを元に、次のステップS802(ブロック化処理)で、図5の503に示すブロックテーブルが生成され、ステップS803でブロックテーブルのIDより総ブロック数を算出し、変数L(IDが6であるため、L=6+1=7)に格納する。
このようにしてブロックズームの前処理としてのブロック化処理が終わると、ステップS804でブロックテーブル503のID1が処理対象のブロックとしてセットされ、以下第1の実施形態と同様に、前送り操作、次送り操作によりブロックごとにエリアズーム表示したり、エリア指定操作やアンドゥ操作が行える。
なお、ここでは、ドキュメント画像の段組に基づいてブロック化を行った場合の処理について説明したが、902に示すように、枠線や囲み枠によってブロック化を行った場合も同様である。これは、複数ページを一枚のドキュメント画像にしてある場合などに特に有効である。
また、1001にあるように、見出し文字のサイズに基づいてブロック化を行った場合、ならびに1002にあるように、文中の矢印記号に基づいてブロック化を行った場合も同様である。これは、雑誌記事などのドキュメント画像にしたものにおいて、特に有効である。その他、章番号やページ番号によってブロック化を行ってもよく、その場合も同様に処理されうる。
以上の説明から明らかなように、本実施形態によれば、特にドキュメント画像においてレイアウト解析することにより、エリアズーム表示をするためのドキュメント画像のブロック化を行うことができるため、従来の領域指定に比べ、また、上記第1の実施形態に比べ、操作性がさらに向上する。
また、レイアウト解析により一旦ブロック化したブロック情報を画像データと関連付けて記憶するので、各ブロックをカーソルキーの操作だけで順次エリアズーム表示させることができ、ズーミングを行うごとに画像をスクロールさせ領域指定を行っていた従来のエリアズーム表示に比べ、操作性が格段に向上する。
[第3の実施形態]
第1の実施形態では、区切り線の入力により区切られた矩形領域をブロックとして、各ブロックが重複しないようにエリアズームすることとしたが、本発明はこれに限られず、区切り線で区切られた矩形領域内をくまなく表示するようにブロックを決定し、エリアズームするものである。区切り線で区切られた矩形領域内をくまなく表示するということは、区切り線で区切られた矩形領域内においてエリアズーム表示するブロックの重複を許し、また、区切り線とブロックの数は必ずしも対応しないものとする。
ここでは、簡単の為に、区切り線によって区分けされた各矩形領域を「区切り線ブロック」、実際にエリアズーム表示する各矩形領域を「表示ブロック」と呼ぶことにする。なお、全ての実施例の説明において使用する「ブロック」という言葉は、実際にズーム表示される「表示ブロック」のことを指すものである。
すなわち、上記第1の実施形態では、「区切り線ブロック」と「表示ブロック」は同一であったが、本実施形態においては、「区切り線ブロック」と「表示ブロック」とは異なることになる。
以下、本発明の第3の実施形態について説明する。なお、情報処理装置の外観構成、及びシステム構成ならびに全体処理の流れについては第1の実施形態(図11、図1、図2)と同様であるため、ここでは説明を省略する。
<ブロックズーム処理の流れ>
次に図13を用いて、上記ブロックズーム処理(ステップS204)の詳細を説明する。
ブロックズーム切替ボタン1109が押されブロックズームモードに切り替えられることでブロックズーム処理が起動される。
処理が起動されると、ステップS1300でズーム確定操作(決定キー1107を押す操作)が実行されるまで待機する。
この状態(ブロックズームモードにおいて、現在の処理対象である画像が表示されている状態)で、操作者は区切り線指示操作により、エリアズームひょうじしたい任意の領域をブロック化する。この操作と処理について、以下に説明する。
まず、区切り線指示操作(シフトキー1106を押しながらカーソルキー1102乃至1105を押す操作)により区切り線を表示画面上に表示し、続けてカーソルキーを押すことにより任意の位置に移動させる。この時、シフトキー1106を放しても区切り線は表示されたままだが、あらたに区切り線指示操作(シフトキー1106を押しながらカーソルキー1102乃至1105を押す操作)を行うと、先に表示されていた区切り線に替わって、新たに別の区切り線が表示される。区切り線が表示されている状態で、続いて決定キー1107を押して区切り線を確定する。この時、操作部110より入力された座標データ(区切り線の位置を示す座標データ)は、区切り線が表示されるとテンポラリのメモリに書き込まれ(区切り線の移動にともない、テンポラリのメモリに書き込まれた座標データは更新される)、区切り線を表示した状態で決定キー1107を押すことで区切り線レジスタに格納される。
このようにして、ズーム確定操作(決定キー1107を押す操作)が行われるまでの間に、確定した区切り線の座標データは順に区切り線レジスタに格納される。なお、本実施形態では、区切り線は表示画面を水平または垂直方向に貫通する直線である。
ステップS1300でズーム確定操作が実行されると、ステップS1301で、区切り線レジスタを参照し、区切り線座標データ(区切り線の位置を示す座標データ)を取得する。続くステップS1321で、区切り線座標データの取得に成功したかどうかを判断し、区切り線座標データを取得できなかった場合には(区切り線レジスタに区切り線座標データが無かった場合)、ステップS1307で現在の処理対象である画像データに関連付けられたブロックテーブルがあるかどうかをチェックする。ステップS1307で、ブロックテーブルがある場合には、ステップS1305の処理に進む。
ステップS1321で、区切り線レジスタに区切り線座標データがなく、かつ、ステップS1307で、現在の処理対象である画像データに関連付けられたブロックテーブルがない場合には、処理対象ブロックが存在しないので、ブロックズーム処理を終了する。このとき、本実施例では触れないが、ダイアログ等により、ブロック化されていないことを操作者に通知するメッセージを提示してもよい。
ステップS1321で、区切り線座標データ取得に成功したと判断された場合には、続くステップS1302において、該座標データに基づいて区切り線テーブル(各区切り線の始点座標と終点座標とが各区切り線を示すID番号に対応して記述されたテーブル。図15の1501参照)が生成される。
ステップS1303で、ブロック座標算出処理を起動し、区切り線テーブル1501の座標データを参照し、表示画面の縦横比に合わせて、表示ブロック座標(エリアズーム表示する各矩形領域(=ブロック)の対角座標)を算出する。
ブロック座標算出処理の詳細について、図14を用いて説明する。ステップS1401で、本処理で使用するテンポラリのメモリを初期化して、次の値をセットする。
n=1、
H/W=0.75、
(X、Y、W、H)=X(n)、Y(n)、Xw(n)、Yh(n)
ここで、nは区切り線テーブルID番号を示し、H/Wは表示対象画像サイズより算出した縦横比の係数を示す。(X、Y、W、H)は、表示ブロック座標リストに格納されるデータを示し、それぞれ、X=X(n):区切り線ID(n)の始点X座標(最小X座標)、Y=Y(n):区切り線ID(n)の始点Y座標(最小Y座標)、X=Xw(n):区切り線ID(n)の終点X座標(最大X座標)、Y=Yh(n):区切り線ID(n)の終点Y座標(最大Y座標)、がセットされる。
本処理で、算出されたブロック座標は、表示ブロック座標リストに算出順に格納され、これを参照して、後述するブロックテーブルが生成される。
ステップS1402で、区切り線ID(n)とID(n−1)で囲まれた領域(区切り線ブロック)のブロック座標(ID(n−1)の最小XY座標を始点座標とし、ID(n)の最大XY座標を終点座標とする)を算出する。
ステップS1403で、算出されたブロック座標の縦横比を表示画面の縦横比と比較し(Yh/Xw=0.75)、0.75に等しければ、ステップS1407でブロック座標の終点X座標が表示画面の座標内に位置するかをチェックし、表示画面の座標外に位置する場合には、ブロック座標の終点X座標を表示画面の座標内にXd=639−(X+W)をセットして(ステップS1408)、終点座標と表示ブロックサイズに基づいて始点座標を書き換える(X=Xd−W (ステップS1409))。
ステップS1410で、ブロック座標の終点Y座標が表示画面の座標内に位置するかをチェックし、表示画面の座標外に位置する場合には、ブロック座標の終点Y座標を表示画面の座標内にYd=479−(Y+H)をセットして(ステップS1411)、終点Y座標と表示ブロックサイズに基づいて始点座標を書き換える(Y=Yd−H (ステップS1412))。
続いて、ステップS1413で、算出されたブロック座標を、表示ブロック座標リスト(取得された順番にブロック座標をテンポラリのメモリ上にリストで格納する)に追加し、ステップS1414で、リストを参照し、区切り線ブロックの最大X座標または最大Y座標が含まれているかをチェックし、含まれていない場合(区切り線ブロック内からはみ出していない)に、ステップS1403に戻り以降の処理を繰り返す。
ステップS1402で算出されたブロック座標の縦横比係数が係数0.75より大きくなる場合(ステップS1403乃至ステップS1404、すなわち、「区切り線ブロック」が表示画面に比して縦長である場合)、ステップS1406で、表示ブロックの終点Y座標を、X座標を基準に縦横比が4:3になるように算出した座標に書換える。
ステップS1402で算出されたブロック座標の縦横比係数が係数0.75より小くなる場合(ステップS1403乃至ステップS1404、すなわち、「区切り線ブロック」が表示画面に比して横長である場合)、ステップS1405で、表示ブロックの終点X座標を、Y座標を基準に縦横比が4:3になるように算出した座標に書換える。
ステップS1414で、表示ブロック座標リストに、区切り線ブロックの最大X座標または最大Y座標が含まれていた場合(区切り線ブロック内からはみ出してしまう場合)には、ステップS1415で、現在の区切り線ID(n)が最大値ID(nMax)であるかチェックし、最大値でない場合には、ステップS1416で、n+1して区切り線IDを1つ進め、ステップS1402の処理に戻る。
ステップS1415で、区切り線IDが最大値である場合には、ステップS1418で、ID(nMax)とID(0)で囲まれた区切り線ブロックのブロック座標(ID(nMax))の最小XY座標を始点座標とし、ID(0)の最大XY座標を終点座標とする)を算出し、ステップS1403の処理に戻る。
ステップS1415で、現在の区切り線ID(n)が最大値ID(nMax)であり、続くステップS1417で、表示ブロック座標リストに、ID(0)の最大XY座標が含まれる場合には、処理を抜け、図13のフローに戻る。
ここで、1つの「区切り線ブロック」について、最初に表示ブロック座標リストに格納されるブロック座標の始点座標は、ステップS1402で算出されテンポラリのメモリに格納されたブロック座標の始点座標と等しく、最後に表示ブロック座標リストに格納されるブロック座標の終点座標は、ステップS1402で算出されテンポラリのメモリに格納されたブロック座標の終点座標と等しい。このようにして算出したブロック座標が、ステップS1402及びステップS1418で算出された「区切り線ブロック」毎に、算出された順番に、表示ブロック座標リストに格納される。また、1つの「区切り線ブロック」について、算出される「表示ブロック」のサイズは一定であるが、サイズの異なる区切り線ブロック間では、「表示ブロック」のサイズは異なる。
ステップS1304で、メモリ上にある表示ブロックリストを参照し、ブロックテーブル(各ブロックのブロック座標と後述する非表示フラグ情報が、各ブロックのID番号(エリアズーム時の表示順を示す)と対応して記述されたテーブル。図15の1502参照)を生成する。
ステップS1305では、変数Lに総ブロック数を格納する。なお、総ブロック数は(ブロックテーブル最大ID)+1により算出される。
ステップS1306では、エリアズーム表示しようとする処理対象をブロックテーブル1502のID1にセットする。
次にステップS1310でズーム表示処理を起動し、処理対象であるブロックをエリアズーム表示する。ステップS1311ではイベント情報を判定し、イベント情報が「前送り操作」(ブロックズームモードにおける左カーソルキー1105の操作)であった場合にはステップS1312に進む。ステップS1312では、処理対象のブロック(ポインタで指定されたブロック)のIDが0であるか否かを判定し、ID=0でないと判定された場合には、ステップS1317に進み、IDをディクリメントしステップS1310に戻る。一方、ステップS1312でID=0と判定された場合には、ステップS1318に進み、IDを(総ブロック数−1)にすることで処理対象をブロックテーブルの最大ID(=L−1)のブロックに移動し、ステップS1310に戻る。
一方、ステップS1311でイベント情報が「次送り操作」(ブロックズームモードにおける右カーソルキー1104の操作)であった場合には、ステップS1313に進み、処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)であるか否かを判定する。処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)あった場合には、ステップS1310に進み、IDを先頭(ID=0)に移動し、ステップS1310に戻る。一方、ステップS1313で、処理対象のブロックのIDがブロックテーブルの最大ID(=L−1)でなかった場合には、ステップS1319に進み、IDを1つ進めてステップS1310に戻る。
また、ステップS1311でイベント情報が「エリア指定操作」(シフトキー1106を押した状態で、ズームキー1108を押すことで矩形を表示して、矩形の領域内をズーム表示対象として指定して、決定キー1107を押すことでズーム表示領域を確定する操作)であった場合には、ステップS1314に進み、現在表示中のブロックテーブルIDのブロック座標をテンポラリーのブロックテーブルに書き込む。続いて、ステップS1315で表示中のブロック座標を「エリア指定操作」によって指定された領域の座標に書き換え、ステップS1310に戻る。
また、ステップS1311でイベント情報が「アンドゥ」であった場合には、ステップS1316に進み、テンポラリーのブロックテーブルよりIDとブロック座標を取得して、ブロックテーブル502の該当するIDのブロック座標を書き換え(つまり、「エリア指定操作」によって表示領域が変更される前の状態に戻し)、ステップS1310に戻る。
また、ステップS1311でイベント情報が「非表示指定」(非表示キー1111を押すことで、現在エリアズーム表示中の表示ブロックを非表示に設定する操作)であった場合には、ステップS1308に進み、ブロックテーブル1502の現在のブロックに対応するIDの非表示フラグを非表示指定を示す1に書き換え(非表示フラグの0は、非表示OFFを示し、1は非表示ONを示す。初期値は0である。)、ステップS1309でブロックIDを1つ進め、ステップS1310に戻る。
また、ステップS1311でイベントが「ブロックズームモード終了」(ブロックズーム切替ボタン1109の操作)であった場合には、ブロックズーム処理を終了する。
<実施例>
図12は第3の実施形態において、ユーザ操作による区切り線指示によりブロック化処理(図13)した場合の処理の具体例を示す図である。1201は、ブロックズームモードOFFの時に、表示装置に処理対象画像が表示されている状態である。1202は、ブロックズームモードONの時に、表示装置に表示された処理対象画像に対して、区切り線指示操作(シフトキー1106を押した状態で上カーソルキー1102を押すことによる操作)を行って区切り線1202aを表示した状態であり、区切り線はカーソルキーの示す方向に垂直(すなわち、上カーソルキー1102または下カーソルキー1103であれば横線、左カーソルキー1104または右カーソルキー1105であれば縦線)に表示される。区切り線1202aは初期表示位置として画面の中央に表示されている。1203は、下カーソルキー1103を押して区切り線1202aを下方向(Y座標を乗ずる方向)に移動させた状態であり、ここで、決定キー1107を押すことにより、区切り線座標データが区切り線レジスタに格納される。
なお、1202および1203において、区切り線1202aを表示画面からはみ出た状態で図示したが、これは説明の為にであり、実際には表示画面外に表示されることはない。
1204は、区切り線1202aが確定した状態で決定キー1107を押すズーム確定操作を行った結果、区切り線レジスタを参照して取得(ステップS1301)された区切り線1202aの座標データに基づいて算出 (ステップS1303) されたブロックを示すものである。1204では説明の為に、算出された表示ブロックのID番号0〜5をそれぞれ中央に表示したが、実際には必ずしも表示する必要は無い。
1205は、1202から1203の操作を経て、ズーム確定操作を行った時の最初に表示される画面(最初にエリアズームされるブロック)であり、1204のように決定された表示ブロックの1がエリアズーム表示されている。
図16は、第3の実施形態において、ブロック化処理(ステップS1303のブロック座標算出処理)した場合の、ブロックズーム表示時の処理の具体例を示す図である。
1601は、ブロックテーブル1502と関連付けられた画像データを、ブロックズーム表示する例であり、ズーム確定操作後最初に、ブロック1(ブロックテーブルID1)がエリアズーム表示され、順送り表示操作(カーソルキー1104)により、ブロック2以降が順番にエリアズーム表示され、ブロックテーブル最大IDであるブロック5の次には、ブロックテーブルの先頭に戻り、ブロック0が表示される。
1602は、ブロックテーブル1603と関連付けられた画像データをブロックズーム表示する例であり、ブロックテーブル1603のID3〜5の非表示フラグが1(非表示指定On)、つまりブロック3〜5に非表示指定があるので、ズーム確定操作後最初にブロック1がエリアズーム表示され、次に順送り表示操作(カーソルキー1104)によりブロック2がエリアズーム表示されると、次には、ブロックテーブルの先頭に戻り、ブロック0が表示される。
ブロックテーブル1603は、図12のような操作により生成されたブロックテーブル1502が、非表示指定操作(ブロックズームモードにおいて、ブロック表示中に非表示キー1111を押すことによりそのブロックに非表示指定を行う操作)によりブロック4とブロック5に非表示指定がされた結果、書き換えられたブロックテーブルである。
以下に、本実施形態(図12の1201のような画像が表示されている場合)についての情報処理装置1100の具体的な動作を上記フローチャート(図13)に即して説明する。
ユーザが、表示画面に図12の1201のような画像が表示されている状態で、ブロックズーム切替ボタン1109を押すと、図2のステップS204(ブロックズーム処理)が起動される。処理が起動されると、ステップS1300でズーム確定操作(決定キー1107を押す操作)が実行されるまで待機する。
ここで、シフトキー1106を押した状態で上カーソルキー1102を押すと、1202のように、区切り線1202aが画面に水平に表示される。区切り線は、初期状態として、画面の中央に表示するが、続けて垂直方向のカーソルキーを押すことにより、任意の位置に移動させることができる。そこで、下カーソルキー1103を押して、区切り線1202aを下に移動させる。区切り線が表示されている状態で、続いて決定キー1107を押すことにより、区切り線1202aの座標データが区切り線レジスタに格納される。さらに、決定キー1107を押すことにより、ズーム確定操作となり、ステップS1301で区切り線レジスタに格納された座標データが取得され、ステップS1302で図15の1501のような区切り線テーブルが生成される。
ステップS1303で、ブロック座標算出処理を起動し、区切り線テーブル1501の座標データに基づいてブロック座標(エリアズーム表示する各矩形領域(=ブロック)の対角座標)が算出され、1502のようなブロックテーブルが生成される。続いて、ステップS1305では、変数Lに総ブロック数として6を格納する。総ブロック数は(ブロックテーブル最大ID)+1により算出されるので、5+1=6となる。
次に、ステップS1306で、エリアズーム表示しようとする処理対象をブロックテーブル1502のID1にセット(つまり、ブロック1がポインタにより指定されたブロックとなる)にされる。
ブロックテーブル1502の先頭には、ID0として、処理対象画像1201全体を1つのブロックとするブロック座標が格納されている。図12では、これをブロック0として、便宜的に1204において数字0で示している。
なお、本実施例では区切り線が1本ひかれており、2つの「区切り線ブロック」があり、それぞれの「区切り線ブロック」内をくまなく表示する「表示ブロック」が、ブロック化(ステップS1301乃至S1304)されている。0〜6の数字は、図15のブロックテーブル1502に対応しており、ブロックズーム表示時の表示順番を示している。0は、初期値として画像全体をブロックとし、1〜6のブロックの表示が終わると再びブロック0を表示する。1204に、それぞれブロック0〜6として、区切り線と点線による囲み及び0〜6の数字でこれを示す。なお、説明の為に、ブロック番号を図示しているが、実際の画面上では表示しても良いし、しなくてもよい。
ステップS1306で、ブロックテーブル1502のID1の座標(0、0)(330、250)が処理対象としてセットされると、ステップS1310で図4のズーム表示処理が起動され、取得したブロック1についてエリアズーム表示を行う(ステップS402)。ここで、次送り操作(右カーソルキー1104を押す操作)を行うと、ステップS1313でブロックテーブル1502のIDをチェックし、ステップS1309でIDを1つ進め、次のブロック(ブロック2)をエリアズーム表示する(ステップS1310)。1205はこのようにして表示されたブロック1のエリアズーム表示の画像である。
同様に、次送り操作で、ブロック3、ブロック4・・・ブロック6をエリアズーム表示する。ここで、前送り操作(左カーソルキー1105を押す操作)を行うと、ステップS1312でブロックテーブル1502のIDをチェックし、前のブロックを表示する。ブロック5をエリアズーム表示中に、次送り操作をした場合には、ブロックテーブル1502の先頭に移動し(ステップS1320)、ブロック0をエリアズーム表示する。
ここで、エリアズーム表示中の画像について「エリア指定操作」を行うと、操作前のブロック座標をテンポラリのブロックテーブルに書き込み(ステップS1314)、「エリア指定操作」によって指定された領域の座標でブロックテーブル1502の該当IDのブロック座標を書き換え(ステップS1315)、エリアズーム表示する(ステップS1310)。ここでテンポラリーのブロックテーブルに書き込まれたIDとブロック座標は、それぞれID毎に1つのみ保持され、ブロックズームモードを終了するまでは、該当ブロック表示中に「アンドゥ操作」を行うことにより変更前のブロック座標に戻ることができる。
以上説明したように、本実施形態によれば、カーソルキーにより区切り線を入力することにより、エリアズーム表示をするための複数の領域を一度に決定するだけでなく、その際に、区切り線で区切られた矩形領域内をくまなく表示するようにブロックを決定しエリアズームするので、特に写真画像などのズーム表示時に、従来のポインティングデバイスを用いた領域指定やスクロール操作する表示方法に比べて操作性が格段に向上する。
さらに、ブロック毎に非表示指定できるので、ズーム表示したいブロックだけを簡単に順番に表示することができる。
また、区切り線を入力することにより一旦ブロック化したブロック情報を画像データと関連付けて記憶するので、各ブロックをカーソルキーの操作だけで順次エリアズーム表示させることができ、ズーミングを行うごとに画像をスクロールさせ領域指定を行っていた従来のエリアズーム表示に比べ、操作性が格段に向上する。
なお、本実施例では、ブロックズームモードにおいて、ブロック表示中に非表示キー1111を押すことによりそのブロックに非表示指定を行える操作としたが、また別の実施例として、区切り線表示時に、ポインタによる指定操作などにより指定した「区切り線ブロック」に対して非表示キー1111を押すことにより非表示指定を行うことで、その「区切り線ブロック」内の「表示ブロック」については、ブロックテーブル生成時に対応するIDの非表示フラグの初期値をOnにして、複数の表示ブロックの非表示指定を一度に行えるようにしてもよい。
なお、上記実施形態では、分割手段を実現するにあたり、図7及び図12にあるように、表示画面上に表示した区切り線をキー操作により移動させるよう構成したが、本発明は特にこれに限られるものではない。例えば、タッチパネルを備えた表示装置上で、指またはペン等により線を引くという行為により区切り線を指示入力するよう構成してもよい。
また、上記実施形態では、図5及び図6のブロックテーブルに示すように、前記与えられた指示により分割された複数のブロック領域について、各々を識別するIDとして番号を付することとしたが、本発明はこれに限られず、例えば名前を付するようにしてもよいし、他の識別情報を付するようにしてもよい。
また、上述の説明から明らかなように、上記実施形態にかかる情報処理装置は、分割手段により分割されたブロックの情報により生成されたブロックテーブルを、該分割されたブロック領域を含む元の画像データと関連付けて記憶する第1の記憶制御機能を備える。また、識別手段により識別された結果得られた各ブロックの識別IDを、ユーザ操作により与えられた指示情報と関連付けてブロックテーブルに記憶する第2の記憶制御機能を備える。
そして、ここでいう「ユーザ操作により与えられた指示情報」には、区切り線指示操作より判断されるブロックの表示順番を示す情報が含まれる。なお、ブロックの表示順番を示す情報としては、上記実施形態において説明したように、識別手段により付されたID番号を使用してもよいし、ID番号とは別の番号を使用するようにしてもよい。また、ID番号は、識別手段により付されたものを使用してもよいし、ユーザ操作により任意にブロックの表示順番を指示可能な構成にあっては、該ユーザ操作により指示されたものを使用するようにしてもよい。
そのほか、「ユーザ操作により与えられた指示情報」には、任意のブロックに対するエリア指定操作により変更指示された表示領域の座標情報や、任意のブロックに対する非表示指定情報が含まれる。さらに、任意のブロックに対する情報としては、非表示指定情報に限定されるものではなく、例えば、表示時間を指定する情報等であってもよい。また、表示時間を指定する情報を0とすることで非表示指定された情報であってもよい。
また、上記実施形態においては、指定情報として、ポインタ(図11にあるような装置において、ユーザによるカーソルキー操作により、画面上で任意の領域が指定されていることを示す指示子)を表示する為の情報を用いることとしたが、本発明はこれに限られない。
例えば、タッチパネルを備えた表示装置の画面において、表示画面上を指またはペン等でタッチすることにより指定される座標情報であってもよいし、マウス等のポインティングデバイスを備えた表示装置にあっては、ポインティングデバイスにより指定される座標情報であってもよい。
また、指定情報としてのポインタは、選択中のブロックを囲む枠線であってもよいし、ブロックを示す記号やアイコンであってもよく、また、非表示であってもよい。
また、上記実施形態では、図11にあるような装置にて表示されるブロックの指定情報を更新するための更新指示手段を構成するデバイスとして、カーソルキーを用いることとしたが、本発明はこれに限られず、例えば、ダイヤルのような回転デバイスを用いるようにしてもよい。その場合、回転デバイスの回転回数や速度に基づいて指定情報が更新されることとなる。
また、更新指示手段を構成するデバイスとして、デジタイザを用いるようにしてもよい。その場合、例えば、画面上を一回叩くと一回更新し、二回叩くと二回更新するといったように、操作回数に応じて指定情報が更新されることとなる。
また、音声認識装置と接続される表示装置において、ユーザの音声指示操作によって、指定情報を更新するよう構成してもよい。
また、センサを備えた装置と接続される表示装置において、ユーザの身体ジェスチャー操作によって指定情報を更新するよう構成してもよい。
[他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ(登録商標)ディスク,ハードディスク,光ディスク,光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
情報処理装置のシステム構成を示す図である。 情報処理装置における全体処理の流れを示すフローチャートである。 情報処理装置におけるブロックズーム処理の詳細の流れを示すフローチャートである。 情報処理装置におけるズーム表示処理の詳細の流れを示すフローチャートである。 情報処理装置において、ブロック化ステップの結果生成される区切り線テーブル及び同テーブルより生成されるブロックテーブルの例を示す図である。 情報処理装置において、ブロック化ステップの結果生成される区切り線テーブル及び同テーブルより生成されるブロックテーブルの例を示す図である。 情報処理装置において、ブロック化処理によりブロック化し、エリアズーム表示した場合の処理の具体例を示す図である。 第2の実施形態におけるブロックズーム処理の流れを示すフローチャートである。 第2の実施形態において、レイアウト解析処理によってブロック化処理した場合の処理の具体例を示す図である 第2の実施形態において、レイアウト解析処理によってブロック化処理した場合の他の具体例を示す図である。 本発明の一実施形態にかかる情報処理装置の外観構成を示す図である。 第3の実施形態において、ブロック化処理した場合の処理の具体例を示す図である。 第3の実施形態において、情報処理装置1100におけるブロックズーム処理の詳細の流れを示すフローチャートである。 第3の実施形態において、情報処理装置1100におけるブロックズーム処理において、起動されるブロック座標算出処理の流れを示すフローチャートである。 情報処理装置1100において、ブロック化ステップの結果生成される区切り線テーブル及び同テーブルより生成されるブロックテーブルの例を示す図である。 情報処理装置1100において、ブロック化処理によりブロック化した画像領域を、ブロックズーム表示操作(ブロックを順番にエリアズームする操作)する場合の操作と表示例を示す図である。
符号の説明
101:画像入力部
102:画像表示部
103:入出力I/F部
104:CPU
105:プログラムメモリ
106:データメモリ
107:区切り線テーブル
108:ブロックテーブル
109:バス
110:操作部
111:RAM
112:制御プログラム
1100:情報処理装置の外観構成図
1101:表示画面
1102〜1105:カーソルキー
1106:シフトキー
1107:決定キー
1108:ズームキー
1109:ブロックズーム切替ボタン
1110:メニューボタン
1111:非表示キー

Claims (8)

  1. 画面に表示される画像のうち、指定された任意の領域を拡大して表示させることが可能な情報処理装置であって、
    与えられた指示に基づいて前記画面に表示された画像を複数の領域に分割する分割手段と、
    前記分割手段により分割された前記画像の各領域を識別する識別手段と、
    前記識別手段により識別された各領域を前記表示された画像に関連づけて記憶手段に記憶する第1の記憶制御手段と、
    前記各領域を指定するための指定情報を順次更新指示する更新指示手段と、を備え、
    前記指定情報によって指定された領域を、前記画面の大きさに応じて拡大して表示することを特徴とする情報処理装置。
  2. 前記分割手段は、
    与えられた指示に基づいて、前記画面に表示されている区切り線を移動することにより分割する領域を決定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記分割された画像の領域を、与えられた指示に基づいて識別番号の順番に表示し、最後の領域を表示し終わると、前記画像の全体を表示することを特徴とする請求項1に記載の情報処理装置。
  4. 画面に表示される画像のうち、指定された任意の領域を拡大して表示させることが可能な情報処理装置であって、
    与えられた指示に基づいて前記画面に表示された画像を複数の領域に分割する分割手段と、
    前記分割手段により分割された前記画像の各領域を識別する識別手段と、
    前記識別手段により識別した各領域を前記表示された画像に関連づけて記憶手段に記憶する第1の記憶制御手段と、
    前記識別手段により識別された各領域と与えられた指示情報とを関連づけて記憶手段に記憶する第2の記憶制御手段と、
    前記各領域を指定するための指定情報を順次更新指示する手段と、を備え、
    前記指定情報によって指定された領域を、前記画面の大きさに応じて拡大して表示することを特徴とする情報処理装置。
  5. 画面に表示される画像のうち、指定された任意の領域を拡大して表示させることが可能な情報処理方法であって、
    与えられた指示に基づいて前記画面に表示された画像を複数の領域に分割する分割工程と、
    前記分割工程により分割された前記画像の各領域を識別する識別工程と、
    前記識別工程により識別された各領域を前記表示された画像に関連付けて記憶する第1の記憶制御工程と、
    前記識別工程により識別された各領域と与えられた指示情報とを関連付けて記憶する第2の記憶制御工程と、
    前記各領域を指定するための指定情報を順次更新指示する更新指示工程と、を備え、
    前記指定情報によって指定された領域を前記画面の大きさに応じて拡大して表示することを特徴とする情報処理方法。
  6. 前記分割工程は、
    与えられた指示に基づいて、前記表示画面に表示されている区切り線を移動することにより分割する領域を決定することを特徴とする請求項5に記載の情報処理方法。
  7. 請求項5に記載の情報処理方法をコンピュータによって実現させるための制御プログラムを格納した記憶媒体。
  8. 請求項5に記載の情報処理方法をコンピュータによって実現させるための制御プログラム。
JP2005135425A 2004-05-14 2005-05-06 情報処理装置および情報処理方法ならびに記憶媒体、プログラム Expired - Fee Related JP5072194B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005135425A JP5072194B2 (ja) 2004-05-14 2005-05-06 情報処理装置および情報処理方法ならびに記憶媒体、プログラム
US11/128,972 US7742095B2 (en) 2004-05-14 2005-05-13 Information processing apparatus, method and storage medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004145491 2004-05-14
JP2004145491 2004-05-14
JP2005135425A JP5072194B2 (ja) 2004-05-14 2005-05-06 情報処理装置および情報処理方法ならびに記憶媒体、プログラム

Publications (3)

Publication Number Publication Date
JP2005352464A true JP2005352464A (ja) 2005-12-22
JP2005352464A5 JP2005352464A5 (ja) 2008-06-19
JP5072194B2 JP5072194B2 (ja) 2012-11-14

Family

ID=35309035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005135425A Expired - Fee Related JP5072194B2 (ja) 2004-05-14 2005-05-06 情報処理装置および情報処理方法ならびに記憶媒体、プログラム

Country Status (2)

Country Link
US (1) US7742095B2 (ja)
JP (1) JP5072194B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009047998A (ja) * 2007-08-21 2009-03-05 Funai Electric Co Ltd 表示装置
JP2009163072A (ja) * 2008-01-09 2009-07-23 Tokai Rika Co Ltd 画像表示装置及び画像表示方法
JPWO2014112029A1 (ja) * 2013-01-15 2017-01-19 日立マクセル株式会社 情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602974B2 (en) * 2005-10-21 2009-10-13 Mobilic Technology (Cayman) Corp. Universal fixed-pixel-size ISP scheme
US20070091379A1 (en) * 2005-10-21 2007-04-26 Mobilic Technology Corp. Universal fixed-pixel-size ISP scheme
WO2007086462A1 (ja) * 2006-01-27 2007-08-02 Brother Kogyo Kabushiki Kaisha 表示装置
KR101491594B1 (ko) 2007-11-05 2015-02-09 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 이미지 처리 방법
US11714829B2 (en) * 2020-12-14 2023-08-01 Sap Se Parallel calculation of access plans delimitation using table partitions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04342081A (ja) * 1991-05-20 1992-11-27 Canon Inc 画像処理装置
JPH06282258A (ja) * 1993-03-30 1994-10-07 Hitachi Ltd 情報表示システムの表示制御方式
JPH0955921A (ja) * 1995-08-17 1997-02-25 Sony Corp Isdb用送信装置およびその受信装置
JP2003288068A (ja) * 2002-01-23 2003-10-10 Sony Corp 画像表示制御方法および画像表示制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08202856A (ja) 1995-01-27 1996-08-09 Canon Inc 画像処理方法
US6195122B1 (en) * 1995-01-31 2001-02-27 Robert Vincent Spatial referenced photography
JPH0926769A (ja) 1995-07-10 1997-01-28 Hitachi Ltd 画像表示装置
JPH104531A (ja) * 1996-06-14 1998-01-06 Nikon Corp 情報処理装置
EP0829729B1 (en) * 1996-06-21 2004-05-12 Agilent Technologies, Inc. (a Delaware corporation) Measuring apparatus and method for the adjustment of test/measurement parameters
TW412732B (en) * 1998-01-16 2000-11-21 Hitachi Ltd Video apparatus with zoom-in magnifying functionand zoom location displaying method
JP3763663B2 (ja) 1998-03-31 2006-04-05 株式会社日立製作所 表示制御装置および画像表示装置
US6476873B1 (en) * 1998-10-23 2002-11-05 Vtel Corporation Enhancement of a selectable region of video
JP3747737B2 (ja) * 2000-05-10 2006-02-22 日本電気株式会社 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体
JP2001324947A (ja) 2000-05-16 2001-11-22 Yuki Konno 表示装置
JP4090254B2 (ja) * 2002-03-12 2008-05-28 富士フイルム株式会社 情報記録装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04342081A (ja) * 1991-05-20 1992-11-27 Canon Inc 画像処理装置
JPH06282258A (ja) * 1993-03-30 1994-10-07 Hitachi Ltd 情報表示システムの表示制御方式
JPH0955921A (ja) * 1995-08-17 1997-02-25 Sony Corp Isdb用送信装置およびその受信装置
JP2003288068A (ja) * 2002-01-23 2003-10-10 Sony Corp 画像表示制御方法および画像表示制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009047998A (ja) * 2007-08-21 2009-03-05 Funai Electric Co Ltd 表示装置
JP2009163072A (ja) * 2008-01-09 2009-07-23 Tokai Rika Co Ltd 画像表示装置及び画像表示方法
JPWO2014112029A1 (ja) * 2013-01-15 2017-01-19 日立マクセル株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP5072194B2 (ja) 2012-11-14
US7742095B2 (en) 2010-06-22
US20050253949A1 (en) 2005-11-17

Similar Documents

Publication Publication Date Title
JP5072194B2 (ja) 情報処理装置および情報処理方法ならびに記憶媒体、プログラム
EP2406707B1 (en) Method and apparatus for selecting text information
US7770130B1 (en) Non-distracting temporary visual clues for scrolling
JP4301842B2 (ja) ユーザインタフェースの利用方法
EP0703563A2 (en) Method and apparatus for displaying overlapping graphical objects on a computer monitor
EP4246287A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
EP2068237A2 (en) Information display terminal, information display method and program
US20130024818A1 (en) Apparatus and Method for Handling Tasks Within a Computing Device
JP2003303047A (ja) 画像入力及び表示システム、ユーザインタフェースの利用方法並びにコンピュータで使用可能な媒体を含む製品
EP2381347B1 (en) Method for displaying an object having a predetermined information content on a touch screen
JPH05242215A (ja) 画像処理方法及びシステム、並びに図形処理システム
JPH09231393A (ja) 命令入力装置
CN112825040A (zh) 用户界面的显示方法、装置、设备及存储介质
EP4180927A1 (en) Information display method, electronic device and storage medium
US6335740B1 (en) Data processing apparatus and method for facilitating item selection by displaying guidance images
CN111898353A (zh) 表格展示方法、装置及介质
US20060244762A1 (en) Image editing method
EP2827299A2 (en) Electronic device and image data displaying method
CN115344797A (zh) 显示方法、装置、电子设备和可读存储介质
JP5066877B2 (ja) 画像表示装置、画像表示方法、およびプログラム
JPH04199371A (ja) 画像表示装置
JP2005216170A (ja) 携帯端末装置および情報処理装置の入力処理方法
CN117274057A (zh) 图像拼接方法及装置
JP2922578B2 (ja) 文字処理装置
JP2001249743A (ja) 視覚表現機能を備えた電子機器及びその表示制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees