JP2014052744A - Document display device, document display terminal and document display program - Google Patents

Document display device, document display terminal and document display program Download PDF

Info

Publication number
JP2014052744A
JP2014052744A JP2012195493A JP2012195493A JP2014052744A JP 2014052744 A JP2014052744 A JP 2014052744A JP 2012195493 A JP2012195493 A JP 2012195493A JP 2012195493 A JP2012195493 A JP 2012195493A JP 2014052744 A JP2014052744 A JP 2014052744A
Authority
JP
Japan
Prior art keywords
data
character string
selection
character
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012195493A
Other languages
Japanese (ja)
Other versions
JP6079069B2 (en
Inventor
Masaru Iida
優 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012195493A priority Critical patent/JP6079069B2/en
Publication of JP2014052744A publication Critical patent/JP2014052744A/en
Application granted granted Critical
Publication of JP6079069B2 publication Critical patent/JP6079069B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a document display device, a document display terminal and a document display program that allow a user to easily and correctly select a character string with an operation to a touch panel using a finger even when information is displayed on a display panel with high density.SOLUTION: A document display device includes: a display panel for displaying document data having character data laid out therein; a touch panel integrated with the display panel for detecting a locus of a handwriting operation by a user; and a character string selection support unit for selecting a character string specified by the locus from the character data displayed on the display panel. The character string selection support unit determines a closed area specified by the locus, extracts character data belonging to the closed area, obtains modification attributes of the extracted character data, determines a modification attribute having the highest appearance frequency as a selection attribute on the basis of appearance frequencies of the obtained modification attributes, sequentially connects character data having the same modification attribute as the selection attribute and included in the closed area to obtain character string data, and selects the obtained character string data as a character string specified by the locus.

Description

本発明は、文書表示装置、文書表示端末および文書表示プログラムに関する。   The present invention relates to a document display device, a document display terminal, and a document display program.

タブレットコンピューター等の文書表示端末は、表示パネルと一体化されたタッチパネルを入力装置として有しており、タッチパネル操作はユーザーの指で行うことが主流であり(例えば、特許文献1〜6参照。)、表示パネルに表示されている文書から文字列を選択する場合、選択範囲の始点および終点をタップする操作あるいは始点から終点の間をスライドする操作を実施する必要がある。   A document display terminal such as a tablet computer has a touch panel integrated with a display panel as an input device, and a touch panel operation is mainly performed by a user's finger (for example, see Patent Documents 1 to 6). When selecting a character string from a document displayed on the display panel, it is necessary to perform an operation of tapping the start point and end point of the selection range or an operation of sliding between the start point and the end point.

特開2010−128539号公報JP 2010-128539 A 特開2010−122800号公報JP 2010-122800 A 特開2010−067178号公報JP 2010-067178 A 特開2007−200002号公報JP 2007-200002 A 特開2005−189993号公報JP 2005-189993 A 特開2010−122800号公報JP 2010-122800 A

しかし、表示パネルは、解像度が向上し、従来より高密度に情報を表示することが可能になっており、指による操作では、正確なタップ位置あるいはスライド始点および終点を視認し辛く、ユーザーにとって必要とする範囲を正確に選択することが困難である問題を有する。   However, the display panel has improved resolution and is capable of displaying information at a higher density than before, and it is difficult for the user to visually recognize the exact tap position or slide start point and end point, so it is necessary for the user. It is difficult to accurately select the range.

本発明は、上記従来技術に伴う課題を解決するためになされたものであり、表示パネルに高密度に情報が表示されている場合であっても、指によるタッチパネル操作によって文字列を容易かつ正確に選択し得る文書表示装置、文書表示端末および文書表示プログラムを提供することを目的とする。   The present invention has been made to solve the problems associated with the above-described conventional technology, and even when information is displayed on the display panel at a high density, a character string can be easily and accurately operated by a touch panel operation with a finger. An object of the present invention is to provide a document display device, a document display terminal, and a document display program that can be selected.

本発明の上記目的は、下記の手段によって達成される。   The above object of the present invention is achieved by the following means.

(1)文字データがレイアウトされた文書データを表示する表示パネルと、
前記表示パネルと一体化され、ユーザーの手書き操作の軌跡を検出するタッチパネルと、
前記表示パネルに表示された前記文字データから、前記軌跡によって指定された文字列を選択する文字列選択補助部と、を有しており、
前記文字列選択補助部は、
前記軌跡によって特定される閉領域を決定し、
前記閉領域に属する文字データを抽出し、
抽出された前記文字データの修飾属性を取得し、
取得された前記修飾属性の出現頻度に基づき、最も出現頻度の高い修飾属性を選択属性として決定し、
前記選択属性と同一の修飾属性を有しかつ前記閉領域に含まれる文字データを順次連結して、文字列データを取得し、
取得された文字列データを、前記軌跡によって指定された文字列として選択する
ことを特徴とする文書表示装置。
(1) a display panel for displaying document data in which character data is laid out;
A touch panel that is integrated with the display panel and detects a locus of a user's handwriting operation;
A character string selection auxiliary unit that selects a character string specified by the locus from the character data displayed on the display panel,
The character string selection auxiliary unit is
Determining a closed region identified by the trajectory;
Extracting character data belonging to the closed region;
Get the decoration attribute of the extracted character data,
Based on the obtained appearance frequency of the modified attribute, the modified attribute with the highest appearance frequency is determined as a selection attribute,
The character data having the same modification attribute as the selection attribute and character data included in the closed region are sequentially connected to obtain character string data,
The obtained character string data is selected as a character string designated by the trajectory.

(2)前記文字データの修飾属性は、下線、傍線、傍点、文字色、背景色、文字スタイル、あるいは、これらの組合せであることを特徴とする上記(1)に記載の文書表示装置。   (2) The document display device according to (1), wherein the modification attribute of the character data is an underline, a side line, a side point, a character color, a background color, a character style, or a combination thereof.

(3)前記文字列選択補助部は、前記軌跡が閉じていない場合、前記軌跡の始点と終点との間を補完し、前記閉領域を決定することを特徴とする上記(1)又は上記(2)に記載の文書表示装置。   (3) When the locus is not closed, the character string selection assisting unit complements a space between a start point and an end point of the locus, and determines the closed region (1) or ( The document display device according to 2).

(4)前記文字列選択補助部は、前記軌跡によって特定される前記閉領域に抽出すべき文字データが存在しない場合、前記閉領域の形状に基づき、所定の方向に前記閉領域を拡張し、拡張後の閉領域から、文字データを抽出することを特徴とする上記(1)〜(3)のいずれか1項に記載の文書表示装置。   (4) When there is no character data to be extracted in the closed region specified by the trajectory, the character string selection assisting unit expands the closed region in a predetermined direction based on the shape of the closed region, 4. The document display device according to any one of (1) to (3), wherein character data is extracted from a closed region after expansion.

(5)前記文字データの修飾属性の出現頻度は、前記文字データが属する閉領域の中心からの距離に応じて重みが与えられおり、前記重みは、前記閉領域の中心に近いほど、大きくなっていることを特徴とする上記(1)〜(4)のいずれか1項に記載の文書表示装置。   (5) The appearance frequency of the modification attribute of the character data is given a weight according to the distance from the center of the closed region to which the character data belongs, and the weight increases as the distance from the center of the closed region is closer. The document display device according to any one of (1) to (4) above, wherein

(6)前記文字列選択補助部は、次に連結する文字データが所定の連結終端文字である場合、あるいは、次に連結する文字データが文頭もしくは文末に位置している場合、文字データの連結を終了する
ことを特徴とする上記(1)〜(5)のいずれか1項に記載の文書表示装置。
(6) The character string selection auxiliary unit connects character data when the next character data to be concatenated is a predetermined concatenation termination character, or when the character data to be concatenated next is located at the beginning or end of a sentence. The document display device according to any one of (1) to (5), wherein the document display device is terminated.

(7)前記文字列選択補助部によって取得された文字列データを調整する選択範囲調整部をさらに有し、
前記選択範囲調整部は、前記文字列データの範囲を特定する矩形を、前記表示パネルに表示される前記文書データにオーバーラップして表示し、前記ユーザーの手書き操作の軌跡による指示の基づき、前記矩形のサイズを変更することにより、前記文字列データの範囲を調整する
ことを特徴とする上記(1)〜(6)のいずれか1項に記載の文書表示装置。
(7) a selection range adjustment unit that adjusts the character string data acquired by the character string selection auxiliary unit;
The selection range adjustment unit displays a rectangle that specifies the range of the character string data so as to overlap the document data displayed on the display panel, and based on an instruction based on a trajectory of the user's handwriting operation, The document display device according to any one of (1) to (6), wherein a range of the character string data is adjusted by changing a size of a rectangle.

(8)前記文書データは、ビットマップ画像であり、
前記文書表示装置は、文字領域の判別および修飾属性の判別のための領域判別処理を前記文書データに対して実行する領域判別部をさらに有し、
前記文字列選択補助部は、前記領域判別部によって判別された前記文字領域および前記文字領域の前記修飾属性を利用する
ことを特徴とする上記(1)〜(7)のいずれか1項に記載の文書表示装置。
(8) The document data is a bitmap image,
The document display device further includes an area determination unit that executes an area determination process for determining the character area and the decoration attribute for the document data,
The said character string selection auxiliary | assistant part utilizes the said modification attribute of the said character area and the said character area which were discriminate | determined by the said area | region discrimination | determination part. Any one of said (1)-(7) characterized by the above-mentioned. Document display device.

(9)文字データがレイアウトされた文書データを表示する表示パネルと、
前記表示パネルと一体化され、ユーザーの手書き操作の軌跡を検出するタッチパネルと、
記表示パネルに表示された前記文字データから、前記軌跡によって指定された文字列を選択する文字列選択補助部と、
選択された前記文字列データに係る選択情報を、前記文書データと関連付けて記憶する選択情報記憶部と、を有しており、
前記文字列選択補助部は、
前記軌跡によって特定される閉領域を決定し、
前記閉領域に属する文字データを抽出し、
抽出された前記文字データの修飾属性を取得し、
取得された前記修飾属性の出現頻度に基づき、最も出現頻度の高い修飾属性を選択属性として決定し、
前記選択属性と同一の修飾属性を有しかつ前記閉領域に含まれる文字データを順次連結して、文字列データを取得し、
取得された文字列データを、前記軌跡によって指定された文字列として選択しており、
前記選択情報は、
選択された前記文字列データの前記文書データにおける相対位置に加えて、
前記選択属性、前記軌跡の属性、および、前記軌跡が描く形状の内の少なくとも1つを含んでいる
ことを特徴とする文書表示端末。
(9) a display panel for displaying document data in which character data is laid out;
A touch panel that is integrated with the display panel and detects a locus of a user's handwriting operation;
A character string selection auxiliary unit for selecting a character string designated by the locus from the character data displayed on the display panel;
A selection information storage unit that stores selection information related to the selected character string data in association with the document data;
The character string selection auxiliary unit is
Determining a closed region identified by the trajectory;
Extracting character data belonging to the closed region;
Get the decoration attribute of the extracted character data,
Based on the obtained appearance frequency of the modified attribute, the modified attribute with the highest appearance frequency is determined as a selection attribute,
The character data having the same modification attribute as the selection attribute and character data included in the closed region are sequentially connected to obtain character string data,
The acquired character string data is selected as a character string designated by the locus,
The selection information is:
In addition to the relative position of the selected character string data in the document data,
The document display terminal includes at least one of the selection attribute, the trajectory attribute, and the shape drawn by the trajectory.

(10)前記選択情報は、前記選択属性、前記軌跡の属性および前記軌跡が描く形状の内の少なくとも2つを含んでいることを特徴とする上記(9)に記載の文書表示端末。   (10) The document display terminal according to (9), wherein the selection information includes at least two of the selection attribute, the trajectory attribute, and the shape drawn by the trajectory.

(11)前記選択情報は、前記選択属性を含んでいることを特徴とする上記(10)に記載の文書表示端末。   (11) The document display terminal according to (10), wherein the selection information includes the selection attribute.

(12)前記選択情報は、前記軌跡の属性情報を含んでおり、
前記軌跡の属性情報は、前記軌跡の太さおよび/又は色を含んでおり、
前記文書表示端末は、前記軌跡の太さおよび/又は色を指定するペン属性指定部を、さらに有していることを特徴とする上記(11)に記載の文書表示端末。
(12) The selection information includes attribute information of the trajectory,
The trajectory attribute information includes the thickness and / or color of the trajectory,
The document display terminal according to (11), wherein the document display terminal further includes a pen attribute specifying unit that specifies the thickness and / or color of the locus.

(13)前記選択情報は、前記軌跡が描く形状の情報を含んでいることを特徴とする上記(12)に記載の文書表示端末。   (13) The document display terminal according to (12), wherein the selection information includes information on a shape drawn by the locus.

(14)前記文書データの全体から、あるいは前記表示パネルに表示されている前記文書データの部分から、前記選択属性と同一の修飾属性を有する文字列データを、自動的に選択する一括選択部をさらに有することを特徴とする上記(11)〜(13)のいずれか1項に記載の文書表示端末。   (14) A collective selection unit that automatically selects character string data having the same modification attribute as the selection attribute from the entire document data or the part of the document data displayed on the display panel. The document display terminal according to any one of (11) to (13), further including:

(15)前記文字列選択補助部によって選択された前記文字列データは、複数存在し、
前記複数の文字列データを、単一のデータとして一括して保存する選択情報保存部を、さらに有することを特徴とする上記(11)〜(14)のいずれか1項に記載の文書表示端末。
(15) There are a plurality of the character string data selected by the character string selection auxiliary unit,
The document display terminal according to any one of (11) to (14), further including a selection information storage unit that collectively stores the plurality of character string data as a single data. .

(16)前記文字列選択補助部によって選択された前記文字列データは、前記選択情報に基づいてレベルが付与されていることを特徴とする上記(11)〜(15)のいずれか1項に記載の文書表示端末。   (16) In any one of the above (11) to (15), the character string data selected by the character string selection auxiliary unit is given a level based on the selection information. The document display terminal described.

(17)前記文書データは、暗記学習の対象であり、
前記選択情報は、前記文字列データの学習レベルをさらに含んでおり、
前記文書表示端末は、
前記選択情報記憶部に記憶されている、前記文書データと関連付けられた前記選択情報を読み出す選択情報読出部と、
読出された前記選択情報に含まれる前記学習レベルに基づき、選択された前記文字列データを、前記表示パネルに表示されている前記文書データに重ね合わせて表示する重合せ表示部と、
をさらに有することを特徴とする上記(9)に記載の文書表示端末。
(17) The document data is an object of memorization learning,
The selection information further includes a learning level of the character string data,
The document display terminal is
A selection information reading unit for reading the selection information associated with the document data, stored in the selection information storage unit;
Based on the learning level included in the read selection information, the superimposed display unit that displays the selected character string data superimposed on the document data displayed on the display panel;
The document display terminal according to (9), further comprising:

(18)前記文書データに重ね合わせて表示される前記文字列データを隠蔽あるいは隠蔽解除する文字列隠蔽部を、さらに有することを特徴とする上記(17)に記載の文書表示端末。   (18) The document display terminal according to (17), further including a character string concealing unit that conceals or cancels the concealment of the character string data displayed to be superimposed on the document data.

(19)前記選択情報は、前記文字列データの識別番号をさらに含んでおり、
前記文字列隠蔽部は、前記識別番号に基づき、前記文書データに重ね合わせて表示される前記文字列データを個別に隠蔽あるいは隠蔽解除することを特徴とする上記(18)に記載の文書表示端末。
(19) The selection information further includes an identification number of the character string data,
The document display terminal according to (18), wherein the character string concealing unit individually conceals or cancels the concealment of the character string data displayed superimposed on the document data based on the identification number. .

(20)前記文字列隠蔽部は、前記学習レベルに基づき、前記文書データに重ね合わせて表示される前記文字列データを個別に隠蔽あるいは隠蔽解除することを特徴とする上記(18)に記載の文書表示端末。   (20) The character string concealing unit individually conceals or cancels the concealment of the character string data displayed superimposed on the document data based on the learning level. Document display terminal.

(21)前記文字列隠蔽部は、前記文書データに重ね合わせて表示される前記文字列データを一括して隠蔽あるいは隠蔽解除することを特徴とする上記(18)に記載の文書表示端末。   (21) The document display terminal according to (18), wherein the character string concealing unit conceals or cancels the concealment of the character string data displayed superimposed on the document data.

(22)前記文書データに重ね合わせて表示される前記文字列データの隠蔽あるいは隠蔽解除の情報は、前記選択情報に関連付けて保存されていることを特徴とする上記(18)〜(21)のいずれか1項に記載の文書表示端末。   (22) Information on concealment or release of concealment of the character string data displayed superimposed on the document data is stored in association with the selection information, as described in (18) to (21) above The document display terminal according to any one of the above.

(23)表示パネルと、前記表示パネルと一体化されたタッチパネルと、文字列選択補助部と、選択情報記憶部と、を有する文書表示端末を制御する文書表示プログラムであって、
前記表示パネルによって、文字データがレイアウトされた文書データを表示する手順、
前記タッチパネルによって、ユーザーの手書き操作の軌跡を検出する手順、
前記文字列選択補助部によって、前記表示パネルに表示された前記文字データから、前記軌跡によって指定された文字列を選択する手順、および、
前記選択情報記憶部によって、選択された前記文字列データに係る選択情報を、前記文書データと関連付けて記憶する手順を有する処理を、前記文書表示端末に実行させ、
前記文字列データを選択する手順において、
前記軌跡によって特定される閉領域が決定され、
前記閉領域に属する文字データが抽出され、
抽出された前記文字データの修飾属性が取得され、
取得された前記修飾属性の出現頻度に基づき、最も出現頻度の高い修飾属性が選択属性として決定され、
前記選択属性と同一の修飾属性を有しかつ前記閉領域に含まれる文字データが、順次連結されて、文字列データが取得され、
取得された文字列データが、前記軌跡によって指定された文字列として選択され、
前記選択情報は、
選択された前記文字列データの前記文書データにおける相対位置に加えて、
前記選択属性、前記軌跡の属性、および、前記軌跡が描く形状の内の少なくとも1つを含んでいることを特徴とする文書表示プログラム。
(23) A document display program for controlling a document display terminal having a display panel, a touch panel integrated with the display panel, a character string selection auxiliary unit, and a selection information storage unit,
A procedure for displaying document data in which character data is laid out by the display panel;
A procedure for detecting a locus of a user's handwriting operation by the touch panel;
A procedure for selecting a character string designated by the locus from the character data displayed on the display panel by the character string selection auxiliary unit; and
Causing the document display terminal to execute processing including a procedure of storing selection information related to the character string data selected by the selection information storage unit in association with the document data;
In the procedure for selecting the character string data,
A closed region identified by the trajectory is determined;
Character data belonging to the closed region is extracted,
The decoration attribute of the extracted character data is acquired,
Based on the appearance frequency of the acquired modification attribute, the modification attribute with the highest appearance frequency is determined as a selection attribute,
Character data having the same modification attribute as the selection attribute and included in the closed region are sequentially connected to obtain character string data,
The acquired character string data is selected as a character string designated by the locus,
The selection information is:
In addition to the relative position of the selected character string data in the document data,
A document display program comprising at least one of the selection attribute, the trajectory attribute, and the shape drawn by the trajectory.

本発明に係る文書表示装置、文書表示端末および文書表示プログラムにおいては、文字列を指定するユーザーの手書き操作が不正確であっても、文字データの修飾属性の出現頻度に基づき決定される選択属性を利用するため、文字列データを正確に取得(選択)することができる。つまり、表示パネルに高密度に情報が表示されている場合であっても、指によるタッチパネル操作によって、表示されている情報から文字列を容易に選択し得る文書表示装置、文書表示端末および文書表示プログラムを提供することが可能である。   In the document display device, the document display terminal, and the document display program according to the present invention, even if the user's handwriting operation for specifying a character string is inaccurate, the selection attribute determined based on the appearance frequency of the modification attribute of the character data Therefore, character string data can be obtained (selected) accurately. That is, even when information is displayed on the display panel at a high density, a document display device, a document display terminal, and a document display that can easily select a character string from displayed information by a touch panel operation with a finger It is possible to provide a program.

特に、本発明に係る文書表示端末および文書表示プログラムにおいては、選択情報を利用した、文書表示のさまざまな応用が可能となる。例えば、選択された文字列データの文書データにおける相対位置が、選択情報に含まれているため、表示パネルに表示された文書データを拡大あるいは縮小して表示しても、選択された文字列データの文書データにおける相対位置を維持することが可能である。   Particularly, in the document display terminal and the document display program according to the present invention, various applications of document display using selection information are possible. For example, since the relative position of the selected character string data in the document data is included in the selection information, the selected character string data is displayed even if the document data displayed on the display panel is enlarged or reduced. It is possible to maintain the relative position in the document data.

本発明の実施の形態に係る文書表示端末を説明するための平面図である。It is a top view for demonstrating the document display terminal which concerns on embodiment of this invention. 図1に示される文書表示端末のブロック図である。FIG. 2 is a block diagram of the document display terminal shown in FIG. 1. 図2に示されるROMに記憶されている文書表示プログラムに組み込まれている文字列選択補助部を説明するためのブロック図である。It is a block diagram for demonstrating the character string selection auxiliary | assistance part incorporated in the document display program memorize | stored in ROM shown in FIG. 図1に示されるメニュー表示ボタンの押圧により表示されるメインメニューを説明するための平面図である。It is a top view for demonstrating the main menu displayed by pressing of the menu display button shown by FIG. 図4に示されるツールメニューのオプションの下位メニューを説明するための平面図である。It is a top view for demonstrating the low-order menu of the option of the tool menu shown by FIG. 図5に示される[補助]レベルのタップにより表示されるに選択情報関連付けダイアログを説明するための図表である。FIG. 6 is a chart for explaining a selection information association dialog displayed by a tap on the [Auxiliary] level shown in FIG. 5. 図4に示される編集メニューのペン色の下位メニューを説明するための平面図である。It is a top view for demonstrating the pen color lower menu of the edit menu shown by FIG. 図4に示される編集メニューのペン太さの下位メニューを説明するための平面図である。It is a top view for demonstrating the lower menu of the pen thickness of the edit menu shown by FIG. 図4に示される選択補助に係る選択操作1を説明するための概念図である。It is a conceptual diagram for demonstrating selection operation 1 which concerns on the selection assistance shown by FIG. 図9Aに続く概念図である。It is a conceptual diagram following FIG. 9A. 選択操作1によって描かれた図形が非閉領域からなる場合における補完例を説明するための概念図である。It is a conceptual diagram for demonstrating the example of a complement in the case where the figure drawn by selection operation 1 consists of a non-closed area | region. 選択操作1によって描かれた図形が非閉領域からなる場合における別の補完例を説明するための概念図である。It is a conceptual diagram for demonstrating another complementation example in case the figure drawn by selection operation 1 consists of a non-closed area | region. 図4に示される選択補助に係る選択操作2を説明するための概念図である。It is a conceptual diagram for demonstrating selection operation 2 which concerns on the selection assistance shown by FIG. 図4に示される選択補助に係る選択操作3を説明するための概念図である。It is a conceptual diagram for demonstrating the selection operation 3 which concerns on the selection assistance shown by FIG. 図4に示される選択補助に係る選択操作4を説明するための概念図である。It is a conceptual diagram for demonstrating selection operation 4 which concerns on the selection assistance shown by FIG. 図4に示される選択補助に係る選択操作5を説明するための概念図である。It is a conceptual diagram for demonstrating the selection operation 5 which concerns on the selection assistance shown by FIG. 選択操作確定後に自動起動する選択範囲調整部を説明するための概念図である。It is a conceptual diagram for demonstrating the selection range adjustment part which starts automatically after selection operation confirmation. 選択操作確定後に自動起動する選択範囲調整部の別の態様を説明するための概念図である。It is a conceptual diagram for demonstrating another aspect of the selection range adjustment part which starts automatically after selection operation confirmation. 本発明の実施の形態に係る文書表示端末の応用例に係る暗記学習支援プログラムを説明するためのブロック図である。It is a block diagram for demonstrating the memorization learning assistance program which concerns on the application example of the document display terminal which concerns on embodiment of this invention. 暗記学習支援プログラムに係る文書を説明するための概念図である。It is a conceptual diagram for demonstrating the document concerning a memorization learning support program. 図19に示される文書から作成されるデータを説明するための図表である。FIG. 20 is a chart for explaining data created from the document shown in FIG. 19. FIG. メニュー表示ボタンの押圧により表示されるメインメニューを説明するための平面図である。It is a top view for demonstrating the main menu displayed by pressing of a menu display button. 図21に示される表示メニューの下位メニューを説明するための平面図である。It is a top view for demonstrating the low-order menu of the display menu shown by FIG. 図21に示されるツールメニューの下位メニューを説明するための平面図である。It is a top view for demonstrating the low-order menu of the tool menu shown by FIG. 図22に示される表示メニューの学習を説明するための概念図である。It is a conceptual diagram for demonstrating learning of the display menu shown by FIG. 図22に示される表示メニューの全表示を説明するための概念図である。It is a conceptual diagram for demonstrating all the displays of the display menu shown by FIG. 図22に示される表示メニューの全隠蔽に係るマスク領域を説明するための概念図である。It is a conceptual diagram for demonstrating the mask area | region which concerns on all concealment of the display menu shown by FIG. 図26に示されるマスク領域によって隠蔽された選択領域を説明するための概念図である。It is a conceptual diagram for demonstrating the selection area concealed by the mask area | region shown by FIG. 図22に示される表示メニューのレベルに係るマスク領域を説明するための概念図である。It is a conceptual diagram for demonstrating the mask area | region which concerns on the level of the display menu shown by FIG. 図28に示されるマスク領域によって隠蔽された選択領域を説明するための概念図である。It is a conceptual diagram for demonstrating the selection area concealed by the mask area | region shown by FIG. マスク領域構成の変更を説明するための概念図である。It is a conceptual diagram for demonstrating the change of a mask area | region structure. 図30に示されるマスク領域によって隠蔽された選択領域を説明するための概念図である。It is a conceptual diagram for demonstrating the selection area concealed by the mask area | region shown by FIG. 図21に示されるファイルメニューの保存に係る表示状態データを説明するための図表である。FIG. 22 is a chart for explaining display state data related to storage of a file menu shown in FIG. 21.

以下、本発明の実施の形態を、図面を参照しつつ説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の実施の形態に係る文書表示端末を説明するための平面図、図2は、図1に示される文書表示端末のブロック図である。   FIG. 1 is a plan view for explaining a document display terminal according to an embodiment of the present invention, and FIG. 2 is a block diagram of the document display terminal shown in FIG.

文書表示端末100は、CPU110、ROM112、RAM114、メニュー表示ボタン120、メニュー表示ボタンインターフェース122、タッチパネル132、タッチパネルインターフェース134、表示パネル142、表示パネルインターフェース144、画像メモリー150およびメモリカードインターフェース160を有する。   The document display terminal 100 includes a CPU 110, ROM 112, RAM 114, menu display button 120, menu display button interface 122, touch panel 132, touch panel interface 134, display panel 142, display panel interface 144, image memory 150, and memory card interface 160.

CPU110は、プログラムにしたがって上記各部の制御や各種の演算処理を実行するマイクロプロセッサ等から構成される制御回路であり、文書表示端末100の各機能は、それに対応するプログラムをCPU110が実行することにより発揮される。   The CPU 110 is a control circuit configured by a microprocessor or the like that executes control of each unit and various arithmetic processes according to a program. Each function of the document display terminal 100 is executed by the CPU 110 executing a corresponding program. Demonstrated.

ROM112は、各種プログラムおよび各種データを記憶する読取り専用の記憶装置である。プログラムは、例えば、文書表示プログラムである。データは、例えば、文書表示プログラムの実行に必要なデータである。RAM114は、作業領域として一時的にプログラムおよびデータを記憶する高速のランダムアクセス記憶装置であり、ROM112に記憶されているプログラムおよびデータは、CPU110により必要に応じて読み出され、RAM114上で実行処理される。   The ROM 112 is a read-only storage device that stores various programs and various data. The program is, for example, a document display program. The data is, for example, data necessary for executing the document display program. The RAM 114 is a high-speed random access storage device that temporarily stores programs and data as a work area. The programs and data stored in the ROM 112 are read out by the CPU 110 as necessary, and executed on the RAM 114. Is done.

メニュー表示ボタン120は、文書表示プログラムに係るメインメニューを起動するために使用される。メニュー表示ボタンインターフェース122は、メニュー表示ボタン120が接続されており、メニュー表示ボタン120の押下を検出し、CPU110に通知する。   The menu display button 120 is used to activate a main menu related to the document display program. The menu display button interface 122 is connected to the menu display button 120, detects the pressing of the menu display button 120, and notifies the CPU 110.

タッチパネル132は、例えば、静電容量方式であり、文書表示端末100に対し、各種の操作(指示)をユーザーが行うために使用される入力装置である。ユーザーの操作は、例えば、タッチパネル132に指(またはタッチペン)を接触させる「タッチ」、タッチパネル132から指を離す「リリース」、タッチ状態で指を動かす「スライド」、および、タッチ後、スライドすることなくリリースする「タップ」である。   The touch panel 132 is, for example, an electrostatic capacity type, and is an input device used for a user to perform various operations (instructions) on the document display terminal 100. User operations include, for example, “touch” in which a finger (or touch pen) is brought into contact with the touch panel 132, “release” in which the finger is released from the touch panel 132, “slide” in which the finger is moved in the touch state, and sliding after the touch. It is a “tap” to release.

タッチパネルインターフェース134は、タッチパネル132が接続されており、タッチパネル上の各種操作を検出し、CPU110に通知する。   The touch panel interface 134 is connected to the touch panel 132, detects various operations on the touch panel, and notifies the CPU 110 of them.

表示パネル142は、A4サイズ相当で解像度150dpi(dots per inch)のカラー電子ペーパーであり、A4サイズ文書を原寸で表示可能に構成されている。表示パネル142は、モノクロ多階調の電子ペーパー、液晶ディスプレイ、有機EL(Electro−Luminescence)ディスプレイ等によって構成することも可能である。なお、表示パネル142上には、タッチパネルインターフェース134から通知される操作の軌跡に対応し、かつ、予め設定されたペン属性を有する線が描かれる(表示される)。   The display panel 142 is color electronic paper equivalent to A4 size and having a resolution of 150 dpi (dots per inch), and is configured to be able to display an A4 size document at its original size. The display panel 142 can also be configured by monochrome multi-tone electronic paper, a liquid crystal display, an organic EL (Electro-Luminescence) display, or the like. On the display panel 142, a line corresponding to the locus of operation notified from the touch panel interface 134 and having a preset pen attribute is drawn (displayed).

表示パネル142に表示される画像データは、本実施の形態において、背景レイヤー、レイヤー1、レイヤー2からなる3レイヤー構成となっている。背景レイヤーには、表示文書画像データ、レイヤー1には、手書き操作の軌跡画像データ、レイヤー3には、メニュー等の文書表示プログラムが表示する画像データを、配置する。   In this embodiment, the image data displayed on the display panel 142 has a three-layer configuration including a background layer, layer 1 and layer 2. Display document image data is arranged in the background layer, trace image data of handwriting operation is arranged in layer 1, and image data displayed by a document display program such as a menu is arranged in layer 3.

表示パネルインターフェース144は、表示パネル142が接続されており、CPU110からの指令により、画像表示を制御する。タッチパネル132および表示パネル142は、積層(一体化)されており、表示操作部130を構成する。   The display panel interface 144 is connected to the display panel 142 and controls image display according to a command from the CPU 110. The touch panel 132 and the display panel 142 are stacked (integrated) and constitute the display operation unit 130.

画像メモリー150は、CPU110からの指令により、表示パネル142に表示される画像データ(背景レイヤーデータ、レイヤー1データおよびレイヤー2データ)を、一時的に記憶するための専用メモリーである。   The image memory 150 is a dedicated memory for temporarily storing image data (background layer data, layer 1 data, and layer 2 data) displayed on the display panel 142 in response to a command from the CPU 110.

メモリカードインターフェース160は、メモリーカード165が装着されるスロットを有する。メモリーカード165は、表示パネル142に表示される文書データおよび文書表示端末100において生成されるデータを記憶するために使用される。メモリーカード165は、例えば、SDメモリーカード、microSDカード、USBメモリー(USBフラッシュメモリー)、メモリースティック(登録商標)、コンパクトフラッシュである。   The memory card interface 160 has a slot in which the memory card 165 is inserted. The memory card 165 is used for storing document data displayed on the display panel 142 and data generated in the document display terminal 100. The memory card 165 is, for example, an SD memory card, a microSD card, a USB memory (USB flash memory), a Memory Stick (registered trademark), or a compact flash.

表示パネル142に表示される文書データおよび文書表示端末100において生成されるデータは、装着されるメモリーカード165を利用して記憶する形態に限定されず、外部情報機器を利用することも可能である。この場合、文書表示端末100は、不揮発性の一時記憶素子および外部情報機器と接続するための外部インターフェースを有することが必要である。外部インターフェースは、例えば、USB(Universal Serial Bus)インターフェース、有線LAN(Local Area Network)インターフェース、無線LANインターフェースである。外部情報機器は、例えば、外付けの磁気ディスク記憶装置、NAS(Network−Attached Storage)、コンピューター端末、ファイルサーバーである。   The document data displayed on the display panel 142 and the data generated in the document display terminal 100 are not limited to a form stored using the memory card 165 attached, and an external information device can also be used. . In this case, the document display terminal 100 needs to have an external interface for connecting to a nonvolatile temporary storage element and an external information device. The external interface is, for example, a USB (Universal Serial Bus) interface, a wired LAN (Local Area Network) interface, or a wireless LAN interface. The external information device is, for example, an external magnetic disk storage device, NAS (Network-Attached Storage), a computer terminal, or a file server.

次に、文書表示プログラムを説明する。   Next, a document display program will be described.

図3は、図2に示されるROMに記憶されている文書表示プログラムに組み込まれている文字列選択補助部を説明するためのブロック図である。   FIG. 3 is a block diagram for explaining a character string selection auxiliary unit incorporated in the document display program stored in the ROM shown in FIG.

文書表示プログラム170は、文字列選択補助部171、選択範囲調整部173、領域判別部174、選択情報記憶部176、ペン属性指定部177、一括選択部178および選択情報保存部179を有する。   The document display program 170 includes a character string selection auxiliary unit 171, a selection range adjustment unit 173, an area determination unit 174, a selection information storage unit 176, a pen attribute designation unit 177, a batch selection unit 178, and a selection information storage unit 179.

文字列選択補助部171は、表示パネル142に高密度に情報が表示されている場合であっても、指によるタッチパネル操作によって文字列を容易かつ正確に選択し得る機能を、文書表示端末100に付加するモジュールであり、閉領域決定手順、文字抽出手順、修飾属性取得手順、選択属性決定手順、文字連結手順および文字列取得手順を有する。   The character string selection auxiliary unit 171 has a function that allows the document display terminal 100 to select a character string easily and accurately by a touch panel operation with a finger even when information is displayed on the display panel 142 with high density. This is a module to be added, and has a closed region determination procedure, a character extraction procedure, a modification attribute acquisition procedure, a selection attribute determination procedure, a character connection procedure, and a character string acquisition procedure.

閉領域決定手順においては、タッチパネル上における所望の文字列を特定するための手書き操作の軌跡で指定される閉領域が決定される。手書き操作の軌跡が閉領域を形成しない場合は、手書き操作の始点と終点の間の軌跡を補完し、閉領域が決定される。これにより、閉領域を形成しない簡便な手書き操作に対応することが可能となる。なお、文字列選択補助部171は、手書き操作の軌跡が描く形状を判別する機能を有し、閉領域決定手順においては、手書き操作の軌跡が描く形状が判別される。   In the closed area determination procedure, a closed area specified by a locus of handwriting operation for specifying a desired character string on the touch panel is determined. When the locus of the handwriting operation does not form a closed region, the locus between the start point and the end point of the handwriting operation is complemented to determine the closed region. As a result, it is possible to cope with a simple handwriting operation that does not form a closed region. Note that the character string selection auxiliary unit 171 has a function of determining the shape drawn by the handwriting operation trajectory. In the closed region determination procedure, the shape drawn by the handwriting operation trajectory is determined.

文字抽出手順においては、閉領域に属する(含まれる)文字データが抽出される。閉領域に含まれる文字データが存在しない場合は、閉領域の形状の判定結果に基づき、所定の方向に閉領域を拡張し、拡張後の閉領域に含まれる文字データが抽出される。これにより、手書き操作の軌跡が、下線様あるいは傍線様であっても、文字データの抽出が可能となる。   In the character extraction procedure, character data belonging to (included in) the closed region is extracted. When character data included in the closed region does not exist, the closed region is expanded in a predetermined direction based on the determination result of the shape of the closed region, and character data included in the expanded closed region is extracted. Thereby, even if the locus of the handwriting operation is underline-like or side-line-like, character data can be extracted.

修飾属性取得手順においては、抽出した文字データの修飾属性が取得される。文字の修飾属性は、下線、傍線、傍点、文字色、背景色、文字スタイル(太字など)、および、これらの組合せ(複数属性の組合せ)である。これにより、多様な態様に対応することが可能である。   In the modification attribute acquisition procedure, the modification attribute of the extracted character data is acquired. Character modification attributes are underline, sideline, sidepoint, character color, background color, character style (bold, etc.), and combinations thereof (combination of multiple attributes). Thereby, it is possible to deal with various aspects.

選択属性決定手順においては、取得した修飾属性のうち最も出現頻度の高い属性が「選択属性」として決定される。この際、閉領域の中心から抽出した文字までの距離に応じて、出現頻度の重み付けを変える(閉領域の中心に近い文字の重み付けを大きくする)ことが好ましい。これにより、閉領域内に異なる修飾属性の文字が混在していても、一意に文字列選択属性を決定することが可能である。   In the selection attribute determination procedure, the attribute having the highest appearance frequency among the obtained modification attributes is determined as the “selection attribute”. At this time, it is preferable to change the weighting of the appearance frequency according to the distance from the center of the closed region to the extracted character (increase the weighting of the character near the center of the closed region). As a result, even if characters with different modification attributes are mixed in the closed region, it is possible to uniquely determine the character string selection attribute.

文字連結手順においては、選択属性と一致する修飾属性を有しかつ閉領域に含まれる文字データと、当該文字に隣接しかつ選択属性と一致する修飾属性を有する文字データとが、順次連結される。連結の完了は、連結の方向に関し、所定の終端文字に到達した場合あるいは文頭もしくは文末に到達した場合に実行される。これにより、選択文字列長に制限を加えることが可能である。終端文字は、例えば、句読点や記号である。   In the character concatenation procedure, character data having a modification attribute that matches the selection attribute and included in the closed area and character data that has a modification attribute that is adjacent to the character and matches the selection attribute are sequentially coupled. . Completion of connection is executed when a predetermined terminal character is reached or when the beginning or end of a sentence is reached in the direction of connection. Thereby, it is possible to limit the length of the selected character string. The terminal character is, for example, a punctuation mark or a symbol.

文字列取得手順においては、連結された文字列データが「選択文字列」として取得される。   In the character string acquisition procedure, concatenated character string data is acquired as a “selected character string”.

文字列選択補助部171においては、上記のように、文字列を指定するユーザーの手書き操作が不正確であっても、文字データの修飾属性の出現頻度に基づき決定される選択属性を利用するため、文字列データを正確に取得(選択)することができる。つまり、表示パネルに高密度に情報が表示されている場合であっても、指によるタッチパネル操作によって、表示されている情報から文字列を容易に選択することが可能である。   As described above, the character string selection auxiliary unit 171 uses the selection attribute determined based on the appearance frequency of the modification attribute of the character data even if the user's handwriting operation specifying the character string is inaccurate. Character string data can be obtained (selected) accurately. That is, even when information is displayed at high density on the display panel, a character string can be easily selected from the displayed information by a touch panel operation with a finger.

選択範囲調整部173は、文字列選択補助部で自動選択された文字列データの範囲を調整(編集)するモジュールである。選択範囲調整部173は、例えば、文字列データの範囲を特定する矩形を、表示パネル142に表示される文書データにオーバーラップして表示し、ユーザーの手書き操作の軌跡による指示の基づき、矩形のサイズを変更することにより、文字列データの範囲を調整する。   The selection range adjustment unit 173 is a module that adjusts (edits) the range of character string data automatically selected by the character string selection auxiliary unit. The selection range adjustment unit 173 displays, for example, a rectangle that specifies the range of character string data so as to overlap the document data displayed on the display panel 142, and based on an instruction based on a user's handwriting operation locus, Adjust the range of character string data by changing the size.

領域判別部174は、文書データがビットマップ画像であった場合、文字列選択補助部171の実行に先立ち、領域判別処理を実行することによって、文字領域および修飾属性を判別するモジュールである。これにより、表示パネル142に表示されている文書のページが、テキストデータを有しない手書き文書等のスキャン画像であっても、文字列選択補助部171を適用することが可能となる。つまり、文字列選択補助部171は、領域判別部174によって判別された文字領域と文字領域の前記修飾属性とを利用して、軌跡によって指定された文字列データを選択する。   The area discriminating unit 174 is a module that discriminates a character area and a decoration attribute by executing an area discriminating process prior to the execution of the character string selection auxiliary unit 171 when the document data is a bitmap image. Thereby, even if the page of the document displayed on the display panel 142 is a scanned image of a handwritten document or the like that does not have text data, the character string selection auxiliary unit 171 can be applied. That is, the character string selection assisting unit 171 selects the character string data specified by the trajectory using the character area determined by the area determining unit 174 and the decoration attribute of the character area.

選択情報記憶部176は、選択された前記文字列データに係る選択情報を、文書データと関連付けて記憶するモジュールである。選択情報は、選択された文字列データの文書データにおける相対位置に加えて、選択属性、軌跡の属性、および、軌跡が描く形状の内の少なくとも1つを含んでいる。軌跡の属性は、軌跡の太さおよび色である。   The selection information storage unit 176 is a module that stores selection information related to the selected character string data in association with document data. The selection information includes at least one of a selection attribute, a trajectory attribute, and a shape drawn by the trajectory, in addition to the relative position of the selected character string data in the document data. The trajectory attributes are the thickness and color of the trajectory.

これにより、文書表示端末100は、選択情報を利用した、文書表示のさまざまな応用が可能となる。例えば、選択された文字列データの文書データにおける相対位置が、選択情報に含まれているため、表示パネル142に表示された文書データを拡大あるいは縮小して表示しても、選択された文字列データの文書データにおける相対位置を維持することが可能である。   Thereby, the document display terminal 100 can perform various applications of document display using the selection information. For example, since the relative position of the selected character string data in the document data is included in the selection information, the selected character string is displayed even if the document data displayed on the display panel 142 is enlarged or reduced. It is possible to maintain the relative position of the data in the document data.

ペン属性指定部177は、軌跡の太さおよび/又は色を指定するモジュールである。一括選択部178は、記憶されている任意の選択属性を選択し、文書データの全体あるいは表示パネル142に表示されている文書データの部分から、選択された選択属性と同一の修飾属性を有する文字列データを、自動的に選択するモジュールである。   The pen attribute designation unit 177 is a module that designates the thickness and / or color of the locus. The collective selection unit 178 selects an arbitrary selection attribute stored, and from the entire document data or the part of the document data displayed on the display panel 142, a character having the same modification attribute as the selected selection attribute This module automatically selects column data.

選択情報保存部179は、文字列選択補助部171によって選択された文字列データが複数存在する場合、文字列データの文書データにおける相対位置と、選択情報とを、文書データと関連付け、一括して単一のデータとして保存するモジュールである。   When there are a plurality of character string data selected by the character string selection auxiliary unit 171, the selection information storage unit 179 associates the relative position of the character string data in the document data and the selection information with the document data, and collectively It is a module that saves as a single data.

次に、メニュー構成を参照し、文書表示プログラム170の機能を具体的に説明する。   Next, the function of the document display program 170 will be specifically described with reference to the menu configuration.

図4は、図1に示されるメニュー表示ボタンの押圧により表示されるメインメニューを説明するための平面図、図5は、図4に示されるツールメニューのオプションの下位メニューを説明するための平面図、図6は、図5に示される[補助]レベルのタップにより表示されるに選択情報関連付けダイアログを説明するための図表、図7および図8は、図4に示される編集メニューのペン色およびペン太さの下位メニューを説明するための平面図である。   4 is a plan view for explaining a main menu displayed by pressing the menu display button shown in FIG. 1, and FIG. 5 is a plan view for explaining a lower menu of options of the tool menu shown in FIG. FIGS. 6 and 6 are diagrams for explaining the selection information association dialog displayed by the [Auxiliary] level tap shown in FIG. 5, and FIGS. 7 and 8 are pen colors of the edit menu shown in FIG. It is a top view for demonstrating the lower menu of pen thickness.

表示パネル142は、メニュー表示ボタン120が押圧されると、図4に示されるメインメニュー10を表示する。メインメニュー10のメニュー項目は、本実施の形態において、「ファイル」、「編集」、「ツール」および「ヘルプ」である。下位のメニューの選択は、所望のメニュー項目の表示領域をタップすることにより実行され、タッチパネル132によって検出されたメニュー項目の下位メニューが、表示パネル142に表示される。また、表示されたメニュー項目をタップすると、メニュー項目に「レ点」が付加表示され、メニュー項目に対応する機能が有効になり、「レ点」が付加表示されたメニュー項目をタップすると、レ点表示が消失し、メニュー項目に対応する機能が無効となる。   When the menu display button 120 is pressed, the display panel 142 displays the main menu 10 shown in FIG. The menu items of the main menu 10 are “file”, “edit”, “tool”, and “help” in the present embodiment. The selection of the lower menu is executed by tapping the display area of the desired menu item, and the lower menu of the menu item detected by the touch panel 132 is displayed on the display panel 142. Also, if you tap a displayed menu item, “Remark” will be added to the menu item, the function corresponding to the menu item will be enabled, and if you tap a menu item with “Remark” added, a check mark will be displayed. It disappears and the function corresponding to the menu item is disabled.

例えば、「ツール」をタップすると、図4に示されるに、「選択補助」および「オプション」項目を有するメニュー30が表示される。そして、「選択補助」をタップすると、「選択補助」の左側方に「レ点」が付加表示され、文字列選択補助部が有効になり、「レ点」が付加表示された「選択補助」をタップすると、レ点表示が消え、文字列選択補助部が無効となる。また、文字列選択補助部による文字列選択の確定後に、選択範囲調整部が自動起動する。   For example, when “Tool” is tapped, a menu 30 having “selection assistance” and “option” items is displayed as shown in FIG. Then, when you tap “Selection Assist”, “Lead” is additionally displayed on the left side of “Selection Assist”, the character string selection assist part is enabled, and “Selection Assist” with “Left” added is displayed. As a result, the dot display disappears and the character string selection auxiliary section becomes invalid. In addition, after the character string selection is confirmed by the character string selection auxiliary unit, the selection range adjustment unit is automatically activated.

文字列選択補助部が有効になっている(「選択補助」の左側方に「レ点」が付加表示されている)状態で、「オプション」をタップすると、図5に示されるように、「[補助]レベル」項目を有するメニュー32が表示され、「[補助]レベル」をタップすると、図6に示されるように、選択情報関連付けダイアログ40が表示される。   When “Option” is tapped in the state where the character string selection assisting portion is enabled (“Left” is additionally displayed on the left side of “Selection assisting”), as shown in FIG. When the menu 32 having the item “Auxiliary] Level” is displayed and “[Auxiliary] Level” is tapped, a selection information association dialog 40 is displayed as shown in FIG. 6.

一方、例えば、「編集」をタップすると、図7に示されるように、「ペン色」、「ペン太さ」および「[補助]再実行」項目を有するメニュー20が表示される。そして、「ペン色」をタップすると、「黒」、「赤」、「緑」および「青」項目を有するメニュー22が表示され、「ペン太さ」をタップすると、図8に示されるように、「太」、「中」および「細」項目を有するメニュー24が表示される。   On the other hand, for example, when “Edit” is tapped, as shown in FIG. 7, a menu 20 having items “pen color”, “pen thickness”, and “[auxiliary] re-execute” is displayed. When “pen color” is tapped, a menu 22 having “black”, “red”, “green”, and “blue” items is displayed. When “pen thickness” is tapped, as shown in FIG. , “Thick”, “medium” and “thin” items are displayed.

なお、「ペン色」および「ペン太さ」は、手書き操作の軌跡の属性情報である。また、「[補助]再実行」は、最後に実施した文字列選択条件で、文書全体から、文字列を自動的に順次選択、記録する機能であり、文字列選択補助部が有効になっていない場合、表示されない。   “Pen color” and “pen thickness” are attribute information of the locus of handwriting operation. “[Auxiliary] re-execution” is a function that automatically selects and records a character string from the entire document in accordance with the last character string selection condition, and the character string selection auxiliary unit is enabled. If not, it is not displayed.

次に、図6を参照し、「ツール」の「オプション」の「[補助]レベル」に係る選択情報関連付けダイアログ40を説明する。   Next, with reference to FIG. 6, the selection information association dialog 40 related to “[Auxiliary] level” of “Option” of “Tool” will be described.

選択情報関連付けダイアログ40は、関連付けテーブル42、ドロップダウンボックス48、追加ボタン50、消去ボタン52、削除ボタン54および上下ボタン56および確定ボタン58を有しており、既に3つの関連付けが設定された状態を示している。   The selection information association dialog 40 has an association table 42, a drop-down box 48, an add button 50, an erase button 52, a delete button 54, an up / down button 56, and a confirm button 58, and three associations have already been set. Is shown.

関連付けテーブル42は、多様な応用を可能とするため、選択情報を構成する複数の属性を関連付けるために使用され、例えば、選択属性(文字修飾)を反映する文書表示プログラムが可能となる。具体的な関連付け定義項目は、「優先順位」、「文字色」、「背景色」、「ペン色」、「選択図形」および「レベル」を含んでいる。   The association table 42 is used for associating a plurality of attributes constituting selection information in order to enable various applications. For example, a document display program reflecting selection attributes (character modification) is possible. Specific association definition items include “priority”, “character color”, “background color”, “pen color”, “selected figure”, and “level”.

「優先順位」は、関連付け定義の設定が重複適用可能な場合(複数の定義に合致する場合)において優先順位を指定するために使用される。「文字色」および「背景色」は、選択された文字列データの修飾情報である。「ペン色」は、上述のように、手書き操作の軌跡の属性情報である。   The “priority order” is used to specify the priority order when the setting of the association definition can be applied in duplicate (when it matches a plurality of definitions). “Character color” and “background color” are decoration information of the selected character string data. “Pen color” is attribute information of the locus of handwriting operation as described above.

「選択図形」は、文字列選択補助部において、文字列を選択する際に手書き操作によって形成される図形(軌跡)の形状である。例えば、「○」は、円状の閉曲線によって文字列を取り囲こむことで、文字列が選択されたことを意味し、「▽」は、三角状の閉曲線によって文字列を取り囲こむことで、文字列が選択されたことを意味する。   The “selected graphic” is a shape of a graphic (trajectory) formed by handwriting operation when selecting a character string in the character string selection auxiliary unit. For example, “○” means that a character string is selected by surrounding a character string with a circular closed curve, and “▽” means that the character string is surrounded by a triangular closed curve. , Which means that a character string has been selected.

「レベル」は、「文字色」、「背景色」、「ペン色」および「選択図形」の関連付けの設定が、所定の条件を満たす場合に付与される値である。つまり、「レベル」は、「文字色」、「背景色」、「ペン色」および「選択図形」の関連付けの設定を集約するために使用される。これにより、レベル付けを利用する文書表示プログラムが可能となり、かつ、文書表示プログラム側での複雑なレベル設定が不要となる。   The “level” is a value given when the association setting of “character color”, “background color”, “pen color”, and “selected figure” satisfies a predetermined condition. That is, the “level” is used to collect the association settings of “character color”, “background color”, “pen color”, and “selected figure”. As a result, a document display program using leveling becomes possible, and complicated level setting on the document display program side is not required.

レベル付けは、上記形態に限定されず、例えば、ペン属性(軌跡の太さおよび/又は色)によるレベル付けや、選択図形によるレベル付けや、ペン属性(軌跡の太さおよび/又は色)、選択図形および選択属性うち、2以上の組合せによるレベル付けを、適用することも可能である。   The leveling is not limited to the above form. For example, leveling by a pen attribute (trajectory thickness and / or color), leveling by a selected figure, pen attribute (trajectory thickness and / or color), It is also possible to apply leveling by a combination of two or more of the selected figure and selection attribute.

ドロップダウンボックス48は、関連付けテーブル42の最下行に新規に追加される関連付け定義において、項目選択するために使用される。ドロップダウンボックス48からの選択項目のうち、「――」は、関連付け条件に含まないことを表している。   The drop-down box 48 is used to select an item in the association definition newly added to the bottom row of the association table 42. Of the selection items from the drop-down box 48, “—” indicates that they are not included in the association condition.

追加ボタン50は、新規の関連付け定義を順次追加するために使用される。消去ボタン52は、関連付けテーブル42の最下行の選択項目を初期状態にリセットするために使用される。削除ボタン54は、削除ボタン54の左側方に位置する既定定義を削除するために使用される。上下ボタン(△▽)56は、優先順位を変更するために使用される。確定ボタン58は、選択情報関連付けを確定して終了するために使用される。   The add button 50 is used for sequentially adding new association definitions. The delete button 52 is used to reset the selection item in the bottom row of the association table 42 to the initial state. The delete button 54 is used to delete a default definition located on the left side of the delete button 54. The up / down buttons (Δ ▽) 56 are used for changing the priority order. The confirm button 58 is used to confirm and end the selection information association.

したがって、関連付けテーブル42に新規に定義追加をする場合は、関連付けテーブル42の最下行に係る各項目の枠をタップし、ドロップダウンボックス48を表示させる。そして、ドロップダウンボックス48から項目選択し、追加ボタン50をタップすると関連付け定義が順次追加される。   Therefore, when a new definition is added to the association table 42, the frame of each item related to the bottom row of the association table 42 is tapped, and the drop-down box 48 is displayed. When an item is selected from the drop-down box 48 and an add button 50 is tapped, association definitions are added sequentially.

また、定義追加の途中において、新規定義追加行(最下行)の選択項目を初期状態にリセットしたい場合は、消去ボタン52をタップし、既定定義を削除したい場合は、削除ボタン54をタップし、優先順位を変更したい場合は、既定定義の「優先順位」列をタップして選択し、さらに、上下ボタン56をタップすることで、優先順位を上下させる。そして、選択情報関連付けを確定し、終了更したい場合は、確定ボタン58をタップする。   In the middle of definition addition, if you want to reset the selection item of the new definition addition line (bottom line) to the initial state, tap the delete button 52, if you want to delete the default definition, tap the delete button 54, If the priority order is to be changed, the default “priority order” column is selected by tapping, and the up / down button 56 is further tapped to raise or lower the priority order. Then, when it is desired to confirm the selection information association and end the selection, the confirmation button 58 is tapped.

次に、文字列選択補助部171における選択操作1〜5を順次詳述する。   Next, selection operations 1 to 5 in the character string selection auxiliary unit 171 will be sequentially described in detail.

図9Aおよび図9Bは、図4に示される選択補助に係る選択操作1を説明するための概念図、図10および図11は、選択操作1によって描かれた図形が非閉領域からなる場合における補完例を説明するための概念図である。   9A and 9B are conceptual diagrams for explaining the selection operation 1 related to the selection assistance shown in FIG. 4, and FIGS. 10 and 11 are diagrams in the case where the figure drawn by the selection operation 1 is composed of a non-closed region. It is a conceptual diagram for demonstrating a complementation example.

選択操作1は、閉曲線を描く手書き操作によって文字列選択を選択する態様であり、表示パネル142に表示される文書60は、横書きのテキストデータであり、文字修飾された色文字を有する文字列を含んでおり、文字列の周囲を楕円状にスライドさせる手書き操作によって、選択する文字列を取り囲むような閉曲線からなる図形62が描かれる。文字修飾された色文字は、図9Aおよび図9Bにおいては、白抜き文字で表されている。   The selection operation 1 is a mode in which character string selection is selected by a handwriting operation for drawing a closed curve, and the document 60 displayed on the display panel 142 is horizontally written text data, and a character string having color characters with character modification is selected. In addition, a figure 62 composed of a closed curve surrounding the character string to be selected is drawn by a handwriting operation that slides around the character string in an elliptical shape. The color characters subjected to character modification are represented by white characters in FIGS. 9A and 9B.

そして、図形62によって定義される閉領域64に含まれる文字が、抽出される。この際、一部が閉領域64に含まれる文字も抽出される。次に、閉領域64を囲む矩形66およびその中心位置67が算出される。そして、閉領域64で抽出した各文字について、その修飾属性毎に、中心位置67に近い文字の重み付けを大きくとり、出現頻度として積算する。この際、文字修飾された色文字の出現頻度が最大となるため、中心位置67に最も近い色文字と、それに隣接する同じ属性の文字(色文字)を連結して、選択文字列とされる。   Then, characters included in the closed region 64 defined by the graphic 62 are extracted. At this time, characters partially included in the closed region 64 are also extracted. Next, a rectangle 66 surrounding the closed region 64 and its center position 67 are calculated. Then, for each character extracted in the closed region 64, the character weight close to the center position 67 is increased for each modification attribute and integrated as the appearance frequency. At this time, since the appearance frequency of the color character with the character modification is maximized, the color character closest to the center position 67 and the adjacent character (color character) having the same attribute are connected to form the selected character string. .

選択文字列は、ユーザーの注意を喚起するため、破線で構成された矩形68によって強調される。選択文字列の強調方法は特に限定されず、例えば、実線で構成された矩形、下線、傍線、網掛け、フォントの変更(太字、斜体)、フォント色や背景色の変更を適用することも可能である。   The selected character string is highlighted by a rectangle 68 composed of a broken line in order to call the user's attention. The highlighting method of the selected character string is not particularly limited. For example, it is possible to apply a rectangle composed of solid lines, underline, sideline, shading, font change (bold, italic), font color and background color change. It is.

文字列の周囲を楕円状にスライドさせる手書き操作によって描かれた図形62が、非閉領域である場合、テータが補完されて閉領域とされる。例えば、一部が欠けた円環状の図形62が、手書き操作によって描かれ、描画の始点Sと、終点Eとが離間していることが検出された場合(図10参照)、始点Sと終点Eとの間を線で結ぶことで、楕円状の閉領域が形成される。また、折れ線状の図形62が、手書き操作によって描かれ、描画の始点Sと、終点Eとが離間していることが検出された場合(図11参照)、始点Sと終点Eとの間を線で結ぶことで、略三角状の閉領域が形成される。   When the figure 62 drawn by the handwriting operation that slides around the character string in an elliptical shape is a non-closed region, the data is complemented to form a closed region. For example, when an annular figure 62 with a part missing is drawn by handwriting operation and it is detected that the drawing start point S and the end point E are separated (see FIG. 10), the start point S and the end point are detected. An elliptical closed region is formed by connecting E to the line. When a polygonal line-shaped figure 62 is drawn by a handwriting operation and it is detected that the drawing start point S and the end point E are separated (see FIG. 11), the interval between the start point S and the end point E is detected. By connecting with a line, a substantially triangular closed region is formed.

図12は、図4に示される選択補助に係る選択操作2を説明するための概念図である。   FIG. 12 is a conceptual diagram for explaining the selection operation 2 related to the selection assistance shown in FIG.

選択操作2は、線を描く手書き操作によって文字列選択を選択する態様であり、テキストデータの横書き文書の文字列を選択する場合、文字列上を直線状にスライドさせる手書き操作によって、選択する文字列と交差するように延長する線状の図形62Aが描かれる。   The selection operation 2 is a mode in which the character string selection is selected by a handwriting operation for drawing a line. When a character string of a horizontally written document of text data is selected, the character to be selected is selected by a handwriting operation that slides linearly on the character string. A linear figure 62A extending so as to intersect the column is drawn.

そして、図形62Aによって定義される閉領域64Aに含まれる文字が、抽出される。この際、一部が閉領域64Aに含まれる文字も抽出される。図形62Aは、閉領域を直接定義することができないため、閉領域64Aは、図形62Aの始点と終点の間を補完することにより作成される。なお、図形62Aは、直線状であるため、閉領域64Aも、幅の無い直線状の領域となる。そして、閉領域64Aを囲む矩形66Aおよびその中心位置67Aが算出され、選択操作1の場合と同様に、選択文字列が特定される。   Then, characters included in the closed region 64A defined by the graphic 62A are extracted. At this time, characters partially included in the closed region 64A are also extracted. Since the figure 62A cannot directly define a closed area, the closed area 64A is created by complementing the start point and the end point of the figure 62A. Since the figure 62A is linear, the closed area 64A is also a linear area with no width. Then, the rectangle 66A surrounding the closed region 64A and its center position 67A are calculated, and the selected character string is specified as in the case of the selection operation 1.

図13は、図4に示される選択補助に係る選択操作3を説明するための概念図である。   FIG. 13 is a conceptual diagram for explaining the selection operation 3 related to the selection assistance shown in FIG.

選択操作は、文字列と交差するように描く線に限定されない。例えば、テキストデータの横書き文書の文字列を選択する場合、文字列の下方を横方向にスライドさせる手書き操作によって、選択する文字列の近傍を延長する線状の図形62Bが描かれる。この場合、図形62Bは、直線状であるため、図形62Bの始点と終点の間を補完することにより閉領域64Bが作成される。   The selection operation is not limited to a line drawn so as to intersect the character string. For example, when a character string of a horizontally written document of text data is selected, a linear figure 62B extending in the vicinity of the selected character string is drawn by a handwriting operation in which the lower side of the character string is slid horizontally. In this case, since the figure 62B is linear, the closed region 64B is created by complementing the start point and the end point of the figure 62B.

閉領域64Bは、文字が含まれないため、閉領域64Bの形状が判定される。閉領域64Bは、文書表示方向Dに対し略平行であるため、下線が引かれたとみなして、閉領域64Bの上方に拡張された閉領域64B’が作成される。そして、選択操作1の場合と同様に、閉領域64B’を囲む矩形およびその中心位置が算出され、選択文字列が特定される。   Since the closed region 64B does not include characters, the shape of the closed region 64B is determined. Since the closed region 64B is substantially parallel to the document display direction D, it is considered that the underline is underlined, and a closed region 64B 'extended above the closed region 64B is created. Then, as in the case of the selection operation 1, the rectangle surrounding the closed region 64B 'and its center position are calculated, and the selected character string is specified.

図14は、図4に示される選択補助に係る選択操作4を説明するための概念図である。   FIG. 14 is a conceptual diagram for explaining the selection operation 4 according to the selection assistance shown in FIG.

テキストデータの縦書き文書の文字列を選択する場合、文字列の右側を縦方向にスライドさせる手書き操作によって、選択する文字列の近傍を延長する線状の図形62Cが描かれる。この場合、図形62Cは、直線状であるため、図形62Cの始点と終点の間を補完することにより閉領域64Cが作成される。   When a character string of a vertically written document of text data is selected, a linear figure 62C extending the vicinity of the selected character string is drawn by a handwriting operation of sliding the right side of the character string vertically. In this case, since the figure 62C is linear, the closed region 64C is created by complementing the start point and the end point of the figure 62C.

閉領域64Cは、文字が含まれないため、閉領域64Cの形状が判定される。閉領域64Cは、文書表示方向Dに対し略平行であるため、傍線が引かれたとみなして、閉領域64Bの左側方に拡張された閉領域64C’が作成される。そして、選択操作1の場合と同様に、閉領域64C’を囲む矩形およびその中心位置が算出され、選択文字列が特定される。   Since the closed region 64C does not include characters, the shape of the closed region 64C is determined. Since the closed region 64C is substantially parallel to the document display direction D, the closed region 64C ′ is created on the left side of the closed region 64B, assuming that a side line is drawn. Then, as in the case of the selection operation 1, the rectangle surrounding the closed region 64C 'and its center position are calculated, and the selected character string is specified.

図15は、図4に示される選択補助に係る選択操作5を説明するための概念図である。   FIG. 15 is a conceptual diagram for explaining the selection operation 5 related to the selection assistance shown in FIG.

例えば、手書き文書等のテキストデータを有しない横書き文書60Aのスキャン画像からなるビットマップ画像に含まれる文字列を選択する場合、表示対象がビットマップ画像であるので、文字列選択補助部の実行に先立ち、領域判別処理が自動に実行される。領域判別処理においては、ビットマップ画像が走査され、分離された文字領域の修飾属性が判別され、修飾属性毎に隣接する領域が、それぞれひとつの領域として抽出される。   For example, when selecting a character string included in a bitmap image composed of a scanned image of a horizontally written document 60A that does not have text data such as a handwritten document, the display target is a bitmap image. Prior to this, the area discrimination process is automatically executed. In the area determination process, the bitmap image is scanned, the modification attribute of the separated character area is determined, and adjacent areas for each modification attribute are extracted as one area.

この際、文字領域は、前景色(文字色)と背景色の情報を付加された、2値ビットッマップ画像として抽出される。例えば、文字領域61A,61Bは、前景色が黒であり、背景色が白である2値ビットッマップ画像として抽出され、文字領域61Cは、前景色が色文字(例えば、赤)であり、背景色が白である2値ビットッマップ画像として抽出される。   At this time, the character area is extracted as a binary bitmap image to which information on the foreground color (character color) and the background color is added. For example, the character areas 61A and 61B are extracted as binary bitmap images having a foreground color of black and a background color of white, and the character area 61C has a foreground color of a color character (for example, red) and a background color. Is extracted as a binary bitmap image with white.

そして、文字列の周囲を楕円状にスライドさせる手書き操作によって、選択する文字列を取り囲むような閉曲線からなる図形62Dが描かれる。そして、図形62Dによって定義される閉領域64Dに含まれる文字が、抽出される。この際、一部が閉領域64Dに含まれる文字も抽出される。これにより、閉領域64Dに含まれる文字領域として、文字領域61A,61B,61Cが抽出される。そして、閉領域64Dを囲む矩形66Dおよびその中心位置67Dが算出され、中心位置67Dに最も近い文字領域61Cが、選択領域となる。   Then, a figure 62D composed of a closed curve surrounding the character string to be selected is drawn by a handwriting operation that slides around the character string in an elliptical shape. Then, characters included in the closed region 64D defined by the figure 62D are extracted. At this time, characters partially included in the closed region 64D are also extracted. Thereby, the character areas 61A, 61B, and 61C are extracted as the character areas included in the closed area 64D. Then, a rectangle 66D surrounding the closed area 64D and its center position 67D are calculated, and the character area 61C closest to the center position 67D becomes the selection area.

文字領域の分離および文字領域の修飾属性の判別するための領域判別処理の方法は、特に限定されない。また、領域判別処理は、必要に応じて、図形62Dの内部およびの図形62Dの近傍のみを対象としたり、全てのデータを対象として実施することも可能である。さらに、ビットマップ画像は、OCR(Optical Character Reader)によって文字認識処理を実施してテキスト化し(文字領域に位置する文字およびその修飾属性を特定し)、その後、テキストデータの横書き文書(非ビットマップ文書)として、選択操作1と同様の処理を実施し、選択文字列を特定することも可能である。   There is no particular limitation on the method of area determination processing for separating character areas and determining decoration attributes of character areas. In addition, the area determination processing can be performed only on the inside of the figure 62D and the vicinity of the figure 62D, or on all data as necessary. Furthermore, the bitmap image is converted into text by performing character recognition processing by OCR (Optical Character Reader) (identifying the character located in the character area and its modification attribute), and then writing the text data horizontally (non-bitmap). It is also possible to specify the selected character string by performing the same processing as the selection operation 1 as (document).

次に、選択範囲調整部を詳述する。   Next, the selection range adjustment unit will be described in detail.

図16および図17は、選択操作確定後に自動起動する選択範囲調整部を説明するための概念図である。   16 and 17 are conceptual diagrams for explaining a selection range adjustment unit that is automatically activated after the selection operation is confirmed.

選択範囲調整部は、文字列選択補助部による文字列選択後(選択文字列が矩形68によって特定されて表示されると)、自動起動し、選択文字列の変更(編集)をするか否かを決定するために使用される手動調整手段である。つまり、ユーザーが、選択文字列が含まれる矩形68のサイズを調整(拡張あるいは縮小)し、選択文字列が適正(所望のもの)になったと判断し、確定ボタン80をタップすると、選択文字列が確定し、一方、取消ボタン82をタップすることで、文字列選択状態が取り消される。   Whether the selection range adjustment unit automatically starts and changes (edits) the selected character string after the character string is selected by the character string selection auxiliary unit (when the selected character string is specified and displayed by the rectangle 68). Manual adjustment means used to determine That is, when the user adjusts (expands or reduces) the size of the rectangle 68 including the selected character string, determines that the selected character string is appropriate (desired), and taps the confirmation button 80, the selected character string is displayed. On the other hand, the character string selection state is canceled by tapping the cancel button 82.

例えば、図16に示されるように、上側の領域88Aに関して、矩形68のサイズを拡張あるいは縮小したい場合、上側の領域88Aにおいてスライド操作84を実施し、下側の領域88Bに関して、矩形68のサイズを拡張したい場合、下側の領域88Bにおいてスライド操作85を実施する。矩形68のサイズを拡張あるいは縮小して表示したい場合、下側の領域88Bにおいてスライド操作85を実施する。   For example, as shown in FIG. 16, when it is desired to expand or reduce the size of the rectangle 68 with respect to the upper region 88A, the slide operation 84 is performed in the upper region 88A, and the size of the rectangle 68 with respect to the lower region 88B. When the user wants to expand, the slide operation 85 is performed in the lower region 88B. When it is desired to expand or reduce the size of the rectangle 68, the slide operation 85 is performed in the lower area 88B.

一方、図17に示されるように、左側の領域89Aに関して、矩形68のサイズを拡張あるいは縮小したい場合、左側の領域89Aにおいてスライド操作86を実施し、右側の領域89Bに関して、矩形68のサイズを拡張あるいは縮小したい場合、右側の領域89Bにおいてスライド操作87を実施する。   On the other hand, as shown in FIG. 17, when it is desired to expand or reduce the size of the rectangle 68 with respect to the left region 89A, the slide operation 86 is performed in the left region 89A, and the size of the rectangle 68 with respect to the right region 89B is increased. If it is desired to expand or contract, the slide operation 87 is performed in the right area 89B.

なお、サイズを拡張したい場合は、矩形68から離間する方向にスライド操作を実施し、サイズを縮小したい場合は、矩形68に向かって近接する方向にスライド操作を実施する。   If it is desired to expand the size, a slide operation is performed in a direction away from the rectangle 68, and if it is desired to reduce the size, a slide operation is performed in a direction closer to the rectangle 68.

次に、本発明の実施の形態に係る文書表示端末の応用例を説明する。   Next, an application example of the document display terminal according to the embodiment of the present invention will be described.

図18は、本発明の実施の形態に係る文書表示端末の応用例に係る暗記学習支援プログラムを説明するためのブロック図である。   FIG. 18 is a block diagram for explaining a memorization learning support program according to an application example of the document display terminal according to the embodiment of the present invention.

文書表示端末100は、図18に示される暗記学習支援プログラム180がインストールされている。暗記学習支援プログラム180は、文字列選択補助部により保存された選択情報データを利用し、既存の学習教材を暗記学習支援文書として表示するソフトウェアであり、選択情報読出部181、文字列隠蔽部183、選択情報保存部184および重合せ表示部186を有する。暗記学習支援プログラム180は、必要に応じ、文書表示プログラム170の各モジュール(文字列選択補助部171、選択範囲調整部173、領域判別部174、選択情報記憶部176、ペン属性指定部177、一括選択部178および選択情報保存部179)を適宜組み込むことも可能である。   The document display terminal 100 is installed with a memorization learning support program 180 shown in FIG. The memorization learning support program 180 is software that displays the existing learning material as a memorization learning support document using the selection information data saved by the character string selection assisting unit. The selection information reading unit 181 and the character string hiding unit 183 , A selection information storage unit 184 and a superposition display unit 186. The memorization learning support program 180 is configured so that each module of the document display program 170 (a character string selection auxiliary unit 171, a selection range adjustment unit 173, an area determination unit 174, a selection information storage unit 176, a pen attribute designation unit 177, and a batch as necessary. The selection unit 178 and the selection information storage unit 179) can be appropriately incorporated.

既存の学習教材は、教科書、参考書、講義ノート等である。学習教材は、学習対象の重要語やフレーズが、文字修飾により強調されているものが多いため、修飾属性に基づき、学習対象の重要語やフレーズを効率よく抽出することが可能であり、例えば、学習対象の重要語やフレーズが、見出し(選択された文字列)として生成される。   Existing learning materials include textbooks, reference books, and lecture notes. In learning materials, many important words and phrases to be learned are emphasized by character modification, so it is possible to efficiently extract important words and phrases to be learned based on modifier attributes. An important word or phrase to be learned is generated as a headline (selected character string).

選択情報読出部181は、表示する学習教材に関連付けられている選択情報データを読み出すモジュールである。   The selection information reading unit 181 is a module that reads selection information data associated with a learning material to be displayed.

文字列隠蔽部183は、重合せ機能および第1〜3切替え機能を有する。重合せ機能は、選択情報データに含まれる表示中ページ内の選択範囲を、マスク領域と重ね合わせて表示する機能である。第1切替え機能は、選択されたマスク領域の隠蔽表示/隠蔽解除表示を個別に切り替える機能である。第2切替え機能は、選択情報を学習レベルと関連付け、指定された学習レベルに相当する学習対象領域の隠蔽表示/隠蔽解除表示を切り替える機能である。第3切替え機能は、表示中ページのマスク領域の隠蔽表示/隠蔽解除表示を一括して切り替える機能と、を有する。   The character string concealing unit 183 has a superposition function and first to third switching functions. The superimposing function is a function for displaying the selection range in the displayed page included in the selection information data so as to overlap the mask area. The first switching function is a function for individually switching the concealment display / concealment release display of the selected mask area. The second switching function is a function for associating selection information with a learning level and switching between concealment display / concealment release display of a learning target region corresponding to a designated learning level. The third switching function has a function of switching the concealment display / concealment release display of the mask area of the displayed page at once.

選択情報保存部184は、表示文書中の選択情報(選択範囲)の隠蔽表示/隠蔽解除表示状態を、選択情報データに関連付けて保存するモジュールである。   The selection information storage unit 184 is a module that stores the concealment display / unconcealment display state of the selection information (selection range) in the display document in association with the selection information data.

重合せ表示部186は、選択情報読出部181によって読出された選択情報に含まれる学習レベルに基づき、選択された文字列データを、表示パネル142に表示されている文書データに重ね合わせて表示するモジュールである。   The superimposition display unit 186 displays the selected character string data superimposed on the document data displayed on the display panel 142 based on the learning level included in the selection information read by the selection information reading unit 181. It is a module.

次に、暗記学習支援プログラムによって利用される選択情報データを説明する。   Next, selection information data used by the memorization learning support program will be described.

図19は、暗記学習支援プログラムに係る文書を説明するための概念図、図20は、図19に示される文書から作成されるデータを説明するための図表である。   FIG. 19 is a conceptual diagram for explaining a document related to the memorization learning support program, and FIG. 20 is a chart for explaining data created from the document shown in FIG.

暗記学習支援プログラムに係る文書72は、文書表示端末100のユーザーが用意する資料であり、例えば、図19に示されるように、市販の学習教材70に対し、マーカーを使用して背景色を付加することにより作成される。背景色は、本実施の形態においては、赤、緑および黄であり、図面では、便宜上、網かけのパターンによって区別している。   The document 72 related to the memorization learning support program is a material prepared by the user of the document display terminal 100. For example, as shown in FIG. 19, a background color is added to a commercially available learning material 70 using a marker. It is created by doing. The background colors are red, green and yellow in the present embodiment, and are distinguished by a shaded pattern in the drawing for convenience.

文書72は、例えば、別体の画像読み取り装置(イメージスキャナ)によって電子データ化され、生成された文書画像データ(学習原稿)が、「原稿画像00」としてメモリーカード165に記憶され、文書表示端末100のメモリカードインターフェース160のスロットに装着される。   The document 72 is converted into electronic data by, for example, a separate image reading device (image scanner), and the generated document image data (learning original) is stored in the memory card 165 as “original image 00”, and the document display terminal 100 memory card interfaces 160 are inserted into slots.

文書表示端末100は、メモリーカード165から読み出された「原稿画像00」に対し、例えば、背景色が赤の場合はレベル(学習レベル)1であり、背景色が緑の場合はレベル2であり、背景色が黄である場合は、レベル3の関連付けを行い、「文字列選択補助部」による選択操作を実施し、選択操作結果データ90が、テーブル形式でメモリーカード165に書き込まれる。   For example, when the background color is red, the document display terminal 100 is level 1 (learning level) 1 when the background color is red, and level 2 when the background color is green. Yes, if the background color is yellow, level 3 association is performed, a selection operation by the “character string selection auxiliary unit” is performed, and the selection operation result data 90 is written to the memory card 165 in a table format.

選択操作結果データ90は、図20に示されるように、ヘッダー部92とテーブル部94からなる。ヘッダー部92は、「情報名」を特定するデータ(例えば、「原稿画像00_選択情報」)および文書を特定するデータ(例えば、「原稿画像00」)を有する。テーブル部94は、選択情報項目として、「ID」、「文字色」、「背景色」、「ペン色」、「ペン太さ」、「座標」、「サイズ」、「レベル」および「選択内容」を有する。   The selection operation result data 90 includes a header portion 92 and a table portion 94 as shown in FIG. The header unit 92 includes data for specifying “information name” (for example, “original image 00_selection information”) and data for specifying a document (for example, “original image 00”). The table section 94 includes “ID”, “character color”, “background color”, “pen color”, “pen thickness”, “coordinate”, “size”, “level”, and “selected contents” as selection information items. Is included.

なお、「ID」は、選択情報を特定するための識別番号である。「座標」は、選択された文字列である選択内容のデータが存する矩形領域(選択領域)の位置データである。したがって、表示パネル142上において拡大/縮小表示を行っても、表示画面内での選択領域を特定することが可能である。「サイズ」は、選択領域を規定する幅および高さである。   “ID” is an identification number for specifying selection information. “Coordinates” is position data of a rectangular area (selected area) in which data of selection content that is a selected character string exists. Therefore, even when enlarged / reduced display is performed on the display panel 142, it is possible to specify a selection area in the display screen. “Size” is the width and height that define the selected area.

次に、メニュー構成を参照し、暗記学習支援プログラムの機能を具体的に説明する。   Next, the function of the memorization learning support program will be specifically described with reference to the menu structure.

図21は、メニュー表示ボタンの押圧により表示されるメインメニューを説明するための平面図、図22および図23は、図21に示される表示メニューおよびツールメニューの下位メニューを説明するための平面図である。   FIG. 21 is a plan view for explaining a main menu displayed by pressing a menu display button, and FIGS. 22 and 23 are plan views for explaining lower menus of the display menu and tool menu shown in FIG. It is.

表示パネル142は、メニュー表示ボタン120が押圧されると、図21に示されるメインメニュー12を表示する。メインメニュー12のメニュー項目は、本実施の形態において、「ファイル」、「表示」、「ツール」および「ヘルプ」である。下位のメニューの選択は、所望のメニュー項目の表示領域をタップすることにより実行され、タッチパネル132によって検出されたメニュー項目の下位メニューが、表示パネル142に表示される。例えば、ファイルメニューがタップされると、図21に示されるように、下位メニューとして「新規」、「開く」、「保存」および「終了」を有するメニュー26が表示される。   When the menu display button 120 is pressed, the display panel 142 displays the main menu 12 shown in FIG. The menu items of the main menu 12 are “file”, “display”, “tool”, and “help” in the present embodiment. The selection of the lower menu is executed by tapping the display area of the desired menu item, and the lower menu of the menu item detected by the touch panel 132 is displayed on the display panel 142. For example, when the file menu is tapped, as shown in FIG. 21, a menu 26 having “new”, “open”, “save”, and “end” as the lower menu is displayed.

表示メニューがタップされると、図22に示されるように、下位メニューとして「学習」、「全表示」、「全隠蔽」および「レベル」を有するメニュー34が表示され、選択されている表示設定(表示モード)の左側に、レ点が表示される。「レベル」は、本実施の形態においては、メニュー34において1〜3が表示され、選択されたレベルの左側にレ点が表示される。   When the display menu is tapped, as shown in FIG. 22, a menu 34 having “learn”, “all display”, “all concealment”, and “level” as the lower menu is displayed, and the selected display setting is displayed. A check mark is displayed on the left side of (Display Mode). In the present embodiment, “level” is displayed as 1 to 3 in the menu 34, and a check mark is displayed on the left side of the selected level.

ツールメニューがタップされると、図23に示されるように、下位メニューとして「見出語表示」を有するメニュー38が表示される。「見出語表示」は、選択操作結果データ90(図20参照)を表示し、文書画像データに設定されている選択領域の情報を提示するためのものである。この表示により、選択領域の文字列を、見出し語として参照することが可能である。   When the tool menu is tapped, as shown in FIG. 23, a menu 38 having “displayed word display” as a lower menu is displayed. “Title display” is for displaying the selection operation result data 90 (see FIG. 20) and presenting information on the selected area set in the document image data. By this display, it is possible to refer to the character string in the selected area as a headword.

次に、表示メニューの下位メニューを詳述する。   Next, the lower menu of the display menu will be described in detail.

図24および図25は、図22に示される表示メニューの学習および全表示を説明するための概念図、図26は、図22に示される表示メニューの全隠蔽に係るマスク領域を説明するための概念図、図27は、図26に示されるマスク領域によって隠蔽された選択領域を説明するための概念図、図28は、図22に示される表示メニューのレベルに係るマスク領域を説明するための概念図、図29は、図28に示されるマスク領域によって隠蔽された選択領域を説明するための概念図、図30は、マスク領域構成の変更を説明するための概念図、図31は、図30に示されるマスク領域によって隠蔽された選択領域を説明するための概念図である。   24 and FIG. 25 are conceptual diagrams for explaining learning and full display of the display menu shown in FIG. 22, and FIG. 26 is for explaining a mask area related to full concealment of the display menu shown in FIG. FIG. 27 is a conceptual diagram for explaining a selection area concealed by the mask area shown in FIG. 26, and FIG. 28 is for explaining a mask area according to the level of the display menu shown in FIG. FIG. 29 is a conceptual diagram for explaining a selection area concealed by the mask area shown in FIG. 28, FIG. 30 is a conceptual diagram for explaining a change of the mask area configuration, and FIG. FIG. 30 is a conceptual diagram for explaining a selection area concealed by a mask area indicated by 30;

表示メニューの下位メニューは、図22に示されるように、「学習」、「全表示」、「全隠蔽」および「レベル」である。   As shown in FIG. 22, the lower menus of the display menu are “learning”, “all display”, “all concealment”, and “level”.

「学習」は、学習対象領域を明示せずに、文書画像データを表示するモードであり、「レイヤー1」に配置する選択領域は総て、図24に示されるように、文字色を黒,背景色を白に置換される。その結果、図19に示される学習教材70のように、マーカーによる背景色が付加される前のイメージが表示される。「全表示」は、学習対象領域を明示して、文書画像データを表示するモードであり、「レイヤー1」に配置する選択領域は、図25に示されるように、それぞれの文字色および背景色で配置される。その結果、図19に示される文書72のように、マーカーによる背景色がつけられたイメージが表示される。   “Learning” is a mode in which the document image data is displayed without clearly indicating the learning target region. As shown in FIG. 24, all of the selection regions arranged in “Layer 1” have a character color of black, The background color is replaced with white. As a result, like the learning material 70 shown in FIG. 19, the image before the background color is added by the marker is displayed. “Full display” is a mode in which the document image data is displayed by clearly indicating the learning target region. As shown in FIG. 25, the selection region to be arranged in “Layer 1” has the respective character color and background color. It is arranged with. As a result, like the document 72 shown in FIG. 19, an image with a background color by the marker is displayed.

「全隠蔽」は、学習対象領域に属する(含まれる)選択領域の文字を隠蔽して、文書画像データを表示するモードであり、「レイヤー1」に配置する選択領域は、それぞれの文字色が背景色に置換されることで、図26に示されるマスク領域69が生成される。その結果、図27に示されるように、学習対象領(全ての選択領域)の文字が隠蔽されたイメージが表示される。   “Full concealment” is a mode in which the text of the selected region belonging to (included in) the learning target region is concealed and the document image data is displayed. The selected region arranged in “Layer 1” has a character color of each. By being replaced with the background color, a mask area 69 shown in FIG. 26 is generated. As a result, as shown in FIG. 27, an image in which characters in the learning target area (all selected areas) are concealed is displayed.

「レベル」は、設定されたレベル値に該当する学習対象領域に属する選択領域の文字を隠蔽して、文書画像データを表示するモードである。「レベル」は複数選択可能であり、選択されているレベルの左側に、レ点が表示される。例えば、「レベル」として「2」が選択された場合、レベル2に該当する選択領域においては、文字色が背景色に置換され、他のレベルに該当する選択領域においては、文字色が黒に置換され、背景色が白に置換されることで、図28に示されるマスク領域69Aが生成されて、「レイヤー1」に配置される。その結果、図29に示されるように、レベル2の学習対象領域に属する選択領域の文字は隠蔽され、他レベルの学習対象領域に属する選択領域は、学習対象領域とは明示されていない原稿イメージが表示される。   The “level” is a mode in which the document image data is displayed while concealing the characters in the selected region belonging to the learning target region corresponding to the set level value. A plurality of “levels” can be selected, and a check mark is displayed on the left side of the selected level. For example, when “2” is selected as the “level”, the character color is replaced with the background color in the selection region corresponding to level 2, and the character color is changed to black in the selection region corresponding to other levels. By replacing the background color with white, a mask area 69A shown in FIG. 28 is generated and arranged in “Layer 1”. As a result, as shown in FIG. 29, the characters in the selection area belonging to the learning target area of level 2 are concealed, and the selection areas belonging to the learning target area of other levels are not clearly indicated as the learning target area. Is displayed.

そして、図29において文字が隠蔽されているマスク領域69Bをタップすると、領域69Aにおける置換前の文字色および背景色に復帰させて、「レイヤー1」に再配置することで、図30に示されるように、マスク領域構成が変更される。その結果、図31に示される原稿イメージが表示される。   Then, when the mask area 69B in which characters are concealed in FIG. 29 is tapped, the character color and background color before replacement in the area 69A are restored and rearranged in “Layer 1”, as shown in FIG. Thus, the mask area configuration is changed. As a result, the original image shown in FIG. 31 is displayed.

次に、ファイルメニューの下位メニューを詳述する。   Next, the lower menu of the file menu will be described in detail.

図32は、図21に示されるファイルメニューの保存に係る表示状態データを説明するための図表である。   FIG. 32 is a table for explaining display state data relating to the saving of the file menu shown in FIG.

ファイルメニューの下位メニューの26は、図21に示されるように、「新規」、「開く」、「保存」および「終了」である。   As shown in FIG. 21, the lower menu 26 of the file menu is “new”, “open”, “save”, and “end”.

「新規」は、表示パネル142に表示される文書画像データに係る選択情報を選択するモードであり、「新規」をタップすることにより、「選択情報データ」選択ダイアログが表示される。「選択情報データ」選択ダイアログにおいて、「原稿画像00_選択情報」を選択すると、文書画像データ「原稿画像00」および「原稿画像00_選択情報」がメモリーカード165から読み出され、表示パネル142に表示される。この際、「原稿画像00」は、「背景レイヤー」に配置され、「原稿画像00_選択情報」は、選択領域の選択情報および表示メニュー設定に従って、レイヤー1に配置される。   “New” is a mode for selecting selection information related to document image data displayed on the display panel 142. By tapping “New”, a “Selection information data” selection dialog is displayed. When “original image 00_selection information” is selected in the “selection information data” selection dialog, the document image data “original image 00” and “original image 00_selection information” are read from the memory card 165 and displayed on the display panel 142. Is done. At this time, “original image 00” is arranged in “background layer”, and “original image 00_selection information” is arranged in layer 1 according to selection information of the selection area and display menu setting.

「開く」は、表示状態データを保存した時点の状態を復元するモードであり、「開く」をタップすることにより、「表示状態データ」選択ダイアログが表示される。「表示状態データ」選択ダイアログにおいて、「保存」で保存した表示状態データが選択されると、そのデータが読み込まれる。表示状態データは「選択情報データ」が関連付けられており、「選択情報データ」は「文書画像データ(例えば、原稿画像00)」が関連付けされている。したがって、表示状態データを読み込むことで、関連付けられているデータを一括して読み込むことが可能であり、表示状態データを保存した時点の状態を復元することができる。   “Open” is a mode for restoring the state at the time when the display state data is saved. By tapping “Open”, a “Display state data” selection dialog is displayed. In the “display state data” selection dialog, when the display state data saved by “save” is selected, the data is read. “Selection information data” is associated with the display state data, and “document image data (for example, document image 00)” is associated with “selection information data”. Therefore, by reading the display state data, the associated data can be read in a batch, and the state at the time when the display state data is saved can be restored.

「保存」は、その時点でのプログラム上の表示状態を保存するモードであり、「保存」をタップすることにより、「表示状態保存」ダイアログが表示される。「表示状態保存」ダイアログにおいて、その時点でのプログラム上の表示状態に名前が付けられ、「選択情報データ」に関連付けて、「表示状態データ」として保存される。   “Save” is a mode for saving the display state on the program at that time, and by tapping “Save”, a “Save Display State” dialog is displayed. In the “display state save” dialog, the display state on the program at that time is given a name, and is associated with “selection information data” and saved as “display state data”.

表示状態データ95は、例えば、図32に示されるように、ヘッダー部97およびテーブル部99を有する。ヘッダー部97は、状態を特定するデータ「状態名」、選択情報を特定するデータ「選択情報名」、「表示モード」および「表示レベル」を有する。なお、「表示モード」が「レベル」の場合、「表示レベル」には、表示メニューの下位メニューである「レベル」において選択されているレベルが列挙される。   The display state data 95 includes, for example, a header part 97 and a table part 99 as shown in FIG. The header portion 97 has data “state name” for specifying a state, data “selection information name” for specifying selection information, “display mode”, and “display level”. When “display mode” is “level”, “level” lists levels selected in “level” which is a lower menu of the display menu.

テーブル部99は、選択領域の〔ID〕と、〔ID〕に関連づけられた〔表示状態〕とを有する。「〔表示状態〕」に関し、「−−」は、表示モード設定に従って表示されることを表しており、「表示」は、表示モード設定にかかわらず文字列を表示することを表している。なお、図32に示される「表示状態データ」は、図31に示される表示状態に対応している。   The table unit 99 has [ID] of the selection area and [display state] associated with [ID]. Regarding “[display state]”, “−−” indicates that the character string is displayed according to the display mode setting, and “display” indicates that a character string is displayed regardless of the display mode setting. The “display state data” shown in FIG. 32 corresponds to the display state shown in FIG.

以上のように、本実施の形態においては、文字列を指定するユーザーの手書き操作が不正確であっても、文字データの修飾属性の出現頻度に基づき決定される選択属性を利用するため、文字列データを正確に取得(選択)することができる。つまり、表示パネルに高密度に情報が表示されている場合であっても、指によるタッチパネル操作によって、表示されている情報から文字列を容易に選択し得る文書表示装置、文書表示端末および文書表示プログラムを提供することが可能である。   As described above, in this embodiment, even if the user's handwriting operation for specifying a character string is inaccurate, the selection attribute determined based on the appearance frequency of the modification attribute of the character data is used. Column data can be acquired (selected) accurately. That is, even when information is displayed on the display panel at a high density, a document display device, a document display terminal, and a document display that can easily select a character string from displayed information by a touch panel operation with a finger It is possible to provide a program.

特に、本発明に係る文書表示端末および文書表示プログラムにおいては、選択情報を利用した、文書表示のさまざまな応用が可能となる。例えば、選択された文字列データの文書データにおける相対位置が、選択情報に含まれているため、表示パネルに表示された文書データを拡大あるいは縮小して表示しても、選択された文字列データの文書データにおける相対位置を維持することが可能である。   Particularly, in the document display terminal and the document display program according to the present invention, various applications of document display using selection information are possible. For example, since the relative position of the selected character string data in the document data is included in the selection information, the selected character string data is displayed even if the document data displayed on the display panel is enlarged or reduced. It is possible to maintain the relative position in the document data.

本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲で種々改変することができる。例えば、文書表示端末の応用例は、エンドユーザーによる暗記学習支援に利用する形態に限定されない。   The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims. For example, the application example of the document display terminal is not limited to the form used for the memorization learning support by the end user.

なお、本発明に係る手段、方法およびプログラムは、専用のハードウェア回路によっても実現することも可能である。また、プログラムされた文書表示端末によって本発明を実現する場合、文書表示端末を動作させるプログラムは、USBメモリーやCD−ROM(Compact Disc Read Only Memory)等のコンピューター読み取り可能な記録媒体によって提供したり、記録媒体によらず、インターネット等のネットワークを介してオンラインで提供したりすることも可能である。この場合、プログラムは、通常、文書表示端末のハードディスク等の記憶装置に送信されて記憶される。また、プログラムは、単独のアプリケーションソフトウェアとして提供されてもよいし、文書表示端末の一機能として、文書表示端末のソフトウェアに組み込むことも可能である。   The means, method, and program according to the present invention can also be realized by a dedicated hardware circuit. When the present invention is realized by a programmed document display terminal, a program for operating the document display terminal is provided by a computer-readable recording medium such as a USB memory or a CD-ROM (Compact Disc Read Only Memory). It is also possible to provide online via a network such as the Internet regardless of the recording medium. In this case, the program is normally transmitted to and stored in a storage device such as a hard disk of the document display terminal. Further, the program may be provided as a single application software, or may be incorporated into the software of the document display terminal as one function of the document display terminal.

10,12 メインメニュー、
20,22,24,26,30,32,34,36,38 下位メニュー、
40 選択情報関連付けダイアログ、
42 関連付けテーブル、
48 ドロップダウンボックス、
50 追加ボタン、
52 消去ボタン、
54 削除ボタン、
56 上下ボタン、
58 確定ボタン、
60,60A 文書、
61A,61B,61C 文字領域、
62,62A,62B,62C,62D 図形、
64,64A,64B,64B’,64C,64C’,64D 閉領域、
66,66A,66D 矩形、
67,67A,67D 中心位置、
68 矩形、
69,69A,69B マスク領域、
70 学習教材、
72 文書、
80 確定ボタン、
82 取消ボタン、
84,85,86,87 スライド操作、
88A,88B,89A,89B 領域、
90 選択操作結果データ、
92 ヘッダー部、
94 テーブル部、
95 表示状態データ、
97 ヘッダー部、
99 テーブル部、
100 文書表示端末、
110 CPU、
112 ROM、
114 RAM、
120 メニュー表示ボタン、
122 メニュー表示ボタンインターフェース、
130 表示操作部、
132 タッチパネル、
134 タッチパネルインターフェース、
142 表示パネル、
144 表示パネルインターフェース、
150 画像メモリー、
160 メモリカードインターフェース、
165 メモリーカード、
170 文書表示プログラム、
171 文字列選択補助部、
173 選択範囲調整部、
174 領域判別部、
176 選択情報記憶部
177 ペン属性指定部
178 一括選択部
179 選択情報保存部
180 暗記学習支援プログラム、
181 選択情報読出部、
183 文字列隠蔽部、
184 選択情報保存部、
186 重合せ表示部、
D 文書表示方向、
E 終点、
S 始点。
10,12 Main menu,
20, 22, 24, 26, 30, 32, 34, 36, 38 Submenu,
40 Selection information association dialog,
42 association table,
48 drop-down box,
50 add button,
52 Erase button,
54 Delete button,
56 Up and down buttons,
58 Confirm button,
60,60A document,
61A, 61B, 61C character area,
62, 62A, 62B, 62C, 62D figure,
64, 64A, 64B, 64B ', 64C, 64C', 64D closed region,
66, 66A, 66D rectangle,
67, 67A, 67D center position,
68 rectangles,
69, 69A, 69B mask region,
70 learning materials,
72 documents,
80 Confirm button,
82 Cancel button,
84, 85, 86, 87 Slide operation,
88A, 88B, 89A, 89B area,
90 Selection operation result data,
92 header part,
94 Table section,
95 Display status data,
97 Header part,
99 Table section,
100 document display terminal,
110 CPU,
112 ROM,
114 RAM,
120 Menu display button,
122 Menu display button interface,
130 display operation unit,
132 touch panel,
134 Touch panel interface,
142 display panels,
144 Display panel interface,
150 image memory,
160 Memory card interface,
165 memory card,
170 document display program,
171 Character string selection assistant,
173 selection range adjustment unit,
174 area discriminator,
176 selection information storage unit 177 pen attribute designation unit 178 collective selection unit 179 selection information storage unit 180 memorization learning support program,
181 Selection information reading unit,
183 character string concealment unit,
184 selection information storage unit,
186 superposition display part,
D Document display direction,
E end point,
S Start point.

Claims (23)

文字データがレイアウトされた文書データを表示する表示パネルと、
前記表示パネルと一体化され、ユーザーの手書き操作の軌跡を検出するタッチパネルと、
前記表示パネルに表示された前記文字データから、前記軌跡によって指定された文字列を選択する文字列選択補助部と、を有しており、
前記文字列選択補助部は、
前記軌跡によって特定される閉領域を決定し、
前記閉領域に属する文字データを抽出し、
抽出された前記文字データの修飾属性を取得し、
取得された前記修飾属性の出現頻度に基づき、最も出現頻度の高い修飾属性を選択属性として決定し、
前記選択属性と同一の修飾属性を有しかつ前記閉領域に含まれる文字データを順次連結して、文字列データを取得し、
取得された文字列データを、前記軌跡によって指定された文字列として選択する
ことを特徴とする文書表示装置。
A display panel for displaying document data in which character data is laid out;
A touch panel that is integrated with the display panel and detects a locus of a user's handwriting operation;
A character string selection auxiliary unit that selects a character string specified by the locus from the character data displayed on the display panel,
The character string selection auxiliary unit is
Determining a closed region identified by the trajectory;
Extracting character data belonging to the closed region;
Get the decoration attribute of the extracted character data,
Based on the obtained appearance frequency of the modified attribute, the modified attribute with the highest appearance frequency is determined as a selection attribute,
The character data having the same modification attribute as the selection attribute and character data included in the closed region are sequentially connected to obtain character string data,
The obtained character string data is selected as a character string designated by the trajectory.
前記文字データの修飾属性は、下線、傍線、傍点、文字色、背景色、文字スタイル、あるいは、これらの組合せであることを特徴とする請求項1に記載の文書表示装置。   The document display device according to claim 1, wherein the modification attribute of the character data is underline, side line, side point, character color, background color, character style, or a combination thereof. 前記文字列選択補助部は、前記軌跡が閉じていない場合、前記軌跡の始点と終点との間を補完し、前記閉領域を決定することを特徴とする請求項1又は請求項2に記載の文書表示装置。   The said character string selection auxiliary | assistant part complements between the start point and the end point of the said locus | trajectory, and the said closed area | region is determined, when the said locus | trajectory is not closed. Document display device. 前記文字列選択補助部は、前記軌跡によって特定される前記閉領域に抽出すべき文字データが存在しない場合、前記閉領域の形状に基づき、所定の方向に前記閉領域を拡張し、拡張後の閉領域から、文字データを抽出することを特徴とする請求項1〜3のいずれか1項に記載の文書表示装置。   The character string selection auxiliary unit expands the closed region in a predetermined direction based on the shape of the closed region when there is no character data to be extracted in the closed region specified by the trajectory. 4. The document display device according to claim 1, wherein character data is extracted from the closed region. 前記文字データの修飾属性の出現頻度は、前記文字データが属する閉領域の中心からの距離に応じて重みが与えられおり、前記重みは、前記閉領域の中心に近いほど、大きくなっていることを特徴とする請求項1〜4のいずれか1項に記載の文書表示装置。   The appearance frequency of the decoration attribute of the character data is given a weight according to the distance from the center of the closed region to which the character data belongs, and the weight is increased as the distance from the center of the closed region is closer. The document display device according to claim 1, wherein: 前記文字列選択補助部は、次に連結する文字データが所定の連結終端文字である場合、あるいは、次に連結する文字データが文頭もしくは文末に位置している場合、文字データの連結を終了する
ことを特徴とする請求項1〜5のいずれか1項に記載の文書表示装置。
The character string selection auxiliary unit terminates character data concatenation when the next character data to be concatenated is a predetermined concatenation termination character, or when the character data to be concatenated next is located at the beginning or end of a sentence. The document display device according to claim 1, wherein the document display device is a display device.
前記文字列選択補助部によって取得された文字列データを調整する選択範囲調整部をさらに有し、
前記選択範囲調整部は、前記文字列データの範囲を特定する矩形を、前記表示パネルに表示される前記文書データにオーバーラップして表示し、前記ユーザーの手書き操作の軌跡による指示の基づき、前記矩形のサイズを変更することにより、前記文字列データの範囲を調整する
ことを特徴とする請求項1〜6のいずれか1項に記載の文書表示装置。
A selection range adjustment unit for adjusting the character string data acquired by the character string selection auxiliary unit;
The selection range adjustment unit displays a rectangle that specifies the range of the character string data so as to overlap the document data displayed on the display panel, and based on an instruction based on a trajectory of the user's handwriting operation, The document display device according to claim 1, wherein a range of the character string data is adjusted by changing a size of the rectangle.
前記文書データは、ビットマップ画像であり、
前記文書表示装置は、文字領域の判別および修飾属性の判別のための領域判別処理を前記文書データに対して実行する領域判別部をさらに有し、
前記文字列選択補助部は、前記領域判別部によって判別された前記文字領域および前記文字領域の前記修飾属性を利用する
ことを特徴とする請求項1〜7のいずれか1項に記載の文書表示装置。
The document data is a bitmap image,
The document display device further includes an area determination unit that executes an area determination process for determining the character area and the decoration attribute for the document data,
The document display according to claim 1, wherein the character string selection assisting unit uses the character region determined by the region determining unit and the modification attribute of the character region. apparatus.
文字データがレイアウトされた文書データを表示する表示パネルと、
前記表示パネルと一体化され、ユーザーの手書き操作の軌跡を検出するタッチパネルと、
記表示パネルに表示された前記文字データから、前記軌跡によって指定された文字列を選択する文字列選択補助部と、
選択された前記文字列データに係る選択情報を、前記文書データと関連付けて記憶する選択情報記憶部と、を有しており、
前記文字列選択補助部は、
前記軌跡によって特定される閉領域を決定し、
前記閉領域に属する文字データを抽出し、
抽出された前記文字データの修飾属性を取得し、
取得された前記修飾属性の出現頻度に基づき、最も出現頻度の高い修飾属性を選択属性として決定し、
前記選択属性と同一の修飾属性を有しかつ前記閉領域に含まれる文字データを順次連結して、文字列データを取得し、
取得された文字列データを、前記軌跡によって指定された文字列として選択しており、
前記選択情報は、
選択された前記文字列データの前記文書データにおける相対位置に加えて、
前記選択属性、前記軌跡の属性、および、前記軌跡が描く形状の内の少なくとも1つを含んでいる
ことを特徴とする文書表示端末。
A display panel for displaying document data in which character data is laid out;
A touch panel that is integrated with the display panel and detects a locus of a user's handwriting operation;
A character string selection auxiliary unit for selecting a character string designated by the locus from the character data displayed on the display panel;
A selection information storage unit that stores selection information related to the selected character string data in association with the document data;
The character string selection auxiliary unit is
Determining a closed region identified by the trajectory;
Extracting character data belonging to the closed region;
Get the decoration attribute of the extracted character data,
Based on the obtained appearance frequency of the modified attribute, the modified attribute with the highest appearance frequency is determined as a selection attribute,
The character data having the same modification attribute as the selection attribute and character data included in the closed region are sequentially connected to obtain character string data,
The acquired character string data is selected as a character string designated by the locus,
The selection information is:
In addition to the relative position of the selected character string data in the document data,
The document display terminal includes at least one of the selection attribute, the trajectory attribute, and the shape drawn by the trajectory.
前記選択情報は、前記選択属性、前記軌跡の属性および前記軌跡が描く形状の内の少なくとも2つを含んでいることを特徴とする請求項9に記載の文書表示端末。   10. The document display terminal according to claim 9, wherein the selection information includes at least two of the selection attribute, the trajectory attribute, and the shape drawn by the trajectory. 前記選択情報は、前記選択属性を含んでいることを特徴とする請求項10に記載の文書表示端末。   The document display terminal according to claim 10, wherein the selection information includes the selection attribute. 前記選択情報は、前記軌跡の属性情報を含んでおり、
前記軌跡の属性情報は、前記軌跡の太さおよび/又は色を含んでおり、
前記文書表示端末は、前記軌跡の太さおよび/又は色を指定するペン属性指定部を、さらに有していることを特徴とする請求項11に記載の文書表示端末。
The selection information includes attribute information of the trajectory,
The trajectory attribute information includes the thickness and / or color of the trajectory,
The document display terminal according to claim 11, further comprising a pen attribute specifying unit that specifies a thickness and / or a color of the locus.
前記選択情報は、前記軌跡が描く形状の情報を含んでいることを特徴とする請求項12に記載の文書表示端末。   The document display terminal according to claim 12, wherein the selection information includes information on a shape drawn by the trajectory. 前記文書データの全体から、あるいは前記表示パネルに表示されている前記文書データの部分から、前記選択属性と同一の修飾属性を有する文字列データを、自動的に選択する一括選択部をさらに有することを特徴とする請求項11〜13のいずれか1項に記載の文書表示端末。   A batch selection unit that automatically selects character string data having the same modification attribute as the selection attribute from the entire document data or the part of the document data displayed on the display panel; The document display terminal according to claim 11, wherein: 前記文字列選択補助部によって選択された前記文字列データは、複数存在し、
前記複数の文字列データを、単一のデータとして一括して保存する選択情報保存部を、さらに有することを特徴とする請求項11〜14のいずれか1項に記載の文書表示端末。
There are a plurality of the character string data selected by the character string selection auxiliary unit,
The document display terminal according to claim 11, further comprising a selection information storage unit that collectively stores the plurality of character string data as a single data.
前記文字列選択補助部によって選択された前記文字列データは、前記選択情報に基づいてレベルが付与されていることを特徴とする請求項11〜15のいずれか1項に記載の文書表示端末。   16. The document display terminal according to claim 11, wherein a level is given to the character string data selected by the character string selection auxiliary unit based on the selection information. 前記文書データは、暗記学習の対象であり、
前記選択情報は、前記文字列データの学習レベルをさらに含んでおり、
前記文書表示端末は、
前記選択情報記憶部に記憶されている、前記文書データと関連付けられた前記選択情報を読み出す選択情報読出部と、
読出された前記選択情報に含まれる前記学習レベルに基づき、選択された前記文字列データを、前記表示パネルに表示されている前記文書データに重ね合わせて表示する重合せ表示部と、
をさらに有することを特徴とする請求項9に記載の文書表示端末。
The document data is an object of memorization learning,
The selection information further includes a learning level of the character string data,
The document display terminal is
A selection information reading unit for reading the selection information associated with the document data, stored in the selection information storage unit;
Based on the learning level included in the read selection information, the superimposed display unit that displays the selected character string data superimposed on the document data displayed on the display panel;
The document display terminal according to claim 9, further comprising:
前記文書データに重ね合わせて表示される前記文字列データを隠蔽あるいは隠蔽解除する文字列隠蔽部を、さらに有することを特徴とする請求項17に記載の文書表示端末。   18. The document display terminal according to claim 17, further comprising a character string concealing unit that conceals or cancels the concealment of the character string data displayed superimposed on the document data. 前記選択情報は、前記文字列データの識別番号をさらに含んでおり、
前記文字列隠蔽部は、前記識別番号に基づき、前記文書データに重ね合わせて表示される前記文字列データを個別に隠蔽あるいは隠蔽解除することを特徴とする請求項18に記載の文書表示端末。
The selection information further includes an identification number of the character string data,
19. The document display terminal according to claim 18, wherein the character string concealing unit individually conceals or cancels the concealment of the character string data displayed superimposed on the document data based on the identification number.
前記文字列隠蔽部は、前記学習レベルに基づき、前記文書データに重ね合わせて表示される前記文字列データを個別に隠蔽あるいは隠蔽解除することを特徴とする請求項18に記載の文書表示端末。   19. The document display terminal according to claim 18, wherein the character string concealing unit individually conceals or cancels the concealment of the character string data displayed superimposed on the document data based on the learning level. 前記文字列隠蔽部は、前記文書データに重ね合わせて表示される前記文字列データを一括して隠蔽あるいは隠蔽解除することを特徴とする請求項18に記載の文書表示端末。   19. The document display terminal according to claim 18, wherein the character string concealing unit conceals or cancels the concealment of the character string data displayed superimposed on the document data. 前記文書データに重ね合わせて表示される前記文字列データの隠蔽あるいは隠蔽解除の情報は、前記選択情報に関連付けて保存されていることを特徴とする請求項18〜21のいずれか1項に記載の文書表示端末。   The concealment or deconcealment information of the character string data displayed superimposed on the document data is stored in association with the selection information. Document display terminal. 表示パネルと、前記表示パネルと一体化されたタッチパネルと、文字列選択補助部と、選択情報記憶部と、を有する文書表示端末を制御する文書表示プログラムであって、
前記表示パネルによって、文字データがレイアウトされた文書データを表示する手順、
前記タッチパネルによって、ユーザーの手書き操作の軌跡を検出する手順、
前記文字列選択補助部によって、前記表示パネルに表示された前記文字データから、前記軌跡によって指定された文字列を選択する手順、および、
前記選択情報記憶部によって、選択された前記文字列データに係る選択情報を、前記文書データと関連付けて記憶する手順を有する処理を、前記文書表示端末に実行させ、
前記文字列データを選択する手順において、
前記軌跡によって特定される閉領域が決定され、
前記閉領域に属する文字データが抽出され、
抽出された前記文字データの修飾属性が取得され、
取得された前記修飾属性の出現頻度に基づき、最も出現頻度の高い修飾属性が選択属性として決定され、
前記選択属性と同一の修飾属性を有しかつ前記閉領域に含まれる文字データが、順次連結されて、文字列データが取得され、
取得された文字列データが、前記軌跡によって指定された文字列として選択され、
前記選択情報は、
選択された前記文字列データの前記文書データにおける相対位置に加えて、
前記選択属性、前記軌跡の属性、および、前記軌跡が描く形状の内の少なくとも1つを含んでいることを特徴とする文書表示プログラム。
A document display program for controlling a document display terminal having a display panel, a touch panel integrated with the display panel, a character string selection auxiliary unit, and a selection information storage unit,
A procedure for displaying document data in which character data is laid out by the display panel;
A procedure for detecting a locus of a user's handwriting operation by the touch panel;
A procedure for selecting a character string designated by the locus from the character data displayed on the display panel by the character string selection auxiliary unit; and
Causing the document display terminal to execute processing including a procedure of storing selection information related to the character string data selected by the selection information storage unit in association with the document data;
In the procedure for selecting the character string data,
A closed region identified by the trajectory is determined;
Character data belonging to the closed region is extracted,
The decoration attribute of the extracted character data is acquired,
Based on the appearance frequency of the acquired modification attribute, the modification attribute with the highest appearance frequency is determined as a selection attribute,
Character data having the same modification attribute as the selection attribute and included in the closed region are sequentially connected to obtain character string data,
The acquired character string data is selected as a character string designated by the locus,
The selection information is:
In addition to the relative position of the selected character string data in the document data,
A document display program comprising at least one of the selection attribute, the trajectory attribute, and the shape drawn by the trajectory.
JP2012195493A 2012-09-05 2012-09-05 Document display device, document display terminal, and document display program Active JP6079069B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012195493A JP6079069B2 (en) 2012-09-05 2012-09-05 Document display device, document display terminal, and document display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012195493A JP6079069B2 (en) 2012-09-05 2012-09-05 Document display device, document display terminal, and document display program

Publications (2)

Publication Number Publication Date
JP2014052744A true JP2014052744A (en) 2014-03-20
JP6079069B2 JP6079069B2 (en) 2017-02-15

Family

ID=50611207

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012195493A Active JP6079069B2 (en) 2012-09-05 2012-09-05 Document display device, document display terminal, and document display program

Country Status (1)

Country Link
JP (1) JP6079069B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201038A (en) * 2014-04-08 2015-11-12 富士通株式会社 Information processing device and information processing program
JP2016071723A (en) * 2014-09-30 2016-05-09 Kddi株式会社 Terminal device, operation reception method, and program
JP2017505962A (en) * 2014-10-31 2017-02-23 小米科技有限責任公司Xiaomi Inc. Information selection method and apparatus
WO2017204568A1 (en) * 2016-05-27 2017-11-30 주식회사 하이딥 Method for changing size and color of characters on touch input device
JP2018026117A (en) * 2016-07-28 2018-02-15 シャープ株式会社 Image display device, image display system and program
JP2018049319A (en) * 2016-09-20 2018-03-29 コニカミノルタ株式会社 Document browsing device and program
JP2018137001A (en) * 2018-06-07 2018-08-30 シャープ株式会社 Information processing apparatus, information processing program, and information processing method
US10423706B2 (en) 2014-10-31 2019-09-24 Xiaomi Inc. Method and device for selecting information
JP2020061179A (en) * 2019-12-27 2020-04-16 シャープ株式会社 Information processing apparatus, information processing method, and information processing program
JP7409102B2 (en) 2020-01-16 2024-01-09 京セラドキュメントソリューションズ株式会社 Information processing device and image forming device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219939A (en) * 1994-02-07 1995-08-18 Canon Inc Document processor and method therefor
JPH09305595A (en) * 1996-05-10 1997-11-28 Toshiba Corp Document preparing device and character modifying method
JP2005339295A (en) * 2004-05-28 2005-12-08 Fuji Xerox Co Ltd Document processor, and method and program for processing document
JP2009145963A (en) * 2007-12-11 2009-07-02 Konica Minolta Business Technologies Inc Document processor and document processing method
JP2010015515A (en) * 2008-07-07 2010-01-21 Casio Comput Co Ltd Electronic apparatus provided with dictionary function
JP2011103134A (en) * 2011-01-14 2011-05-26 Nintendo Co Ltd Display form change program, display control unit, display control system, and method of changing display form
JP2011113395A (en) * 2009-11-27 2011-06-09 Casio Computer Co Ltd Electronic apparatus with dictionary function and program
JP2012027724A (en) * 2010-07-23 2012-02-09 Sony Corp Information processing unit, information processing method and information processing program
JP2012084137A (en) * 2010-09-15 2012-04-26 Kyocera Corp Portable electronic device, screen control method and screen control program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219939A (en) * 1994-02-07 1995-08-18 Canon Inc Document processor and method therefor
JPH09305595A (en) * 1996-05-10 1997-11-28 Toshiba Corp Document preparing device and character modifying method
JP2005339295A (en) * 2004-05-28 2005-12-08 Fuji Xerox Co Ltd Document processor, and method and program for processing document
JP2009145963A (en) * 2007-12-11 2009-07-02 Konica Minolta Business Technologies Inc Document processor and document processing method
JP2010015515A (en) * 2008-07-07 2010-01-21 Casio Comput Co Ltd Electronic apparatus provided with dictionary function
JP2011113395A (en) * 2009-11-27 2011-06-09 Casio Computer Co Ltd Electronic apparatus with dictionary function and program
JP2012027724A (en) * 2010-07-23 2012-02-09 Sony Corp Information processing unit, information processing method and information processing program
JP2012084137A (en) * 2010-09-15 2012-04-26 Kyocera Corp Portable electronic device, screen control method and screen control program
JP2011103134A (en) * 2011-01-14 2011-05-26 Nintendo Co Ltd Display form change program, display control unit, display control system, and method of changing display form

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201038A (en) * 2014-04-08 2015-11-12 富士通株式会社 Information processing device and information processing program
JP2016071723A (en) * 2014-09-30 2016-05-09 Kddi株式会社 Terminal device, operation reception method, and program
JP2017505962A (en) * 2014-10-31 2017-02-23 小米科技有限責任公司Xiaomi Inc. Information selection method and apparatus
US10423706B2 (en) 2014-10-31 2019-09-24 Xiaomi Inc. Method and device for selecting information
WO2017204568A1 (en) * 2016-05-27 2017-11-30 주식회사 하이딥 Method for changing size and color of characters on touch input device
KR101933048B1 (en) 2016-05-27 2018-12-27 주식회사 하이딥 Method for changing size and color of character in touch input device
JP2018026117A (en) * 2016-07-28 2018-02-15 シャープ株式会社 Image display device, image display system and program
JP2018049319A (en) * 2016-09-20 2018-03-29 コニカミノルタ株式会社 Document browsing device and program
JP2018137001A (en) * 2018-06-07 2018-08-30 シャープ株式会社 Information processing apparatus, information processing program, and information processing method
JP2020061179A (en) * 2019-12-27 2020-04-16 シャープ株式会社 Information processing apparatus, information processing method, and information processing program
JP7409102B2 (en) 2020-01-16 2024-01-09 京セラドキュメントソリューションズ株式会社 Information processing device and image forming device

Also Published As

Publication number Publication date
JP6079069B2 (en) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6079069B2 (en) Document display device, document display terminal, and document display program
US7756332B2 (en) Metadata extraction from designated document areas
US6683631B2 (en) System and method for selecting and deselecting information in an electronic document
US9811193B2 (en) Text entry for electronic devices
US7904837B2 (en) Information processing apparatus and GUI component display method for performing display operation on document data
CN109739372B (en) Graph drawing method for handwriting input equipment and handwriting reading equipment
US8194257B2 (en) Simplified operation of scan based devices
US7032171B1 (en) System and method for selecting and processing information in an electronic document
KR20160064925A (en) Handwriting input apparatus and control method thereof
US20130069984A1 (en) Method and device for showing page tore-off effect
JPWO2013051077A1 (en) Content display device, content display method, program, and recording medium
JP5690317B2 (en) Information display device and information display method
JPH06149466A (en) Information processor
JP3388451B2 (en) Handwriting input device
US11562190B2 (en) Image processing apparatus, control method, and non-transitory computer-readable storage medium with automatic setting of margin size
US11436776B2 (en) Information processing apparatus and control method thereof
JP3258978B2 (en) Gesture processing device and gesture processing method
JP2005141488A (en) Digital book device
WO2013051077A1 (en) Content display device, content display method, program, and recording medium
JP6880676B2 (en) Program and image forming equipment
JP5066877B2 (en) Image display device, image display method, and program
JP5608602B2 (en) Bookmark creation device, bookmark creation program, bookmark creation method, and electronic book browsing device
JP7357534B2 (en) Information processing system, information processing method, and information processing program
JPH07141092A (en) Handwritten data input device
JP5660966B2 (en) Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170102

R150 Certificate of patent or registration of utility model

Ref document number: 6079069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150