CN112825022A - 显示装置、显示方法、介质 - Google Patents
显示装置、显示方法、介质 Download PDFInfo
- Publication number
- CN112825022A CN112825022A CN202011316681.4A CN202011316681A CN112825022A CN 112825022 A CN112825022 A CN 112825022A CN 202011316681 A CN202011316681 A CN 202011316681A CN 112825022 A CN112825022 A CN 112825022A
- Authority
- CN
- China
- Prior art keywords
- data
- pen
- display
- display device
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000003860 storage Methods 0.000 claims description 101
- 238000006243 chemical reaction Methods 0.000 description 111
- 238000010586 diagram Methods 0.000 description 62
- 230000005540 biological transmission Effects 0.000 description 37
- 238000013500 data storage Methods 0.000 description 30
- 230000008859 change Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 15
- 230000008030 elimination Effects 0.000 description 14
- 238000003379 elimination reaction Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 238000003825 pressing Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 244000205754 Colocasia esculenta Species 0.000 description 7
- 235000006481 Colocasia esculenta Nutrition 0.000 description 7
- 230000005674 electromagnetic induction Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000007373 indentation Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 240000000220 Panda oleosa Species 0.000 description 3
- 235000016496 Panda oleosa Nutrition 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 244000010000 Hovenia dulcis Species 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000003094 microcapsule Substances 0.000 description 2
- 239000011859 microparticle Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- ULGZDMOVFRHVEP-RWJQBGPGSA-N Erythromycin Chemical compound O([C@@H]1[C@@H](C)C(=O)O[C@@H]([C@@]([C@H](O)[C@@H](C)C(=O)[C@H](C)C[C@@](C)(O)[C@H](O[C@H]2[C@@H]([C@H](C[C@@H](C)O2)N(C)C)O)[C@H]1C)(C)O)CC)[C@H]1C[C@@](C)(OC)[C@@H](O)[C@H](C)O1 ULGZDMOVFRHVEP-RWJQBGPGSA-N 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007688 edging Methods 0.000 description 1
- 238000010291 electrical method Methods 0.000 description 1
- 238000001962 electrophoresis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
- G06F1/1607—Arrangements to support accessories mechanically attached to the display housing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/018—Input/output arrangements for oriental characters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0237—Character input methods using prediction or retrieval techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04807—Pen manipulated menu
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Character Discrimination (AREA)
Abstract
本发明提供显示装置、显示方法、介质。显示装置(2)显示与对手写数据进行的数据处理关联的操作菜单，其特征在于上述操作菜单具有与对应于操作菜单的显示位置的上述数据处理相关的信息。
Description
技术领域
本发明涉及显示装置、显示方法以及介质。
背景技术
已知显示用笔、手指在触摸屏上手写的数据的显示装置。将具备比较大型的触摸屏的显示装置配置在会议室等中，作为电子黑板等被多个用户利用。
显示装置有时显示用于用户选择笔的颜色等的菜单(例如参照专利文献1)。在专利文献1中，公开了一种手写输入装置，其根据笔按键的按下，显示颜色设定、透明度设定、粗细设定、线种类设定、戳记设定以及动作设定的菜单。
现有技术文献
专利文献
专利文献1：日本特开2018-026185号公报
发明内容
发明要解决的问题
但是，现有的显示装置存在以下这样的问题，即，即使操作菜单的显示位置不同，与数据处理有关的信息也相同。例如，当用户在显示装置上进行手写时，各用户操作自己附近的操作菜单。但是，不管用户操作的操作菜单的显示位置如何，显示装置对手写数据进行的数据处理都是相同的。
本发明鉴于上述问题，其目的在于：提供能够进行与操作菜单的显示位置对应的数据处理的显示装置。
用于解决问题的手段
鉴于上述课题，本发明是一种显示装置，其显示与对手写数据进行的数据处理关联的操作菜单，上述操作菜单具有与操作菜单的显示位置对应的上述数据处理相关的信息。
发明效果
能够提供能够进行与操作菜单的显示位置对应的数据处理的显示装置。
附图说明
图1是表示显示装置显示的操作菜单的一个例子的图。
图2是平放的显示装置的一个例子。
图3是表示笔的立体图的一个例子的图。
图4是表示显示装置的整体结构图的一个例子的图。
图5是显示装置的硬件结构图的一个例子。
图6A是说明显示装置和笔具有的功能的图。
图6B是说明显示装置和笔具有的功能的图。
图7是表示已定义控制数据的一个例子的图。
图8是表示手写识别词典部的词典数据的一个例子的图。
图9是表示字符串变换词典部的词典数据的一个例子的图。
图10是表示预测变换词典部的词典数据的一个例子的图。
图11A是表示操作指令定义部保存的操作指令定义数据和系统定义数据的一个例子的图。
图11B是表示操作指令定义部保存的操作指令定义数据和系统定义数据的一个例子的图。
图12是表示操作指令定义部保存的用户定义数据的一个例子的图。
图13是表示手写签名数据保存部保存的手写签名数据的一个例子的图。
图14是表示手写输入保存部保存的手写输入保存数据的一个例子的图。
图15A是说明笔ID控制数据保存部保存的笔ID控制数据的图。
图15B是说明笔ID控制数据保存部保存的笔ID控制数据的图。
图16是表示颜色定义数据的一个例子的图。
图17是表示笔色选择按键定义数据的一个例子的图。
图18A是表示显示到显示器的笔色选择按键的一个例子的图。
图18B是表示显示到显示器的笔色选择按键的一个例子的图。
图19是表示操作指南和操作指南所显示的可选候选的一个例子的图。
图20A是表示基于有手写对象的情况下的操作指令定义数据的操作指令的候选的显示例子的图。
图20B是表示基于有手写对象的情况下的操作指令定义数据的操作指令的候选的显示例子的图。
图21A是说明90度的角度信息的输入方法的图。
图21B是说明90度的角度信息的输入方法的图。
图21C是说明90度的角度信息的输入方法的图。
图22是表示在手写了作为用户注册的手写签名数据的“すずき(铃木)”的情况下显示的操作指南的一个例子的图。
图23A是平放的显示装置的俯视图的一个例子。
图23B是在显示装置将手写数据变换为英语的情况下平放的显示装置的俯视图。
图24是表示笔操作面板的一个例子的图。
图25是表示页操作面板的一个例子的图。
图26是表示页导航操作面板的一个例子的图。
图27是表示下侧的用户操作的操作菜单的操作按键定义数据的一个例子的图(之一)。
图28是表示下侧的用户操作的操作菜单的操作按键定义数据的一个例子的图(之二)。
图29是表示上侧的用户操作的操作菜单的操作按键定义数据的一个例子的图(之一)。
图30是表示上侧的用户操作的操作菜单的操作按键定义数据的一个例子的图(之二)。
图31是表示页导航数据的一个例子的图。
图32是说明显示装置显示字符串候选和操作指令的候选的处理的一个例子的时序图(之一)。
图33是说明显示装置显示字符串候选和操作指令的候选的处理的一个例子的时序图(之二)。
图34是说明显示装置显示字符串候选和操作指令的候选的处理的一个例子的时序图(之三)。
图35是说明显示装置显示字符串候选和操作指令的候选的处理的一个例子的时序图(之四)。
图36是说明显示装置显示字符串候选和操作指令的候选的处理的一个例子的时序图(之五)。
图37是说明显示装置显示字符串候选和操作指令的候选的处理的一个例子的时序图(之六)。
图38是说明显示装置显示字符串候选和操作指令的候选的处理的一个例子的时序图(之七)。
图39是说明显示装置显示字符串候选和操作指令的候选的处理的一个例子的时序图(之八)。
图40是表示显示装置显示操作菜单的步骤的流程图的一个例子。
图41是说明按下了笔操作面板的按键的情况下的处理的流程图的一个例子。
图42是说明用户执行了操作指令“ページ名に設定(设定为页名)”的情况下的处理的流程图的一个例子。
图43是说明页导航的显示方法的流程图的一个例子。
图44是表示说明笔支架的配置例子的图。
图45是配置确定画面的一个例子。
图46是表示显示装置的其他结构例子的图。
图47是表示显示装置的其他结构例子的图。
图48是表示显示装置的其他结构例子的图。
图49是表示显示装置的其他结构例子的图。
附图标记说明
显示装置2。
具体实施方式
以下，作为用于实施本发明的形式的一个例子，参照附图说明显示装置和显示装置进行的显示方法。
[实施例1]
输入单元是能够在触摸屏上指定坐标并手写的单元即可。例如有笔、人的手指、手、棒状构件等。另外，也可以能够进行视线输入。手写数据是指作为轨迹而在触摸屏上显示出用户使输入单元连续地移动的坐标点列的数据。另外，将用户在触摸屏上持续按住输入单元后使其连续地移动后从触摸屏离开这样的一连串的操作称为笔画(stroke)。通过笔画而手写的数据称为笔画数据。手写数据具有一个以上的笔画数据。手写输入表示由用户输入手写数据。
<关于显示装置的比较例子>
在说明本实施方式的显示装置时，首先简单地说明显示装置的操作菜单的显示例子。
图1表示显示装置显示的操作菜单的一个例子。该显示装置2被立放，因此在显示器的右侧显示出操作菜单102。用户也能够将操作菜单102移动到显示器的左侧，而以前，只同时显示一个操作菜单102。因此，例如即使在左侧存在用户面向显示器，该用户也难以按下操作菜单102。
接着，图2是平放的显示装置2的一个例子。在图2中，用户互相面对，而在该情况下，如果只有一个操作菜单，则也难以进行操作。因此，研究了显示装置2将多个操作菜单对各自的用户进行显示。操作菜单不具有与对应于显示位置的数据处理相关的信息。
在该情况下，用户能够按下自己附近的操作菜单，但在操作菜单中不包含与显示位置对应的数据处理相关的信息，即使用户按下操作菜单，也难以进行与显示位置对应的数据处理。例如，在显示装置2识别手写的字符的情况下，如果不是与字符的方向对应地使手写数据旋转，则无法准确地进行识别，但以前，并不与按下的操作菜单对应地变更数据处理的内容。
因此，在本实施方式中，说明显示具有与显示位置对应的数据处理相关的信息的操作菜单的显示装置。
另外，如图1所示，显示装置以页为单位保存包含手写数据等的页数据，将各页的缩略图106显示在显示器的下部。但是，缩略图106小，因此存在难以进行内容的判别的不方便。另外，能够通过缩略图106显示的页数存在上限，无法全部地显示出在各页中包含怎样的内容。
因此，在本实施方式中，在每个页中提取用户选择出的字符串、或显示装置自动选择出的字符串，显示按页显示出字符串的页面导航。
<关于术语>
手写数据是指作为轨迹而在显示器上显示出用户使输入单元连续地移动的坐标点列的数据。另外，将用户在显示器上持续按住输入单元后使其连续地移动后从触摸屏离开这样的一连串的操作称为笔画，通过笔画而手写的数据称为笔画数据。手写数据具有一个以上的笔画数据。
与数据处理有关的信息是对显示装置2显示的手写数据或手写输入起因数据进行处理的内容。例如，可以列举用于进行手写识别的手写数据的旋转、字符识别后的旋转。显示装置2能够与操作菜单的显示位置对应地使手写数据旋转。另外，如果是彩色的显示器，则还能够控制以彩色进行显示还是以单色进行显示、或用哪个颜色进行显示等。另外，显示装置2还能够控制用哪个字体进行显示。
黑白对应装置…黑白对应装置是只能够输出白或黑、或灰度等级的装置。例如有电子纸、单色打印机等。也可以称为不对应彩色的装置。
此外，电子纸也称为E纸。电子纸是十分之一毫米左右的厚度，是能够通过电气的办法显示/消除数据的显示器的总称。实现电子纸的代表性技术是微胶囊电泳方式，称为E墨水(注册商标)技术。在各个微胶囊中加入白微粒和黑微粒，使白带正电，使黑带负电。
彩色对应装置…彩色对应装置是不只能够输出黑白还能够输出彩色的装置。有具备液晶、有机EL显示器的装置、彩色打印机等。彩色对应设备也是黑白对应设备。
黑白增强对应装置…黑白增强对应装置是只能够输出白或黑、或灰度等级的装置，但是为针对手写输入起因数据根据与手写数据对应的颜色信息进行黑白增强显示的装置。可以列举本实施方式的显示装置。此外，显示装置能够进行手写输入，也有时称为输入装置或手写输入装置。
手写输入起因数据是指通过在触摸屏上进行手写而输入的数据。不管是在输入后保持手写的原样、还是变换为文本数据。另外，从外部设备取得的数据也可能是因手写产生的。除了进行字符识别而变换后的文本数据外，手写输入起因数据也可以包括显示为“完”、“秘”等预定的字符、标记的戳记、圆、星等图形、直线等、根据用户的操作变换后的数据。
不是手写输入起因数据的数据是指通过在触摸屏上进行手写而输入的数据以外的数据，例如是指图像(image)数据、通过不是黑白增强对应装置的装置输入的手写数据或文本数据。
<笔的外观的一个例子>
图3表示笔2500的立体图的一个例子。图3表示多功能笔2500的一个例子。将内置电源而能够向显示装置2发送指令的笔2500称为有源笔(不内置电源的的笔称为无源笔)。图3的笔2500在笔尖有一个物理开关，在笔尾有一个物理开关，在笔侧面有2个物理开关，笔尖用于笔记，笔尾用于擦除，笔侧面用于分配用户功能。在本实施方式中，笔2500还具备非易失性的存储器，存储与其他笔不重复的笔ID。
此外，如果是带开关的笔，则还能够减少用户的显示装置2的操作步骤。带开关的笔主要是指有源笔，但在电磁感应方式下，即使是不内置电源的无源笔，也能够只通过LC电路产生电力，因此不只包括有源笔，也包括电磁感应方式的无源笔。电磁感应方式以外的光学方式、红外线方式、以及静电电容方式的有开关的笔是有源笔。
此外，假设笔2500的硬件结构与具备通信功能和微计算机的普通的控制方式相同。笔2500有电磁感应方式、有源静电耦合方式等。另外，笔2500可以具有笔压检测、倾斜检测、悬停(hover)功能(在笔接触前显示光标)等功能。
<装置的整体结构>
使用图4说明本实施方式的显示装置2的整体结构。图4是表示显示装置2的整体结构图的图。作为显示装置2的一个例子，图4的(a)表示悬挂在墙上的作为长方形的电子黑板使用的显示装置2。
如图4的(a)所示，在显示装置2的上部，设置有作为显示装置的一个例子的显示器220。用户U能够使用笔2500向显示器220手写(也称为输入、描绘)字符等。
图4的(b)表示悬挂在墙上的作为长方形的电子黑板使用的显示装置2。
图4的(c)表示平放在桌子230上的显示装置2。显示装置2的厚度是1厘米左右，即使平放在普通的桌子上，也不需要调整桌子的高度。另外，用户能够容易地移动显示装置2。
此外，通过倾斜传感器自动地检测正在以怎样的放置方式使用显示装置2。
<装置的硬件结构>
接着，使用图5说明显示装置2的硬件结构。显示装置2如图示那样，具有信息处理装置或计算机的结构。图5是显示装置2的硬件结构图的一个例子。如图5所示，显示装置2具备CPU(中央处理单元)201、ROM(只读存储器)202、RAM(随机存取存储器)203、以及SSD(固态驱动器)204。
其中，CPU201控制显示装置2整体的动作。ROM202存储CPU201、IPL(初始程序加载器)等CPU201的驱动所使用的程序。作为CPU201的工作区使用RAM203。SSD204存储显示装置2用的程序等各种数据。
另外，显示装置2具备显示器控制器213、触摸传感器控制器215、触摸传感器216、显示器220、电源开关227、倾斜传感器217、串行接口218、扬声器219、麦克风221、无线通信装置222、红外线I/F223、电源控制电路224、AC适配器225以及电池226。
显示器控制器213为了向显示器220等输出输出图像，而进行画面显示的控制和管理。触摸传感器216检测笔2500、用户的手等(笔、用户的手成为输入单元)接触到显示器220上的情况。另外，触摸传感器216接收笔ID。
触摸传感器控制器215控制触摸传感器216的处理。触摸传感器216进行坐标的输入和坐标的检测。说明该坐标的输入和坐标的检测的方法的一个例子。例如在光学式的情况下，设置在显示器220的上侧两端部的2个受发光装置与显示器220平行地发射多个红外线。设置在显示器220的周围的反射构件反射多个红外线，受光元件对在与发射的光的光路相同的光路上返回来的光进行受光。触摸传感器216向触摸传感器控制器215输出被物体遮挡的2个受发光装置发射的红外线的位置信息，触摸传感器控制器215确定作为物体的接触位置的坐标位置。另外，触摸传感器控制器215具备通信单元215a，能够与笔2500进行无线通信。例如，在以蓝牙(注册商标)等规格进行通信的情况下，能够使用市售的笔。如果预先向通信单元215a注册了一个以上的笔2500，则即使用户不进行使笔2500与显示装置2通信的连接设定，也能够进行通信。
电源开227是用于切换显示装置2的电源的开/关的开关。倾斜传感器217是检测显示装置2的倾斜角度的传感器。主要用于检测正在图4(a)、图4(b)、或图4(c)的哪个设置状态下使用显示装置2，能够与设置状态对应地自动地变更字符等的粗细。
串行接口218是USB、LAN接口等与外部的通信接口。在从外部输入信息时等使用串行接口218。在输出声音时使用扬声器219，在输入声音时使用麦克风221。无线通信装置222与用户携带的终端进行通信，例如对与因特网的连接进行中继。无线通信装置222通过Wi-Fi、蓝牙(注册商标)等进行通信，但通信规格没有限制。无线通信装置222形成接入点，如果将用户取得的SSID(服务集标识符)和密码设定到用户携带的终端中，则能够与接入点连接。
此外，在无线通信装置222中准备了2个接入点。
a：接入点→因特网
b：接入点→公司内网→因特网
a的接入点用于公司外的用户，用户无法访问公司内网，但能够利用因特网。B的接入点用于公司内的用户，用户能够利用公司内网和因特网。
红外线I/F223检测相邻配置的显示装置2。红外线I/F223能够利用红外线的直进性，只检测相邻配置的显示装置2。理想的是在各边逐一地设置红外线I/F223，能够检测出在显示装置2的哪个方向配置了其他的显示装置2。相邻的显示装置2能够显示过去手写的手写信息(将一个显示器220的大小作为一页而显示其他页的手写信息)。
电源控制电路224控制作为显示装置2的电源的AC适配器225和电池226。AC适配器225将商用电源共享的交流变换为直流。
在显示器220是所谓的电子纸的情况下，为了维持描绘图像后的图像，几乎或者完全不消耗电力，因此也能够通过电池226驱动。由此，即使在室外等难以连接电源的地点，也能够在数字标牌等用途中使用显示装置2。
进而，显示装置2具备总线(bus line)210。公共线210是用于电连接图5所示的CPU201等各构成要素的地址总线、数据总线等。
此外，触摸传感器216不限于光学式，也可以是通过检测静电电容的变化而确定接触位置的静电电容方式的触摸屏。触摸传感器216也可以是根据相对的2个电阻膜的电压变化确定接触位置的电阻膜方式的触摸屏。触摸传感器216也可以使用检测由于接触物体与显示部接触而产生的电磁感应而确定接触位置的电磁感应方式的触摸屏等各种检测单元。触摸传感器216可以是在检测笔尖的触摸的有无时不需要电子笔的方式。在该情况下，在进行触摸操作时可以使用指尖、笔形的棒。此外，笔2500不必须是细长的笔形。
<关于装置的功能>
接着，使用图6A和图6B说明显示装置2和笔2500具有的功能。图6A是通过模块表示显示装置2具有的功能的功能框图的一个例子。显示装置2具备手写输入部21、显示部22、手写输入显示控制部23、候选显示计时器控制部24、手写输入保存部25、手写识别控制部26、手写识别词典部27、字符串变换控制部28、字符串变换词典部29、预测变换控制部30、预测变换词典部31、操作指令识别控制部32、操作指令定义部33、笔ID控制数据保存部36、文件收发控制部37、手写签名认证控制部38、手写签名数据保存部39。显示装置2所具有的各功能可以是图5所示的各结构要素的任意一个，是能够通过来自按照从SSD204展开到RAM203上的程序的计算机的指令而动作来实现的功能或单元。
手写输入部21通过触摸传感器216等实现，接受用户的手写输入，从笔2500接收笔ID。手写输入部21将用户的笔输入d1变换为带笔ID的笔操作数据d2(提笔、落笔、或笔坐标数据)，发送到手写输入显示控制部23。作为离散值定期地发送笔坐标数据，补足计算离散值之间的坐标。
显示部22通过显示器220等实现，显示手写的对象、操作菜单等。显示部22将手写输入显示控制部23写入到视频存储器中的描绘数据d3变换为与显示器220的特性对应的数据，发送到显示器220。
手写输入显示控制部23进行与手写输入和显示有关的整体控制。手写输入显示控制部23对来自手写输入部21的笔操作数据d2进行处理，发送到显示部22，由此进行显示。在后述的图32～图39中说明笔操作数据d2的处理和笔画的显示的细节。手写输入显示控制部23保存有后述的操作按键定义数据，检测根据来自手写输入部21的笔操作数据d2操作的操作菜单(按键)，进行与操作菜单对应的控制。
候选显示计时器控制部24是可选候选的显示控制计时器。候选显示计时器控制部24生成使计时器开始或停止而开始可选候选的显示的定时、消除显示的定时。可选候选是指在后述的操作指南(参照图19)中可选显示的手写识别字符串/语言字符串候选、变换字符串候选、字符串/预测变换的候选、以及操作指令的候选。候选显示计时器控制部24从手写输入显示控制部23接收计时器开始请求d4(也有计时器停止请求的情况)，将超时事件d5发送到手写输入显示控制部23。
手写输入保存部25具有保存用户数据(手写对象/字符串对象)的存储的功能。手写输入保存部25从手写输入显示控制部23接收用户数据d6-1并保存。手写输入保存部25从手写输入显示控制部23接受取得请求d6-2，发送手写输入保存部25所保存的用户数据d7。手写输入保存部25向操作指令识别控制部32发送确定对象(已经结束了识别的字符串对象、或确定了不进行变换的手写对象)的位置信息d36。
手写识别控制部26是进行在线手写识别的识别引擎。与普通的OCR(光学字符阅读器)不同，而与用户的笔操作并行地，识别字符(不只是日语、还有英语等多国语言)、数字、记号(％、$、&等)、图形(线、圆圈、三角等)等。对于识别方法，可以考虑各种算法，但在本实施方式中，能够利用公知的技术，省略详细说明。
手写识别控制部26从手写输入显示控制部23接收笔操作数据d8-1，执行手写识别，保存手写识别字符串候选。另外，手写识别控制部26保存使用手写识别词典部27从手写识别字符串候选d12变换后的语言字符串候选。在另外从手写输入显示控制部23接收到取得请求d8-2的情况下，手写识别控制部26将所保存的手写识别字符串候选和语言字符串候选d9发送到手写输入显示控制部23。
手写识别词典部27是用于手写识别的语言变换的词典数据。手写识别词典部27从手写识别控制部26接收手写识别字符串候选d12，变换为语言上应该是准确的语言字符串候选d13，发送到手写识别控制部26。例如，在日语的情况下，将平假名变换为汉字、片假名。
字符串变换控制部28控制变换字符串候选向字符串的变换。变换字符串是指包含手写识别字符串或语言字符串地生成的可能性高的字符串。字符串变换控制部28从手写识别控制部26接收手写识别字符串或语言字符串候选d11，使用字符串变换词典部29变换为变换字符串候选并保存。字符串变换控制部28在另外从手写输入显示控制部23接收到取得请求d14的情况下，将所保存的变换字符串候选d15发送到手写输入显示控制部23。
字符串变换词典部29是字符串变换用的词典数据。字符串变换词典部29从字符串变换控制部28接收手写识别字符串和语言字符串候选d17，将变换字符串候选d18发送到字符串变换控制部28。
预测变换控制部30从手写识别控制部26接收手写识别字符串和语言字符串候选d10，从字符串变换控制部28接收变换字符串候选d16。预测变换控制部30针对手写识别字符串、语言字符串候选、以及变换字符串候选的各个，使用预测变换词典部31变换为预测字符串候选。预测变换字符串是指包含手写识别字符串、语言字符串、或变换字符串地生成的可能性高的字符串。预测变换控制部30在另外从手写输入显示控制部23接收到取得请求d19的情况下，将预测字符串候选d20发送到手写输入显示控制部23。
预测变换词典部31是预测变换用的词典数据。预测变换词典部31从预测变换控制部30接收手写识别字符串、语言字符串候选、以及变换字符串候选d21，将预测字符串候选d22发送到预测变换控制部30。
操作指令识别控制部32从手写识别控制部26接收手写识别字符串和语言字符串候选d30，从字符串变换控制部28接收变换字符串候选d28。操作指令识别控制部32从预测变换控制部30接收预测字符串候选d29。然后，操作指令识别控制部32针对手写识别字符串、语言字符串候选、变换字符串候选、以及预测字符串候选d29的各个，将操作指令变换请求d26发送到操作指令定义部33，从操作指令定义部33接收操作指令的候选d27。操作指令识别控制部32保存操作指令的候选d27。
操作指令定义部33在操作指令变换请求d26与操作指令定义部分地一致的情况下，将操作指令的候选d27发送到操作指令识别控制部32。
另外，操作指令识别控制部32从手写输入显示控制部23接收笔操作数据d24-1。操作指令识别控制部32将过去输入并确定了的确定对象的位置信息取得请求d23发送到手写输入保存部25，将笔操作数据所指定的确定对象保存为选择对象(包含位置信息)。操作指令识别控制部32确定满足笔操作数据d24-1的位置和规定的基准的选择对象。操作指令识别控制部32在另外从手写输入显示控制部23接收到取得请求d24-2的情况下，将所保存的操作指令的候选和所确定的选择对象d25发送到手写输入显示控制部23。
笔ID控制数据保存部36保存有笔ID控制数据(也可以称为存储单元)。在手写输入显示控制部23向显示部22发送显示数据之前，笔ID控制数据保存部36将笔ID控制数据d41发送到手写输入显示控制部23。手写输入显示控制部23在与笔ID对应地保存的动作条件下，描绘显示数据。另外，在手写识别控制部26执行手写识别之前，笔ID控制数据保存部36向手写识别控制部26发送笔ID控制数据的角度信息d44，手写识别控制部26按照与笔ID对应地保存的角度信息使笔画旋转，执行手写识别。
另外，在识别出用于设定用户手写字符等时的角度信息的直线后，手写识别控制部26将笔ID控制数据的角度信息d43发送到笔ID控制数据保存部36。手写识别控制部26与笔ID对应地保存角度信息d43。另外，在手写输入显示控制部23执行设定角度信息的操作指令后，手写输入显示控制部23将笔ID控制数据d42发送到笔ID控制数据保存部36。手写输入显示控制部23与笔ID对应地保存操作指令的执行结果(用户设定的角度信息)。此后，在按照所设定的角度信息使该笔ID的笔画旋转后，执行手写识别。
另外，手写识别控制部26将按照笔ID控制数据的角度信息顺时针旋转后的笔画数据d49发送到手写签名认证控制部38。由此，能够不管用户的操作位置(相对于显示装置2从哪个方向手写)地进行手写签名的认证。
手写签名数据保存部39保存手写签名数据。手写签名数据保存部39在从手写签名认证控制部38接收到手写签名数据取得请求d45的情况下，将手写签名数据d46发送到手写签名认证控制部38。手写签名数据的的笔画依存于手写签名认证控制部38的手写签名认证的算法。在图13中说明手写签名数据保存部39的数据。
手写签名认证控制部38如果从手写识别控制部26接收到顺时针旋转后的笔画数据d49，则向手写签名数据保存部39发送手写签名数据取得请求d45。手写签名数据保存部39将手写签名数据d46发送到手写签名认证控制部38。
手写签名认证控制部38根据手写签名数据，进行用户的认证。根据手写签名数据进行的用户的认证可以考虑各种算法，但在本实施方式中，使用能够以在实用上没有障碍的识别率进行识别的技术。例如，手写签名认证控制部38生成以构成手写签名数据的坐标、笔压、书写笔画的时间等为要素的特征向量。手写签名认证控制部38适当地对要素进行加权，对已注册的手写签名数据的特征向量和登录时用户手写的用户名等的特征向量进行比较。在一致度为阈值以上的情况下，手写签名认证控制部38判定为认证成功，在不满阈值的情况下，判定为认证失败。
手写签名认证控制部38保存笔画数据d49与手写签名数据d46的比较结果即手写签名的认证结果。在另外从手写输入显示控制部23接收到取得请求d48的情况下，手写签名认证控制部38将所保存的手写签名的认证结果d47发送到手写输入显示控制部23。手写签名的认证结果具有是否能够将笔画数据d49与手写签名数据d46看作为一致、以及在能够看作为一致的情况下与一致的手写签名数据d46对应的后述的SignatureId。
在手写识别控制部26的手写识别结果符合指示手写签名注册的执行的操作指令的情况下，手写识别控制部26从手写输入保存部25取得输入到手写签名注册表格(如后述那样，为输入了手写签名数据的框)中的数据d52。手写识别控制部26将数据d52中的手写签名数据d50发送到手写签名认证控制部38。手写签名认证控制部38将接收到的手写签名数据d50发送到手写签名数据保存部39而注册。
在手写识别控制部26的手写识别结果是手写签名的取消指示或注册的执行的情况下，手写识别控制部26向手写输入保存部25发送手写签名注册表格的删除请求d51，从手写输入保存部25删除手写签名注册表格。
在手写识别控制部26的手写识别结果是用户定义数据变更的执行指示的情况下，手写识别控制部26从手写输入保存部25取得输入到用户定义数据变更表格中的数据d53。手写识别控制部26将数据d53中的变更值d54发送到操作指令定义部33，变更用户定义数据。在图12中说明用户定义数据。
在手写识别控制部26的手写识别结果是用户定义数据变更表格的取消指示或注册的执行的情况下，手写识别控制部26向手写输入保存部25发送用户定义数据变更表格的删除请求d55，从手写输入保存部25删除用户定义数据变更表格。
文件收发控制部37进行手写输入起因数据或不是手写输入起因数据的数据文件的向存储介质的保存和取得、与外部设备的通信(印刷请求、显示请求等)等。文件收发控制部37从手写输入显示控制部23接受文件的收发的执行d64。在文件的保存或印刷时，手写输入显示控制部23将文件发送请求发送到文件收发控制部37，文件收发控制部37将手写输入保存数据d61的取得请求发送到手写输入保存部25。
·在不是手写输入起因数据的数据的情况下，手写输入保存部25直接发送该数据所保存的颜色信息。
·在手写输入起因数据的情况下，手写输入保存部25将在发送目的地是彩色对应装置(例如彩色打印机)的情况下变换为彩色的手写输入保存数据d62发送到文件收发控制部37。
·在手写输入起因数据的情况下，手写输入保存部25将在发送目的地是黑白对应装置(例如单色打印机)的情况下变换为黑白的手写输入保存数据d62发送到文件收发控制部37。也有时黑白对应装置能够变换为灰度等级，因此也可以在变换为彩色后进行发送。
·在发送目的地是黑白增强对应装置的情况下，将后述的手写输入保存数据发送到文件收发控制部37。
·另外，在手写输入保存部25将手写输入起因数据保存到文件中的情况下，依照文件形式将手写输入保存数据d62变换为彩色，并且将手写输入保存数据附加为文件的元数据(meta-data)。在将不是手写输入起因数据的数据保存到文件中的情况下，依照文件形式将手写输入保存数据d62变换为彩色。
将是彩色对应装置还是黑白对应装置例如保存在网络设备所保存的MIB(管理信息库)中，文件收发控制部37通过取得MIB能够进行判定。同样，也能够根据MIB公开的机种名等，判定是否是黑白增强对应装置。
在文件的写入时，手写输入显示控制部23将文件一览取得请求d65发送到文件收发控制部37。文件收发控制部37向外部设备发送文件一览取得请求，取得文件一览d63并发送到手写输入显示控制部23。手写输入显示控制部23将文件一览显示到显示部22，手写输入部21将选择文件的显示位置发送到手写输入显示控制部23，手写输入显示控制部23将文件接收请求d66发送到文件收发控制部37。文件收发控制部37从外部设备取得文件，将该文件d67发送到手写输入保存部25。手写输入保存部25对文件的元数据进行分析，判定是否是手写输入起因数据，如果是手写输入起因数据，则取出手写输入保存数据(后述的可黑白增强/彩色变换数据)。文件收发控制部37将手写输入起因数据变换为黑白增强显示，如果不是手写输入起因数据，则不进行变换，发送到手写输入显示控制部23(以灰度等级进行显示)。手写输入显示控制部23将手写对象的显示数据发送到显示部22。
图6B是通过模块表示笔2500的功能的功能框图。笔2500具备笔事件发送部41。笔事件发送部41对提笔、落笔、笔坐标的事件数据附加笔ID，发送到显示装置2。
<关于已定义控制数据>
接着，使用图7说明显示装置2在各种处理中使用的已定义控制数据。图7表示已定义控制数据的一个例子。图7的已定义控制数据对每个控制项目表示控制数据。
可选候选显示计时器401定义到显示可选候选为止的时间。这是因为在手写中显示装置2不显示可选候选。在图7中，表示如果从提笔开始在TimerValue＝500ms以内没有产生落笔，则显示可选候选。候选显示计时器控制部24保存可选候选显示计时器401。在后述的图34的步骤S18-2中开始可选候选显示计时器时，使用可选候选显示计时器401。
可选候选消除计时器402定义到消除所显示的可选候选为止的时间。这是因为在用户不选择可选候选的情况下消除可选候选。在图7中，表示如果从可选候选的显示开始在TimerValue＝5000ms以内没有选择可选候选，则消除可选候选显示数据。候选显示计时器控制部24保存可选候选消除计时器402。在图36的步骤S64中开始可选候选显示消除计时器时，使用可选候选消除计时器402。
手写对象近旁矩形区域403定义看作为手写对象的近旁的矩形区域。在图7的例子中，手写对象近旁矩形区域403为对手写对象的矩形区域在水平方向上放大推定字符大小的50％(横向)并在垂直方向上放大推定字符大小的80％(纵向)所得的矩形区域。在图7的例子中，成为推定字符大小的比例(用％指定)，但如果将单位设为“mm(毫米)”等，则也可以设为固定长度。手写输入保存部25保存手写对象近旁矩形区域403。在图33的步骤S10中判定手写对象近旁矩形区域与笔画矩形区域的重叠状况时，使用字体数据405。
推定书写方向/字符大小判定条件404定义用于判定书写方向、字符大小的测定方向的常数。在图7的例子中，如下：
·在手写对象矩形区域的最初追加了笔画的时刻与最后追加了笔画的时刻的差分为MinTimer＝1000ms以上，
·手写对象矩形区域的水平距离(宽度)与垂直距离(高度)的差分为MinDiff＝10mm以上，
·水平距离比垂直距离长的情况下，表示判定为推定书写方向为“横写”、推定字符大小为垂直距离。在水平距离比垂直距离短的情况下，表示判定为推定书写方向为“竖写”、推定字符大小为水平距离。在不满足以上的条件的情况下，判定为推定书写方向为“横写”(DefaultDir＝“Horizontal”)、推定字符大小为水平距离和垂直距离中的较长的距离。手写输入保存部25保存推定书写方向/字符大小判定条件404。在图36的步骤S59中的推定书写方向取得、图38的步骤S81中的字符串对象字体取得中，使用推定书写方向/字符大小判定条件404。
字体数据405定义用于推定字符等的大小的数据。在图7的例子中，表示将在推定书写方向/字符大小判定条件404下判定出的推定字符大小与字体数据405的小字符405a(以下称为最小字体大小)和大字符405c(以下称为最大字体大小)进行比较。在推定字符大小比最小字体大小小的情况下，判定为推定字符大小为最小字体大小。在推定字符大小比最大字体大小大的情况下，判定为推定字符大小为最大字体大小。除此以外，判定为中等字符405b的字符大小。手写输入保存部25保存字体数据405。在图38的步骤S81中的字符串对象字体取得中使用字体数据405。
具体地说，手写输入保存部25将在推定书写方向/字符大小判定条件404下判定出的推定字符大小与字体数据405的字体大小(FontSize)进行比较，使用最接近的大小的字体。手写输入保存部25例如在推定字符大小为25mm(小字符的字体大小(FontSize))以下的情况下，判定为“小字符”。手写输入保存部25在推定字符大小超过25mm、并且为50mm(中等字符的字体大小(FontSize))以下的情况下，判定为“中等字符”。手写输入保存部25在推定字符大小超过100mm(大字符的字体大小(FontSize))的情况下，判定为“大字符”。“小字符”405a使用明朝体的25mm字体(字体样式(FontStyle)＝“明朝体”，字体大小(FontSize)＝“25mm”)，“中等字符”405b使用明朝体的50mm字体(字体样式(FontStyle)＝“明朝体”，字体大小(FontSize)＝“50mm”)，“大字符”405c使用哥特体的100mm字体(字体样式(FontStyle)＝“ゴシック体(哥特体)”，字体大小(FontSize)＝“100mm”)。针对希望增加字体的大小或样式的种类这样的需求，显示装置的提供者增加字体数据405的种类即可。
跨线判定条件406定义在判定是否选择了多个对象时使用的数据。手写对象是单个的笔画。在图7的例子中，如果是以下的对象，即
·手写对象的长边的长度为100mm以上(MinLenLongSide＝“100mm”)，并且
·短边的长度为50mm以下(MaxLenShortSide＝“50mm”)，并且
·与手写对象的长边方向和短边方向的的重叠率为80％以上(MinOverLapRate＝“80％”)，
则判定为选择了多个对象(选择对象)。操作指令识别控制部32保存跨线判定条件406。在图35的步骤S50中的选择对象的判定的跨线判定中，使用跨线判定条件406。
边框判定条件407定义在判定对象是否是边框时使用的数据。在图7的例子中，操作指令识别控制部32将手写对象的长边方向和短边方向的重叠率为100％以上(MinOverLapRate＝“100％”)的确定对象判定为选择对象。操作指令识别控制部32保存边框判定条件407。在图35的步骤S50中的选择对象的判定的边框判定中，使用边框判定条件407。
此外，也可以对跨线判定部406和边框判定条件407的任意一方优先地进行判定。例如，在将跨线判定条件406设为宽松(容易选择跨线的情况)，将边框判定条件407设为严格的情况(设为只能够选择框线的值的情况)下，操作指令识别控制部32优先判定边框判定条件407即可。
<词典数据的一个例子>
使用图8～图10说明词典数据。图8是表示手写识别词典部27的词典数据的一个例子。图9是字符串变换词典部29的词典数据的一个例子。图10是预测变换词典部31的词典数据的一个例子。此外，分别在图35的步骤S33～S41中，使用这些词典数据。
在本实施方式中，将基于图8的手写识别词典部27的词典数据的变换结果称为语言字符串候选，将基于图9的字符串变换词典部29的词典数据的变换结果称为变换字符串候选，将基于图10的预测变换词典部31的词典数据的变换结果称为预测字符串候选。各词典数据的“变换前”表示检索词典数据的字符串，“变换后”表示与检索的字符串对应的变换后的字符串，“概率”表示用户选择的概率。根据过去用户选择各字符串的结果计算概率。因此，也可以对每个用户计算概率。作为概率的计算方法，可以考虑各种算法，但通过适当的方法进行计算即可，省略详细说明。在本实施方式中，其特征在于：从推定书写方向按照选择概率的降序显示字符串候选。
在图8的手写识别词典部27的词典数据中，表示对于手写的“ぎ”，以概率0.55被变换为“議”，以概率0.4被变换为“技”，对于手写的“ぎし”，以概率0.5被变换为“技士”，以概率0.45被变换为“技師”。对于其他的“变换前”的字符串也同样。在图8中，“变换前”的字符串为手写的平假名，但也可以将平假名以外注册为“变换前”。
在图9的字符串变换词典部29的词典数据中，表示对于字符串“議”，以概率0.95被变换为“議事録”，对于字符串“技”，以概率0.85被变换为“技量試”。对于其他的“变换前”的字符串也同样。
在图10的预测变换词典部31的词典数据中，表示对于字符串“議事録”，以概率0.65被变换为“議事録の送付先”，对于字符串“技量試”，以概率0.75被变换为“技量試を決裁”。在图10的例子中，变换前的字符串全部为汉字，但也可以注册汉字以外。
此外，词典数据并不依存于语言，也可以将任意的字符串注册为变换前和变换后。
<操作指令定义部保存的操作指令定义数据>
接着，使用图11A和图11B说明操作指令识别控制部32使用的操作指令定义数据。图11A和图11B表示操作指令定义部33保存的操作指令定义数据和系统定义数据的一个例子。
图11A表示操作指令定义数据的一个例子。图11A的操作指令定义数据是没有根据手写对象选择出的选择对象的情况下的操作指令定义数据例子，能够通过显示装置2执行的全部操作指令成为对象。图11A的操作指令具有操作指令名(Name)、与字符串候选部分地一致的字符串(String)、执行的操作指令字符串(Command)。操作指令字符串内的“％～％”是变量，如图11B所示，与系统定义数据对应。即，能够用图11B所示的系统定义数据来置换“％～％”。
首先，操作指令定义数据701表示操作指令名为“議事録テンプレートを読み込む(读入议事录模板)”、与字符串候选部分地一致的字符串为“議事録(议事录)”或“テンプレート(模板)”、执行的操作指令字符串为“ReadFile https://％username％:％password％@server.com/template/minutes.pdf”。在该例子中，在执行的操作指令字符串中包含“％～％”的系统定义数据，能够用系统定义数据704、705分别置换“％username％”、“％password％”。因此，最终执行的操作指令字符串为“ReadFile https://taro.tokkyo:x2PDHTyS@server.com/template/minutes.pdf”这样的字符串，表示读入(Readfile)“https://taro.tokkyo:x2PDHTyS@server.com/template/minutes.pdf”这样的文件。
操作指令定义数据702表示操作指令名为“議事録フォルダーに保存する(保存到议事录文件夹中)”、与字符串候选部分地一致的字符串为“議事録(议事录)”或“保存”、执行的操作指令字符串为“WriteFile https://％username％:％password％@server.com/minutes/％machinename％_％yyyy-mm-dd％.pdf”。与操作指令定义数据701同样，能够用系统定义数据704～706分别置换操作指令字符串的“％username％”、“％password％”、“％machinename％”。此外，表示用当前日置换“％yyyy-mm-dd％”。例如，如果当前日是2018年9月26日，则表示用“2018-06-26”进行置换。最终执行的操作指令字符串为“WriteFilehttps://taro.tokkyo:x2PDHTyS@server.com/minutes/％My-Machine_2018-09-26.pdf”，表示将议事录保存(WriteFile)到“https://taro.tokkyo:x2PDHTyS@server.com/minutes/％My-Machine_2018-09-26.pdf”这样的文件中。
操作指令定义数据703表示操作指令名为“印刷する(印刷)”、与字符串候选部分地一致的字符串为“印刷”或“プリント(打印)”、执行的操作指令字符串为“PrintFilehttps://％username％:％password％@server.com/print/％machinename％-”％yyyy-mm-dd％.pdf”。如果与操作指令定义数据702同样地置换操作指令字符串，则最终执行的操作指令为“PrintFile https://taro.tokkyo:x2PDHTyS@server.com/print/％My-Machine_2018-09-26.pdf”，表示印刷(PrintFile)“https://taro.tokkyo:x2PDHTyS@server.com/print/％My-Machine_2018-09-26.pdf”这样的文件。即，将文件发送到服务器。如果用户使打印机与服务器通信，并指定了文件，则打印机将文件的内容印刷到纸张上。
这样，能够根据字符串候选确定操作指令定义数据701～703，因此用户能够通过进行手写，使得显示操作指令。另外，在用户的认证成功的情况下，能够用用户信息置换操作指令定义数据的“％username％”、“％password％”等，因此能够与用户对应地输入输出文件。
在没有进行用户的认证的情况(虽然认证失败了但用户能够使用显示装置2的情况也包括认证失败的情况)下，显示装置2置换为预先设定的显示装置2的“％username％”、“％password％”等。因此，即使没有用户认证，也能够与显示装置2对应地输入输出文件。
操作指令定义数据709、710、711、720、721、722、723、724、725、726是变更笔色的操作指令。笔色是指用户用正在使用的笔输入的手写数据的颜色。操作指令定义数据709、710、711、720、721、722、723、724、725、726各自的操作指令名是“黑ペン(黑笔black pen)”、“赤ペン(红笔red pen)”、“青ペン(青笔blue pen)”、“緑ペン(绿笔green pen)”、“マゼンタペン(品红笔magenta pen)”、“シアンペン(蓝笔cyan pen)”、“黑細ペン(黑细笔)”、“赤細ペン(红细笔)”、“青細ペン(青细笔)”、“緑細ペン(绿细笔)”。例如，在“黑ペン”、“黑細ペン”的情况下，与字符串候选部分地一致的字符串是“くろ(黑)”或“ペン(笔)”，如果用户写下“くろ”，则在操作指令候选中只显示“黑ペン”、“黑細ペン”。另一方面，在“赤ペン”等中，“ペン”也对应于与字符串候选部分地一致的字符串(String)，因此如果用户写下“ペン”，则在操作指令候选中显示“黑ペン”～“シアンペン”、“黑細ペン”～“緑細ペン”。如果执行这些操作指令，则如图15A和图15B所示，与用户在操作中使用的笔2500的笔ID对应的控制数据被更新，作为该笔ID的笔的颜色，设定为笔ID控制数据的ColorId(例如“Command＝“ChangePenBlack”的Black(黑)成为ColorId)。
操作指令定义数据719是操作指令名为“ファイルを読み込む(读入文件)”、与字符串候选部分地一致的字符串(String)为“ファイル(文件)”、“読み込む(读入)”、执行的操作指令为“ReadFile https://％username％：％password％＠server.com/files/”。如果与操作指令定义数据702同样地，手写输入显示控制部23置换为系统定义数据，则操作指令成为“ReadFile https://taro.tokkyo:x2PDHTyS@server.com/files/”，表示读出(ReadFile)该地址(文件夹)的文件。如果执行该操作指令，则显示装置2显示文件选择窗口。
操作指令定义数据712是用于将文本数据的方向对齐到一定方向的操作指令。操作指令定义数据712的操作指令名是“テキスト方向を揃える(对齐文本方向)”，与字符串候选部分地一致的字符串是“テキスト(文本)”、“向き(朝向)”或“方向(方向)”，操作指令字符串是“AlignTextDirection”。用户从上下方向以外的方向写入的文本数据应该朝向各种方向，因此难以从某一个方向读取全部文本。如果用户执行操作指令定义数据712，则显示装置2将手写识别出的字符串对齐到同一方向(例如上下方向)。该情况下的对齐是指使文本数据按照角度信息旋转。
操作指令定义数据713表示操作指令名是“手書きサイン登録する(手写签名注册)”、与字符串候选部分地一致的字符串是“サイン(签名)”和“登録(注册)”、操作指令字符串是“RegistSignature”。如果执行RegistSignature指令，则将手写签名注册表格追加到手写输入保存部25中，在操作画面101中显示用于用户注册手写签名的手写签名注册表格。
操作指令定义数据714表示操作指令名是“手書きサインインする(手写登录)”、与字符串候选部分地一致的字符串是“％signature％”、操作指令字符串是“Signin”。在此，“％signature％”是系统定义数据的预约词，表示已注册的手写签名数据和用户名等的笔画数据适合的事实。即，如果适合，则在操作指南500中显示基于操作指令定义数据714的操作指令512(参照图22)。
如果执行Signin(登录)指令，则将具有适合的手写签名数据的SignatureId的用户的AccountId保存到手写了用户名等的笔画数据的笔2500的笔ID控制数据中。由此，笔ID与AccountId对应，显示装置2能够使用通过该AccountId确定的用户定义数据(参照图15A)。
操作指令定义数据715表示操作指令名是“手書きサインアウトする(手写注销)”、与字符串候选部分地一致的字符串是“サイン(sign)”或“アウト(out)”、操作指令字符串是“Signout(注销)”。如果执行Signout指令，则从操作了手写注销的笔2500的笔ID控制数据中删除AccountId。由此，消除笔ID与AccountId的对应关系，使得任意的用户能够使用笔2500。
操作指令定义数据716表示操作指令名是“設定変更する(设定变更)”、与字符串候选部分地一致的字符串是“設定(设定)”和“変更”、操作指令是“ConfigSettings”。如果执行ConfigSettings指令，则向手写输入保存部25追加用户定义数据变更表格，在操作画面101中显示用户定义数据变更表格。
省略有手写对象的情况下的操作指令定义数据，但如果选择了手写对象，则显示有手写对象的情况下的操作指令(参照图20A和图20B)。在该情况下，已经显示的手写对象与用户手写的笔画的外接矩形重叠，由此显示有手写对象的情况下的操作指令。
<用户定义数据>
接着，使用图12说明用户定义数据。图12表示操作指令定义部33保存的用户定义数据的一个例子。图12的用户定义数据是一个人量的用户的定义数据例子。用户定义数据717的AccountId是对每个用户自动编号的用户的识别信息，AccountUsername和AccountPassword是用户名和密码，SignatureId是在手写签名数据注册时自动编号的手写签名数据的识别信息，username、password、machinename分别是代替系统定义数据704～706而在操作指令定义数据701～703中设定的字符串。由此，能够使用用户定义数据执行操作指令。
在用户手写用户名等而登录的情况下，利用笔ID和AccountId与笔ID控制数据对应(参照图15A)，在执行操作指令时，使用具有根据用户使用的笔2500的笔ID而对应起来的AccountId的用户定义数据的字符串。在用户注销后，即使用户使用在登录中使用的笔2500，在执行操作指令时，也使用系统定义数据的字符串。
用户定义数据718是在用户定义数据变更表格中使用的数据。Name(名字)是用户定义数据717的AccountUsername、AccountPassword、username(用户名)、password(密码)、或machinename的项目名，Data(数据)为AccountUsername、AccountPassword、username、password、或machinename的变更值。在该例子中，“名前(名字)”的数据是“％AccountName％”，“パスワード(密码)”的数据是“％AccountPassword％”，“フォルダーユーザー名(文件夹用户名)”的数据是“％username％”，“フォルダーパスワード(文件夹密码)”的数据是“％password”，“フォルダーユーザー名(文件夹用户名)”的数据是“％machinename”，与用户定义数据717的各项目对应。在用户定义数据变更表格中输入的这些项目被反映到用户定义数据717中。
用户也能够将后述的颜色定义数据注册到用户定义数据717中，用户能够通过自己定义的颜色定义数据进行输入。
<手写签名数据>
接着，使用图13说明手写签名数据。图13表示手写签名数据保存部39保存的手写签名数据的一个例子。手写签名数据具有表示与SignatureId对应的手写签名的Data。SignatureId是在手写签名数据注册时自动编号的识别信息，Data是手写签名认证控制部38的手写签名认证算法根据从手写签名认证控制部38接收到的笔画数据计算出的数据。
<手写输入保存部保存的手写输入保存数据>
接着，使用图14说明手写输入保存数据。图14表示手写输入保存部25保存的手写输入保存数据的一个例子。图14的一行表示一个笔画、一个句子(文本text)、或图像(image)。
在Type(类型)是笔画(stroke)的情况下，一个手写输入保存数据具有DataId、Type、PenId、ColorId、Angle(角度)、StartPoint、StartTime、EndPoint、EndTime、Point、以及Pressure(笔压)的各项目。DataId是笔画的识别信息。Type是手写输入保存数据的种类。种类有笔画(Stroke)、组(Group)、文本(Text)、以及图像(Image)。手写输入保存数据801、802的种类是笔画。手写输入保存数据803的种类是组。手写输入保存数据804、805、806的种类是文本。手写输入保存数据807的种类是图像。
组(Group)表示将其他笔画分组，种类为组的手写输入保存数据指定按照DataId分组的对象的笔画。对下述的笔ID控制数据进行转储而得到PenId、ColorId、Angle。StartPoint是笔画的起点坐标，StartTime是笔画的起点时刻。EndPoint是笔画的终点坐标，EndTime是笔画的终点时刻。Point是从起点到终点的坐标列，Pressure是从起点到终点的笔压。如Angle所示那样，手写输入保存数据804、805分别表示在顺时针旋转180度、270度后进行手写识别。
另外，Type为文本(text)的手写输入保存数据804、805、806具有FontName、FontSize、Text。FontName是文本的字体名，FontSize是字符大小，Text是文本的内容(字符代码)。
如果在笔ID控制数据中没有FontName，则手写输入保存部25将图7所示的已定义控制数据的字体数据405具有的FontStyle复制到手写输入保存数据。从图7的已定义控制数据的字体数据405复制FontSize。
在作为手写输入起因数据而保存文件时，可以将手写输入保存数据801～805直接作为元数据而附加。因此，在读入文件时，显示装置2也能够取得手写输入保存数据801～805。在显示装置2向外部设备发送手写输入保存数据的情况下，在彩色对应设备中将手写输入保存数据变换为彩色，在黑白对应装置的情况下，既可以不变换为彩色而发送，也可以变换为彩色而发送。在发送到黑白增强对应装置的情况下，发送手写输入保存数据即可。这样，手写输入保存数据801～805与黑白增强和彩色变换都对应。
手写输入保存数据801～805是手写输入起因数据，与此相对，手写输入保存数据806、807不是手写输入起因数据。它们是根据文件读入指令读入的文件。根据在ColorId中是否注册了后述的颜色定义数据所定义的颜色的值，对其进行判定。例如手写输入保存数据801的ColorId是“Black”，但手写输入保存数据806的ColorId是“#e6001200”。其用#和16进制的8位表示，每2位表示R(红red)、G(绿green)、B(青blue)、A(透明度)的值。
这样，在因手写产生的文本数据中，在ColorId中加入有表示颜色信息的字符串，但在不是因手写产生的文本数据中，ColorId为“#颜色值”。这样，着眼于ColorId来判定是否是因手写产生的文本数据。
手写输入保存部25如ColorId＝“#e6001200”那样，保存文件收发控制部37读取的文件的文本数据的颜色。因此，手写输入保存数据806不对应于黑白增强，只对应于彩色变换。
手写输入显示控制部23通过ColorId判定是否是手写输入起因数据，在不是因手写产生的情况下，根据RGBA，计算灰度等级值并显示。在显示装置2是彩色对应装置的情况下，直接显示RGBA。
手写输入保存数据807也是根据文件读入指令从存储介质读入的图像文件。在Type是图像的情况下，手写输入保存数据807具有FileId、FileName。FileId是手写输入保存数据内的管理编号，FileName是原始的文件名。
在图14中，ColorId的值表示是否是手写输入起因数据，但也可以由专用的标志等表示是否是因手写产生的。另外，Type不限于笔画的手写数据，也能够通过机器学习根据形状来判定是否是因手写产生的。在该情况下，学习装置通过深度学习等，学习是因手写产生的训练数据还是非因手写产生的训练数据与字符的形状的对应，输出所输入的字符的形状是因手写产生的训练数据还是非因手写产生的。
另外，在手写输入起因数据中不只包含对手写数据进行字符识别而变换所得的文本数据，还可以包含作为“完(済)”、“秘”等所确定的字符、标记而显示的戳记、圆、星等图形、直线等根据用户的操作变换的数据，
在图32的步骤S7(笔坐标和接收时刻)、图39的步骤S88(手写输入保存数据的取得)、图39的步骤S96(文件保存)等中，使用手写输入保存数据。
<笔ID控制数据保存部保存的笔ID控制数据>
接着，使用图15A和图15B说明笔ID控制数据。图15A和图15B是说明笔ID控制数据保存部36保存的笔ID控制数据901～904的图。笔ID控制数据控制手写输入起因数据的颜色等。在图15A和图15B中表示有4个笔2500。4个是一个例子，是一个以上即可。
图15A的一行表示一个笔的笔ID控制数据。另外，图15B是说明用户对显示装置2进行手写时的角度信息的图。角度信息相当于操作位置，既可以称为用户存在的方向的角度，也可以称为使用笔的方向的角度，还可以称为与用户手写的字符的旋转相关的角度。将显示装置2的规定的方向(例如上下方向)作为0度(基准)，各用户的角度信息是逆时针45度、90度、135度、180度、225度、270度、315度。
此外，角度信息不是根据用户的操作位置自动地确定的，而由各用户设定角度信息。设定方法有后述的基于直线的输入的方法、选择操作菜单的方法。能够通过直线的输入而指定的角度信息的分辨率(在图15A和图15B中为45度)只不过是一个例子，也可以是更小的5度～30度等。但是，如果是旋转了45度左右的字符，则可以认为用户能够阅读。
笔ID控制数据901～904可以具有PenId、ColorId、Angle、FontName(字体指定)、手写识别候选关闭状态(RecommendMenuOff)、以及AccountId。PenId以外是任意的。AccountId与用户在登录时使用的笔对应。PenId是保存在笔2500的笔内部的识别信息。ColorId表示使用该笔2500的用户选择了哪个颜色(用户能够任意变更)。在ColorId中设定后述的颜色定义数据的颜色ID。通过颜色定义数据定义各颜色的详细内容(粗细等)。
Angle是对该笔2500设定的笔画的角度信息(用户能够任意变更)。在图15A的例子中，各笔的角度信息为逆时针0度、90度、180度、270度。AccountId是用户的识别信息。AccountId与笔ID对应，由此能够确定与用户使用的笔2500的笔ID对应的AccountId，能够使用用户定义数据执行操作指令。
如果用户按下图18A和图18B的笔色选择按键，则追加FontName。如果追加了FontName，则通过图38的步骤S81中的字符串对象字体取得，而取得FontNname，来代替图7所示的已定义控制数据的字体数据405具有的FontStyle。用该FontName的字体显示字符串对象。
笔ID控制数据901是PenId为1的笔ID控制数据，颜色是黑(Black)，角度信息是0度，AccountId＝1，没有FontName，没有RecommendMenuOff。AccountId＝1的用户是图12的用户定义数据717的用户。表示该用户用PenId＝1的笔手写用户名等而登录，并选择了黑。没有AccountId的笔ID控制数据表示是注销状态(没有与用户对应)。同样，笔ID控制数据902是PenId为2的笔ID控制数据。颜色是红(Red)。角度是90度。没有AccountId。FontName是流行(ポップ)体。没有RecommendMenuOff。
在笔ID控制数据903中设定有手写识别候选关闭状态(RecommendMenuOff)。手写识别候选关闭状态(RecommendMenuOff)是用于控制操作指南500不显示字符串候选539(只显示操作指令)、或控制成甚至不显示操作指令的候选510的控制数据。在后者的情况下，不显示操作指南500自身。通过后述的手写识别候选开关按键(参照图24)的按下，设定手写识别候选关闭状态(RecommendMenuOff)。在用户输入图形等不需要字符识别的手写数据的情况下，有时也存在感觉操作指南500碍事的用户。在本实施方式中，能够控制为手写识别候选关闭状态，因此既能够将操作指南500设为非显示，也能够在显示装置2不进行字符识别的情况下减少处理负荷。笔ID控制数据903的PenId是3。颜色是青(Blue)。角度是180度。没有AccountId。没有FontName。
笔ID控制数据904的PenId是4。颜色是绿(Green)。角度是270度。没有AccountId。没有FontName。没有RecommendMenuOff。
在向笔ID控制数据追加了RecommendMenuOff＝“True”的情况下，如果采用不显示操作指令的控制，则也不执行操作指令，因此为了解除RecommendMenuOff＝“True”，需要图24所示那样的按键操作。
另外，由对该按键定义的ColorId、Angle、FontName、以及RecommendMenuOff，更新用户按下了图18A和图18B的颜色选择按键、或图24的按键的笔2500的笔ID控制数据。
在图32的步骤S5(笔ID控制数据取得)、图34的步骤S20(保存笔ID控制数据的角度信息)、图34的步骤S21(取得笔ID控制数据的角度信息)、图36的步骤S60(笔ID控制数据的取得)中，使用笔ID控制数据。
<颜色定义数据>
图16表示颜色定义数据的一个例子。颜色定义数据的一行定义一个颜色。颜色定义数据定义了与ColorId对应的黑白对应设备上的黑白增强显示(黑白的图案、宽度(Pattern)、镶边(Edged)的显示方法)、以及颜色变换方法(彩色对应设备上的颜色信息(Color)、宽度(Width)的显示方法)。用#和16进制的8位表示颜色信息。颜色信息的每2位表示R(红)、G(绿)、B(青)、A(透明度)，px表示像素宽度。此外，颜色定义数据只适用于手写输入起因数据。
颜色定义数据1001是ColorId为“Black”的线种或颜色的定义例子。无法进行彩色显示的黑白增强对应装置通过线种表示颜色。Pattern表示笔画或文本的边缘的图案。Edged表示有无镶边。Color表示RGBA的颜色信息。Width表示线宽度。颜色定义数据1001表示在黑白增强对应装置中按照纯黑为5像素宽度且没有边缘来显示手写输入保存数据，在彩色对应装置中按照黑的透明度0％、且5像素宽度来显示。同样，颜色定义数据1002是ColorId为“Red”的线种或颜色的定义例子。颜色定义数据1002表示在黑白增强对应装置中按照纯黑3像素宽度+从外侧有1像素宽度黑边+2像素宽度白边来显示手写输入保存数据，在彩色对应装置中按照色卡的红的透明度0％、且5像素宽度来显示。颜色定义数据1003是ColorId为“Blue”的线种或颜色的定义例子，表示在黑白增强对应装置中按照纯白4像素宽度+1像素宽度黑边进行显示，在彩色对应装置中按照色卡的青的透明度0％、且5像素宽度进行显示。颜色定义数据1004是ColorId为“Green”的线种或颜色的定义例子。颜色定义数据1004表示在黑白增强对应装置中按照黑的点图案(pattern)4像素宽度+1像素宽度黑边来显示手写输入保存数据，在彩色对应装置中按照色卡的绿的透明度0％、且5像素宽度来显示。颜色定义数据1005是ColorId为“Magenta”的线种或颜色的定义例子。颜色定义数据1005表示在黑白增强对应装置中按照黑的右上斜线图案，白为透明的5像素宽度、且无边进行显示，在彩色对应装置中按照色卡的品红的透明度60％进行显示。颜色定义数据1006是ColorId为“Cyan”的线种或颜色的定义例子。颜色定义数据1006表示在黑白增强对应装置中按照黑的水平线图案，白为透明的5像素宽度进行显示，在彩色对应装置中按照色卡的青色的透明度60％进行显示。
颜色定义数据1007定义ColorId为“ThinBlack”的线种或颜色。颜色定义数据1007表示在黑白增强对应装置中按照纯黑3像素宽度、且无边进行显示，在彩色对应装置中按照黑的透明度0％、且3像素宽度进行显示。颜色定义数据1008定义ColorId为“ThinRed”的线种或颜色。颜色定义数据1008表示在黑白增强对应装置中按照纯黑1像素宽度+从外侧1像素宽度黑边+1像素宽度白边进行显示，在彩色对应装置中按照色卡的红的透明度0％、且3像素宽度进行显示。颜色定义数据1009定义ColorId为“ThinBlue”的线种或颜色。颜色定义数据1009表示在黑白增强对应装置中按照纯白2像素宽度+1像素宽度黑边进行显示，在彩色对应装置中按照色卡的青(blue)的透明度0％、且3像素宽度进行显示。颜色定义数据1010是定义ColorId为“ThinGreen”的线种或颜色。颜色定义数据1010表示在黑白增强对应装置中按照黑的点图案2像素宽度+1像素黑边进行显示，在彩色对应装置中按照色卡的绿的透明度0％、且3像素宽度进行显示。
这样，颜色定义数据具有能够进行黑白增强和颜色变换的数据。手写输入保存部25保存颜色定义数据，在手写输入保存数据的变换时使用。
预先在系统定义数据和用户定义数据中定义彩色定义数据，如果向用户定义数据追加变更颜色定义数据的表格，则在登录后，用户能够变更为个人喜好的颜色定义。
<笔色选择按键定义数据>
接着，使用图17和图18A和图18B说明用户对笔色的选择方法。图17是笔色选择按键定义数据的一个例子。笔色选择按键定义数据是使显示器220所显示的笔按键与ColorId对应起来的数据。笔色选择按键定义数据具有笔按键ID(PenButtonId)、图标文件(Icon)、颜色ID(ColorId)、以及字体名(FontName)。
图18A和图18B是显示器所显示的笔色选择按键81～86的一个例子。在上述图标文件中显示笔色选择按键81～86。按照笔按键ID从小到大的顺序从左向右排列地显示笔色选择按键81～86。如果用户通过笔2500按下笔色选择按键81～86，则向笔ID控制数据追加ColorId和FontName，此后使用ColorId和FontName显示用该笔2500输入的手写对象或字符串对象。
笔色选择按键定义数据1101是显示在最左的笔色选择按键81的定义数据。如果用户用笔2500按下笔色选择按键81，则对于用该笔2500手写的笔画数据，ColorId为“Black”，手写识别后的文本的字体为明朝体。笔色选择按键定义数据1102是显示在左边第二个的笔色选择按键82，笔画数据的ColorId为“Red”，手写识别后的文本的字体为流行体(pop)。同样，笔色选择按键定义数据1103～1106定义笔色选择按键83～86的按键的显示位置、ColorId、文本的字体。
图18A表示根据笔色选择按键定义数据进行黑白增强显示的文本字体显示例。文本字体显示例是用于说明的显示，但也可以在用户使笔2500悬停时进行显示。图18B表示根据笔色选择按键定义数据通过彩色对应装置进行彩色显示的文本字体显示例(实际上，虽然是彩色，但为了作图的方便而成为黑白)。
如图18A所示，不只是黑白增强，通过变更字体，能够更高效地进行黑白增强显示。
也预先在系统定义数据和用户定义数据中定义笔色选择按键定义数据，如果向用户定义数据追加变更笔色选择按键定义数据的表格，则能够在手写签名认证后，变更为个人喜好的笔色选择按键。因此，ColorId与字体的对应关系只不过是一个例子。
手写输入显示控制部23保存笔色选择按键，在图32的步骤S6(坐标补足显示数据)、图38的步骤S82(字符串对象显示数据)、图39的步骤S100(对象的显示数据)中使用。
<可选候选的显示例>
图19是操作指南和操作指南所显示的可选候选530的一个例子。用户通过手写手写对象504(可选候选显示计时器的超时)，而显示操作指南500。操作指南500具有操作头520、操作指令的候选510、手写识别字符串候选506、变换字符串候选507、字符串/预测变换的候选508、以及手写对象矩形区域显示503。可选候选530是操作指令的候选510、手写识别字符串候选506、变换字符串候选507、字符串/预测变换的候选508。在该例子中，有时虽然没有语言变换字符串但也进行显示。另外，将除了操作指令的候选510以外的可选候选530称为字符串候选539。
操作头520具有按键501、509、502、505。按键501接受预测变换和“假名变换”的切换操作。在图19的例子中，如果用户按下显示为“预测”的按键509，则手写输入部21接受它并向手写输入显示控制部23通知该情况，显示部22将显示变更为“假名”这样的按键509。在手写对象504的识别后，按照“假名变换”的概率降序排列字符串候选539。
按键502进行候选显示的页操作。在图19的例子中，候选显示页有3页，当前正在显示第一页。按键505接受操作指南500的消除。如果用户按下按键505，则手写输入部21接受并向手写输入显示控制部23通知该情况，显示部22消除手写对象以外的显示。按键509接受批量显示消除。如果用户按下按键509，则手写输入部21接受。手写输入部21向手写输入显示控制部23通知该情况。显示部22消除包含手写对象在内的图19所示的全部显示，用户能够从最初开始重新手写。
手写对象504是用户手写的“ぎ”这样的字符。显示围住手写对象504的手写对象矩形区域显示503。在图32～图39的时序图中说明显示的步骤。在图19的例子中，用虚线框显示出手写对象矩形区域显示503。
在手写识别字符串候选506、变换字符串候选507、字符串/预测变换的候选508中，按照概率降序排列各个字符串候选。手写识别字符串候选506的“ぎ”是识别结果的候选。在该例子中，显示装置2准确地识别了“ぎ”。
变换字符串候选507是从语言字符串候选变换所得的变换字符串候选。该例子的“技量試”是“技術量産試作(技术量产试生产)”的简称。字符串/预测变换的候选508是从语言字符串候选或变换字符串候选变换所得的预测字符串候选。在该例子中，显示“技量試を決裁(赞同技术量产试生产)”和“議事録の送付先(议事录的发送目的地)”。
操作指令的候选510是根据图11A的操作指令定义数据701～703、709～716选择出的操作指令的候选。在图19的例子中，表示出行头字符的“》”511是操作指令的候选。在图19中，没有作为手写对象504的“ぎ”所选择的选择对象，作为“ぎ”的字符串候选的“議事録(议事录)”与图11A的操作指令定义数据701、702部分地一致，因此显示为操作指令的候选510。
如果用户选择“議事録テンプレートを読み込む(读入议事录模板)”，则执行在操作指令定义数据701中定义的操作指令，如果选择“議事録フォルダーに保存する(保存到议事录文件夹中)”，则执行在操作指令定义数据702中定义的操作指令。这样，在找到包含变换后的字符串的操作指令定义数据的情况下，显示操作指令的候选，因此并不限于始终显示。
如图19所示，同时(一起)显示字符串候选和操作指令的候选，因此用户能够任意地选择自己要输入的字符串候选和操作指令的任意一方。
<选择对象的指定例>
本实施方式的显示装置2通过由用户通过手写而选择确定对象，能够指定选择对象。选择对象为编辑或修改的对象、或页名。
<操作指令的候选的显示例>
图20A和图20B表示基于有手写对象的情况下的操作指令定义数据的操作指令的候选的显示例。图20A是编辑系统的操作指令的候选，图20B是修改系统的操作指令的候选。另外，图20A表示通过手写对象11a指定选择对象的例子。
如图20A和图20B所示，接着行头字符“》”511显示的操作指令的候选是主菜单550。在主菜单550中，显示最后执行的操作指令名、或操作指令定义数据中的开头的操作指令名。第一行的行头字符“》”511a是编辑系统的操作指令的候选，第二行的行头字符“》”511b是修改系统的操作指令的候选。第三行的行头字符“》”511c是“ページ名に設定(设定为页名)”的操作指令的候选。
行末的“>”512表示有子菜单(子菜单按键的一个例子)。第一行的“>”512a使子菜单(最后选择的)显示为编辑系统的操作指令的候选。第二行的“>”512b使剩余的子菜单显示为修改系统的操作指令的候选。如果用户按下“>”512，则在其右侧显示子菜单560。在子菜单560中，显示在操作指令定义数据中定义的全部操作指令。在图20A的显示例中，从显示了主菜单时开始，还显示出与第一行的“>”512a对应的子菜单560。显示装置2也可以通过第一行的“>”512a的按下而显示子菜单。
关于第三行的页名设定的操作指令，不对操作指令的候选进行分组，因此在行末不显示“>”。
如果用户用笔按下任意一个操作指令名，则手写输入显示控制部23对选择对象执行与操作指令名对应的操作指令定义数据的指令(Command)。即，如果选择“消去(消除)”521则执行“Delete”，如果选择“移動(移动)”522则执行“Move”，如果选择“回転(旋转)”523则执行“Rotate”，如果选择“選択(选择)”524则执行“Select”。
例如，如果用户用笔按下“消去(消除)”521，则能够删除“議事録(议事录)”。如果用户按下“移動(移动)”522、“回転(旋转)”523、“选择”524，则显示边框(选择对象的外接矩形)。在按下了“移動(移动)”522和“回転(旋转)”523的情况下，用户能够通过笔的拖动动作使“議事録(议事录)”移动或旋转。在按下了“選択(选择)”524的情况下，用户能够执行其他的边框的操作。
在图20A和图20B中，作为操作指令的候选以外的字符串候选的“○”551、“∞”552、“0”553、“00”554是边框(手写对象11b)的识别结果。在用户不是要输入操作指令而是要输入字符串的情况下，能够选择字符串候选。
在图20B中，根据第二行的“>”512b的按下，显示图20B的子菜单。图20B的显示例也与图20A同样，显示出主菜单550和子菜单560。如果选择“太く(加粗)”531，则手写输入显示控制部23对选择对象执行“Thick”。如果选择“細く(减细)”532，则手写输入显示控制部23对选择对象执行“Thin”。如果选择“大きく(加大)”533，则手写输入显示控制部23对选择对象执行“Large”。如果选择“小さく(减小)”534，则手写输入显示控制部23对选择对象执行“Small”。如果选择“下線(下划线)”535，则手写输入显示控制部23对选择对象执行“Underline”。
<角度信息的输入例>
接着，使用图21A、图21B和图21C说明角度信息的输入方法。图21A、图21B和图21C是说明角度信息的输入方法的图的一个例子。在图21A、图21B和图21C中，说明存在于显示装置2的3点钟方向上的用户输入角度信息的情况。从3点钟方向手写的字符等如果顺时针旋转90度，则被准确地识别，因此可以输入90度的角度信息。
图21A表示为了在笔ID控制数据的角度信息为0度(初始值)的状态下存在于显示装置2的3点钟方向上的用户手写“ぎ”而显示了操作指南500的状态。显示装置2直接依照角度信息为0度对从3点钟方向手写的“ぎ”进行字符识别，因此显示出与期望不同的可选候选530。
在输入角度信息的情况下，用户在操作指南500内，在从用户看从上向下的方向上手写直线。图21B表示该直线521的一个例子。角度信息为0度的6点钟方向与该直线521逆时针所成的角度α是角度信息。即，从起点S向6点钟方向垂下的直线522与用户输入的直线521逆时针所成的角α是角度信息。简单地说，直线521的终点方向是角度信息。因此，在图21B中，用户输入的角度信息是90度。
此外，在检测直线时，例如有以下的方法，即通过最小二乘法将从起点S到终点E的坐标变换为直线，对所得到的相关系数和阈值进行比较，判定是否是直线。
在用户开始书写直线521之后(在将笔2500与直线521的起点S接触后立即)，显示装置2立即消除操作指南500。另外，在书写完直线521之后(将笔2500从直线521的终点E离开后)，显示装置2立即从45度、90度、135度、180度、215度、270度、315度、360度中搜索上述所成的角α最接近的值，将其确定为角度信息。所成的角α自身也可以是角度信息。将所确定的角度信息设定到笔ID控制数据的Angle(角度)中。如果为了进行手写等而按压笔尖，则笔2500的笔事件发送部41将笔ID发送到显示装置2，因此显示装置2能够使角度信息与笔ID控制数据对应起来。
此外，只限于在操作指南500内，用户能够手写直线而输入角度信息。由此，如果用户在操作指南500以外手写直线，则识别为“1”、“一”等，如果在操作指南500内手写直线，则能够输入角度信息。即，手写识别控制部26从规定范围检测直线，而将在规定范围以外手写的笔画数据变换为文本数据。
图21C表示紧接着图21B的操作后的操作指南500。在笔ID控制数据中作为角度信息(Angle)设定了90度，因此对手写对象(笔画数据)在内部顺时针旋转90度地进行手写识别，而逆时针旋转90度地显示操作指南500。此外，也可以由用户从菜单手动地输入角度信息。
<手写的登录的一个例子>
接着，使用图22说明在手写签名数据的注册后用户登录的方法。图22是在手写为用户注册的手写签名数据即“すずき(铃木)”的情况下显示的操作指南500的一个例子。将“すずき”作为手写签名数据注册到操作指令定义部33中，因此“すずき”适合为手写签名数据。因此，显示“手書きサインインする(进行手写登录)”的操作指令512。
另外，由于手写签名数据适合，因此确定表示“すずき(铃木)”的SignatureId，确定具有与该SignatureId对应的AccountId的用户定义数据。
如果用户选择“手書きサインインする(进行手写登录)”这样的操作指令512，则将“すずき”的AccountId与正在使用的笔2500的笔ID对应地追加到笔ID控制数据中，使得在使用操作指令时使用“すずき”的用户定义数据。
<操作菜单的显示例>
接着，使用图23A说明具有与显示位置对应的数据处理有关的信息的操作菜单。图23A是平放的显示装置2的俯视图。在图23A中，在附图的上侧和下侧分别存在用户250、251，2个用户能够从下侧和上侧的2个方向同时操作操作菜单301、302。但是，即使是一个用户也没有障碍。显示装置2与操作按键定义数据对应地显示操作菜单。操作菜单的数量与设想的用户的数量相同。
各操作菜单301、302具有与操作菜单的显示位置对应的数据处理有关的信息。在本实施方式中，操作菜单301、302具有与操作菜单的显示位置对应的旋转角度。操作菜单301、302的设计(图标的外观)相同，但具有与操作菜单的显示位置对应的数据处理有关的信息。
一个操作菜单301、302具有用户进行笔种选择、笔操作的笔操作面板2001、2008。一个操作菜单301、302具有用户进行页操作的页操作面板2002、2009。一个操作菜单301、302具有用户操作文件名或页的一览显示的页导航操作面板2003、2010。一个操作菜单301、302具有根据文件名或页名的一览显示进行页切换的页导航2004、2011。将下侧的用户用的操作菜单301配置在画面靠下(沿着显示器220的下边缘配置)，将上侧的用户用配置在画面靠上(沿着显示器220的上边缘配置)，使得用户容易使用。
下侧的用户用的操作菜单301具有笔操作面板2001、页操作面板2002、页导航操作面板2003、以及页导航2004。页导航2004在页导航窗口区域2005中从上向下方向伸展。有时将页导航窗口区域2005简称为页导航窗口。
同样，上侧的用户用的操作菜单302具有笔操作面板2008、页操作面板2009、页导航操作面板2010、以及页导航2011。页导航2011在页导航窗口区域2012中从上侧的用户看从上向下方向伸展。
在显示器220的中央附近，显示有手写对象、字符串对象。手写对象2006是下侧的用户用黑笔(纯黑)书写的。字符串对象2007是下侧的用户用黑笔书写并进行了识别的字符串。手写对象2013是上侧的用户用青笔(纯白+黑边)书写的手写数据。
笔操作面板2001、2008、页操作面板2002、2009、页导航操作面板2003、2010、页导航2004、2011有下侧的用户用和上侧的用户用这2个，而包含在操作菜单302中。在旋转了180度的状态下，显示上侧的用户用的图标(按键)、文件名、以及页名。预先在操作按键定义数据(后述)中设定该旋转角度。
如果用户通过笔2500按下操作菜单301、302的按键区域、页导航2004、2011的文件名和页名的任意一个，则显示装置2将在操作按键定义数据中设定的旋转角度保存到该笔2500的笔ID控制数据中。该旋转角度成为与数据处理有关的信息。
<<图23A的英语表现>>
显示装置2也对应于日语以外的语言。在此，作为一个例子，说明在英语环境下使用显示装置2的情况下的图23A。此外，除了变换用的词典、各种定义数据与英语对应以外，显示装置2的结构与在日语下使用的情况同样。
图23B是在显示装置2将手写数据变换为英语的情况下平放的显示装置2的俯视图。在将手写数据变换为英语的情况下，显示装置2也显示操作菜单301、302。在图23B中，在附图的上侧和下侧分别存在用户250、251，2个用户能够从下侧和上侧的2个方向同时操作操作菜单301、302。显示装置2与操作按键定义数据对应地显示操作菜单。操作菜单的数量与设想的用户的数量相同。
另外，在操作菜单301、302中，用英语标记页操作面板2001、2008、页操作面板2002、2009、页导航操作面板2003、2010、页导航2004、2011。
手写到显示器3的内容基于用户手写什么，而在图23B中用英语进行手写。在显示器220的中央附近，显示有英语的手写对象、字符串对象。手写对象2006是下侧的用户用黑笔(纯黑)书写的。字符串对象2007是下侧的用户用黑笔书写并进行了识别的字符串。手写对象2013是上侧的用户用青笔(纯白+黑边)书写的手写数据。
在本实施例中，以英语为例进行了说明，但显示装置2也能够对应于英语以外的语言(中文、印地语、西班牙语、阿拉伯语、葡萄牙语、俄语等)。
<<笔操作面板>>
图24是放大表示笔操作面板2001、2008的图。笔操作面板2001、2008具有用于用户选择颜色等的按键。按键2101～2108表示不透明的黑、红、青、绿的细笔或粗笔，按键2109、2110表示作为透明色的品红(magenta)、蓝色(cyan)的粗笔。
按键2111、2112表示撤销(Undo：复原)/重来(Redo：重新进行)。按键2113表示页消除，按键2114表示页刷新(pagesweep)(清除并重新显示在高速描绘模式下劣化的画面的按键)。按键2115接受字符串候选539的显示的开或关(接受笔ID控制数据的手写识别候选关闭状态(RecommendMenuOff)的设定的按键)。
如图27～图30的操作按键定义数据所示，对各按键定义有按键的标识符(ButtonId)、按键的显示位置(Position)、按键的图标图像(Icon)、按键的旋转角度(Angle)、以及按下时显示装置2执行的指令(Command)。如果用户用笔2500按下按键2101～2115，则显示装置2将对该按键定义的旋转角度保存到该笔2500的笔ID控制数据中，执行对该按键定义的指令。此外，按键2101～2115从左顺序地对应于操作按键定义数据的ButtonId＝1～15。
对于与按键2101～2110对应的操作按键定义数据2401～2410的指令，在与图11A和图11B的操作指令定义数据709～711、720～726相同的ChangePen指令中指定颜色定义数据的ColorId。可知显示部22针对最后选择的笔的按键显示并选择了框260。在图24中，选择了按键2101的黑色的细笔。
与按键2111、2112对应的操作按键定义数据2411、2412定义Undo/Redo(撤销/重来)的指令。按键2111、2112(撤销/重来)分别接受Undo/Redo的指令的执行。Undo是恢复到上一个操作状态的指令，Redo是使Undo的操作状态向前推进一个的指令。
与按键2113对应的操作按键定义数据2413定义EragePage的指令。按键2113(页消除)接受EragePage的指令的执行。EragePage消除输入到当前页中的全部数据并重新显示。
与按键2114对应的操作按键定义数据2414定义SweepPage的指令。按键2114(刷新按键)接受SweepPage的指令的执行。在电子纸等显示设备中，在高速描绘模式下会产生残影。显示设备对其进行重新显示而刷新。
与按键2115对应的操作按键定义数据2415定义ToggleRecommendMenu的指令。按键2115(手写识别候选开关)接受ToggleRecommendMenu的指令的执行。ToggleRecommendMenu切换通过手写识别得到的字符串候选539的显示的开和关。其结果是在成为关状态的情况下，向按下的笔2500的笔ID控制数据追加RecommendMenuOff＝“True”。在字符串候选539的显示开的状态下，显示全部的字符串候选539，但在关的状态下，只显示操作指令。如果没有操作指令，则可选候选整体不被显示，因此用户能够集中于手写。如果显示装置2执行ToggleRecommendMenu，则返回当前的开关状态，因此与该状态对应地切换图标。
此外，按键2101～2110定义了与图18A和图18B的笔色选择按键81～86不同的按键，能够通过笔色选择按键81～86重复设定ColorId，因此在该情况下，优先将按键2101～2110的按下结果设定到笔ID控制数据中。
<<页操作面板>>
图25表示页操作面板2002、2009的一个例子。页操作面板2002、2009是与页的操作有关的操作菜单。按键2201是用于用户使正在显示的页每次旋转90度的按键。按键2202、2204分别是用于用户切换到上一页或下一页的按键。当前页2203表示当前页编号(分子)和总页数(分母)。按键2205是用于用户打开或关闭页导航窗口的按键。文件名2206表示当前正在显示的文件名。在操作按键定义数据2416～2419、2440～2443中定义按键2201、2202、2203、2205。
按键2201(页的旋转显示)接受RotatePage的指令的执行。RotatePage向逆时针方向旋转90度地只显示图30所示的下侧的用户的手写对象2006和字符串对象2007、以及上侧的用户的手写对象2013。包含页导航在内的操作菜单不旋转。即，在图30的例子中，从下侧的用户看，难以上下颠倒地阅读上侧的用户的手写对象2013，因此通过RotatePage指令的执行，显示装置2临时旋转页而容易阅读。
按键2202、2204(页切换)接受PageBack或PageNext的指令的执行。PageBack或PageNext将当前页切换到上一页或下一页的显示。
按键2205(打开或关闭页导航窗口)接受TogglePageNavi的指令的执行。TogglePageNavi的指令打开或关闭图30的页导航窗口区域2205、2012。
对于当前页2203、文件名2206，只显示而不接受操作。当前页2203显示当前页编号(分子)、总页数(分母)。在该例子中，显示装置2显示出4页的文件的第二页。文件名2206显示当前正在显示的文件名。在该例子中，显示装置2显示出“技術検討会議.pdf(技术研究会议.pdf)”。
<<页导航操作面板>>
图26表示页导航操作面板2003、2010的一个例子。页导航操作面板2003、2010对每个文件按照页顺序显示页名。即，在从字符串对象中选择了页名的情况下，用户容易在以后确定在哪个页中记述了怎样的内容。
按键2301、2305分别是用于用户切换到上一个页导航窗口或下一个页导航窗口的按键。按键2302、2304分别是用于用户切换到上一个文件或下一个文件的按键(在显示器220中显示切换后的文件的开头页)。当前页导航2303显示页导航窗口的当前编号(分子)和总数(分母)。在操作按键定义数据2420～2423、2444～2447中定义按键2301、2302、2304、2305。
页导航2306按照文件顺序和页顺序显示字符串。页导航2306通过树形显示读入的多个文件的文件名、文件中的各页名。如果按下了文件名或页名，则显示装置2根据图38的页导航数据，将该页显示到显示器220。例如，在页导航为200行、页导航窗口行数为50行的情况下，当前页2203的当前编号可以取1～4的值，总数为4。如果用户按下按键2301，则显示装置2将当前编号递减(decrement)，如果按下按键2305，则将当前编号递增(increment)，并重新显示页导航窗口。为了使用户容易使用页导航2306，下侧的用户用的页导航2306配置在显示器220的靠下，上侧的用户用的页导航2306配置在显示器220的靠上。
在图26的页导航2306中，显示出2个文件名2310、2308，对各文件将各页的页名2307、2309显示为树状。页名是用户指定的字符串对象、或自动地提取的字符串。根据用户的操作，缩进地显示页名。
按键2301、2305(页导航窗口切换)接受PageNaviWinBack/PageNaviWinNext的指令的执行。PageNaviWinBack/PageNaviWinNext将当前的页导航窗口切换到上一个或下一个页导航窗口。在将能够在页导航窗口内显示的行数设为50行的情况下，通过按下按键2301、2305，显示装置2能够切换显示50行的页导航窗口。
按键2302、2304(文件切换)接受PageNaviFileBack/PageNaviFileNext的指令的执行。PageNaviFileBack/PageNaviFileNext将当前正在显示的页切换到上一个或下一个文件的开头页。
通过图31的页导航数据定义页导航2306。树正在打开图标2311通过向下的三角形表示正在显示树。树正在关闭图标2312通过横向的三角形表示树正在关闭。如果关闭树，则不显示等级比有树的行低的下方的行的页名。
在页导航数据的Tree为“Opened”的情况下，显示装置2显示树正在打开图标2311，如果按下，则将Tree变更为“Closed”而关闭树。相反，在Tree＝“Closed”的情况下，显示装置2显示树正在关闭图标2312，如果用户按下，则变更为Tree＝“Opened”而打开树。
页名2313表示缩进的页(indented page)。通过页导航数据的Level控制缩进的等级。对于文件名将Level＝“0”设为初始值，对于页名将Level＝“1”设为初始值。如果用户按下文件名或页名并使其向右缩进，则缩进等级的Level的值变大。页名2313表示Level＝“2”的缩进。为了变更Level，用户长按页名并使其左右移动。例如，在用户使其向右移动时，显示装置2从当前行向上方搜索相同的Level(移动前的Level)，针对上方的行追加Tree＝“Opened”。可以不显示缩进的行，缩进了的行的显示或不显示通过与缩进之前的本行相同的Level的行的Tree来控制。另外，显示装置2将缩进了的行的Level递减并重新显示。
页名2314表示是白纸页，表示文件的最终页(页名2313)的下一个白纸页。白纸页是还没有手写任何东西的含义。白纸页持续到最大页编号为止，但显示在页导航中的“白纸页”只是开头的白纸页。例如，在最大页编号是100页，文件有4页的情况下，5～100页是白纸页，但作为“白纸页”，在页导航2306中只显示开头的第五页。
页名2315是在显示器220中正在显示的页。在此，用框262围住页名2315来进行强调。
页名2316是缺省的页名。在只手写而没有进行手写识别的字符串的情况下，显示装置2这样对页名附加“nnnn页”(nnnn是整数)地显示。表示在除了页名2316的缺省的页名、页名2314的白纸页、文件名2310、2308以外的页名中有进行手写识别所得的字符串。
在后述的页导航数据中，在AutoName＝“True”的情况下，如果有进行手写识别所得的字符串，则显示装置2自动地设定为页名。在图30的画面布局例子中，“ハードウェア構成(硬件结构)”这样的字符串自动地成为页名。根据手写识别所得的字符串确定页名的逻辑可以考虑各种各样的逻辑。例如，可以考虑按照输入字符串的时刻顺序将字符串结合起来并剪切开头的固定字符数的方法、确定字符串的位置的优先顺序而从优先顺序高的开始顺序地结合字符串并剪切开头的固定字符数的方法等。
如图20A和图20B的操作指令的显示例所示那样，如果用户用框线、跨线选择已经进行了手写识别的确定对象，则在操作指令中显示“ページ名に設定(设定为页名)”。如果选择它，则执行SetPageName的指令。SetPageName将页导航2306的当前页名变更为所选择的字符串，将页导航数据的AutoName变更为“False”。
在用笔2500选择了页导航操作面板2003、2010的文件名或页名的情况下，也在笔ID控制数据中设定“Angle”。该Angle是使页导航窗口区域旋转的角度。显示装置2为了进行显示，预先保存从操作按键定义数据取得的使页导航窗口区域旋转的角度(Angle)，在用笔2500选择了文件名或页名的情况下，将所存储的旋转角度设定为笔ID控制数据的“Angle”。此后，按照在笔ID控制数据中设定的Angle进行数据处理。
<操作按键定义数据>
图27～图30表示操作按键定义数据2401～2448的一个例子。操作按键定义数据2401～2448对笔操作面板2001、2008、页操作面板2002、2009、以及页导航操作面板2003、2010的按键进行定义。操作按键定义数据的一行定义一个按键。另外，图27、图28定义下侧的用户用的操作菜单301，图29、图30定义上侧的用户用的操作菜单302。
各操作按键定义数据2401～2448定义按键标识符(ButtonId)、按键的显示位置(Position)、按键的图标图像(Icon)、成为与数据处理有关的信息的角度(Angle)、在按下按键时显示装置2执行的指令(Command)。角度(Angle)也表示用户的操作位置、操作菜单302的旋转角度。如果用户用笔2500按下按键2101～2115、2201、2202、2203、2205、2301、2302、2304、2305，则显示装置2将对该按键定义的角度(Angle)保存到该笔的笔ID控制数据中，执行对该按键定义的指令。
这样，操作菜单和与操作菜单的显示位置对应的数据处理关联起来。在图27～图30中，为字符串对象与显示位置对应地旋转的例子。如果管理者变更下侧用户用的操作菜单301和上侧用户用的操作菜单302的相同按键具有的Command，则能够进行各种数据处理。
操作按键定义数据2401～2415定义下侧的用户用的笔操作面板2001。操作按键定义数据2416～2419定义下侧的用户用的页操作面板2002。操作按键定义数据2420～2424定义下侧的用户用的页导航操作面板2003。操作按键定义数据2425～2439定义上侧的用户用的笔操作面板2008。操作按键定义数据2440～2443定义上侧的用户用的页操作面板2009。操作按键定义数据2444～2448定义上侧的用户用的页导航操作面板2010。
由于必须表示出手写识别候选的当前的开关状态，因此操作按键定义数据2415、2439定义开用的图标图像(IconOn)和关用的图标图像(IconOff)。由于必须表示出打开页导航窗口的按键或关闭的按键，因此操作按键定义数据2419、2443定义开用的图标图像(IconOn)和关用的图标图像(IconOff)。显示装置2查看Command的执行结果的返回值，显示开用/关用的图标图像。
操作按键定义数据2424、2448是页导航窗口区域的定义数据，只定义矩形区域的位置(Position)和角度(Angle)。如果用户用笔2500按下这些矩形区域，则显示装置2将对其定义的角度(Angle)保存到按下所使用的笔2500的笔ID控制数据中。
<页导航数据>
图31表示页导航数据的一个例子。页导航数据是对文件的每页记录页名的信息的一个例子。页导航数据定义页导航窗口区域2005、2012的显示内容。页导航数据的一行定义页导航的一行。页导航数据定义文件名(FileName)、页编号(Page)、缩进等级(Level)、页名(PageName)、自动名(AutoName)、树状态(Tree)、以及当前页(CurrentPage)。Page＝“0”且Level＝“0”是文件名。如果Level增加，则页导航上的页名向右缩进。
缺省是PageName＝“nnnn页”(nnnn是页编号)或“白纸页”、AutoName＝“True”、Tree＝“Opened”。在AutoName＝“True”的情况下，显示装置2自动地将手写识别出的字符串设定为PageName。如果用户指定手写识别出的确定对象，从操作指令中选择“设定为页名”，则将页名变更为该确定对象，成为AutoName＝“False”。即，用户设定的页名优先。“Tree”是以下的设定，即在Tree＝“Open”时，对该行的下方并且Level比该行小1的行的全部页名进行树显示，在Tree＝“Closed”时，不进行树显示(只显示该行的页名)。在显示了页名的情况下，对所显示的页名重复进行相同处理。因此，在下一行有比该行大的Level的情况下，显示装置2对该行的Tree设定“Opened”。CurrentPage表示当前在显示器220中显示的页。
<动作步骤>
使用以上的结构和图32～图39，说明显示装置2的动作。图32～图39是说明显示装置2显示字符串候选和操作指令的候选的处理的一个例子的时序图。如果显示装置2启动(应用程序启动)，则开始图32的处理。此外，在图32～图39中，为了节省空间，用附图标记表示图6A和图6B的功能。
在开始手写数据的输入之前，用户已经选择了笔操作面板2001、2008的按键2101～2110(确定了PenId)。因此，
a.由操作按键定义数据确定笔按键ID、ColorId、以及Angle。
b.将PenId、ColorId、以及Angle注册到笔ID控制数据中。
S1：首先，手写输入显示控制部23将手写对象开始发送到手写输入保存部25。手写输入保存部25确保手写对象区域(保存手写对象的存储器区域)。也可以在用户使笔与手写输入部21接触后确保手写对象区域。
S2：接着，用户使笔与手写输入部21接触。手写输入部21检测落笔，并发送到手写输入显示控制部23。
S3：手写输入显示控制部23向手写输入保存部25发送笔画开始，手写输入保存部25确保笔画区域。
S4：如果用户使笔保持与手写输入部21接触地移动，则手写输入部21将笔坐标发送到手写输入显示控制部23。
S5：手写输入显示控制部23与坐标的输入同时地，指定从笔2500接收到的笔ID，取得保存在笔ID控制数据保存部36中的当前的笔ID控制数据。在输入坐标时发送笔ID，因此笔画与笔ID对应。笔ID控制数据保存部36将笔ID控制数据发送到手写输入显示控制部23。此外，用户没有登录，因此没有AccountId。
S6：手写输入显示控制部23将笔坐标补足显示数据(对离散的笔坐标进行内插的数据)发送到显示部22。显示部22用笔坐标补足显示数据对笔坐标进行内插，根据ColorId，从颜色定义数据中确定线种和粗细，显示笔画。
S7：手写输入显示控制部23将笔坐标、其接收时刻、ColorId、以及角度信息发送到手写输入保存部25。手写输入保存部25将笔坐标追加到笔画中。在用户使笔移动的期间，手写输入部21定期地重复向手写输入显示控制部23发送笔坐标，因此重复进行步骤S4～S7的处理，直到提笔为止。
S8：如果用户使笔从手写输入部21离开，则手写输入部21将提笔发送到手写输入显示控制部23。
S9：手写输入显示控制部23向手写输入保存部25发送笔画结束，手写输入保存部25确定笔画的笔坐标。通过确定笔画的笔坐标，此后不再能够向笔画追加笔坐标。
S10：接着，手写输入显示控制部23根据手写对象近旁矩形区域，向手写输入保存部25发送手写对象近旁矩形区域与笔画矩形区域的重叠状况取得。手写输入保存部25计算重叠状况，将重叠状况发送到手写输入显示控制部23。
接着，在手写对象近旁矩形区域与笔画矩形区域不重叠的情况下，执行步骤S11～S17。
S11：在手写对象近旁矩形区域与笔画矩形区域不重叠的情况下，确定一个手写对象，因此手写输入显示控制部23向手写识别控制部26发送保存数据清除。
S12～S14：手写识别控制部26分别向字符串变换控制部28、预测变换控制部30、操作指令识别控制部32发送保存数据清除。手写识别控制部26、字符串变换控制部28、预测变换控制部30、以及操作指令识别控制部32对到此为止保存的字符串候选、操作指令的候选相关的数据进行清除。此外，在清除的时刻最后手写的笔画不追加到手写对象。
S15：手写输入显示控制部23向手写输入保存部25发送手写对象结束。手写输入保存部25确定手写对象。手写对象的确定是指一个手写对象完成(不再进一步追加笔画)。
S16：手写输入显示控制部23向手写输入保存部25发送手写对象开始。准备下一个手写对象的手写开始(落笔)，手写输入保存部25确保新的手写对象区域。
S17：接着，手写输入显示控制部23针对在步骤S9中结束了的笔画，向手写输入保存部25发送笔画追加。在执行了步骤S11～S17的情况下，追加的笔画是手写对象的最初的笔画，手写输入保存部25将笔画数据追加到已经开始的手写对象。在没有执行步骤S11～S17的情况下，追加的笔画已经被追加到正在手写的手写对象。
S18：接着，手写输入显示控制部23向手写识别控制部26发送笔画追加。手写识别控制部26将笔画数据追加到存储字符串候选的笔画数据保存区域(临时存储笔画数据的区域)。
S19：手写识别控制部26对笔画数据保存区域执行手势手写识别。手势手写识别是指根据直线识别角度信息。此外，在操作指南500的内部进行手势手写识别，因此手写识别控制部26检测操作指南500的内部的直线。在后述的步骤S67中，将操作指南500的位置信息发送到手写识别控制部26。
S20：在检测出操作指南500内的直线的情况下，以45度为单位，确定从直线的起点向6点钟方向垂下的直线522与用户输入的直线521逆时针所成的角α。然后，手写识别控制部26将所确定的角度信息与直线521的笔画数据具有的笔ID对应地保存到笔ID控制数据保存部36中。此外，在操作指南500内检测出直线的情况下，执行步骤S20。因此，也可以比通过笔操作面板2001、2008的按键2101～2115的按下而确定的Angle优先地设定其他Angle。
S20-2：手写识别控制部26对可选的候选显示矩形进行清除。
S21：接着，手写识别控制部26指定从手写输入部21接收到的笔ID，从笔ID控制数据保存部36取得当前的笔ID控制数据的角度信息。
S22：手写识别控制部26按照取得的角度信息，使笔画数据保存区域的笔画数据顺时针旋转。显示装置2能够这样根据与显示位置对应的数据处理有关的信息，使笔画数据旋转而进行字符识别。
S23：手写识别控制部26向手写签名认证控制部38发送旋转后的笔画数据。这样，在不明确的状态下始终向手写签名认证控制部38发送笔画数据是否是手写签名。
S24：手写签名认证控制部38接收笔画数据，从手写签名数据保存部39接收已注册的手写签名数据。然后，手写签名认证控制部38进行笔画数据与手写签名数据的比较(匹配)，保存手写签名的认证结果，使得在后面的步骤S61中能够取得手写签名的认证结果。在认证成功的情况下，将AccountId注册到笔ID控制数据中。
S25：接着，手写识别控制部26对笔画数据执行手写识别，在是表格的注册或取消栏的“复选标记”或“×”的情况下，进行表格的处理，在不是的情况下，进行通常的手写识别的处理。
S26：在是手写签名数据注册表格的注册或取消栏内的“复选标记”的情况下，手写识别控制部26向手写签名认证控制部38发送用户向手写签名注册表格输入的手写签名数据(笔画数据)。在后述的步骤S86中，手写输入显示控制部23在手写输入保存部25中生成手写签名注册表格。
S27：手写签名认证控制部38将接收到的手写签名数据(笔画数据)注册到手写签名数据保存部39。由此，对SignatureId进行编号。将SignatureId返回到手写识别控制部26。手写识别控制部26在用户定义数据中没有SignatureId、以及输入到手写签名注册表格的名字输入栏中的名字的情况下，新追加用户定义数据。手写识别控制部26对AccountId进行编号，将SignatureId保存到该用户定义数据中。在用户定义数据中有输入到名字输入栏中的名字的情况下，将SignatureId保存到该用户定义数据中。通过该处理，使AccountId与SignatureId关联起来。
S28：通过手写签名数据的注册，手写识别控制部26从手写输入保存部25中删除手写签名注册表格。
S29：在是用户定义数据变更表格的注册或取消栏内的“复选标记”的情况下，手写识别控制部26向操作指令定义部33发送输入到用户定义数据变更表格562中的变更值。在后述的步骤S86中，手写输入显示控制部23在手写输入保存部25中生成用户定义数据变更表格562。
S30：通过用户定义数据的变更的执行，手写识别控制部26从手写输入保存部25中删除用户定义数据变更表格562。
S31：在是在后述的步骤S86中追加的表格的注册或取消栏内的“×”的情况下，手写识别控制部26从手写输入保存部25中删除在步骤S86中追加的表格。
S33：在不是表格处理的情况下，手写识别控制部26将用户手写的手写识别字符串候选发送到手写识别词典部27。手写识别词典部27将语言上应该是准确的语言字符串候选发送到手写识别控制部26。
此外，在当前的笔ID控制数据中设定了“RecommendMenuOff＝“True””，进而操作指令也是不进行显示的设定的情况下，手写识别控制部26不进行步骤S33～S47的与识别有关的控制。由此，显示装置2能够减少处理负荷。
S34：手写识别控制部26将手写识别字符串候选和接收到的语言字符串候选发送到字符串变换控制部28。
S35：字符串变换控制部28将手写识别字符串候选和语言字符串候选发送到字符串变换词典部29。字符串变换词典部29将变换字符串候选发送到字符串变换控制部28。
S36：字符串变换控制部28将接收到的变换字符串候选发送到预测变换控制部30。
S37：预测变换控制部30将接收到的变换字符串候选发送到预测变换词典部31。预测变换词典部31将预测字符串候选发送到预测变换控制部30。
S38：预测变换控制部30将接收到的预测字符串候选发送到操作指令识别控制部32。
S39：操作指令识别控制部32将接收到的预测字符串候选发送到操作指令定义部33。操作指令定义部33将操作指令的候选发送到操作指令识别控制部32。由此，操作指令识别控制部32能够取得与具有与预测字符串候选一致的字符串(String)的操作指令定义数据对应的操作指令的候选。
此后，到步骤S40～S47所示的操作指令的候选的发送为止，显示装置2同样进行处理。
S40：字符串变换控制部28将接收到的变换字符串候选发送到操作指令识别控制部32。
S41：操作指令识别控制部32将接收到的变换字符串候选发送到操作指令定义部33。操作指令定义部33将操作指令的候选发送到操作指令识别控制部32。由此，操作指令识别控制部32能够取得与具有与变换字符串候选一致的字符串(String)的操作指令定义数据对应的操作指令的候选。
S42：手写识别控制部26将手写识别字符串候选和语言字符串候选发送到预测变换控制部30。
S43：预测变换控制部30将手写识别字符串候选和接收到的语言字符串候选发送到预测变换词典部31。预测变换词典部31将预测字符串候选发送到预测变换控制部30。
S44：预测变换控制部30将接收到的预测字符串候选发送到操作指令识别控制部32。
S45：操作指令识别控制部32将接收到的预测字符串候选发送到操作指令定义部33。操作指令定义部33将操作指令的候选发送到操作指令识别控制部32。由此，操作指令识别控制部32能够取得与具有与预测字符串候选一致的字符串“String”的操作指令定义数据对应的操作指令的候选。
S46：手写识别控制部26将手写识别字符串候选和接收到的语言字符串候选发送到操作指令识别控制部32。
S47：操作指令识别控制部32将手写识别字符串候选和接收到的语言字符串候选发送到操作指令定义部33。操作指令定义部33将操作指令的候选发送到操作指令识别控制部32。由此，操作指令识别控制部32能够取得与具有与语言字符串候选一致的字符串(String)的操作指令定义数据对应的操作指令的候选。
S48：接着，手写识别控制部26向操作指令识别控制部32发送笔画追加。
S49：操作指令识别控制部32向手写输入保存部25发送确定对象的位置信息取得。手写输入保存部25将确定对象的位置信息发送到操作指令识别控制部32。
S50：操作指令识别控制部32判定选择对象。操作指令识别控制部32根据跨线判定条件406和框线判定条件407，判定在步骤S48的笔画追加中从手写识别控制部26接收到的笔画的位置信息与从手写输入保存部25接收到的确定对象的位置信息是否处于规定的关系。在有能够判定为进行了选择的确定对象的情况下，操作指令识别控制部32将确定对象保存为选择对象。另外，在该情况下，选择对象被确定，因此从操作指令定义部33取得有选择对象的情况下的操作指令的候选。
另外，手写识别控制部26、字符串变换控制部28、预测变换控制部30、以及操作指令识别控制部32分别保存手写识别字符串候选、语言字符串候选、变换字符串候选、预测字符串候选、操作指令的候选、以及与选择对象相关的数据，使得能够在后面的步骤S55～S58中取得。
S18-2：手写输入显示控制部23在步骤S18中向手写识别控制部26发送了笔画追加之后，立即向候选显示计时器控制部24发送可选候选显示计时器开始。候选显示计时器控制部24开始该计时器。
接着，在经过一定时间之前(在计时器超时之前)产生了落笔的情况下，执行步骤S51～S53。
S51：在计时器超时之前用户使笔接触手写输入部21的情况下，手写输入部21向手写输入显示控制部23发送落笔(与步骤S2相同的事件)。
S52：手写输入显示控制部23向手写输入保存部25发送笔画开始(与步骤S3相同)。此后的时序与步骤S3以后相同。
S53：进而，手写输入显示控制部23向候选显示计时器控制部24发送可选候选显示计时器停止。候选显示计时器控制部24使计时器停止。这是因为检测出落笔，因此不需要计时。
在经过一定时间之前(在计时器超时之前)没有产生落笔的情况下，执行步骤S54～S103。因此，显示图19所示的操作指南500。
S54：在可选候选显示计时器已经开始而用户没有使笔接触手写输入部21的情况下，候选显示计时器控制部24向手写输入显示控制部23发送超时。
S55：手写输入显示控制部23向手写识别控制部26发送手写识别字符串/语言字符串候选取得。手写识别控制部26将当前保存的手写识别字符串/语言字符串候选发送到手写输入显示控制部23。
S56：手写输入显示控制部23向字符串变换控制部28发送变换字符串候选取得。字符串变换控制部28将当前保存的变换字符串候选发送到手写输入显示控制部23。
S57：手写输入显示控制部23向预测变换控制部30发送预测字符串候选取得。预测变换控制部30将当前保存的预测字符串候选发送到手写输入显示控制部23。
S58：手写输入显示控制部23向操作指令识别控制部32发送操作指令的候选取得。操作指令识别控制部32将当前保存的操作指令的候选和选择对象发送到手写输入显示控制部23。
S59：手写输入显示控制部23向手写输入保存部25发送推定书写方向取得。手写输入保存部25根据手写对象矩形区域的笔画追加时间、水平距离、垂直距离进行判定，将推定书写方向发送到手写输入显示控制部23。
S60：接着，手写输入显示控制部23指定从手写输入部21接收到的笔ID，从笔ID控制数据保存部36取得当前的笔ID控制数据的ColorId、AccountId(也有时没有)、以及Angle。
S61：手写输入显示控制部23从手写签名认证控制部38取得手写签名的认证结果。由此，得到用户的SignatureId，因此在后述的操作指令的执行时，将AccountId对应地注册到笔ID控制数据中。在用户已经登录的情况下，确定与根据AccountId确定的用户定义数据对应的颜色定义数据。手写输入显示控制部23能够显示通过黑白增强了用户定义数据的颜色信息的手写数据、或从手写数据变换所得的上述文本数据。
S62：手写输入显示控制部23判断在用户正在使用的笔2500的笔ID控制数据中是否设定了“RecommendMenuOff＝“True””，在“RecommendMenuOff＝“True””的情况下，不显示字符串候选539。在该情况下，只显示操作指令，但也可以也不显示操作指令。在“RecommendMenuOff＝“False””的情况下，手写输入显示控制部23根据这些手写识别字符串候选(在图19中为“ぎ”)、语言字符串候选(在图19中没有显示，例如为“議”)、变换字符串候选(在图19中为“議事録”、“技量試”)、预测字符串候选(在图19中为“技量試を決済”、“議事録の送付先”)、操作指令的候选(在图19中为“議事録テンプレートを読み込む”、“議事録フォルダーに保存する”)、各选择概率、以及推定书写方向，制作图19那样的可选候选显示数据。另外，手写输入显示控制部23按照在步骤S60中取得的Angle使可选候选显示数据(操作指南500)逆时针旋转，通过将旋转后的可选候选显示数据(操作指南500)发送到显示部22来显示。
S63：另外，手写输入显示控制部23按照在步骤S60中取得的角度信息，使手写对象、选择对象的矩形区域显示数据(矩形框)(在图19中为手写对象矩形区域显示503)逆时针旋转，通过发送到显示部22来显示。
S64：手写输入显示控制部23为了在从可选候选显示数据的显示经过一定时间后消除，而向候选显示计时器控制部24发送可选候选显示消除计时器开始。候选显示计时器控制部24使该计时器开始。在由于“RecommendMenuOff＝“True””而不显示包含操作指令在内的操作指南500的情况下，不进行可选候选显示消除计时器开始。
在可选候选消除计时器已经开始，用户消除了显示在显示部22中的可选候选显示、或产生了手写对象的变化的情况(即进行了手写对象的笔画的追加、删除、移动、变形、或分割的情况)、或到超时为止没有选择候选的情况下，执行步骤S65～S70。
进而，在候选显示被消除、或产生了手写对象的变化的情况下，执行步骤S65～S67。
S65：手写输入部21向手写输入显示控制部23发送可选候选显示消除或手写对象的变化的产生。
S66：手写输入显示控制部23发送可选候选消除计时器停止。候选显示计时器控制部24使该计时器停止。这是因为在一定时间内有了对手写对象的操作，因此不需要计时。
S67：手写输入显示控制部23将操作指南500的位置信息保存到手写识别控制部26，使得能够在步骤S19的手势手写识别的手势判定中使用。位置坐标例如是左上角、右下角的坐标、或与之同等的坐标。由此，手写识别控制部26能够判定输入角度信息时使用的直线是否在操作指南500内。
S69：手写输入显示控制部23向显示部22发送可选候选显示数据消除，由此消除显示。在“RecommendMenuOff＝“True””的情况下，只消除操作指令、或不需要进行任何消除。
S70：手写输入显示控制部23向显示部22发送手写对象和选择对象的矩形区域显示数据消除，由此消除显示。因此，在选择了操作指令候选以外的条件下消除了操作指令候选的显示的情况下，原样维持手写对象的显示。
S68：另一方面，在可选候选消除计时器已经开始，没有产生可选候选显示消除或手写对象的变化的情况(用户没有进行笔操作的情况)下，候选显示计时器控制部24向手写输入显示控制部23发送超时。
在可选候选显示消除计时器的超时后，手写输入显示控制部23也同样地执行步骤S69和S70。这是因为经过了一定时间，显示部22可以消除可选候选显示数据、手写对象和选择对象的矩形区域显示数据。
在可选候选消除计时器已经开始，用户选择了可选候选的情况下，执行步骤S71～S103。
S71：在可选候选消除计时器已经开始，用户选择了可选候选的情况下，手写输入部21向手写输入显示控制部23发送字符串候选或操作指令的候选选择。
S71-2：手写输入显示控制部23向候选显示计时器控制部24发送可选候选显示消除计时器停止。候选显示计时器控制部24使该计时器停止。
S72：接着，手写输入显示控制部23向手写识别控制部26发送保存数据清除。
S73：手写识别控制部26向字符串变换控制部28发送保存数据清除。
S74：手写识别控制部26向预测变换控制部30发送保存数据清除。
S75：手写识别控制部26向操作指令识别控制部32发送保存数据清除。手写识别控制部26、字符串变换控制部28、预测变换控制部30、以及操作指令识别控制部32对到此为止保存的字符串候选和操作指令的候选相关的数据进行清除。
S76：接着，手写输入显示控制部23通过向显示部22发送可选候选显示数据消除，而消除显示。
S77：手写输入显示控制部23通过向显示部22发送手写对象和选择对象的矩形区域显示数据消除，而消除显示。
S78：手写输入显示控制部23通过向显示部22发送手写对象显示数据消除和在步骤S6中发送的笔坐标补足显示数据消除，而消除显示。这是因为选择了字符串候选或操作指令的候选，因此不需要手写对象等。
S79：手写输入显示控制部23向手写输入保存部25发送手写对象删除。
在选择了字符串候选的情况下，执行步骤S80～S82。
S80：在选择了字符串候选的情况下，手写输入显示控制部23向手写输入保存部25发送字符串对象追加。
S81：进而，手写输入显示控制部23向手写输入保存部25发送字符串对象字体取得。手写输入保存部25根据笔色选择按键定义数据，确定与笔ID控制数据的PenId对应的字符串对象的字体名，另外将手写对象的推定字符字体发送到手写输入显示控制部23。
S82：接着，手写输入显示控制部23使用从手写输入保存部25接收到的已定义字体，向显示部22发送显示到与手写对象相同的位置的字符串对象显示数据，由此进行显示。手写输入显示控制部23根据笔ID控制数据的ColorId，从颜色定义数据中确定线种和粗细，显示按照角度信息旋转了的文本(字符串对象)。因此，显示装置2能够显示从用户的操作位置看以上下方向为顶底(天地)的字符串对象。
在选择了操作指令的候选的情况下，执行步骤S83～S101。在步骤S83～S85中执行用于编辑或修改的对选择对象的操作指令。
S83：在选择了对选择对象的操作指令的候选的情况(存在选择对象的情况)下，手写输入显示控制部23通过向显示部22发送选择对象显示数据消除，而消除显示。这是为了显示部22暂且消除原始的选择对象。
S84：接着，手写输入显示控制部23向手写输入保存部25发送对选择对象的操作指令执行。手写输入保存部25将新的选择对象的显示数据(编辑或修改后的显示数据)发送到手写输入显示控制部23。
S85：接着，手写输入显示控制部23通过将选择对象显示数据发送到显示部22，使得重新显示执行操作指令后的选择对象。
有选择对象，但在步骤S83-2～S84-2中执行“ページ名を追加(追加页名)”的操作指令。
S83-2：在选择了“ページ名を追加(追加页名)”的操作指令的候选的情况(存在选择对象的情况)下，手写输入显示控制部23向手写输入保存部25请求选择对象的取得。手写输入保存部25将选择对象发送到手写输入显示控制部23。
S84-2：手写输入显示控制部23通过页导航数据确认当前正在显示器220中显示的页编号，将选择对象作为页名追加到手写输入保存部25中。
S86：在指定了操作指令定义数据713的“手書きサイン登録する(手写签名注册)”或操作指令定义数据716的“設定変更する(设定变更)”的情况下，手写输入显示控制部23将手写签名注册表格或用户定义数据变更表格追加到手写输入保存部25中。
S87：在选择了“ファイル保存(文件保存)”或“印刷(印刷)”的操作指令的候选的情况下，手写输入显示控制部23向文件收发控制部37发送文件发送请求。
S88：文件收发控制部37向手写输入保存部25发送文件的发送对象的手写输入保存数据的取得请求。
S89：手写输入保存部25通过MIB等判定发送目的地是否是彩色对应装置。手写输入保存部25根据发送目的地是彩色对应装置、黑白对应装置、或黑白增强对应装置的哪个，对文件进行处理。
S90：文件收发控制部37将从手写输入保存部接收到的手写输入数据发送到发送目的地或写入到文件中。
S91：在选择了“ファイル読み込み(文件读入)”的操作指令的候选的情况下，手写输入显示控制部23向文件收发控制部37发送文件一览信息取得请求。
S92：文件收发控制部37从USB存储器、网络存储器、Web服务器等存储介质或外部设备等，接收文件一览信息。
S93：文件收发控制部37将文件一览信息发送到手写输入显示控制部23。
S94：手写输入显示控制部23将文件一览显示数据发送到显示部22。由此，显示部22将文件一览显示到显示器。
S95：如果用户选择文件，手写输入部21接受，则手写输入部21向手写输入显示控制部23发送文件选择。
S96：手写输入显示控制部23向文件收发控制部37发送所选择的文件的文件接收请求。
S97：文件收发控制部37从外部设备取得文件。
S98：文件收发控制部37将文件保存到手写输入保存部25中。
S99：手写输入保存部25对从文件收发控制部37接收到的文件进行分析，将手写输入起因数据变换为手写输入保存数据(可黑白增强/彩色变换数据)。即，判定元数据的有无，在有元数据的情况下，判定是否能够变换为手写输入保存数据(是否有ColorId等)，保存为手写输入保存数据。然后，手写输入保存部25针对手写输入起因数据，读取ColorId，参照颜色定义数据，变换为与ColorId对应的黑白增强显示。手写输入保存部25将手写对象的显示数据发送到手写输入显示控制部23。在不是手写输入起因数据的数据的情况下，手写输入保存部25依照文件形式读取颜色信息、字体、字符大小等，保存为手写输入保存数据。
S100：手写输入显示控制部23使手写输入数据的显示数据显示到显示部22。由此，显示部22根据黑白增强了的手写数据显示手写输入起因数据，使用现有的亮度变换对除此以外的数据进行黑白显示。
此外，在执行了用于登录的操作指令512的情况下，手写输入显示控制部23取得在执行操作指令512时显示装置2接收到的笔ID。手写输入显示控制部23确定具有在步骤S61中取得的SignatureId的用户定义数据，从用户定义数据中取得AccountId。然后，手写输入显示控制部23将AccountId与笔ID对应地注册到笔ID控制数据。由此，成为笔2500与用户关联的形式，显示装置2能够使用用户定义数据进行处理。
在用户登录后进行手写、或进行文件读入的情况下，手写输入显示控制部23从笔ID控制数据中取得与在执行操作指令时显示装置2接收到的笔ID对应的AccountId。手写输入显示控制部23通过该AccountId确定用户定义数据，将颜色定义数据等设定为操作指令的％～％并执行。
S101：除此以外，在选择了输入输出系统的操作指令的情况下，手写输入显示控制部23执行与用户选择的操作指令对应的操作指令定义数据的操作指令字符串(Command)。
S102：在用户手动地输入了角度信息的情况下，手写输入显示控制部23将接受的角度信息与按下旋转操作按键511时从笔2500接收到的笔ID对应地保存到笔ID控制数据保存部36中。
S103：为了下一个手写对象，手写输入显示控制部23向手写输入保存部25发送手写对象开始。手写输入保存部25确保手写对象区域。此后，重复进行步骤S2～S103的处理。
<操作菜单的显示>
以下，说明在时序图中没有说明完全的处理的详细内容。
首先，图40是表示显示装置2显示操作菜单301、302的步骤的流程图的一个例子。
用户例如将显示装置2的电源操作为接通，由此显示装置2开始启动(S201)。显示装置2读出存储在SSD204中的OS(操作系统)并执行，OS读出存储在SSD204中的显示装置2的程序并执行。
显示部22显示具有与显示位置对应的数据处理有关的信息的操作菜单301、302。首先，显示部22显示下侧的用户的操作菜单301(S202)。显示部22既可以先显示操作菜单302，也可以同时显示。显示部22读出操作按键定义数据2401～2424，取得图标文件。显示部22根据Position，确定位置。显示部22根据Angle确定旋转位置。显示部22使各按键2101～2115、2201、2202、2203、2205、2301、2302、2304、2305的图标显示到显示器220。下侧的用户的Angle是0度，因此不旋转地显示按键2101～2115、2201、2202、2203、2205、2301、2302、2304、2305的图标。此外，到读入文件为止不显示文件名2206，当前页2203为“1/1”。
接着，显示部22显示上侧的用户的操作菜单302(S203)。显示部22读出操作按键定义数据2425～2448，取得图标文件。显示部22根据Position，确定位置。显示部22根据Angle确定旋转角度。显示部22将按键2101～2115、2201、2202、2203、2205、2301、2302、2304、2305的图标显示到显示器220。上侧的用户的Angle是180度，因此旋转180度地显示按键2101～2115、2201、2202、2203、2205、2301、2302、2304、2305的图标。由此，能够显示各用户容易观察的按键。
<操作按键定义数据的指令的执行>
使用图41说明选择了笔操作面板2001、2008的按键2101～2115的情况。图41是说明按下了笔操作面板的按键2101～2115的情况下的处理的流程图的一个例子。
首先，手写输入部21接受按键2101～2115的任意一个的选择(S301)。在此，假设按下了按键2101。手写输入部21检测笔2500触摸了的坐标，在操作按键定义数据2401～2415中注册有按键2101～2115，因此确定按下的按键2101。
接着，手写输入显示控制部23执行与按下的按键2101对应的操作按键定义数据2401的“ChangePen ThinBlack”，因此手写输入显示控制部23将用户正在使用的笔2500的PenId和ColorId＝“ThinBlack”设定到笔ID控制数据中(S302)。
另外，手写输入显示控制部23将与按下的按键2101对应的操作按键定义数据2401的“Angle”设定到笔ID控制数据中(S303)。
在笔ID控制数据中设定了笔的颜色，因此在显示部22将手写对象和字符串对象显示到显示器220的情况下，可以按照在颜色定义数据中定义的线种进行显示。另外，在笔ID控制数据中设定了角度(Angle)，因此可以在使手写数据旋转后进行字符识别。
此外，在图41中，以笔操作面板2001、2008的按键为例进行了说明，但即使按下页操作面板2002、2009、页导航操作面板2003、2010、以及页导航2004、2011的任意一个，也能够将PenId、Angle设定到笔ID控制数据中。
<操作指令“ページ名に設定(设定为页名)”的执行>
图42是说明用户执行了操作指令“ページ名に設定(设定为页名)”的情况下的处理的流程图的一个例子。
首先，用户用跨线、框线选择已经显示在显示器220中的确定对象(手写识别后的文本数据)。由此，显示部22显示“ページ名に設定(设定为页名)”这样的操作指令。如果用户按下该操作指令，则手写输入部21接受操作指令的选择(S401)。已知操作指南500的坐标，因此根据笔2500的笔尖接触的坐标，确定所选择的操作指令。
手写输入显示控制部23取得所选择的Name＝“ページ名に設定(设定为页名)”这样的操作指令的操作指令定义数据，执行Command＝SetPageName(S402)。
手写输入显示控制部23将用跨线或框线指定的选择对象设定为显示器220正在显示的页(在页导航数据中CurrentPage＝True的页)的PageName(S403)。由此，用户能够通过选择确定对象这样的简单的操作，对页赋予页名。
此外，到用户赋予页名为止，在用户开始向页进行手写的定时，将缺省值(例如第○页、白纸页等)设定为该页的页名。
<页导航的显示>
图43是说明页导航的显示方法的流程图的一个例子。
显示部22判断是否将页导航窗口按键(按键2115)操作为打开(S501)。在页导航窗口按键的操作按键定义数据2439中设定了坐标，因此能够根据笔2500触摸了的坐标判断按下。
在输入了打开页导航窗口按键的操作的情况下，显示部22打开页导航窗口区域2005、2012(S502)。页导航窗口区域关闭到页导航窗口区域打开为止(没有页导航窗口区域)，因此显示部22在横向上缩小显示器220的整体，空出显示器220的右手侧。此外，打开的是对用户操作的页导航窗口区域2005或2012的一方或双方进行打开。
页导航窗口区域的数量最大与操作菜单的数量相同。操作菜单的数量可以是操作按键定义数据所包含的“Angle”的种类的数量。或者，可以直接将操作菜单的数量作为数值设定到显示装置2。也将页导航窗口区域2012显示到按照“Angle”旋转后的位置。因此，用户的例如右手侧成为页导航窗口区域。
接着，显示部22取得页导航数据2501～2511(S503)。显示部22逐行地处理页导航数据2501～2511。
首先，显示部22确定文件名(S504)。针对是否是文件名，显示部22判断是否是“Page＝0”并且“Level＝0”。文件名始终被显示，因此显示部22显示FileName(S505)。
接着，显示部22判断关注的文件的“Tree”是否是“Open”(S506)。在没有“Tree”的设定的情况下，可以判断为否。
在文件的“Tree”为Open的情况下，页导航显示文件内的页名，因此显示部22显示等级小一级的下方的全部页名(S507)。
接着，显示部22判断对显示了页名的页是否有Tree设定(S508)。
针对有Tree设定的页，显示部22显示等级小一级的下方的全部页名(S509)。对全部嵌套页进行该处理。
接着，显示部22判断一个文件的处理是否结束了(S510)。
在一个文件的处理没有结束的情况下，处理返回到步骤S508，显示部22重复进行处理。
在一个文件的处理结束了的情况下，显示部22判断是否对全部的页导航数据进行了处理(S511)，在处理没有结束的情况下，返回到步骤S504，处理下一个文件。
在输入了关闭页导航窗口按键的操作的情况下(S512的是)，显示部22关闭页导航窗口区域(S513)。显示部22消除页导航窗口区域，在横向上放大显示器220的整体，在显示器220的整体中显示手写数据等。
通过这样显示页导航，容易看到通过现有的缩略图无法看到的字符等，用户容易判断打开哪个页比较好。另外，页导航窗口区域能够开闭，因此显示器220能够被更广泛地使用。用户只要选择页导航的文件名或页名，就能够将页显示到显示器220中。
<笔支架的配置例>
接着，使用图44说明容纳笔2500的笔支架。图44是说明笔支架的配置例的图。在图44中，表示将显示装置2平放设置(水平面向上地配置)在桌子上的情况下的笔支架的配置例。此外，在显示器220中，显示出与图30同样的手写数据等。
显示装置2具备下侧的用户用的笔支架2603、2604。笔支架2603是配置例1，笔支架2604是配置例2。即，具有任意一方的笔支架即可，但也可以是双方的笔支架。另外，显示装置2具备上侧的用户用的笔支架2612、2613。笔支架2612是配置例1，笔支架2613是配置例2。
各笔支架2603、2612能够从操作菜单被沿着显示的显示器220的边缘取出笔，各笔支架2604、2613与该边缘平行地容纳笔2500。
配置例1和配置例2都位于从下侧的用户或上侧的用户容易使用的位置，并且位于与下侧的用户或上侧的用户的操作菜单接近的位置。因此，用户无意识地使用操作菜单301、302自动地将与显示位置对应的数据处理有关的信息(旋转角度)设定到笔ID控制数据中的可能性高。
如果一次将与显示位置对应的数据处理有关的信息(角度)设定到笔ID控制数据中，则在下次的启动后也有效。在用户从笔支架取出笔2500，而不使用操作菜单301、302开始手写的情况下，在笔ID控制数据中已经设定了与显示位置对应的数据处理有关的信息。用户能够如刚好是下侧的用户或上侧的用户的专用笔那样使用笔2500。
<操作菜单的配置确定>
操作菜单的配置既可以预先通过操作按键定义数据定义，也可以能够由管理者等设定。
图45是用于管理者确定操作菜单的配置的配置确定画面的一个例子。管理者通过规定的操作将配置确定画面显示到显示装置2。在配置确定画面中，显示缺省或当前的设定的操作菜单。在图45中，从最初显示出下侧的用户用的操作菜单(笔操作面板2001、笔操作面板2002、以及页导航操作面板2003)。管理者用笔2500等输入复制它们的操作，并使其移动到任意的地方。在图45中，将笔操作面板2008、2015配置为左和上的用户用。也能够同样地配置笔操作面板2002和笔导航操作面板2003。
如果管理者结束配置，则显示装置2根据管理者设定的操作菜单的配置，制作操作按键定义数据。由此，在下次的启动时，按照管理者设定的配置显示操作菜单。
<主要效果>
如以上说明的那样，本实施方式的显示装置2显示具有与显示位置对应的数据处理有关的信息的操作菜单，因此能够进行与操作了操作菜单的用户的操作位置对应的数据处理。另外，显示页导航，因此用户能够掌握在各页中包含怎样的内容。另外，通过选择显示在页导航中的页名，用户能够容易地切换显示在显示器220中的页。
[实施例2]
在实施例1中，说明为显示装置2具备大型的触摸屏，但显示装置并不限于具备触摸屏。在本实施例中，说明投影仪型的显示装置。
<<显示装置的其他结构例1>>
图46是表示显示装置的其他结构例的图。在图46中，在通常的白板413的上边设置有投影仪411。该投影仪411相当于显示装置。通常的白板413是指不是与触摸屏一体的平板显示器，而是用户用标记笔直接手写的白板。此外，白板也可以是黑板，只要是刚好投影影像的面积的平面即可。
投影仪411具有超短焦点的光学系统，能够从10厘米左右向白板413投影失真少的影像。该影像既可以从通过无线或有线连接的PC400-1发送，也可以由投影仪411存储。
用户使用专用的电子笔2700向白板413进行手写。如果用户为了手写而将电子笔2700按压在白板413上，则开关成为接通，例如在前端部具备发光的发光部。光的波长为近红外、红外，因此用户的眼睛看不到。投影仪411具备照相机，拍摄发光部并分析图像，确定电子笔2700的方向。另外，电子笔2700在发光同时发出声波，投影仪411根据声波的到达时间计算距离。投影仪411能够根据方向和距离确定电子笔2700的位置。将笔画描绘(投影)到电子笔2700的位置。
投影仪411投影菜单430，因此如果用户用电子笔2700按下按键，则投影仪411根据电子笔2700的位置和开关的接通信号，确定被按下的按键。例如，如果按下保存按键431，则通过投影仪411保存用户手写的笔画(坐标的集合)。投影仪411将手写信息保存到预先确定的服务器412或USB存储器2600等中。按页保存手写信息。不保存图像数据而直接保存坐标，因此用户能够进行再编辑。但是，在本实施方式中，通过手写调用操作指令，因此也可以不显示菜单430。
<<显示装置的其他结构例2>>
图47是显示装置2的其他结构例的图。在图47的例子中，显示装置2具备终端装置600、图像投影装置700A、以及笔动作检测装置810。
终端装置600通过有线与图像投影装置700A和笔动作检测装置810连接。图像投影装置700A将通过终端装置600输入的图像数据投影到屏幕800上。
笔动作检测装置810与电子笔820进行通信，检测屏幕800近旁的电子笔820的动作。具体地说，电子笔820在屏幕800上，检测表示电子笔820所示的点的坐标信息，发送到终端装置600。
终端装置600根据从笔动作检测装置810接收到的坐标信息，生成通过电子笔820输入的笔画图像的图像数据，通过图像投影装置700A将笔画图像描绘到屏幕800。
另外，终端装置600生成表示对图像投影装置700A所投影的背景图像和通过电子笔820输入的笔画图像进行合成所得的重叠图像的重叠图像数据。
<<显示装置的其他结构例3>>
图48是显示装置的结构例的图。在图48的例子中，显示装置2具备终端装置600、显示器800A、笔动作检测装置810。
笔动作检测装置810配置在显示器800A的近旁，在显示器800A上检测表示电子笔820A所示的点的坐标信息，发送到终端装置600。此外，在图48的例子中，也可以通过终端装置600经由USB连接器对电子笔820A充电。
终端装置600根据从笔动作检测装置810接收到的坐标信息，生成通过电子笔820输入的笔画图像的图像数据，显示到显示器800A。
<<显示装置的其他结构例4>>
图49是表示显示装置的结构例的图。在图49的例子中，显示装置2具备终端装置600、图像投影装置700A。
终端装置600与电子笔820B进行无线通信(蓝牙(注册商标))，接收在屏幕800上电子笔820B所示的点的坐标信息。然后，终端装置600根据接收到的坐标信息，生成通过电子笔820B输入的笔画图像的图像数据，将笔画图像投影到图像投影装置700A。
另外，终端装置600生成表示对图像投影装置700A所投影的背景图像和通过电子笔820输入的笔画图像进行合成所得的重叠图像的重叠图像数据。
如以上那样，能够在各种系统结构中适用上述各实施方式。
<其他适用例>
以上，使用实施例说明了用于实施本发明的最优形式，但本发明完全不限于这样的实施例，在不脱离本发明的主要内容的范围内，能够施加各种变形和置换。
例如，只要是具备触摸屏的信息处理装置，就能够适合地适用本实施方式的显示方法。另外，将具有与显示装置同样的功能的装置也称为电子黑板、电子白板、电子信息板、交互板等。作为安装了触摸屏的信息处理装置，例如也可以是PJ(投影仪：Projector)、数字标牌等输出装置、HUD(头戴显示器：Head Up Display)装置、工业机械、摄像装置、收音装置、医疗设备、网络家电、笔记本PC(Personal Computer)、便携电话、智能手机、平板终端、游戏机、PDA(个人数字助理)、数字照相机、可穿戴PC或桌面PC等。
另外，在本实施方式中，也可以由服务器进行显示装置2进行的处理的一部分。例如，显示装置将笔画信息发送到服务器，从服务器取得显示到操作指南500中的信息并显示。
另外，在本实施方式中，显示装置2通过用触摸屏检测笔尖的坐标的方法检测笔的坐标，但也可以通过超声波检测笔尖的坐标。另外，笔在发光的同时发出超声波，显示装置2根据超声波的到达时间计算距离。显示装置2能够根据方向和距离确定笔的位置。投影仪将笔的轨迹作为笔画而描绘(投影)。
另外，在本实施方式中，在有选择对象的情况下，显示编辑系统、修改系统、以及“追加为页名”的操作指令的候选，在没有选择对象的情况下，显示输入输出系统的操作指令的候选。但是，显示装置2也可以同时显示编辑系统、修改系统、以及“追加为页名”的操作指令的候选、输入输出系统的操作指令的候选。
另外，显示装置2也可以不具有用户的手写签名数据。也可以保存在云上、公司内的信息处理装置中。
另外，为了容易理解显示装置2的处理，与主要功能对应地对图6A和图6B等的结构例进行了分割。本申请发明并不受处理单位的分割的方式、名称限制。也能够与处理内容对应地将显示装置2的处理分割为更多的处理单位。另外，也能够分割成一个处理单位包含更多的处理。
另外，能够通过一个或多个处理电路实现上述说明的实施方式的各功能。在此，本说明书中的“处理电路”包含如通过电子电路实现的处理器那样通过软件执行各功能的被编程了的处理器、设计成执行上述说明的各功能的ASIC(应用专用集成电路)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、现有的电路模块等设备。
另外，在本实施方式中，即使作为比较的对象示例了阈值，阈值也不限于示例的值。因此，在本实施方式中，关于全部的阈值，不满阈值和阈值以下这样的记载具有同等的含义，超过阈值和阈值以上这样的记载具有同等的含义。例如，将阈值设为11的情况下的不满阈值这样的记载具有与阈值是10的情况下的阈值以下同等的含义。另外，将阈值设为10的情况下的超过阈值这样的记载具有与阈值是11的情况下的阈值以上同等的含义。
鉴于以上教导，能够进行许多另外的修改和变形。因此，应该理解，在所附专利权利要求的范围内，本专利说明书的发明可以以不同于本说明书具体描述的方式来实施。如计算机技术领域的技术人员能够理解的那样，可以使用根据本说明书的教导而编程的现有的通用数字计算机来方便地实施本发明。对于软件技术领域的技术人员显而易见的是，基于本公开的教导，本领域技术人员可以容易地准备适当的软件编码。如本领域技术人员容易理解的那样，本发明还可以通过准备专用集成电路或通过互连常规的组成电路的适当网络来实施。
所说明的实施方式的各功能能够被一个或多个处理电路实现。处理电路包括编程的处理器。处理电路也包括专用集成电路(ASIC)以及为执行所列举的功能而配置的常规的电路构成单元等装置。处理电路作为微处理器的至少一部分而实现。处理电路也可以使用一个或多个电路、一个或多个微处理器、微控制器、专用集成电路、专用硬件、数字信号处理器、微机、中央处理单元、现场可编程门阵列、可编程逻辑器件、状态机、超级计算机实现。计算机或他们的任意组合。此外，处理电路可以包含在一个或多个处理电路内执行的一个或多个软件模块。处理电路还可以包括构成为存储使处理电路实现功能的命令以及/或代码的存储器。在通过软件具体实现的情况下，各模块能够表示包括用于实现所指定的逻辑論理功能的程序指令的模块、段(segment)或代码的一部分。程序指令可以机器语言来实现，包括以编程语言书写的包含人能够读的源代码、或者包含能够由计算机系统或其他系统的处理器等适当的执行系统识别的数值指令。机器代码可以从源代码转换。在通过硬件具体实现的情况下，各模块可以表示用于实现所指定的逻辑功能的电路或相互连接诶的电路的数量。
本申请要求2019年11月20日申请的日本在先申请第2019-209914号、以及2020年11月19日申请的日本在先申请第2020-192210号的优先权。通过参考而组入本申请。
Claims (19)
1.一种显示装置，其显示与对手写数据进行的数据处理关联的操作菜单，该显示装置的特征在于，
上述操作菜单具有与对应于操作菜单的显示位置的上述数据处理相关的信息。
2.根据权利要求1所述的显示装置，其特征在于，
显示多个相同的上述操作菜单，即使是相同的上述操作菜单，上述操作菜单也具有与对应于上述操作菜单的显示位置的上述数据处理有关的信息。
3.根据权利要求1或2所述的显示装置，其特征在于，
与上述数据处理有关的信息是使上述手写数据旋转的旋转角度。
4.根据权利要求3所述的显示装置，其特征在于，
该显示装置具备：显示部，其使用上述旋转角度，使上述操作菜单旋转并显示。
5.根据权利要求1～4的任意一项所述的显示装置，其特征在于，
从用于输入手写数据的笔接收该笔的识别信息，
在按下了上述操作菜单的情况下，对应地存储上述笔的识别信息和与上述数据处理有关的信息，
根据与对应于上述笔的识别信息的上述数据处理有关的信息，处理通过上述笔手写的手写数据并显示。
6.根据权利要求5所述的显示装置，其特征在于，
与上述数据处理有关的信息是使上述手写数据旋转的旋转角度，
按照上述旋转角度对识别上述手写数据所得的字符串进行旋转并显示。
7.根据权利要求1～6的任意一项所述的显示装置，其特征在于，
沿着上述显示装置的边缘配置上述操作菜单，具备能够从上述操作菜单被沿着显示的上述边缘取出笔的笔支架、或与上述边缘平行地容纳上述笔的笔支架。
8.根据权利要求1～7的任意一项所述的显示装置，其特征在于，
在取得一个以上的文件的情况下，显示上述文件的文件名、上述文件具有的各页的页名。
9.根据权利要求8所述的显示装置，其特征在于，
在接受了上述页名的选择的情况下，使用对上述文件的每个页记录了上述页名的信息，显示所选择的页。
10.根据权利要求8或9所述的显示装置，其特征在于，
将识别上述手写数据而所得的字符串作为显示出上述字符串的页的页名进行显示。
11.根据权利要求8或9所述的显示装置，其特征在于，
在接受了识别上述手写数据所得的字符串的选择的情况下，作为所显示的页的页名而显示上述字符串。
12.根据权利要求8～11的任意一项所述的显示装置，其特征在于，
按照与上述操作菜单相同的数量显示上述文件名和上述页名。
13.根据权利要求8～12的任意一项所述的显示装置，其特征在于，
与上述数据处理有关的信息是使上述手写数据旋转的旋转角度，
使用上述旋转角度使上述文件名和上述页名旋转并显示。
14.根据权利要求13所述的显示装置，其特征在于，
从用于输入手写数据的笔接收该笔的识别信息，
在按下了上述文件名或上述页名的情况下，对应地存储上述笔的识别信息和与上述数据处理有关的信息，
按照上述旋转角度对识别上述手写数据所得的字符串进行旋转并显示。
15.根据权利要求1～14的任意一项所述的显示装置，其特征在于，
显示用于接受是否显示识别上述手写数据而得的字符串的候选的设定的按键。
16.根据权利要求15所述的显示装置，其特征在于，
在接受了上述按键的按下的情况下，即使输入上述手写数据，也不显示识别上述手写数据所得的字符串的候选，而显示使显示装置执行的操作指令的候选。
17.根据权利要求1～16的任意一项所述的显示装置，其特征在于，
显示接受上述操作菜单的配置的配置确定画面。
18.一种显示方法，其显示与对手写数据进行的数据处理关联的操作菜单，该显示方法的特征在于，
显示具有与对应于操作菜单的显示位置的上述数据处理相关的信息的上述操作菜单。
19.一种具有程序的计算机可读存储介质，其特征在于，
该程序使显示与对手写数据进行的数据处理关联的操作菜单的显示装置显示具有与对应于操作菜单的显示位置的上述数据处理相关的信息的上述操作菜单。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019209914 | 2019-11-20 | ||
| JP2019-209914 | 2019-11-20 | ||
| JP2020192210A JP2021082292A (ja) | 2019-11-20 | 2020-11-19 | 表示装置、表示方法、プログラム |
| JP2020-192210 | 2020-11-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112825022A true CN112825022A (zh) | 2021-05-21 |
| CN112825022B CN112825022B (zh) | 2024-05-14 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113961136A (zh) * | 2021-10-10 | 2022-01-21 | 深圳市瀚天鑫科技有限公司 | 全域触控板手写切换方法、系统、终端以及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5389745A (en) * | 1991-09-11 | 1995-02-14 | Kabushiki Kaisha Toshiba | Handwriting input apparatus for inputting handwritten data from unspecified direction |
| US20030233237A1 (en) * | 2002-06-17 | 2003-12-18 | Microsoft Corporation | Integration of speech and stylus input to provide an efficient natural input experience |
| CN1489724A (zh) * | 2001-01-31 | 2004-04-14 | 显示和操作装置,特别是触摸屏 | |
| US20050251755A1 (en) * | 2004-05-06 | 2005-11-10 | Pixar | Toolbar slot method and apparatus |
| CN104238932A (zh) * | 2013-06-11 | 2014-12-24 | 株式会社东芝 | 显示控制装置和显示控制方法 |
| JP2015230497A (ja) * | 2014-06-03 | 2015-12-21 | シャープ株式会社 | 入力表示装置 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5389745A (en) * | 1991-09-11 | 1995-02-14 | Kabushiki Kaisha Toshiba | Handwriting input apparatus for inputting handwritten data from unspecified direction |
| CN1489724A (zh) * | 2001-01-31 | 2004-04-14 | 显示和操作装置,特别是触摸屏 | |
| US20030233237A1 (en) * | 2002-06-17 | 2003-12-18 | Microsoft Corporation | Integration of speech and stylus input to provide an efficient natural input experience |
| US20050251755A1 (en) * | 2004-05-06 | 2005-11-10 | Pixar | Toolbar slot method and apparatus |
| CN104238932A (zh) * | 2013-06-11 | 2014-12-24 | 株式会社东芝 | 显示控制装置和显示控制方法 |
| JP2015230497A (ja) * | 2014-06-03 | 2015-12-21 | シャープ株式会社 | 入力表示装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113961136A (zh) * | 2021-10-10 | 2022-01-21 | 深圳市瀚天鑫科技有限公司 | 全域触控板手写切换方法、系统、终端以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210149531A1 (en) | 2021-05-20 |
| US11733830B2 (en) | 2023-08-22 |
| US20240004520A1 (en) | 2024-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021070972A1 (en) | Display apparatus, color supporting apparatus, display method, and program | |
| US20240004520A1 (en) | Display apparatus, display method, and medium | |
| JP2023175845A (ja) | 手書き入力装置、手書き入力方法、プログラム、入力システム | |
| US11132122B2 (en) | Handwriting input apparatus, handwriting input method, and non-transitory recording medium | |
| CN112805664A (zh) | 输入装置、输入方法、程序和输入系统 | |
| JP7452155B2 (ja) | 手書き入力装置、手書き入力方法、プログラム | |
| JP7456287B2 (ja) | 表示装置、プログラム、表示方法 | |
| JP2023184557A (ja) | 表示装置、表示方法、プログラム | |
| JP7259828B2 (ja) | 表示装置、表示方法、プログラム | |
| JP7354878B2 (ja) | 手書き入力装置、手書き入力方法、プログラム、入力システム | |
| CN112825022B (zh) | 显示装置、显示方法、介质 | |
| EP3825868A1 (en) | Display apparatus, display method, and program | |
| EP3825831A1 (en) | Display apparatus, display method, and program | |
| WO2022045177A1 (en) | Display apparatus, input method, and program | |
| JP2021064366A (ja) | 表示装置、カラー対応装置、表示方法、プログラム | |
| JP2021096844A (ja) | 表示装置、表示方法、プログラム | |
| US11853636B2 (en) | Display apparatus, display method, medium, and display system | |
| JP2023137822A (ja) | 表示装置、清書方法、プログラム、情報共有システム | |
| JP2020190892A (ja) | 表示装置、プログラム、表示方法 | |
| JP2021152884A (ja) | 表示装置、表示方法、プログラム、情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |