CN112825135A - 显示装置、显示方法及介质 - Google Patents

显示装置、显示方法及介质 Download PDF

Info

Publication number
CN112825135A
CN112825135A CN202011296724.7A CN202011296724A CN112825135A CN 112825135 A CN112825135 A CN 112825135A CN 202011296724 A CN202011296724 A CN 202011296724A CN 112825135 A CN112825135 A CN 112825135A
Authority
CN
China
Prior art keywords
data
font
pen
display
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011296724.7A
Other languages
English (en)
Inventor
中野知佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020188229A external-priority patent/JP7259828B2/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN112825135A publication Critical patent/CN112825135A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/3332Query translation
    • G06F16/3334Selection or weighting of terms from queries, including natural language queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents
    • G06F40/109Font handling; Temporal or kinetic typography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • G06V30/373Matching; Classification using a special pattern or subpattern alphabet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了显示装置、显示方法及介质。该显示装置包括:接收单元(21),用于接收手写数据的输入;转换单元(26),用于将接收单元接收到的手写数据转换为一个或多个字符串;和显示单元(22),用于在转换单元所转换的字符串包括特定字符串的情况下显示与该特定字符串对应的一个或多个字体集。一个所述字体集包括多个字体样式,并且该显示装置还包括显示控制单元(23),所述显示控制单元用于采用显示单元所显示的多个字体集中的一个字体集所包括的字体样式来显示字符,所述一个字体集是根据经由接收单元的用户操作而被选择的。

Description

显示装置、显示方法及介质
技术领域
本发明涉及显示装置、显示方法及介质。
背景技术
在一些情况下,在诸如文字处理器的能够输入字符的显示装置中,用户可以选择字体。字体是一套具有统一的设计的字符。
此外,有些显示装置显示用笔或手指手写在触控板上的数据。具有较大触控面板的显示装置配置于会议室,并被多个用户用作电子黑板(例如,参见专利文献1)。专利文献1中公开了一种用于提高通过手写笔画检索图标的精度的技术。
引用列表
专利文献
专利文献1日本未审查专利申请公开第2010-134876号
发明内容
技术问题
然而,以往的显示装置存在着无法根据用户手写的手写数据的特定字符来变更字体的问题。例如,当基于手写数据来选择字符串的字体名称时,用户必须有一个是何种字体的形象,因此,若用户没有那样的形象,则难以选择期望的字体。
鉴于上述问题,本发明的目的在于,提供一种易于根据手写数据的特定字符来选择字符字体的显示装置。
技术方案
鉴于上述问题,本发明提供一种显示装置,该显示装置包括:接收单元,其用于接收手写数据的输入;转换单元,其用于将接收单元接收到的手写数据转换为一个或多个字符串;和显示单元,其用于在转换单元所转换的一个或多个字符串包括特定字符串的情况下显示与该特定字符串对应的一个或多个字体集。一个字体集包括多个字体样式,并且该显示装置还包括显示控制单元,该显示控制单元用于使用显示单元所显示的多个字体集中的一个字体集所包括的字体样式来显示字符,上述一个字体集是根据用户经由接收单元的操作而被选择的。
发明的效果
本发明提供一种易于根据手写数据的特定字符来选择字符字体的显示装置。
附图说明
图1是说明显示装置切换字体的操作或处理的图。
图2是示出以根据工作(作业)设置的字体集输入字符的手写招牌(显示装置)的一例的图。
图3是示出笔的立体图的一例的图。
图4是示出显示装置的整体配置图的图。
图5是示出显示装置的硬件结构的一例的图。
图6A是说明显示装置和笔的功能的图。
图6B是说明显示装置和笔的功能的图。
图7A是示出已定义控制数据的一例的图。
图7B是示出每个使用场景的已定义控制数据的一例的图。
图7C是示出每个使用场景的已定义控制数据的一例的图。
图8是示出手写识别词典单元的词典数据的一例的图。
图9是示出字符串转换词典单元的词典数据的一例的图。
图10是示出预测转换词典单元的词典数据的一例的图。
图11A是示出操作命令定义数据的一例的图。
图11B是示出系统定义数据的一例的图。
图12是示出显示单元中显示的文件列表显示数据的一例的图。
图13是示出当有手写对象选择的选择对象时的操作命令定义数据的一例的图。
图14是示出操作命令定义单元保持的用户定义数据的一例的图。
图15是示出手写签名数据存储单元保持的手写签名数据的一例的图。
图16是示出存储于手写输入存储单元的手写输入存储数据的一例的图。
图17A是说明存储于笔ID控制数据存储单元的笔ID控制数据的图。
图17B是说明用户的位置的图。
图18是示出颜色定义数据的一例的图。
图19A是使用图18中的颜色定义数据示出显示黑白强调的数据和用彩色显示方法显示的数据的示例的图。
图19B是使用图18中的颜色定义数据示出显示黑白强调的数据和用彩色显示方法显示的数据的一例的图。
图20是笔颜色选择按钮定义数据的一例。
图21A是示出显示于显示器的笔颜色选择按钮的一例的图。
图21B是示出显示于显示器的笔颜色选择按钮的一例的图。
图22是示出工作特定字体选择按钮定义数据的一例的图。
图23A是示出显示于显示器的工作特定字体选择按钮定义数据的一例的图。
图23B是示出显示于显示器的工作特定字体选择按钮定义数据的一例的图。
图23C是示出显示于显示器的工作特定字体选择按钮定义数据的一例的图。
图23D是示出显示于显示器的工作特定字体选择按钮定义数据的一例的图。
图24是示出操作指南和由操作指南显示的可选候选的一例的图。
图25A是说明选择对象的指定例的图的一例。
图25B是说明选择对象的指定例的图的一例。
图25C是说明选择对象的指定例的图的一例。
图25D是说明选择对象的指定例的图的一例。
图26A是示出基于有手写对象时的操作命令定义数据的操作命令候选的显示例的图。
图26B是示出基于有手写对象时的操作命令定义数据的操作命令候选的显示例的图。
图27A是示出基于有手写对象时的操作命令定义数据的操作命令候选的显示例的图。
图27B是示出基于有手写对象时的操作命令定义数据的操作命令候选的显示例的图。
图28A是说明角度信息的输入方法的图的一例。
图28B是说明角度信息的输入方法的图的一例。
图28C是说明角度信息的输入方法的图的一例。
图29A是说明手写签名数据的注册方法的图。
图29B是说明手写签名数据的注册方法的图。
图29C是说明手写签名数据的注册方法的图。
图30是示出当用户用日语手写由用户注册的手写签名数据“铃木”时显示的操作指南的一例的图。
图31A是说明用户定义数据的变更方法的图。
图31B是说明用户定义数据的变更方法的图。
图32是显示装置显示字符串候选和操作命令候选的处理的一例(之一)。
图33是显示装置显示字符串候选和操作命令候选的处理的一例(之二)。
图34是显示装置显示字符串候选和操作命令候选的处理的一例(之三)。
图35是显示装置显示字符串候选和操作命令候选的处理的一例(之四)。
图36是显示装置显示字符串候选和操作命令候选的处理的一例(之五)。
图37是显示装置显示字符串候选和操作命令候选的处理的一例(之六)。
图38是显示装置显示字符串候选和操作命令候选的处理的一例(之七)。
图39是显示装置显示字符串候选和操作命令候选的处理的一例(之八)。
图40是示出当用户用日语“片假名”字符手写“食物”时显示的操作指南的一例的图。
图41是示出基于操作命令的执行的笔ID控制数据的存储步骤的流程图的一例。
图42是笔ID控制数据的转移图的一例。
图43是示出当在笔ID控制数据中设置字体集“食物菜单(FoodMenu)”的状态下进行手写输入时的操作指南的一例的图。
图44是示出手写输入显示控制单元显示字符串对象的步骤的流程图的一例。
图45是示出当用日语手写“建筑”时显示的操作指南的一例的图。
图46是示出基于操作命令的执行的笔ID控制数据的存储步骤的流程图的一例。
图47是笔ID控制数据的转移图的一例。
图48是示出当在笔ID控制数据中设置字体集“Construction1”的状态下进行手写输入时的操作指南的一例的图。
图49是示出手写输入显示控制单元显示字符串对象的步骤的流程图的一例。
图50A是示出利用业务特定字体集的字符串对象的显示例的图。
图50B是示出利用业务特定字体集的字符串对象的显示例的图。
图51是示出通过按下工作特定字体集选择按钮来存储笔ID控制数据的步骤的流程图的一例。
图52是示出根据日语的手写对象“字体”显示字体列表作为操作命令的操作指南的一例的图。
图53A是示出根据日语的手写对象“Meilio”或“明朝”显示字体列表作为操作命令的操作指南的一例的图。
图53B是示出根据日语的手写对象“Meilio”或“明朝”显示字体列表作为操作命令的操作指南的一例的图。
图54A是示出根据日语的手写对象“咖啡馆”显示字体列表作为操作命令的操作指南的一例的图。
图54B是示出根据日语的手写对象“咖啡馆”显示字体列表作为操作命令的操作指南的一例的图。
图55是示出根据日语的手写对象“标题”显示字体列表作为操作命令的操作指南的一例的图。
图56是示出根据日语的手写对象“可爱”显示字体列表作为操作命令的操作指南的一例的图。
图57A是示出根据日语的手写对象“突出显示(强调)”显示字体列表作为操作命令的操作指南的一例的图。
图57B是示出根据日语的手写对象“突出显示(强调)”显示字体列表作为操作命令的操作指南的一例的图。
图58是示出根据手写对象“咖啡馆(cafe)”显示字体列表作为操作命令的操作指南的一例的图。
图59是示出根据日语的手写对象“字体”显示字体列表作为操作命令的操作指南的一例的图。
图60是说明在英文转换的情况下显示装置切换字体的操作或处理的图。
图61是示出在英文转换的情况下在根据工作设置的字体集中输入字符的手写招牌(显示装置)的一例的图。
图62是示出在英文转换中已定义控制数据的一例的图。
图63是示出英语转换中的每个使用场景的已定义控制数据的一例的图。
图64是示出在英文转换中每个使用场景的已定义控制数据的一例的图。
图65是示出在英文转换中手写识别词典单元的词典数据的一例的图。
图66是示出在英文转换中字符串转换词典单元的词典数据的一例的图。
图67是示出在英文转换中预测转换词典单元词典数据的一例的图。
图68A是示出在英语转换的情况下没有选择对象时的操作命令定义数据的一例的图。
图68B是示出在英文转换中系统定义数据的一例的图。
图69A是示出在英语转换的情况下使用图18中的颜色定义数据示出显示黑白强调的数据和用彩色显示方法显示的数据的图。
图69B是示出在英语转换的情况下使用图18中的颜色定义数据示出显示黑白强调的数据和用彩色显示方法显示的数据的图。
图70是英文转换的笔颜色选择按钮定义数据的一例。
图71A是示出在英文转换中显示于显示器的笔颜色选择按钮的一例的图。
图71B是示出在英文转换中显示于显示器的笔颜色选择按钮的一例的图。
图72是示出在英语转换的情况下由操作指南显示的可选候选和操作指南的一例的图。
图73是示出在英文转换中当用户手写“食物”时显示的操作指南的一例的图。
图74是英文转换中的笔ID控制数据的转移图的一例。
图75是示出在英文转换中当在笔ID控制数据中设置字体集“食物菜单”的状态下进行手写输入时的操作指南的一例的图。
图76是示出在英文转换中当用户手写“建筑”时显示的操作指南的一例的图。
图77是英文转换中的笔ID控制数据的转移图的一例。
图78是示出在英文转换中当在笔ID控制数据中设置字体集“Construction1”的状态下进行手写输入时的操作指南的一例的图。
图79A是示出利用业务特定字体集的字符串对象的显示例的图。
图79B是示出利用业务特定字体集的字符串对象的显示例的图。
图80是示出在英文转换中根据手写对象“字体”显示字体列表作为操作命令的操作指南的一例的图。
图81A是示出在英文转换中从诸如“Meiryo”或“Serif”(衬线体)的手写对象显示字体列表作为操作命令的操作指南的一例的图。
图81B是示出在英文转换中根据诸如“Meiryo”或“Serif”的手写对象显示字体列表作为操作命令的操作指南的一例的图。
图82A是示出在英文转换中根据手写对象“咖啡馆”显示字体列表作为操作命令的操作指南的一例的图。
图82B是示出在英文转换中根据手写对象“咖啡馆”显示字体列表作为操作命令的操作指南的一例的图。
图83是示出在英文转换中根据手写对象“标题”显示字体列表作为操作命令的操作指南的一例的图。
图84是示出在英文转换中根据手写对象“可爱”显示字体列表作为操作命令的操作指南的一例的图。
图85A是示出在英文转换中根据手写对象“强调”显示字体列表作为操作命令的操作指南的一例的图。
图85B是示出在英文转换中根据手写对象“强调”显示字体列表作为操作命令的操作指南的一例的图。
图86是示出在英文转换中根据手写对象“咖啡馆”显示字体列表作为操作命令的操作指南的一例的图。
图87是示出在英文转换中根据手写对象“字体”显示字体列表作为操作命令的操作指南的一例的图。
图88是示出显示装置的另一配置例的图。
图89是示出显示装置的另一配置例的图。
图90是示出显示装置的另一配置例的图。
图91是示出显示装置的另一配置例的图。
具体实施方式
在下文中,作为本发明的实施方式的一例,将参考附图对显示装置及由显示装置执行的显示方法进行说明。
[实施例1]
<本实施方式的显示装置的字体的选择例>
例如,店铺中可能会有手写菜单。手写菜单是当天推荐菜单的手写版本,并且手写菜单由具有设计感等某种程度的技能的人写为佳。换言之,手写菜单并不是任何人都可以写的。关于上述内容,由于本发明的实施例的显示装置可以对手写数据进行字符识别,因而任何人都可以输入并显示誊清文本。然而,由于这样的菜单关乎店铺的品牌形象,因而以适合店铺氛围、餐厅风格等的字体显示文字等为佳。
然而,存在店员不知道选择哪种字体作为适合店铺品牌形象的字体的问题。一般的文字处理软件以字体样式显示字体名称,使得用户选择字体,但字体样式不一定使得用户选择适合店铺品牌形象的字体。另外,由于归根结底不知道哪种字体适合店铺品牌形象,因而选择与店铺品牌形象相匹配的字体并不容易。
因此,本发明的实施例的显示装置使用户能够选择工作或业务类型以便自动选择适合该工作或业务类型的形象的字体集。字体集是一套多个字体。此外,可以根据由用户手写的字符的尺寸来切换字体集中的字体。
图1是说明本发明的实施例的显示装置切换字体的操作或处理的图。
(1)用户手写预定义的关键词。在图1中,用日语(“平假名字符”)手写了“工作”。
(2)显示装置判定日语的“工作”为待后述的操作命令,并显示准备有字体的工作的选项301(“食物菜单”、“绘图”、“报告”及“表格创建”,这些为操作命令)、以及字符串候选539。操作命令是由显示装置执行的命令。显示装置根据命令来执行处理。
(3)用户从选项301中选择使用手写数据的工作。在图1中,选择了“食物菜单”。根据上述操作,在与用户所保持的笔2500相关联的笔ID控制数据(后述)中设置称为食物菜单的字体集。字体集中包含多个字体,字体中包含字体样式(字体样式是字体设计)(字体集中包含多个字体样式)。
(4)操作指南500因工作的选择而暂时被删除,当用户输入手写数据时显示字符串候选539。在图1中,手写为“ランチ”(“午餐),并显示包括“ランチ”("午餐")、“ランチメニュー”("午餐菜单")、“ランチョン”("午宴")以及“ランチャー”("启动器")的字符串候选539。
(5)当用户选择“ランチ”(“午餐)时,显示装置以可用于在(3)中选择的工作的字体集中的字体的一个字体来显示文本数据“ランチ(“午餐”)(待后述的字符串对象302)。例如,显示装置根据手写的“ランチ”(“午餐”)的字符尺寸来切换“ランチ”(“午餐”)的字符串对象302(文本数据)的字体。仅作为一示例,显示装置如下切换字体。
小:教科书字体
中:圆形哥特体
大:流行体
如上所述,显示装置可以通过根据用户手写的字符的尺寸从字体集中自动切换字体来进行显示。
图2示出当显示装置被用作手写招牌时以根据工作(作业)设置的字体集显示的字符的显示例。该手写招牌具有三个区域:标题域311、菜单域312以及描述域313。划分区域的边界也由用户手写,但不必划分为区域。在与笔2500相关联的笔ID控制数据中设置有字体集“食物菜单”的状态下,用户在标题域311中写大号字符,在菜单域312a中写中号字符,在描述域313中写小号字符。从而,标题域311中的字符以流行体显示,菜单域312中的字符以圆形哥特体显示,描述域313中的字符以教科书字体显示。
如上所述,用户可以通过选择用户的工作以将字体集切换为适合于该工作的形象的字体集(包括多个字体的字体集)来显示字符。此外,通过调整用户手写字符时的字符的尺寸,可以从适合于该工作的字体集中以适合于字符尺寸的字体显示字符。用户无需直接选择字体,也无需研究何种字体与店铺品牌形象相符。如上所述,本发明的实施例的显示装置可以提高选择字体时的可操作性。
需要注意的使,显示装置不仅可以在店铺(商店)中使用,而且可以在医院和其他设施中用于显示信息,在建筑工地中用于显示法律信息,在工厂用于显示警告和工作内容等,以显示装置起到公告板式的作用的方式进行使用。显示装置不仅可以用作公告板,还可以用作用户输入字符的电子黑板。此外,显示装置在切换为适合于要显示图的部门的工作(作业,任务)的字体的情况下也有效。
<术语>
手写数据是将用户在显示器上连续移动输入单元的坐标点序列作为轨迹显示的数据。此外,用户将输入单元按向显示器,并连续移动输入单元之后,从显示器上移开输入单元的一系列操作称为笔画(stroke),通过笔画手写的数据称为笔画数据。手写数据包括一个以上的笔画数据项。
输入单元可以是允许通过在触控面板上指定坐标来手写的单元。例如,包括笔、人的手指、手、杆状构件等。此外,可以包括视线输入设备。手写数据是将用户连续移动输入单元所在的触控面板上的一系列坐标点显示为轨迹的数据。此外,笔画是一系列操作,其中用户在触摸板上按下输入单元,连续移动输入单元,然后将其从触摸板上释放。通过笔画手写的数据称为笔画数据。手写数据包括一个或多个笔画数据项。手写输入表示用户输入的手写数据。
手写数据可以不仅指的是手写数据本身,还可以指的是通过字符识别从手写数据转换的文本数据、显示为如“済”(“完成”)等预定字符或标记的戳记、圆形或星形的形状、基于用户的操作显示的数据,如直线等。
字体集是指包括多个字体的字体集合。字体是计算机使用的字符设计(设计为外观等)的字样(typeface)。字体样式指代该设计。每个字体具有字体样式。
以字体显示的字符不仅包括日语,还包括字母字符。此外,诸如%、&以及数字的符号也可以以设置的字体显示。此外,三角形、圆形以及其他形状也可以以设置的字体显示。
手写输入源数据是指通过在触控面板上手写来输入的数据。手写输入源数据包括输入后仍保持为手写数据的数据,并且包括被转换为文本数据的数据。此外,当从外部设备获取数据时,表示数据是手写输入源数据的信息不会丢失。手写输入源数据可以包括通过字符识别转换的文本数据、以及基于用户操作转换的数据,诸如显示为“完成”或“机密”等固定的字符或标记的戳记、圆形和星形的形状、直线等。
<笔的外观的一例>
图3是示出笔2500的立体图的一例的图。图3示出多功能笔2500的一例。具有内置电源且能够向显示装置2发送指令的笔2500被称为有源笔(没有内置电源的笔被称为无源笔)。图3的笔2500在笔尖上有一个物理开关,在笔的底部有一个物理开关,并且在笔的侧面有两个物理开关。笔尖上的开关用于书写,笔底部的开关用于清除,并且笔侧面的开关用于分配用户功能。在本发明的实施方式中,笔2500还包括非易失性存储器,其存储对其他笔而言是独一的PenId。PenId是笔2500的标识信息。
通过使用带开关的笔,可以减少用户对显示装置2的操作步骤。带开关的笔主要指有源笔。但是,电磁感应式的无源笔也可以作为带开关的笔包括在内,电磁感应式的无源笔不具有内置电源,而是使用LC电路产生电力。带开关的光学笔、带开关的红外笔、以及带开关的电容笔为有源笔。
需要指出的是,假定笔2500的硬件配置与包括通信功能和微计算机的一般控制方法的硬件配置相同。笔2500可以是电磁感应式、有源静电耦合式等。此外,笔2500可以具有诸如笔压检测、倾斜检测以及悬停功能(表示在笔触碰触控面板之前的光标)的功能。
需要指出的是,在本发明的实施方式中,假定提供四个笔2500。当分别表示四个笔2500时,分别称为“笔1、笔2、笔3、笔4”。但是,需要指出的是,笔的数量不限于四个,而可以是一至三个,或五个,或更多。
<装置的整体配置>
下面参考图4对本发明的实施方式的显示装置2的整体配置进行说明。图4是示出显示装置2的整体配置图的图。作为显示装置2的一例,图4的(a)示出用作悬挂于墙上的横向电子黑板的显示装置2。
如图4的(a)所示,在显示装置2的顶部设置有作为显示装置的一例的显示器220。用户U可以利用笔2500在所述显示器220手写(也称输入或绘制)字符等。
图4的(a)示出用作悬挂于墙上的横向电子黑板的显示装置2。
图4的(c)示出平坦地位于(置于)桌子230上的显示装置2。由于显示装置2的厚度为约1cm,即使平放于普通桌子上也无需调节桌子的高度。并且,用户可以容易地移动显示装置2。
需要指出的是,显示装置2可以自动地检测显示装置2被使用于哪个位置。
<装置的硬件配置>
接下来,参照图5对显示装置2的硬件配置进行说明。显示装置2具有如图所示的信息处理装置或计算机的配置。图5是示出显示装置2的硬件配置的一例的图。如图5所示,显示装置2包括CPU 201(中央处理单元)、ROM 202(只读存储器)、RAM 203(随机存取存储器)、以及SSD 204(固态驱动器)。
CPU 201控制显示装置2的整体操作。ROM 202存储用于驱动诸如CPU 201和IPL(初始程序加载器)的CPU 201的程序。RAM 203用作CPU 201的工作区域。SSD 204存储各种数据项,诸如用于显示装置2的程序。
此外,显示装置2包括显示控制器213、触摸传感器控制器215、触摸传感器216、显示器220、电源开关227、倾斜传感器217、串行接口218、扬声器219、麦克风221、无线通信装置222、红外接口223、电源控制电路224、AC适配器225以及电池226。
显示控制器213控制和管理屏幕显示,以将输出图像输出至显示器220等。触摸传感器216检测笔2500、用户的手等(笔或用户的手用作输入单元)与显示器220接触。此外,触摸传感器216接收PenId。
触摸传感器控制器215控制触摸传感器216的处理。触摸传感器216输入并检测坐标。该坐标的输入和检测的方法例如是一种光学方法,其中位于显示器220的上侧两端的两个发光及受光装置发射平行于显示器220的多个红外线。该红外线被设置于显示器220的周围的反射部件反射,使得发光装置接收与光接收元件发出的光相同的光路上返回的光。触摸传感器216将由被物体阻挡的两个发光及受光装置发射的红外线的位置信息输出至触摸传感器控制器215,并且触摸传感器控制器215确定作为物体的接触位置的坐标位置。此外,触摸传感器控制器215包括通信单元215a,并将能够经由无线电(无线地)与笔2500通信。例如,当以诸如蓝牙(注册商标)的标准进行通信时,可以使用商业笔。当一个或多个笔2500被预先注册于通信单元215a时,用户无需执行使笔2500与显示装置2通信的连接设置即可进行通信。
电源开关227是用于切换显示装置2的电源的接通/关断的开关。倾斜传感器217是检测显示装置2的倾斜角度的传感器。倾斜传感器217主要用于检测显示装置2是否以图4的(a)、图4的(b)以及图4的(c)中的一安装状态使用,从而,可以根据安装状态来自动地改变字符等的粗细。
串行接口218是与诸如USB接口、LAN接口等外部设备的通信接口。串行接口218例如用于输入来自外部源的信息。扬声器219用于音频的输出,而麦克风221用于音频的输入。无线通信装置222与用户携带的终端进行通信,例如,中继与互联网的连接。无线通信装置222经由Wi-Fi、蓝牙(注册商标)等进行通信,但通信标准可以是任何标准。无线通信装置222形成接入点。当用户将用户获取的SSID(服务集标识符)和密码设置于用户携带的终端时,该终端可以连接至接入点。
需要指出的是,优选无线通信装置222设置有两个接入点。
(a)接入点→互联网
(b)接入点→内联网→互联网
接入点(a)供外部用户使用,外部用户无法访问内联网,但可以使用互联网。接入点(b)供内部用户使用,内部用户可以使用内联网和互联网。
红外接口223检测相邻的显示装置2。红外接口223能够利用红外线的直线性仅检测相邻的显示装置2。优选地,红外接口223设置于显示装置2的每一侧,并且可以检测另一显示装置2位于显示装置2的哪个方向上。该相邻的显示装置2能够显示在过去手写的信息(假设显示器220的尺寸对应于一页,另一页上的手写信息)。
电源控制电路224控制作为显示装置2的电源的AC适配器225和电池226。AC适配器225将商用电源所共用的交流转换为直流。
在显示器220为所谓的电子纸的情况下,显示器220消耗很少的电力或不消耗电力来维持渲染图像之后的图像,因此,显示器220可以由电池226驱动。因此,即使在室外等难以连接电源的地方也可以将显示装置2用于数字标牌等用途。
此外,显示装置2包括总线210。总线210是用于电连接诸如图5所示的CPU 201的组件的地址总线、数据总线等。
需要指出的是,触摸传感器216可以不限于光学式,而可以是通过检测电容的变化来确定接触位置的静电电容方式的触控面板。触摸传感器216可以是通过彼此相向的两个电阻膜的电压变化来确定接触位置的电阻膜式触控面板。触摸传感器216可以是通过检测接触物体与显示单元的接触引起的电磁感应并确定接触位置的电磁感应式触控面板。触摸传感器216可以采用各种检测手段确定接触位置。触摸传感器216可以采用不需要电子笔来检测笔尖的触摸的存在或不存在的方式。在这种情况下,可以将指尖或笔形棒用于触摸操作。需要指出的是,笔2500无需是细长的笔。
<装置的功能>
接下来,将参照图6A和图6B对显示装置2和笔2500的功能进行说明。图6A是以框形状示出显示装置2的功能的功能框图的一例。显示装置2包括手写输入单元21、显示单元22、手写输入显示控制单元23、候选显示计时器控制单元24、手写输入存储单元25、手写识别控制单元26、手写识别词典单元27、字符串转换控制单元28、字符串转换词典单元29、预测转换控制单元30、预测转换词典单元31、操作命令识别控制单元32、操作命令定义单元33、笔ID控制数据存储单元36、文件收发控制单元37、手写签名认证控制单元38以及手写签名数据存储单元39。显示装置2的各个功能是通过如下的方式来实现的功能或手段:根据从SSD204读取到RAM 203的程序由来自CPU 201的指令来操作图5所示的各个组件中的一个组件。
手写输入单元21由触摸传感器216等实现,并接收来自用户的手写输入,并接收PenId。手写输入单元21将用户的笔输入d1转换为带PenId的笔操作数据d2(提笔、落笔或笔坐标数据),并将转换后的数据发送至手写输入显示控制单元23。笔坐标数据作为离散值被定期地发送,离散值之间的坐标通过互补计算来计算。
显示单元22由显示器220等实现,用于显示手写对象或操作菜单。显示单元22将由手写输入显示控制单元23写入视频存储器的绘图数据d3转换为对应于显示器220的特性的数据,并将转换后的数据发送至显示器220。
手写输入显示控制单元23执行手写输入和显示的整体控制。手写输入显示控制单元23处理来自手写输入单元21的笔操作数据d2,并通过发送至显示单元22来显示该处理后的数据。此外,手写输入显示控制单元23基于笔ID控制数据存储单元36中存储的字体集来切换字体,并以字体集中包括的字体的字体样式显示字符串对象。笔操作数据d2的处理和笔画的显示将参照下面的图32至图39详细描述。
候选显示计时器控制单元24是可选候选的显示控制计时器。候选显示计时器控制单元24生成用于启动或停止计时器以开始可选候选的显示和消除显示的定时。可选候选是可选择地显示于待后述的操作指南的手写识别字符串/语言字符串候选、转换字符串候选、字符串/预测转换候选、以及操作命令候选。候选显示计时器控制单元24从手写输入显示控制单元23接收计时器开始请求d4(或计时器停止请求),并将超时事件d5发送至手写输入显示控制单元23。
手写输入存储单元25具有用于存储用户数据(手写对象/字符串对象)的存储功能。手写对象是诸如由笔画组成的识别前的字符的对象,字符串对象是诸如识别后的字符的对象。手写输入存储单元25从手写输入显示控制单元23接收用户数据d6-1,将数据存储于手写输入存储单元25,从手写输入显示控制单元23接收获取请求d6-2,并发送手写输入存储单元25中存储的用户数据d7。手写输入存储单元25将已确定对象的位置信息d36发送至操作命令识别控制单元32。
手写识别控制单元26是用于执行在线手写识别的识别引擎。不同于一般的OCR(光学字符阅读器),与用户的笔操作并行地,识别字符(不仅是日语,而且还有英语和其他语言)、数字、符号(%、$、&等)以及图形(线、圆、三角形等)。对于识别方法,虽然已经设计出各种各样的算法,在本发明的实施方式中,由于可以使用公知的技术,因而省略详细说明。
手写识别控制单元26从手写输入显示控制单元23接收笔操作数据d8-1,并执行手写识别以保持手写识别字符串候选。此外,手写识别控制单元26使用手写识别词典单元27保持从手写识别字符串候选d12转换的语言字符串候选。单独地,当从手写输入显示控制单元23接收到获取请求d8-2时,手写识别控制单元26将所保持的手写识别字符串候选和语言字符串候选d9发送至手写输入显示控制单元23。
手写识别词典单元27是用于手写识别的语言转换的词典数据。手写识别词典单元27从手写识别控制单元26接收手写识别字符串候选d12,并将该手写识别字符串候选转换为语言上恰当的语言字符串候选d13,并将转换后的候选发送至手写识别控制单元26。例如,在日语的情况下,将“平假名”字符转换为“汉字”字符或“片假名”字符。
字符串转换控制单元28控制转换字符串候选向字符串的转换。转换字符串是可能包括手写识别字符串或语言字符串而生成的字符串。字符串转换控制单元28从手写识别控制单元26接收手写识别字符串和语言字符串候选d11,并使用字符串转换词典单元29将其转换为转换字符串候选,并保持转换后的候选。当从手写输入显示控制单元23接收到获取请求d14时,字符串转换控制单元28将保持的转换字符串候选d15发送至手写输入显示控制单元23。
字符串转换词典单元29是用于字符串转换的词典数据。字符串转换词典单元29从字符串转换控制单元28接收手写识别字符串和语言字符串候选d17,并将转换字符串候选d18发送至字符串转换控制单元28。
预测转换控制单元30从手写识别控制单元26接收手写识别字符串和语言字符串候选d10,从字符串转换控制单元28接收转换字符串候选d16,并对其分别使用预测转换词典单元31转换为预测字符串候选。预测转换字符串是可能包括手写识别字符串、语言字符串或转换字符串而生成的字符串。当单独地从手写输入显示控制单元23接收到获取请求d19时,预测转换控制单元30将预测字符串候选d20发送至手写输入显示控制单元23。
预测转换词典单元31是用于预测转换的词典数据。预测转换词典单元31从预测转换控制单元30接收手写识别字符串、语言字符串候选以及转换字符串候选d21,并将预测字符串候选d22发送至预测转换控制单元30。
操作命令识别控制单元32从手写识别控制单元26接收手写识别字符串和语言字符串候选d30,从字符串转换控制单元28接收转换字符串候选d28,并从预测转换控制单元30接收预测字符串候选d29。此外,操作命令识别控制单元32对它们(接收到的字符串和字符串候选)的每一个将操作命令转换请求d26发送至操作命令定义单元33,并从操作命令定义单元33接收操作命令候选d27。操作命令识别控制单元32保持操作命令候选d27。
当操作命令转换请求d26与操作命令定义部分地匹配时,操作命令定义单元33将操作命令候选d27发送至操作命令识别控制单元32。
此外,操作命令识别控制单元32从手写输入显示控制单元23接收笔操作数据d24-1,并将过去输入并确定的确定对象的位置信息获取请求d23发送至手写输入存储单元25。手写输入存储单元25将笔操作数据指定的确定对象保持为选择对象(包括位置信息)。操作命令识别控制单元32确定:笔操作数据d24-1的位置;以及满足预定的准则的选择对象。当从手写输入显示控制单元23接收到获取请求d24-2时,操作命令识别控制单元32将所保持的操作命令候选和所确定出的选择对象d25发送至手写输入显示控制单元23。
笔ID控制数据存储单元36保持笔ID控制数据(可以称为存储单元)。在手写输入显示控制单元23将显示数据发送至显示单元22之前,笔ID控制数据存储单元36将笔ID控制数据d41发送至手写输入显示控制单元23。手写输入显示控制单元23在与PenId相关联而存储的操作条件下绘制显示数据。此外,在手写识别控制单元26执行手写识别之前,笔ID控制数据存储单元36将笔ID控制数据的角度信息d44发送至手写识别控制单元26。手写识别控制单元26利用与PenId相对应而存储的角度信息来旋转笔画,并执行手写识别。
在识别用于设置角度信息的直线之后,其中的角度信息是在用户手写字符等情况下使用的,手写识别控制单元26将笔ID控制数据的角度信息d43发送至笔ID控制数据存储单元36,并与PenId相关联地存储角度信息d43。此外,在手写输入显示控制单元23执行用于设置角度信息的操作命令后,手写输入显示控制单元23将笔ID控制数据d42发送至笔ID控制数据存储单元36。笔ID控制数据存储单元36对操作命令的执行结果(用户设置的角度信息)与PenId相关联地进行存储。此后,用所设置的角度信息旋转该PenId的笔画,并执行手写识别。
此外,手写识别控制单元26将用笔ID控制数据的角度信息顺时针旋转的笔画数据d49发送至手写签名认证控制单元38。由此,将可以与用户的位置(相对于显示装置2从那个方向手写签名)无关地进行手写签名的认证。
手写签名数据存储单元39保持手写签名数据。当手写签名数据存储单元39从手写签名认证控制单元38接收到手写签名数据获取请求d45时,手写签名数据存储单元39将手写签名数据d46发送至手写签名认证控制单元38。假定手写签名数据的格式取决于手写签名认证控制单元38的手写签名认证的算法。手写签名数据存储单元39的数据将参照图15进行说明。
当从手写识别控制单元26接收到顺时针旋转的笔画数据d49时,手写签名认证控制单元38将手写签名数据获取请求d45发送至手写签名数据存储单元39,手写签名数据存储单元39将手写签名数据d46发送至手写签名认证控制单元38。
手写签名认证控制单元38基于手写签名数据对用户进行认证。对基于手写签名数据的用户认证已经设计出各种各样的算法,但在本发明的实施方式中,使用能够实现不妨碍实际应用的识别率的技术。例如,手写签名认证控制单元38生成包括构成手写签名数据的坐标、书写压力、书写笔画的时间等的特征向量。手写签名认证控制单元38对要素加以适当的权重来将已注册的手写签名数据的特征向量与签名时用户手写的用户名等的特征向量进行比较。当匹配度大于或等于阈值时,手写签名认证控制单元38确定认证成功,而当匹配度小于阈值时,手写签名认证控制单元38确定认证失败。
手写签名认证控制单元38保持作为笔画数据d49与手写签名数据d46的比较结果的手写签名的认证结果。当从手写输入显示控制单元23接收到获取请求d48时,手写签名认证控制单元38将所保持的手写签名的认证结果d47发送至手写输入显示控制单元23。手写签名的认证结果包括:笔画数据d49和手写签名数据d46是否被视为是匹配的;以及若看起来是匹配的,则有与所匹配的手写签名数据d46相关联的待后述的SignatureId。
当手写识别控制单元26的手写识别结果符合表示手写签名注册的执行的操作命令时,手写识别控制单元26从手写输入存储单元25获取输入至手写签名注册表的数据d52(如后述,输入手写签名数据的框架)。手写识别控制单元26将数据d52中的手写签名数据d50发送至手写签名认证控制单元38。手写签名认证控制单元38将接收到的手写签名数据d50发送至手写签名数据存储单元39以进行注册。
当手写识别控制单元26的手写识别结果为取消手写签名的指令时,手写识别控制单元26向手写输入存储单元25发送手写签名注册表的删除请求d51,并由手写输入存储单元25删除手写签名注册表。
当手写识别控制单元26的手写识别结果为执行用户定义数据变更的指令时,手写识别控制单元26从手写输入存储单元25获取被输入至用户定义数据变更表的数据d53。手写识别控制单元26将数据d53中的变更值54发送至操作命令定义单元33,以变更用户定义数据。用户定义数据将在图14中进行描述。
当手写识别控制单元26的手写识别结果为取消用户定义数据变更表的指令时,手写识别控制单元26将用户定义数据变更表的删除请求d55发送至手写输入存储单元25,并从手写输入存储单元25删除用户定义数据变更表。
文件收发控制单元37在存储介质中存储并获取:手写输入源数据;或者不是手写输入源数据的数据;并与外部设备进行通信(打印请求、显示请求等)。文件收发控制单元37从手写输入显示控制单元23接收用于发送和接收文件的执行请求d64。在存储或打印文件时,手写输入显示控制单元23将文件发送请求发送至文件收发控制单元37,文件收发控制单元37将手写输入存储数据的获取请求d61发送至手写输入存储单元25。
-在数据不是手写输入源数据的情况下,手写输入存储单元25原样发送由该数据保持的颜色信息。
-在数据是手写输入源数据的情况下,当发送目的地是彩色支持装置(例如,彩色打印机)时,手写输入存储单元25将转换为颜色数据的手写输入存储数据d62发送至文件收发控制单元37。
-在数据是手写输入源数据的情况下,当发送目的地是黑白支持装置(例如,单色打印机)时,手写输入存储单元25将转换为黑白数据的手写输入存储数据d62发送至文件收发控制单元37。在一些情况下,黑白支持装置能够将颜色数据转换为灰度数据,从而,可以将数据转换为待发送的颜色数据。
-在发送目的地为黑白突出显示支持装置的情况下,将待后述的手写输入存储数据发送至文件收发控制单元37。
-此外,在手写输入存储单元25将手写输入源数据存储于文件中的情况下,手写输入存储单元25根据文件格式将手写输入存储数据d62转换为颜色数据,并将手写输入存储数据附加为文件的元数据。当将不是手写输入源数据的数据存储于文件中时,根据文件格式将手写输入存储数据d62转换为颜色数据。
表示彩色支持装置或黑白支持装置的信息例如被存储于例如由网络设备保持的MIB(管理信息库)中,并且文件收发控制单元37可以通过获取MIB来进行确定。类似地,可以基于由MIB所公开的型号名称来确定该装置是否为黑白突出显示支持装置。
在读取文件时,手写输入显示控制单元23将文件列表获取请求d65发送至文件收发控制单元37,文件收发控制单元37将该文件列表获取请求发送至外部设备并获取文件列表d63,文件收发控制单元37将获取到的文件列表d63发送至手写输入显示控制单元23。手写输入显示控制单元23将文件列表显示于显示单元22,手写输入单元21将选择文件的显示位置发送至手写输入显示控制单元23,手写输入显示控制单元23将文件接收请求d66发送至文件收发控制单元37。文件收发控制单元37从外部设备获取文件,并将文件d67发送至手写输入存储单元25。手写输入存储单元25分析文件的元数据,以确定该数据是否为手写输入源数据。当该数据为手写输入源数据时,手写输入存储单元25取回手写输入存储数据(待后述的黑白强调/彩色转换使能数据)。文件收发控制单元37将手写输入源数据转换为黑白突出显示并且将该数据发送至手写输入显示控制单元23,当该数据不是手写输入源数据(以灰度显示)时,在不转换数据的情况下将数据发送至手写输入显示控制单元23。手写输入显示控制单元23将手写对象的显示数据发送至显示单元22。
图6B是以框形状示出笔2500的功能的功能框图。笔2500包括笔事件发送单元41。笔事件发送单元41对提笔、落笔以及笔坐标的事件数据项附以PenId并发送至显示装置2。
<已定义控制数据>
接下来,将参照图7A至7C对用于显示装置2的各种处理的已定义控制数据进行说明。图7A至7C示出已定义控制数据的示例。图7A~7C示出每个已定义控制项的已定义控制数据。此外,图7B和图7C示出每个使用场景的已定义控制数据。
可选候选显示计时器401定义直到显示可选候选为止的时间。这是因为,在手写期间不显示可选候选。图7A中意指,若自提笔事件在500ms的TimerValue(计时器值)之内未发生落笔事件,则显示可选候选。可选候选显示计时器401由候选显示计时器控制单元24保持。可选候选显示计时器401在下面的图34的步骤S18-2中启动可选候选显示计时器时使用。
可选候选消除计时器402定义直到所显示的可选候选被清除为止的时间。这用于在用户未选择可选候选的情况下消除可选候选。图7A中意指,若自显示可选候选在5000ms的TimerValue之内未选择可选候选,则删除可选候选显示数据。可选候选消除计时器402由候选显示计时器控制单元24保持。可选候选消除计时器402在图36的步骤S64中启动可选候选消除计时器时使用。
手写对象近邻矩形区域403定义被认为邻近手写对象的矩形区域。在图7A的示例中,手写对象近邻矩形区域403是手写对象的矩形区域水平地被扩大估计字符尺寸的50%,且垂直地被扩大估计字符尺寸的80%的矩形区域。在图7A所示的示例中,定义了相对于估计字符尺寸的比率(以%表示)。然而,当使用“mm”等单位时,可以规定固定的长度。手写对象近邻矩形区域403由手写输入存储单元25保持。手写对象近邻矩形区域403在图33的步骤S10中用于确定手写对象近邻矩形区域与笔画矩形区域的重叠状态。
估计书写字符方向/字符尺寸判定条件404定义用于确定书写字符方向和字符尺寸测量方向的常数。在图7A的示例中,当在手写对象矩形区域中添加第一个笔画的时刻与添加最后一个笔画的时刻的差为MinTime=1000ms以上,手写对象矩形区域的水平距离(宽度)与垂直距离(高度)的差为MinDiff=10mm以上,且水平距离比垂直距离长时,将估计书写字符方向确定为“横向”,并将估计字符尺寸确定为垂直距离。当水平距离比垂直距离短时,估计书写字符方向被确定为“竖向”,并将估计字符尺寸确定为水平距离。当不满足上述条件时,将估计书写字符方向确定为“横向”(DefaultDir="Horizontal"),并将估计字符尺寸确定为垂直距离。估计书写字符方向/字符尺寸判定条件404由手写输入存储单元25保持。估计书写字符方向/字符尺寸判定条件404使用于在图36的步骤S59中获取估计书写字符方向以及在图39的步骤S81中获取字符串对象字体。
估计字符尺寸405定义用于估计字符等的尺寸的数据。图7A的示例中意指,将通过估计书写字符方向/字符尺寸判定条件404确定的估计字符尺寸与估计字符尺寸405的小号字符405a(下称最小字体大小)和大号字符405c(下称最大字体大小)进行比较。当估计字符尺寸小于最小字体大小时,将估计字符尺寸确定为最小字体大小。当估计字符尺寸大于最大字体大小时,将估计字符尺寸确定为最大字体大小。否则,将估计字符尺寸确定为中号字符405b的字符尺寸。估计字符尺寸405由手写输入存储单元25保持。估计字符尺寸405在未选择字体集时使用,并使用于在图39的步骤S81中获取字符串对象字体。需要指出的是,在本发明的实施方式中,假定当在待后述的笔ID控制数据中添加字体集(FontSet)或FontName时,手写输入显示控制单元23将另一个删除。
具体地,手写输入存储单元25将以估计书写字符方向/字符尺寸判定条件404所确定的估计字符尺寸与估计字符尺寸405的字体大小(FontSize)进行比较,来使用最接近的尺寸的字体。例如,当估计字符尺寸为25mm以下时(小号字符的字体大小),手写输入存储单元25使用“小号字符”。当估计字符尺寸超过25mm,但不超过50mm(中号字符的字体大小)时,手写输入存储单元25使用“中号字符”。当估计字符尺寸超过100mm时(大号字符的字体大小),手写输入存储单元25使用“大号字符”。“小号字符”405a使用明朝体的25mm字体(FontStyle=“明朝体”,FontSize=“25mm”),“中号字符”405b使用明朝体的50mm字体(FontStyle=“明朝体”,FontSize=“50mm”),“大号字符”405c使用哥特体的100mm字体(FontStyle=“ゴシック体”,FontSize=”100mm”)。若需要增加字体大小或样式类型,可以增加估计字符尺寸405的类型。
工作特定(作业特定)字体集408-411定义对应于各自的工作(作业)的字体集。在图7A的一例中,工作特定字体集408定义待用于食物菜单的工作的字体集,工作特定字体集409定义待用于绘图的工作的字体集。工作特定字体集410定义待用于报告的工作的字体集,工作特定字体集411定义待用于电子表格的工作的字体集。此外,类似于估计字符尺寸405,工作特定字体集408~411中的每一个根据以估计书写字符方向/字符尺寸判定条件404确定的估计字符尺寸来定义小号字符、中号字符以及大号字符的字体。从而,为每个字符尺寸定义有字体参数(FontSet、FontStyle、以及FontSize)。例如,在工作特定字体集408中,关于食物菜单的工作的小号字符,字体集(FontSet)为"FoodMenu",字体样式(FontStyle)为“教科書体”("教科书体”),字体大小(FontSize)为"25mm”。“Fontset”是用于当执行待后述的操作命令时确定字体集的信息。“FontStyle”定义字体样式(字体形状),“FontSize”定义字符串对象的尺寸。类似地,关于食物菜单的工作的中号字符,字体集(Fontset)为"FoodMenu",字体样式(FontStyle)为“丸ゴシック体”("圆形哥特体”),字体大小为"50mm"。关于食物菜单的工作的大尺寸字符,字体集(FontSet)为“FoodMenu”,字体样式(FontStyle)为“ポップ体”(“流行体”),字体大小(FontSize)为100mm。字体集(FontSet)为工作(作业)(例如,食物菜单)所共同的,通过操作命令的执行来确定大尺寸字符、中号尺寸字符以及小号字符的所有字体集。工作特定字体集409~411也以类似的方式定义。工作特定字体集408~411使用于在图39的步骤S81中获取字符串对象字体。
图7B所示的业务特定(行业特定)字体集412~415定义对应于业务(非工作(不是作业))的字体集。此外,业务特定字体集412~415为每个笔2500(每个输入单元)定义字体集。换言之,业务特定字体集412~415对笔1、笔2、笔3以及笔4分别定义大、中、小号字符尺寸的字体集。需要指出的是,笔1至4具有PenId1~4的对应的标识信息项。例如,关于建筑业的笔1的小号字符,字体集为"Construction1",字体样式为“明朝体”("明朝体"),字体大小为"25mm"。字体集和字体样式在笔1中是共同的,而字体大小是不同的。需要指出的是,字体样式无需是共同的。由于字体集(FontSet)是用于在执行操作命令时确定字体的的信息,因而字体集(FontSet)在笔1中是共同的。在笔2的情况下,字体集(FontSet)为"Construction2",字体样式为“ゴシック体”("哥特体”),字体大小为"25mm"、"50mm"或"100mm”。在笔3的情况下,字体集(FontSet)为"Construction3",字体样式为“ゴシック体”("哥特体”),字体大小为"25mm","50mm"或"100mm”。在笔4的情况下,字体集为"Construction4",字体样式为“ゴシック体”("哥特体”),字体大小为"25mm"、"50mm"或"100mm”。业务特定(行业特定)字体集412~415使用于在图39的步骤S81中获取字符串对象字体。
需要指出的是,用户可以根据除字符尺寸以外的标准来使用不同的字体。例如,根据是用笔顶部还是笔底部执行手写的,可以使用不同的字体。在这种情况下,在已定义控制数据中,不同的字体与笔顶部和笔底部相关联。也可以使用笔上的按钮来切换字体。例如,用户可以从显示的菜单中明确地选择要使用的字体。此外,与一个笔相关联的字体集无需为三个,两个以上的字体集便足以。
关于上述工作特定字体集408~411,分别逐一选择字体集。另一方面,对于业务特定字体集412~415,基于单次操作命令的执行同时在笔1~4中设置字体集。从而,可以利用业务特定字体集412~415改变笔1~4的一套字体。在多个供应商(或处于不同位置的多个人)在单个显示装置2进行手写,并且期望区分哪个供应商进行了哪个手写的情况下使用这种用法。每个供应商使用对应的固定的笔1~4进行手写。
业务特定字体集416~419定义对应于"工厂"(业务)行业的字体集。换言之,业务特定字体集416~419定义适合在“工厂”中使用的字体集。笔1~4的字体集(FontSet)分别为"Factory1"至"Factory4"。在业务特定字体集416至419中,笔1至笔4的字体样式(FontStyle)均为“ゴシック体”("哥特体"),无论大号字母(字符)、中号字母以及大号字母,字体大小均相同,但笔1至笔4的字体大小彼此不同。
从而,对于“工厂”,根据每个笔来改变字符尺寸。换言之,一个用户可以更换笔1~4,以用各种字符尺寸手写。例如,用户可以用小尺寸手写工厂中的产品的生产数据表中的详细说明,而用大尺寸手写行动项。当然,也可以多个用户分别使用笔1~4进行手写。此外,由于若字符尺寸在一个笔(笔1至4中的一个)内变化会难以读取,因此,在一个笔内,字符尺寸对所有“小号字符/中号字符/大号字符”是共同的。
图7C所示的业务特定工作集420是将业务特定字体集412~415和下述操作命令定义数据联系起来的控制数据。当执行预定的操作命令时,确定业务特定工作集420,并使业务特定字体集412~415和笔1~4通过笔ID控制数据彼此关联。业务特定工作集420是针对业务类型“建造”的工作集,其定义笔1~4中的每一个的WorkSet、PenId、以及字体集(FontSet)。WorkSet的"Construction"与操作命令关联。PenId是笔1~4的标识信息,字体集(FontSet)与业务特定字体集412~415关联。从而,当执行WorkSet="Construction"的操作命令时,笔1和业务特定字体集412通过笔ID控制数据彼此关联,笔2和业务特定字体集413通过笔ID控制数据彼此关联。此外,笔3和业务特定字体集414利用笔ID控制数据彼此关联,笔4和业务特定字体集415利用笔ID控制数据彼此关联。
类似于业务特定工作集420,业务特定工作集421是将业务特定字体集416~419和后述操作命令定义数据联系起来的控制数据。当执行WorkSet="Factory"的操作命令时,笔1和业务特定字体集416通过笔ID控制数据彼此关联,笔2和业务特定字体集417通过笔ID控制数据彼此关联。此外,笔3和业务特定字体集418利用笔ID控制数据彼此关联,笔4和业务特定字体集419利用笔ID控制数据彼此关联。
工作特定字体集408至411和业务特定字体集412至415、416~419由手写输入存储单元25保持。
将再次参照图7A进行说明。跨线判定条件406定义用于确定是否选择了多个对象的数据。在图7A的示例中,在手写对象为单一笔画的情况下,当手写对象的长边的长度为100mm以上(MinLenLongSide="100mm"),短边的长度为50mm以下(MaxLenShortSide="50mm"),并且有与手写对象在长边方向及短边方向上的重叠率为80%以上(MinOverLapRate=“80%”)的对象时,确定为选择了多个对象(选择对象)。跨线判定条件406由操作命令识别控制单元32保持。跨线判定条件406在图35的步骤S50中的选择对象的确定时使用。
围线判定条件407定义用于确定对象是否是为围线的数据。在图7A的示例中,操作命令识别控制单元32将与手写对象在长边方向及短边方向上的重叠为100%以上(MinOverLapRate="100%")的确定对象确定为选择对象。围线判定条件407由操作命令识别控制单元32保持。围线判定条件407使用于在图35的步骤S50中确定选择对象。
需要指出的是,可以优先执行使用跨线判定条件406的确定和使用围线判定条件407的确定中的任一个。例如,当放宽跨线判定条件406时(当使得更易于选择跨线时),并严格制定围线判定条件407时(当条件值设置为只能选择围线时),操作命令识别控制单元32可以优先使用围线判定条件407进行确定。
<词典数据的示例>
下面参照图8至图10对词典数据进行说明。图8是手写识别词典单元27的词典数据的一例,图9是字符串转换词典单元29的词典数据的一例,图10是预测转换词典单元31的词典数据的一例。需要指出的是,这些词典数据集使用于图35的步骤S33至S41。
在本发明的实施方式中,图8的手写识别词典单元27的词典数据的转换结果称为语言字符串候选,将图9的字符串转换词典单元29的词典数据的转换结果称为转换字符串候选,将图10的预测转换词典单元31的词典数据的转换结果称为预测字符串候选。每个词典数据的“转换前”表示在词典数据中要检索的字符串,“转换后”表示对应于要检索的字符串的转换后的字符串,“概率”表示用户选择该转换字符串的概率。概率可以从用户在过去选择各字符串的结果中计算。从而,可以为每个用户计算概率。尽管已设计了各种各样的算法来计算概率,可以以适当的方式来计算概率,其详细说明从略。根据本发明的实施方式,依据估计书写字符方向以选择概率的降序显示字符串候选。
在图8的手写识别词典单元27中示出的词典数据中,手写的“ぎ”以0.55的概率被转换为“議”,并以0.4的概率被转换为“技”。手写的“ぎし”以0.5的概率转换为“技士”,并以0.45的概率被转换为“技師”。对其他“转换前”的字符串也同样如此。在图8中,“转换前”的字符串是手写的“平假名”字符。但是,可以将“平假名”字符以外的其他字符串注册为“转换前”。
在图9的字符串转换词典单元29的词典数据中,字符串“議”以0.95的概率被转换为“議事録”,字符串“技”以0.85的概率被转换为“技量試”。对其他“转换前”的字符串也同样如此。
在图10的预测转换词典单元31的词典数据中,字符串“議事録”以0.65的概率被转换为“議事録の送付先”,字符串“技量試”以0.75的概率被转换为“技量試を決裁”。在图10的示例中,转换前的所有字符串均为“汉字”字符(中文字符),但可以注册除“汉字”字符以外的字符。
需要指出的是,词典数据独立于语言,并且任何字符串均可以被注册为“转换前”和“转换后”。
<操作命令定义单元保持的操作命令定义数据>
接下来,将参照图11A和图11B对操作命令识别控制单元32使用的操作命令定义数据进行说明。图11A和图11B示出操作命令定义单元33保持的操作命令定义数据和系统定义数据的示例。
图11A示出操作命令定义数据的一例。图11A所示的操作命令定义数据是当没有由手写对象选择的选择对象时的操作命令定义数据的一例,并且针对(包括)操作显示装置2的所有操作命令。图11A的操作命令包括操作命令名称(Name)、与字符串候选(String)部分地匹配的字符串、以及要执行的操作命令字符串(Command)。操作命令字符串中的
Figure BDA0002785630490000271
是变量,并且与系统定义数据相关联,如图11A所示。换言之,"%-%"被图11B所示的系统定义数据取代。
首先,操作命令定义数据701表示操作命令的名称为“議事録テンプレートを読み込む”(读取会议纪要模板),与字符串候选部分地匹配的字符串为“議事録”(会议纪要)或“テンプレート”(模板),所执行的操作命令字符串为“ReadFile https://%username%:%password%@server.com/templates/minutes.pdf”。在该示例中,所执行的操作命令字符串中包括系统定义数据“%~%”,并且"%username%"和"%password%"分别被系统定义数据项704和705取代。从而,最终的操作命令字符串为"ReadFilehttps://taro.tokkyo:x2PDHTyS@server.com/template/minutes.pdf",表示读取文件"https://taro.tokkyo:x2PDHTyS@server.com/minutes.pdf"(ReadFile)。
操作命令定义数据702表示操作命令的名称为“議事録フォルダーに保存する”(保存至会议记录文件夹中),与字符串候选部分地匹配的字符串为"議事録”(会议记录)或“保存”(保存),以及所执行的操作命令字符串为"WriteFilehttps:/%username%:%password%@server.com/minutes/%machinename%_%yyyy-mm-dd.pdf"。类似于操作命令定义数据701,操作命令字符串中的"%username%"、“%password%"以及"%machinename"分别被系统定义数据项704~706取代。需要指出的是,"%yyyy-mm-dd%"将被当前日期取代。例如,若当前日期为2018年9月26日,则将被"2018-09-26"取代。最终所执行的操作命令为"WriteFile https://taro.tokky:x2PDHTyS@server.com/%Minutes/%My-Machine_2018-09-26.pdf",表示将会议记录保存至文件"https://taro.tokkyo:x2PDHTyS@server.com/%Minutes/%My-Machine_2018-09-26.pdf"(WriteFile)。
操作命令定义数据703表示操作命令的名称为“印刷する”(打印),与字符串候选部分地匹配的字符串为“印刷”(打印)或“プリント”(打印),以及所执行的操作命令字符串为“PrintFile https:/%username%:%password%@server.com/print/%machinename%-%yyyy-mm-dd%.pdf”。当如同在操作命令定义数据702取代操作命令字符时,最终执行的操作命令为“PrintFile https://taro.tokkyo:x2PDHTyS@server.com/print/%My-Machine_2018-09-26.pdf”,表示打印文件“https://taro.tokkyo:x2PDHTyS@server.com/print/%My-Machine_2018-09-26.pdf”(PrintFile)。即,文件被发送至服务器。用户使打印机与服务器通信,并且,当文件被指定时,打印机将文件的内容打印在纸上。
如上所述,由于可以从字符串候选中确定操作命令定义数据项701至03,因而可以基于用户的手写来显示操作命令。此外,在用户认证成功的情况下,操作命令定义数据中的"%username%"、“%password%"等被用户信息取代,从而,可以与用户相关联地进行文件的输入和输出。
在不执行用户认证的情况下(若用户在认证失败后仍可以使用显示装置2,则包括认证失败的情况),显示装置2使用预设的显示装置2的数据"%username%"、%password%"等。从而,即使没有用户认证,也可以与显示装置2相关联地进行文件的输入和输出。
操作命令定义数据项709、710、711、720、721、722为变更笔颜色的操作命令。笔颜色是用用户所使用的笔输入的手写数据。操作命令定义数据项709、710、711、720、721以及722的操作命令名称为“黒ペン”(黑笔)、“赤ペン”(红笔)、“青ペン”(蓝笔)、“緑ペン”(绿笔)、“マゼンタペン”(洋红色笔)以及“シアンペン”(青色笔)。例如,在“黒ペン”(黑笔)的情况下,与字符串候选部分地匹配的字符串为“くろ”(黑)或“ペン”(笔),并且,若用户写“くろ”(黑),则在操作命令候选中仅显示“黒ペン”(黑笔)。另一方面,由于“ペン”(笔)对应于与“赤ペン”(红笔)等中的字符串候选部分地匹配的字符串(String),若用户写“ペン”(笔),则在操作命令候选中“黒ペン”(黑笔)至“シアンペン”(青色笔)。当执行这些操作命令时,如图17A所示,更新与用户使用的笔2500的PenId相关联的笔ID控制数据,并变更PenId的笔2500的颜色(笔ID控制数据的ColorId)。
操作命令定义数据719表示操作命令的名称为“ファイルを読み込む”(读取文件)、与字符串候选匹配的字符串(String)为“ファイル”(文件)、“読み込む”(读取)、“読み込み”(读取)、以及所执行的操作命令为“ReadFile https:/%username%:%password%@server.com/files/”。类似于操作命令定义数据702,替换系统定义数据项会使操作命令为"ReadFile https://taro.tokkyo:x2PDHTyS@server.com/files/",表示读取该地址(文件夹)处的文件(ReadFile)。当执行该操作命令时,显示装置2显示如图12所示的文件选择窗口。图12的文件选择窗口使用缩略图显示存储于该地址(文件夹)中的文件的第一页。
图12是在图39的步骤S94(文件列表显示数据)中显示于显示单元22的文件列表显示数据的一例。图12的(a)是从通过在图39的步骤S91中的文件列表信息获取中获得的文件列表信息创建的。文件列表信息具有文件地址的列表,显示单元22从每个文件地址提取文件名和缩略图,并以文件名的升序进行显示。图12中的文件列表显示数据显示四个缩略图和文件名,并且通过使用左右箭头图标99显示前后的缩略图和文件名。当用笔按下所显示的缩略图或文件名时,显示单元22删除图12的屏幕,文件收发控制单元37从按下笔的文件地址接收文件。
当用笔按下右上角的关闭按钮98时,显示单元22删除图12的屏幕,并取消操作命令定义数据719的执行。当选择了图12的(a)、(d)的PDF文件时,文件收发控制单元37接收PDF文件,并将其存储于手写输入存储单元25,以进行分析。文件收发控制单元37将手写源文本数据(带有元数据)存储为诸如图16的手写输入存储数据项801至805的手写输入存储数据(黑白强调及彩色转换可用数据)。黑白强调及彩色转换可用数据是同时对应于黑白强调及向彩色的转换的数据(主要为手写输入源数据)。关于黑白强调,将参照图19A和图19B进行描述,彩色转换被定义为将颜色转换为亮度(浓淡)。非手写输入源数据的文本数据被转换为诸如图16的手写输入存储数据806的手写输入存储数据,以进行存储,并被显示于显示器220。
当选择了图12的(b)、(c)的JPG文件时,文件收发控制单元37接收图像文件,并将该文件作为诸如图16的手写输入存储数据807的手写输入存储数据存储于手写输入存储单元25,并将该文件显示于显示器220。
将再次参照图11A进行说明。操作命令定义数据712是用于在恒定方向上对齐文本数据的方向的操作命令。操作命令定义数据712的操作命令名称为“テキスト方向を揃える”(对齐文本方向),与字符串候选部分地匹配的字符串为“テキスト”(文本)、“向き”(方向),或“方向”(方向),并且,操作命令字符串为"AlignTextDirection"。由于用户在垂直方向以外的方向上写入的文本数据项的方向为各种各样的方向,因而很难从一个方向读取所有内容。当用户执行操作命令定义数据712时,显示装置2在相同方向上(例如,在垂直方向上)对齐进行手写识别后的字符串。在这种情况下,对齐意指以角度信息旋转文本数据。
操作命令定义数据713表示操作命令的名称为“手書きサイン登録する”(注册手写签名)"、与字符串候选部分地匹配的字符串为“サイン”(签名)和“登録”(注册)、以及操作命令字符串为"RegisterSignature”。当执行RegisterSignature命令时,将手写签名注册表添加至手写输入存储单元25,并在操作屏幕101上显示该手写签名注册表。关于手写签名注册表的示例,将在后面进行描述(参见图29B)。
操作命令定义数据714表示操作命令名称为“手書きサインインする”(手写登录)、与字符串候选部分地匹配的字符串为"%signature%"、以及操作命令为“Signin”。这里,"%signature%"为系统定义数据的保留字,表示注册的手写签名数据和诸如用户名的笔画数据符合(匹配)的事实。换言之,当符合(匹配)时,基于操作命令定义数据714的操作命令512被显示在操作指南500中(见图30)。
当执行Signin命令时,在用于手写诸如用户名的笔画数据的笔2500的笔ID控制数据中保存具有符合(匹配)的手写签名数据的SignatureID的用户的AccountId。由此,PenId与AccountId相关联,并且显示装置2可以使用由AccountId确定的用户定义数据(见图17A)。
操作命令定义数据715表示操作命令名称为“手書きサインアウトする”(手写登出)、与字符串候选部分地匹配的字符串为“サイン”(签名)或“アウト”(登出)、以及操作命令为"Signout"。当执行Signout命令时,从操作手写登出的笔2500的笔ID控制数据中删除AccountId。由此,解除PenId与AccountId之间的关联,并且笔2500可以被任一用户使用。
操作命令定义数据716表示操作命令的名称为“設定変更する”(变更设置)、与字符串候选部分地匹配是字符串为“設定”(设置)或“変更”(变更)、以及操作命令为“ConfigSettings”。当执行ConfigSettings命令时,在手写输入存储单元25中添加用户定义数据变更表,并在操作屏幕101上显示用户定义数据变更表。关于用户定义数据变更表,将在后面进行描述(见图31A~31B)。
操作命令定义数据723-726分别定义将工作特定字体集408~411与笔2500相关联的操作命令(设置为显示装置2使用工作特定字体集408~411来显示字符串对象)。Name为操作命令的名称,并且以特定字符串(String)来定义供用户调用该操作命令的字符串。此外,在Command中定义了待由操作命令执行的内容。例如,操作命令定义数据723定义:当手写“業務”(工作)、“フォント”(字体)、“フードメニュー”(食物菜单)、“フード”(食物),或“メニュー”(菜单)时,显示装置2执行“Change Fontset FoodMenu”;以及将字体集(FontSet)为“FoodMenu”的工作特定字体集408设置于显示装置2(更准确而言,设置为笔ID控制数据)。用于执行操作命令的笔2500和工作特定字体集408利用笔ID控制数据彼此关联。需要指出的是,显示装置2可以简单地设置有工作特定字体集408,而不将工作特定字体集与笔关联起来。
类似地,操作命令定义数据724定义将工作特定字体集409与笔2500关联起来,操作命令定义数据725定义将工作特定字体集410与笔2500关联起来,操作命令定义数据726定义将工作特定字体集411与笔2500关联起来。笔2500可以是用户使用的笔。
操作命令定义数据727或728调用业务特定(行业特定)工作集420或421,以定义将业务特定字体集412~415或416~419分别与笔1~4关联起来的操作命令(设置为显示装置2使用业务特定字体集412~415或416~419来显示显示字符串对象)。例如,操作命令定义数据727定义:当手写“業種”("业务/行业"),“ワーク”("工作")以及“建設”("建筑")时,显示装置2执行"Change Workset Construction"(变更工作集建筑);以及调用WorkSet为“Construction”(建筑)的业务特定工作集420,以将笔1-4与业务特定字体集412~415关联起来。类似地,操作命令定义数据728定义将笔1~4与业务特定字体集416~419关联起来。
接下来,对具有选择对象的操作命令定义数据,即,编辑和修饰相关的操作命令定义数据进行说明。图13示出当存在由手写对象选择的选择对象时的操作命令定义数据的一例。图13所示的操作命令定义数据具有操作命令名称(Name)、操作命令候选的组名称(Group)、以及所执行的操作命令字符串(Command)。
操作命令定义数据707定义编辑相关(Group="Edit")的操作命令,是编辑相关的操作命令名称“消去”(消除)、“移動”(移动)、“回転”(旋转)以及“選択”(选择)的定义数据例。换言之,对选择对象显示这些操作命令,使得用户选择期望的操作命令。
操作命令定义数据708定义修饰相关的操作命令(Group="Decorate"),是修饰相关的操作命令名称“太く”(粗)、“細く”(细)、“大きく”(大)、“小さく”(小)以及“下線”(下划线)的定义数据例。对选择对象显示这些操作命令,使得用户选择期望的操作命令。此外,可以选择颜色操作命令。
从而,响应于用户通过手写对象选择选择对象,确定操作命令定义数据707、708。因此,可以通过用户的手写来显示操作命令。
<用户定义数据>
接下来,将参照图14对用户定义数据进行说明。图14示出操作命令定义单元33保持的用户定义数据例。图14的用户定义数据是单个用户的定义数据例。用户定义数据717中的"AccountId"为自动分配给每个用户的用户标识信息;"AccountUsername"和"AccountPassword"为用户名和密码;"SignatureId"为在手写签名数据注册时自动分配的手写签名数据的标识信息;"username"、"password"以及"machinename"分别为代替系统定义数据项704至706设置于操作命令定义数据项701至703的字符串。由此,可以执行使用用户定义的数据的操作命令。
当用户手写用户名等来进行登录时,利用PenId和AccountId与笔ID控制数据相关联的事实(见图17A),在执行操作命令时使用具有与用户使用的笔2500的PenId相关联的AccountId的用户定义数据的字符串。用户登出后,即使使用用户已用于登录的笔2500,在执行操作命令时也使用系统定义数据的字符串。
用户定义数据718为在用户定义数据变更表中使用的数据。“Name”为用户定义数据717的“AccountUsername”、“AccountPassword”、“username”、“password”或“machinename”的项目名称,“Data”为“AccountUsername”、“AccountPassword”、“username”、“password”或“machinename”的变更值。在该示例中,“名前”("名称")的数据为"%AccountName%",“パスワード”("password")的数据为"%AccountPassword%",“フォルダーユーザー名”("文件夹用户名")的数据为"%username%",“フォルダーパスワード”("文件夹密码")的数据为"%password%",“フォルダーファイル名”("文件夹文件名"的数据为"%machinename",对应于用户定义数据717。输入在用户定义数据变更表的这些项目被反映于用户定义数据717中。
也可以由用户将后述的颜色定义数据注册于用户定义数据717,使得用户可以利用由用户定义的颜色定义数据进行输入。
<手写签名数据>
接下来,将参照图15对手写签名数据进行说明。图15示出由手写签名数据存储单元39保持的手写签名数据的一例。手写签名数据具有表示与SignatureId相关联的手写签名的数据。SignatureId为在手写签名数据注册时自动分配的标识信息,Data为由手写签名认证控制单元38的手写签名认证算法根据从手写签名认证控制单元38接收的笔画数据计算出的数据。
<手写输入存储单元保存的手写输入存储数据>
接下来,将参照图16对手写输入存储数据进行说明。图16示出存储在手写输入存储单元25中的手写输入存储数据的一例。图16中的行表示笔画、句子(文本)或图像。
在Type(类型)为“Stroke”的情况下,一个手写输入存储数据具有DataId、Type、PenId、ColorId、Angle、StartPoint、StartTime、EndPoint、EndTime、Point以及Pressure的各个项。DataId为笔画的标识。Type为手写输入存储数据的类型。类型包括笔画(Stroke)、组(Group)、文本(Text)以及图像(Image)。手写输入存储数据801及802的类型为Stroke,手写输入存储数据803的类型为Group,手写输入存储数据804、805及806的类型为Text,手写输入存储数据807的类型为Image。
“Group”意指将其他笔画划分组,类型为“Group”的手写输入存储数据指定待用DataId分组的笔画。PenId、ColorId以及Angle是从下述笔ID控制数据复制的。StartPoint为笔画的开始坐标,StartTime为笔画的开始时间。EndPoint为笔画的结束坐标,EndTime为笔画的结束时间。Point为从起点到终点的坐标的序列,而Pressure是从起点到终点的笔压。如Angle所示,表明手写输入存储数据项804和805在手写识别之前分别顺时针旋转180度和270度。
此外,类型为“Text”的手写输入存储数据项804、805和806具有Text、Font Name和FontSize。“FontName”为文本字体名称,“FontSize”为字符尺寸,“Text”为文本的内容(字符码)。字符尺寸的单位不仅为“mm”,还包括点(pt)、像素(px)、百分数(%)、em等,可以使用任何单位。
若笔ID控制数据中没有FontName,则手写输入存储单元25将图7A所示的已定义控制数据的估计字符尺寸405的字体样式(FontStyle)复制于手写输入存储数据。在这种情况下,将已定义控制数据的字体样式(FontStyle)变更为FontName。关于字体大小(FontSize),当笔ID控制数据中没有字体集(FontSet)时,从图7A的已定义控制数据的估计字符尺寸405复制字体大小(FontSize)。在这种情况下,将字体大小(FontSize)的单位从mm转换为pt。当所述笔ID控制数据具有字体集(FontSet)时,复制选自图7A和图7B的已定义控制数据的工作特定字体集408~411和业务特定字体集412~419的字体样式(FontStyle)和字体大小(FontSize)。在这种情况下,将已定义控制数据的字体样式(FontStyle)变更为字体名称(FontName),并将字体大小(FontSize)的单位由mm转换为pt。
存储文件时,手写输入存储数据801~805作为手写输入源数据可以被附加为元数据。从而,读取文件时,显示装置2可以获得手写输入存储数据801至805。在显示装置2向外部设备发送手写输入存储数据时,当外部设备为彩色支持装置时,显示装置2可以将手写输入存储数据转换为彩色数据,当外部设备为黑白支持装置时,可以将手写输入存储数据转转为彩色数据或不转换为彩色数据。当发送至黑白突出显示支持装置时,显示装置2只需发送手写输入存储数据即可。如上所述,手写输入存储数据项801~805与黑白强调和彩色转换均相对应。
手写输入存储数据项801-805为手写输入源数据,而手写输入存储数据项806~807不是手写输入源数据。这些是由文件读取命令读取的文件。上述内容根据ColorId中是否登记有由下述颜色定义数据定义的颜色值来确定。例如,手写输入存储数据801的ColorId为"Black",而手写输入存储数据806的ColorId为"#e6001200"。"#e6001200”由“#”和十六进制的8位数表示。以每两位数表示R(红)、G(绿)、B(蓝)以及A(透明度)。
如上所述,对于手写源文本数据,ColorId包含表示颜色信息的字符串,但对于非手写源文本数据,ColorId为"#颜色值”。这样,手写输入存储单元25可以通过关注ColorId来确定是否为手写源文本数据。
手写输入存储单元25将文件收发控制单元37读取的文本数据的颜色存储为ColorId="#e6001200"。从而,手写输入存储数据806不对应于黑白强调,而仅对应于彩色转换。
手写输入显示控制单元23基于ColorId确定数据是否为手写输入源数据,当数据不是源自手写时,根据RGBA计算并显示灰度值。若显示装置2为彩色支持装置,则按原样显示RGBA。
手写输入存储数据807也是通过文件读取命令从存储介质读取的图像文件。若Type为“Image”,则手写输入存储数据807具有FileId和FileName。FileId为手写输入存储数据中的控制编号,FileName为原始文件名。例如,当文件收发控制单元37读取图12中(a)的文件"color_chart.pdf"时,中央的RGBCMY的文本以手写输入存储数据806的形式被存储于手写输入存储单元25。此外,环形颜色部分以手写输入存储数据807的形式被存储于手写输入存储单元25。需要指出的是,Type=“Image”的手写输入存储数据自然不是手写输入源数据。因此,手写输入显示控制单元23可以通过Type确定数据是否源自手写。
在图16中,手写输入显示控制单元23基于ColorId的值来确定数据是否为手写输入源数据。然而,可以通过专用标志等来记录数据是否源自手写。此外,虽然限于Type为“Stoke”的手写数据,但可以由形状来确定该数据是否源自手写。在这种情况下,学习装置以深度学习等学习表示手写输入源数据或非手写输入源数据的教师数据与字符形状之间的对应关系,并输出所输入的字符形状是否为手写输入源数据。
此外,手写输入源数据不仅可以包括基于字符识别从手写数据转换的文本数据,还可以包括基于用户的操作而转换的数据,如显示为“済”(完成)或“秘”等(机密)等固定的字符或标记的戳记、圆形或星形等形状、以及直线。
手写输入存储数据在图32的步骤S7(笔坐标和接收时间)、图39的步骤S88(获取手写输入存储数据)、图39的步骤S96(文件存储)等中使用。
<存储于笔ID控制数据存储单元的笔ID控制数据>
接下来,将参照图17A对笔ID控制数据进行说明。图17A是示出存储于笔ID控制数据存储单元36的笔ID控制数据的图。笔ID控制数据控制每个笔1~4的字体集、角度、颜色、用户等。图17A示出有四个笔2500时的情况。图17A的一个行表示一个笔的笔ID控制数据。此外,图17B是示出当用户相对于显示装置2进行手写时的角度信息的图。角度信息可以是用户存在的方向的角度,可以是使用笔的方向的角度,或者,可以是关于用户手写的字符的旋转的角度。以显示装置2的预定的方向(例如,垂直方向)为0度(基准),每个用户的角度信息为以逆时针方向45度、90度、135度、180度、225度、270度以及315度。
需要指出的是,角度信息不是通过用户的位置自动确定的。每个用户输入(指定)角度信息。可指定的角度信息的分辨率(图17B中为45度)仅仅是一示例,可以更小,如5度至30度。需要指出的是,认为若字符以约45度旋转,则用户可以阅读。
笔ID控制数据包括PenId、FontName(字体指定)、FontSet(字体集指定)、ColorId、角度以及AccountId。
当用户按下图23A至23D所示的选择按钮例中的按钮时,添加字体集(FontSet)。字体集(FontSet)由图7A和图7B中的已定义控制数据的工作特定字体集408~411以及业务特定字体集412~419定义。在使用设置了字体集的笔来显示的字符串对象的情况下,获取与图7A和图7B的已定义控制数据的工作特定字体集408~411或业务特定字体集412~419的字体集(FontSet)相对应的字体样式(FontStyle)和字体大小(FontSize),而不是图7A所示的已定义控制数据的估计字符尺寸405的字体样式(FontStyle)和字体大小(FontSize)。该处理通过图39的控制顺序图的步骤S81中获取字符串对象字体来进行。
例如,若在笔ID控制数据添加FontSet="FoodMenu",则使用(显示)已定义控制数据的工作特定字体集408的小号字符的字体样式(FontStyle)=“教科書体”("教科书体")和字体大小(FontSize)="25mm"。类似地,使用(显示)中号字符的字体样式(FontStyle)=“丸ゴシック体”("圆形哥特体”)和字体大小(FontSize)="50mm”。使用(显示)大号字符的字体样式(FontStyle)=“ポップ体”("流行体")和字体大小(FontSize)="100mm"。
另一方面,当用户按下图21A和图21B的笔颜色选择按钮81~86时,添加FontName。当添加FontName时,在由PenId显示的字符串对象中,获取FontName,而不是图7A所示的已定义控制数据的估计字符尺寸405的字体样式(FontStyle)。该处理通过在图39的控制顺序图的步骤S81中获取字符串对象字体来进行。
字体集(FontSet)和FontName在指定字体方面均相同。但是,对于字体集(FontSet),同时变更小号字符、中号字符以及大号字符的字体和尺寸。对于FontName,小号字符、中号字符以及大号字符的字体均变更为相同的字体。由于字体集(FontSet)和FontName不兼容,在本实施例中,当添加字体集(FontSet)和FontName中的一个的情况下,手写输入显示控制单元23删除字体集(FontSet)和FontName中的另一个。
ColorId、Angle以及AccountId不是必需项。若未设置这些项,则假定已设置默认值。PenId为存储于笔2500的标识信息。ColorId表示使用笔2500的用户选择的颜色(可以由用户更改)。对ColorId设置待后述的颜色定义数据的颜色ID。颜色定义数据中定义有每个颜色的详情和浓淡。
Angle为对笔2500设置的笔画的角度信息(用户可以任意更改)。在图17A的示例中,笔1的角度信息为以顺时针方向0度。AccountId为用户用于登录的笔的用户的标识信息。通过将PenId与AccountId相关联,可以确定与用户使用的笔2500的PenId相关联的AccountId,并使用用户定义数据执行操作命令。
笔ID控制数据项1206~1209为当设置了工作特定字体集408~411时的笔ID控制数据项,图17A示出在四个笔1~4中的每一个中选择具体的字体集的情况。笔ID控制数据1206是PenId为1、字体集为“FoodMenu”、颜色为黑色、角度信息为0度、以及AccountId=1的笔ID控制数据。AccountId=1的用户为图14的用户定义数据717的用户。表明该用户手写了用户名,登录并选择了“FoodMenu”的字体集和黑色。没有AccountId的笔ID控制数据表示登出状态(未与用户相关联)。
笔ID控制数据1207表示用笔2输入的字符串对象以"Design"的字体集显示。笔ID控制数据1208表示用笔3输入的字符串对象以"Report"的字体集显示。笔ID控制数据1209表示用笔4输入的字符串对象以"Spread Sheet"的字体集显示。上述与字体之间的关联是一示例。设置用户使用笔1~4选择的字体集。
笔ID控制数据项1210~1213为当设置了业务特定字体集412~415时的笔ID控制数据项。因此,笔ID控制数据项1210至1213表示用笔1至4输入的字符串对象分别使用"Construction1"、"Construction2"、"Construction3"以及"Construction4"的字体集显示。
笔ID控制数据项1214~1217为当设置了业务特定字体集416~419时的笔ID控制数据项。因此,笔ID控制数据项1214至1217表示用笔1至4输入的字符串对象分别使用"Factory1"、"Factory2"、"Factory3"以及"Factory4”的字体集显示。
所述笔ID控制数据在图32的步骤S5(获取笔ID控制数据)、图34的步骤S20(存储笔ID控制数据的角度信息)、图34的步骤S21(获取笔ID控制数据的角度信息)、以及图36的步骤S60(获取笔ID控制数据)中使用。
<颜色定义数据>
图18示出颜色定义数据的一例。颜色定义数据的一行定义一个颜色。颜色定义数据定义相对于ColorId的黑白支持设备上的黑白强调显示(黑白图案和宽度(Pattern)以及边框(Edged)的显示方法),以及彩色转换方法(彩色支持装置上的颜色信息(Color)和宽度(Width)的显示方法)。颜色信息用#和十六进制的8位数表示,用2位数表示#R(红色),用2位数表示G(绿色),用2位数表示B(蓝色),用2位数表示A(透明)。“px”表示像素宽度。需要指出的是,颜色定义数据仅适用于手写输入源数据。
颜色定义数据1001是ColorId为"Black"的定义例。“Pattern”表示笔画或文本边缘的内容,“Edged”表示边缘存在或不存在,“Color”表示RGBA颜色信息,“Width”表示线宽。颜色定义数据1001表示黑白突出显示支持装置以纯黑5像素宽度+无边缘来显示手写输入存储数据、以及彩色支持装置以黑的透明度0%+5像素宽度进行显示。类似地,颜色定义数据1002表示黑白支持装置以纯黑3像素宽度+从外侧黑边1像素宽度+白边2像素宽度进行显示、以及彩色支持装置以比色图表的红色透明度0%+5像素宽度显示。颜色定义数据1003表示黑白突出显示支持装置以纯白4像素宽度+黑边1像素宽度进行显示、以及彩色支持装置以比色图表的蓝色0%透明度+5像素宽度进行显示。颜色定义数据1004表示黑白突出显示支持装置以黑点图案4像素宽度+黑边1像素宽度进行显示、以及彩色支持装置以比色图表的绿色透明度0%+5像素宽度进行显示。颜色定义数据1005表示黑白突出显示支持装置以带有白色透明的黑色右上斜线图案的5像素宽度+无边框进行显示、以及彩色支持装置以比色图表的洋红色且60%透明度进行显示。颜色定义数据1006表示黑白突出显示支持装置以带有白色透明的黑色水平线图案的5像素宽度进行显示、以及彩色支持装置以比色图表的青色透明度60%进行显示。
如上所述,颜色定义数据包括黑白强调和彩色转换使能数据。颜色定义数据由手写输入存储单元25保持,且用于转换手写输入存储数据。
通过在系统定义数据和用户定义数据中定义颜色定义数据,并提供用于变更用户定义数据中的颜色定义数据的用户定义数据变更表,登录后用户可以将颜色定义更改为个性化的颜色定义。
图19A和图19B示出使用图18的颜色定义数据黑白突出显示的数据和以彩色显示方法显示的数据。图19A为由黑白突出显示支持装置显示黑白强调的一表示,图19B为彩色支持装置转换成彩色显示的一表示。为了绘图的方便起见,图19B也示出黑白(画影线)。
符号C1表示手写源文本的“黒”("黑色")、“赤”("红色")、“青”(蓝色")、“緑”("绿色")、“マゼンタ”("洋红色")以及“シアン”("青色")。符号C2表示笔画(手写)的“黒”("黑色")、“赤”("红色")、“緑”("绿色")、“マゼンタ”("洋红色")以及“シアン”("青色")。符号C3表示弹簧形的笔画(手写)。符号C4表示环形的比色图表(图像)。符号C5表示比色图表内的RGBCMY(不是源自手写的文本)。在符号C3的下方,有源自手写的黑色的文本“Transparent”。
假定符号C4的比色图表和符号C5的文本RGBCMY为从PDF文件等读取的数据,且不是源于手写的。从而,当描述为由图16所示的手写输入存储单元25存储的手写输入存储数据时,符号C2的笔画(手写)被存储为诸如图16的手写输入存储数据项801和802的手写输入存储数据。符号C1的手写源文本被存储为诸如图16的手写输入存储数据项804和805的手写输入存储数据。符号C5的不是源自手写的文本被存储为诸如图16的手写输入存储数据806的手写输入存储数据。符号C4的图像被存储为诸如图16的手写输入存储数据807的手写输入存储数据。每个手写输入存储数据的颜色信息由ColorId定义。
如从图19A和图19B的比较中可以看出,由于文本“R”不是源自手写的,因而图19B的符号C10的比色图表内的红色文本“R”在图19A中以灰度显示。另一方面,由于符号C6的文本"红色”是源自手写的,因而文本"红色”在图19A中以黑白突出显示进行显示。
此外,洋红色和青色是半透明的,在图19B中,"Transparent"是可见的,在图19A中,由于白色图案是透明的,因而洋红色和青色是半透明的。如上所述,黑白突出显示支持装置可以使用黑白突出显示来表示用于强调的颜色,而彩色设备可以将数据转换为彩色并进行显示。
颜色定义数据在图32的步骤S6(坐标补全显示数据)、图39的步骤S82(字符串对象显示数据)以及图39的步骤S100(对象显示数据)中使用。
<笔颜色选择按钮定义数据>
接下来,将参照图20和图21A和图21B对由用户选择笔颜色的方法进行说明。图20是笔颜色选择按钮定义数据的一例。笔颜色选择按钮定义数据是将显示于显示器220的笔颜色选择按钮与ColorId相关联的数据。笔颜色选择按钮定义数据具有笔按钮ID(PenButtonId)、图标文件(Icon)、颜色ID(ColorId)以及字体名称(FontName)。
图21A和图21B是显示于显示器的的笔颜色选择按钮81~86的一例。笔颜色选择按钮81~86使用上述图标文件显示。假定所述笔颜色选择按钮81~86以笔按钮ID的升序由左至右地显示。
当用户用笔2500按下笔颜色选择按钮81~86时,在所述笔ID控制数据中添加ColorId和FontName,此后,使用ColorId和FontName显示用笔2500输入的手写对象或字符串对象。
笔颜色选择按钮定义数据1101是显示在最左侧的笔颜色选择按钮81的定义数据。当用户用笔2500按下笔颜色选择按钮81时,用笔2500手写的笔画数据的ColorId为“Black”,且手写识别后的文本的字体为“明朝体”(“明朝体”)。笔颜色选择按钮数据1102对应于从左数第二个显示的笔颜色选择按钮82。笔画数据的ColorId为"Red",且手写识别后的文本的字体为“ポップ体”("流行体”)。类似地,笔颜色选择按钮定义数据项1103~1106定义笔颜色选择按钮83~86的显示位置、ColorId以及文本的字体。
图21A示出基于笔颜色选择按钮定义数据来黑白突出显示的文本字体的一例。文本字体显示例为说明性的显示,但可以在用户悬停笔2500时显示。图21B示出基于笔颜色选择按钮定义数据由彩色支持装置彩色显示的文本字体的一例(理应以彩色显示,但为了绘图的方便起见,以黑白显示)。
如图21A所示,不仅可以使用黑白强调,还可以借助字体的变更,以更有效地进行黑白强调。
通过在系统定义数据和用户定义数据中定义所述笔颜色选择按钮定义数据,并提供用于变更用户定义数据中的笔颜色选择按钮定义数据的用户定义数据变更表,手写登录认证后用户可以更改为个性化的颜色选择按钮。因此,ColorId和字体之间的对应仅仅是一示例。
笔颜色选择按钮的设置内容在图32的步骤S6(坐标补全显示数据)、图39的步骤S82(字符串对象显示数据)以及图39的步骤S100(对象显示数据)中使用。
<工作特定字体集选择按钮定义数据>
接下来,将参照图22和图23A至23D对方法使用按钮选择字体集的方法进行说明。图22是工作特定字体选择按钮定义数据的一例。工作特定字体集选择按钮定义数据项1912~1915为将显示于显示器220的工作特定字体集选择按钮331-334与字体集(FontSet)相关联的定义数据项。工作特定字体集选择按钮定义数据项1912~1915包括笔按钮ID2(PenPenButtonId2),图标文件(Icon)以及字体集(FontSet)。
图23A~23D是显示于显示器的220的工作特定字体集选择按钮331~334的一例。图23A是食物菜单用字体集的工作特定字体集选择按钮331。图23B是用于绘图的字体集的工作特定字体集选择按钮332。图23C是用于报告的字体集的工作特定字体集选择按钮333。图23D是用于表创建的字体集的工作特定字体集选择按钮334。工作特定字体集选择按钮331~334通过图22的图标文件显示。假定工作特定字体集选择按钮331至334以笔按钮ID2的升序由左至右地显示。
工作特定字体集选择按钮定义数据1912为显示在最左侧的工作特定字体集的定义数据。当用户用笔2500按下工作特定字体集选择按钮331时,在笔ID控制数据中设置笔2500的PenId、以及“FoodMenu”的字体集(FontSet)。当用户用笔2500按下工作特定字体集选择按钮332时,在笔ID控制数据中设置笔2500的PenId和“Design”的字体集(FontSet)。当用户用笔2500按下工作特定字体集选择按钮333时,在笔ID控制数据中设置笔2500的PenId和“Report”的字体集(FontSet)。当用户用笔2500按下工作特定字体集选择按钮334时,在笔ID控制数据中设置笔2500的PenId和“SpreadSheet”的字体集(FontSet)。
如上所述,用户可以自由地选择笔2500的颜色和字体集。需要指出的是,显示单元22可以对工作特定字体集显示选择按钮。
工作特定字体集选择按钮的设置内容在图39的步骤S82(字符串对象显示数据)中使用。
<可选候选的显示例>
图24是操作指南和由操作指南显示的可选候选530的一例。用户手写手写对象504(由于可选候选显示计时器的超时),由此显示操作指南500。操作指南500包括操作标头520、操作命令候选510、手写识别字符串候选506、转换字符串候选507、字符串/预测转换候选508以及手写对象矩形区域显示503。可选候选530包括操作命令候选510、手写识别字符串候选506、以及字符串/预测转换候选508。在该示例中,没有显示语言转换字符串。但是,存在显示语言转换字符串的情况。除操作命令候选510以外的可选候选530被称为字符串候选539。
操作标题520具有按钮501、509、502以及505。按钮501接收预测转换与“假名”转换间的切换操作。在图24的示例中,当用户按下表示“预测”的按钮509时,手写输入单元21接收该按钮并将其通知给手写输入显示控制单元23,显示单元22将显示变更为表示"假名”按钮509。变更之后,以"假名转换"的概率降序排列字符串候选539。
按钮502操作候选显示页面。在图24的示例中,候选显示页面具有三个页面,当前,显示第一页面。按钮505接收操作指南500的“消除”。当用户按下按钮505时,手写输入单元21接收该按钮并将其通知给手写输入显示控制单元23,显示单元22消除手写对象之外的显示。按钮509接收集体显示删除。当用户按下按钮509时,手写输入单元21进行接收并将其通知给手写输入显示控制单元23,显示单元22删除包括手写对象在内的图24所示的所有显示,以使用户从头开始重写手写。
手写对象504为用户手写的文字“ぎ”。显示围绕手写对象504的手写对象矩形区域显示503。显示步骤将参照图32至图39的顺序图进行说明。在图24的示例中,手写对象矩形区域显示503以虚线框显示。
在手写识别字符串候选506、转换字符串候选507以及字符串/预测转换候选508中的每一个中,以概率降序排列有字符串候选。手写识别字符串候选506的“ぎ为识别结果的候选。在该示例中,显示装置2准确地识别“ぎ”(“gi”)。
转换字符串候选507为由语言字符串候选转换的转换字符串候选。在该示例中,“技量試”为“技術量産試作”(技术批量生产试验)的缩写。字符串/预测转换候选508为语言字符串候选或由字符串候选转换的预测字符串候选。在该示例中,显示“技量試を決裁”(技术批量生产试验的决策)和“議事録の送付先”(会议记录的的发送目的地)。
操作命令候选510是基于图11A的操作命令定义数据项701~703、709~716、723~728选择的操作命令候选。在图24的示例中,行首字母“》”511表示操作命令候选。在图24中,对于作为手写对象504的“ぎ”,由于没有选择对象,并且作为“ぎ”的字符串候选的“議事録”与图11A所示的操作命令定义数据项701、702部分地匹配,因而显示为操作命令候选510。
当用户选择“議事録テンプレートを読み込む”(读取会议记录模板)时,执行由操作命令定义数据701定义的操作命令,当用户选择“議事録フォルダーに保存する”(保存于会议文件夹),执行由操作命令定义数据702定义的操作命令。如上所述,当找到包括转换字符串的操作命令定义数据项时,显示操作命令候选。因此,并不是总是显示。
如图24所示,由于字符串候选和操作命令候选同时(一起)显示,从而用户可以选择用户欲输入的字符串候选或操作命令。
<选择对象的指定例>
在本发明的实施方式的显示装置中,用户可以通过手写对于选择对象进行选择来指定该选择对象。选择对象成为编辑或修饰的目标。
图25A至图25D是示出对于选择对象进行指定的一例的图。在图25A至图25D中,使用黑色实线显示手写对象11,使用灰色突出显示来显示手写对象矩形区域12,使用黑色线显示确定对象13,并使用虚线显示选择对象矩形区域14。需要指出的是,对符号附以小写字母,以进一步进行区分。此外,作为用于将确定对象确定为选择对象的判定条件(是否存在预定的关系),使用图7A所示的已定义控制数据的跨线判定条件406或围线判定条件407。
图25A示出用户使用跨线(手写对象11a)指定两个横向书写的确定对象13a和13b的示例。在该示例中,由于矩形区域12a的短边的长度H1和矩形区域12a的长边的长度W1满足跨线判定条件406的条件,并且与确定对象13a和13b的重叠率满足跨线判定条件406的条件。因此,确定对象13a和13b(“議事録”和“ぎじ”)均被指定为选择对象。
图25B是用包围线(手写对象11b)指定横向书写的确定对象13c的示例。在该示例中,唯独确定对象13c与手写对象矩形区域12c的重叠率满足包围线判定条件407的条件,该确定对象13c,即“議事録”(会议记录)被指定为选择对象。
图25C是通过跨线(手写对象11c)指定竖向书写的多个确定对象13d和13e的示例。在该示例中,如图25A所示,手写对象矩形区域12d的短边的长度H1和手写对象矩形区域12d的长边的长度W1满足跨线判定条件406的条件,并且与两个确定对象13d和13e(“議事録”和“ぎじ”)各自的重叠率满足跨线判定条件406的条件。因此,确定对象13d和13e(“議事録”和“ぎじ”)均被指定为选择对象。
图25D是通过围线(手写对象11d)指定竖向书写的确定对象13f的示例。在该示例中,如图25B所示,唯独确定对象13f“議事録”被指定为选择对象。
<操作命令候选的显示例>
图26A和图26B示出基于如图13所示当存在手写对象时的操作命令定义数据的操作命令候选的显示例。图26A是编辑相关的操作命令候选,图26B是修饰相关的操作命令候选。图26A示出使用图25A中的手写对象11a指定选择对象的示例。
如图26A和图26B所示,主菜单550包括在行首字母“》”511之后显示的操作命令候选。主菜单550显示最后执行的操作命令名称或操作命令定义数据中的第一个操作命令名称。第一行的首字符“》”511a表示编辑相关的操作命令候选,第二行的首字符“》”511b表示修饰相关的操作命令候选。
行末的“〉”512表示有子菜单(子菜单按钮的一例)。第一行的">"512a用于显示编辑相关的操作命令候选的(最后选择的)子菜单,第二行的">"512b用于显示修饰相关的操作命令候选的其余子菜单。当用户按下“〉”512时,在右侧显示子菜单560。子菜单560显示在操作命令定义数据中定义的所有操作命令。在图26A的显示例中,当显示主菜单时,显示对应于第一行“〉”512a的子菜单560。子菜单560可以通过按下第一行的“〉”512a的按钮来显示。
当用户用笔按下任意操作命令名称时,手写输入显示控制单元23对选择对象执行与操作命令名称相关联的操作命令定义数据的Command(命令)。换言之,当选择“消去”521时,执行"Delete";当选择“移動”522时,执行"Move",当选择“回転”523时,执行"Rotate";并且,当选择“選択”524时,执行"Select"。
例如,若用户用笔按下“消去”(“消除”)521,则可以消除“議事録”("会议记录")和“ぎじ”。当用户按下“移動”("移动")522、“回転”("旋转")523以及“選択”("选择")524时,显示边界框(选择对象的外接矩形),从而用户可以通过笔的拖动动作来移动或旋转边界框。当用户按下“選択”524时,可以进行其他边界框操作。
除了操作命令候选以外的字符串候选“一”541、“一、”542、“~”543、“→”544以及
Figure BDA0002785630490000461
545为跨线(手写对象11a)的识别结果。若用户想要输入字符串,而不是操作命令,则可以选择字符串候选。
在图26B中,通过按下第二行">"512b,显示图26B的子菜单。在图26B的显示例中,如同图26A,显示主菜单550和子菜单560。基于图13的操作命令定义数据,当选择“太く”(粗)531时,手写输入显示控制单元23对选择对象执行"Thick"。当选择“細く”(细)532时,手写输入显示控制单元23对选择对象执行"Thin"。当选择“大きく”(大)533时,手写输入显示控制单元23对选择对象执行"Large"。当选择“小さく”("小")534时,手写输入显示控制单元23对选择对象执行“Small”,当选择“下線”(“下划线”)535时,手写输入显示控制单元23对选择对象执行“Underline”。
此外,单独定义固定值,用以表示:当选择“太く”(粗)531时加粗多少;当选择“細く”(细)532时,要达到多细;当选择“大きく”(大)533时,要实现多大;当选择“小さく”(小)534时,要实现多小;当选择“下線”(下划线)535时的线类型等。可选地,更优选地,当选择图26B的子菜单时,打开选择菜单,以使用户进行调整。
当用户用笔按压“太く”(粗)531时,手写输入显示控制单元23使构成确定对象13a和13b(“議事録”和“ぎじ”)的线变粗。当用户用笔按下“細く”(细)532时,手写输入显示控制单元23可以使构成确定对象13a和13b(“議事録”和“ぎじ”)的线变细。当用户用笔按下“大きく”(大)533时,手写输入显示控制单元23可以增大尺寸。当用户用笔按下“小さく”(小)534时,手写输入显示控制单元23可以减小尺寸。当用户用笔按下“下線”(下划线)535时,手写输入显示控制单元23可以添加下划线。
图27A和图27B示出基于如图13所示存在手写对象时的操作命令定义数据的操作命令候选的显示例。不同于图26A和图26B,图27A和图27B示出通过图25B的手写对象11b(围线)指定选择对象的示例。如从图26A~26B与图27A~27B的比较中可以看出,根据手写对象是跨线还是围线,所显示的操作命令候选没有差异。这是因为,当指定选择对象时,手写输入显示控制单元23将操作命令候选显示于显示单元22。但是,手写输入显示控制单元23可以通过识别手写对象来变更根据手写对象的操作命令候选。在这种情况下,将识别出的手写对象(“一”、“○”等)与图13所示的操作命令定义数据相关联。
在图27A和图27B中,除了操作命令候选的字符串候选"○"551、"∞"552、"0"553、"00"554以及"ロ"555为围线(手写对象11b)的识别结果,当用户想要输入字符串,而不是操作命令时,可以选择字符串候选。
<角度信息的输入例子>
接下来,将参照图28A至28C对角度信息的输入方法进行说明。图28A至图28C是说明角度信息的输入方法的示例。图28A至图28C示出存在于显示装置2的3点钟方向上的用户输入角度信息的情况。由于从3点钟方向手写的字符可以在顺时针旋转90度时被正确识别,因而优选输入90度的角度信息。
图28A示出由于存在于显示装置2的三点钟方向上的用户在笔ID控制数据的角度信息为0度(初始值)的状态下手写“ぎ”而显示操作指南500的状态。由于显示装置2使用仍然在0度的角度信息来识别从3点钟方向手写的字符“ぎ”,因而显示与期望不同的可选候选530。
当输入角度信息时,用户如用户在操作指南500中看到的那样由上至下地手写直线。图28B示出这样的直线521的一例。直线521相对于与角度信息0度对应的6点钟方向而形成的逆时针角度α为角度信息。换言之,从起点S沿6点钟方向向下画的线522与用户输入的直线521之间形成的逆时针角度α为角度信息。简言之,线521的终点方向为角度信息。因此,图28B中用户输入的角度信息为90度。
需要指出的是,关于直线的检测方法,例如,使用通过最小二乘法将起点S至终点E的坐标转换为直线,并将所得的相关系数与阈值进行比较来确定是否为直线。
紧接在用户开始写直线521之后(紧接在笔2500触碰直线521的起点S之后),显示装置2立刻消除操作指南500。紧接在完成直线521的书写之后(紧接在笔2500从直线521的终点E分离之后),显示装置2立刻从45度、90度、135度、180度、215度、270度、315度以及360度中搜索上述角度α的最接近值,并将该值确定为角度信息。角度α本身可以为角度信息。在笔ID控制数据的“Angle”中设置该确定的角度信息。当笔尖被按压以进行手写等时,笔2500的笔事件发送单元41将PenId发送至显示装置2。从而,显示装置2可以将角度信息与笔ID控制数据相关联起来。
需要指出的是,只有操作指南500能够使用户手写直线来输入角度信息。从而,当用户在操作指南500的外部手写直线时,该直线被识别为“1”或“一”等,当用户在操作指南500的内部手写直线时,可以输入角度信息。换言之,手写识别控制单元26从预定范围检测直线,并将手写在预定范围之外的笔画数据转换为文本数据。
图28C示出紧接在图28B的操作之后的操作指南500。由于在笔ID控制数据中设置有90度作为角度信息(Angle),因而手写对象(笔画数据)内部地沿顺时针方向旋转90度,并对旋转后的手写对象进行手写识别,操作指南500沿逆时针方向旋转90度而显示。需要指出的是,角度信息可以由用户从菜单手动输入。
<手写签名数据的注册例>
接下来,将参照图29A至图29C对手写签名数据的注册例进行说明。图29A至图29C是示出手写签名数据的注册方法的图。首先,图29A是当用户手写“サイン”(签名)时显示的可选候选530的一例。有“手書きサイン登録する”(进行手写签名注册)和“手書きサインアウトする”(进行手写登出)的两个操作命令513和514、字符串候选“サイン”(签名)、“サイン会”(签名会议)以及“サイン入り”(已签)显示于可选候选530中。显示两个操作命令513和514是因为图11A的操作命令定义数据713和715的“String”中包括“サイン”。
当用户用笔2500按下“手書きサイン登録する”(进行手写签名注册)时,在手写输入存储单元25中添加手写签名注册表561,并显示于操作屏幕101。例如,图29A的操作指南500被消除,并在与操作指南500相同的位置显示手写签名注册表561。手写签名注册表561从顶行包括名称输入字段561a、签名输入字段561b~561d、以及注册确认字段561e。用户在名称输入字段561a中输入名称文本;在签名字段561b~561d中输入第一个手写签名、第二个手写签名、以及第三个手写签名;并且在注册确认字段561e中输入复选标记或取消标记。名称文本为用户的显示名,并且被转换为文本数据。输入三个手写签名是因为每次用户书写时手写签名都会不同。基于手写签名数据项不完全匹配的假设来注册手写签名的每个特征值。
需要指出的是,通常,手写签名是与用户有关的字符,例如用户名称,并且,除了用户名称外,还可以是诸如雇员编号的数字、昵称、肖像画等。此外,手写签名不限于与用户有关的字符,而可以是某种手写对象。手写签名可以是例如圆形、三角形、正方形、符号或其组合。关于手写签名,特征数据不限于坐标。因此,即使姓氏相同的用户(例如,铃木先生)均注册手写签名“すずき”,仍可以准确地进行认证。
当用户根据指示在手写签名注册表561中输入手写时,手写签名注册表561应如图29C所示。当用户在注册确认字段561e中手写“复选标记”时,手写签名数据被注册于手写签名数据存储单元39,并且手写签名注册表格561被消除。响应于注册,对SignatureId进行编号。类似地进行编号的AccountId和名称输入字段561a中的名称文本与SignatureID相关联,并且关联结果被注册于用户定义数据中。当用户手写用户名称并登录时,获取在用户定义数据中与AccountId相关联的SignatureId,并将其与在手写登录中使用的笔2500的PenId相关联地注册于笔ID控制数据中。此后,若用户使用笔2500,则笔ID被发送至显示装置2,并且在笔ID控制数据中确定与PenId相关联的AccountId,用户可以使用用户定义数据来执行操作命令,而无需用户的有意识的操作。
若在注册确认字段561e中手写"×",则手写签名注册被取消,并且手写签名注册表561被消除。需要指出的是,若在注册中发生错误,则在操作屏幕101的系统保留区域中显示该错误。
如上所述,手写输入显示控制单元23可以在不区分对手写签名注册表561的手写输入和除了手写签名注册表561以外的手写输入的情况下接收手写输入。
<通过手写登录的示例>
接下来,将参照图30对注册手写签名数据之后用户进行登录的方法进行说明。图30是示出当用户手写由用户注册的手写签名数据"すずき“(铃木)时显示的操作指南500的一例的图。"すずき“(铃木)作为手写签名数据被注册于操作命令定义单元33中,因而"すずき(铃木)”与手写签名数据匹配。因此,显示“手書きサインインする”(手写登录)的操作命令512。
此外,由于手写签名数据匹配,因而表示"すずき“(铃木)的SignatureId被确定,并且具有与SignatureId相关联的AccountId的用户定义数据被确定。
若用户选择操作命令512,即“手書きサインインする”(手写登录),则"すずき(铃木)”的AccountId与用户所使用的笔2500的PenId相关联,并被添加至笔ID控制数据,以便在使用操作命令时可以使用"すずき(铃木)”的用户定义数据。
由于使用图30的手写签名注册表561的手写签名数据的注册被作为字符等通常的手写输入的一部分来控制,手写签名注册表561被显示于与手写字符等的操作屏幕相同的操作屏幕。手写签名注册表561的内部和外部的手写操作没有差异,从而用户只需通过手写至手写签名注册表561的格线所界定的区域中即可完成向手写签名注册表561的输入。
<用户定义数据的变更操作例>
接下来,将参照图31A和图31B对用户定义数据的变更方法进行说明。图31A和图31B是示出用户定义数据的变更方法的图。图31A是当用户手写“せ”时显示的操作指南500的一例。在图11A所示的操作命令定义数据716中,在String中定义有“設定”(设置),并且“せ”的预测字符串包含“設定”(设置)。因此,显示操作命令“設定変更する”(更改设置)。
当用户使用手写登录用的笔2500选择“設定変更する”(更改设置)时,根据所述笔ID控制数据来确定与笔2500的PenId相关联的用户的AccountId。由此,登录的用户的用户定义数据被确定,并且图31B的用户定义数据变更表562被添加至手写输入存储单元25,并显示于操作屏幕101。在图31A和图31B的示例中,根据图14的用户定义数据718创建用户定义数据变更表562。用户定义数据变更表562包括名称字段562a、密码字段562b、文件夹用户名称字段562c、文件夹密码字段562d、文件夹文件名称字段562e、以及注册或取消字段562f。
需要指出的是,若用户没有预先登录,则显示装置2不能确定用户的AccountId,从而导致错误,并且在操作屏幕101的系统保留区域中显示错误消息。
用户在图31B的用户定义数据变更表562的密码字段562b中手写密码。用户在文件夹用户名称字段562c中手写文件夹用户名称。用户在文件夹密码字段562d中手写文件夹密码。用户在文件夹文件名称字段562e中手写文件夹文件名称。用户在注册或取消字段562f中手写复选标记或“×”。由此,执行用户定义数据的变更,并消除用户定义数据变更表562。
如上所述,用户可以通过手写用于显示用户定义数据变更表562的笔画数据来使得用户定义数据变更表562被显示,并且可以自由地更改用户定义数据。手写输入显示控制单元23在不区分向用户定义数据变更表562的手写输入和用户定义数据变更表562以外的手写输入的情况下接收手写输入。
需要指出的是,在名称字段562a中自动显示用户定义数据中包括的AccountUsername。用户定义数据变更表562不仅可以用于变更,而且还可以用于注册。
使用图31A和图31B的用户定义数据变更表562的用户定义数据的变更被作为字符等通常的手写输入的一部分来控制,从而用户定义数据变更表562被显示在与手写字符等的操作屏幕相同的操作屏幕。用户定义数据变更表562的内部的手写操作和用户定义数据变更表562的外部的手写操作没有差异。用户只需通过手写至用户定义数据变更表562的界定区域中即可完成向用户定义数据变更表562的输入。
<操作步骤>
将参照考上述配置和图32至图39对显示装置2的操作进行说明。图32至图39是示出显示装置2显示字符串候选和操作命令候选的处理的顺序图。图32所示的处理在显示装置2启动时(应用程序启动时)开始。需要指出的是,在图32至图39中,为了节省空间,图6A和图6B所示的功能用附图标记示出。
假定在开始输入手写数据之前,用户已通过执行笔颜色选择按钮81~86或操作命令定义数据项709、710、711、720、721和722选择了一种颜色(已确定PenId)。从而,
a.根据所述笔颜色选择按钮定义数据来确定笔按钮ID、ColorId以及字体。
b.在笔ID控制数据中注册PenId、ColorId以及FontName。
S1:首先,手写输入显示控制单元23将手写对象的开始发送至手写输入存储单元25。手写输入存储单元25分配手写对象区域(用于存储手写对象的存储区域)。可以在用户用笔触碰手写输入单元21之后分配手写对象区域。
S2:接下来,用户用笔触碰手写输入单元21。手写输入单元21检测落笔并将其发送至手写输入显示控制单元23。
S3:手写输入显示控制单元23将笔画开始发送至手写输入存储单元25,手写输入存储单元25分配笔画区域。
S4:当用户使笔与手写输入单元21接触而移动时,手写输入单元21将笔坐标发送至手写输入显示控制单元23。
S5:手写输入显示控制单元23与坐标输入同时指定从笔2500接收的PenId,并获取存储在笔ID控制数据存储单元36中的当前笔ID控制数据。由于在输入坐标时发送PenId,因而笔画和PenId相互关联。笔ID控制数据存储单元36将笔ID控制数据发送至手写输入显示控制单元23。需要指出的是,角度信息仍为初始值零。由于用户尚未登录,因而没有AccountId。
S6:手写输入显示控制单元23将笔坐标补全显示数据(对于离散笔坐标进行插值的数据)发送至显示单元22。显示单元22用笔坐标补全显示数据对笔坐标进行插值,并基于笔ID控制数据的ColorId从颜色定义数据指定线的类型和粗细来显示笔画。
S7:手写输入显示控制单元23将笔坐标、其接收时间、ColorId以及角度信息发送至手写输入存储单元25。手写输入存储单元25将笔坐标添加至笔画。在用户移动笔的期间,手写输入单元21定期地重复向手写输入显示控制单元23的笔坐标的发送。重复步骤S4至S7的处理,直至提笔。
S8:当用户从手写输入单元21释放笔时,手写输入单元21将提笔发送至手写输入显示控制单元23。
S9:手写输入显示控制单元23向手写输入存储单元25发送笔画的结束,手写输入存储单元25确定笔画的笔坐标。确定笔画的笔坐标之后,便无法将笔坐标添加至笔画中。
S10:接下来,手写输入显示控制单元23基于手写对象近邻矩形区域,向手写输入存储单元25发送手写对象近邻矩形区域与笔画矩形区域的重叠状态的获取请求。手写输入存储单元25计算重叠状态,并将重叠状态发送至手写输入显示控制单元23。
当手写对象近邻矩形区域与笔画矩形区域相互不重叠时,执行后续步骤S11至S17。
S11:当手写对象近邻矩形区域与笔画矩形区域相互不重叠时,确定一个手写对象。因此,手写输入显示控制单元23将保持数据清除发送至手写识别控制单元26。
S12至S14:手写识别控制单元26将保持数据清除分别发送至字符串转换控制单元28、预测转换控制单元30以及操作命令识别控制单元32。手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30以及操作命令识别控制单元32清除与已保持的字符串候选和操作命令候选有关的数据。需要指出的是,在清除的时间,最后的手写笔画未被添加至手写对象。
S15:手写输入显示控制单元23向手写输入存储单元25发送手写对象的结束。手写输入存储单元25确定手写对象。手写对象的确定意指完成一个手写对象(不再添加笔画)。
S16:手写输入显示控制单元23向手写输入存储单元25发送手写对象的开始。为下一个手写对象的手写的开始(落笔)准备,手写输入存储单元25分配新的手写对象区域。
S17:接下来,手写输入显示控制单元23向手写输入存储单元25发送关于在步骤S9中完成的笔画的笔画添加。当执行步骤S11至S17时,附加的笔画为手写对象的第一笔画,手写输入存储单元25将笔画数据添加至正在开始中的手写对象。若未执行步骤S11~S17,附加的笔画被添加至已在手写中的手写对象。
S18:之后,手写输入显示控制单元23向手写识别控制单元26发送笔画添加。手写识别控制单元26在存储字符串候选的笔画数据保持区域(临时存储笔画数据的区域)中添加笔画数据。
S19:手写识别控制单元26对笔画数据保持区域进行手势手写识别。手势手写识别指从直线识别角度信息。需要指出的是,由于手势手写识别在操作指南500的内部进行,因而手写识别控制单元26检测操作指南500内部的直线。操作指南500的位置信息在后述步骤S67中被发送至手写识别控制单元26。
S20:当检测到操作指南500内的直线时,以45度单位确定从该直线的起点向下朝6点钟方向画的线522与用户输入的直线521之间形成逆时针角度α。此外,手写识别控制单元26通过将所确定的角度信息与直线521的笔画数据中包括的PenId相关联来将所确定的角度信息存储于笔ID控制数据存储单元36。需要指出的是,当在操作指南500中检测到直线时执行步骤S20。
S20-2:手写识别控制单元26清除可选候选显示矩形。
S21:接下来,手写识别控制单元26指定从手写输入单元21接收的PenId,并从笔ID控制数据存储单元36获取当前笔ID控制数据的角度信息。
S22:手写识别控制单元26利用获取到的角度信息沿顺时针方向旋转笔画数据保持区域中的笔画数据。
S23:手写识别控制单元26向手写签名认证控制单元38发送旋转之后的笔画数据。如上所述,笔画数据总是在不清楚笔画数据是否为手写签名的条件下被发送至手写签名认证控制单元38。
S24:手写签名认证控制单元38接收笔画数据,并从手写签名数据存储单元39接收已注册的手写签名数据。此外,手写签名认证控制单元38将笔画数据与手写签名数据进行比较(匹配),并保持手写签名认证结果,以便在后期步骤S61中获得手写签名的认证结果。当认证成功时,在笔ID控制数据中注册AccountId。
S25:接下来,手写识别控制单元26对笔画数据执行手写识别,并且当表格的注册或取消字段为“复选标记”或“×”时,进行表格的处理,否则,进行通常的手写识别。
S26:当手写签名数据注册表的注册或取消字段为"复选标记"时,手写识别控制单元26向手写签名认证控制单元38发送用户针对手写签名注册表而输入的手写签名数据(笔画数据)。手写签名注册表是在待后述的步骤S86中由手写输入显示控制单元23在手写输入存储单元25中生成的。
S27:手写签名认证控制单元38将接收到的手写签名数据(笔画数据)注册于手写签名数据存储单元39。由此,对SignatureId进行编号。SignatureId被返回至手写识别控制单元26。当SignatureID和输入至手写签名注册表561的名称输入字段561的名称不包括在用户定义数据中时,重新添加用户定义数据,并对AccountId进行编号,并将SignatureID存储在用户定义数据中。若输入至名称字段561a中的名称包括在用户定义数据中,则在用户定义数据中保存SignatureId。该处理将AccountId与SignatureId关联起来。需要指出的是,当重新添加用户定义数据时,未设置其他值,但用户可以通过用户定义数据变更表进行注册和变更。
S28:在注册手写签名数据时,手写识别控制单元26从手写输入存储单元25中删除手写签名注册表561。
S29:当用户定义数据变更表的注册或取消字段为"复选标记"时,手写识别控制单元26向操作命令定义单元33发送输入至在待后述的步骤S86中由手写输入显示控制单元23生成于手写输入存储单元25的用户定义数据变更表562的变更值。
S30:在执行用户定义数据变更时,手写识别控制单元26从手写输入存储单元25删除用户定义数据变更表562。
S31:当在待后述的步骤S86中添加的表格的注册或取消字段为“×”时,手写识别控制单元26从手写输入存储单元25删除步骤S86中添加的表格。
S33:当不是表格处理时,手写识别控制单元26将作为该执行结果的手写识别字符串候选发送至手写识别字典单元27。手写识别词典单元27将语言上被假定为正确的语言字符串候选发送至手写识别控制单元26。
S34:手写识别控制单元26将手写识别字符串候选和接收到的语言字符串候选发送至字符串转换控制单元28。
S35:字符串转换控制单元28将手写识别字符串候选和语言字符串候选发送至字符串转换词典单元29。字符串转换词典单元29将转换字符串候选发送至字符串转换控制单元28。
S36:字符串转换控制单元28将接收到的转换字符串候选发送至预测转换控制单元30。
S37:预测转换控制单元30将接收到的转换字符串候选发送至预测转换词典单元31。预测转换词典单元31将预测字符串候选发送至预测转换控制单元30。
S38:预测转换控制单元30将接收到的预测字符串候选发送至操作命令识别控制单元32。
S39:操作命令识别控制单元32将接收到的预测字符串候选发送至操作命令定义单元33。操作命令定义单元33将操作命令候选发送至操作命令识别控制单元32。从而,操作命令识别控制单元32可以获取与操作命令定义数据对应的操作命令候选,其中的操作命令定义数据具有与预测字符串候选匹配的字符串(String)。
此后,显示装置2以类似的方式进行处理,直到步骤S40至S47中描述的操作命令候选的发送为止。
S40:字符串转换控制单元28将接收到的转换字符串候选发送至操作命令识别控制单元32。
S41:操作命令识别控制单元32将接收到的转换字符串候选发送至操作命令定义单元33。操作命令定义单元33将操作命令候选发送至操作命令识别控制单元32。从而,操作命令识别控制单元32可以获取与操作命令定义数据对应的操作命令候选,其中的操作命令定义数据具有与转换字符串候选匹配的字符串(String)。
S42:手写识别控制单元26将手写识别字符串候选和语言字符串候选发送至预测转换控制单元30。
S43:预测转换控制单元30将手写识别字符串候选和接收到的语言字符串候选发送至预测转换词典单元31。预测转换词典单元31将预测字符串候选发送至预测转换控制单元30。
S44:预测转换控制单元30将接收到的预测字符串候选发送至操作命令识别控制单元32。
S45:操作命令识别控制单元32将接收到的预测字符串候选发送至操作命令定义单元33。操作命令定义单元33将操作命令候选发送至操作命令识别控制单元32。从而,操作命令识别控制单元32可以获取与操作命令定义数据对应的操作命令候选,其中的操作命令定义数据具有与预测字符串候选匹配的字符串(String)。
S46:手写识别控制单元26将手写识别字符串候选和接收到的语言字符串候选发送至操作命令识别控制单元32。
S47:操作命令识别控制单元32将手写识别字符串候选和接收到的语言字符串候选发送至操作命令定义单元33。操作命令定义单元33将操作命令候选发送至操作命令识别控制单元32。从而,操作命令识别控制单元32可以获取与操作命令定义数据对应的操作命令候选,其中的操作命令定义数据具有与语言字符串候选匹配的字符串(String)。
S48:接下来,手写识别控制单元26将笔画添加发送至操作命令识别控制单元32。
S49:操作命令识别控制单元32将确定对象的位置信息请求发送至手写输入存储单元25。手写输入存储单元25将确定对象的位置信息发送至操作命令识别控制单元32。
S50:为了判定选择对象,操作命令识别控制单元32基于跨线判定条件406和围线判定条件407来判定在步骤S48的笔画添加中从手写识别控制单元26接收的笔画的位置信息与从手写输入存储单元25接收的确定对象的位置信息是否处于预定的关系。操作命令识别控制单元32将被判定为已选择的确定对象存储为选择对象。此外,在这种情况下,由于确定出选择对象,因而从操作命令定义单元33获取操作命令候选。
此外,手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30以及操作命令识别控制单元32保持:手写识别字符串候选;语言字符串候选;转换字符串候选;预测字符串候选;操作命令候选;以及与选择对象相关的数据,以便在后期的步骤S55至S58中可以获取数据。
S18-2:就在步骤S18中将笔画添加发送至手写识别控制单元26之后,手写输入显示控制单元23立刻向候选显示计时器控制单元24发送可选候选显示计时器的开始。候选显示计时器控制单元24启动计时器。
当在经过一定时间之前(计时器到期之前)发生落笔时,执行后续的步骤S51~S53。
S51:当用户在计时器到期之前用笔触碰手写输入单元21时,手写输入单元21向手写输入显示控制单元23发送落笔(与步骤S2中的事件相同)。
S52:手写输入显示控制单元23向手写输入存储单元25发送笔画开始(与步骤S3相同)。后续顺序与步骤S3及其后的步骤相同。
S53:此外,手写输入显示控制单元23向候选显示计时器控制单元24发送可选候选显示计时器停止。候选显示计时器控制单元24停止计时器。这是因为检测到落笔,因而不需要计时器。
当在经过一定时间之前(在计时器超时之前)没有落笔时,执行步骤S54~S103。从而,显示图24所示的操作指南500。
S54:当用户在可选候选显示计时器运行时未用笔触碰手写输入单元21时,候选显示计时器控制单元24向手写输入显示控制单元23发送超时。
S55:手写输入显示控制单元23向手写识别控制单元26发送手写识别字符串/语言字符串候选的获取。手写识别控制单元26将当前保持的手写识别字符串/语言字符串候选发送至手写输入显示控制单元23。
S56:手写输入显示控制单元23向字符串转换控制单元28发送转换字符串候选的获取。字符串转换控制单元28将当前保持的转换字符串候选发送至手写输入显示控制单元23。
S57:手写输入显示控制单元23向预测转换控制单元30发送预测字符串候选的获取。预测转换控制单元30将当前保持的预测字符串候选发送至手写输入显示控制单元23。
S58:手写输入显示控制单元23向操作命令识别控制单元32发送操作命令候选的获取。操作命令识别控制单元32将当前保持的操作命令候选和选择对象发送至手写输入显示控制单元23。
S59:此外,手写输入显示控制单元23向手写输入存储单元25发送估计书写字符方向的获取。手写输入存储单元25从手写对象矩形区域的笔画添加时间、水平距离以及垂直距离判定估计书写字符方向,并将估计书写方向发送至手写输入显示控制单元23。
S60:接下来,手写输入显示控制单元23指定从手写输入单元21接收的PenId,并从笔ID控制数据存储单元36获取当前的笔ID控制数据的ColorId、FontName(或FontSet)、AccountId以及角度信息(不获取所述笔ID控制数据中不包括的内容)。
S61:手写输入显示控制单元23从手写签名认证控制单元38获取手写签名的认证结果。由此,获取用户的SignatureID,从而,当执行后述操作命令时,AccountId与PenId关联,并被注册在笔ID控制数据中。若用户登录,则确定与由AccountId确定的用户定义数据相关联的颜色定义数据,从而,可以显示用户定义数据的颜色数据被黑白突出显示的手写数据或从手写数据转换而来的文本数据。
S62:手写输入显示控制单元23根据手写识别字符串候选(图24中的“ぎ”)、语言字符串候选(图24中未图示,但是,例如“議”)、转换字符串候选(图24中的“議事録”和“技量試”)、预测字符串候选(图24中的“技量試を決済”和“議事録の送付先”)、操作命令候选(图24中的“議事録テンプレートを読み込む”和“議事録フォルダーに保存する”)、各选择概率、以及估计书写字符方向产生如图24所示的可选候选显示数据。此外,手写输入显示控制单元23基于在步骤S60中获取的角度信息逆时针旋转可选候选显示数据(操作指南500),并将旋转后的可选候选显示数据(操作指南500)发送至显示单元22以进行显示。
需要指出的是,优选以由在步骤S60中获取的笔ID控制数据的FontName或字体集(FontSet)指定的字体样式显示可选候选530。由于字体样式可能根据字符尺寸而不同,因而手写输入显示控制单元23使用对应于大、中、小字符尺寸的字体样式来显示可选候选530。
S63:此外,手写输入显示控制单元23利用在步骤S60中获取的角度信息逆时针旋转手写对象和选择对象的矩形区域显示数据(矩形框架)(图24中的手写对象矩形区域显示503),并将旋转后的数据发送至显示单元22以进行显示。
S64:手写输入显示控制单元23向候选显示计时器控制单元24发送可选候选显示删除计时器的开始,以在自显示起一定时间之后消除可选候选显示数据。候选显示计时器控制单元24启动计时器。
当在定时器运行时用户消除显示于显示单元22上的可选候选显示时,或者,当手写对象发生变化时(即,手写对象的添加、删除、移动、变形或分割),或者,当在超时之前未选择候选时,执行步骤S65至S70。
此外,当候选显示被删除或手写对象发生变化时,执行步骤S65~S67。
S65:手写输入单元21将可选候选显示删除或手写对象的变化的发生发送至手写输入显示控制单元23。
S66:手写输入显示控制单元23发送可选候选删除计时器停止。候选显示计时器控制单元24停止计时器。这是因为,由于在一定时间内对手写对象进行了操作,因而不需要计时器。
S67:手写输入显示控制单元23将操作指南500的位置信息存储于手写识别控制单元26,以便在步骤S19的手势手写识别的手势判定中可以使用该位置信息。位置信息例如可以是左上角和右下角的坐标或其等效坐标。由此,手写识别控制单元26可以判定用于输入角度信息的直线是否在操作指南500内。
S69:手写输入显示控制单元23向显示单元22发送可选候选显示数据的删除,以消除显示。
S70:手写输入显示控制单元23向显示单元22发送手写对象和选择对象的矩形区域显示数据的删除以消除显示。从而,若在除了选择操作命令候选以外的条件下删除操作命令候选的显示,则维持手写对象的显示。
S68:另一方面,当在可选候选删除计时器运行时未发生可选候选显示删除或未发生手写对象的变化时(当用户未进行笔操作时),候选显示计时器控制单元24向手写输入显示控制单元23发送超时。
类似地,在可选候选显示删除计时器超时之后,手写输入显示控制单元23执行步骤S69和步骤S70。这是因为,手写输入显示控制单元23可以在一定时间段内消除可选候选显示数据、手写对象以及选择对象的矩形区域显示数据。
当用户在可选候选消除计时器运行时选择可选候选时,执行步骤S71~S103。
S71:当用户在可选候选消除计时器运行时选择可选候选时,手写输入单元21将字符串候选或操作命令的候选选择发送至手写输入显示控制单元23。
S71-2:手写输入显示控制单元23向候选显示计时器控制单元24发送可选候选显示删除计时器的停止。候选显示计时器控制单元24停止计时器。
S72:接下来,手写输入显示控制单元23向手写识别控制单元26发送保持数据清除。
S73:手写识别控制单元26将保持数据清除发送至字符串转换控制单元28。
S74:手写识别控制单元26将保持数据清除发送至预测转换控制单元30。
S75:手写识别控制单元26将保持数据清除发送至操作命令识别控制单元32。手写识别控制单元26、字符串转换控制单元28、预测转换控制单元30以及操作命令识别控制单元32消除至今保持的与所述字符串候选和操作命令候选有关的数据。
S76:接下来,手写输入显示控制单元23向显示单元22发送可选候选显示数据的删除,以消除显示。
S77:手写输入显示控制单元23将手写对象和选择对象的矩形区域显示数据的删除发送至显示单元22,以消除显示。
S78:手写输入显示控制单元23通过将手写对象显示数据的删除和在步骤S6中发送的笔坐标补全显示数据的删除发送至显示单元22来消除显示。这是因为已选择字符串候选或操作命令候选,因而不再需要手写对象等。
S79:手写输入显示控制单元23向手写输入存储单元25发送手写对象删除。
当选择了字符串候选时,执行步骤S80~S82。
S80:当选择了字符串候选时,手写输入显示控制单元23将字符串对象的添加发送至手写输入存储单元25。
S81:手写输入存储单元25基于估计书写方向/字符尺寸判定条件404和手写对象的尺寸来确定估计字符尺寸。手写输入显示控制单元23从手写输入存储单元25获取手写对象的估计字符尺寸。在步骤S60中已获取笔ID控制数据。此外,手写输入显示控制单元23指定笔ID控制数据的字体集(FontSet)(或当未选择字体集时,选择FontName)和字符尺寸,并将字体获取发送至手写输入存储单元25。从而,手写输入显示控制单元23从手写输入存储单元25获取记录在笔ID控制数据中的字体集中包括的字体。
S82:接下来,手写输入显示控制单元23使用从手写输入存储单元25接收的已定义字体将将显示在与手写对象相同的位置的字符串对象显示数据发送至显示单元22,以显示字符串对象显示数据。手写输入显示控制单元23基于笔ID控制数据的ColorID从颜色定义数据中确定线的类型和粗细,并显示以角度信息旋转的文本(字符串对象)。
当选择了操作命令候选时,执行步骤S83至S101。当存在选择对象时,执行步骤S83~S85。
S83:当选择了针对选择对象的操作命令候选时(当选择对象存在时),手写输入显示控制单元23将选择对象显示数据的删除发送至显示单元22,以消除显示。从而,手写输入显示控制单元23删除原来的选择对象。
S84:接下来,手写输入显示控制单元23向手写输入存储单元25发送针对选择对象的操作命令执行。手写输入存储单元25向手写输入显示控制单元23发送新的选择对象的显示数据(编辑或修饰后的显示数据)。
S85:接下来,手写输入显示控制单元23将选择对象显示数据发送至显示单元22,以便再次显示执行操作命令之后的选择对象。
S86:当指定了操作命令定义数据713的“手書きサイン登録する”(注册手写签名)或操作命令定义数据716的“設定変更する”(更改设置)时,手写输入显示控制单元23将手写签名注册表561或用户定义数据变更表添加至手写输入存储单元25。
S87:当选择了操作命令候选“ファイル保存”(文件保存)或“印刷”(打印)时,手写输入显示控制单元23向文件收发控制单元37发送文件发送请求。
S88:文件收发控制单元37向手写输入存储单元25发送待传输的手写输入存储数据的获取请求。
S89:手写输入存储单元25根据MIB等判定发送目的地是否为彩色支持装置。
-在彩色支持装置的情况下,手写输入存储单元25向文件收发控制单元37发送转换为彩色的手写输入存储数据。换言之,基于手写输入存储数据的ColorId,判定数据是否源自手写,在手写输入源数据的情况下,从颜色定义数据中获取与ColorId相关联的颜色信息,并将手写输入源数据转换为该颜色信息。由于非手写输入源数据中从一开始就包含颜色信息,因而发送颜色信息。用于手写输入存储单元25判定数据是否为手写输入源数据(由显示装置2绘制的手写数据)的不限于ColorId。此外,可以是表示设备的值,该设备表示数据是否为显示装置2绘制的手写输入源数据。
-在发送目的地为黑白支持装置的情况下,手写输入存储单元25可以忽略与手写输入存储数据的ColorId相关联的颜色信息仅仅发送坐标点的集合或文本。手写输入存储单元25可以从颜色定义数据中获取与ColorId相关联的颜色信息,并将其转换为该颜色信息。需要指出的是,手写输入存储单元25可以从颜色定义数据中获取与ColorId相关联的颜色信息,并将其转换为黑白突出显示(线的类型和粗细),以进行发送。由于不是手写输入源数据的数据中存储有颜色信息,因而手写输入存储单元25发送所存储的颜色信息。
-当发送目的地为黑白突出显示支持装置时,手写输入存储单元25仅将手写输入存储数据,或者,将手写输入存储数据和颜色定义数据发送至文件收发控制单元37。当手写输入存储单元25只发送手写输入存储数据时,根据发送目的地的黑白突出显示支持装置所保持的颜色定义数据来确定线的类型和粗细。当手写输入存储单元25发送手写输入存储数据和颜色定义数据两者时,根据发送源的黑白突出显示支持装置保持的颜色定义数据来确定线的类型和粗细。需要指出的是,黑白突出显示支持装置的发送源可以将其转换为黑白突出显示,并且手写输入存储单元25可以发送转换后的数据。
-此外,当文件收发控制单元37写至文件,例如,PDF文件等时,从颜色定义数据中获取与ColorId相关联的颜色信息,并按照PDF文件格式设置于PDF文件。对字体、字体大小等也同样如此。此外,手写输入存储单元25将手写输入存储数据的全部或一部分(例如ColorId、FontName等)存储于PDF文件的元数据中。由于PDF文件的读者忽略元数据,因而对显示没有影响,并且,若显示装置2读取PDF文件,则可以从元数据重新生成手写输入存储数据。在不是源自手写的数据的情况下,手写输入存储单元25按照PDF文件的格式将包含在手写输入存储数据中的颜色信息、字体以及字符大小设置于PDF文件。
S90:文件收发控制单元37将从手写输入存储单元25接收的手写输入数据发送至目的地或将其写入文件。
S91:当选择了“ファイル読み込み”(文件读取)的操作命令候选时,手写输入显示控制单元23向文件收发控制单元37发送文件列表信息的获取请求。
S92:文件收发控制单元37从诸如USB存储器、网络存储器、Web服务器或外部设备的存储介质接收文件列表信息。
S93:文件收发控制单元37将文件列表信息发送至手写输入显示控制单元23。
S94:手写输入显示控制单元23向显示单元22发送文件列表显示数据。从而,显示单元22将文件列表显示于显示器,如图12所示。
S95:当用户选择文件,且手写输入单元21接收选择时,手写输入单元21将文件选择发送至手写输入显示控制单元23。
S96:手写输入显示控制单元23向文件收发控制单元37发送所选择的文件的文件接收请求。
S97:文件收发控制单元37从外部设备获取文件。
S98:文件收发控制单元37将文件存储于手写输入存储单元25中。
S99:手写输入存储单元25分析从文件收发控制单元37接收的文件,并将手写输入源数据转换为手写输入存储数据(黑白突出显示/彩色转换使能数据)。换言之,判定是否存在元数据,若存在元数据,则判定是否可以将元数据转换为手写输入存储数据(是否有ColorId等),并将数据存储为手写输入存储数据。此外,手写输入存储单元25针对手写输入源数据读取ColorId,并参照颜色定义数据将数据转换为对应于ColorId的黑白突出显示。手写输入存储单元25将手写对象的显示数据发送至手写输入显示控制单元23。在数据不是手写输入源数据的情况下,手写输入存储单元25按照文件格式读取颜色信息、字体以及字符尺寸,并将数据存储为手写输入存储数据。
S100:手写输入显示控制单元23将手写输入数据的显示数据显示于显示单元22。由此,显示单元22将手写输入源数据显示为黑白突出显示的手写数据,并利用传统的亮度转换将不是手写输入源数据的数据显为黑白。
需要指出的是,当执行用于登录的操作命令512时,手写输入显示控制单元23获取在执行操作命令512时由显示装置2接收的PenId。手写输入显示控制单元23确定包括在步骤S61中获取的SignatureID的用户定义数据,并从用户定义数据中获取AccountId。此外,手写输入显示控制单元23将AccountID与PenId相关联而将AccountId注册于笔ID控制数据。结果,笔2500和用户相互关联,并且显示装置2可以使用用户定义数据进行处理。
当用户在登录后进行手写或读取文件时,手写输入显示控制单元23在执行操作命令时从笔ID控制数据中获取与显示装置2接收的PenId相关联的AccountId。手写输入显示控制单元23根据AccountId来确定用户定义数据,并在操作命令的“%-%”中设置颜色定义数据等以执行操作命令。
S101:当选择了其他操作命令时,手写输入显示控制单元23执行对应于用户选择的操作命令的操作命令定义数据的操作命令字符串(Command)。在本实施例中,执行将工作特定字体集或业务特定字体集设置于显示装置2的操作命令。详情将在后面进行描述。
S102:通过将用户选择的工作特定字体集或业务特定字体集与在执行操作命令时从笔2500接收的PenId相关联来将工作特定字体集或业务特定字体集存储于笔ID控制数据存储单元36。此外,当用户手动输入角度信息时,手写输入显示控制单元23通过将接收到的角度信息与在按下旋转操作按钮511时从笔2500接收的PenId相关联来将接收到的角度信息存储于笔ID控制数据存储单元36。
S103:为了下一个手写对象,手写输入显示控制单元23向手写输入存储单元25发送手写对象的开始。手写输入存储单元25分配手写对象区域。此后,重复步骤S2至S103的处理。
<工作特定字体集的设置>
在图36的步骤S62中显示的操作指南500中,显示操作命令,用于用户选择字体集。这里,对手写“フード”(“食物”)的情况进行说明。
图40是当用户手写“フード”(“食物”)时显示的操作指南500的一例。由于“フード”(“food”)对应于操作命令定义数据723的String,因而操作命令识别控制单元32获取操作命令定义数据723,并将其发送至手写输入显示控制单元23。手写输入显示控制单元23将操作命令515“フードメニュー用フォントセット”("食物菜单用字体集")显示于操作指南500中(步骤S62)。此外,显示从“フード”(“食物”)转换而来的字符串候选539,诸如“フード”(“food”)、“フードプロセッサ”("食物加工机")、以及"food"。当用户选择操作命令515“フードメニュー用フォントセット”("食物菜单用字体集")时,手写输入单元21进行接收,并且手写输入显示控制单元23将FoodSet="FoodMenu"存储于笔ID控制数据存储单元36(步骤S102)。需要指出的是,通过选择操作命令,操作指南500被消除(S76至S78)。
图41是示出通过执行操作命令来存储笔ID控制数据的步骤的流程图的一例。
首先,手写输入单元21接收操作命令515“フードメニュー用フォントセット”("食物菜单用字体集")的选择(S1001)。这样,可以基于手写数据来接收字体集的设置。
接下来,手写输入显示控制单元23执行定义操作命令515的操作命令定义数据723的"ChangeFoodSet FoodMenu"。从而,手写输入显示控制单元23在笔ID控制数据中设置用户使用的PenId和"FoodMenu"的字体集(S1002)。
图42是笔ID控制数据的转移图的一例。图42的(a)是在参照图32至图39描述的处理开始时的笔ID控制数据,图42的(b)是当用户选择操作命令“フードメニュー用フォントセット”(“食物菜单用字体集”)时的笔ID控制数据。在图42的(a)中,设置有已由笔颜色选择按钮81设置的颜色和字体。在图42的(b)中,颜色保持不变,但设置有字体集“FoodMenu”。需要指出的是,Angle和AccountId被省略。
<使用工作特定字体集的手写输入>
接下来,对当工作特定字体集设置于笔ID控制数据时的字符串对象的显示方法进行说明。
图43示出当在笔ID控制数据中设置字体集“FoodMenu”的状态下执行手写输入时的操作指南500。在图43中,由于手写了“本日”(“今天”),因而显示从“本日”("今天")转换而来的“本日”("今天")、“本日の”("今天的”)、“本日のメニュー”("今天的菜单”)、“本日は”(“今天是”)、“本日の天気”(“今天的天气")等字符串候选539。需要指出的是,由于没有将“本日”作为String的操作命令定义数据,因而未显示操作命令。
当用户选择“本日のメニュー”("今天的菜单")的字符串候选539时,手写输入单元21接收该选择,并且手写输入显示控制单元23显示字符串对象302“本日のメニュー”("今天的菜单”)(步骤S82)。需要指出的是,根据字符串候选539的选择,操作指南500被消除(S76~S78)。当显示字符串对象302“本日のメニュー”("今天的菜单")时,手写输入显示控制单元23参照笔ID控制数据来确定颜色、字体以及字符尺寸,并显示字符串对象302。详情将在后面进行描述。
图44是示出手写输入显示控制单元23显示字符串对象的步骤的流程图的一例。需要指出的是,由于图32至图39详细示出内部处理,而图44对字体选择处理进行说明,因而处理顺序可能不同。
首先,手写输入单元21接收字符串候选539的选择(S1010)。由于操作指南500的坐标是已知的,因而通过笔2500的笔尖触碰的坐标来确定字符串候选539。
接下来,手写输入显示控制单元23从笔ID控制数据存储单元36获取对应于用户使用的笔2500的PenId的笔ID控制数据(S1011)。PenId由显示装置2在笔1~4与显示器220接触时接收。
接下来,手写输入显示控制单元23基于笔ID控制数据的ColorId,参照手写输入显示控制单元23保持的颜色定义数据,确定线的类型和粗细(S1012)。
接下来,手写输入显示控制单元23从手写输入存储单元25获取手写输入存储单元25保持的估计书写字符方向/字符尺寸判定条件确定的手写对象504的大小(S1013)。
接下来,手写输入显示控制单元23指定手写对象504的大小和在笔ID控制数据中定义的字体集(FontSet),以从手写输入存储单元25获取字体数据。手写输入存储单元25以字体集(FontSet)确定工作特定字体集408,并由字符尺寸确定字体,以生成字符串对象的字体(S1014)。
由此,可以确定字符串对象的颜色、字体、以及字符尺寸。
<业务特定字体集的设置>
下面对业务特定字体集的设置进行说明。图36的步骤S62中所示的操作指南500显示用于用户选择工作集的操作命令。这里,对手写“建設”(“建筑”)的情况进行说明。
图45是当手写“建設”("建筑")时显示的操作指南500的一例。由于“建設”(“建筑”)对应于操作命令定义数据727的String,操作命令识别控制单元32获取操作命令定义数据727并将其发送至手写输入显示控制单元23。从而,手写输入显示控制单元23将操作命令516,即“建設用ワークセット”("建筑用工作集")显示于操作指南500(步骤S62)。此外,显示从“建設”("建筑")转换而来的“建設”("建筑")、“建設会社”("建筑公司")以及“建設方法”("建筑方法")等字符串候选539。当用户选择“建設用ワークセット”("建筑用工作集")的操作命令516时,手写输入单元21接受该选择,并且手写输入显示控制单元23执行Command="ChangeWorkset Construction",并将FontSet="Construction1"至"Construction4"设置在与笔1至4相对应的笔ID控制数据项(步骤S102)。需要指出的是,通过选择操作命令,操作指南被消除(S76至S78)。
图46是示出通过执行操作命令来存储笔ID控制数据的步骤的流程图的一例。
首先,手写输入单元21接收“建設用ワークセット”("建筑用工作集")的操作命令516的选择(S1031)。由于操作指南500的坐标是已知的,因而通过笔1的笔尖触碰的坐标来确定所选择的操作命令516。
接下来,由于手写输入显示控制单元23执行Command="ChangeWorksetConstruction",因而业务特定工作集420被调用,手写输入显示控制单元23在四个笔ID控制数据项中分别设置字体集"Construction1"、"Construction2"、"Construction3"以及"Construction4"(S1032)。
图47是所述笔ID控制数据的转移图的一例。图47的(a)示出图32~图39的开始时的笔ID控制数据,图47的(b)示出当用户选择“建設用ワークセット”("建筑用工作集”)的操作命令516时的笔ID控制数据。在图47的(a)中,设置有由笔颜色选择按钮81设置的颜色和字体。在图47的(b)中,对笔1至4设置了相同的颜色,并对笔1至4分别设置了字体集"Construction1"至"Construction4”。
<使用业务特定字体集的手写输入>
接下来,对当在笔ID控制数据中设置业务特定字体集时的字符串对象的显示方法进行说明。
图48示出当在笔ID控制数据中设置字体集“Construction1”的状态下进行手写输入时的操作指南500。在图48中,由于手写了“作業”(“工作”),因而显示从“作業”("工作")转换而来的“作業”("工作")、“作業内容”("工作内容")、“作業報告”("工作报告")、“作業中止”("工作停止")以及“作業の安全”("工作安全")等字符串候选539。需要指出的是,由于没有以“作業”(“工作”)为String的操作命令定义数据,因而未显示操作命令。
当用户选择“作業報告”("工作报告")的字符串候选539时,手写输入单元21接收该选择,并由手写输入显示控制单元23显示“作業報告”("工作报告”)的字符串对象302(步骤S82)。需要指出的是,根据字符串候选539的选择,操作指南500被消除(S76-S78)。当显示字符串对象302“作業報告”(“工作报告")时,手写输入显示控制单元23参照笔ID控制数据以确定颜色、字体以及字符尺寸,并显示字符串对象302。详情将在后面进行描述。
图49是示出手写输入显示控制单元23显示字符串对象的步骤的流程图的一例。除了手写输入显示控制单元23所参照的已定义控制数据不同外,图49的处理可以与图44的处理相同。
由此,可以根据用户选择的业务特定字体集来确定字符串对象的颜色、字体以及字符尺寸,并且可以显示字符串对象。
<业务特定字体集的使用例>
将参照50A和图50B对使用业务特定字体集的示例进行说明。图50A和图50B示出使用业务特定字体集的字符串对象的显示例。图50A示出建筑用工作集的使用例,图50B示出工厂用工作集的使用例。
在图50A中,供应商A使用笔1进行手写,供应商B使用笔2进行手写。笔1的笔ID控制数据具有名为明朝体的字体集(字符尺寸恒定),而笔2的笔ID控制数据具有名为哥特体的字体集(字符尺寸恒定)。从而,例如,当供应商A手写例如手写对象504“指示”(“指示”)时,显示装置2使用明朝体进行显示,当供应商B手写例如手写对象504“変更履歴”(“更改历史”时,显示装置2使用哥特体进行显示。如上所述,可以由使用笔的用户切换字体和字符尺寸。
在图50B中,单个用户使用笔1和笔2。笔1的笔ID控制数据具有字符尺寸为25mm且为哥特体的字体,笔2的笔ID控制数据具有字符尺寸为75mm且为哥特体的字体。因此,当用户用笔1进行手写时,用25mm的字符尺寸以哥特体显示字符串对象,当用户用笔2进行手写时,用75mm的字符尺寸以哥特体显示字符串对象。这样,用户可以通过使用笔来切换字体和字符尺寸。
<通过按下工作特定字体集选择按钮设置字体集>
图51是示出通过按下工作特定字体集选择按钮来存储笔ID控制数据的步骤的流程图的一例。
首先,手写输入单元21接收工作特定字体集选择按钮331至334中的任一个的按下(S1051)。由于的工作特定字体集选择按钮331~334的坐标是已知的,因而通过笔2500的笔尖触碰的坐标来确定工作特定字体集选择按钮331~334。此外,响应于按下接收笔2500的PenId。
接下来,手写输入显示控制单元23通过所按下的工作特定字体集选择按钮331至334确定笔按钮Id2,并确定工作特定字体集选择按钮定义数据的字体集(FontSet)。手写输入显示控制单元23将所确定的字体集(FontSet)与PenId相关联起来,并将关联后的数据设置于笔ID控制数据中(S1052)。
如上所述,用户不仅可以通过手写字符来执行命令,而且可以通过按下工作特定字体集选择按钮331~334来切换字体集。
<其他字体的选择例>
以下是用户单独地选择若干字体(不是字体集)的示例。
(1)图52示出根据“フォント”("字体")的手写对象504显示字体列表361作为操作命令的操作指南500的一例。在图52中,显示包括“メイリオ”("Merrio"),“MS Pゴシック”("MS P哥特体")以及“遊ゴシック”("Yu Gothic”)的字体的列表361。为了使显示装置2以上述方式进行显示,只需在“メイリオ”("Merrio")、“MS Pゴシック”("MS P Gothic")以及“遊ゴシック”("Yu Gothic”)的字体的操作命令定义数据的String中设置“フォント”("字体")即可。由于这些是操作命令,当用户进行选择时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
(2)图53A示出根据“メイリオ”("Meilio")的手写对象504显示字体列表作为操作命令的操作指南的一例。在图53A中,显示仅包括“メイリオ”("Meilio")的字体的列表362。为了使显示装置2以上述方式进行显示,只需在“メイリオ”("Merrio")的字体的操作命令定义数据的String中设置“メイリオ”("Meilio")即可。由于这是操作命令,当用户进行选择时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
图53B示出根据手写对象504“明朝”(“明朝”)显示字体列表363作为操作命令的操作指南500的一例。在图53B中,显示包括“M P明朝”("MS P明朝")、“HG明朝B”("HG明朝B")以及“遊明朝”("Yu明朝”)的字体列表363。为了使显示装置2以该方式进行显示,只需在“MSP明朝”("MS P明朝")、“HG明朝B”("HG明朝B")以及“遊明朝”("Yu明朝”)的字体的操作命令定义数据的String中设置“明朝”("明朝")即可。由于这些是操作命令,当用户选择字体时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
(3)图54A示出根据手写对象504“カフェ”("咖啡馆")显示字体列表364作为操作命令的操作指南500的一例。在图54A中,显示诸如“小塚ゴシックProR”("Kotsuka GothicProR")、“たぬき油性マジック”("Tanuki Oil-based Magic")以及“UDデジタル教科書体”("UD数字教科书字体”)等字体列表364。为了使显示装置2以该方式进行显示,只需在“小塚ゴシックProR”("Kotsuka Gothic ProR"),“たぬき油性マジック”("Tanuki Oil-basedMagic")and“UDデジタル教科書字体”("UD数字教科书字体”)的字体的操作命令定义数据的String中设置“カフェ”("咖啡馆")即可。由于这些是操作命令,当用户选择字体时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
图54B示出根据手写对象504“カフェ”(“咖啡馆”)显示使用场景列表365作为操作命令的操作指南500的一例。在图53B中,显示“利用シーン:カフェ”(“使用场景:咖啡馆”)的使用场景列表365。为了以上述方式进行显示,在“利用シーン:カフェ”(“使用场景:咖啡馆”)的操作命令定义数据的String中设置有“カフェ”(“咖啡馆”),并且在已定义控制数据中定义有对应于“カフェ”(“咖啡馆”)的字体。由于这些是操作命令,当用户选择字体时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。这样,用户无需直接选择字体名称。
(4)图55是示出根据手写对象504“見出し”(“标题”)显示字体列表367作为操作命令的操作指南500的一例。在图55中,显示包括“HG明朝B”("HG明朝B")、“HG創英角ポップ体Bold”("HG So-ei方形流行字体粗体")以及“遊明朝Demibold”("明朝半粗体”)的字体列表367。为了使显示装置2以该方式进行显示,只需在“HG明朝B”("HG明朝B")、“HG創英角ポップ体Bold”("HG So-ei方形流行字体粗体")以及“遊明朝Demibold”("明朝半粗体”)的字体的操作命令定义数据的String中设置“見出し”("标题")即可。由于这是操作命令,当用户进行选择时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
(5)图56示出根据手写对象504“かわいい”(“可爱”)显示字体列表368作为操作命令的操作指南500的一例。在图56中,显示包括“HG創英角ポップ体”("HG So-ei方形流行字体")、“あんずもじ”(“Anzu字符”)以及“851マカポップ”("851Maka流行体”)的字体列表368。为了使显示装置2以该方式进行显示,只需在“HG創英角ポップ体”("HG So-ei方形流行字体")、“あんずもじ”(“Anzu字符”)以及“851マカポップ”("851Maka流行体”)字体的操作命令定义数据的String中设置“かわいい”("可爱")即可。由于这些是操作命令,当用户选择字体时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
(6)图57A示出根据手写对象504“強調”("强调")显示字体列表369作为操作命令的操作指南500的一例。在图57A中,显示“メイリオ/赤”("Merrio/红")、“MS Pゴシック/青”("MS P哥特体/蓝")以及“遊ゴシック/緑”("Yu哥特体/绿”)的字体和颜色集。为了使显示装置2以上述方式进行显示,在“メイリオ/赤”("Merrio/红")、“MS Pゴシック/青”("MS PGothic/蓝")以及“遊ゴシック/緑”("Yu Gothic/绿”)的操作命令定义数据的String中设置有“強調”(“强调”),并且在Command中设置有字体和颜色。由于这些是操作命令,当用户进行选择时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
图57B示出根据手写对象504“強調”("强调")显示字体列表370作为操作命令的操作指南500的一例。在图57B中,显示包括“ストライプ”("条纹")、“太字”("粗体字")以及“下線”("下划线”)的字体列表370。为了使显示装置2以该方式进行显示,只需在“ストライプ”("条纹")、“太字”("粗体字)以及“下線”("下划线”)的操作命令定义数据的String中设置“強調”("强调")即可。由于这些是操作命令,当用户进行选择时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
(7)图58示出根据手写对象504“cafe”(咖啡馆)显示字体列表371作为操作命令的操作指南500的一例。在图58中,显示诸如"Magneto"、"Broadway"以及“HG創英角ポップ体Bold”("HG So-ei squared流行体粗体")等字体列表371。为了使显示装置2以该方式进行显示,只需在"Magneto"、"Broadway"以及“HG創英角ポップ体Bold”("HG So-ei squared流行体Bold")的操作命令定义数据的String中设置“cafe”即可。由于这些是操作命令,当用户进行选择时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
(8)图59示出根据手写对象504“フォント”("字体")显示字体列表372作为操作命令的操作指南500的一例。在图59中,显示操作命令“広告用”("广告用")、“カフェ用”("咖啡馆用")以及“消防用”("消防用")。为了使显示装置2以该方式进行显示,在“広告用”("广告用")、“カフェ用”("咖啡馆用")以及“消防用”("消防用")的操作命令定义数据的String中设置有“フォント”("字体")。当用户进一步选择“広告用”("广告用")时,显示诸如“広告大きめ見出し”("广告:大号标题)、“広告小さめ見出し”("广告:小号标题”)以及“広告本文”(“广告:正文”)等字体列表373。为了以上述方式进行显示,“広告用”("广告用")的操作命令与“広告大きめ見出し”("广告:大号标题)、“広告小さめ見出し”("广告:小号标题”)以及“広告本文”(“广告:正文”)的操作命令相关联。此外,在已定义控制数据中定义有对应于“広告大きめ見出し”("广告:大号标题)、“広告小さめ見出し”("广告:小号标题”)以及“広告本文”(“广告:正文”)的字体。由于这是操作命令,当用户进行选择时,所选择的字体与用于选择的笔2500的笔ID相关联,并被设置在笔ID控制数据中。
<主要效果>
如上所述,本实施方式的显示装置2可以通过选择用户的工作来切换到适合于用户的工作的形象的字体集并进行显示。此外,用户可以通过调整用户手写的字符的尺寸从适合于用户的工作的字体集中选择一种字体。用户不需要直接选择字体,也不需要针对待手写的内容考虑合适的字体。如上所述,本发明的实施方式的显示装置2可以提高选择字体时的可操作性。
此外,用户能够选择他/她自己的业务类型,从而对多个笔1至4一起设置适合该业务类型的字体集。例如,每个用户可以使用所确定的字体来输入字符,或者,单个用户可以通过更换笔以更改字体来输入字符。
[实施例2]
在本发明的实施方式中,对用于将手写数据转换为英语的显示装置2进行说明。需要指出的是,除了转换词典和各种定义数据项对应于英文外,显示装置2的配置与第一实施例的配置相同。因此,对当手写数据被转换为英语(下称英文转换)时的与第一实施例的不同进行说明。
图60是说明在英文转换的情况下显示装置2切换字体的操作或处理的图。需要指出的是,在图60的描述中,主要对与图1的不同进行说明。
(1)用户手写预定义的关键词。在图60中,手写了“work”(工作)。
(2)显示装置判定英语的“work”为待后述的操作命令,并显示准备有字体的工作的选项301(“食物菜单”(“Food Menu”)、“”绘图(“Drawing”)、“报告”(“Report”)及“创建表格”(“Create table”),这些为操作命令)、以及字符串候选539。
(3)用户从选项301中选择使用手写数据的工作。在图60中,选择了“食物菜单”(“Food Menu”)。根据上述操作,在与用户所保持的笔2500相关联的笔ID控制数据(后述)中设置字体集“Food Menu”。字体集中包含多个字体,字体中包含字体样式(字体集中包含多个字体样式)。
(4)操作指南500因工作的选择而暂时被删除,当用户输入手写数据时显示字符串候选539。在图60中,手写了“Lunch”(午餐),因而显示包括"Lunch"(午餐)、"Lunch menu"(午餐菜单)、"Luncheon"(午餐)以及"Launcher"(启动器)的字符串候选539。
(5)当用户选择“Lunch”时,显示装置2以根据(3)中所选择的工作而准备的字体集中的一个字体来显示文本数据“Lunch”(待后述的字符串对象302)。例如,显示装置2根据手写的“Lunch”的字符尺寸来切换“Lunch”的字符串对象302(文本数据)的字体。仅作为一示例,显示装置2如下切换字体。
小号:世纪体(Century)
中号:圆体(Rounded)
大号:流行体(Pop)
这样,显示装置2可以通过根据用户手写的字符的尺寸从字体集中自动切换字体来进行显示。
图61示出当显示装置2被用作手写招牌时以根据工作(作业)设置的字体集显示的字符的一例。需要指出的是,在图61的描述中,将主要对与图2的不同进行说明。在与笔2500相关联的笔ID控制数据中设置有字体集“FoodMenu”的状态下,用户在标题域311中手写大号字符,在菜单域312a中写中号字符,在描述域313中写小号字符。从而,标题域311中的字符以流行体显示,菜单域312中的字符以圆体显示,描述域313中的字符以世纪体显示。
关于图3至图6,实施例2与实施例1相同。
<已定义控制数据>
图62示出在英文转换中已定义控制数据的一例。需要指出的是,在图62的描述中,将主要对与图7A的不同进行说明。每个已定义控制数据的内容类似于图7A,但字母的字体名称与"FontStyle"相关联。从而,若用户用英语进行手写,则可以以英语中常用的字体显示字符串。类似地,在图63和图64中,图7B中的"FontStyle"与字母的字体名称相关联。
需要指出的是,在英语转换的情况下,基于使用场景的已定义控制数据可以与图7C中的相同。
<词典数据的示例>
下面参照图65至图67对英文转换的情况中的词典数据进行说明。图65~图67的描述主要说明与图8~图10的不同。图65是英文转换中的手写识别词典单元27的词典数据的一例。图65的手写识别词典单元27的词典数据表示手写的“a(在笔画数据的状态下)”以0.90的概率被转换为“a”,并以0.10的概率被转换为"o"。
图66是英文转换中的字符串转换词典单元29的词典数据的一例。在图66的字符串转换词典单元29的词典数据中,字符串"a"以0.55的概率被转换为"ab",字符串"a"以0.45的概率被转换为"AI"。对其他“转换前”的字符串也同样如此。
图67是英文转换中的预测转换词典单元31的词典数据的一例。在图67的预测转换词典单元31的词典数据中,字符串"agenda"以0.55的概率被转换为"agenda list",并以0.30的概率被转换为"agenda template"。
需要指出的是,词典数据独立于语言,并且任何字符串均可以被注册为“转换前”和“转换后”。
<操作命令定义数据的示例>
图68A是在英文转换的情况下当没有选择对象时的操作命令定义数据的一例。图68A的描述主要说明与图11A的不同。每个操作命令的内容类似于图11A,但英文表达与Name和String相关联。从而,用户可以用英语手写操作命令并用英语选择操作命令。
图68B示出系统定义数据的一例。图68B的描述主要说明与图11B的不同。在图68B中,"Bob"与username(用户名)相关联。
对于后面的图12至图18,假定实施例2与实施例1相同。更确切而言,对于图13和图14,设置了字母名称,但由于不是特性特征,因而图被省略。
<以黑白突出显示的数据和通过彩色显示方法显示的数据>
图69A和69B示出使用图18的颜色定义数据以黑白突出显示的数据和以彩色显示方法显示的数据。需要指出的是,在图69A和图69B的描述中,主要说明与图19A和图19B的不同。
符号C21表示作为待后述的手写输入源数据项的文本"Bk"、"R"、"B"、"G"、"magenta"以及"cyan"。符号C22表示"Bk"、"R"、"B"、"G"、"magenta"以及"cyan"的笔画(手写)。符号C23表示弹簧形的笔画(手写)。符号C24是环形的比色图表(图像),符号C25是比色图表内的RGBCMY(不是手写输入源数据的文本)。在符号C23的下方,有手写输入源数据项的黑色的文本"Transparent"。
需要指出的是,手写输入源数据是指通过手写在触控面板上输入的数据。手写输入源数据包括输入后仍保持为手写数据的数据,并且包括被转换为文本数据的数据。此外,当从外部设备获取数据时,表示数据是手写输入源数据的信息不会丢失。手写输入源数据可以包括通过字符识别转换的文本数据、以及基于用户操作转换的数据,诸如显示为“completed”(完成)或“confidential”(机密)等固定的字符或标记的戳记、圆形和星形的形状、直线等。换言之,手写输入源数据是在显示装置中手写的笔画数据或通过手写识别从笔画数据转换的文本数据。
除了日语的黑色、红色、蓝色、绿色、洋红色以及青色被更改为“Bk”、“R”、“B”、“G”、“magenta”以及“cyan”外,图69A与图19A相同。对图69B也同样如此。
如从图69A和图69B的比较中可以看出,图69B的符号C30的比色图表内的文本“R”的红色不是手写输入源数据。因此,文本"R"在图69A中以灰度显示。另一方面,由于符号C26的文本“R”是手写输入源数据,因而该文本在图69A中以黑白突出显示。
此外,由于洋红色和青色是透射色,因而“Transparent”在图69B中可见。图69A中也示出,由于使用白色的透明图案,因而magenta和cyan是透明的。如上所述,黑白突出显示支持装置可以使用黑白突出显示来表示用于强调的颜色,而彩色设备可以将数据转换成彩色并进行显示。
<笔颜色选择按钮定义数据>
图70是英文转换的笔颜色选择按钮定义数据的一例。需要指出的是,在图70的描述中,将主要对与图20的不同进行说明。在图70所示的笔颜色选择按钮定义数据中,“FontName”与字母的字体名称相关联。从而,可以使用对应于用户选择的笔颜色选择按钮的字体来显示字符串等。
图71A和图71B是英语转换中的显示于显示器的笔颜色选择按钮81~86的示例。关于笔颜色选择按钮81~86,实施例2类似于实施例1。当用户用笔2500按下笔颜色选择按钮81~86时,ColorId和FontName被添加至笔ID控制数据中,此后,使用ColorId和FontName显示用笔2500输入的手写对象或字符串对象。从而,使用图70所示的字体显示字符串等。
关于图22和图23,英语转换的情况可以与实施例1相同。
<可选候选的显示例>
图72是英文转换的情况下操作指南500和由操作指南500显示的可选候选的一例。图72的描述主要对与图24的不同进行说明。在图72中,用户手写"a"作为手写对象504。基于"a",显示操作命令候选510、手写识别字符串候选506、转换字符串候选507以及字符串/预测转换候选508。因此,除了将图24的日语更改为英语外,与图24类似。
操作命令候选510例如是图68A的操作命令定义数据中的String中包括“agenda”的操作命令701和702的候选。
如上所述,在英语转换的情况下,用户还可以显示操作指南500。
关于图25至图31,在英文转换的情况下,由于英文手写,图与实施例1不同,但由于是非特性特征,图被省略。此外,关于示出手写转换的流程的图,图可以与图32至图39相同。
<工作特定字体集的设置>
图73是英文转换中的当用户手写“Food”(食物)时显示的操作指南500的一例。图73的描述主要对于与图40的不同进行说明。由于"Food"对应于操作命令定义数据723的String,因而手写输入显示控制单元23在操作指南500中显示"Font Set For Food Menu"(食物菜单用字体集)的操作命令515。此外,显示从"Food"转换而来的"Food"、"Foodprocessor"(食物加工机)以及"Food shopping"(食物采购)等字符串候选539。当用户选择"Font Set For Food Menu"的操作命令515时,手写输入单元21接收该选择,并且手写输入显示控制单元23在笔ID控制数据存储单元36中存储"FoodSet"="FoodMenu"(步骤S102)。需要指出的是,通过选择操作命令,操作指南500被消除(S76至S78)。
显示装置2在笔ID控制数据存储单元36中存储字体集“FoodMenu”(食物菜单)的处理的流程图可以与图41的流程图相同。
图74是英文转换中的笔ID控制数据的转移图的一例。图74的描述主要对与图42的不同进行说明。在图74的(a)中,对FontName设置有"Serif"(衬线体)。图74的(b)中,在用户选择“Font Set For Food Menu”的操作命令515之后,颜色保持不变,但将“FoodMenu”设置为字体集。
<使用工作特定字体集的手写输入>
图75示出在英文转换中当在笔ID控制数据中设置字体集“FoodMenu”的状态下进行手写输入时的操作指南500的一例。图75的描述主要对与图43的不同进行说明。由于在图75中手写了"Today"(今天),显示从"Today"转换的"Today"、"Today's"(今天的)、"Today'sMenu"(今天的菜单)以及"Today's weather"(今天的天气)等字符串候选539。需要指出的是,由于没有以“Today”为String的操作命令定义数据,因而未显示操作命令。
当用户选择"Today's Menu"的字符串候选539时,手写输入单元21接收该选择,并且手写输入显示控制单元23显示"Today's Menu”的字符串对象302(步骤S82)。当显示字符串对象302“Today’s Menu”时,手写输入显示控制单元23参照笔ID控制数据以确定颜色、字体以及字符尺寸,并显示字符串对象302。
显示装置2显示“Today's Menu”的处理流程可以与图44中的相同。
<业务特定字体集的设置>
图76是英文转换中的当用户手写“construction”时显示的操作指南500的一例。图76的描述主要对与图45的不同进行说明。由于"construction”对应于操作命令定义数据727的String,因而手写输入显示控制单元23在操作指南500中显示"Workset forconstruction"(建筑用工作集)的操作命令516(步骤S62)。此外,显示从"construction"转换的"construction"(建筑)、"construction company"(建筑公司)以及"constructionmethod"(建筑方法)等字符串候选539。当用户选择操作命令516"Workset forconstruction"时,手写输入单元21接收该选择,并且手写输入显示控制单元23执行“Command”="Change Workset Construction”。手写输入显示控制单元23对与笔1至4相对应的笔ID控制数据分别设置FontSet="Construction1"至"Construction4"(步骤S102)。
显示装置2将字体集"Construction1"至"Construction4"存储于笔ID控制数据存储单元36的处理的流程图可以与图41中的相同。
图77是英文转换中的笔ID控制数据的转移图的一例。图77的描述主要对与图47的不同进行说明。图77的(a)是在参照图32至图39描述的顺序图的开始时的笔ID控制数据,图77的(b)是当用户选择操作命令516"worksetfor construction”时的笔ID控制数据。在图77的(a)中,设置有已由笔颜色选择按钮81设置的颜色和字体。在图77的(b)中,对笔1至4设置相同的颜色,并对笔1至4分别设置"Construction1"至"Construction4”的字体集。
<使用业务特定字体集的手写输入>
图78示出当在笔ID控制数据中设置字体集“Construction1”的状态下进行手写输入时的操作指南500的一例。图78的描述主要对与图48的不同进行说明。在图78中,由于手写了"task"(任务),因而显示从task"转换的"task"、"task content"(任务内容)、"taskreport"(任务报告)、"task stopped"(任务停止)以及"task safety"(任务安全)等字符串候选539。需要指出的是,由于没有以“task”为String的操作命令定义数据,因而未显示操作命令。
当用户选择"task report"的字符串候选539时,手写输入单元21接收该选择,并且手写输入显示控制单元23显示"task report”的字符串对象302(步骤S82)。当显示字符串对象302“task report”时,手写输入显示控制单元23参照笔ID控制数据以确定颜色、字体以及字符尺寸,并显示字符串对象302。详情将在后面进行描述。
显示装置2显示"task report"的处理流程可以与图44的相同。
<业务特定字体集的使用例>
图79A和79B是示出在英语转换中的使用业务特定字体集的一例的图。图79A和图79B的描述主要对与图50A和图50B的不同进行说明。
在图79A中,供应商A使用笔1进行手写,供应商B使用笔2进行手写。笔1的笔ID控制数据具有名为“Serif”(衬线体)的字体集(字符尺寸恒定),而笔2的笔ID控制数据具有名为“Sans-serif”(无衬线体)的字体集(字符尺寸恒定)。从而,若供应商A手写手写对象504,例如“instruction”(指示),显示装置2以衬线体进行显示,若供应商B手写手写对象504,例如“change log”(变更日志),则显示装置2以无衬线体进行显示。如上所述,可以由使用笔的用户切换字体和字符尺寸。
在图79B中,单个用户使用笔1和笔2。对笔1的笔ID控制数据设置有字符尺寸=25mm的无衬线体字体,对笔2的笔ID控制数据设置有字符尺寸=75mm的无衬线体。因此,当用户用笔1进行手写时,用25mm的字符尺寸以无衬线体显示字符串对象,当用户用笔2进行手写时,用75mm的字符尺寸以无衬线体显示字符串对象。这样,用户可以通过切换笔来切换字体和字符尺寸。
基于笔的字体切换的处理流程可以与图51的相同。
<其他字体选择例>
以下是在英语转换中的用户选择若干字体(不是字体集)的一例。
(1)图80示出在英文转换中基于手写对象504“font”(字体)显示字体列表361作为操作命令的操作指南500的一例。图80的描述主要对与图52的不同进行说明。在图80中,显示字体列表361、“Meiryo”、“Sans-serif-B”以及“Sans-serif-C”。为了使显示装置2以该方式进行显示,只需在字体"Meiryo"、"Sans-serif-B"以及"Sans-serif-C”的操作命令定义数据项的String中设置"font"即可。
(2)图81A示出基于手写对象504"Meiryo"显示字体列表作为操作命令的操作指南的一例。图81A和图81B的描述主要对与53A和53B的不同进行说明。在图81A中,显示包括单个字体"Meiryo"的字体列表362。为了使显示装置2以该方式进行显示,只需在字体"Meiryo"的操作命令定义数据的String中设置"Meiryo"即可。
图81B示出在英文转换中基于手写对象504"Serif"显示字体列表363作为操作命令的操作指南500的一例。在图81B中,显示诸如"Serif-A"、“Serif-B”以及"Serif-C"等字体列表363。为了使显示装置2以该方式进行显示,只需在字体"Serif-A"、"Serif-B”以及"Serif-C”的操作命令定义数据项的String中设置"Serif"即可。
(3)图82A示出在英文转换中基于手写对象504"cafe"显示字体列表364作为操作命令的操作指南500的一例。图82A和82B的描述主要对与图54A和图54B的不同进行说明。在图82A中,显示诸如"Font-A"、"Font-B"以及"Font-C”等字体列表364。为了使显示装置2以该方式进行显示,只需在字体"Font-A"、"Font-B"以及"Font-C”的操作命令定义数据项的String中设置"cafe"即可。
图82B示出基于手写对象504"cafe"显示使用场景列表365作为操作命令的操作指南500的一例。图82B示出使用场景列表365“Use case:cafe”(使用案例:咖啡馆)。为了使显示装置2以该方式进行显示,在"Use case:cafe"的操作命令定义数据的String中设置“cafe”,并在已定义控制数据中定义对应于“cafe”的字体。如上所述,用户无需直接选择字体名称.
(4)图83示出在英文转换中基于手写对象504"Heading"(标题)显示字体列表367作为操作命令的操作指南500的一例。图83的描述主要对与图55的不同进行说明。在图83中,显示诸如"Font-D"、"Font-E"以及"Font-F”等字体列表367。为了使显示装置2以该方式进行显示,只需在字体"Font-D"、"Font-E"以及"Font-F”的操作命令定义数据项的String中设置"heading"即可。
(5)图84示出在英文转换中基于手写对象504"cute"显示字体列表368作为操作命令的操作指南500的一例。图84的描述对与图56的不同进行说明。在图84中,显示诸如"Font-G"、"Font-H"以及"Font-I”等字体列表368。为了使显示装置2以该方式进行显示,只需在字体"Font-G"、"Font-H"以及"Font-I”的操作命令定义数据项的String中设置"cute"即可。
(6)图85A示出在英文转换中基于对象手写对象504"emphasis"(强调)显示字体列表369作为操作命令的操作指南500的一例。图85A和图85B的描述主要对与图57A和图57B的不同进行说明。在图85A中,显示"Meiryo/Red"、"Sans-serif-A/Blue"以及"Sans-serif-B/Green"等字体和颜色。为了使显示装置2以该方式进行显示:在"Meiryo/Red"、"Sans-serif-A/Blue"以及"Sans-serif-B/Green"的操作命令定义数据项的String中设置"emphasis";并且在Command中设置字体和颜色。
图85B示出在英文转换中基于手写对象504"emphasis"(强调)显示字体列表370作为操作命令的操作指南500的一例。图85B示出名为“stripe”(条纹)、“bold”(粗体)以及“underline”(下划线)的字体列表370。为了使显示装置2以该方式进行显示,只需在"stripe"、"bold"以及"underline”的操作命令定义数据项的String中设置"emphasize"即可。
(7)图86示出在英文转换中基于手写对象504"cafe"(咖啡馆)显示字体列表371作为操作命令的操作指南500的一例。图86的描述主要对与图58的不同进行说明。在图86中,显示诸如"Magneto"、"Broadway"以及"Pop Bold"等字体列表371。为了使显示装置2以该方式进行显示,只需在"Magneto"、"Broadway"以及"Pop Bold”的操作命令定义数据项的String中设置"cafe"即可。
(8)图87示出在英文转换中基于手写对象504"font"显示字体列表372作为操作命令的操作指南500的一例。图87的描述主要对与图59的区别进行说明。在图87中,显示操作命令"For advertising"(广告用)、"For cafe"(咖啡馆用)以及"For fire fighting"(消防用)。为了使显示装置2以该方式进行显示,在"For advertising"、"For cafe"以及"Forfire fighting"的操作命令定义数据项的String中设置"font"。
此外,若用户选择“For advertisement”,则将出现诸如“Advertisement LargeHeading”(广告大标题)、“Advertisement Small Heading”(广告小标题)以及“Advertisement Body”(广告正文)等字体列表373。为了使显示装置2以该方式进行显示,操作命令"For advertisement"与操作命令“Advertisement Large Heading”、“Advertisement Small Heading”以及“Advertisement Body”相关联。此外,在已定义控制数据中定义“Advertisement Large Heading”、“Advertisement Small Heading”以及“Advertisement Body”的字体。
<主要效果>
如上所述,当用户用英语等进行手写时,可以以与实施例1相同的方式来更改字体。需要指出的是,尽管已经以英语作为示例对本实施例进行了描述,但可以同样适用于英语以外的其他语言(汉语、北印度语、西班牙语、阿拉伯语、葡萄牙语、俄语等)。
[实施例3]
在第一个实施例中,显示装置2被描述为具有大的触控面板,但显示装置不限于具有触控面板。在本发明的实施例中,将对投影仪式显示装置进行说明。
<另一显示装置的例1>
图88是示出显示装置的另一配置例的图。在图88中,投影仪432位于通常的白板434的上方。投影仪432对应于显示装置。通常的白板434不是与触控面板成一体的平板显示器,而是用户用马克笔直接进行书写的白板。需要指出的是,白板可以是黑板,只要是足够达到能投射图像的平坦的表面即可。
投影仪432具有超短焦点的光学系统,从而可以从约10cm向白板434投射失真较小的图像。图像可以从无线或有线连接的PC发送,或者可以由投影仪432存储。
用户使用专用电子笔2501在白板434上进行手写。电子笔2501例如在尖端部具有当用户按压白板434以进行手写时被开启的发光单元。由于光的波长为近红外或红外,因而对用户不可见。投影仪432包括捕获发光单元并分析所捕获的图像以确定电子笔2501的方向的摄像头。此外,电子笔2501随着发光发射声波,投影仪432根据声波到达的时间计算距离。投影仪432可以根据方向和距离确定电子笔2501的位置。在电子笔2501的位置处绘制(投射)笔画。
由于投影仪432投射菜单430,当用户用电子笔2501按下按钮时,投影仪432根据电子笔2501的位置和开关的ON信号确定被按下的按钮。例如,当按下保存按钮431时,用户手写的笔画(坐标的集合)被投影仪432保存。投影仪432将手写信息存储于预定的服务器433或USB存储器2600等。按对每一页存储手写信息。由于保存坐标而不是图像数据,使得用户可以进行重新编辑。需要指出的是,由于本发明的实施方式中通过手写来调用操作命令,因而可以不显示菜单430。
<另一显示装置的例2>
图89是示出显示装置2的又一配置例的图。在图89的示例中,显示装置2包括终端装置600、图像投影装置700A以及笔操作检测装置810。
终端装置600通过电线与图像投影装置700A和笔操作检测装置810连接。图像投影装置700A使由终端装置600输入的图像数据被投射到屏幕800上。
笔操作检测装置810与电子笔820通信,并检测屏幕800附近的电子笔820的操作。具体地,笔操作检测装置810在屏幕800上检测表示由电子笔820指示的点的坐标信息,并将检测到的坐标信息发送至终端装置600。
终端装置600基于从笔操作检测装置810接收的坐标信息来生成由电子笔820输入的笔画图像的图像数据,并使图像投影装置700A在屏幕800上绘制笔画图像。
此外,终端装置600生成表示由图像投影装置700A投射的背景图像和电子笔820输入的笔画图像组成的重叠图像的重叠图像数据。
<另一显示装置的例3>
图90是示出显示装置的配置例的图。在图90的示例中,显示装置2包括终端装置600、显示器800A以及笔操作检测装置810。
笔操作检测设备810配置于显示器800A的附近,并检测表示电子笔820A在显示器800A上指示的点的坐标信息,并将坐标信息发送至终端装置600。需要指出的是,在图90的示例中,电子笔820A可以通过终端装置600经由USB连接器充电。
终端装置600基于从笔操作检测装置810接收的坐标信息来生成由电子笔820A输入的笔画图像的图像数据,并将该图像数据显示于显示器800A。
<另一显示装置的例4>
图91是示出显示装置的配置例的图。在图91的示例中,显示装置2包括终端装置600以及图像投影装置700A。
终端装置600与电子笔820B进行无线通信(诸如蓝牙),并接收在屏幕800上由电子笔820B指示的点的坐标信息。此外,终端装置600基于接收到的坐标信息来生成电子笔820B输入的笔画图像的图像数据,并使图像投影装置700A投射笔画图像。
此外,终端装置600生成表示由图像投影装置700A投射的背景图像和电子笔820输入的笔画图像组成的重叠图像的重叠图像数据。
如上所述,上述实施方式中的每一个可以应用于各种系统配置。
<其他应用例>
如上所述,尽管已经参照示例对本发明的优选实施方式进行了说明,但在不脱离本发明的精神和范围的情况下可以对其进行各种修改和替换。
例如,实施方式的显示方法可以适用于具有触控面板的信息处理装置。具有与显示装置相同功能的装置也称为电子黑板、电子白板、电子信息板、以及交互板。安装有触控面板的信息处理装置例如可以是诸如PJ(投影仪)、数位看板的输出装置、HUD(Head UpDisplay,平视显示器)装置、工业机械、摄像装置、集声器、医疗器械、网络家用电器、个人电脑、蜂窝电话、智能手机、平板终端、游戏机、PDA(个人数字助理)、数码相机、可穿戴式PC或台式PC等。
此外,根据本发明的实施例,显示装置2所执行的处理的一部分可以由服务器执行。例如,显示装置将笔画信息发送至服务器,并获取并显示待显示于操作指南50的信息。
此外,虽然在本发明的实施方式中通过由触控面板检测笔尖的坐标的方法来检测笔的坐标,但可以通过超声波来检测笔尖的坐标。此外,笔在发光的同时发射超声波,显示装置2根据超声波的到达时间来计算距离。可以根据方向和距离来确定笔的位置。投影仪绘制(投射)笔的轨迹作为笔画。
此外,在本发明的实施方式中,当存在选择对象时,显示编辑相关操作命令和修饰相关操作命令的候选,但可以与其他操作命令候选同时显示。
此外,显示装置2可以不持有用户的手写签名数据。可以由云或公司内部的信息处理装置保持用户的手写签名数据。
此外,诸如图6A和图6B的配置例根据主要功能进行划分,以便于理解显示装置2的处理。本发明不受处理单元的划分方式或处理单元的名称的限制。根据处理内容,可以将显示装置2的处理分为更多的处理单元。此外,一个处理单元可以被进一步划分为包括更多的处理。
此外,上述实施方式的功能也可以由一个或多个处理电路实现。这里,假定“处理电路”包括诸如在电子电路中实现的处理器的被编程为通过软件执行各个功能的处理器、被设计为执行如上所述的各个功能的诸如ASIC(Application Specific IntegratedCircuit,专用集成电路)、DSP(digital signal processor,数字信号处理器)、FPGA(fieldprogrammable gate array,现场可编程门阵列)以及常规的电路模块等设备。
此外,在本发明的实施例中,阈值可以作为示例指示作为比较目标。然而,阈值不限于所指示的阈值。因此,在本发明的实施例中,对于所有阈值,“小于阈值”和“等于或小于阈值”具有等同含义,并且“大于阈值”和“等于或大于阈值”具有等同含义。例如,在阈值为11的情况下,阈值为10的情况中“小于阈值”具有与“等于或小于阈值”同等的含义。在阈值为10的情况下,阈值为11的情况中“大于阈值”具有与“等于或大于阈值”相同的含义。
手写输入单元21是接收单元的示例。手写识别控制单元26是转换单元的示例。显示单元22是显示单元的示例。手写输入显示控制单元23是显示控制单元的示例。
鉴于上述教导,可以实施多种额外的修改和变更。因此,应理解的是,在所附权利要求的范围内,可以与这里具体描述的方式不同地实践本专利说明书的公开。如计算机领域中的一般的技术人员可以理解,本发明可以使用根据本说明书的教导而编程的常规通用数字计算机来方便地实现。对于软件领域的一般的技术人员而言,显而易见地,熟练的程序员可以基于本公开的教导容易地准备适当的软件编码。对于相关领域的一般的技术人员而言,显而易见地,本发明还可以通过准备专用集成电路或通过互连常规组件电路的适当的网络来实现。
所描述的实施例的各个功能可以由一个或多个处理电路实现。处理电路包括编程的处理器。处理电路也包括诸如专用集成电路(ASIC)和被设置为执行所列举的功能的常规电路组件的设备。处理电路被实现为微处理器的至少一部分。处理电路可以使用一个或多个电路、一个或多个微处理器、微控制器、专用集成电路、专用硬件、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑器件、状态机、超级计算机或其任何组合来实现。并且,处理电路可以包括在一个或多个处理电路内可执行的一个或多个软件模块。处理电路还可以包括配置为存储使处理电路实现功能的指令和/或代码的存储器。在通过软件实现的情况下,则每个模块可以表示包括实现指定的逻辑功能的程序指令的模块、段(segment)或代码的一部分。程序指令可以源代码的形式实现,该源代码包括以编程语言编写的人类可读语句,或以机器代码的形式实现,该机器代码包括能够由计算机系统或其他系统中的诸如处理器等适当的执行系统识别的数值指令。机器代码可以由源代码等转换。在通过硬件实现的情况下,则每个模块可以表示一个电路或多个互连电路,以实现指定的逻辑功能。
本申请基于并主张于2019年11月20日提交的日本在先申请第2019-209913号、以及于2020年11月11日提交的日本在先申请第2020-188229号的优先权,其全部内容通过引用并入本文。

Claims (10)

1.一种显示装置,包括:
接收单元,所述接收单元用于接收手写数据的输入;
转换单元,所述转换单元用于将所述接收单元接收到的所述手写数据转换为一个或多个字符串;和
显示单元,所述显示单元用于在所述转换单元所转换的所述一个或多个字符串包括特定字符串的情况下显示与所述特定字符串对应的一个或多个字体集,其中,
一个所述字体集包括多个字体样式,并且
所述显示装置还包括显示控制单元,所述显示控制单元用于采用所述显示单元所显示的所述多个字体集中的一个字体集所包括的字体样式来显示字符,所述一个字体集是根据经由所述接收单元的用户操作而被选择的。
2.根据权利要求1所述的显示装置,其中
所述显示装置控制单元判定所述接收单元接收到的所述手写数据的字符尺寸,并且根据所述字符尺寸,从所述多个字体集中的所述一个字符集所包括的所述多个字体样式,判定用于显示所述字符的字体样式。
3.根据权利要求2所述的显示装置,其中
所述显示控制单元根据所述字符尺寸从所述多个字体集中的所述一个字体集所包括的所述多个字体样式中,判定用于显示所述字符的字体样式,并且采用判定的字体样式和所述字符尺寸来显示所述字符。
4.根据权利要求1至3中任一项所述的显示装置,其中
所述显示装置还包括多个输入单元,所述多个输入单元被配置为用于执行向触控面板的手写输入,其中
所述接收单元根据用户操作,对于所述多个输入单元一起接收从所述显示单元所显示的字体集中进行的字体集设置,并且
所述显示控制单元采用与进行手写所使用的输入单元相关联的多个字体样式中的一个字体样式来显示所述字符。
5.根据权利要求4所述的显示装置,其中
所述显示控制单元判定进行手写所使用的所述输入单元和所述手写数据的字符尺寸,并且根据所述字符尺寸,从与所述输入单元相关联的所述多个字体样式中,判定用于显示所述字符的字体样式。
6.根据权利要求4或5所述的显示装置,其中
与多个笔中的一个笔相关联的多个字体样式是相同的,并且不同的字符尺寸与所述多个笔中的所述一个笔相关联,并且
每个所述笔的字符样式不同。
7.根据权利要求4或5所述的显示装置,其中
与一个所述笔相关联的字符尺寸和所述多个字体样式是相同的,并且
每个所述笔的字符尺寸不同。
8.根据权利要求1至7中的任一项所述的显示装置,其中
所述显示控制装置显示与所述字体集相关联的图标,并且
所述接收单元接收与接收到选择的所述图标相关联的所述字体集的选择。
9.一种用于显示装置的显示方法,在所述显示装置中,单个字体集包括多个字体样式,所述显示方法包括:
通过接收单元接收手写数据的输入;
通过转换单元将所述接收单元接收到的所述手写数据转换为一个或多个字符串;
使得显示单元在所述转换单元所转换的字符串包括特定字符串的情况下显示与所述特定字符串对应的一个或多个字体集,并且
通过显示控制单元,采用所述显示单元所显示的多个字体集中的一个字体集所包括的字体样式来显示字符,所述一个字体集是根据经由所述接收单元的用户操作而被选择的。
10.一种计算机可读记录介质,包括使得其中单个字体集包括多个字体样式的显示装置执行以下操作的程序:
通过接收单元接收手写数据的输入;
通过转换单元将所述接收单元接收到的所述手写数据转换为一个或多个字符串;
使得显示单元在所述转换单元所转换的字符串包括特定字符串的情况下显示与所述特定字符串对应的一个或多个字体集,并且
通过显示控制单元,采用所述显示单元所显示的多个字体集中的一个字体集所包括的字体样式来显示字符,所述一个字体集是根据经由所述接收单元的用户操作而被选择的。
CN202011296724.7A 2019-11-20 2020-11-18 显示装置、显示方法及介质 Pending CN112825135A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-209913 2019-11-20
JP2019209913 2019-11-20
JP2020-188229 2020-11-11
JP2020188229A JP7259828B2 (ja) 2019-11-20 2020-11-11 表示装置、表示方法、プログラム

Publications (1)

Publication Number Publication Date
CN112825135A true CN112825135A (zh) 2021-05-21

Family

ID=73497513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011296724.7A Pending CN112825135A (zh) 2019-11-20 2020-11-18 显示装置、显示方法及介质

Country Status (3)

Country Link
US (1) US20210150122A1 (zh)
EP (1) EP3825868A1 (zh)
CN (1) CN112825135A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022162595A (ja) * 2021-04-13 2022-10-25 株式会社日本製鋼所 画面の表示装置を備えた射出成形機のコントローラ、および射出成形機

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1758241A (zh) * 2004-10-04 2006-04-12 佳能株式会社 具有字体信息嵌入功能的信息处理装置及其信息处理方法
CN1973281A (zh) * 2003-05-16 2007-05-30 瓦尔特拉公司 用于调查处理的方法和装置
CN101620505A (zh) * 2008-07-01 2010-01-06 Lg电子株式会社 移动终端的字符输入方法
US20120242603A1 (en) * 2011-03-21 2012-09-27 N-Trig Ltd. System and method for authentication with a computer stylus
CN102750104A (zh) * 2012-06-29 2012-10-24 鸿富锦精密工业(深圳)有限公司 具有触摸输入单元的电子设备
CN103136177A (zh) * 2011-12-05 2013-06-05 英顺源(上海)科技有限公司 提供以释义数据编辑文件内容的系统及方法
US20130201133A1 (en) * 2012-02-02 2013-08-08 Samsung Electronics Co. Ltd. Method and apparatus for inputting a key in a portable terminal
US20150073779A1 (en) * 2013-09-06 2015-03-12 Samsung Electronics Co., Ltd. Method of converting user handwriting into text information and electronic device for performing the same
CN106126092A (zh) * 2016-06-20 2016-11-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN110377167A (zh) * 2019-07-08 2019-10-25 三星电子(中国)研发中心 字体产生方法和字体产生装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294818B2 (ja) 2008-12-08 2013-09-18 キヤノン株式会社 情報処理装置及び情報処理方法
JP7169778B2 (ja) 2018-06-07 2022-11-11 ダイキョーニシカワ株式会社 車両用内装品
JP6909824B2 (ja) 2019-05-17 2021-07-28 株式会社Kokusai Electric 基板処理装置、半導体装置の製造方法及びプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1973281A (zh) * 2003-05-16 2007-05-30 瓦尔特拉公司 用于调查处理的方法和装置
CN1758241A (zh) * 2004-10-04 2006-04-12 佳能株式会社 具有字体信息嵌入功能的信息处理装置及其信息处理方法
CN101620505A (zh) * 2008-07-01 2010-01-06 Lg电子株式会社 移动终端的字符输入方法
US20120242603A1 (en) * 2011-03-21 2012-09-27 N-Trig Ltd. System and method for authentication with a computer stylus
CN103136177A (zh) * 2011-12-05 2013-06-05 英顺源(上海)科技有限公司 提供以释义数据编辑文件内容的系统及方法
US20130201133A1 (en) * 2012-02-02 2013-08-08 Samsung Electronics Co. Ltd. Method and apparatus for inputting a key in a portable terminal
CN102750104A (zh) * 2012-06-29 2012-10-24 鸿富锦精密工业(深圳)有限公司 具有触摸输入单元的电子设备
US20150073779A1 (en) * 2013-09-06 2015-03-12 Samsung Electronics Co., Ltd. Method of converting user handwriting into text information and electronic device for performing the same
CN106126092A (zh) * 2016-06-20 2016-11-16 联想(北京)有限公司 一种信息处理方法及电子设备
CN110377167A (zh) * 2019-07-08 2019-10-25 三星电子(中国)研发中心 字体产生方法和字体产生装置

Also Published As

Publication number Publication date
US20210150122A1 (en) 2021-05-20
EP3825868A1 (en) 2021-05-26

Similar Documents

Publication Publication Date Title
WO2021070972A1 (en) Display apparatus, color supporting apparatus, display method, and program
US11733830B2 (en) Display apparatus for displaying handwritten data with displayed operation menu
JP2023175845A (ja) 手書き入力装置、手書き入力方法、プログラム、入力システム
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
JP7452155B2 (ja) 手書き入力装置、手書き入力方法、プログラム
JP7456287B2 (ja) 表示装置、プログラム、表示方法
JP7259828B2 (ja) 表示装置、表示方法、プログラム
JP2023184557A (ja) 表示装置、表示方法、プログラム
CN112825135A (zh) 显示装置、显示方法及介质
JP7354878B2 (ja) 手書き入力装置、手書き入力方法、プログラム、入力システム
WO2022045177A1 (en) Display apparatus, input method, and program
JP2021064366A (ja) 表示装置、カラー対応装置、表示方法、プログラム
EP3825831A1 (en) Display apparatus, display method, and program
US11853636B2 (en) Display apparatus, display method, medium, and display system
JP2021096844A (ja) 表示装置、表示方法、プログラム
JP7268479B2 (ja) 表示装置、プログラム、表示方法
US20220391055A1 (en) Display apparatus, display system, and display method
JP2021152884A (ja) 表示装置、表示方法、プログラム、情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination