CN104541288A - 手写文档处理设备和方法 - Google Patents

手写文档处理设备和方法 Download PDF

Info

Publication number
CN104541288A
CN104541288A CN201380042549.0A CN201380042549A CN104541288A CN 104541288 A CN104541288 A CN 104541288A CN 201380042549 A CN201380042549 A CN 201380042549A CN 104541288 A CN104541288 A CN 104541288A
Authority
CN
China
Prior art keywords
group
strokes
stroke
attribute
additional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380042549.0A
Other languages
English (en)
Inventor
中洲俊信
高桥梓帆美
柴田智行
井本和范
山内康晋
登内洋次郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN104541288A publication Critical patent/CN104541288A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/18Extraction of features or characteristics of the image
    • G06V30/1801Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18076Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据一个实施例,手写文档处理设备配备有笔划获取单元,笔划组生成单元和附加信息生成单元。笔划获取单元获取笔划数据。笔划组生成单元基于笔划数据生成笔划组,每个笔划组包括满足预定标准的一个或多个笔划。附加信息生成单元生成指示笔划组的第一笔划组和笔划组的第二笔划组之间的关系的附加信息,并且将该附加信息分配给第一笔划组。

Description

手写文档处理设备和方法
相关申请的交叉引用
此申请基于2012年8月10日提交的第2012-178937号日本专利申请并要求其优先权的权益,其全部内容通过引用被结合到本文中。
技术领域
在这里描述的实施例涉及一种手写文档处理设备和方法。
背景技术
已知一种手写文档处理设备,其对每个手写笔划组分配属性(字符或图形),并根据属性处理手写笔划组。
附图说明
图1是显示根据实施例的手写文档处理设备的示例性方框图;
图2和3是图解手写文档处理设备的各种处理的示例性流程图;
图4是图解墨水数据的格式的实例的视图;
图5是用于图解笔划数据的输入的示例性视图;
图6是显示用于图解第一和第二属性的手写文档实例的视图;
图7是用于图解附加信息的示例性视图;
图8是图解笔划组数据的格式的实例的视图;
图9和10是图解第一和第二属性和附加信息的各种实例的视图;
图11和12是用于图解笔划数据的分离的示例性视图;
图13是显示笔划组数据生成的示例性方框图;
图14-16是图解手写文档处理设备的各种处理的示例性流程图;
图17-29是与用于图解笔划组的各种处理的手写文档有关的示例性视图;
图30-33是图解各种检索结果显示实例的视图;
图34是显示硬件配置的示例性方框图;以及
图35是用于描述其中包括网络的示例性配置的视图。
具体实施方式
以下将参考附图描述根据本发明实施例的手写文档处理设备的细节。注意,在以下实施例中由相同的参考标号表示的组件进行相同的操作,并且将避免其重复的说明。
根据一个实施例,手写文档处理设备配备有笔划获取单元,笔划组生成单元和附加信息生成单元。笔划获取单元获取笔划数据。笔划组生成单元基于笔划数据生成笔划组,每个笔划组包括满足预定标准的一个或多个笔划。附加信息生成单元生成指示笔划组的第一笔划组和笔划组的第二笔划组之间的关系的附加信息,并且将该附加信息分配给第一笔划组。
根据此实施例,能够更有效地处理笔划组。
在以下说明中,实际的手写字符实例主要地使用日语的手写字符实例。然而,此实施例不局限于日语的手写字符,而可应用到多个语言的混合的手写字符。
图1显示根据此实施例的手写文档处理设备的配置的实例。如图1所示,此实施例的手写文档处理设备包括笔划获取单元1,笔划组数据生成单元2,笔划组处理单元3,操作单元4,呈现单元5,墨水数据数据库11,以及笔划组数据库12。
笔划获取单元1获取笔划。注意,该笔划指的是已经由手写输入的笔划(例如,一个笔笔划或字符中的一个笔划)。更具体地说,笔划代表笔等等从该笔等等与输入表面的接触到其释放的轨迹。
墨水数据数据库11存储墨水数据,其中笔划被一起放在文档的单元中。主要是对于其中获取由用户手写的笔划的情况给于以下说明。作为通过手写输入的方法,使用可以由不同的方法组成,例如通过笔在触摸面板上的输入的方法,通过手指在触摸面板上的输入的方法,通过手指在触摸垫上的输入的方法,通过操作鼠标输入的方法,以及通过电子笔的方法。
例如,当用户完成写入文档或保存文档时,由用户手写的大量的笔划(墨水数据),存储在墨水数据数据库11中。墨水数据是用于在文档等等的单元中存储笔划的数据结构。
笔划组数据生成单元2从墨水数据生成笔划组的数据。
笔划组数据库12存储个别笔划组的数据。一个笔划组包括形成组的一个或多个笔划。如随后将详细描写的,例如,对于手写字符,行、字等等能够被定义为笔划组。此外,例如,对于手写图形,流程图、表格、图解等等的元素图形能够被定义为笔划组。在此实施例中,笔划组被用作处理的基本单元。
笔划组处理单元3执行与笔划组相关联的处理。
操作单元4由用户操作,以便执行与笔划组相关联的处理。操作单元4可以提供GUI(图形用户界面)。
呈现单元5呈现与笔划相关联的信息,与笔划组相关联的信息,对于笔划组的处理结果等等。
注意,笔划获取单元1,操作单元4和呈现单元5的全部或某些可以成一体(作为,例如,GUI)。
如随后将详细描写的,笔划组数据生成单元2可以包括笔划组生成单元21,第一属性提取单元22,第二属性提取单元23,和附加信息生成单元24。
此外,笔划组处理单元3可以包括取回单元31和整形单元32。
注意,此实施例的手写文档处理设备不必总是包括图1所示的全部元件。
图2显示此实施例的手写文档处理设备的处理的实例。
在步骤S1中,笔划获取单元1获取笔划数据。更可取的是对于预定单元获取和使用组合笔划数据的墨水数据,因为能够执行高效的处理。将在使用墨水数据的假设下给于以下说明。
在步骤S2中,笔划组数据生成单元2(笔划组生成单元21)从墨水数据生成笔划组的数据。
在步骤S3中,笔划组数据生成单元2(第一属性提取单元22)提取第一属性。
在步骤S4中,笔划组数据生成单元2(第二属性提取单元23)提取第二属性。
在步骤S5中,笔划组数据生成单元2(附加信息生成单元24)生成附加信息。
在步骤S6中,呈现单元5呈现笔划组和第一属性/第二属性/附加信息之间的对应。
注意,可以以不同于上面描述的顺序执行步骤S2至S5。此外,可以省略步骤S3至S5中的一些步骤。
在步骤S6中,可以省略一些数据的呈现。此外,步骤S6本身可以省略,或者代替或除步骤S6之外,笔划组/第一属性/第二属性/附加信息的全部或一些可以输出到除显示装置以外的设备。
图3显示此实施例的手写文档处理设备的处理的另一实例。
步骤S11至S15同图2中的步骤S1至S5。
在步骤S16中,笔划组处理单元3(例如,取回单元31或整形单元32)基于第一属性/第二属性/附加信息的全部或一些来处理笔划组。
在步骤S17中,呈现单元5呈现处理的结果。
注意,代替或除步骤S17之外,处理结果可以输出到除显示装置以外的设备。
注意,图2和3是实例,并且各种其它处理顺序是可用的。
接下来,参考图4,对于墨水数据的数据结构和笔划数据的数据结构给于说明。
通常,对笔划进行采样,以致笔划轨迹上的点在预定时刻被采样。例如,在由用户手写的轨迹上的点是以规则的时间间隔被采样。这样,由一系列采样点表示笔划数据。
在图4的(b)部分的实例中,一个笔划(即,一个手写的笔划)的笔划数据结构是由在笔已经在其上移动了的平面上的一组坐标值(在此之后称为“点结构”)表示的。具体地说,笔划结构是包括指示构成笔划的点的数目的“点总数”,“开始时间”,“外接图形”,以及其数目对应于点的总数的一排“点结构”的结构。开始时间指示笔与输入表面接触放置以写入笔划的时间点。外接图形指示对于在文档平面上的笔划轨迹的外接图形。特别是,外接图形较佳地是包括文档平面上的笔划的最小面积的矩形。
点的结构可以取决于输入装置。在图4的(c)部分的实例中,一个点的结构是具有四个值的结构,即,在点被采样的坐标值x和y,写入压力,以及自初始点起的时间差(例如以上描述的“开始时间”)。
注意,坐标使用在文档平面上的坐标系。例如,坐标可以由以左上角为原点,向着右下角变大的正值表示。
另外,当输入装置不能获取写入压力时或者当即使获取了,写入压力也不被用于后续的处理时,可以省略图4的(c)部分中的写入压力或者可以对于写入压力描述指示无效的数据。
在图4的(b)和(c)部分的实例中,实际的数据,例如坐标值x和y,可以在笔划结构中的每个点结构的段中被描述。做为选择,假定笔划结构的数据和点结构的数据被分开地管理,则可以在笔划结构中的每个点结构的段中描述到对应点结构的链接信息。
图5图解获取的笔划的实例。在以下说明中,例如,假定情况是笔划中的采样点的采样周期是预定时间周期。图5的(a)部分显示采样点的坐标,而图5的(b)部分显示线性地插入的时间地连续的点结构。采样点的坐标间隔的差别是由于写入的速度的差别。采样点的数目在笔划与笔划之间可以不同。
在图4的(a)部分的实例中,墨水数据的数据结构是包括指示在文档的全部区域中包括的笔划结构的数目的“笔划总数”,和其数目对应于笔划总数的一排“笔划结构”的结构。
在图4的(a)和(b)部分的实例中,可以在墨水数据结构中的每个笔划结构的部分中描述图4的(b)部分的数据。做为选择,假定墨水数据结构的数据和图4的(b)部分的笔划的数据结构被分开地管理,则可以在墨水数据结构中的每个笔划的数据结构的部分中描述与图4的(b)部分的对应数据的链接信息。
已经由用户通过使用输入装置写入的笔划数据例如通过图4所示的墨水数据结构被部署在存储器上。例如,当墨水数据被保存为文档时,墨水数据被存储为墨水数据数据库11。
顺便地,当多个文档被存储时,可以与每个墨水数据相关联地保存用于识别这些文档的文档ID。另外,为了识别每个笔划,可以给予每个笔划结构一个笔划ID。
笔划组数据生成单元2(笔划组生成单元21,第一属性提取单元22,第二属性提取单元23附加信息生成单元24)和笔划组数据库12将被如下描述。
笔划组生成单元21从手写文档(墨水数据)中生成包括形成满足预定标准的组的一个或多个笔划的笔划组。一个笔划属于至少一个笔划组。
注意,该预定标准或笔划组生成方法能够被适当地设置或选择。例如,取决于行、字和字符中的哪一个被设置为笔划组,该预定标准或笔划组生成方法能够与“字符”相关联地被选择。此外,取决于,例如,是一个表格的全部规则线都被设置为一个笔划组还是一个表格的每个个别的规则线(线段)被设置为一个笔划组,该预定标准或笔划组生成方法能够与“图形”相关联地被选择。此外,取决于两个相交线段被设置为一个笔划组还是两个笔划组,能够选择该预定标准或笔划组生成方法。另外,能够根据不同的目的等等而改变笔划组生成方法。
可以通过各种方法来生成笔划组。例如,可以在一个页面的文档的输入完成时或者对于预先输入的一个页面的文档执行笔划组生成处理。作为选择,例如,用户可以输入笔划组的生成指令。作为选择,当对于预定时间周期没有笔划已经输入时,可以启动笔划组生成处理。作为选择,当笔划被输入至某个区域时,当在自那个区域起的预定范围之内对于预定时间周期没有笔划已经输入时,可以启动用于在那个区域中生成笔划组的处理。
第一属性提取单元22提取对每个单独的笔划组唯一的属性。提取的属性作为第一属性被赋予那个笔划组。第一属性例如是“字符”或“图形”。第一属性的另一实例是“表格”,“图解”,“数学表达式”,等等。
注意,笔划组生成单元21和第一属性提取单元22可以成一体。也就是说,可以使用同时获得笔划组和第一属性的方法。
作为笔划组生成方法,能够使用不同的方法。
例如,能够使用以下方法。
(1)在预定时间周期之内输入的一组一个或多个笔划被定义为一个笔划组。
(2)具有不超过预定阈值的笔划间的距离的一组一个或多个笔划定义为一个笔划组。笔划间的距离是,例如,笔划位置的质心之间的距离或外接笔划的图形的质心点之间的距离。外接笔划的图形例如是诸如矩形的多角形、圆,椭圆等等。
(3)通过把注意力集中在相邻的线段结构,当图形生成时形成基本图形作为基础的元素组从笔划顶点的数目和连续的顶点之间的线段类型中被提取,并且被提取的基础的图形被分离成笔划组,每个笔划组基于它们的相对的位置关系形成一个图形(例如,参见日本技术报告人机交互26卷,1-9页,[1986]的Haruhiko Kojima:通过相邻草图结构分析方法的在线手绘线条图形输入系统,信息处理学会)。
(4)组合这些方法的一些或全部的方法。
以上方法是实例,并且可用的笔划组生成方法不局限于它们。此外,可以使用已知的方法。
注意,可以用链式反应方式来扩展笔划组。例如,当笔划a和b满足一个笔划组的条件时,并且当笔划b和c满足一个笔划组的条件时,不管笔划a和c是否满足一个笔划组的条件,笔划a,b,和c都可以定义一个笔划组。
对于隔离的笔划,一个笔划组被分配给该隔离的笔划。
第一属性提取单元22提取对每个单独的生成的笔划组唯一的属性。
各种第一属性提取方法是可用的。
例如,第一属性提取单元22将字符识别应用至笔划组,并且基于它的可能性来判断那个笔划组是否是字符。当判定该笔划组是字符时,第一属性提取单元22可以将“字符”设置为那个笔划组的第一属性。同样地,例如,第一属性提取单元22将图形识别应用至笔划组,并且基于它的可能性来判断那个笔划组是否是图形。当判定该笔划组是图形时,第一属图形提取单元22可以将“图形”设置为那个笔划组的第一属性。作为选择,第一属性提取单元22可以准备一个规则[例如,包括具有不少于阈值的笔划长度的笔划的笔划组的第一属性被设置为“图形”],并且可以应用那个规则。
注意,至于未被识别为“字符”或“图形”的笔划组的处理,可以使用各种方法。对于未被识别为“字符”或“图形”的笔划组,例如,可以将预定属性(例如,“图形”)分配为第一属性。作为选择,基于围绕的笔划组,可以估算第一属性。例如,当围绕的笔划组的大部分第一属性是“字符”时,那个笔划组的第一属性可以被识别为“字符”;当围绕的笔划组的大部分第一属性是“图形”时,那个笔划组的第一属性可以被识别为“图形”。
不同于第一属性提取单元22,第二属性提取单元23从包括在文档中接近安置的(满足预定标准的)多个笔划组的集合(笔划组集合)中提取一个属性。
例如,当多个笔划组之间的距离不大于阈值时,这些多个笔划组可以被组合成一个笔划组集合。在这种情况下,该笔划组集合可以如同在前面提到的笔划组的链式反应扩展,以链式反应方式扩展。注意,各种方法可以用作为从多个笔划组中生成一个笔划组集合需要的标准或方法。
从一个笔划组集合中提取的属性被作为第二属性分配到包括在那个笔划组集合中的一个或多个笔划组中的每个笔划组。第二属性例如是“字符”或“图形”。第二属性的另一实例是“表格”,“图解”,“数学表达式”,等等。注意,一个隔离的笔划组的第二属性可以等于它的第一属性。
注意,至于第二属性的处理,可以使用一些方法。例如,第一和第二属性两者都可以分配给全部笔划组或者第二属性可以分配给仅具有不同的第一和第二属性的笔划组。在后者情况中,没有第二属性被分配意味着第二属性等于第一属性。
可以使用各种第二属性提取方法。
例如,第二属性提取单元23比较具有第一属性“字符”的笔划组的区域对笔划组集合的完整区域的占有比与具有第一属性“图形”的笔划组对笔划组集合的完整区域的占有比。当前者比率较大时,第二属性提取单元23可以设置“字符”作为第二属性;当后者比率较大时,它可以设置“图形”作为第二属性。注意,笔划组集合的完整区域例如是包括在那个笔划组集合中的各个笔划组的外接图形的面积的总和,并且具有第一属性“字符”的笔划组区域例如是具有第一属性“字符”的各个笔划组的外接图形的面积的总和。具有第一属性“图形”的笔划组区域的区域例如是具有第一属性“图形”的各个笔划组的外接图形的面积的总和。
作为选择,第二属性提取单元23比较具有第一属性“字符”的笔划组的数目对包括在笔划组集合中的笔划组的数目的比率和具有第一属性“图形”的笔划组的数目对包括在该笔划组集合中的笔划组的数目的比率。当前者比率较大时,第二属性提取单元23可以设置“字符”作为第二属性;当后者比率较大时,它可以设置“图形”作为第二属性。
第二属性提取单元23可以从墨水数据中直接地计算文档中的字符部分和图形部分。在这时候,当笔划组集合对应于字符部分时,第二属性提取单元23可以分配第二属性“字符”。另一方面,当笔划组集合对应于图形部分时,第二属图形提取单元23可以分配第二属性“图形”。
注意,笔划组生成单元21,第一属性提取单元22,和第二属性提取单元23可以成一体。也就是说,可以使用同时获得笔划组、第一属性和第二属性的方法。
笔划组、第一属性和第二属性的实例将参考图6描述如下。
在图6中,(a)显示手写文档(笔划序列)的实例。在此实例中,第一笔划“字符”被分别地分配给图6中的(b)的上部中的笔划组113至120。对包括在部分111中的笔划组113至120,分配第二属性“字符”。此外,在此实例中,图6中的(b)的下部中的各个流程图元件分别是分配了第一属性“图形”的笔划组。例如,程序、磁盘、线条、箭头等等是分配了第一属性“图形”的笔划组(图6的(b)中的121,122,等等)。流程图元件中的字符组(图6的(b)中的123等等)分别是分配了第一属性“字符”的笔划组。第二属性“图形”被分配给包括在部分112中的各个笔划组。
在这种情况下,例如,笔划组120被分配了第一属性=第二属性=“字符”,而笔划组122被分配了第一属性=第二属性=“图形”。相反,例如,笔划组122中的笔划组123被分配了第一属性=“字符”以及第二属性=“图形”。笔划组123本身是“字符”,并且同时组成“图形”的一部分。
注意,可以提取和使用不同于第一和第二属性的第三属性。第四和后续属性的情况也如此。
附加信息生成单元24对于每个单独的笔划组生成附加信息。当对于一个笔划组生成一个或多个附加信息时,生成的一个或多个附加信息被分配给那个笔划组。没有附加信息可以分配给某个笔划组。
注意,可以对于所有的笔划组生成附加信息,或者可以仅对于具有不同的第一和第二属性的笔划组生成附加信息。
附加信息例如是指示两个笔划组之间关系的信息。该关系包括其中一个笔划组被包括在另一个笔划组中的包含关系,其中两个笔划组部分地互相重叠的相交关系,其中两个笔划组互相连接的连接关系,以及其中两个笔划组互相接近的邻接关系。注意,分开安置的两个笔划组不具有以上关系中的任一个。
在此实施例中,假定当检测出以上关系之一时,生成附加信息;否则,不生成附加信息。
在此实施例中,至于前面提到的关系的包含关系,对于包括另一个笔划组的笔划组生成附加信息“包括”,并且对于包括在另一个笔划组中的笔划组生成附加信息“被包括”。至于其它的关系,生成附加信息“相交”,“连接”,或“邻接”。
例如,在图7中的(a)的实例中,因为笔划组701包括笔划组702,所以附加信息“包括”被分配给笔划组701,并且附加信息“被包括”被分配给笔划组702。在图7中的(b)的实例中,因为笔划组703和704互相交叉,所以附加信息“相交”被分配给笔划组703和704两者。在图7中的(c)的实例中,因为笔划组705和706互相连接,所以附加信息“连接”被分配给笔划组705和706两者。在图7中的(d)的实例中,因为笔划组707和710互相接近,所以附加信息“邻接”被分配给笔划组707和710。笔划组707和711,笔划组708和710,以及笔划组709和711的情况也如此。注意,除以上信息之外,笔划组707和708以及笔划组707和709互相连接。
以下将描述包含关系、相交关系、连接关系、和邻接关系的判断方法的实例。
例如,计算外接各个笔划组的多边形,并且当笔划组A的外接多边形被包括在笔划组B的中,并且笔划组B的所有的采样点位于笔划组A的外接多边形的外部时,可以判定笔划组A被包括在笔划组B中。注意,为了应付一些略微突出的笔划,当笔划组A的外接多边形在预定比率以上(例如,90%以上)的面积被包括在笔划组B的外接多边形中时,可以判定笔划组A被包括在笔划组B中,并且笔划组B在预定比率以上(例如,90%以上)的采样点位于笔划组A的外接多边形的外部。
当没有判定包含关系时,并且当笔划组A和B的外接矩形具有在预定比率以上(例如,笔划组A和B的面积的较小的一个的10%以上)的重叠区时,可以判定笔划组A和B互相交叉。
当既不判定包含关系也不判定相交关系时,并且当笔划组A和B的外接矩形具有在小于预定比率(例如,小于笔划组A和B的面积的较小的一个的10%)的重叠区时,可以判定笔划组A和B互相连接。注意,为了应付略微地分离的笔划,即使当外接矩形被分离时,如果它们的距离不大于很小的阈值,则也可以判定“连接”。
当既不判定包含关系也不判定连接关系时,当笔划组A和B的外接矩形之间的距离不大于阈值时,可以判定邻接关系。
注意,该关系判断方法不局限于前面提到的方法,并且可以使用各种其它的方法。
以下将描述笔划组的数据结构。
作为笔划组的数据结构,可以使用各种结构。
图8显示每个单独的笔划组的数据结构的实例。在图8的实例中,一个笔划组的数据包括“笔划组ID”,“笔划数据”,“第一属性”,“第二属性”,以及“附加信息”。
“笔划组ID”是用于识别所关注的文档中的笔划组的标识符。
“笔划的数据”是允许指定包括在那个笔划组中的一个或多个笔划的数据。“笔划的数据”可以保持对应于包括在那个笔划组中的单独的笔划的笔划结构(参见图4中的(a)),或对应于包括在那个笔划组中的单独的笔划的笔划ID。
每个笔划组都分配一个“第一属性”和“第二属性”。
至于“附加信息”,是否分配附加信息,并且将要分配的附加信息的数目依据笔划组而改变。分配给笔划组的每个单独的附加信息包括具有与那个笔划组的关系的另一个笔划组(以下称为“相关笔划组”)的一对笔划组ID(称为“相关笔划组ID”),以及那个关系的类型。注意,除了或代替“关系的类型”,相关笔划组的第一属性或相关笔划组的第一和第二属性也可以被保持。
注意当不使用“第一属性”,“第二属性”,或“附加信息”时,可以从图8所示的数据结构中省略它。
此外,笔划组的数据可以保持不同的其它种类的信息。
注意,呈现单元5希望地具有呈现笔划组和第一属性/第二属性/附加信息之间的关系的功能。例如,在图6的(b)中,字符笔划组由矩形113至120指示,并且第二属性由框111和112指示。另外,例如,可以改变和呈现框的线条类型、颜色等等,或者可以显示短语“字符”、“图形”等等,以便允许用户识别第二属性是“字符”还是“图形”。此外,在图6的(b)中,图形部分112中指示笔划组的矩形被省略,但它们可以被呈现。此外,可以呈现第一属性,以允许用户识别它是“字符”还是“图形”。此外,可以呈现附加信息(包含关系,相交关系,连接关系,或邻接关系),以便允许用户来识别它。此外,如图28和29所示,仅可以呈现一些信息。
笔划组的数据结构的实例将参考图9描述如下。
例如,假定输入指示一部分流程图的墨水数据,如图9的(a)所示,并且生成四个笔划组。在这种情况下,具有笔划组ID=001的笔划组被包括在连接到具有笔划组ID=004的笔划组的、具有笔划组ID=002的笔划组中,并且也被连接到具有笔划组ID=003的笔划组。在这种情况下,例如,具有笔划组ID=001至004的笔划组的数据结构分别如图9的(b),(c),(d),和(e)所示。注意,“笔划的数据”未显示在图9的(b),(c),(d)和(e)中。
笔划组的数据结构的另一实例将参考图10描述如下。
例如,假定输入指示一部分手写字符和图形的墨水数据,如图10的(a)所示,并且生成四个笔划组。在这种情况下,具有笔划组ID=001的笔划组接近具有笔划组ID=002的、与具有笔划组ID=003的笔划组邻接的笔划组,并且也接近具有笔划组ID=004的笔划组,并且具有笔划组ID=003的笔划组与具有笔划组ID=004的笔划组相交。在这种情况下,例如,具有笔划组ID=001至004的笔划组的数据结构分别如图10的(b),(c),(d)和(e)所示。注意,“笔划的数据”未显示在图10的(b),(c),(d)和(e)中。
笔划组数据生成单元2可以至少包括笔划组生成单元21,并且可以进一步任意地包括第一属性提取单元22、第二属性提取单元23和附加信息生成单元24。例如,配置的以下变化是可用的。
·笔划组数据生成单元2包括附加信息生成单元24。在这种情况下,能够按照附加信息执行与笔划组相关联的处理。
·笔划组数据生成单元2包括第一属性提取单元22和附加信息生成单元24。在这种情况下,与笔划组相关联的处理能够被执行第一属性/附加属性。
·笔划组数据生成单元2包括第一属性提取单元22和第二属性提取单元23。在这种情况下,能够按照第一属性/第二属性执行与笔划组相关联的处理。
·笔划组数据生成单元2包括第一属性提取单元22,第二属性提取单元23和附加信息生成单元24。在这种情况下,能够按照第一属性/第二属性/附加信息来执行与笔划组相关联的处理。
笔划组生成和第一属性提取方法的另一实例将描述如下。
手写文档被分离成字符部分和图形部分。
每个“字符部分”的内部部分可以进一步地被分离成多个部分。例如,如图11-12所示,“字符部分”可以分离成“段落块”,并且“段落块”可以分离成“行块”。进一步地,如图11-12所示,“行块”可以分离成“字块”。此外,“字块”可以分离成“字符块”。
一个“行块”,一个“字块”或一个“字符块”可以被定义为一个笔划组。此外,一个“段落块”能够被定义为一个笔划组。
接下来,参考图13,描述分离处理的实例。图13所示的块生成单元210是笔划组数据生成单元2的内部功能块或内部处理的示例性方框图。
作为开始,手写文档被分离成字符部分、图形部分和表格部分的单元(部分分离211)。
例如,使用预先知道的分类器来判断每个笔划属于字符、图形和表格中的哪个,可能性相对于每个笔划被计算并且用马尔科夫随机场(MRF)来被表示,以便与文档平面上的空间接近度和连续性耦合。笔划可以分离成字符部分、图形部分和表格部分(参见,例如X.-D.周,C.-L.刘,S.Ouiniou,E.Anquetil,“基于马尔科夫随机场的日语手写中的文本/非文本墨水笔划分类”ICDAR'07关于文档分析和识别的第九国际会议的进程,第1卷,第377-381页,2007年)。
分类为字符部分、图形部分和表格部分不局限于以上方法。
在手写文档被分离成字符部分、图形部分和表格部分之后,字符部分被进一步地分离成详细的部分。
首先,在本实施例中,执行分离为行块的部分(行块生成处理212)。
每个笔划数据都包括指示写入时间的时间信息。这样,例如,相对于按写入的次序排序的笔划,如果连续的笔划的外接矩形之间的距离小于阈值,则这些笔划可以被判定为属于相同的行块。如果该距离等于或大于该阈值,则这些笔划可以被判定为属于不同的行块。
LineClassification ( i ) = true , if Dist ( SR i - 1 , SR i ) < threshol d line false , otherwise
以上等式是用于判断第i个笔划是否属于与紧接着在前的笔划相同的行的函数。SR指示笔划的外接矩形,并且Dist(r1,r2)是用于返回外接矩形r1和r2之间的距离的函数。在这种情况下,外接矩形之间的距离是外接矩形的重力点之间的欧几里德距离。另外,阈值thresholdline是预定参数,并且关于其上可能写入的文档平面的范围而改变。如果很清楚字符串等等的笔划位置数据在X轴方向的范围已经大大地改变了,则将足够,并且阈值可以设置在,例如目标墨水数据的X轴的范围的30%。
同时,对应于行块的笔划不必与该轴相平行地写入。这样,为了吸收写入的旋转,行块的方向可以被标准化为三个方向之一,即向左的方向、向下的方向和向右的方向。在文档平面上,通过行块的主分量分析来发现第一主分量,并且其特征向量与以上描述的三个方向相比,并且该行块被旋转至该三个方向的最靠近的方向。注意,当能够指定写入的语言时,能够限制标准化的方向。例如,在阿拉伯语的情况下,行块的方向限于向左的方向。在日语的情况下,行块的方向限于两个方向,那就是说向右的方向和向下的方向。
行块的分离不局限于以上方法。
当一个“行块”被定义为一个笔划组时,能够完成分离处理。当一个“字块”或一个“字符块”被定义为一个笔划组时,进一步地执行下一个分离处理。
接下来,执行分离为字符块的部分(字符块生成处理213)。
例如,已经由以上描述的方法分离的,行块的该部分的外接矩形的短边的中间值,被设置为一个字符的尺寸,并且对于每个行块部分执行分离。按写入次序执行笔划的外接矩形的AND处理,并且获得耦合的矩形。在这时候,如果耦合的矩形大于该行块部分的长边方向的字符大小,则目标笔划可以被判定为属于不同于紧接着在前的笔划的字符块的字符块部分。否则,该目标笔划可以被判定为属于相同的字符块。
字符块的分离不局限于以上方法。
当一个“字块”被定义为一个笔划组时,能够完成分离处理。当一个“字符块”被定义为一个笔划组时,进一步地执行下一个分离处理。
接下来,执行分离为字块的部分(字块生成处理214)。
在这里“字”指的是,例如,并非通过形态分析由言语部分划分的字,而是比行块更详细并且比字符块更宽的部分。因为字符识别对字的精确分类是不可缺少的,所以字块不必变成具有如同文本信息的意思的字。字块的部分例如可以被计算,,以致对于该行块部分,属于该行块部分的字符块部分相对于用于该字符块部分的外接矩形的坐标值被集聚并且被分离成k数目的簇,并且每个簇都被判定为该字块的部分。
字块的分离不局限于以上方法。
当一个“段落块”被定义为一个笔划组时,在行块分离处理之后进一步地执行下一个分离处理。
接下来,执行分离为段落块的部分(段落块生成处理215)。
例如,在文档平面上,相对于该行块部分的短边的方向投影所有的笔划,从而获得直方图,在该直方图中,计算固定范围中的笔划的频率。获得的直方图具有多峰性,并且每个峰被分类为一个段落块。因为峰的总数是未知的,所以通过使用频率和投影轴上的距离的可压缩性来执行集聚,并且从而能够划分多峰性的峰(参见,例如Imamura,Fujimura,Kuroda,“基于加权序列的模糊簇聚在直方图中划分峰的方法”,图像信息和电视工程师学院的学报,61(4),第550-553页,2007年)。
段落块的分离不局限于以上方法。
至此已经主要地描述了从墨水数据中的笔划组数据生成处理。以下将主要地描述用于笔划组的处理。注意,将要处理的笔划组可以是由,例如,图1所示的笔划组数据生成单元2生成的那些或外部地获取的那些。
笔划组处理单元3将描述如下。
笔划组处理单元3能够包括执行与笔划组相关联的处理所需要的一个或多个各种处理单元。例如,图1显示进行与笔划组相关联的检索的检索单元31,和执行与笔划组相关联的整形处理的整形单元32(然而,此实施例不局限于此)。
与笔划组相关联的各种处理是可用的。例如,检索处理、编辑处理等等是可用的。检索处理例如包括字符检索、图形检索、页面检索、布局检索等等。编辑处理例如包括字符/图形整形、字体改变、字符/图形编辑、仅图形/字符色彩显示等等。
在此实施例中,能够根据分配给每个笔划组的第一属性、第二属性、和附加信息中的全部或一些来改变全部或一些处理内容。
例如,可以定义以下处理:
具有第一属性=“字符”的笔划组在字符识别之后被整形;
具有第一属性=“图形”的笔划组在图形识别之后被整形;
在那之后,
不带附加信息的笔划组被左对齐;并且
具有附加信息的笔划组被居中对齐。
例如,在图6的实例的情况下,笔划组120具有第一属性=第二属性=“字符”,笔划组122具有第一属性=第二属性=“图形”,并且笔划组123具有第一属性=“字符”和第二属性=“图形”。
图17显示不同于图6的实例。假定输入手写文档,如图17的(a)所示。包括在图17的(b)中的部分1701中的笔划组(除在块1703中的“围绕字符的环”外)被分配第一属性=第二属性=“字符”,并且包括在部分1702中的笔划组被分配第一属性=第二属性=“图形”。然而,指示在块1703中“围绕字符的环”的笔划组被分配了第一属性=“图形”和第二属性=“字符”。
例如,当“字符”或“图形”被用作属性时,如上所述,能有四个类型的笔划组:
·具有第一属性=“字符”和第二属性=“字符”的笔划组;
·具有第一属性=“图形”和第二属性=“图形”的笔划组;
·具有第一属性=“字符”和第二属性=“图形”的笔划组;以及
·具有第一属性=“图形”和第二属性=“字符”的笔划组。
例如,能够根据所考虑的属性改变处理内容。例如,可以执行下列的处理。
·处理A1被用于具有第一属性=“字符”的笔划,并且处理A2被用于具有第一属性=“图形”的笔划组。
·处理B1被用于具有第二属性=“字符”的笔划,并且处理B2被用于具有第二属性=“图形”的笔划组。
·处理C1被用于具有第一属性=“字符”和第二属性=“字符”的笔划组,处理C2被用于具有第一属性=“图形”和第二属性=“图形”的笔划组,处理C3被用于具有第一属性=“字符”和第二属性=“图形”的笔划组,并且处理C4被用于具有第一属性=“图形”和第二属性=“字符”的笔划组。
此外,能够根据处理模式来选择将要使用的第一属性、第二属性和附加信息中的一些或全部。处理模式的实例是:
模式1:使用第一属性;
模式2:使用第二属性;
模式3:使用附加信息;
模式4:使用第一和第二属性;
模式5:使用第一属性和附加信息;
模式6:使用第二属性和附加信息;以及
模式7:使用第一和第二属性和附加信息。
能够使用前面提到的模式的组合。
笔划组处理单元3的一些处理序列的实例将描述如下。
图14显示笔划组处理单元3的处理的实例。
笔划组处理单元3在步骤S21中接受目标手写文档或笔划组的指定,在步骤S22中根据第一属性/第二属性/附加信息,对于包括在指定的手写文档或指定的笔划组中的笔划组应用整形处理,并且在步骤S23中呈现处理结果。
图15显示笔划组处理单元3的处理的另一实例。
笔划组处理单元3在步骤S31中接受手写文档或笔划组的指定作为询问,在步骤S32中,使用第一属性/第二属性/附加信息,基于该询问进行检索,并且在步骤S33中呈现处理结果。
图16显示笔划组处理单元3的处理的又一实例。
笔划组处理单元3在步骤S41中获取处理模式,在步骤S42中根据该处理模式使用第一属性/第二属性/附加信息来处理笔划组,并且在步骤S43中呈现处理结果。
注意,图14,15和16是实例,并且各种其它处理序列是可用的。
用于笔划组的处理的一些实例将描述如下。
<字符/图形整形处理实例>
字符/图形整形处理的实例将描述如下。
例如,能够执行以下字符/图形整形处理。
·具有第一属性=“字符”的笔划组(以下称为字符笔划组)经历字符识别引擎,以被转换为字体格式。
·具有第一属性=“图形”的笔划组(以下称为图形笔划组)经历图形识别引擎,以使线条清晰。
·没有附加信息(未包括在任何图形内)的字符被左对齐。
·具有附加信息的字符被居中对齐。
假定不执行使用附加信息的处理,以便实施前面提到的处理,全部字符被临时地左对齐,并且需要的部分的那些被改为居中对齐,导致额外的处理。在此实施例中,因为使用附加信息,所以能够通过单个的处理来实施以上处理。
图18显示手写文档的实例,并且图19显示那个手写文档的整形处理的结果的实例。
字符/图形整形处理的另一实例将描述如下。
例如,能够执行以下字符/图形整形处理。
·与图形笔划组具有包含、相交、或连接关系的字符笔划组不被整形。
·与图形笔划组具有邻接关系的字符笔划组被整形。更具体地说,例如,用手写状态表示表格的内容,并且仅整形标题。
用户可以选择将要整形的具有关系的字符。例如,用户从诸如“包含”,“相交”,……的选择中选择将要整形的关系,并且具有选择的关系的字符被整形。
图20显示整形处理的实例。在图20中,(a)显示包括表格和接近于该表格的标题2001[テストのスコア](用英语是“Scores of tests”)的手写文档的实例。在这种情况下,该表格被识别,并且检测出该表格中字符的包含。更具体地说,表格的内容被检测出测试的得分被包括在表格中。在图20中,(b)显示了包括在该表格中的字符尚未曾经历整形处理的结果的实例,并且只有在表格外边附近的标题文本2002[テストのスコア](用英语是“Scores of tests”)已经经历了整形处理。
图21显示整形处理的另一实例。在图21中,(a)显示图解注释2101-1、注释2101-2[海がきれいだよ!](用英语是“Beautiful ocean!”)、以及标题2101-3[8月8日沖縄](用英语是“Okinawa,August 8”)的手写实例。在图20中,(b)显示在没有整形图解的情况下手写字符已经经历了整形处理的情况。如由参考标号2101和2102表示的,整形了标题[8月8日沖縄](用英语是“Okinawa,August 8”)的字符笔划组和注释[海がきれいだよ!](用英语是“Beautiful ocean!”)。如由参考标号2103表示的,没有整形图解。在图20中,(c)显示当不整形图解,不整形接近于图解的手写字符,并且仅仅整形与图解分离的手写字符时的结果的实例。在此实例中,假定注释接近于图解,并且标题与图解分离。如由参考标号2104表示的,整形标题[8月8日沖縄](用英语是“Okinawa,August 8”)的字符笔划组,但是如由参考标号2105表示的,不整形注释[海がきれいだよ!](用英语是“Beautiful ocean!”)的字符笔划组。如由参考标号2106表示的,没有整形图解。
字符/图形整形处理的又一实例将描述如下。
例如,能够执行以下字符/图形整形处理。
·整形字符笔划组。
·强调字符笔划组的具有与图形笔划组的包含,连接,或邻接关系的字符笔划组。
在图22中,(a)和(b)显示注释[明日はいつもの場所に5時に行く!](用英语是“Go to usual place at 5o'clock tomorrow!”),和在该注释中用于强调部分[5時](用英语是“5o'clock”)的图形(2201,2202)的手写实例。参考标号2201通过圆表示着重;并且2201,通过双下划线来表示强调。在图22中,(c)显示其中字符已经经历了整形处理,并且只有相交或接近于图形(2201,2202)的字符已经经历了强调处理(在此实例中是扩大)的结果的实例。注意,用于强调字符的图形(2201,2202)被删除或未显示。注意,强调处理不局限于扩大,并且能够使用各种其它的方法,诸如使用粗体的方法、使用红色字体附上标记等等。
字符/图形整形处理的又一个实例将描述如下。
例如,能够执行以下字符/图形整形处理。
·整形字符笔划组。
·字符笔划组中的、与图形笔划组具有相交或邻接关系的字符笔划组被删除,并且剩余的字符笔划组被显示为左对齐。
在图23中,(a)和(b)显示注释[すみませんが頭が頭痛なので休みます。](用英语是“Sorry,but I want a day off today because of a headache in the head”)和用于删除部分[頭が](用英语是“in the head”)的图形(2301,2302)的手写实例。在图23中,(c)和(d)显示字符被整形、并且只有与图形(2301,2302)相交的字符被删除或未显示的结果的实例。在图23中,(c)显示包括被删除或未显示的字符的行没有左对齐的实例(参见2303),并且在图23中,(d)显示包括被删除或未显示的字符的行是左对齐的实例(参见2304)。注意,在此实例中,用于删除字符的图形(2301,2302)也被删除或未显示。
用这样的方式,能够整形其上通过双线,X等等删除不必要的字符的页面。
<页面检索处理>
页面检索处理的实例将描述如下。
在该实施例中,通过使用由用户手写的手写文档(包括手写数据)作为询问,从预先写入的(例如,许多)手写文档执行检索。对于用户,可以使用任何方法来指定文档。例如,可以由用户实际地手写文档来指定询问。用户可以通过在布局上排列一个以上预先准备的笔划模板来创建文档。可以由用户从存在的手写文档之中选择将要用作询问的文档。可以使用这些方法的组合。与询问相似或相配的,具有布局的手写文档被呈现为检索结果。
例如,以下将检查一种情况,其中图24的(a)所示的手写文档被保存,并且图24的(b)或(c)所示的询问被指定。如在图24的(a)、(b)和(c)中例示的,手写文档和询问可以分解为字符部分和图形部分,并且可以对于字符部分或图形部分执行手写文档和询问之间的匹配。在此实施例中,能够进一步地使用附加信息(例如,包含、相交、连接和邻接关系)。
例如,与询问具有相同的连接关系的候选者等级为高。
例如,根据询问满足图形笔划组与字符笔划组具有包含关系的条件或图形笔划组与字符笔划组不具有任何包含关系的条件的候选者等级为高。
此外,在这样的候选者中,具有更靠近的图形和字符位置的候选者等级为高。
例如,在图25中,(a)显示当指定图24的(b)所示的询问时检索结果的实例。图25中的不等号指示检索的手写文档的相似性的大小关系。在这个询问中,因为字符“D”与图形没有关系,所以字符“D”与图形没有关系的候选者等级较高。
相反,在图25中,(b)显示当指定图24的(c)所示的询问时的检索结果的实例。在这个实例中,因为在手写询问中,字符“D”与图形具有包含关系,所以字符“D”与图形具有包含关系的候选者等级较高。
用这样的方式,虽然对于两个询问检索了同一的候选者,但是能够使用取决于询问的附加信息改变优先等级。所以,候选者的呈现顺序等等是不同的。
用户可以在文档中仅仅描述他的/她的记忆中的一部分作为询问。当使用了用户的他的/她的记忆中的部分的附加信息时,很可能获得想要的检索结果,并且想要的候选者很可能等级较高。
注意,检索结果更可取地是与显示的页面和它们的关系一起呈现,这样更容易地获得想要的结果。
<来自菜单的处理选择的实例>
来自菜单的处理选择的实例将描述如下。
字符/图形整形处理的实例将参考图26作为用户操作的实例描述如下。
在整形处理中,可以使用第一属性/第二属性/附加信息中的全部或一些。
(a)在页面浏览模式的初始状态中,用户选择将要整形的页面(附加有属性的页面)。
(b)显示想要的页面。注意,不是已有页面的选择,而是用户可以在那个站点手写文档,并且可以附加属性至该文档而。
(c)当用户在页面上点击时,显示用于那个页面的操作列表。在操作列表的实例中,显示“布局检索”、“字符/图形整形”、“图形检索/编辑”、“字符检索/编辑”、“字体改变”、“仅图形笔划的色彩显示”、“仅字符笔划的色彩显示”等等,但是该实施例不局限于它们。
(d)用户在操作列表中点击“字符/图形整形”。
(e)执行整形处理。例如,借助于字符识别的整形被用于字符部分,并且借助于图形识别的整形被用于图形部分。例如,如图18和19所示,如在包括上部中的字符部分和下部中的图形部分两者的手写文档中需要的,整形了字符和图形部分。
(f)显示整形的页面。
(用户操作的实例:布局检索)
布局检索的实例将参考图27作为用户操作的实例描述如下。
在页面检索中,可以使用第一属性/第二属性/附加信息的全部或一些。
(a)在页面浏览模式的初始状态中,用户选择将要用作询问的页面(附加有属性)。
(b)显示想要的页面。注意,不是已有页面的选择,而是用户可以在那个站点手写页面并且可以附加属性至那个页面。
(c)当用户在页面上点击时,显示用于那个页面的操作列表。在操作列表的实例中,显示“布局检索”、“字符/图形整形”、“图形检索/编辑”、“字符检索/编辑”、“字体改变”、“仅图形笔划的色彩显示”、“仅字符笔划的色彩显示”等等,但是该实施例不局限于它们。
(d)用户在操作列表中点击“布局检索”。
(e)进行布局检索。例如,使用第一属性/第二属性/附加信息的全部或一些,可以分析全部页面的布局。例如,用户选择图6的(a)所示的文档作为询问。例如,当使用第二属性时,使用如图6的(b)所示的,其中文档的上半部分111具有第二属性“字符”并且文档的下半部分112具有第二属性“图形”的询问。结果,例如,检索到图17所示的文档。
(f)显示具有类似于询问页面的布局的页面。
<布局检索的实例>
布局检索的实例将描述如下。
图28显示布局检索的实例。
(a)用户指定手写询问。注意,用户可以仅描述他的/她的记忆中的一部分。
(b)第一属性/第二属性/附加信息的全部或一些被分配给手写询问。
(c)进行布局检索。当检索具有相同的布局的多个页面时,计算它们的相似性,并且将检索的页面分等级。
在这种情况下,字符识别处理可以应用于字符部分,并且在那个部分中的询问中包括字符的页面的相似性可以设置为高。同样地,图形识别可以应用于图形部分,并且在那个部分中的询问中包括图形的页面的相似性可以设置为高。此外,人们认为字符具有比图形更高的确定性因子。
(d)以相似性的顺序显示候选者。
图29显示布局检索的另一实例。
(a)用户手写如在图28的(a)中的询问。
(b)假定用户在图形笔划组中进一步地写入文本笔划组[判定部](用英语是“determination unit”)。
(c)进行布局检索。
在这种情况下,例如,字符识别处理可以应用于字符部分,并且在那个部分中的询问中包括字符的页面的相似性可以设置为高。同样地,当询问的图形部分包括字符时,在图形部分中包括相同字符的页面的相似性可以设置为高。在这时候,因为用户不总是指示适当的字符位置,所以甚至字符位置不需要总是匹配的,并且可以检索包括相同字符的页面作为检索结果。此外,图形识别也可以应用于图形部分,并且在那个部分中的询问中包括图形的页面的相似性可以设置为高。
(d)以相似性的顺序显示候选者。
呈现单元5将描述如下。
呈现单元5呈现与每个笔划相关联的信息、与每个笔划组相关联的信息、对于笔划组的处理结果等等。
作为显示方法,能够使用各种方法。
例如,当显示检索结果的某些页面时,用户可以切换到:
·仅显示字符和图形部分被分离的页面;
·仅显示字符和图形部分具有包含、相交、连接、和邻接关系的页面;或者
·仅显示字符和图形部分具有层次关系的任意的组合的页面。
当显示多个文档时(例如,当显示检索结果时),如在图30中图解的,显示装置的屏幕可以被分成展开图,并且尺寸缩小的文档的缩略图可以显示在各个展开图上。
在这时候,例如可以以从包括具有检索结果的极度相似性的笔划的一个开始的显示顺序来排列文档的缩略图。
另外,在缩略图中,可以显示指示各种种类的部分的框。
当显示一个页面时,它可以一致地缩小,例如,如图31所示。
此外,当显示一个页面时,例如,用户可以切换到:
·仅仅剪取所考虑的区域(包括对应于询问的区域的给定的矩形区域);
·仅仅显示字符部分;或者
·仅仅显示图形部分。
图32显示集中于图31中的字符3200[ディレクター](用英语是“director”)的部分的显示实例。
当显示一个页面时,例如,可以使用重定目标技术。根据该重定目标技术,能够识别整个页面,而同时使得所考虑的区域更容易看到。该重定目标技术包括,例如:
·一致地扩大所考虑的区域,并且扭曲直到所考虑的区域外面的给定的范围(参见日本专利号4977243);以及
·接缝切开(seam carving):切开除所考虑的区域以外的具有小能量的(扁平的)区域。
图33显示集中于图31中的字符3200[ディレクター](用英语是“director”)的部分的显示实例。
此外,例如,至于将要显示的页面的顺序,各种变化是可用的。例如,用户可以选择将要显示的关系作为更高的等级,而不管在页面检索中的询问页面中的关系。
前面提到的属性被一次呈现至用户,并且用户可以改变属性。例如,可以允许用户分配“字符”作为第一属性。用户可以指定将要写入的部分的属性(“字符”或“图形”)。诸如“字符”和“图形”的一些属性候选者可以呈现在输入终端上,并且用户能够分配那个属性候选者。做为选择,用户可以根据字符/图形输入模式的属性来选择作为第一或第二属性。
接下来,描述本实施例的变化例。
本实施例的手写文档处理设备的笔划组处理单元3可以使用存储在手写文档处理设备中的手写文档作为检索目标。作为选择,当手写文档处理设备可连接至诸如内部网和/或因特网的网络时,检索单元7可以使用能够经由网络访问的手写文档作为检索目标。作为选择,检索单元7可以使用存储在连接到手写文档处理设备的可移动的存储器中的手写文档作为检索目标。此外,检索目标可以是这些手写文档的任意的组合。希望的是,关于这些手写文档,至少与用于本实施例中的检索的特征值相同的特征值被关联和存储。
本实施例的手写文档处理设备可以设定为独立的设备,或者可以设定为使得手写文档处理设备被分给经由网络可传播的多个结点。
本实施例的手写文档处理设备能够由各种装置实现,诸如台式或膝上型的通用计算机、便推式通用计算机、其它的便推式信息装置、具有触摸面板的信息装置、智能电话、或者其它的信息处理设备。
图34图解实现本实施例的手写文档处理设备的硬件的示例性方框图。在图13中,数字201是CPU,202是适当的输入装置,203是适当的输出装置,204是RAM,205是ROM,206是外存储接口,并且207是通信接口。例如,当使用触摸面板时,由例如液晶面板、笔、和配备在该液晶面板上的笔划检测器(参见图13中的208)组成使用。
另外,例如,图1的一部分结构可以配备在客户端上,并且图1的结构的其它部分可以配备在服务器上。
例如,图35图解一状态,其中,服务器301存在于诸如内部网和/或因特网的网络302之中,并且每个客户端303,304都经由网络302与服务器301通信,从而实现本实施例的手写文档处理设备。
该情况被图解为客户端303通过无线通信连接到网络302,并且客户端304通过有线通信连接到网络302。
通常,客户端303,304是用户设备。服务器301例如可以是配备在诸如公司内部LAN上的服务器,或者由因特网服务供应商操作的服务器。此外,服务器301可以是一个用户向另一个用户提供功能的用户设备。
各种方法是可想象为将图1的结构分配至客户端和服务器的方法。
例如,在图1中,由102指示的范围可以安装在客户端侧上,并且另一个范围可以安装在服务器侧上。作为选择,仅笔划组处理单元3可以安装在服务器侧上,并且另一个范围可以安装在客户端侧上。
注意,可以实现包括图1中的101的范围的设备,或包括从图1中的101中排除获取单元1的范围的设备。在这种情况下,该设备具有从笔划序列中生成笔划组数据的功能。另外,例如,由图1中的102指示的范围可以安装在客户端侧上,笔划组处理单元3可以安装在第一服务器上,并且从101中排除笔划获取单元1的范围可以安装在第二服务器上。
其它的分配方法也是可能的。
如上所述,根据此实施例,因为使用第一属性/第二属性/附加信息的全部或一些来执行对于笔划组的处理,所以能够更有效地处理笔划组。
能够基于作为软件的程序执行包括在以上描述的实施例中的程序中的指令。更进一步,还可以通过在多用途的计算系统中事先存储程序并读取它,获得与由所述实施例的手写文档处理设备获得的相同的优点。在以上描述的实施例中描述的指令是作为用于使计算机执行它们的程序,记录在记录介质上,诸如磁盘(软磁盘,硬磁盘,等等),光盘(CD-ROM,CD-R,CD-RW,DVD-ROM,DVD±R,DVD±RW,等等),半导体存储器,或类似于它们的记录介质。在记录介质中采用的记录方案没有限制。如果计算机或内置系统能够读取相同的,则是足够的。如果计算机的CPU从记录介质中读取程序并执行写入程序的指令,则能够实现与在所述实施例的手写文档处理设备中相同的功能。计算机经由网络获取程序是理所当然的事。
更进一步,在计算机上操作的OS(操作系统),数据库管理软件,诸如网络的中间件等等,可以基于在从记录介质安装入计算机或内装系统的程序中的指令,执行用于实现所述实施例的每个处理的部分。
还更进一步,所述实施例中的记录介质不局限于从计算机或内置系统分离出来的介质,而是可以是经由LAN、因特网等等获取的程序被存储或临时地存储入的记录介质。
另外,可以采用从其读取程序以执行所述实施例的处理步骤的多个介质。
在所述实施例中的计算机或内置系统用来基于存储在记录介质中的程序执行所述实施例中的每个处理步骤,并且可以是个人计算机或微型计算机,或者是包括经由网络连接的多个设备的系统。
所述实施例中的计算机不局限于以上个人计算机,而是可以是并入信息处理系统,微型计算机等等的操作的处理设备。即,计算机是能够通过程序实现所述实施例的功能的机器或设备的一般名称。
虽然已经描述了某些实施例,但是这些实施例仅仅已经经由例子被给出,而不意欲限制该发明的范围。实际上,在这里描述的新颖的实施例可以用多种其它的形式被体现;此外,可以在没有脱离本发明的精神的情况下作出在这里描述的实施例的形式上的不同的省略,替换和变化。伴随的权利要求书和它们的同等物是用来覆盖这样的形式或修改,其将落入该发明的范围和精神。

Claims (12)

1.一种手写文档处理设备,其特征在于,包含:
笔划获取单元,所述笔划获取单元被配置为获取笔划数据;
笔划组生成单元,所述笔划组生成单元被配置为基于所述笔划数据,生成笔划组,所述笔划组中的每个笔划组包括满足预定标准的一个或多个笔划;以及
附加信息生成单元,所述附加信息生成单元被配置为生成指示所述笔划组的第一笔划组和所述笔划组的第二笔划组之间的关系的附加信息,并且将所述附加信息分配给所述第一笔划组。
2.如权利要求1所述的设备,其特征在于,所述关系是所述第一笔划组包括所述第二笔划组的关系、所述第一笔划组被包括在所述第二笔划组中的关系、所述第一笔划组和所述第二笔划组互相交叉的关系、所述第一笔划组和所述第二笔划组互相连接的关系、以及所述第一笔划组和所述第二笔划组互相接近的关系中的一个关系。
3.如权利要求1所述的设备,其特征在于,进一步地包含笔划组处理单元,所述笔划组处理单元被配置为基于分配给所述笔划组的所述附加信息,处理所述笔划组。
4.如权利要求2所述的设备,其特征在于,进一步地包含:
第一属性提取单元,所述第一属性提取单元被配置为提取与每个单独的笔划组相关联的第一属性,并且将所述第一属性分配给所述笔划组;以及
第二属性提取单元,所述第二属性提取单元被配置为提取与包括满足预定标准的多个笔划组的笔划组集合相关联的第二属性,并且将所述第二属性分配给包括在所述笔划组集合中的所述笔划组中的每个笔划组。
5.如权利要求4所述的设备,其特征在于,仅对于具有互相不同的所述第一属性和所述第二属性的笔划组生成所述附加信息。
6.如权利要求4所述的设备,其特征在于,进一步包含笔划组处理单元,所述笔划组处理单元被配置为基于分配给所述笔划组的所述第一属性、所述第二属性和所述附加信息中的至少所述第二属性或所述附加信息,处理所述笔划组。
7.如权利要求4所述的设备,其特征在于,进一步包含笔划组处理单元,所述笔划组处理单元被配置为基于与指定处理模式对应地分配给所述笔划组的所述第一属性、所述第二属性和所述附加信息的全部或一些,处理所述笔划组。
8.如权利要求4所述的设备,其特征在于,所述第一属性和所述第二属性是字符或图形。
9.如权利要求3所述的设备,其特征在于,所述处理是整形处理或检索处理。
10.如权利要求1所述的设备,其特征在于,进一步包含呈现单元,所述呈现单元被配置为呈现所述第一笔划组、所述第二笔划组、和由所述附加信息指示的关系之间的对应关系。
11.一种手写文档处理设备的手写文档处理方法,其特征在于,包含:
在所述手写文档处理设备获取笔划数据;
在所述手写文档处理设备,基于所述笔划数据生成笔划组,所述笔划组中的每个笔划组包括满足预定标准的一个或多个笔划;以及
在所述手写文档处理设备,生成指示所述笔划组的第一笔划组和所述笔划组的第二笔划组之间的关系的附加信息,并且将所述附加信息分配给所述第一笔划组。
12.一种永久的计算机可读介质,其特征在于,所述永久的计算机可读介质存储由计算机执行的计算机程序,以提供下列步骤:
获取笔划数据;
基于所述笔划数据生成笔划组,所述笔划组中的每个笔划组都包括满足预定标准的一个或多个笔划;以及
生成指示所述笔划组的第一笔划组和所述笔划组的第二笔划组之间的关系的附加信息,并且将所述附加信息分配给所述第一笔划组。
CN201380042549.0A 2012-08-10 2013-08-09 手写文档处理设备和方法 Pending CN104541288A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012178937A JP5774558B2 (ja) 2012-08-10 2012-08-10 手書き文書処理装置、方法及びプログラム
JP2012-178937 2012-08-10
PCT/JP2013/071990 WO2014025072A2 (en) 2012-08-10 2013-08-09 Handwritten document processing apparatus and method

Publications (1)

Publication Number Publication Date
CN104541288A true CN104541288A (zh) 2015-04-22

Family

ID=49253373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380042549.0A Pending CN104541288A (zh) 2012-08-10 2013-08-09 手写文档处理设备和方法

Country Status (4)

Country Link
US (1) US20150146985A1 (zh)
JP (1) JP5774558B2 (zh)
CN (1) CN104541288A (zh)
WO (1) WO2014025072A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740201A (zh) * 2018-11-02 2021-04-30 株式会社和冠 墨水数据生成装置、方法及程序

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6352695B2 (ja) * 2014-06-19 2018-07-04 株式会社東芝 文字検出装置、方法およびプログラム
US9613263B2 (en) * 2015-02-27 2017-04-04 Lenovo (Singapore) Pte. Ltd. Ink stroke grouping based on stroke attributes
US9904847B2 (en) * 2015-07-10 2018-02-27 Myscript System for recognizing multiple object input and method and product for same
US10755029B1 (en) 2016-01-05 2020-08-25 Quirklogic, Inc. Evaluating and formatting handwritten input in a cell of a virtual canvas
US10067731B2 (en) 2016-01-05 2018-09-04 Quirklogic, Inc. Method and system for representing a shared digital virtual “absolute” canvas
US10324618B1 (en) * 2016-01-05 2019-06-18 Quirklogic, Inc. System and method for formatting and manipulating digital ink
US10129335B2 (en) 2016-01-05 2018-11-13 Quirklogic, Inc. Method and system for dynamic group creation in a collaboration framework
US9898653B2 (en) * 2016-05-25 2018-02-20 Konica Minolta Laboratory U.S.A. Inc. Method for determining width of lines in hand drawn table
US10271033B2 (en) * 2016-10-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating depth data by converging independently-captured depth maps
JP7172351B2 (ja) * 2018-09-21 2022-11-16 富士フイルムビジネスイノベーション株式会社 文字列認識装置及び文字列認識プログラム
JP7331551B2 (ja) * 2019-08-19 2023-08-23 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1331592A2 (en) * 2002-01-25 2003-07-30 Xerox Corporation Method and apparatus to convert digital ink images for use in a structured text/graphics editor
CN1619576A (zh) * 2003-09-24 2005-05-25 微软公司 检测墨水输入中的手绘对象的系统和方法
US20070009157A1 (en) * 2005-05-31 2007-01-11 Fuji Photo Film Co., Ltd. Image processing apparatus, moving image encoding apparatus, information processing method and information processing program
CN101326518A (zh) * 2005-12-13 2008-12-17 微软公司 用于墨水笔记的手写体识别
US20110243448A1 (en) * 2010-04-05 2011-10-06 Konica Minolta Business Technologies, Inc. Handwritten data management system, handwritten data management program and handwritten data management method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3638176B2 (ja) * 1996-05-24 2005-04-13 松下電器産業株式会社 手書きデータ編集装置及び手書きデータ編集方法
JP4977243B2 (ja) 2010-09-16 2012-07-18 株式会社東芝 画像処理装置、方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1331592A2 (en) * 2002-01-25 2003-07-30 Xerox Corporation Method and apparatus to convert digital ink images for use in a structured text/graphics editor
CN1619576A (zh) * 2003-09-24 2005-05-25 微软公司 检测墨水输入中的手绘对象的系统和方法
US20070009157A1 (en) * 2005-05-31 2007-01-11 Fuji Photo Film Co., Ltd. Image processing apparatus, moving image encoding apparatus, information processing method and information processing program
CN101326518A (zh) * 2005-12-13 2008-12-17 微软公司 用于墨水笔记的手写体识别
US20110243448A1 (en) * 2010-04-05 2011-10-06 Konica Minolta Business Technologies, Inc. Handwritten data management system, handwritten data management program and handwritten data management method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740201A (zh) * 2018-11-02 2021-04-30 株式会社和冠 墨水数据生成装置、方法及程序

Also Published As

Publication number Publication date
US20150146985A1 (en) 2015-05-28
JP2014038384A (ja) 2014-02-27
JP5774558B2 (ja) 2015-09-09
WO2014025072A3 (en) 2014-05-01
WO2014025072A2 (en) 2014-02-13

Similar Documents

Publication Publication Date Title
CN104541288A (zh) 手写文档处理设备和方法
KR101411241B1 (ko) 필적 분석을 용이하게 하는 시스템, 필적 인식 제공을 용이하게 하는 기계 구현 방법 및 필적 분석을 용이하게 하는 기계 구현 시스템
US20140143721A1 (en) Information processing device, information processing method, and computer program product
JP4308785B2 (ja) デジタルインク質疑検索装置及びその方法
CN104520877A (zh) 手写绘制设备和方法
US20070098263A1 (en) Data entry apparatus and program therefor
CN109712218B (zh) 电子书笔记处理方法、手写阅读设备和存储介质
US10282374B2 (en) System and method for feature recognition and document searching based on feature recognition
CN100410965C (zh) 检测墨水输入中列表的系统和方法
JP2007317022A (ja) 手書文字処理装置及び手書文字処理方法
JPH1153402A (ja) 情報検索装置
US11562593B2 (en) Constructing a computer-implemented semantic document
KR102373884B1 (ko) 텍스트 기반 이미지 검색을 위한 이미지 데이터 처리 방법
JP2013246731A (ja) 手書き文字検索装置、方法及びプログラム
CN111324716A (zh) 指标数据获取方法、装置、计算机设备和存储介质
US9230181B2 (en) Handwritten document retrieval apparatus and method
CN103455529A (zh) 文件检索装置、方法以及记录介质
KR102122918B1 (ko) 대화형 질의응답 장치 및 그 방법
JPWO2014068770A1 (ja) データ抽出方法、データ抽出装置及びそのプログラム
CN106033316A (zh) 一种手写输入的方法和装置
US20150142784A1 (en) Retrieval device and method and computer program product
US20230169111A1 (en) Method and System for Facilitating Keyword-Based Searching in Images
CN113468262A (zh) 一种笔录可视化方法、装置、电子设备和存储介质
JP2015111467A (ja) 手書き文字検索装置、方法及びプログラム
KR20240039887A (ko) 표시어를 자동 인식하기 위한 문자 인식 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150422