CN107077737B - 动作输入装置、动作输入方法 - Google Patents

动作输入装置、动作输入方法 Download PDF

Info

Publication number
CN107077737B
CN107077737B CN201480082334.6A CN201480082334A CN107077737B CN 107077737 B CN107077737 B CN 107077737B CN 201480082334 A CN201480082334 A CN 201480082334A CN 107077737 B CN107077737 B CN 107077737B
Authority
CN
China
Prior art keywords
action
registration
unit
new
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480082334.6A
Other languages
English (en)
Other versions
CN107077737A (zh
Inventor
矢岛敦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co.,Ltd.
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of CN107077737A publication Critical patent/CN107077737A/zh
Application granted granted Critical
Publication of CN107077737B publication Critical patent/CN107077737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/242Dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明用于防止由于用户登记希望登记的图形而发生不良情况。图形输入装置取得表示用户输入的图形的登记图形数据和与该图形关联起来的关联信息,计算所述登记图形数据与被登记在词典中的多个图形数据中的任意一个之间的相似度,根据所述计算出的相似度,判定所述输入的图形与所述任意一个图形数据所示的图形是否相似,在所述输入的图形与所述任意一个图形数据所示的图形不相似的情况下,将所述登记图形数据与所述关联信息关联起来登记在所述词典中。

Description

动作输入装置、动作输入方法
技术领域
本发明涉及动作输入装置、动作输入方法。
背景技术
存在如下装置,其对用户在触摸面板等上描绘的图形或用户做出的手势(以下,称作“动作”)进行识别,通过所识别出的动作输出字符或字符串,或执行特别的处理。关于该装置,例如以输出字符串的情况进行说明时,对用户输入的图形与表示预先被储存在词典中的图形的特征的特征信息进行对照,输出在与被输入的图形最接近的特征信息所附带的字符串。
专利文献1中公开了一种识别被手写输入的字符串的手写字符串识别方式。
在先技术文献
专利文献
专利文献1:日本特开2012-98905号公报
发明内容
发明欲解决的课题
例如可以考虑到用户仅通过进行在触摸面板等上描绘出1个图形的操作就能够输入包含多个字符的字符串,或能够输入命令。这种情况下,识别动作的装置使用户输入希望识别的动作,并将该动作与字符串或命令等关联起来登记在词典中。
这里,存在与用户希望登记的动作相似的动作已被登记在词典中的情况。这种情况下如果仍然直接登记所希望的动作,则在由用户识别该动作或相似动作时可能发生不良情况。
特别地,每个用户的描绘的再现力或手势的再现力存在差异。描绘技能较高的画家等的用户对于用于词典登记的简单图形,可描绘出具备微小差异而实质相同的图形。另一方面,没有绘画天分的用户即使对用于词典登记的简单图形,也难以描绘出实质相同的图形。若对所有的用户统一适用相同、相似的判定,则不仅在图形的词典登记时,就连进行字符串的输出时,也会出现对用户强加非常繁杂的操作的不良情况。
本发明就是鉴于上述课题而完成的,其目的在于,提供一种可防止由于用户登记希望登记的动作而发生不良情况的动作输入系统、方法和程序。
用于解决课题的手段
为了解决上述课题,本发明的动作输入系统,包括:信息处理单元,其将登记动作与登记信息关联起进行了登记,根据用户动作执行与关联于与该用户动作相似的所述登记动作的所述登记信息对应的信息处理;受理单元,其受理应该被新登记在所述信息处理单元中的新动作和关联于该新动作的新信息;判断单元,其判断由所述受理单元受理的所述新动作与被登记在所述信息处理单元中的所述登记动作是否相似;以及登记处理单元,其根据所述判断单元的判断来执行不同的处理,以将由所述受理单元受理的所述新动作和所述新信息登记在所述信息处理单元中。
此外,本发明的动作输入方法,包括如下步骤:根据用户动作和关联于登记信息进行登记的登记动作,执行与关联于与该用户动作相似的所述登记动作的所述登记信息对应的信息处理;受理应该被新登记而用于执行所述信息处理的新动作和关联于该新动作的新信息;判断所述受理的所述新动作与所述登记的所述登记动作是否相似;以及根据所述新动作与所述登记的所述登记动作是否相似来执行不同的处理,以登记所述受理的所述新动作和所述新信息。
此外,本发明的程序使计算机执行如下的处理:根据用户动作和关联于登记信息进行登记的登记动作执行与关联于与该用户动作相似的所述登记动作的所述登记信息对应的信息处理,受理应该被新登记而用于执行所述信息处理的新动作和关联于该新动作的新信息,判断所述受理的所述新动作与所述登记的所述登记动作是否相似,根据所述新动作与所述登记的所述登记动作是否相似来执行不同的处理,以登记所述受理的所述新动作和所述新信息。
根据本发明,可防止由于用户将操作与信息关联起来登记而发生不良情况。
本发明的一个方面可以构成为,所述动作输入系统还包括通知单元,在由所述判断单元判断为由所述受理单元受理的所述新动作与被登记在所述信息处理单元中的所述登记动作相似的情况下,该通知单元将该情况通知给所述用户。
本发明的一个方面可以构成为,在判断为由所述受理单元受理的所述新动作与被登记在所述信息处理单元中的所述登记动作相似的情况下,所述登记单元登记该新动作和所述新信息,并且变更判断该新动作与所述用户动作是否相似时的判断基准。
本发明的一个方面可以构成为,在判断为由所述受理单元受理的所述新动作与被登记在所述信息处理单元中的所述登记动作相似的情况下,所述登记单元将所述新信息与被判断为相似于所述新动作的所述登记动作关联起来登记。
本发明的一个方面可以构成为,所述信息处理单元根据用户动作和关联于登记信息的处理条件执行与关联于与该用户动作相似的所述登记动作且满足所述处理条件的所述登记信息对应的信息处理。
附图说明
图1是表示本发明的实施方式的图形识别装置的硬件结构的一例的图。
图2是表示图形识别装置实现的功能的框图。
图3是表示被储存在词典储存部中的数据的一例的图。
图4是表示登记指示取得部、特征提取部、相似度计算部、相似判定部、登记部、通知部的处理的一例的流程图。
图5是表示登记信息输入画面的一例的图。
图6是表示存在相似图形的情况下被输出的消息的一例的图。
图7是表示希望图形与词典内的任意一个图形相似的情况下的处理的另一例的流程图。
图8是表示存在相似图形的情况下被输出的消息的另一例的图。
图9是表示识别对象取得部、识别处理部的处理的一例的流程图。
图10是表示输入作为识别对象的图形的画面的一例的图。
具体实施方式
以下,根据附图对本发明的实施方式进行说明。对出现的构成要素中具备同一功能的要素赋予相同符号,并省略对其说明。本实施方式中,作为用户输入的动作,着眼于图形的描绘。本实施方式的图形识别装置使用户作为动作而通过触摸面板等输入图形,并识别该图形。以下说明图形识别装置,而实际也可以为包含多个装置的系统。
图形主要包含手写的字符或记号。作为识别手写的字符或记号的手法,既可以采用所谓的在线手写字符识别的手法也可以采用离线手写字符识别的手法。在线手写字符识别是使用包含线被描绘的顺序的信息而识别字符或记号的手法。离线手写字符识别是从用户所描绘的图像中识别字符或记号的手法,这些手法中均不使用线被描绘的顺序。
图1是表示图形识别装置的硬件结构的一例的图。图形识别装置包括处理器11、存储部12、通信部13、显示部14、输入部15。图形识别装置例如是平板终端或个人计算机。
处理器11根据被储存在存储部12中的程序进行动作。另外,处理器11对通信部13、显示部14、输入部15进行控制。另外,上述程序既可以通过因特网等而被提供,也可以通过被储存在闪存或DVD-ROM等的计算机可读取的存储介质中而被提供。
存储部12由RAM或闪存等的存储器元件或硬盘驱动器构成。存储部12储存上述程序。此外,存储部12储存从各部被输入的信息或运算结果。
通信部13用于实现与其他装置通信的功能,例如由有线LAN的集成电路或连接器端子等构成。通信部13基于处理器11的控制,将从其他装置接收的信息输入到处理器11或存储部12,并向其他装置发送信息。
显示部14是液晶面板等的显示输出设备(显示单元)或对其进行控制的电路,由液晶显示面板或显示芯片等构成。显示部14基于处理器11的控制,将图像输出给显示输出设备。另外,文件处理装置可不必内置显示输出设备,显示部14可以在位于外部的显示输出设备上显示图像。
输入部15由触摸面板等的输入设备或取得来自键盘或鼠标等的输入设备的数据的控制器等构成。输入部15基于处理器11的控制,取得通过用户操作触摸面板或输入设备而被输入的动作或数据。本实施方式中,图形识别装置具有由显示输出设备和触摸面板形成为一体的带触摸面板的显示面板。
图2是表示图形识别装置实现的功能的框图。图形识别装置按功能包括登记指示取得部51、特征提取部52、相似度计算部53、相似判定部54、登记部55、通知部56、识别对象取得部57、识别处理部58。这些功能通过处理器11执行被储存在存储部12中的程序,并对通信部13、显示部14、输入部15进行控制而实现。此外,登记部55按功能包括词典登记部61和相似基准设定部62,识别处理部58按功能包括特征提取部66、图形识别部67、操作处理部68、词典储存部71。
在识别处理部58中登记有表示动作的特征数据和关联于该特征数据的关联信息。这里,特征数据是表示包含字符或记号的图形的特征的数据。此外,关联信息是以字符串或动作作为触发而执行的命令。
识别处理部58中包含的词典储存部71主要通过存储部12实现。词典储存部71储存被登记在识别处理部58中的、包含多个特征数据和关联于各个特征数据中的任意一个的多个关联信息的词典的数据。
图3是表示被储存在词典储存部71中的数据的一例的图。词典储存部71中例如储存有特征数据、关联信息和相似范围。图3所示的特征数据的内容是被描绘出的线中的表示图形特征的多个特征点的信息,是进行在线手写识别的情况下的示例。相似基准是在进行图形识别时被用作判定相似的基准的信息,详细情况在后面叙述。另外,这里未做图示,词典数据还可以与特征数据关联起来包含图形的图像数据。
另外,在进行离线手写识别的情况下,特征数据例如可以是具有多个维度的特征矢量。特征矢量例如具有对分割了图形的子区域的数量乘以4得到的数量的要素。若子区域是将图形区域分割为64个区域而得到的,则特征矢量的维度数为256。此外,在每个子区域的内部都存在表示是否具有上下方向、左右方向、2种斜方向的线的4个特征值,特征矢量的多个要素都分别被配置有其特征值。
下面,对用户在图形识别装置上登记图形的处理进行说明。图4是表示登记指示取得部51、特征提取部52、相似度计算部53、相似判定部54、登记部55、通知部56的处理的一例的流程图。以下,使用图4所示的流程图对登记指示取得部51、特征提取部52、相似度计算部53、相似判定部54、登记部55、通知部56的功能进行说明。
登记指示取得部51主要通过处理器11、存储部12、显示部14和输入部15实现。登记指示取得部51受理应该被新登记在登记部55中的新动作以及与该新动作关联起来的新关联信息。具体而言,登记指示取得部51取得用户希望登记且由用户输入的希望图形的数据以及与希望图形关联起来的关联信息(步骤S101)。登记指示取得部51将表示用户在输入部15的触摸面板上的区域内通过手写笔或手指而描绘的图形的数据作为希望图形的数据取得。希望图形的数据与在进行图形识别时取得的图形的数据种类相同。希望图形的数据既可以包含表示进行描绘时的手写笔等的动作或笔顺的信息,也可以仅包含单纯的图形的图像数据。此外,登记指示取得部51通过输入部15等取得用户所输入的字符串信息,并将该字符串信息作为关联信息取得。
图5是表示通过登记指示取得部51而显示的登记信息输入画面的一例的图。登记信息输入画面上被配置有图形输入区域31、字符串输入区域32、重置按钮33、取消按钮34、登记按钮35。图形输入区域31是用于用户输入希望登记的希望图形的区域,其上描绘出被输入的图形。字符串输入区域32是用于作为关联信息而输入与希望图形关联起来的字符串的区域。重置按钮33是用于删除被输入的图形的按钮。登记指示取得部51在被按下了登记按钮35时,取得被输入到图形输入区域31中的希望图形的数据以及通过字符串输入区域32而输入的关联信息。另外,关联信息可以是将图形与使程序执行某种动作的命令关联起来的信息。另外,用户不必每次都要输入关联信息。例如,登记指示取得部51可以在登记信息输入画面上显示上次被输入的关联信息,在直接被按下登记按钮35的情况下,取得该上次被输入的关联信息。
特征提取部52主要通过处理器11、存储部12实现。特征提取部52将希望图形的大小归一化(步骤S102),从被归一化后的希望图形的数据中提取出表示希望图形的特征的特征数据(步骤S103)。特征数据既可以是从希望图形中按顺序被提取的特征点的列,也可以是规定的维度的特征矢量。特征提取部52提取特征数据的手法是公知的,因此省略详细的说明。
相似度计算部53主要通过处理器11、存储部12实现。相似度计算部53计算希望图形的特征数据与被登记在词典中的多个特征数据的至少一部分的相似度(步骤S104),由此计算希望图形与被登记在词典中的多个图形中的任意一个之间的相似度。作为计算希望图形的特征数据与被登记在词典中的特征数据之间的相似度的手法,既可以是所谓的隐马尔可夫模型(Hidden Markov Model),也可以是DP匹配或特征矢量间的距离的计算。在使用隐马尔可夫模型的情况下,计算出的概率相当于相似度。
相似判定部54主要通过处理器11、存储部12实现。相似判定部54根据被计算出的相似度,判定希望图形与被登记在词典中的图形是否相似。更具体而言,相似判定部54根据相似度,选择被登记在词典中的特征数据中与希望图形最相似的图形的特征数据(步骤S105),并根据被选择的特征数据与希望图形的特征数据之间的相似度,判定所选择的图形与希望图形是否相似(步骤S106)。在相似度的值越大则2个图形越相相似的情况下,相似判定部54在步骤S106中,例如判定为在相似度大于预先确定的设定阈值的情况下被选择的图形与希望图形相似。
登记部55主要通过处理器11、存储部12实现。登记部55为了将登记指示取得部51所受理的新动作和新的关联信息登记在识别处理部58中,根据相似判定部54的判断执行不同的处理。作为该处理,既可以在该新动作与已被登记的动作相似的情况下由登记部55向用户通知这种情况,也可以在该新动作与已被登记的动作相似的情况下变更判断用户所输入的动作与该新动作是否相似时的判断基准,还可以将被判断为相似的动作与该新信息关联起来登记在识别处理部58中。以下对登记部55的处理的详细情况进行说明。
登记部55中包含的词典登记部61主要通过处理器11、存储部12实现。词典登记部61在判定为所选择的图形与希望图形不相似的情况下(步骤S107的Y),将希望图形的特征数据与关联信息关联起来登记在所述词典中(步骤S108)。
通知部56主要通过处理器11、存储部12、显示部14实现。通知部56在被判定为所选择的图形与希望图形相似的情况下(步骤S107的N),向用户通知希望图形与被登记在词典中的图形相似(步骤S109)。
图6是表示存在相似图形的情况下通过通知部56被输出给用户的消息的一例的图。在通知部56使显示输出设备输出的消息的画面上,配置有作为显示希望图形的区域的输入图形显示区域37、作为显示与希望图形相似的图形的区域的相似图形显示区域38和确认按钮39。
这样,基于是否被判定为用户为进行登记而输入的动作(从中提取的特征数据)与已被登记的动作(的特征数据)相似而使得用于登记希望图形或关联信息的处理不同,由此能够抑制用于登记与已被登记的动作相似的动作而导致的问题的发生。
此外,用户通过确认被输入的动作与已被登记的动作相似,由此能够登记其他的不相似的动作。特别地,通过显示出与希望图形相似的相似图形,由此用户容易考虑到不与其他图形相似的新的希望图形。
这里,在希望图形与词典内的任意一个图形相似的情况下,可以不必一律拒绝希望图形的登记。描绘技能较高的画家等的用户针对用于词典登记的简单图形,能够描绘出具备微小差异而实质相同的图形。这种用户在根据现有(已登记)的相似基准被判定为希望图形与词典内的任意一个图形相似的情况下,可根据个人的描绘技能进行再现希望图形的选择。当然,对于除此以外的用户也可以不拒绝图形的登记
图7是表示希望图形与词典内的任意一个图形相似的情况下的处理的另一例的流程图。可通过执行本图以代替执行图4的步骤S109的处理。在希望图形与词典内的任意一个图形相似的情况下,在图7所示的例子中,首先通知部56输出供用户选择登记希望图形还是将关联信息与相似图形关联起来登记还是均不登记希望图形和关联信息的消息(步骤S151)。
图8是表示存在相似图形的情况下通过通知部56而被输出给用户的消息的另一例的图。在通知部56使显示输出设备输出的消息的画面上配置有作为显示希望图形的区域的输入图形显示区域41、作为显示相似图形的区域的相似图形显示区域42、登记按钮43、更新按钮44和取消按钮45。登记按钮43是用于用户在知晓相似图形存在的基础上指示登记希望图形的按钮。更新按钮44是用于用户将词典更新为将登记指示取得部51取得的关联信息与相似图形关联起来的按钮。取消按钮45是不向词典登记希望图形或关联信息的情况下被按下的按钮。
在用户按下登记按钮43等而做出了与登记有关的指示时,词典登记部61取得用户的该指示(步骤S152)。并且,在从用户处取得的指示是将登记指示取得部51取得的关联信息与相似图形关联起来的指示的情况下(步骤S153的Y),词典登记部61将关联信息与相似图形关联起来储存在词典储存部71中(步骤S154)。通过将关联信息与相似图形关联起来,由此既能够防止登记新的希望图形带来的不良情况,又能够通过用户的图形输入来输入关联信息。
这里,相似图形可以被关联有多个关联信息。被与1个相似图形关联起来的多个关联信息可以包含登记指示取得部51取得的关联信息和原本就被与相似图形关联起来的信息。在图形是字符的情况下,原本就被与相似图形关联起来的信息可以是表示该字符的条码。
另外,词典登记部61在步骤S154后可以将与相似图形关联起来的关联信息与希望图形的数据关联起来存储在词典储存部71中。进而,还可以将登记指示取得部51取得的关联信息与相似图形关联起来。
另一方面,在词典登记部61未取得将关联信息与相似图形关联起来的指示的情况下(步骤S153的N),词典登记部61判定是否已取得登记希望图形的指示(步骤S155)。所取得的指示并非登记希望图形的指示的情况下(步骤S155的N),由于取得了不做任何登记的指示,因此结束图7所示的处理。另一方面,在取得了登记希望图形的指示的情况下(步骤S155的Y),词典登记部61将希望图形的数据与关联信息关联起来存储于词典储存部71中(步骤S156)。
登记部55中包含的相似基准设定部62主要通过处理器11和存储部12实现。相似基准设定部62在被判断为用户准备登记的新动作与已被登记的动作相似,并且新动作和与该新动作相似的新关联信息已被登记的情况下,变更被登记在识别处理部58中的判断该新动作与用户动作是否相似时的判断基准(以下记为“相似基准”)。更具体而言,相似基准设定部62在被判定为希望图形与词典中包含的图形相似且在词典中已登记有希望图形的数据的情况下(步骤S156之后),根据希望图形与词典中包含的图形的相似度,调整用于判定用户所输入的图形与被登记的图形的相似的相似基准(步骤S157)。该相似基准例如是判定是否相似的相似度的阈值,在识别处理部58中包含的图形识别部67判定被输入的图形是否为已登记在词典中的图形时使用。相似基准既可以针对每个用户设定,也可以针对每种特征数据设定。相似基准被设定为,希望图形与相似图形的相似度越表示该2个图形接近,则相似的范围越为较小的范围。
用户在相似图形的情况下依然做出了登记希望图形的指示的情况下,用户具备正确输入图形的自信的显然程度较高。因此,将希望图形登记在词典中会产生问题的可能性较低。另一方面,如果判定为用户所输入的图形与被登记在词典中的图形相似的基准不变,则可能会对用户显示出不需要的候选。这里,通过变更相似基准,能够降低这种可能性。
例如,在图3的示例中,相似参数按照每个特征数据而被设定。相似基准设定部62在与ID是1101的词典数据对应的图形为相似图形的情况下,对于该相似图形将相似参数从70变更为80,例如在进行图形识别时被输入的图形原本就不与该相似图形相似的情况下,该相似图形会被识别为已被输入的图形。另外,该相似基准可以用于判定相似判定部54与希望图形和词典的图形是否相似时。
下面,对图形识别装置识别用户所输入的图形的处理进行说明。图9是表示识别对象取得部57、识别处理部58的处理的一例的流程图。以下,使用图9的处理流程对识别对象取得部57、识别处理部58的功能进行说明。
识别对象取得部57主要通过处理器11、存储部12、显示部14、输入部15实现。识别对象取得部57取得由用户输入且作为图形的识别对象的输入图形的数据(步骤S201)。
识别处理部58主要通过处理器11、存储部12、显示部14、输入部15实现。识别处理部58根据用户输入图形的用户动作执行对应于关联信息的信息处理,该关联信息被与表示与该用户动作相似的动作的特征数据关联起来。
识别处理部58中包含的特征提取部66主要通过处理器11、存储部12实现。特征提取部66将输入图形中作为识别对象的区域的大小归一化(步骤S202)。作为识别对象的区域例如是被输入的图形的区域。在多个图形(字符串)被输入的情况下,特征提取部66可以按照每个字符切取出作为识别对象的区域。此外,特征提取部66从已被归一化的输入图形的数据中,提取表示输入图形的特征的特征数据(步骤S203)。提取特征数据的手法是与特征提取部52相同的手法。
识别处理部58中包含的图形识别部67主要通过处理器11、存储部12实现。图形识别部67在输入图形与已被登记在词典中的任意一个图形相似的情况下,将被与该任意一个图形关联起来的关联信息作为图形的识别结果输出。
更具体而言,图形识别部67计算被提取出的特征数据与针对被储存在词典储存部71中的(被登记在识别处理部58中的)多个图形的多个特征数据各自之间的相似度(步骤S204)。并且,图形识别部67根据对多个特征数据计算出的相似度,选择与输入图形相似的词典中的图形(步骤S206)。这里,作为选择相似图形时进行判断的手法,选择与具有相似参数所示的相似范围内的相似度的特征数据中的被计算出最高的相似度的特征数据对应的图形。另外,图形识别部67也可以仅选择与具有相似参数所示的相似范围内的相似度的特征数据分别对应的图形。这种情况下,对于被登记在词典中的1个特征数据可以仅关联1个关联信息。
此外,图形识别部67可以根据被与关联信息关联起来的处理条件和用户的动作,输出满足了处理条件且被与相似于该动作的已被登记的动作关联起来的关联信息。更具体而言,图形识别部67可以根据相似度和与各特征数据关联起来登记的信息,选择与输入图形相似的词典中的图形。例如,可以取得与词典中的特征数据关联起来的满足处理条件且计算出高于阈值的相似度的特征数据。作为处理条件,例如既可以是通过用于识别圣诞季等的开始日和结束日、开始时刻和结束时刻等表示的期间,也可以是转交被识别的信息的其他程序是何种程序,还可以为是否输入将字符条码输出的命令。例如,可以由登记指示取得部51从用户处取得发动条件,再由词典登记部61将该发动条件登记在词典中。
通过使用处理条件,例如对于树木的图形,能够在圣诞季输出圣诞节的字符,而在夏季输出森林浴的字符等。
识别处理部58中包含的操作处理部68主要通过处理器11、存储部12、显示部14实现。操作处理部68执行与关联信息对应的处理。
更具体而言,操作处理部68在被选择的图形上关联有1个关联信息的情况下(步骤S206的Y),执行与该关联信息对应的处理(步骤S207)。更具体而言,操作处理部68在关联信息是字符串的情况下对显示单元输出该字符串,而在关联信息是命令的情况下执行与该命令对应的处理(例如应用程序的开始或字符的削除处理)。另一方面,在所选择的图形上关联有多个关联信息的情况下(步骤S206的N),操作处理部68通过显示部14向用户输出使其从多个关联信息中选择1个关联信息的图像,并使用户通过输入部15选择关联信息(步骤S208)。然后,操作处理部68执行与该被选择的关联信息对应的处理(步骤S209)。
图10是表示输入作为识别对象的图形的画面的一例的图。该画面上存在图形输入区域81以及显示与该图形对应的字符串的区域。在本图的示例中,被输入到图形输入区域81的图形被识别为通过图5等所示的画面而被登记在词典中的图形,在字符串显示栏82内被输出作为关联信息的“Mt.Fujisan”的字符串。
标号说明
11:处理器,12:存储部,13:通信部,14:显示部,15:输入部,31、81:图形输入区域,32:字符串输入区域,33:重置按钮,34:取消按钮,35:登记按钮,37、41:输入图形显示区域,38、42:相似图形显示区域,39:确认按钮,43:登记按钮,44:更新按钮,45:取消按钮,51:登记指示取得部,52、66:特征提取部,53:相似度计算部,54:相似判定部,55:登记部,56:通知部,57:识别对象取得部,58:识别处理部,61词典登记部,62:相似基准设定部,67:图形识别部,68:操作处理部,71:词典储存部,82:字符串显示栏。

Claims (5)

1.一种动作输入装置,其包括:
信息处理单元,其将登记动作与登记信息关联起来进行了登记,根据用户动作执行与所述登记信息对应的信息处理,所述登记信息关联于与该用户动作相似的所述登记动作;
受理单元,其受理应该被新登记在所述信息处理单元中的新动作和关联于该新动作的新信息;
判断单元,其判断由所述受理单元受理的所述新动作与被登记在所述信息处理单元中的所述登记动作是否相似;以及
登记处理单元,其为了将由所述受理单元受理的所述新动作和所述新信息登记在所述信息处理单元中,根据所述判断单元的判断来执行不同的处理,
在判断为由所述受理单元受理的所述新动作与被登记在所述信息处理单元中的所述登记动作相似的情况下,所述登记处理单元登记该新动作和所述新信息,并且变更判断该新动作与所述用户动作是否相似时的判断基准。
2.根据权利要求1所述的动作输入装置,其中,
该动作输入装置还包括通知单元,在由所述判断单元判断为由所述受理单元受理的所述新动作与被登记在所述信息处理单元中的所述登记动作相似的情况下,该通知单元将该情况通知给所述用户。
3.根据权利要求1或2所述的动作输入装置,其中,
在判断为由所述受理单元受理的所述新动作与被登记在所述信息处理单元中的所述登记动作相似的情况下,所述登记处理单元将所述新信息与被判断为相似于所述新动作的所述登记动作关联起来进行登记。
4.根据权利要求1或2所述的动作输入装置,其中,
所述信息处理单元根据用户动作和关联于登记信息的处理条件执行与所述登记信息对应的信息处理,该登记信息关联于与该用户动作相似的所述登记动作且满足所述处理条件。
5.一种动作输入方法,包括如下步骤:
将登记动作与登记信息关联起来进行了登记,根据用户动作执行与所述登记信息对应的信息处理,所述登记信息关联于与该用户动作相似的所述登记动作;
受理应该被新登记而用于执行所述信息处理的新动作和关联于该新动作的新信息;
判断所述受理的所述新动作与所述登记的所述登记动作是否相似;以及
为了登记所述受理的所述新动作和所述新信息,根据所述新动作与所述登记的所述登记动作是否相似来执行不同的处理,
在判断为所述受理的所述新动作与所述登记的所述登记动作相似的情况下,登记该新动作和所述新信息,并且变更判断该新动作与所述用户动作是否相似时的判断基准。
CN201480082334.6A 2014-08-13 2014-08-13 动作输入装置、动作输入方法 Active CN107077737B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/071400 WO2016024349A1 (ja) 2014-08-13 2014-08-13 動作入力システム、動作入力方法およびプログラム

Publications (2)

Publication Number Publication Date
CN107077737A CN107077737A (zh) 2017-08-18
CN107077737B true CN107077737B (zh) 2020-10-09

Family

ID=55269208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082334.6A Active CN107077737B (zh) 2014-08-13 2014-08-13 动作输入装置、动作输入方法

Country Status (6)

Country Link
US (1) US10474886B2 (zh)
EP (1) EP3208772B1 (zh)
JP (1) JP5855794B1 (zh)
CN (1) CN107077737B (zh)
ES (1) ES2912139T3 (zh)
WO (1) WO2016024349A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190505A (ja) * 1996-01-12 1997-07-22 Canon Inc 文字認識装置及びその方法
JP2003076991A (ja) * 2001-08-31 2003-03-14 Japan Science & Technology Corp 自動検査装置及び方法並びに画像信号の処理方法
JP2005071208A (ja) * 2003-08-27 2005-03-17 Nippon Telegr & Teleph Corp <Ntt> 処理情報入力装置、処理情報入力方法、この方法のプログラム、およびこのプログラムを記録した記録媒体
CN101268490A (zh) * 2006-03-31 2008-09-17 奥林巴斯株式会社 信息呈现系统、信息呈现终端和服务器
CN102681658A (zh) * 2011-01-06 2012-09-19 三星电子株式会社 通过动作控制的显示设备及其动作控制方法
JP2013065112A (ja) * 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
JP2013242768A (ja) * 2012-05-22 2013-12-05 Canon Inc 情報処理装置、制御方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152875A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 認識文字登録方法及び認識文字登録装置
JP3453422B2 (ja) * 1994-02-10 2003-10-06 キヤノン株式会社 文字パターンのユーザ辞書への登録方法及び該ユーザ辞書を有する文字認識装置
US6404438B1 (en) * 1999-12-21 2002-06-11 Electronic Arts, Inc. Behavioral learning for a visual representation in a communication environment
JP4741908B2 (ja) * 2005-09-08 2011-08-10 キヤノン株式会社 情報処理装置及び情報処理方法
JP2007109118A (ja) * 2005-10-17 2007-04-26 Hitachi Ltd 入力指示処理装置および入力指示処理プログラム
JP5252596B2 (ja) 2010-11-02 2013-07-31 国立大学法人東京農工大学 文字認識装置、文字認識方法及びプログラム
KR101753625B1 (ko) * 2011-03-08 2017-07-20 삼성전자주식회사 휴대용 단말기에서 오입력을 방지하기 위한 방법 및 장치
JP2014021864A (ja) * 2012-07-20 2014-02-03 Mizuho Information & Research Institute Inc 入力支援プログラム及び入力支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09190505A (ja) * 1996-01-12 1997-07-22 Canon Inc 文字認識装置及びその方法
JP2003076991A (ja) * 2001-08-31 2003-03-14 Japan Science & Technology Corp 自動検査装置及び方法並びに画像信号の処理方法
JP2005071208A (ja) * 2003-08-27 2005-03-17 Nippon Telegr & Teleph Corp <Ntt> 処理情報入力装置、処理情報入力方法、この方法のプログラム、およびこのプログラムを記録した記録媒体
CN101268490A (zh) * 2006-03-31 2008-09-17 奥林巴斯株式会社 信息呈现系统、信息呈现终端和服务器
CN102681658A (zh) * 2011-01-06 2012-09-19 三星电子株式会社 通过动作控制的显示设备及其动作控制方法
JP2013065112A (ja) * 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
JP2013242768A (ja) * 2012-05-22 2013-12-05 Canon Inc 情報処理装置、制御方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect的手势识别与机器人控制技术研究;王松林;《中国优秀硕士论文全文数据库(信息科技辑)》;20140615;第2014年卷(第06期);全文 *

Also Published As

Publication number Publication date
ES2912139T3 (es) 2022-05-24
US10474886B2 (en) 2019-11-12
EP3208772B1 (en) 2022-03-23
CN107077737A (zh) 2017-08-18
EP3208772A4 (en) 2018-07-25
EP3208772A1 (en) 2017-08-23
JP5855794B1 (ja) 2016-02-09
US20170300745A1 (en) 2017-10-19
WO2016024349A1 (ja) 2016-02-18
JPWO2016024349A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
US20180300542A1 (en) Drawing emojis for insertion into electronic text-based messages
US20150242114A1 (en) Electronic device, method and computer program product
US10325018B2 (en) Techniques for scheduling language models and character recognition models for handwriting inputs
US20140184610A1 (en) Shaping device and shaping method
US20140184542A1 (en) Electronice device, handwriting input recognition system, and method for recognizing handwritten input thereof
US20160154997A1 (en) Handwriting input apparatus and control method thereof
JP5877272B2 (ja) 文書処理装置、文書処理方法、プログラムおよび情報記憶媒体
CN108369637B (zh) 用于美化数字墨水的系统和方法
US20200242825A1 (en) Electronic device and method for correcting handwriting by same
JP6000992B2 (ja) 文書ファイル生成装置及び文書ファイル生成方法
CN114365075A (zh) 用于选择图形对象的方法和对应装置
US9940536B2 (en) Electronic apparatus and method
CN108062301A (zh) 文字翻译方法及其装置
CN114341954B (zh) 文本行提取
US9250802B2 (en) Shaping device
CN107077737B (zh) 动作输入装置、动作输入方法
US20130330005A1 (en) Electronic device and character recognition method for recognizing sequential code
JP7448132B2 (ja) 手書きの構造分解
JP6373664B2 (ja) 電子機器、方法及びプログラム
JP7067812B2 (ja) 情報処理装置、及び制御方法
WO2016031016A1 (ja) 電子機器、方法及びプログラム
JP2016197315A (ja) 文字認識装置、文字認識処理システム、およびプログラム
JPWO2019181442A1 (ja) 情報処理装置、制御方法、及びプログラム
JP2011034284A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Rakuten, Inc.

CP01 Change in the name or title of a patent holder