CN104137026A - 交互式制图识别 - Google Patents

交互式制图识别 Download PDF

Info

Publication number
CN104137026A
CN104137026A CN201180076479.1A CN201180076479A CN104137026A CN 104137026 A CN104137026 A CN 104137026A CN 201180076479 A CN201180076479 A CN 201180076479A CN 104137026 A CN104137026 A CN 104137026A
Authority
CN
China
Prior art keywords
user
order
module
type
computer system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180076479.1A
Other languages
English (en)
Other versions
CN104137026B (zh
Inventor
G·J·安德森
C·J·布思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104137026A publication Critical patent/CN104137026A/zh
Application granted granted Critical
Publication of CN104137026B publication Critical patent/CN104137026B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了交互式制图识别。在一个示例中，接收指示制图的类型的命令，并且观察用户制图。基于所述命令来访问与制图类型相关联的制图模板的库。将观察到的制图与所述制图模板进行比较以便识别所述观察到的制图，并且向所识别的制图指派属性。

Description

交互式制图识别
背景技术
计算系统经常依赖于鼠标和键盘输入来确定用户创建的数字对象的外观。键盘、鼠标和游戏控制器输入通常确定数字对象的行为。人们可以绘制对象并且将它们扫描到计算机中，允许一些徒手输入，但是所扫描的制图接着是一个单个对象。用户具有有限的机会用于如何与对象进行交互，例如改变尺寸和改变颜色。输入视觉信息的更加自然的方法将允许与计算设备的更加丰富的图形交互。
平板计算机已经用作输入设备。典型地，平板计算机感测指示笔在特殊表面上的压力，并且在屏幕上再现所绘制的形状。平板计算机还可以用于修改照片和制图并且作为类似于鼠标的指向设备。在一些版本中，除了制图表面以外的笔数字地记录所绘制的输入。这些笔使用光学传感器以及有时特别标记的纸张来感测和存储制图。
一些现有的计算系统将所绘制的对象识别为系统中的简单的命令、字母数字符号或者匹配的对象。这些系统扫描制图以便识别它。然而，这些交互的性质被限制。
一些现有的计算系统将“空中姿势”识别为简单的命令，或者更常见地识别为到计算机游戏中的输入。空中姿势可以通过由相机或者持有包括惯性传感器的设备并且接着移动该设备的用户观察而进行识别。
附图说明
在附图中通过示例而非限制的方式说明了本发明的实施例，其中相似的附图标记指示相似的元件。
图1是根据本发明实施例用户绘制用于由计算机系统使用的键区的图。
图2是根据本发明实施例用户绘制用于由计算机系统使用的摇杆的图。
图3是根据本发明另一实施例用户绘制用于由计算机系统使用的键区的图。
图4是根据本发明另一实施例用户绘制用于由计算机系统使用的摇杆的图。
图5是根据本发明另一实施例计算机绘制用于由计算机系统使用的键区的图。
图6是根据本发明实施例计算机系统解释用户制图的处理流程图。
图7是根据本发明另一实施例计算机系统解释用户制图的处理流程图。
图8是根据本发明实施例适合于实现本公开的处理的计算机系统的方框图。
图9是根据本发明实施例适合于实现本公开的处理的图8的计算机系统的可选视图的方框图。
具体实施方式
本发明实施例提供一种以新的方式识别所绘制的输入的系统。所绘制的输入可以例如包括：用作键区的所绘制的数字键区；用作点击设备的所绘制的鼠标或“鼠标区域”；“Line Rider”的绘图游戏，其中线被徒手绘制并且计算机生成骑在所绘制的线上的字符。
图1示出了适合于由本发明实施例使用的计算机系统的示例。计算机系统100具有典型地用于语音和视频呼叫的相机102和麦克风104。相机可以是用于三维视频呼叫或者考虑到三维空中姿势的解释的立体相机。尽管示出了笔记本型计算机，但是板型计算机和平板计算机典型地具有类似的硬件特征。可选地，可以使用智能电话、智能电视机、媒体播放器或便携式游戏设备。当根据下面描述的各种实施例的需要来配备相机和麦克风时，也可以使用桌上型计算机。
在实施例中，本发明可以合并到个人计算机(PC)、膝上型计算机、超级膝上型计算机、平板计算机、触摸板、便携式计算机、手持计算机、掌上型计算机、个人数字助理(PDA)、蜂窝电话、组合蜂窝电话/PDA、电视机、智能设备(例如智能电话、智能平板计算机或智能电视机)、移动互联网设备(MID)、消息传送设备、数据通信设备等等。
将一张纸106放置在相机102的视域内。该纸可以位于如图所示的相同桌子上或者位于附近表面上。代替一张纸，可以使用任何书写表面，例如白板、黑板或者诸如检测制图输入并且在显示器上显示结果的显示表面的电子表面。使用纸或类似的物品，用户112能够绘制并书写任何期望的字和形状。在图1中，用户写出字“键区”108并且接着绘制键区的图片110。
计算机系统观察该纸并且检测在该纸上写的字键区。这取决于特定实施例可以使用各种书写和符号识别实用程序中的任意一种来完成。在识别了工作键区之后，系统接着尝试将该制图识别为键区。字的识别允许系统将一组模板或形状识别模式限制到可能与键区相对应的那些模板或模式。这增加了制图识别的可靠性和速度。在接着将该制图识别为键区之后，用户可以关于键区的制图来执行姿势，并且输入数字和字符，就好像它是键区一样。
图2示出了计算机系统的类似使用。在图2的示例中，相同的计算机观察用户122已经在一张纸126上写出“摇杆”128。用户接着绘制了某些东西120。基于摇杆的可能制图的计算机系统能够将所绘制的瓦片120识别为摇杆的某个部分。文本允许计算机系统将摇杆设计和特征应用于制图，使得该制图，尽管它没有紧密地类似于摇杆，将被按照这样进行解释。在所说明的示例中，五个瓦片(tile)可以例如被看作推按表面和发射按钮。用户可以接着触摸该瓦片以便具有游戏杆命令在计算机系统上的效果。
图3示出另一可选实施例，其中用户132应用不同的方案来指示所绘制的对象的性质。用户132在一张纸136上绘制了键区130，然而，代替写出描述性字以便帮助计算机识别该制图，用户说出字“键区”138。计算机在麦克风104中接收所说的话，将它应用于语音识别系统以便识别该字，并且接着将该字识别为“键区”。
所说的话为计算机系统提供关于所绘制的对象的性质的指示。计算机系统可以使用此来选择与字“键区”相关联的一组模板，并且接着识别与键区的特征相对应的制图的特征。如同所写的字，可以具有指示计算机系统要用于识别制图的模板的子集的不同的字。用户也可以说或者写数字板、计算器、加法机、数学或其它字。
图4示出了辅助计算机识别制图的进一步示例。在图4中，用户绘制了飞机的符号148。计算机观察到这一制图并且在纸146上对它进行识别。当用户接着绘制5个瓦片140时，计算机系统访问与飞机符号相关联的模板库。这导致将所绘制的摇杆与摇杆控制和命令相关联。
图5示出了类似的示例，其中不是所绘制或者说出的指示，用户提供诸如手势的空中姿势152。可以使用姿势的库来识别由相机102观察的手势。所识别的姿势可以接着用于选择模板的库或者将所述库限制到模板的某个子集。空中姿势可以如图所示由手152执行，或者它可以使用任何其它臂、足、头或其它身体姿势执行。如果如图4所示飞机摇杆被预期，则可以使用两只手以便例如指示飞机。
作为进一步的可选形式，代替做手势，手152可以使用键盘103或轨迹板105来向计算机系统指示命令。可以按照与所绘制的、说出的或者做手势的命令相同的方式来使用这一命令。特定的键盘或轨迹板命令可以基于上下文或特殊的工具，或者应用可以用于做出选择。对于具有诸如鼠标、滚轮、游戏板或其它设备的额外或不同的输入设备的计算机系统，可以代替或除了所示的键盘和轨迹板来使用这些输入设备。在计算机系统显示器上显示的菜单系统可以用于确定用于匹配所绘制的对象的类别。例如，用户可以选择游戏模式。这将允许所绘制的摇杆被识别，即使该制图没有紧密地类似于摇杆。
语音或书写命令也可以用于不仅辅助计算机系统识别对象，而且还赋予所绘制的对象以特定的物理属性。语音命令、非绘制的姿势或者触摸输入可以结合所绘制的输入来使用以便改变系统如何解释所绘制的符号。与绘制圆形相关联，用户可以说“蓝色球”。这可以由计算机系统解释以便不仅辅助计算机将所绘制的对象识别为球，而且还将所述球染成蓝色用于显示目的。计算机系统还可以使与球的类型相对应的物理和三维属性与该球相关联。用户可以接着使用那些属性来与对象交互。
绘制、语音和姿势输入还允许用户对于他们的制图采用速记法。在图2和图4的示例中，用户所绘制的5个瓦片并不紧密地类似于摇杆。然而，借助于绘制、语音或姿势输入，计算机系统仍然能够识别该制图。这一原理可以被扩展到其它类型的制图。因此，用户可以绘制部分键盘并且说“键盘”，并且系统接着可以将该制图解释为全键盘。用户可以可选地绘制部分鼠标并且说“鼠标”用于类似的结果。绘制在纸上的键盘或鼠标可以接着变为虚拟3D对象，当用户朝向制图做姿势或者实际上物理地移动制图时，该虚拟3D对象可以在计算机系统显示器上被虚拟地“移动”或操控。虚拟输入设备可以配置为适应用户在手和其它位置上的改变。
图6示出了用于实现上面描述的示例的简化处理流。在611，计算机系统接收指示用户打算做出的制图的类型的命令。如上面提及的，这一命令可以作为键按压、菜单选择、语音命令或另一制图而被接收。在613，响应于该命令，计算机系统访问模板库。模板将基于该命令被选择，使得计算机系统具有要使用的模板的有限集合。选定的模板将是与命令相关联的那些模板。
在615，计算机系统观察用户的制图。可以经过相机或触敏表面或者以另一方式观察该制图。可以针对制图中的反射性的变化、梯形失真、由劣质笔的使用引起的不一致的线宽度和其它失真来校正该制图。使用相机允许用户使用所期望的任何绘制表面，同时使用已知的书写表面和笔减少了图像中的失真以及可能与识别和观察制图的相机相关联的误差。在617，计算机系统将该制图与选定的模板进行比较。如果找到匹配，则在619，该制图被识别。
在上面的示例中，制图被识别为键区或摇杆，然而可以绘制任何各种各样的其它物品。在621，计算机系统向所识别的制图指派属性。这些属性可以是可访问的功能、用户输入能力等等。可以使用与模板相关联的信息来确定属性。因此，如果制图与键区模板匹配，则该模板可以包括关于触摸制图的特定部分被指派“9”数字键按压的信息。模板可以包括“9”键的界限作为该模板的一部分。
图7是在上面描述的用例中执行的处理的可选的处理流程图。在710，计算机系统发起并装入任何期望的模板用于匹配。这些模板可以是用于匹配写出的字、所说的话和空中姿势以及用于制图的模板。模板可以由操作系统、单独的制图识别应用提供，允许用户提供模板，或者它们可以是游戏或生产力应用程序的一部分。
在712，用户绘制符号或对象，例如上面示出的键区或摇杆。制图不需要精确地匹配任何特定的模块或者对于这样的对象的规定形式。
在714，用户输入用于在识别对象的使用时使用的命令。如上面提及的，该命令可以是写出的字或符号、所说的字、姿势或命令。例如，用户可以敲打键盘上的键区或者使用跟踪板和鼠标按钮来选择键区。该命令向系统指示该系统能够使用的制图的类型以便减少可能的选择或者甚至对系统强加选择。在712绘制对象和在714指示对象的类型的两个操作可以按照任意顺序执行。计算机系统接收这两个输入并且接着相应地起作用。
在716，用户接收并且识别用户命令，并且在718，系统使用该命令来访问可以应用于制图的制图模板的库。如果命令在制图之前被接收，则计算机系统可以识别该命令并且在用户在712进行制图之前访问该模板。另一方面，如果用户首先绘制制图，则系统可以在尝试匹配该制图之前等待命令被接收。
在720，计算机系统经过它的相机输入来感测制图。典型地，这可以通过使用耦合到计算机系统的相机捕获制图的图像来完成。以所捕获的图像或其它数字文件的形式的制图可以接着被转换为可以与其它数字文件匹配的数字形式。该形式可以是位图或其它图像文件，或者它可以是用户的制图的主要特征的抽象数学表示。
在722，计算机系统将所观察的制图与它在718访问的制图模板的组进行比较。这是基于在716的接收用户命令的模板的有限组。该比较可以更快地完成，因为可能模板的数量被极大地减少。在724，系统选择模板，并且如果它匹配所观察的制图，则在728，系统向该制图的所绘制的元件指派属性。系统循环经过所有模板，并且如果没有匹配被识别，则系统采取某一其它动作。它可以简单地忽略该制图。在稍后的时间，该系统可以在用户返回到该制图以便提供更多的细节或者对制图进行校正之后尝试进行另一匹配。该系统也可以通过向用户显示一些模板用于选择或者通过请求用户写、说或键入对象是什么来请求用户辅助。例如，该系统可以通过显示对于该制图的两个或更多个可能的匹配来询问用户并且接着允许用户选择所述模板中的一个作为正确的匹配。
可选地，该系统可以做出它的最佳猜测并且使用用户绘制的东西的近似。由于在714的附加命令，该近似是可能的。如上面提及的，用户能够写摇杆并且接着绘制看起来并不确切地像摇杆的某些东西。知道该制图是摇杆的计算机系统可以接着将摇杆设计强加在该制图上，而不是仅接受被非常好地完成的制图。计算机可以向与摇杆属性相对应的五个瓦片中的每一个指派属性。该瓦片可以被指派为按钮或表面，取决于所匹配的模板。按照相同的方式，对于键区绘制的正方形可以被指派各种数量的板键的属性。在右边的较大正方形可以被指派为例如“+”键，而在底部上的正方形可以被指派为“0”键。五个瓦片的不清楚的一般化制图可以被看作摇杆按钮或表面，而不用看起来非常像它们。
该处理接着在712对于下一个用户返回。该处理流可以在完全不相关的制图上重新开始。例如用户可能在纸上的一个位置中绘制摇杆，并且接着在该纸上的另一位置上绘制WASD键组合或者箭头键组合。用户可以接着用一只手操作键并且用另一只手操作摇杆。
该处理返回也允许用户扩大制图。在摇杆示例中，用户可能输入了摇杆命令并且将额外的触发控制添加到该摇杆。计算机系统将接收该命令或者可以替代地识别用户正在添加到摇杆制图，并且接着寻找不同的模板来匹配增强的摇杆制图。使用键盘，用户可以仅以WASD开始，并且接着随后添加空格键、字型变换键或者可能期望用于更多功能的其它键。
图8是能够支持上面讨论的操作的计算环境的方框图。鼠标和系统可以被实现在各种不同的硬件架构和形状因子中，包括如图9所示的。
命令执行模块801包括中央处理单元以便高速缓存并执行命令并且在所示的其它模块和系统当中分配任务。它可以包括指令栈、存储中间和最终结果的高速缓存以及存储应用和操作系统的海量存储器。命令执行模块还可以用作系统的中央协调和任务分配单元。
屏幕渲染模块821在一个或多个多屏幕上绘制对象用于使用户看见。它可以适合于从下面描述的制图跟踪模块806接收数据，并且在屏幕上渲染制图的表示。屏幕渲染模块还渲染用户和制图之间的交互，作为用于用户正在操作的应用的命令。
姿势识别模块822可以适合于识别并跟踪用户的手和臂的姿势。这样的模块可以用于识别手、手指、手指姿势、手移动和手相对于制图的位置。例如，姿势识别系统可以例如确定用户做出了身体部分姿势以便按下键盘上的虚拟按钮，或者用户做出了身体部分姿势以便移动制图的虚拟控制表面。姿势识别系统可以耦合到相机或相机阵列、麦克风或麦克风阵列、触摸屏或触摸表面或者指向设备或者这些物品的某个组合，以便检测来自用户的姿势和命令。
可以使用用于姿势识别的各种技术中的任意一种。该系统可以用于识别手、手指、手指姿势、手移动和手相对于制图表面的位置。如果该姿势与先前绘制和识别的对象以多种预定的方式交叉，则这一模块将该姿势与所匹配的对象的属性进行组合以便确定计算系统将采取的动作。如果为否，则该姿势作为纯姿势命令成立。该姿势可以接着被转换为到计算机系统的命令用于由命令执行模块801执行。
制图检测模块823可以配备有相机或其它传感器以便跟踪用户的手或笔的位置或方位。可选地，制图检测模块的触摸屏或触摸表面可以包括触摸屏传感器。来自传感器的数据可以被馈送到硬件、软件、固件或其组合以便将在屏幕或表面上用户的手的触摸姿势映射到相对应的制图或图像。当用户暂停时或者当用户采取诸如姿势或语音命令的明确的动作时，能够假设所绘制的输入是完整的。
制图识别模块825识别所绘制和书写的输入。它通过使制图的部分与存储在计算设备中的模板对象匹配来解释所绘制的输入。这一模块可以被发起以便对照模块的整个库进行匹配，或者它能够使用其它视觉输入或用户命令来对照库的子集进行匹配。制图识别模块也可以包括梯形失真校正。当图像以一角度被捕获时，它们必须在对照模板库进行匹配之前针对由角度视图引起的失真而被校正。梯形失真校正可以通过关于相机和书写表面的位置的知识来帮助。对于所示的笔记本计算机示例，可以使用在屏幕边框的顶部处的相机从搁在桌子上的壳体的底部起的近似高度值来配置计算机。这一值由壳体的设计确定并且对于具有相同壳体的每一个计算机是相同的。
制图对象模板模块804存储诸如键区、触摸板和命令按钮的输入设备的模板。当用户绘制具有匹配特性的输入设备时，模板的属性将确定制图的行为以及用户交互是否将影响它。
制图跟踪模块806跟踪复杂制图在级和层中的发展。当用户在级中添加复杂对象的元素时，这一模块将确定在当前和先前绘制的输入之间的增量。如果该制图已经相对于计算设备移动，则这一模块将确定新的方位以便允许连续的输入，尽管制图正在被移动。
对象和速度及方向模块803可以适合于通过从制图跟踪模块806接收输入来估计作为虚拟对象正在移动的制图的动力学，例如其轨迹、速度(线性速度或者角速度)、动量(线性动量或者角动量)等等。对象和速度及方向模块可以进一步适合于例如通过估计用户姿势的加速度、偏转等等来估计任何物理力的动力学。对象和速度及方向模块还可以使用图像运动、尺寸和角度改变来估计对象的速度，例如手和手指的速度。
动量和惯性模块802允许基于用户输入的各种“物理”行为。快或慢的滚动或挥击可以例如被赋予动量。这一模块将具有匹配到用户姿势和制图的物理模板以便添加诸如屏幕上对象的加速度的行为。它能够使用制图的平面中或三维空间中的制图运动和用户运动来估计与该制图有关的虚拟对象的速度和方向。动量和惯性模块耦合到对象和姿势识别系统822以便估计由手、手指和其它身体部分执行的姿势的速度并且接着应用那些估计以便确定将被该姿势影响的虚拟对象的动量和速度。
3D图像交互和效果模块805跟踪与看起来好像延伸出一个或多个屏幕的3D图像的用户交互。可以连同这些对象对彼此的相对影响一起来计算对象在z轴中的影响(朝向和远离屏幕的平面)。例如，在虚拟对象到达屏幕的平面之前，通过用户姿势投掷的对象可能被前景中的3D对象影响。这些对象可以改变轨迹的方向或速度或者完全毁坏它。可以通过3D图像交互和效果模块在一个或多个显示器上的前景中渲染该对象。
结合图7更加详细描述的图8的计算系统在制图检测模块823的发起下操作。它经过应用的发动或者通过诸如语音命令的其它用户输入来发起。用户创建制图并且接着指示(如上所述)所绘制的输入是完整的。制图识别模块825对照模板库来匹配制图。当达到可以按照应用变换的某个水平的确定性的匹配时，制图跟踪模块806使制图与一组属性相关联。如果用户随后在所匹配的制图上做姿势，则系统根据这组匹配的属性来执行命令。
图9是诸如个人计算机、游戏控制台、智能电话或便携式游戏设备的计算系统的方框图。计算机系统900包括用于传递信息的总线或其它通信装置901以及诸如与总线901耦合用于处理信息的微处理器902的处理装置。计算机系统可以被增添有特别用于经过并行管线来渲染图形的图形处理器903以及用于计算如上所述的物理交互的物理处理器905。这些处理器可以被合并到中央处理器902中或者被提供为一个或多个单独的处理器。
计算机系统900进一步包括耦合到总线901用于存储信息和由处理器902执行的指令的主存储器904，例如随机存取存储器(RAM)或其它动态数据存储设备。主存储器还可以用于在处理器执行指令期间存储临时变量或其它中间信息。计算机系统还可以包括非易失性存储器906，例如只读存储器(ROM)或耦合到总线用于为处理器存储静态信息和指令的其它静态数据存储设备。
诸如磁盘、光盘或固态阵列的海量存储器907及其相对应的驱动器也可以耦合到计算机系统的总线用于存储信息和指令。计算机系统也可以经由总线耦合到用于向用户显示信息的显示设备或监视器921，例如液晶显示器(LCD)或有机发光二极管(OLED)阵列。例如，除了上面讨论的各种视图和用户交互以外，安装状态、操作状态和其它信息的图形和文本指示可以在显示设备上呈现给用户。
典型地，诸如具有字母数字、功能和其它键的键盘的用户输入设备可以耦合到总线，用于将信息和命令选择传递到处理器。额外的用户输入设备可以包括光标控制输入设备，例如鼠标、轨迹球、轨迹板，或者光标方向键可以耦合到总线用于将方向信息和命令选择传递到处理器并且控制显示器921上的光标移动。
相机和麦克风阵列923耦合到总线以便如上面提及地观察姿势、记录音频和视频并且接收视觉和音频命令。
通信接口925也耦合到总线901。通信接口可以包括调制解调器、网络接口卡或其它公知的接口设备，例如用于耦合到以太网、令牌环或其它类型的物理有线或无线附件的那些接口设备，用于例如提供通信链路以便支持局域网或广域网(LAN或WAN)的目的。按照这种方式，计算机系统也可以经由例如包括内联网和互联网的常规网络基础设施耦合到多个外围设备、其它客户端或控制表面或控制台或者服务器。
应该认识到，比上面描述的示例更少或更多配备的系统可能对于某些实现是优选的。因此，示例性系统800和900的配置可以从一个实现到另一个实现改变，取决于诸如价格约束、性能要求、技术改进或其它情况的各种因素。
实施例可以被实现为下列项目中的任意一个或组合：使用父板互连的一个或多个微芯片或集成电路、硬连线逻辑、由存储器设备存储并且由微处理器执行的软件、固件、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)。术语“逻辑”可以通过示例的方式包括软件或硬件和/或软件和硬件的组合。
实施例可以被提供为例如可以包括一个或多个机器可读介质的计算机程序产品，该机器可读介质具有存储在其上的机器可执行指令，当该机器可执行指令由诸如计算机、计算机的网络或其它电子设备的一个或多个机器执行时，可以导致该一个或多个机器执行根据本发明实施例的操作。机器可读介质可以包括但不局限于软盘、光盘、CD-ROM(压缩盘只读存储器)和磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光学卡、闪存或者适合于存储机器可执行指令的其它类型的介质/机器可读介质。
而且，实施例可以被下载为计算机程序产品，其中该程序可以通过体现在载波中或其它传播介质中和/或由该载波或其它传播介质调制的一个或多个数据信号经由通信链路(例如，调制解调器和/或网络连接)被从远程计算机(例如，服务器)转移到请求的计算机(例如，客户端)。因此，如本文使用的，机器可读介质可以包括但不要求包括这样的载波。
对“一个实施例”、“实施例”、“示例实施例”、“各种实施例”等等的提及指示这样描述的本发明实施例可以包括特定的特征、结构或特性，但是并不是每一个实施例都必须包括该特定的特征、结构或特性。进而，一些实施例可以具有对于其它实施例描述的特征中的一些、全部或没有一个。
在下面的描述和权利要求中，可以使用术语“耦合”连同其派生词。“耦合”用于指示两个或更多个元件彼此协作或相互作用，但是它们可以具有或者可以不具有在它们之间的中间物理或电学部件。
如在权利要求中使用的，除非另有规定，描述公共元件的顺序形容词“第一”、“第二”、“第三”等等的使用仅指示正在提及的相似元件的不同实例并且并不意在暗示这样描述的元件必须在时间上、在空间上、在等级上或者以任何其它方式按照给定的顺序。
附图和前面的描述给出了实施例的示例。本领域中的技术人员将认识到，一个或多个所描述的元件可以被很好地组合为单个功能元件。可选地，某些元件可以被划分为多个功能元件。来自一个实施例的元件可以被添加到另一实施例。例如，本文描述的处理的顺序可以改变并且不局限于本文描述的方式。而且，任何流程图的动作不需要按照所示的顺序实现；所有动作也不一定需要都被执行。并且，不依赖于其它动作的那些动作可以与该其它动作并行地执行。实施例的范围决不由这些具体的示例限制。例如在结构、尺寸和材料使用方面的差异的很多变化是可能的，无论是否在说明书中明确给出。实施例的范围至少与下面的权利要求给出的一样宽。

Claims (19)

1.一种方法，包括：
在计算机系统处接收指示制图的类型的命令；
访问与制图类型相关联的制图模板的库；
在计算机系统处观察用户制图；
将被观察的制图与所述制图模板进行比较以便识别所述被观察的制图；以及
向被识别的制图指派属性。
2.如权利要求1所述的方法，其中，所述命令是写出的文本、语音、第二制图和姿势中的一个。
3.如权利要求1所述的方法，其中，所述制图的类型是用户输入设备的类型。
4.如权利要求3所述的方法，其中，控制器是键区。
5.如权利要求1所述的方法，进一步包括装入多个制图模板用于由被装入的应用程序使用。
6.如权利要求5所述的方法，其中，所述制图模板与用户输入设备的不同配置和类型相对应。
7.如权利要求5所述的方法，其中，所述制图模板的库由在所述计算机系统上运行的应用程序提供。
8.如权利要求1所述的方法，其中，访问库包括基于被接收的命令从多个不同的制图模板的库当中选择一个制图模板的库。
9.如权利要求1所述的方法，其中，观察用户制图包括使用耦合到所述计算机系统的相机来捕获所述制图的图像。
10.如权利要求9所述的方法，进一步包括针对由所述相机和所述制图的相对位置引起的失真来校正被捕获的图像。
11.如权利要求1所述的方法，其中，指派属性包括向所述制图指派控制表面。
12.如权利要求1所述的方法，其中，指派属性包括向所述制图的一部分指派键。
13.一种其上具有指令的计算机可读介质，所述指令当由计算机操作时使所述计算机执行操作，所述操作包括：
在计算机系统处接收指示制图的类型的命令；
访问与制图类型相关联的制图模板的库；
在计算机系统处观察用户制图；
将被观察的制图与所述制图模板进行比较以便识别所述被观察的制图；以及
向被识别的制图指派属性。
14.如权利要求13所述的介质，其中，所述命令是书写的文本、语音、第二制图和姿势中的一个。
15.如权利要求13所述的介质，其中，指派属性包括向所述制图指派控制表面。
16.一种系统，包括：
制图检测模块，用于接收指示制图的类型的命令并且观察用户制图；
命令执行模块，用于接收所述命令并且使制图对象模板模块访问与制图类型相关联的制图模板的库；以及
制图识别模块，用于将被观察的制图与所述制图模板进行比较以便识别所述被观察的制图并且向被识别的制图指派属性。
17.如权利要求16所述的系统，进一步包括姿势识别模块，用于接收与所述被识别的制图相关联的姿势并且生成命令用于由所述命令执行模块执行。
18.如权利要求17所述的系统，进一步包括显示器以及三维效果模块，所述三维效果模块用于将所述命令的执行渲染为所述显示器上的三维图像。
19.如权利要求16所述的系统，进一步包括耦合到所述制图检测模块的相机，用于捕获所述制图的图像。
CN201180076479.1A 2011-12-30 2011-12-30 用于制图识别的方法、装置和系统 Expired - Fee Related CN104137026B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/068166 WO2013101206A1 (en) 2011-12-30 2011-12-30 Interactive drawing recognition

Publications (2)

Publication Number Publication Date
CN104137026A true CN104137026A (zh) 2014-11-05
CN104137026B CN104137026B (zh) 2017-05-10

Family

ID=48698438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180076479.1A Expired - Fee Related CN104137026B (zh) 2011-12-30 2011-12-30 用于制图识别的方法、装置和系统

Country Status (4)

Country Link
US (1) US9430035B2 (zh)
EP (1) EP2798441A4 (zh)
CN (1) CN104137026B (zh)
WO (1) WO2013101206A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140253438A1 (en) * 2011-12-23 2014-09-11 Dustin L. Hoffman Input command based on hand gesture
JP2014109876A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
US10751605B2 (en) 2016-09-29 2020-08-25 Intel Corporation Toys that respond to projections
US11030459B2 (en) 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
CN113535280B (zh) * 2021-08-04 2023-03-21 北京字跳网络技术有限公司 图案绘制方法、装置、设备、计算机可读存储介质及产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1120868A (zh) * 1993-02-01 1996-04-17 埃尤德·巴伦 图像通信装置
CN1459073A (zh) * 2000-07-17 2003-11-26 人类通讯公司 识别并处理数字图像中的命令的方法和装置，其中用户通过例如将其环绕而标记命令
US20060018546A1 (en) * 2004-07-21 2006-01-26 Hewlett-Packard Development Company, L.P. Gesture recognition
CN1879143A (zh) * 2004-06-03 2006-12-13 跳蛙企业股份有限公司 用户创建交互界面
CN101589425A (zh) * 2006-02-16 2009-11-25 Ftk技术有限公司 将数据输入计算系统的系统和方法
CN101840469A (zh) * 2008-12-31 2010-09-22 英特尔公司 在安全存储器域中绘制图像并关联用户输入的方法和系统
CN101976114A (zh) * 2010-09-29 2011-02-16 长安大学 一种基于摄像头的计算机与纸笔信息交互系统及方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5987173A (en) 1995-03-27 1999-11-16 Nippon Steel Corporation Interactive drawing recognition processing method and apparatus thereof
JP2000187551A (ja) 1998-12-21 2000-07-04 Tadaaki Rikihisa 入力装置
US20030174125A1 (en) 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US7289110B2 (en) 2000-07-17 2007-10-30 Human Messaging Ab Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it
SE519405C2 (sv) * 2000-07-19 2003-02-25 Jacob Weitman Tillämpningar för en avancerad digitalkamera som tolkar den tagna bilden utifrån dess informationsinnehåll, såsom att överföra bilden, beordra en tjänst, styra ett flöde mm
JP2005004543A (ja) 2003-06-12 2005-01-06 Sony Corp ユーザインターフェース方法および装置、ならびにコンピュータ・プログラム
US20070025938A1 (en) 2005-07-29 2007-02-01 L'oreal Depigmentation method and kit
JP4741908B2 (ja) * 2005-09-08 2011-08-10 キヤノン株式会社 情報処理装置及び情報処理方法
TWI301590B (en) * 2005-12-30 2008-10-01 Ibm Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US7839881B2 (en) 2006-07-24 2010-11-23 Plantronics, Inc. Projection headset
JP2009064375A (ja) * 2007-09-10 2009-03-26 Sanyo Electric Co Ltd 投写型映像表示装置
JP5526400B2 (ja) 2009-03-03 2014-06-18 シャープ株式会社 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
US8928589B2 (en) * 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
KR102101818B1 (ko) * 2012-07-30 2020-04-17 삼성전자주식회사 단말기의 데이터전송 제어장치 및 방법
US9330545B2 (en) * 2013-07-17 2016-05-03 Google Inc. Determining input received via tactile input device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1120868A (zh) * 1993-02-01 1996-04-17 埃尤德·巴伦 图像通信装置
CN1459073A (zh) * 2000-07-17 2003-11-26 人类通讯公司 识别并处理数字图像中的命令的方法和装置，其中用户通过例如将其环绕而标记命令
CN1879143A (zh) * 2004-06-03 2006-12-13 跳蛙企业股份有限公司 用户创建交互界面
US20060018546A1 (en) * 2004-07-21 2006-01-26 Hewlett-Packard Development Company, L.P. Gesture recognition
CN101589425A (zh) * 2006-02-16 2009-11-25 Ftk技术有限公司 将数据输入计算系统的系统和方法
CN101840469A (zh) * 2008-12-31 2010-09-22 英特尔公司 在安全存储器域中绘制图像并关联用户输入的方法和系统
CN101976114A (zh) * 2010-09-29 2011-02-16 长安大学 一种基于摄像头的计算机与纸笔信息交互系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳有权 等: "基于摄像头交互的虚拟汽车驾驶研究", 《中国体现学与图像分析》, vol. 15, no. 2, 30 June 2010 (2010-06-30) *

Also Published As

Publication number Publication date
EP2798441A4 (en) 2015-08-05
US20140055361A1 (en) 2014-02-27
EP2798441A1 (en) 2014-11-05
CN104137026B (zh) 2017-05-10
WO2013101206A1 (en) 2013-07-04
US9430035B2 (en) 2016-08-30

Similar Documents

Publication Publication Date Title
US11550399B2 (en) Sharing across environments
CN107810470B (zh) 便携式装置和用于改变其屏幕的方法
CN104126161B (zh) 使用状态确定的交互绘图识别
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
CN101730874B (zh) 基于免接触的手势的输入
US8749497B2 (en) Multi-touch shape drawing
JP6013583B2 (ja) 有効インターフェース要素の強調のための方式
US9530399B2 (en) Electronic device for providing information to user
KR102184269B1 (ko) 디스플레이장치, 휴대장치 및 그 화면 표시방법
CN104205034A (zh) 使用手势创建三维图形
US20160012612A1 (en) Display control method and system
KR20110016994A (ko) 사용자 인터페이스 제어를 위한 카메라 제스처들
CN102193732A (zh) 比本地屏幕大的被远程发送桌面的有效导航及与桌面交互
CN104246683A (zh) 在包括透明显示器的装置中执行的对象控制方法、装置及其计算机可读记录介质
CN104137026A (zh) 交互式制图识别
CN102768597B (zh) 一种操作电子设备的方法及装置
JP2013114467A (ja) 表示システム、表示方法およびプログラム
CN106293435A (zh) 一种信息处理方法及电子设备
CN105528059A (zh) 一种三维空间手势操作方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170510

Termination date: 20181230