CN102308317A - 用于交互式草图模板的方法和装置 - Google Patents

用于交互式草图模板的方法和装置 Download PDF

Info

Publication number
CN102308317A
CN102308317A CN2010800072423A CN201080007242A CN102308317A CN 102308317 A CN102308317 A CN 102308317A CN 2010800072423 A CN2010800072423 A CN 2010800072423A CN 201080007242 A CN201080007242 A CN 201080007242A CN 102308317 A CN102308317 A CN 102308317A
Authority
CN
China
Prior art keywords
template
sketch
processor
input
sketch template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800072423A
Other languages
English (en)
Inventor
汪浩
葛仕明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102308317A publication Critical patent/CN102308317A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/42Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426Graphical representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B11/00Teaching hand-writing, shorthand, drawing, or painting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种用于将与图像相对应的模板创建输入转换为草图模板的方法。该方法可以包括最小化笔划数据成本,并基于地标点将所产生的轮廓转换为曲线逼近。在创建了草图模板之后,可以使用各种对曲线逼近的参数和/或地标点做出改变的风格来对该草图模板进行个性化。草图模板可以用来练习绘图技能。跟踪算法可以提供关于跟踪线与草图模板偏离多远的反馈,并且还可以提供针对所有跟踪线的组合的、与诸如与草图模板的接近度、速度以及完成百分比等因素有关的总体反馈。

Description

用于交互式草图模板的方法和装置
技术领域
本发明的实施方式总体上涉及交互式草图模板技术,并且更具体地,涉及用于创建、改变和使用基于图像的交互式草图模板的方法、装置和计算机程序产品。
背景技术
不管是出于职业原因还是出于娱乐原因,好的绘画能力已经成为个人能力的一个重要部分。一种提高绘画能力的方法是草图模板跟踪。这使得人们能够进行跟踪并得到一个模板,将该模板与所完成的绘画进行比较。草图跟踪(sketch tracing)可以使用打印的草图模板和铅笔或者其他书写工具机械地进行。
然而,机械的草图跟踪具有如下一些缺点:草图模板通常只能使用一次。草图模板也不能轻易地修改。此外,已有的打印的草图模板的数量和类型有限。最后,没有形式化的客观反馈来告诉人们他们画得如何。
因此,希望能够提供一种改进的用于提供草图模板的技术,该技术包括提供多个能被重复使用和/或修改的草图模板。还希望能够提供关于用户的草图相对于草图模板的反馈。
发明内容
本发明的实施方式解决了这些问题以及一些其他问题。在一个实施方式中,提供了一种用于创建、改变和使用交互式草图模板的方法、装置和计算机程序产品。可以根据任意图像来创建草图模板,这使得用户能够创建虚拟的无限数目的草图模板来适合用户的需要和期望。此外,由于草图模板是电子的,所以能够一次次地重复使用。此外,还可以对模板进行改变以使得它们更加个性化和风格化以适合用户的品味。最后,可以基于多种准则向用户提供形式化的客观反馈,并且该反馈可以以多种不同的形式呈现给用户。
在一个示例性实施方式中,提供了一种装置,其包括处理器,所述处理器被配置为:提供图像的显示;接收模板创建输入,所述模板创建输入包含一个或多个笔划并且至少部分地与所述图像相对应;确定与所述一个或多个笔划中的至少一个笔划相对应的最低数据成本轮廓;将该最低数据成本轮廓转译成曲线逼近;以及提供至少包含所述曲线逼近的草图模板。
此外,所述处理器可以被配置为:至少部分地基于所述草图模板和跟踪输入之间的一个或多个差异来输出跟踪反馈。所述处理器还可以被配置为:基本上即时地输出跟踪反馈。所述处理器还可以被配置为:计算并提供完成值的显示,其中所述完成值指示所述跟踪输入已经跟踪了多少所述草图模板。此外,所述处理器可以被配置为:提供将所述笔划中的一个或多个从闭合状态到开放状态的转换。此外,所述处理器可以被配置为:修改所述曲线逼近的一个或多个特性以对所述草图模板进行定制。所述处理器还可被配置为:在显示图像之前提供对所述图像的获取。此外,所述处理器可以被配置为:提供所述草图模板的发送以及外部创建的草图模板的接收。
在另一示例性实施方式中,提供了一种用于创建、改变和使用交互式草图模板的方法。该方法可以包括:提供图像的显示;接收模板创建输入,所述模板创建输入包含一个或多个笔划并且至少部分地与所述图像相对应;确定与所述一个或多个笔划中的至少一个笔划相对应的最低数据成本轮廓;将该最低数据成本曲线转译成曲线逼近;以及提供至少包含所述曲线逼近的草图模板。该方法还可以包括:至少部分地基于所述草图模板和跟踪输入之间的一个或多个差异来输出跟踪反馈。该方法还可以包括:计算并提供完成值的显示,其中所述完成值指示所述跟踪输入已经跟踪了多少所述草图模板。所述方法还可以包括:基于所述跟踪输入和所述草图模板的一个或多个对应部分之间的距离而区分所述跟踪输入的一个或多个部分。最后,所述方法可以包括:修改所述曲线逼近的一个或多个特性以对所述草图模板进行定制。
在另一示例性实施方式中,提供了一种用于创建、改变和使用草图模板的计算机程序产品,所述计算机程序产品包括至少一个在其上存储有计算机可执行程序指令的计算机可读存储介质。所述计算机可执行程序指令可以包括:配置用于提供图像的显示的程序指令;配置用于接收模板创建输入的程序指令,所述模板创建输入包含一个或多个笔划并且至少部分地与所述图像相对应;配置用于确定与所述一个或多个笔划中的一个笔划相对应的最低数据成本轮廓的程序指令;配置用于将该最低数据成本曲线转译成曲线逼近的程序指令;以及配置用于提供至少包含所述曲线逼近的草图模板的程序指令。
所述计算机可执行指令还可以包括:配置用于至少部分地基于所述草图模板和跟踪输入之间的一个或多个差异来输出跟踪反馈的程序指令。所述计算机可执行程序指令还可以包括:配置用于计算并提供完成值的显示的程序指令,其中所述完成值指示所述跟踪输入已经跟踪了多少所述草图模板。所述计算机可执行程序指令还可以包括:配置用于基于所述跟踪输入和所述草图模板的一个或多个对应部分之间的距离而区分所述跟踪输入的一个或多个部分的程序指令。最后,所述计算机可执行程序指令还可以包括:配置用于修改所述曲线逼近的一个或多个特性以对所述草图模板进行定制的程序指令。
本发明的实施方式可以提供一种例如在移动或固定环境中使用的方法、装置和计算机程序产品。因此,例如,移动终端用户可以享受提高的创建、改变和使用草图模板的能力。
附图说明
以上一般性地描述了本发明的一些实施方式,以下将对附图作出参考,这些附图不一定是按比例绘制的,其中:
图1示出了可以受益于本发明的示例性实施方式的移动终端的框图;
图2示出了根据本发明的示例性实施方式创建、修改和使用草图模板的方法的框图;
图3示出了根据本发明的一个实施方式所提供的、基于输入笔划来计算轮廓的方法的框图;
图4示出了根据本发明的一个实施方式所提供的、部分跟踪的草图模板和所产生的反馈的示例;以及
图5示出了显示本发明的示例性实施方式的反馈方法的操作的框图。
具体实施方式
以下将参考附图更全面地描述本发明的一些实施方式,其中在附图中示出了本发明的一些实施方式而不是所有实施方式。事实上,可以以多种不同的形式来实现本发明的各个实施方式,而不应将其理解为限制于本文所述的实施方式;相反,提供这些实施方式是为了使得本文的公开能够满足适用的法律要求。在全文中,类似的参考标记指代类似的元素。如本文所使用的,术语“数据”、“内容”、“信息”以及一些类似的术语可以互换使用以指代根据本发明的实施方式的能够发送、接收和/或存储的数据。此外,本文所使用的术语“示例性”并不是用来提供任何定性评价,而只是为了提供对示例的举例说明。因此,使用任意这种术语不应被理解为限制本发明的实施方式的精神和范围。
本发明的一些实施方式可以提供一种能够获得草图模板方面的改进的机制。就这点而言,例如,一些实施方式可以在手持设备或其他计算设备上提供交互式草图模板创建、改变和使用以及多种其他活动。
图1示出了可以受益于本发明的实施方式的移动终端10的框图。然而应当理解,如图所示以及如下文所述的移动终端10只是为了举例说明可以受益于本发明的实施方式的一种类型的设备,其并不应被理解为限制本发明的实施方式的范围。虽然出于举例的目的示出了并在下文描述了移动终端10的一个实施方式,但是其他类型的移动终端,如便携式数字助理(PDA)、寻呼机、移动计算机、移动电视、游戏设备、膝上型计算机、相机、摄像机、全球定位系统(GPS)设备、移动电话、上述各项的任意组合和/或其他类型的语音和文本传输系统等,也能够容易地采用本发明的实施方式。
此外,虽然是由移动终端10执行或使用本发明的方法的若干实施方式,然而所述方法也可以由移动终端以外的其他设备来使用。具体而言,其他设备可以根据本发明的实施方式来操作,而不管它们能够无线传输还是经由有线连接进行传输,也不管它们的移动性如何。此外,本发明的实施方式的系统和方法将主要结合移动通信应用进行描述。然而应当理解,本发明的实施方式的系统和方法可以结合各种其他应用来使用,这些其他应用可以是在移动通信行业内也可以在移动通信行业外。
所示出的实施方式的移动终端10可以包括天线12(或者多个天线),其可与发射器14和接收器16进行可操作通信。移动终端10还可以包括诸如处理器20或其他处理元件之类的装置,其可以分别向发射器14提供信号以及从接收器16接收信号。所述信号可以包括根据适用的蜂窝系统的空中接口标准的信令信息,并且/或者可以包括与语音、接收到的数据和/或用户生成/发送的数据相对应的数据。就这一点而言,移动终端10可以能够以一个或多个空中接口标准、通信协议、调制类型和访问类型进行操作。举例来说,移动终端10可以能够根据多种第一、第二、第三和/或第四代通信协议等中的任意一种进行操作。作为备选(或者附加地),移动终端10可以能够根据非蜂窝通信机制进行操作。例如,移动终端10可以能够在无线局域网(WLAN)或其他通信网络中进行通信。如上所述,本发明的一些实施方式不需要通信能力,更不用说无线通信能力了。
处理器20可以包括用来实现移动终端10的音频、图像和逻辑功能以及其他功能的电路。例如,处理器20可以实施为包括集成电路的各种处理装置,如处理元件、协处理器、控制器或各种其他处理器件,所述集成电路例如为ASIC(专用集成电路)、FPGA(现场可编程门阵列)、硬件加速器等。在一个示例性实施方式中,处理器20可被配置为执行存储器40、42中存储的指令或者处理器20可以以其他方式访问的指令。这样,不管是用硬件或者软件方法配置的,还是由软件和硬件结合来配置的,处理器20都可以代表能够执行根据本发明的实施方式的操作并相应地配置的实体。
移动终端10还可以包括用户接口,所述用户接口包括诸如耳机或扬声器24、麦克风26、显示器28之类的输出设备以及用户输入接口,其可以可操作地耦合到处理器20。用户输入接口使得移动终端10能够接收数据,其可以包括允许移动终端10接收数据的多种设备中的任意一种,如小键盘30或其他输入设备。此外,显示器28可以包括触摸屏输入设备。在包括小键盘30的实施方式中,小键盘30可以包括数字(0-9)键和相关的键(#,*)以及其他用于操作移动终端10的硬键和软键。备选地,小键盘30可以包括QWERTY小键盘布置。小键盘30还可以包括具有相关功能的各种软键。在一个实施方式中,可以至少部分地由触摸屏来提供显示器和用户输入接口。附加地或者备选地,移动终端10可以包括诸如控制杆或其他用户输入接口之类的接口设备。移动终端10还可以包括电池34,如振动电池组,以对用来操作移动终端10的各种电路供电,以及可选地提供机械振动作为可检测的输出。此外,移动终端可以包括用于照相的相机50。
移动终端10还可以包括用户识别模块(UIM)38,其可以一般性地被称为智能卡。UIM 38可以是内置有处理器的存储器器件。UIM38例如可以包括用户身份模块(SIM)、通用集成电路卡(UICC)、通用用户身份模块(USIM)、可移动用户身份模块(R-UIM)或者任何其他智能卡。除了UIM 38之外,移动终端10还可以配备有存储器。例如,移动终端10可以包括易失性存储器40,如包括用于临时存储数据的缓存区的易失性随机存取存储器(RAM)。移动终端10还可以包括其他非易失性存储器42,其可以是嵌入式的并且/或者是可移动的。非易失性存储器42可以附加地或备选地包括电可擦除可编程只读存储器(EEPROM)、闪存、其他非易失性RAM(NVRAM)等。非易失性存储器42还可以包括用于临时存储数据的缓存区。存储器40、42可以存储任意数目的信息和数据,供移动终端10用来实现移动终端的功能。例如,存储器40、42可以包括能够唯一地标识移动终端10的标识符,如国际移动设备标识(IMEI)码。此外,存储器40、42可以存储用于确定小区id信息的指令。
转到图2,示出了根据本发明的示例性实施方式的系统、方法和计算机产品的流程图。应当理解,所显示和描述的操作的顺序可以改变,其以特定顺序描述和显示只是出于示例的目的。图2具体而言涉及草图模板创建、改变和使用的整体方法。首先,如操作110中所示,接收到图片120或其他图像。可以使用任意图像,但是出于说明目的,将描述一个玩具毛绒熊的图片120。图片120可以是预先存储的并且可以简单地进行检索,例如从非易失性存储器42本地检索,或者从例如可以使用与发射器14和接收器16结合的天线12经由无线连接访问的外部网络中检索。备选地,图片120可以是相机50在之前所拍摄的图像。不管图片120的来源如何,如操作130中所示,然后可从用户接收到与图片120相对应的模板创建输入。这种模板创建输入可以使用任何类型的输入设备来提供。一种这样的输入设备可以是触摸屏显示器28,其使得用户能够直接在屏幕上所显示的图片120上绘出笔划140、150,这些笔划可以是开放笔划140(即,有两个不同的端点)或者是闭合笔划150(即,形成一个闭环)。如图2中所示,模板创建输入可以跟踪对象的略图(例如,该熊)以及用户想要包括在模板中的对象的特征(例如眼睛、嘴巴、衣服等)。在绘出每个笔划140、150之后,移动终端10然后可以例如使用处理器来计算最低数据成本路径,如操作160中所示,该最低数据成本路径基于笔划140、150形成轮廓170。下面将讨论关于如何确定轮廓170的详细情况。接下来,处理器可以确定曲线逼近,如操作175中所示。下面还将描述关于曲线逼近的详细情况。
其后,在一个实施方式中,处理器可以确定对于每个笔划140、150是否都已完成了迭代,如操作180中所示,这是因为如操作160中所示的形成轮廓170的最低数据成本路径的计算和如操作175中所示的曲线逼近是针对每个笔划单独执行的。在如操作180中所示的所有迭代都完成之后,曲线逼近的组合结果是草图模板190。如果希望的话,可以对草图模板190进行风格化。下面将更详细地描述如操作200中所示的风格化,但是简单来说,其使得用户能够根据用户的喜好来改变草图模板190。在草图模板190如操作200中所示那样被风格化之前或之后,例如可以通过根据需要将草图模板190发送给其他用户来如操作210中所示地存储和共享草图模板。如下面更详细的描述,处理器还可以如操作220中所示执行跟踪应用,这使得用户能够对草图模板190进行跟踪。
如上所述和图2中所示,在一个实施方式中,在用户绘出与图片120中的对象相对应的每个笔划140、150之后,处理器可以如操作160中所示生成轮廓170,并继而如操作175中所示计算曲线逼近。如操作160中所示的轮廓170的生成以及如操作175中所示的对曲线逼近的计算可以如操作180中所示那样针对每个笔划140、150进行重复,直到用户完成绘制。对于给定笔划140、150,处理器可以将对应的轮廓170定义为定义了笔划的最小累积成本路径。处理器可以以各种方式确定与笔划140、150相对应的轮廓170。例如,轮廓确定过程可以被表述为图形搜索问题,其可以通过称为“Livewire”的二维动态编程算法来解决。例如参见Mortensen,E.N.and Barrett,W.A.Intelligent scissors for image composition.ACM SIGGRAPH,pp.191-198,1995。然而,在Livewire中,在定义与图片的特征附接的每个种子点时,可能需要在整个图片上构建图形,这可能会使实时的实现方式变得有些困难。与之不同,本发明的其他实施方式可以通过只考虑在给定时刻定义各个笔划140、150的模板构建输入的部分来构建图形,这使得能够如操作160中所示实时生成轮廓。
Livewire算法已经扩展到通过跟随用户的交互式光标运动并将种子点固定到图片的特征来重复构建图形,从而生成精美的草图。然而,在一些情况下,例如当定义长的或闭合的轮廓时,必须用光标精确地放置许多种子点以提取轮廓。与之不同,本发明的其他实施方式可以通过在每个笔划140、150内搜索最优数据点和对应的链接以形成如操作160中所示的最低数据成本轮廓170,来使得处理变得容易。此外,本方法的实施方式可以适合于从闭合笔划150中提取轮廓170,如下所述。
图3中描绘了根据一个实施方式的处理器所执行的轮廓计算。在一个实施方式中,轮廓170对应于信息量最大的图片特征,如边缘、高梯度区域、视觉显著性区域等,并且具有一些限制,如光滑度、形状、拓扑或者用户所定义的限制。因此,处理器可以计算两组成本映射300、310,用于测量图片信息的值。一组可以是数据点成本映射
Figure BPA00001420574300091
用于评估定义笔划140、150的模板创建输入中的每个数据点的重要性。映射
Figure BPA00001420574300092
表示第i个数据点成本映射300中的数据点成本。如上所述,在文献中可以找到许多种已知的针对图像特征的重要性测量,如二值边缘测量、特征检测测量、转角测量、显著性测量、梯度的L1和L2范数、图像能量、曲率测量等。可以通过计算最小累积数据成本来确定数据点的最优性,并且因此“信息量更大的”数据点将具有更低的数据成本。数据点成本映射300然后可以缩放为0和1。另一组成本映射可以是链接成本映射
Figure BPA00001420574300093
用于计算笔划140、150中的数据点之间的局部链路成本。链路成本映射310可以确定与两个相邻数据点之间的关系相关联的数据成本,如梯度方向成本。
在构建了成本映射之后,对于给定笔划140、150(公式中表示为S),处理器可以构建加权的图形320G=(V,E),其中V是与笔划对应的数据点集合,即V={p|p∈S},E是链接的集合,即E={(p,q)|p∈V,q∈V,q∈Np},其中Np表示数据点p旁边的相邻数据点。基于如上定义的成本映射300、310,处理器可以将从数据点p到q的链接的成本定义为若干个成本的加权组合:
l ( p , q ) = Σ { f P i } ⊆ M P w P i f P j ( q ) + Σ { f L j } ⊆ M L w L j D j ( f L j ( p ) , f L j ( q ) , p , q )
其中,与成本映射300、310相对应的权重表示为
Figure BPA00001420574300102
Figure BPA00001420574300103
其用于平衡每个项的影响。相异性函数Dj(.)可以用于测量链路特性和笔划特性之间的差异性,并且还可以被归一化为0和1。处理器可以利用图形搜索330来找到通过起始数据点和末端数据点的所有连接数据点而遍历从开始数据点到终止数据点的所有路径中的最小累积成本路径。遍历笔划140、150的路径的累积成本可以总计为构成该路径的局部链路权重。遍历笔划140、150的路径P(p1,pn)={p1,p2,...,pn}可以表示为一组n个有序的数据点。在该实施方式中,数据点p1和pn分别表示起始节点和终止节点,其定义了路径的端点,并且对于i=1,2,...,n-1,(pi,pi+1)∈E。处理器可以例如根据下面的公式来确定路径的累积成本:
L ( P ) = Σ { f P i } ⊆ M P w P i f P i ( p 1 ) + Σ i = 1 n - 1 l ( p 1 , p i + 1 )
其中,第一项表示起始点成本,第二项表示总链接成本。由于图形G是二维网格,因此计算从笔划140、150中的任一数据点到所有其他数据点的最短路径可以通过复杂度为O(N)的二维动态编程来实现,其中N是笔划中的数据点的数目。处理器可以从笔划140、150的两个端点中选择数据点来创建起始节点集合
Figure BPA00001420574300105
和终止节点集合
Figure BPA00001420574300106
其中mS和mE分别是起始节点和终止节点的数目。在从第一数据点开始经过SE中的所有连接数据点的最短路径中,
Figure BPA00001420574300108
是具有最小成本的路径。处理器可以针对SS中的所有数据点重复该计算,并且可以选择最优轮廓170作为从
Figure BPA00001420574300109
开始的最小成本路径。假设两个不连接的数据点之间的成本是无限的,则处理器可以根据如下公式定义最优轮廓提取,如操作330中所示:
P * = min i = 1,2 , . . . , m S { min j = 1,2 , . . . , m E { L ( P ( p S i , p E j ) ) } }
整体计算复杂度为O(mSN)。通过汇集所提取的所有轮廓170,处理器可以构成草图模板190。
为了支持如图2中所示的从闭合笔划150提取轮廓,可以使用可能的最小长度的直线250来切断闭合笔划的连续性,这使得起始节点的数目mS最小,并且降低了总体计算复杂度。闭合笔划150中穿过直线250的所有链接都可以被忽略,这有效地将闭合笔划转换为开放笔划140。从直线250相对侧的数据点中选择起始节点集合和终止节点集合。处理器然后将最后一个链接成本添加到按如下计算的起始点成本中:
l ( p n , p 1 ) + Σ { f P i } ⊆ M P w P i f P i ( p 1 ) .
在一些情况下,处理器还可以对所提取的轮廓170进行处理。首先,轮廓170可能会不像用户希望的那样互相连接。这种不连接可以通过使用上述的图形搜索330在每对邻近的轮廓170之间创建链接来进行纠正。其次,模板创建输入130可能包括由于笔划绘制很差而导致的曲折笔划140、150。因此,可能希望参数化地表示草图模板190中的轮廓,例如通过以较少数量的与从轮廓中提取的重要特征相对应的地标点240、260(例如结合的地标点240和高曲率地标点260)来以曲线逼近230(例如B样条逼近)的形式来表示每个轮廓。曲线逼近230还可以从笔划140、150直接创建,或者从轮廓170计算以其他方式创建。当每个曲线逼近230具有对应的一对地标点240、260时,草图模板190可以表示为其中Ci表示具有两个地标点
Figure BPA00001420574300114
以及逼近参数为θi的第i个曲线逼近。
如上所述,草稿模板190可以在其被创建之后由用户改变,如操作200中所示。由于草稿模板190保留了对象的形状,因此可以通过操纵地标点240、260的位置以及/或者调整曲线逼近参数来执行如操作200中所示的个性化或风格化。例如,一种“粗狂”个性化风格可以加大地标点240、260之间的距离,并且增大定义曲线逼近230的参数的大小。可以通过执行草图模板190翘曲来支持多种其他风格。可以针对如操作200中所示的每种类型的风格化来提前构建风格集Y={Y1,Y2,...},其中的元素为各种个性化或风格化操作。每种风格化操作可以包括针对高曲率地标点260和结合的地标点240的操作功能,例如其中
Figure BPA00001420574300122
分别表示针对结合的地标点和高曲率地标点的操作,Si表示诸如B采样、B样条等的曲线采样方法。这些函数,不管是线性的还是非线性的,都可以用来根据预先定义的风格调整地标点240、260的位置。例如,如图2中所示,个性化使得玩具熊草图模板190的一只耳朵250变得夸张。如操作200中所示的个性化可以自动执行(例如,用户只需选择预先定义的风格)或者交互地执行(例如,用户指出要个性化的具体部分(例如耳朵250)并选择一个或多个风格)。
如上所述,所创建的草图模板190可以用来练习绘画。如图4中所示,跟踪功能使得用户能够例如通过跟踪投射在触摸屏显示器上的模板而对给定的草图模板190进行跟踪。在跟踪过程期间,处理器可以提供反馈,诸如通过有表情的吉祥物所提供的反馈,来告诉用户他画得如何。例如,当用户画得好时,有表情的吉祥物420可以微笑。反馈可以基本上即时提供。跟踪偏离的大小可以由赋予每个笔划140、150的着色来表示,其中颜色的含义在图例430中定义。例如,紧跟模板的踪迹410可以具有第一颜色,而更偏离模板的踪迹可以具有第二颜色。此外,当用户结束跟踪时,处理器可以提供总体得分440以及完成百分比450(如果还有未完成的部分460的话)。
图5示出了跟踪算法的操作流程。在用户如操作500中所示在草图模板190上绘出踪迹410之后,可以如操作510中所示由处理器基于匹配模型520来计算踪迹的匹配度,其中该匹配模型520将若干个准则(平滑度、与草图模板的平均偏离、最大失误、绘画速度等)组合为一个加权组合
Figure BPA00001420574300123
其中S表示当前踪迹的得分,Fi表示第i准则值,wi表示其相对权重。对于绘图速度标准而言,其可以测量相对于绘图速度一致性、总完成时间或者其他类似的基于时间的测量的性能。上述等式的输出是当前踪迹410的得分,如操作530中所示,并且其还可以基于偏离来确定该踪迹的着色。这种评分可以由处理器迭代地重复,直到用户提交其作品,如操作540中所示。然后处理器可以采用总体匹配模型550来计算踪迹410的总体得分,如操作560中所示,这可以将加权踪迹得分、完成率以及绘图时间都纳入考虑。本发明的实施方式从而本质上向用户提供了反馈,如即时反馈,并且准确地指出了哪些完成的很好,哪些可以改进。
如上所述,图2、图3和图5是根据本发明的示例性实施方式的系统、方法和程序产品的流程图。可以理解,流程图的每个方框或步骤以及流程图中的方框的组合可以通过各种方式实现,如硬件、固件和/或包括一个或多个计算机程序指令的软件。例如,以下描述的过程中的一个或多个可以由计算机程序指令来实施。就这点而言,实现了以下所述的过程的计算机程序指令可以由移动终端10(或其他装置)的存储器设备来存储并由移动终端(或其他装置)中的处理器(例如处理器20)来执行。可以理解,任何这种计算机程序指令都可以加载到计算机或其他可编程装置(即,硬件)上以产生机器,从而使得在该计算机或其他可编程装置上执行的指令能够创建用于实现流程图方框或步骤中所指定的功能的装置。这些计算机程序指令还可以存储在计算机可读存储器中,该计算机可读存储器可以引导计算机或其他可编程装置以特定方式发挥功能,从而使得计算机可读存储器中所存储的指令能够产生包括指令装置的制品,其中所述指令装置实现流程图方框或步骤中所指定的功能。计算机程序指令还可以加载到计算机或其他可编程装置上以导致在该计算机或其他可编程装置上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其他可编程装置上执行的指令能够提供用于实现流程图方框或步骤中所指定的功能的步骤。
因此,流程图的方框或步骤可以支持用于执行所指定的功能的装置的组合、用于执行所指定的功能的步骤的组合以及用于执行所指定的功能的程序指令装置。还应该理解,流程图的一个或多个方框或步骤以及流程图中的方框或步骤的组合可以由执行指定功能或步骤的基于专用硬件的计算机系统或者专用硬件和计算机指令的组合来实现。
在示例性实施方式中,如上所述的用于执行图2、图3和图5的方法的装置可以包括处理器(例如,处理器20),其被配置为执行上述操作(100-220、300-330以及510-560)中的一些操作或每个操作。处理器例如可以被配置为通过执行硬件实现的逻辑功能、运行所存储的指令或者运行用于执行每个操作的算法,来执行所述操作(100-220、300-330以及510-560)。备选地,装置可以包括用于执行上述操作中的每个操作的装置,如处理器。
利用上述说明以及相关附图中给出的教导,对本文所述的本发明的许多修改和其他实施方式对于本发明所属领域的技术人员来说将变得容易理解。因此,可以理解,本发明并不限于所公开的具体实施方式,并且修改和其他实施方式旨在包括在所附权利要求的范围内。此外,虽然上述描述和相关附图在元件和/或功能的某些示例性组合的背景下描述了示例性实施方式,但是应该理解,可以通过替代实施方式来提供元件和/或功能的不同组合,而并不脱离所附权利要求的范围。因此,例如,除了上文明确描述的元素和/或功能的组合之外的其他元素和/或功能组合也被解释为如在一些所附权利要求中所述的那样。虽然本文采用了一些特定术语,然而它们只是出于一般的描述性目的而使用的,而并不用于限制的目的。

Claims (20)

1.一种装置,包括处理器,所述处理器被配置为:
提供图像的显示;
接收模板创建输入,所述模板创建输入包含一个或多个笔划并且至少部分地与所述图像相对应;
确定与所述一个或多个笔划中的至少一个笔划相对应的曲线逼近;以及
提供至少包含所述曲线逼近的草图模板。
2.根据权利要求1所述的装置,其中所述处理器被配置为:
确定最低数据成本轮廓,并将所述最低数据成本轮廓转译为所述曲线逼近。
3.根据权利要求1所述的装置,其中所述处理器被配置为:
提供对所述图像的获取。
4.根据权利要求1所述的装置,其中所述处理器被配置为:
至少部分地基于所述草图模板和跟踪输入之间的一个或多个差异来输出跟踪反馈。
5.根据权利要求4所述的装置,其中所述处理器还被配置为:
计算并提供完成值的显示,其中所述完成值指示所述跟踪输入已经跟踪了多少所述草图模板。
6.根据权利要求4所述的装置,其中所述处理器还被配置为:
基于所述跟踪输入和所述草图模板的一个或多个对应部分之间的距离而区分所述跟踪输入的一个或多个部分。
7.根据权利要求1所述的装置,其中所述处理器还被配置为:
至少部分地基于完成跟踪输入所花费的时间来提供速度反馈。
8.根据权利要求1所述的装置,其中所述处理器还被配置为:
提供所述草图模板的传输以及外部创建的草图模板的接收。
9.根据权利要求1所述的装置,其中所述处理器还被配置为:
提供将所述笔划中的一个或多个从闭合状态到开放状态的转换。
10.根据权利要求1所述的装置,其中所述处理器还被配置为:
修改所述曲线逼近的一个或多个特性以对所述草图模板进行定制。
11.一种方法,包括:
提供图像的显示;
接收模板创建输入,所述模板创建输入包含一个或多个笔划并且至少部分地与所述图像相对应;
确定与所述一个或多个笔划中的至少一个笔划相对应的曲线逼近;以及
提供至少包含所述曲线逼近的草图模板。
12.根据权利要求11所述的方法,还包括:
至少部分地基于所述草图模板和跟踪输入之间的一个或多个差异来输出跟踪反馈。
13.根据权利要求12所述的方法,还包括:
计算并提供完成值的显示,其中所述完成值指示所述跟踪输入已经跟踪了多少所述草图模板。
14.根据权利要求12所述的方法,还包括:
基于所述跟踪输入和所述草图模板的一个或多个对应部分之间的距离而区分所述跟踪输入的一个或多个部分。
15.根据权利要求11所述的方法,还包括:
修改所述曲线逼近的一个或多个特性以对所述草图模板进行定制。
16.一种计算机程序产品,包括至少一个在其上存储有计算机可执行程序指令的计算机可读存储介质,所述计算机可执行程序指令包括:
配置用于提供图像的显示的程序指令;
配置用于接收模板创建输入的程序指令,所述模板创建输入包含一个或多个笔划并且至少部分地与所述图像相对应;
配置用于确定与所述一个或多个笔划中的至少一个笔划相对应的曲线逼近的程序指令;以及
配置用于提供至少包含所述曲线逼近的草图模板的程序指令。
17.根据权利要求16所述的计算机程序产品,其中所述计算机可执行程序指令还包括:
配置用于至少部分地基于所述草图模板和跟踪输入之间的一个或多个差异来输出跟踪反馈的程序指令。
18.根据权利要求16所述的计算机程序产品,其中所述计算机可执行程序指令还包括:
配置用于计算并提供完成值的显示的程序指令,其中所述完成值指示所述跟踪输入已经跟踪了多少所述草图模板。
19.根据权利要求16所述的计算机程序产品,其中所述计算机可执行程序指令还包括:
配置用于基于所述跟踪输入和所述草图模板的一个或多个对应部分之间的距离而区分所述跟踪输入的一个或多个部分的程序指令。
20.根据权利要求16所述的计算机程序产品,其中所述计算机可执行程序指令还包括:
配置用于修改所述曲线逼近的一个或多个特性以对所述草图模板进行定制的程序指令。
CN2010800072423A 2009-02-09 2010-02-09 用于交互式草图模板的方法和装置 Pending CN102308317A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/339,707 2009-02-09
US12/339,707 US20100201689A1 (en) 2009-02-09 2009-02-09 Method, apparatus and computer program product for interactive sketch template creation, alteration, and use
PCT/IB2010/000243 WO2010089665A1 (en) 2009-02-09 2010-02-09 Method and apparatus for interactive sketch template

Publications (1)

Publication Number Publication Date
CN102308317A true CN102308317A (zh) 2012-01-04

Family

ID=42540050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800072423A Pending CN102308317A (zh) 2009-02-09 2010-02-09 用于交互式草图模板的方法和装置

Country Status (4)

Country Link
US (1) US20100201689A1 (zh)
EP (1) EP2394248A1 (zh)
CN (1) CN102308317A (zh)
WO (1) WO2010089665A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255807A (zh) * 2017-07-13 2019-01-22 腾讯科技(深圳)有限公司 一种图像信息处理方法及服务器、计算机存储介质
WO2021179882A1 (zh) * 2020-03-10 2021-09-16 北京字节跳动网络技术有限公司 图像的绘制方法、装置、可读介质和电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9805482B2 (en) * 2011-10-13 2017-10-31 Autodesk, Inc. Computer-implemented tutorial for visual manipulation software
CN104115160A (zh) * 2011-12-19 2014-10-22 诺基亚公司 用于创建和显示脸部略图化身的方法和装置
US9495581B2 (en) 2014-02-03 2016-11-15 Adobe Systems Incorporated Providing drawing assistance using feature detection and semantic labeling
US9305382B2 (en) * 2014-02-03 2016-04-05 Adobe Systems Incorporated Geometrically and parametrically modifying user input to assist drawing
DE102015000377A1 (de) * 2014-02-07 2015-08-13 Adobe Systems, Inc. Bereitstellen einer Zeichenhilfe unter Nutzung einer Merkmalserfassung und eines semantischen Kennzeichnens
EP3382647A1 (en) * 2017-03-31 2018-10-03 Koninklijke Philips N.V. Device and method for sketch template generation or adaption

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5397865A (en) * 1993-11-15 1995-03-14 Park; Noel S. Digitizing tablet with display and plot capability, and methods of training a user

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2363242A (en) * 2000-02-04 2001-12-12 Toynetix Company Ltd System and method for drawing electronic images cross reference to related application
US6845171B2 (en) * 2001-11-19 2005-01-18 Microsoft Corporation Automatic sketch generation
US7240050B2 (en) * 2004-01-14 2007-07-03 International Business Machines Corporation Methods and apparatus for generating automated graphics using stored graphics examples
US20060227140A1 (en) * 2005-03-21 2006-10-12 Karthik Ramani Sketch beautification
US7532752B2 (en) * 2005-12-30 2009-05-12 Microsoft Corporation Non-photorealistic sketching
KR101457456B1 (ko) * 2008-01-28 2014-11-04 삼성전자 주식회사 개인 폰트 생성 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5397865A (en) * 1993-11-15 1995-03-14 Park; Noel S. Digitizing tablet with display and plot capability, and methods of training a user

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HYUNG W KANG ET AL: "Interactive Sketch Generation", 《INTERNATIONAL JOURNAL OF COMPUTER GRAPHICS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255807A (zh) * 2017-07-13 2019-01-22 腾讯科技(深圳)有限公司 一种图像信息处理方法及服务器、计算机存储介质
CN109255807B (zh) * 2017-07-13 2023-02-03 腾讯科技(深圳)有限公司 一种图像信息处理方法及服务器、计算机存储介质
WO2021179882A1 (zh) * 2020-03-10 2021-09-16 北京字节跳动网络技术有限公司 图像的绘制方法、装置、可读介质和电子设备
US11875437B2 (en) 2020-03-10 2024-01-16 Beijing Bytedance Network Technology Co., Ltd. Image drawing method based on target template image, apparatus, readable medium and electronic device

Also Published As

Publication number Publication date
EP2394248A1 (en) 2011-12-14
US20100201689A1 (en) 2010-08-12
WO2010089665A1 (en) 2010-08-12

Similar Documents

Publication Publication Date Title
CN102308317A (zh) 用于交互式草图模板的方法和装置
CN107443373B (zh) 基于关节臂机器人的避碰轨迹规划方法和装置
CN108388876A (zh) 一种图像识别方法、装置以及相关设备
CN110390108A (zh) 基于深度强化学习的任务型交互方法和系统
CN108681743A (zh) 图像对象识别方法和装置、存储介质
CN108710949A (zh) 用于创建机器学习建模模板的方法及系统
CN102741840B (zh) 用于对个性化场景建模的方法和装置
CN102184221A (zh) 一种基于用户偏好的实时视频摘要生成方法
CN112985413B (zh) 基于改进a*算法的景区路径规划方法及装置
CN107832872A (zh) 用于景区路线的动态规划方法
CN103886048A (zh) 一种基于聚类的增量数字图书推荐方法
CN105118068A (zh) 一种小样本条件下医学图像自动标注方法
CN111027403A (zh) 手势估计方法、装置、设备及计算机可读存储介质
Fan et al. Structure completion for facade layouts.
CN108763345A (zh) 小区经纬度的校验方法、用户设备、存储介质及装置
CN106484766A (zh) 基于人工智能的搜索方法和装置
CN109816758A (zh) 一种基于神经网络的二维角色动画生成方法和装置
CN108932646A (zh) 基于运营商的用户标签验证方法、装置和电子设备
CN114549291A (zh) 图像处理方法、装置、设备以及存储介质
CN104021138B (zh) 图像检索方法及图像检索装置
CN102640538A (zh) 用于选择接收机的方法和装置
CN108737487A (zh) 数据同步方法和装置、存储介质及电子装置
CN108111976A (zh) 一种WiFi信号指纹数据优化方法及装置
CN115392216B (zh) 一种虚拟形象生成方法、装置、电子设备及存储介质
CN110348824A (zh) 一种人类智慧、行动力实时共享互助平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120104