CN103699740B - 在线捕捉设计意图的草图语义识别方法及系统 - Google Patents

Abstract

本发明提出一种在线捕捉设计意图的草图语义识别方法，包括以下步骤：建立草图绘制规律与设计意图的关系模型；绘制草图；根据草图绘制规律与设计意图的关系模型对草图进行草图语义识别，以得到与所述草图匹配的设计图。本发明的方法，对不同设计思维和绘图习惯的用户绘制的草图均能得到较好的识别结果，具有计算复杂度低、识别率高的优点。

Description

在线捕捉设计意图的草图语义识别方法及系统

技术领域

本发明涉及计算机图形学领域，尤其涉及一种在线捕捉设计意图的草图语义识别方法及系统。

背景技术

随着产品创新性的升级，决定产品创新性的概念设计也越来越受到企业的重视，支持概念设计的设计方式和工具成为迫切需求。概念设计过程不是一个一蹴而就的过程，设计师需要经过不断探索、酝酿，脑海中会迸发出灵感。灵感产生后，设计师迅速用草图进行表达并不断对草图进行修改。计算机技术在硬件与软件上的飞速发展，使得智能化、概念化的产品设计方式易于实现。商业的草图绘制软件采用WIMP（Windows，Icon，Menu，Pointer）方式操作，将设计人员连续的设计思维打断成一个个初级的计算机操作，以历史记录的方式记录草图绘制，如画点、画线、更改粗细、更改颜色等，设计人员不得不分散注意力去考虑其设计意图应该通过几个什么样的操作步骤来表达，还不得不及时修正错误的操作方式，这种对设计思维的频繁打断严重阻碍了概念设计阶段创意的产生。计算机辅助概念设计将计算机辅助设计(Computer Aided Design，CAD)与纸笔草图设计各自的优势相结合，利用计算机为草图设计提供更好的支持，从而提高概念设计的效率，甚至激发设计师的创新能力。

概念设计过程中设计师的草图绘制和设计意图密切相关。草图绘制是设计意图的外化或具体化，是草图方案的可视化，对设计师行为的一种描述，也是设计师感知设计创意的必要反馈环节。设计意图的变化，直接影响设计表达层面上的草图绘制，而草图完成的形象又直接影响设计思维。识别出这些意图，存储草图绘制之间的草图状态，可以最大程度地概括草图设计过程，保存设计师的设计思路。

草图识别技术的重点及难点在于复合在计算机辅助概念设计过程中通过计算机进行识别需要解决以下两方面问题：一方面，由于草图绘制具有随意性、准确性差，其语义又具有模糊性和不确定性计算机对草图信息理解能力具有较大的局限性，导致利用计算机进行草图识别时，计算量大且准确度低；另一方面，不同的设计师具有不同的思维方式和草图绘制习惯，导致他们在草图设计过程中出现的特征既有共性又有个性，对于草图特征的识别必须考虑到设计师自身的因素。许多学者对设计草图识别与理解技术进行了大量研究，旨在辅助设计师进行草图设计，包括：基于特征识别、基于图识别和基于位图识别的草图识别方法。上述研究主要集中在对草图图形构成的理解，即将设计师绘制的自由不规则草图图形映射成规则的几何形状。这些研究关注于设计元素静态特征，忽略了大量动态的设计表达，欠缺对设计元素之间的约束关系识别，同时缺少对于设计意图的关注，在满足几何特征的阈值而设计意图并非该特征时会产生误识别，反之在几何特征不满足设计意图表达特征的阈值时会产生漏识别，因此带来识别率低、智能性差等问题。依赖于计算机智能去识别并理解草图，缺少对草图行为的研究，缺乏有效地捕捉和理解设计意图的模型与方法，缺乏针对不同设计师的不同草图绘制习惯的差异识别。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的第一个目的在于提出一种在线捕捉设计意图的草图语义识别方法。该方法解决了计算机辅助概念设计中设计师草图语义识别的问题。

本发明的第二个目的在于提出一种在线捕捉设计意图的草图语义识别系统。

为了实现上述目的，本发明第一方面实施例的在线捕捉设计意图的草图语义识别方法，包括以下步骤：建立草图绘制规律与设计意图的关系模型；绘制草图；根据所述草图绘制规律与设计意图的关系模型对所述草图进行草图语义识别，以得到与所述草图匹配的设计图。

根据本发明实施例的在线捕捉设计意图的草图语义识别方法，能够通过占用较少的计算机资源，从设计师绘制的草图中实时识别出草图行为，参考设计意图，使推理结果打破了基于绘制几何特征的一致性规律，因而能够区分不同用户的绘制差异，区别绘制过程有无设计意图和消除误识别、减少漏识别。该方法对不同设计思维和绘图习惯的用户绘制的草图均能得到较好的识别结果，具有计算复杂度低、识别率高的优点。

在一些示例中，所述草图绘制规律是指给定设计意图条件下基本几何约束关系的绘制速率、压力的变化规律，其中，基本几何约束关系是指平行、垂直、相接、相交、相切、同心、过圆心。

在一些示例中，所述草图绘制规律与设计意图的关系模型按照以下公式定义：

$\left\{\begin{array}{c}{P}_v=M_v\left(R_v\right)=1-e^{-{\mathrm{\ξ}}_v{R_v}^2},{\mathrm{\ξ}}_v=-\frac{\ln (1-P_b)}{R_l^2}\\ P_p=M_p\left(R_p\right)=e^{-{\mathrm{\ξ}}_p{R}_p^2},{\mathrm{\ξ}}_p=-\frac{\ln P_b}{R_h^2}\end{array}\right.,$ 其中，P_v是将所述设计意图描述为在所述基本几何约束关系的有意图绘制和无意图绘制的速率比下的可信度，R_v是所述基本几何约束关系的有意图绘制和无意图绘制的速率比，P_b为临界可信值对应的概率，R_l指利用正态分布曲线模拟的所述基本几何约束关系的有意图绘制和无意图绘制的速率比的临界可信值，P_p指将所述设计意图描述为在所述基本几何约束关系的有意图绘制和无意图绘制的压力比下的可信度，R_p所述基本几何约束关系的有意图绘制和无意图绘制的压力比，R_h指利用正态分布曲线模拟的所述基本几何约束关系的有意图绘制和无意图绘制的压力比的临界可信值。

在一些示例中，所述对草图进行识别具体包括：根据草图表达的特点进行笔画拐点识别并进行分段；建立贝叶斯网络对草图语义进行推理，以获取相应的概率；根据所述草图绘制规律与设计意图的关系模型修正所述贝叶斯网络得到的概率，获取修正后的结果；基于所述基本几何约束关系，利用所述修正后的结果进行复合草图语义识别，以获取识别结果；按照所述识别结果对草图进行规整，以得到与所述草图匹配的设计图。

本发明第二方面实施例的在线捕捉设计意图的草图语义识别系统，包括：建模模块，用于建立草图绘制规律与设计意图的关系模型；绘图装置，用于绘制草图；识别模块，用于根据所述草图绘制规律与设计意图的关系模型对所述草图进行草图语义识别，以得到与所述草图匹配的设计图。

根据本发明实施例的在线捕捉设计意图的草图语义识别系统，能够通过占用较少的计算机资源，从设计师绘制的草图中实时识别出草图行为，参考设计意图，使推理结果打破了基于绘制几何特征的一致性规律，因而能够区分不同用户的绘制差异，区别绘制过程有无设计意图和消除误识别、减少漏识别。该系统对不同设计思维和绘图习惯的用户绘制的草图均能得到较好的识别结果，具有用户界面友好、计算复杂度低、识别率高的优点。

在一些示例中，所述草图绘制规律是指给定设计意图条件下基本几何约束关系的绘制速率、压力的变化规律，其中，基本几何约束关系是指平行、垂直、相接、相交、相切、同心、过圆心。

在一些示例中，所述草图绘制规律与设计意图的关系模型按照以下公式定义：

$\left\{\begin{array}{c}{P}_v=M_v\left(R_v\right)=1-e^{-{\mathrm{\ξ}}_v{R_v}^2},{\mathrm{\ξ}}_v=-\frac{\ln (1-P_b)}{R_l^2}\\ P_p=M_p\left(R_p\right)=e^{-{\mathrm{\ξ}}_p{R}_p^2},{\mathrm{\ξ}}_p=-\frac{\ln P_b}{R_h^2}\end{array}\right.,$ 其中，P_v是将所述设计意图描述为在所述基本几何约束关系的有意图绘制和无意图绘制的速率比下的可信度，R_v是所述基本几何约束关系的有意图绘制和无意图绘制的速率比，P_b为临界可信值对应的概率，R_l指利用正态分布曲线模拟的所述基本几何约束关系的有意图绘制和无意图绘制的速率比的临界可信值，P_p指将所述设计意图描述为在所述基本几何约束关系的有意图绘制和无意图绘制的压力比下的可信度，R_p所述基本几何约束关系的有意图绘制和无意图绘制的压力比，R_h指利用正态分布曲线模拟的所述基本几何约束关系的有意图绘制和无意图绘制的压力比的临界可信值。

在一些示例中，所述识别模块对草图进行识别具体包括：根据草图表达的特点进行笔画拐点识别并进行分段；建立贝叶斯网络对草图语义进行推理，以获取相应的概率；根据所述草图绘制规律与设计意图的关系模型修正所述贝叶斯网络得到的概率，获取修正后的结果；基于所述基本几何约束关系，利用修正后的结果进行复合草图语义识别，以获取识别结果；按照所述识别结果对草图进行规整，以得到与所述草图匹配的设计图。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，

图1是根据本发明一个实施例的在线捕捉设计意图的草图语义识别方法的流程图；

图2是本发明一个实施例的对草图语义进行识别的流程图；

图3是本发明一个实施例的草图语义识别的贝叶斯网络示意图；

图4a是本发明一个实施例的草图示例；

图4b是应用本发明实施例的方法对图4a的草图的识别结果示意图；和

图5是根据本发明一个实施例的在线捕捉设计意图的草图语义识别系统结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

下面参考附图描述根据本发明实施例的在线捕捉设计意图的草图语义识别方法及系统。

目前，许多学者对设计草图识别与理解技术进行了大量研究，旨在辅助设计师进行草图设计，包括：基于特征识别、基于图识别和基于位图识别的草图识别方法。上述研究主要集中在对草图图形构成的理解，即将设计师绘制的自由不规则草图图形映射成规则的几何形状。这些研究关注于设计元素静态特征，忽略了大量动态的设计表达，欠缺对设计元素之间的约束关系识别，同时缺少对于设计意图的关注，在满足几何特征的阈值而设计意图并非该特征时会产生误识别，反之在几何特征不满足设计意图表达特征的阈值时会产生漏识别，因此带来识别率低、智能性差等问题。依赖于计算机智能去识别并理解草图，缺少对草图行为的研究，缺乏有效地捕捉和理解设计意图的模型与方法，缺乏针对不同设计师的不同草图绘制习惯的差异识别。

为此，本发明提出了一种在线捕捉设计意图的草图语义识别方法，包括以下步骤：建立草图绘制规律与设计意图的关系模型；绘制草图；根据草图绘制规律与设计意图的关系模型对草图进行草图语义识别，以得到与草图匹配的设计图。

图1是根据本发明一个实施例的在线捕捉设计意图的草图语义识别方法的流程图。

如图1所示，在线捕捉设计意图的草图语义识别方法包括以下步骤。

步骤S101：建立草图绘制规律与设计意图的关系模型。

事实上，通过实验来研究基本几何约束关系的草图绘制规律，其中，几何约束关系可以包括平行、垂直、相接、相交、相切、同心、过圆心等。利用给定设计意图条件下绘制速率、压力的变化规律，分别建立设计师对于每种几何约束关系的有意图绘制和无意图绘制的速率比、压力比分布直方图。

在比较曲线时，曲线长度难以保证相同而且绘制较短曲线会限制最大速率，导致两者的速率值不具备可比性。因此，采用修正速率、修正压力如下：

$v_i^{*}=v_i\sqrt{S_0/S_t},p_i^{*}=p_i\sqrt{S_0/S_t},$

其中，为修正速率，为修正压力，v_i和p_i为预处理后在采样点i处速度和压力，S₀、S_t分别为无意图与有意图绘制曲线的长度，S₀保存在数据库中。

用两段不对称的正态分布曲线F₁和F₂分别模拟速率比、压力比分布直方图两侧的衰减变化情况，峰值对应最大概率P_max，即P_max=max(P₁,P₂,...,P_n)，其中，n正整数。P_max对应的速率比和压力比称为中心速率比和中心压力比，分别记作和 $\stackrel{\‾}{R_p}=F_2^{-1}\left(P_{\max }\right),$ R_l、R_h分别位于和处处， ${\mathrm{\σ}}_1=\sqrt{\frac{2\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(R_i-\stackrel{\‾}{R_v})}{n-1}},{\mathrm{\σ}}_1=\sqrt{\frac{2\underset{i=m+1}{\overset{n}{\mathrm{\Σ}}}(R_i-\stackrel{\‾}{R_p})}{n-1}},$ 其中，R_i是指在速率比直方图上为小于的速度比，在压力比直方图上为大于的压力比。

因此，草图绘制规律与设计意图的关系模型按照以下公式定义：

$\left\{\begin{array}{c}{P}_v=M_v\left(R_v\right)=1-e^{-{\mathrm{\ξ}}_v{R_v}^2},{\mathrm{\ξ}}_v=-\frac{\ln (1-P_b)}{R_l^2}\\ P_p=M_p\left(R_p\right)=e^{-{\mathrm{\ξ}}_p{R}_p^2},{\mathrm{\ξ}}_p=-\frac{\ln P_b}{R_h^2}\end{array}\right.,$

其中，P_v是将设计意图描述为在基本几何约束关系的有意图绘制和无意图绘制的速率比下的可信度，R_v是基本几何约束关系的有意图绘制和无意图绘制的速率比，P_b为临界可信值对应的概率，R_l指利用正态分布曲线模拟的基本几何约束关系的有意图绘制和无意图绘制的速率比的临界可信值，P_p指将设计意图描述为在基本几何约束关系的有意图绘制和无意图绘制的压力比下的可信度，R_p是基本几何约束关系的有意图绘制和无意图绘制的压力比，R_h指利用正态分布曲线模拟的基本几何约束关系的有意图绘制和无意图绘制的压力比的临界可信值。

该模型将设计意图的可信程度描述为概率大小。“平均速率比—设计意图”概率曲线M_v指数上升，表示平均速率比越大设计意图越可信。“平均压力比—设计意图概率”曲线M_p指数下降，表示平均压力比越小设计意图越可信。当平均速率比大于等于R_l时设计意图可信，定义大于等于R_l的范围为可信区间。当平均压力比小于等于R_h时表现为设计意图可信，定义小于等于R_h的范围为可信区间。可信区间对应的概率处于可信域之内。

特别地，不同设计师在不同几何约束关系下的草图绘制规律与设计意图关系模型有所差别，但上述模型具有通用性，可以通过实验调整参数获得。

步骤S102：绘制草图。

具体地，在本发明的一个实施例中，以Wacom数位板和手写笔作为二维草图的输入接口，以模拟纸笔设计环境。

步骤S103：根据草图绘制规律与设计意图的关系模型对草图进行草图语义识别，以得到与草图匹配的设计图。

具体地，结合图2，详细描述根据草图绘制规律与设计意图的关系模型对草图进行识别的过程。

步骤S31：根据草图表达的特点进行笔画拐点识别并进行分段。

绘图板将每次起笔和抬笔之间所绘笔画记录为一个一笔S，笔画所含的采样点连续，表示为{q_i|i=1,2,...,n}，其中q_i表示笔画中第i个采样点，将其表示为二维矢量(q_i.x,q_i.y)。同时根据采样点的笔触压力记录获得绘制曲线的压力集合{P_i|i=1,2,...,n}。在本发明的一个实施例中，采用开源JPen库扩展PenAdapter接口实现对于手写笔笔尖位置和压力的采样，采样频率为133Hz。

（1）对笔画做预处理，根据笔画的绘制曲率和速率进行拐点识别。

将每一个笔画S的采样点上的曲率{ρ_i|i=1,2,...,n}和速率{v_i|i=1,2,...,n}作为笔画特征值，其中v_i=0.5·|q_i+1-q_i-1|，采用自适应的高斯滤波，即过滤掉曲率集合和速率集合上的高频异常点和波动点，其中δ从集合{0，2，4，8，12，16，32，64}中按照自适应方法选择，得到滤波后的两个集合{ρ'_i|i=1,2,...,n}和{v_i'|i=1,2,...,n}，其中， ${\mathrm{\ρ}}_i^{\′}=\underset{i}{\mathrm{\Σ}}\underset{j\≤i}{\mathrm{\Σ}}({\mathrm{\ρ}}_i\·g_{i-j}),v_i^{\′}=\underset{i}{\mathrm{\Σ}}\underset{j\≤i}{\mathrm{\Σ}}({\mathrm{\ρ}}_i\·g_{i-j}).$

（2）计算曲率集合和速率集合的局部最小值，如果两个局部最小值对应同一序号的采样点，则视为拐点。

（3）按照上述步骤（2）得到的拐点对草图笔画进行分段，每个分段S_t中包括采样点集合{q_i|i=1,2,...,nt}与压力集合{P_i|i=1,2,...,nt}。

步骤S32：建立贝叶斯网络对草图语义进行推理，以获取相应的概率。

具体地，建立以约束几何元素为根节点的贝叶斯网络，如图3所示。G为需要识别的几何约束关系，如平行线。L为几何特征节点，如直线。C为约束特征节点，如平行关系。O是对应特征节点的测量值，用于将连续的草图绘制信息离散为节点值。W为绘制的草图曲线，本身不属于贝叶斯网络。虚线用于标识草图曲线与贝叶斯网络之间的对应关系。基于绘制几何特征的一致性规律，对贝叶斯网络每个节点分配条件概率，如表1所示，条件概率由前期实验得到，不随后期绘制和识别反馈而变化。采用贝叶斯网络进行自上而下的识别，根据一般绘制可能性对其根节点赋值先验概率，在本发明的一个实施例中采用0.2。特别地，表1中l、a、e分别表示笔画S的直线拟合、圆弧拟合和圆拟合；lsqe(x,S)表示最小二乘拟合误差；|S|表示笔画长度；θ表示直线的方向；m、c分别表示直线中点和圆的圆心；d(qi,qj)表示两点之间的距离；Min表示取最小值。

表1测试贝叶斯网络节点条件概率

基于贝叶斯网络识别设计约束关系，所有关系均为三层贝叶斯网络，其复杂程度低，可根据下式直接推理得到根节点的后验概率：

$\begin{array}{c}P(G=y|O_1,...,O_{m+n})=\frac{P(G=y|O_1,...,O_{m+n})}{P(O_1,...,O_{m+n})}=\frac{P(G=y)P(O_1,...,O_{m+n}|G=y)}{P(O_1,...,O_{m+n})}\\ =\frac{P(G=y)\underset{i=1}{\overset{m+n}{\mathrm{\Π}}}P\left(O_i\right|G=y)}{P(G=y)\underset{i=1}{\overset{m+n}{\mathrm{\Π}}}P\left(O_i\right|G=y)+P(G=n)\underset{i=1}{\overset{m+n}{\mathrm{\Π}}}P\left(O_i\right|G=n)}\end{array},$

其中， $P\left(O_i\right|G=y)\underset{i}{\mathrm{\Σ}}P\left(O_i\right|\mathrm{\π}\left(O_i\right))P\left(\mathrm{\π}\left(O_i\right)\right|G=y),$

$P\left(O_i\right|G=n)=\underset{i}{\mathrm{\Σ}}P\left(O_i\right|\mathrm{\π}\left(O_i\right))P\left(\mathrm{\π}\left(O_i\right)\right|G=n).$

优选地，在本发明的一个实施例中，贝叶斯网络采用开源BNJ库（Bayesiannetwork）进行建立。

步骤S33：根据草图绘制规律与设计意图的关系模型修正贝叶斯网络得到的概率，获取修正后的结果。

具体地，根据步骤S101的草图绘制规律与设计意图的关系模型中修捕捉到的设计意图对贝叶斯网络涉及节点的条件概率进行修正。

（1）确定草图绘制规律与设计意图关系模型可信域的临界概率P_b，其取值应大于等于已知约束特征节点的条件概率，否则在满足设计意图时采用较低的条件概率，将会难以准确识别草图。根据绘制过程的平均速率(平均压力)与数据库中存储的对应该几何约束的平均速率（平均压力）进行比较获得R_v、R_p。在草图绘制规律与设计意图的关系模型，即“平均速率比—设计意图”概率曲线和“平均压力比—设计意图”概率曲线上可以得到该设计意图的概率P_v、P_p，实现了从草图绘制规律到设计意图捕捉。

（2）根据下式重新计算约束特征节点的条件概率，达到修正贝叶斯网络及改变推理结果的目的。

$\left\{\begin{array}{c}{P}^{\′}(O=v|C)=(1-e_m)P(O=v|C)+e_m{P}_m\\ P^{\′}(O=v|-C)=(1-e_m)P(O=v|-C)+e_m(1-P_m)\end{array}\right.,$

其中，e_m为设计意图联合概率的权重；P(O=v|C)和P(O=v|-C)为修正前约束特征节点的条件概率，P'(O=v|C)和P'(O=v|-C)为修正后约束特征节点的条件概率；反映设计意图的两个概率P_v和P_p通过权重e_v、e_p组成联合概率P_m，即P_m=e_vP_v+e_pP_p。

在实际运行中，考虑到每个用户的绘制差异性，用户通过调整权重e_m实现强调/削弱设计意图的草图语义识别。如果控制绘制压力不明显可以通过增大e_v同时降低e_p强调速率规律来捕捉设计意图。e_m、e_v、e_p存储在用户数据库中，并接受反馈不断优化以适应不同用户的绘制习惯。

按照修正后约束特征节点条件概率，重新计算贝叶斯网络根节点的后验概率，选择具有最高后验概率约束几何作为识别结果。

步骤S34：基于基本几何约束关系，利用修正后的结果进行复合草图语义识别，以获取识别结果。

具体地，设计师在草图设计时，通常会绘制一个包涵语义的复合草图。可以根据以上几何元素及其约束关系的判断以及贝叶斯网络技术对复合草图语义进行推理。

步骤S35：按照识别结果对草图进行规整，以得到与草图匹配的设计图。

具体地，草图绘制系统按照草图语义对笔画进行拟合规整，准确区分约束关系，全面而准确地识别草图。

例如，图4a是本发明一个实施例的草图示例，应用本发明的在线捕捉设计意图的草图语义识别方法对其做了仿真实验，其结果如图4b所示。

根据本发明实施例的在线捕捉设计意图的草图语义识别方法，能够通过占用较少的计算机资源，从设计师绘制的草图中实时识别出草图行为，参考设计意图，使推理结果打破了基于绘制几何特征的一致性规律，因而能够区分不同用户的绘制差异，区别绘制过程有无设计意图和消除误识别、减少漏识别。该方法对不同设计思维和绘图习惯的用户绘制的草图均能得到较好的识别结果，具有计算复杂度低、识别率高的优点。

本发明第二方面的实施例提出一种在线捕捉设计意图的草图语义识别系统，如图5所示，包括：建模模块100、绘图装置200和识别模块300。

其中，建模模块100，用于建立草图绘制规律与设计意图的关系模型。绘图装置200，用于绘制草图。识别模块300，用于根据建模模块100建立的草图绘制规律与设计意图的关系模型对草图进行草图语义识别，以得到与草图匹配的设计图。

具体地，在建模模块100中，建立草图绘制规律与设计意图的关系模型。

事实上，通过实验来研究基本几何约束关系的草图绘制规律，其中，几何约束关系可以包括平行、垂直、相接、相交、相切、同心、过圆心等。利用给定设计意图条件下绘制速率、压力的变化规律，分别建立设计师对于每种几何约束关系的有意图绘制和无意图绘制的速率比、压力比分布直方图。

在比较曲线时，曲线长度难以保证相同而且绘制较短曲线会限制最大速率，导致两者的速率值不具备可比性。因此，采用修正速率、修正压力如下：

$v_i^{*}=v_i\sqrt{S_0/S_t},p_i^{*}=p_i\sqrt{S_0/S_t},$

其中，为修正速率，为修正压力，v_i和p_i为预处理后在采样点i处速率和压力，S₀、S_t分别为无意图与有意图绘制曲线的长度，S₀保存在数据库中。

用两段不对称的正态分布曲线F₁和F₂分别模拟速率比、压力比分布直方图两侧的衰减变化情况，峰值对应最大概率P_max，即P_max=max(P₁,P₂,...,P_n)，其中，n正整数。P_max对应的速率比和压力比称为中心速率比和中心压力比分别记作和 $\stackrel{\‾}{R_p}=F_2^{-1}\left(P_{\max }\right),$ R_l、R_h分别位于和处， ${\mathrm{\σ}}_1=\sqrt{\frac{2\underset{i=1}{\overset{m}{\mathrm{\Σ}}}(R_i-\stackrel{\‾}{R_v})}{n-1}},{\mathrm{\σ}}_1=\sqrt{\frac{2\underset{i=m+1}{\overset{n}{\mathrm{\Σ}}}(R_i-\stackrel{\‾}{R_p})}{n-1}},$ 其中，R_i在速率比直方图上为小于的速度比，在压力比直方图上为大于的压力比。

因此，草图绘制规律与设计意图的关系模型按照以下公式定义：

$\left\{\begin{array}{c}{P}_v=M_v\left(R_v\right)=1-e^{-{\mathrm{\ξ}}_v{R_v}^2},{\mathrm{\ξ}}_v=-\frac{\ln (1-P_b)}{R_l^2}\\ P_p=M_p\left(R_p\right)=e^{-{\mathrm{\ξ}}_p{R}_p^2},{\mathrm{\ξ}}_p=-\frac{\ln P_b}{R_h^2}\end{array}\right.,$

其中，P_v是将设计意图描述为在基本几何约束关系的有意图绘制和无意图绘制的速率比下的可信度，R_v是基本几何约束关系的有意图绘制和无意图绘制的速率比，P_b为临界可信值对应的概率，R_l指利用正态分布曲线模拟的基本几何约束关系的有意图绘制和无意图绘制的速率比的临界可信值，P_p指将设计意图描述为在基本几何约束关系的有意图绘制和无意图绘制的压力比下的可信度，R_p是基本几何约束关系的有意图绘制和无意图绘制的压力比，R_h指利用正态分布曲线模拟的基本几何约束关系的有意图绘制和无意图绘制的压力比的临界可信值。

该模型将设计意图的可信程度描述为概率大小。“平均速率比—设计意图”概率曲线M_v指数上升，表示平均速率比越大设计意图越可信。“平均压力比—设计意图概率”曲线M_p指数下降，表示平均压力比越小设计意图越可信。当平均速率比大于等于R_l时设计意图可信，定义大于等于R_l的范围为可信区间。当平均压力比小于等于R_h时表现为设计意图可信，定义小于等于R_h的范围为可信区间。可信区间对应的概率处于可信域之内。

特别地，不同设计师在不同几何约束关系下的草图绘制规律与设计意图关系模型有所差别，但上述模型具有通用性，可以通过实验调整参数获得。对用户针对每一种设计意图建立对应的草图绘制规律模型、草图绘制规律与设计意图的关系模型，与一般无意图绘制平均速率、平均压力一起保存在用户个性化配置文件中。

进一步地，设计者采用绘图装置200绘制草图。具体地，在本发明的一个实施例中，以Wacom数位板和手写笔作为二维草图的输入接口，以模拟纸笔设计环境。

在识别模块300中根据建模模块100建立的草图绘制规律与设计意图的关系模型对绘图模块200绘制的草图进行草图语义识别，以得到与草图匹配的设计图。具体地，

（1）根据草图表达的特点进行笔画拐点识别并进行分段。

绘图板将每次起笔和抬笔之间所绘笔画记录为一个一笔S，笔画所含的采样点连续，表示为{q_i|i=1,2,...,n}，其中q_i表示笔画中第i个采样点，将其表示为二维矢量(q_i.x,q_i.y)。同时根据采样点的笔触压力记录获得绘制曲线的压力集合{P_i|i=1,2,...,n}。在本发明的一个实施例中，采用开源JPen库扩展PenAdapter接口实现对于手写笔笔尖位置和压力的采样，采样频率为133Hz。

1）对笔画做预处理，根据笔画的绘制曲率和速率进行拐点识别。

将每一个笔画S的采样点上的曲率{ρ_i|i=1,2,...,n}和速率{v_i|i=1,2,...,n}作为笔画特征值，其中v_i=0.5·|q_i+1-q_i-1|，采用自适应的高斯滤波，即过滤掉曲率集合和速率集合上的高频异常点和波动点，其中δ从集合{0，2，4，8，12，16，32，64}中按照自适应方法选择，得到滤波后的两个集合{ρ'_i|i=1,2,...,n}和{v_i'|i=1,2,...,n}，其中， ${\mathrm{\ρ}}_i^{\′}=\underset{i}{\mathrm{\Σ}}\underset{j\≤i}{\mathrm{\Σ}}({\mathrm{\ρ}}_i\·g_{i-j}),v_i^{\′}=\underset{i}{\mathrm{\Σ}}\underset{j\≤i}{\mathrm{\Σ}}({\mathrm{\ρ}}_i\·g_{i-j}).$

2）计算曲率集合和速率集合的局部最小值，如果两个局部最小值对应同一序号的采样点，则视为拐点。

3）按照上述步骤2）得到的拐点对草图笔画进行分段，每个分段S_t中包括采样点集合{q_i|i=1,2,...,nt}与压力集合{P_i|i=1,2,...,nt}。

（2）建立贝叶斯网络对草图语义进行推理，以获取相应的概率。

具体地，建立以约束几何元素为根节点的贝叶斯网络，如图3所示。G为需要识别的几何约束关系，如平行线。L为几何特征节点，如直线。C为约束特征节点，如平行关系。O是对应特征节点的测量值，用于将连续的草图绘制信息离散为节点值。W为绘制的草图曲线，本身不属于贝叶斯网络。虚线用于标识草图曲线与贝叶斯网络之间的对应关系。基于绘制几何特征的一致性规律，对贝叶斯网络每个节点分配条件概率，如表1所示，条件概率由前期实验得到，不随后期绘制和识别反馈而变化。采用贝叶斯网络进行自上而下的识别，根据一般绘制可能性对其根节点赋值先验概率，在本发明的一个实施例中采用0.2。特别地，表1中l、a、e分别表示笔画S的直线拟合、圆弧拟合和圆拟合；lsqe(x,S)表示最小二乘拟合误差；|S|表示笔画长度；θ表示直线的方向；m、c分别表示直线中点和圆的圆心；d(qi,qj)表示两点之间的距离；Min表示取最小值。

基于贝叶斯网络识别设计约束关系，所有关系均为三层贝叶斯网络，其复杂程度低，可根据下式直接推理得到根节点的后验概率：

$\begin{array}{c}P(G=y|O_1,...,O_{m+n})=\frac{P(G=y|O_1,...,O_{m+n})}{P(O_1,...,O_{m+n})}=\frac{P(G=y)P(O_1,...,O_{m+n}|G=y)}{P(O_1,...,O_{m+n})}\\ =\frac{P(G=y)\underset{i=1}{\overset{m+n}{\mathrm{\Π}}}P\left(O_i\right|G=y)}{P(G=y)\underset{i=1}{\overset{m+n}{\mathrm{\Π}}}P\left(O_i\right|G=y)+P(G=n)\underset{i=1}{\overset{m+n}{\mathrm{\Π}}}P\left(O_i\right|G=n)}\end{array},$

其中， $P\left(O_i\right|G=y)\underset{i}{\mathrm{\Σ}}P\left(O_i\right|\mathrm{\π}\left(O_i\right))P\left(\mathrm{\π}\left(O_i\right)\right|G=y),$

$P\left(O_i\right|G=n)=\underset{i}{\mathrm{\Σ}}P\left(O_i\right|\mathrm{\π}\left(O_i\right))P\left(\mathrm{\π}\left(O_i\right)\right|G=n).$

优选地，在本发明的一个实施例中，贝叶斯网络采用开源BNJ库（Bayesiannetwork）进行建立。

（3）根据草图绘制规律与设计意图的关系模型修正贝叶斯网络得到的概率，获取修正后的结果。

具体地，根据步骤建模模块100建立的草图绘制规律与设计意图的关系模型中修捕捉到的设计意图对贝叶斯网络涉及节点的条件概率进行修正。

1）确定草图绘制规律与设计意图关系模型可信域的临界概率P_b，其取值应大于等于已知约束特征节点的条件概率，否则在满足设计意图时采用较低的条件概率，将会难以准确识别草图。根据绘制过程的平均速率(平均压力)与数据库中存储的对应该几何约束的平均速率（平均压力）进行比较获得R_v、R_p。在草图绘制规律与设计意图的关系模型，即“平均速率比—设计意图”概率曲线和“平均压力比—设计意图”概率曲线上可以得到该设计意图的概率P_v、P_p，实现了从草图绘制规律到设计意图捕捉。

2）根据下式重新计算约束特征节点的条件概率，达到修正贝叶斯网络及改变推理结果的目的。

$\left\{\begin{array}{c}{P}^{\′}(O=v|C)=(1-e_m)P(O=v|C)+e_m{P}_m\\ P^{\′}(O=v|-C)=(1-e_m)P(O=v|-C)+e_m(1-P_m)\end{array}\right.,$

其中，P_m=e_vP_v+e_pP_p，e_m为设计意图联合概率的权重；P(O=v|C)和P(O=v|-C)为修正前约束特征节点的条件概率，P'(O=v|C)和P'(O=v|-C)为修正后约束特征节点的条件概率；反映设计意图的两个概率P_v和P_p通过权重e_v、e_p组成联合概率P_m。

在实际运行中，考虑到每个用户的绘制差异性，用户通过调整权重e_m实现强调/削弱设计意图的草图语义识别。如果控制绘制压力不明显可以通过增大e_v同时降低e_p强调速率规律来捕捉设计意图。e_m、e_v、e_p存储在用户数据库中，并接受反馈不断优化以适应不同用户的绘制习惯。

按照修正后约束特征节点条件概率，重新计算贝叶斯网络根节点的后验概率，选择具有最高后验概率约束几何作为识别结果。

（4）基于基本几何约束关系，利用修正后的结果进行复合草图语义识别，以获取识别结果。

具体地，设计师在草图设计时，通常会绘制一个包涵语义的复合草图。可以根据以上几何元素及其约束关系的判断以及贝叶斯网络技术对复合草图语义进行推理。

（5）按照识别结果对草图进行规整，以得到与草图匹配的设计图。

具体地，草图绘制系统按照草图语义对笔画进行拟合规整，准确区分约束关系，全面而准确地识别草图。

优选地，在本发明的一个实施例中，采用MySQL作为用户绘制和配置信息数据库，为每个用户存储草图采样、草图绘制规律与设计意图关系模型以及配置权重。

进一步地，在本发明的一个实施例中，采用Java语言编写了二维草图识别系统，并对如图4a所示的草图示例做了仿真实验，结果如图4b所示。

根据本发明实施例的在线捕捉设计意图的草图语义识别系统，能够通过占用较少的计算机资源，从设计师绘制的草图中实时识别出草图行为，参考设计意图，使推理结果打破了基于绘制几何特征的一致性规律，因而能够区分不同用户的绘制差异，区别绘制过程有无设计意图和消除误识别、减少漏识别。该系统对不同设计思维和绘图习惯的用户绘制的草图均能得到较好的识别结果，具有用户界面友好、计算复杂度低、识别率高的优点。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种在线捕捉设计意图的草图语义识别方法，其特征在于，包括以下步骤：

建立草图绘制规律与设计意图的关系模型；

绘制草图；

根据草图表达的特点进行笔画拐点识别并进行分段：

(1)对笔画做预处理，根据笔画的绘制曲率和速率进行拐点识别，将每一个笔画S的采样点上的曲率{ρ_i|i＝1,2,...,n}和速率{v_i|i＝1,2,...,n}作为笔画特征值，其中，v_i＝0.5·|q_i+1-q_i-1|，q_i表示笔画中第i个采样点，采用过滤掉曲率集合和速率集合上的高频异常点和波动点，其中，δ从集合{0，2，4，8，12，16，32，64}中按照自适应方法选择，得到滤波后的两个集合{ρ'_i|i＝1,2,...,n}和{v′_i|i＝1,2,...,n}，其中，

(2)计算曲率集合和速率集合的局部最小值，所述局部最小值对应同一序号的采样点，作为拐点；

(3)按照上述步骤(2)得到的拐点对草图笔画进行分段，每个分段S_t中包括采样点集合{q_i|i＝1,2,...,nt}与压力集合{P_i|i＝1,2,...,nt}；

建立贝叶斯网络对草图语义进行推理，以获取相应的概率；

根据所述草图绘制规律与设计意图的关系模型修正所述贝叶斯网络得到的概率，获取修正后的结果；

基于基本几何约束关系，利用所述修正后的结果进行复合草图语义识别，以获取识别结果；

按照所述识别结果对草图进行规整，以得到与所述草图匹配的设计图。

2.根据权利要求1所述的方法，其特征在于，所述草图绘制规律是指给定设计意图条件下基本几何约束关系的绘制速率、压力的变化规律，其中，基本几何约束关系是指平行、垂直、相接、相交、相切、同心、过圆心。

3.根据权利要求1所述的方法，其特征在于，所述草图绘制规律与设计意图的关系模型按照以下公式定义：

$\left\{\begin{array}{cc}{P}_v=M_v\left(R_v\right)=1-e^{-{\mathrm{\ξ}}_v{R_v}^2},& {\mathrm{\ξ}}_v=-\frac{\ln (1-P_b)}{R_l^2}\\ P_p=M_p\left(R_p\right)=e^{-{\mathrm{\ξ}}_p{R}_p^2},& {\mathrm{\ξ}}_p=-\frac{{\mathrm{lnP}}_b}{R_h^2}\end{array}\right.,$

其中，P_v是将所述设计意图描述为在所述基本几何约束关系的有意图绘制和无意图绘制的速率比下的可信度，R_v是所述基本几何约束关系的有意图绘制和无意图绘制的速率比，P_b为临界可信值对应的概率，R_l指利用正态分布曲线模拟的所述基本几何约束关系的有意图绘制和无意图绘制的速率比的临界可信值，P_p指将所述设计意图描述为在所述基本几何约束关系的有意图绘制和无意图绘制的压力比下的可信度，R_p是所述基本几何约束关系的有意图绘制和无意图绘制的压力比，R_h指利用正态分布曲线模拟的所述基本几何约束关系的有意图绘制和无意图绘制的压力比的临界可信值。

4.一种在线捕捉设计意图的草图语义识别系统，其特征在于，包括：

建模模块，用于建立草图绘制规律与设计意图的关系模型；

绘图装置，用于绘制草图；

识别模块，用于根据草图表达的特点进行笔画拐点识别并进行分段：(1)对笔画做预处理，根据笔画的绘制曲率和速率进行拐点识别，将每一个笔画S的采样点上的曲率{ρ_i|i＝1,2,...,n}和速率{v_i|i＝1,2,...,n}作为笔画特征值，其中v_i＝0.5·|q_i+1-q_i-1｜，q_i表示笔画中第i个采样点，采用过滤掉曲率集合和速率集合上的高频异常点和波动点，其中δ从集合{0，2，4，8，12，16，32，64}中按照自适应方法选择，得到滤波后的两个集合{ρ'_i|i＝1,2,...,n}和{v′_i｜i＝1,2,...,n}，其中，(2)计算曲率集合和速率集合的局部最小值，所述局部最小值对应同一序号的采样点，作为拐点；(3)按照上述步骤(2)得到的拐点对草图笔画进行分段，每个分段S_t中包括采样点集合{q_i｜i＝1,2,...,nt}与压力集合{P_i｜i＝1,2,...,nt}；建立贝叶斯网络对草图语义进行推理，以获取相应的概率；根据所述草图绘制规律与设计意图的关系模型修正所述贝叶斯网络得到的概率，获取修正后的结果；基于基本几何约束关系，利用修正后的结果进行复合草图语义识别，以获取识别结果；按照所述识别结果对草图进行规整，以得到与所述草图匹配的设计图。

5.如权利要求4所述的系统，其特征在于，所述草图绘制规律是指给定设计意图条件下基本几何约束关系的绘制速率、压力的变化规律，其中，基本几何约束关系是指平行、垂直、相接、相交、相切、同心、过圆心。

6.如权利要求4所述的系统，其特征在于，所述草图绘制规律与设计意图的关系模型按照以下公式定义：

$\left\{\begin{array}{cc}{P}_v=M_v\left(R_v\right)=1-e^{-{\mathrm{\ξ}}_v{R_v}^2},& {\mathrm{\ξ}}_v=-\frac{\ln (1-P_b)}{R_l^2}\\ P_p=M_p\left(R_p\right)=e^{-{\mathrm{\ξ}}_p{R}_p^2},& {\mathrm{\ξ}}_p=-\frac{{\mathrm{lnP}}_b}{R_h^2}\end{array}\right.,$

其中，P_v是将所述设计意图描述为在所述基本几何约束关系的有意图绘制和无意图绘制的速率比下的可信度，R_v是所述基本几何约束关系的有意图绘制和无意图绘制的速率比，P_b为临界可信值对应的概率，R_l指利用正态分布曲线模拟的所述基本几何约束关系的有意图绘制和无意图绘制的速率比的临界可信值，P_p指将所述设计意图描述为在所述基本几何约束关系的有意图绘制和无意图绘制的压力比下的可信度，R_p所述基本几何约束关系的有意图绘制和无意图绘制的压力比，R_h指利用正态分布曲线模拟的所述基本几何约束关系的有意图绘制和无意图绘制的压力比的临界可信值。