CN112527179B - 涂鸦图像识别方法、装置及终端设备 - Google Patents

涂鸦图像识别方法、装置及终端设备 Download PDF

Info

Publication number
CN112527179B
CN112527179B CN202011395484.6A CN202011395484A CN112527179B CN 112527179 B CN112527179 B CN 112527179B CN 202011395484 A CN202011395484 A CN 202011395484A CN 112527179 B CN112527179 B CN 112527179B
Authority
CN
China
Prior art keywords
track
coordinates
server
image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011395484.6A
Other languages
English (en)
Other versions
CN112527179A (zh
Inventor
顾在旺
程骏
庞建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ubtech Robotics Corp
Original Assignee
Ubtech Robotics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ubtech Robotics Corp filed Critical Ubtech Robotics Corp
Priority to CN202011395484.6A priority Critical patent/CN112527179B/zh
Publication of CN112527179A publication Critical patent/CN112527179A/zh
Application granted granted Critical
Publication of CN112527179B publication Critical patent/CN112527179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请适用于图像识别技术领域，提供了涂鸦图像识别方法、装置及终端设备，包括：检测绘图轨迹，从检测到的绘图轨迹中提取出折线段；根据折线段确定绘图轨迹的轨迹点以及轨迹点对应的状态；将轨迹点的坐标以及轨迹点对应的状态向服务器传输；接收服务器返回的识别结果，根据识别结果判断绘图轨迹对应的涂鸦图像是否与关键词匹配，并输出判断结果。通过上述方法能够快速得到准确的判断结果。

Description

涂鸦图像识别方法、装置及终端设备
技术领域
本申请属于图像识别技术领域，尤其涉及涂鸦图像识别方法、装置、终端设备、服务器及计算机可读存储介质。
背景技术
近年来，随着人工智能(Artificial Intelligence，AI)的快速发展，许多基于AI的应用被开发了出来，比如涂鸦识别。在涂鸦识别应用中，首先通过网页端给一个提示词语(关键词)，例如猫。接着，用户使用鼠标在网页上绘制猫的图像。该应用的算法再根据用户绘制的图像来实时的预测用户是否正确地绘制出了网页一开始给出的提示词(猫)所对应的图像。
目前，常见的方法是前端实时地捕捉用户绘制的图像，然后将这些图像传输到后台，后台通过训练好的涂鸦识别算法，给出传输的图像的预测结果，最后算法再判断用户绘制的图像是否是应用一开始给出的关键词所对应的图像。但由于图像占用的存储空间较大，因此，若直接将图像传输到后台，将导致传输时长较长，进而导致判断结果的获取速度较慢。而若直接将图像调整到一个较小的尺寸后再传输，则可能破坏用户绘制的图像的结构，从而导致识别错误，进而影响判断结果的准确性、影响用户的良好体验。
发明内容
本申请实施例提供了涂鸦图像识别方法，可以快速、准确地得到涂鸦识别应用中的判断结果。
第一方面，本申请实施例提供了一种涂鸦图像识别方法，应用于终端设备，包括：
检测绘图轨迹，并从检测到的绘图轨迹中提取出折线段；
根据所述折线段确定所述绘图轨迹的轨迹点以及所述轨迹点对应的状态；
将所述轨迹点的坐标以及所述轨迹点对应的状态向所述服务器传输；
接收所述服务器返回的识别结果，根据所述识别结果判断所述绘图轨迹对应的涂鸦图像是否与关键词匹配，并输出判断结果。
第二方面，本申请实施例提供了一种涂鸦图像识别方法，应用于服务器，包括：
接收终端设备发送的轨迹点的坐标以及所述轨迹点对应的状态，所述轨迹点是在所述终端设备检测到绘图轨迹后并提取出的折线段得到；
根据所述轨迹点的坐标以及所述轨迹点对应的状态生成待识别图像；
对所述待识别图像进行识别，得到对应的识别结果；
向所述终端设备发送所述识别结果。
第三方面，本申请实施例提供了一种涂鸦图像识别装置，应用于终端设备，包括：
绘图轨迹检测单元，用于检测绘图轨迹，并从检测到的绘图轨迹中提取出折线段；
轨迹点确定单元，用于根据所述折线段确定所述绘图轨迹的轨迹点以及所述轨迹点对应的状态；
轨迹点传输单元，用于将所述轨迹点的坐标以及所述轨迹点对应的状态向所述服务器传输；
识别结果接收单元，用于接收所述服务器返回的识别结果，根据所述识别结果判断所述绘图轨迹对应的涂鸦图像是否与关键词匹配，并输出判断结果。
第四方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。
第五方面，本申请实施例提供了一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第二方面所述的方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法，或，所述计算机程序被处理器执行时实现如第二方面所述的方法。
第七方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的方法。
本申请实施例与现有技术相比存在的有益效果是：
检测绘图轨迹，并从检测到的绘图轨迹中提取出折线段，根据所述折线段确定所述绘图轨迹的轨迹点以及所述轨迹点对应的状态，将所述轨迹点的坐标以及所述轨迹点对应的状态向所述服务器传输，接收所述服务器返回的识别结果，根据所述识别结果判断所述绘图轨迹对应的涂鸦图像是否与所述关键词匹配，并输出判断结果。由于服务器获取了轨迹点的坐标和该轨迹点对应的状态，因此该服务器能够根据接收的轨迹点的坐标以及该轨迹点对应的状态生成准确的待识别图像，并在识别待识别图像后得到对应的识别结果，即服务器能够生成与用户涂鸦图像相同的图像并识别，从而保证识别结果的准确性，进而保证得到的判断结果的准确性。此外，由于终端设备向服务器传输的是从绘图轨迹中提取出的折线段所对应的轨迹点，而折线段的长度必然短于或等于绘图轨迹的长度，因此，传输的轨迹点的数量必然少于直接传输绘图轨迹所对应的轨迹点的数量，从而大大提高了传输效率，进而提高得到判断结果的速度。
可以理解的是，上述第二方面至第七方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例一提供的一种涂鸦图像识别方法的流程图；
图2是本申请实施例一提供的一个绘图轨迹以及从该绘图轨迹提取出的折线段的示意图；
图3是本申请实施例一提供的绘制的正方形的示意图；
图4是本申请实施例一提供的确定被擦除的轨迹点的示意图；
图5是本申请实施例二提供的另一种涂鸦图像识别方法的流程图；
图6是本申请实施例二提供的一种训练后的涂鸦识别网络的结构示意图；
图7是本申请实施例三提供的一种涂鸦图像识别装置的结构框图；
图8是本申请实施例四提供的另一种涂鸦图像识别装置的结构框图；
图9是本申请实施例五提供的终端设备的结构示意图；
图10是本申请实施例六提供的服务器的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
实施例一：
现有的涂鸦图像识别方法，主要存在针对涂鸦图像的判断结果的获取速度较慢或者准确性较低的问题。为了解决上述技术问题，本申请实施例提供了一种涂鸦图像识别方法，在该涂鸦图像识别方法中，终端设备将用户在页面涂鸦得到的涂鸦轨迹简化成一段段的折线段，再从该折线段中提取到对应的坐标点，提取的坐标点作为上述涂鸦轨迹的轨迹点，此外，还确定得到的轨迹点在涂鸦轨迹中的状态，轨迹点的状态用于指示该轨迹点是处于其所在的绘图轨迹的起点、终点、中间中的哪一个状态，再将轨迹点的坐标和轨迹点对应的状态向服务器传输。服务器根据接收到的轨迹点的坐标和该轨迹点对应的状态生成待识别图像，比如，当轨迹点1对应的状态为“起点”，轨迹点2对应的状态为“中间”，轨迹点3对应的状态为“终点”时，服务器将从该轨迹点1连接到轨迹点2再连接到轨迹点3，以生成该轨迹点1、轨迹点2和轨迹点3对应的绘图轨迹，当生成所有轨迹点对应的绘图轨迹后，将得到对应的待识别图像。服务器对待识别图像进行识别，得到该待识别图像的识别结果，该服务器再将该识别结果向终端设备传输，该终端设备根据接收到的识别结果判断绘图轨迹对应的涂鸦图像是否与关键词匹配，输出判断结果。
下面结合附图对本申请实施例提供的涂鸦图像识别方法进行描述。
图1示出了本申请实施例提供的一种涂鸦图像识别方法的流程图，应用于终端设备，该终端设备可以为手机、平板电脑、人型机器人等，详述如下：
步骤S11，检测绘图轨迹，从检测到的绘图轨迹中提取出折线段。
其中，一个绘图轨迹是指用户采用绘图工具(如鼠标)在一次连续涂鸦所得到的轨迹，例如用户从点击数据开始，接着拖动鼠标，将直线拉长，到最后顺开鼠标按键，一次完整的笔画过程所得到的轨迹即为一个绘图轨迹。
图2示出了一个绘图轨迹，以及用于表示该绘图轨迹对应的折线段。在图2中，采用折线段A1A2、折线段A2A3、折线段A2A3、折线段A3A4、折线段A4A5、折线段A5A6、折线段A6A7表示图2中的绘图轨迹。需要指出的是，表示不同绘图轨迹的折线段的数量根据需要确定，对同一个绘图轨迹中，表示其的折线段的数量越大，由折线段连接得到的轨迹与原有的绘图轨迹越接近。本实施例中，可采用道格拉斯-普克算法来将曲线轨迹简单化成一段段折线，通过这样处理，除去了冗余特征，保留了图像的大体结构。
在一些实施例中，用户可根据终端设备显示的关键词进行绘图，该关键词可以为服务器发送至终端设备的关键词，也可以为终端设备本身生成的关键词。即在步骤S11之前，包括：终端设备获取服务器发送的关键词并显示。
本实施例中，用户开启终端设备中与涂鸦识别有关的应用后，服务器随机向终端设备发送关键词，该终端设备显示获取到的关键词。
在一些实施例中，终端设备显示多个关键词的类别，用户点击其希望涂鸦的关键词的类别，终端设备再根据用户的点击操作获取对应的关键词的类别的信息，再将该关键词的类别的信息向服务器发送，服务器根据接收的关键词的类别的信息从对应词库中选取一个关键词，再将选取的关键词向终端设备发送。由于终端设备能够根据用户的点击操作获取对应类别的关键词，因此，使得显示的关键词更符合用户的需求。
步骤S12，根据该折线段确定该绘图轨迹的轨迹点以及该轨迹点对应的状态。
其中，该轨迹点对应的状态用于指示该轨迹点是处于其所在的绘图轨迹的起点、终点、中间中的哪一个状态。
本实施例中，选取折线段的两个端点作为轨迹点，或选取折线段的两个端点以及折线段的两个端点之间的预设数量的点作为轨迹点。只需选取的轨迹点的数量少于折线段的点的数量即可。
本实施例中，若选取折线段的两个端点作为轨迹点，参考图2，则轨迹点A1对应的状态为“起点”，轨迹点A7对应的状态为“终点”，其余轨迹点对应的状态均为“中间”。
步骤S13，将该轨迹点的坐标以及该轨迹点对应的状态向该服务器传输。
本实施例中，可在用户停止涂鸦后将得到的所有绘图轨迹的轨迹点以及该轨迹点对应的状态向服务器传输。或者，在得到一个绘图轨迹的轨迹点及其对应的状态之后，就向服务器传输。
在一些实施例中，若在用户停止涂鸦后再将轨迹点的坐标向服务器传输，则该步骤S13，包括：
若判断出用户停止绘图，则将该用户针对该关键词的所有绘图轨迹对应的轨迹点的坐标以及该轨迹点对应的状态向该服务器传输。
本实施例中，终端设备在用户开始绘图(涂鸦)后，显示表示不再绘图的“停止”按钮。若终端设备检测到用户点击该“停止”按钮，则判断出用户停止绘图，并将用户针对关键词进行绘图所得到的所有绘图轨迹对应的轨迹点的坐标，以及这些轨迹点对应的状态均向服务器传输。
在一些实施例中，轨迹点对应的状态采用对应的标识符表示，例如，采用“0”表示“起点”这一状态，采用“1”表示“中间”这一状态，采用“2”表示“终点”这一状态。参考图3，假设用户绘制一个正方形，一共绘制了4个笔画，得到4个绘图轨迹，第一个绘图轨迹在左边的竖线(从上往下A--->B)，第二个绘图轨迹是上边的横线(从左往右A--->D)，第三个绘图轨迹是右边的竖线(从上往下D---->C)，第四个绘图轨迹是下边的横线(从左往右B---->C)。由于正方形均是直线，因此，直接将正方形的四条边作为对应的折线段，根据这4个折线段得到对应的轨迹点及该轨迹点对应的状态。以AB为例，其对应的轨迹点以及该轨迹点对应的状态采用以下坐标点集合表示：[[0,0,0],[0,10,2]]，该坐标集合为两个点，第一个点的坐标为(0,0)状态为0，表示为起点，第二个点的坐标为(0，10)，状态为2，表示为终点，后续服务器连接A(0,0)到B(0,10)即可。最后重复该步骤，服务器即可还原出图像。
步骤S14，接收该服务器返回的识别结果，根据该识别结果判断该绘图轨迹对应的涂鸦图像是否与该关键词匹配，并输出判断结果。
其中，该识别结果为：该服务器针对根据该轨迹点以及该轨迹点对应的状态生成的待识别图像进行识别的识别结果。
本实施例中，识别结果的表示形式与关键词的表示形式相同，例如，若关键词采用中文表示，如采用“猫”表示，则识别结果也采用中文表示。若关键词采用其他语言表示，如采用英文“cat”表示，则识别结果也采用英文表示。通过采用相同的表示形式，使得终端设备能够更快速地得到判断结果。当终端设备判断出识别结果与关键词相同时，判定涂鸦图像与关键词匹配，否则，判定涂鸦图像与关键词不匹配。
本申请实施例中，检测绘图轨迹，并从检测到的绘图轨迹中提取出折线段，根据该折线段确定该绘图轨迹的轨迹点以及该轨迹点对应的状态，将该轨迹点的坐标以及该轨迹点对应的状态向该服务器传输，接收该服务器返回的识别结果，根据该识别结果判断该绘图轨迹对应的涂鸦图像是否与该关键词匹配，并输出判断结果。由于服务器获取了轨迹点的坐标和该轨迹点对应的状态，因此，服务器能够根据该轨迹点的坐标以及该轨迹点对应的状态生成准确的待识别图像，并在识别待识别图像后得到对应的识别结果，即服务器能够生成与用户涂鸦图像相同的图像并识别，从而保证识别结果的准确性，进而保证得到的判断结果的准确性。此外，由于终端设备向服务器传输的是从绘图轨迹中提取出的折线段所对应的轨迹点，而折线段的长度必然短于或等于绘图轨迹的长度，因此，传输的轨迹点的数量必然少于直接传输绘图轨迹所对应的轨迹点的数量，从而大大提高了传输效率，进而提高得到判断结果的速度。
在一些实施例中，若终端设备的判断结果指示识别结果与关键词匹配，则返回步骤S11，或者，返回上述获取服务器发送的关键词并显示。此时，表明用户通过了一个关，进入下一关。为了提高难道，增加用户的粘度，终端设备获取的下一关的关键词对应的图像的绘制难度将增加。
在上面描述可知，终端设备可在得到一个绘图轨迹的轨迹点及其对应的状态之后，就向服务器传输该绘图轨迹的轨迹点及其对应的状态，而用户在涂鸦过程中，可能会擦除已绘制的绘图轨迹，此时，为了保证服务器存储的轨迹点的坐标及其对应的状态的准确性，则在该步骤S13之后，包括：
a1、若检测到用户的擦除动作，则确定该擦除动作对应的绘图轨迹，根据该擦除动作对应的绘图轨迹确定被擦除的轨迹点以及该被擦除的轨迹点对应的状态。
a2、将该被擦除的轨迹点的坐标以及该被擦除的轨迹点对应的状态向该服务器传输。
参考图4，图4中虚线部分的绘图轨迹为擦除动作对应的绘图轨迹，即被擦除的轨迹点为A5、A6和A7，A5对应的状态为“终点”，A6对应的状态为“中点”，A5对应的状态为“起点”。终端设备将被擦除的轨迹点A5的坐标、轨迹点A6的坐标和轨迹点A7的坐标及各个轨迹点对应的状态向服务器传输，服务器再从已接收的轨迹点中删除被擦除的轨迹点。当然，被擦除的轨迹点的坐标也可能与服务器接收的轨迹点的坐标不相同，例如，服务器接收的轨迹点为A1～A7对应的坐标，但被擦除的2个轨迹点一个为A7，另一个在A6和A7之间，假设为A8，则服务器根据A8的坐标确定出其在A6和A7之间，并将A7更新为A8，即服务器存储的轨迹点更新为A1、A2、A3、A4、A5、A6、A8。
在上面描述可知，终端设备也可在用户停止涂鸦后再将得到的所有绘图轨迹的轨迹点的坐标以及该轨迹点对应的状态向服务器传输。此时，为了保证服务器存储的轨迹点及其对应的状态的准确性，则在该步骤S13之前，包括：
b1、若检测到用户的擦除动作，则确定该擦除动作对应的绘图轨迹，根据该擦除动作对应的绘图轨迹确定被擦除的轨迹点以及该被擦除的轨迹点对应的状态。
b2、根据该被擦除的轨迹点以及该被擦除的轨迹点更新用户针对该关键词的所有绘图轨迹对应的轨迹点以及该轨迹点对应的状态。之后，终端设备再将更新后的轨迹点的坐标以及更新后的轨迹点对应的状态向服务器传输。
上述b1和b2中，由于终端设备能够及时更新其已获得的轨迹点及其对应的状态，因此，能够保证后续传输给服务器的轨迹点的准确性。
在一些实施例中，为了提高容错率，则设置识别结果包括至少2个描述信息，该步骤S14，包括：
接收该服务器返回的识别结果，判断该识别结果的描述信息中是否存在与该关键词相同的描述信息，若存在与该关键词相同的描述信息，则判定该绘图轨迹对应的涂鸦图像与该关键词匹配，若不存在与该关键词相同的描述信息，则判定该绘图轨迹对应的涂鸦图像与该关键词不匹配。
本实施例中，上述识别结果包括至少2个描述信息，该描述信息用于描述服务器对待识别图像的识别结果，比如，在服务器识别出待识别图像为“猫”时，该描述信息为“猫”。此外，上述识别结果还可以包括待识别图像为该描述信息的概率。，具体地，服务器采用分类算法对待识别图像进行识别后，得到该待识别图像被归入对应描述信息(或类别)的概率，描述信息的数量与终端设备显示的关键词对应的数量相同，例如，若关键词对应的数量有3个，分别是车、狗、猫，则识别结果可以为“车，50％”、“狗，40％”、“猫，10％”，即识别结果包括描述信息以及待识别图像为描述信息所对应的图像的概率。在一些实施例中，为了提高判断结果的准确性，服务器将排序在前(从高到低排序)的几个概率及对应的描述信息发送至终端设备，即终端设备只接收到概率最高的几个描述信息的概率，例如，终端设备接收到的识别结果为猫70％，狗50％，关键词为猫，即识别结果存在与关键词相同的描述信息“猫”，则判定绘图轨迹对应的涂鸦图像与关键词匹配。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例二：
图5示出了本申请实施例二提供的另一种涂鸦图像识别方法的流程图，该涂鸦图像识别方法应用于服务器，详述如下：
步骤S51，接收终端设备发送的轨迹点的坐标以及该轨迹点对应的状态，该轨迹点是在上述终端设备检测到绘图轨迹后并提取出的折线段得到。
在一些实施例中，在步骤S51之前，包括：向终端设备发送关键词。
本实施例中，若服务器判断出用户在终端设备开启了与涂鸦识别有关的应用后，随机向终端设备发送关键词。
在一些实施例中，服务器根据终端设备发送的关键词的类别的信息，从与该关键词的类别的信息对应的词库中选取一个关键词，再将选取的关键词向终端设备发送。
在一些实施例中，若用户在预设时长内(比如24小时内)多次开启与涂鸦识别有关的应用，即服务器在预设时长内检测到需要向终端设备发送多次关键词，此时，为了增加向终端设备发送的关键词的灵活性，则在每次接收到相同的关键词的类别的信息后，从对应的词库中选取不同的关键词，通过这样设置，使得用户每次在终端设备开启与涂鸦识别有关的应用，且开启后第一次选择的关键词的类别都相同的情况下，服务器向终端设备发送的关键词也不同，具体地，服务器将待发送的关键词与预设时长内已向终端设备发送的关键词比较，若相同，则重新选取新的关键词，若不同，则将该待发送的关键词向终端设备发送。当然，若用户在预设时长外再次开启与涂鸦识别有关的应用，服务器向终端设备发送的关键词可与之前发送的关键词相同，这样，避免服务器多次执行比较操作，从而节省资源。
步骤S52，根据该轨迹点的坐标以及该轨迹点对应的状态生成待识别图像。
本实施例中，服务器根据各个轨迹点对应的状态连接对应的轨迹点，当各个轨迹点都连接后得到对应的待识别图像。
步骤S53，对该待识别图像进行识别，得到对应的识别结果。
本实施例中，可采用目标检测算法对待识别图像进行识别，得到对应的识别结果，或者，采用分类算法对待识别图像进行分类识别，得到对应的识别结果。
步骤S54，向该终端设备发送该识别结果。
本实施例中，若识别结果只有一个(比如采用目标检测算法对待识别图像进行识别后得到一个识别结果)，则直接将该识别结果发送至终端设备。若识别结果有多个(比如采用分类算法对待识别图像进行识别后得到多个识别结果，其中，识别结果的数量与类别的数量相同)，则可将排序在前(从高到低排序)的几个概率及对应的类别发送至终端设备。
本申请实施例中，由于服务器接收到终端设备发送的轨迹点的坐标和轨迹点对应的状态，因此，服务器能够根据该轨迹点的坐标以及该轨迹点对应的状态准确生成对应的待识别图像，并在识别待识别图像后得到对应的识别结果，即服务器能够生成与用户涂鸦图像相同的图像并识别，从而保证识别结果的准确性，进而保证得到的判断结果的准确性。此外，由于终端设备向服务器传输的是从绘图轨迹中提取出的折线段所对应的轨迹点，而折线段的长度必然短于或等于绘图轨迹的长度，因此，传输的轨迹点的数量必然少于直接传输绘图轨迹所对应的轨迹点的数量，从而大大提高了传输效率。
在一些实施例中，为了提高待识别图像的识别速度，在该步骤S53之前，包括：
将该待识别图像的尺寸调整至预设大小。其中，预设大小可为28×28像素大小。
该步骤S53，包括：
对尺寸调整后的该待识别图像进行识别，得到对应的识别结果。
本实施例中，由于服务器是在得到待识别图像后再调小该待识别图像的尺寸，因此，其不会破坏用户绘制的涂鸦图像的结构。而尺寸调小后，将能够有效减少需识别的像素点的数量，从而能够大大提高服务器得到识别结果的速度，进而能够有效提高后续终端设备得到判断结果的速度。
在一些实施例中，为了提高容错率，该步骤S53，包括：
采用训练后的涂鸦识别网络对该待识别图像进行分类识别，得到包括至少2个描述信息的识别结果，其中，该训练后的涂鸦识别网络包括至少2个卷积层、至少2个池化层以及1个全连接层。
其中，卷积层的作用是提取图像中的特征，池化层的作用是降低提取的特征的分辨率，以便减少网络运行时间，同时过滤卷积层提取到的特征。
本实施例中，由于识别结果包括至少2个描述信息，因此服务器能够向终端设备提供具有至少2个描述信息的识别结果，从而有利于用户从识别结果的至少2个描述信息中查找到与关键词匹配的描述信息。
在一些实施例中，训练后的涂鸦识别网络的结构如图6所示。前面(即左边)两层卷积层的作用在于，提取图像中的浅层特征(例如，边缘特征，纹理特征)，接下来的一层池化层的作用在于，降低提取的浅层特征的分辨率，以便能够减少网络运行的时间，同时将上述提取到的浅层特征进行进一步过滤。中间的两层卷积层和一层池化层，相当于重复前面的卷积层-池化层的作用，具体是进一步提取图像中的高级特征(如涂鸦的结构)，最后的全连接层相当于一个分类器，将前面提取到的特征进行分类，从而得到想要的识别结果，即用户绘制的涂鸦图像属于哪一类(即上述的描述信息)，以及属于该类的概率。通过采用上述训练后的涂鸦识别网络的模型参数量少，计算量小，因此，能够有效缩短对待识别图像进行识别的运行时间。
上述训练后的涂鸦识别网络可通过以下方式进行训练：将正样本和负样本输入待训练的涂鸦识别网络，得到对应的识别结果，其中，正样本是标注了正确描述信息的样本，负样本是标注了错误描述信息的样本。将识别结果分别与正样本和负样本的标注比较，以判断识别结果的准确率是否满足用户需求，若不满足，调整待训练的涂鸦识别网络的模型参数，再采用上述的正样本和负样本对模型参数调整后的待训练的涂鸦识别网络继续训练，直到识别结果的准确率满足用户需求，得到训练后的涂鸦识别网络。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
实施例三：
对应于上文实施例一该的涂鸦图像识别方法，图7示出了本申请实施例提供的涂鸦图像识别装置的结构框图，该涂鸦图像识别装置应用于终端设备，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图7，该涂鸦图像识别装置7包括：绘图轨迹检测单元71、轨迹点确定单元72、轨迹点传输单元73、识别结果接收单元74。其中：
绘图轨迹检测单元71，用于检测绘图轨迹，并从检测到的绘图轨迹中提取出折线段。
在一些实施例中，该涂鸦图像识别装置7包括：关键词获取单元。该关键词获取单元用于获取服务器发送的关键词并显示。
其中，上述关键词为服务器随机选取的关键词。
在一些实施例中，上述关键词获取单元具体用于：根据用户的点击操作获取对应的关键词的类别的信息，再将该关键词的类别的信息向服务器发送，接收服务器发送的关键词，该关键词为服务器根据上述关键词的类别的信息从对应词库中选取得到。
轨迹点确定单元72，用于根据该折线段确定该绘图轨迹的轨迹点以及该轨迹点对应的状态
其中，该轨迹点对应的状态用于指示该轨迹点是处于其所在的绘图轨迹的起点、终点、中间中的哪一个状态。
轨迹点传输单元73，用于将该轨迹点的坐标以及该轨迹点对应的状态向该服务器传输。
本实施例中，可在用户停止涂鸦后将得到的所有绘图轨迹的轨迹点的坐标以及该轨迹点对应的状态向服务器传输。或者，在得到一个绘图轨迹的轨迹点及其对应的状态之后，就向服务器传输。
在一些实施例中，若在用户停止涂鸦后再将轨迹点向服务器传输，则轨迹点传输单元73具体用于：若判断出用户停止绘图，则将该用户针对该关键词的所有绘图轨迹对应的轨迹点的坐标以及该轨迹点对应的状态向该服务器传输。
识别结果接收单元74，用于接收该服务器返回的识别结果，根据该识别结果判断该绘图轨迹对应的涂鸦图像是否与该关键词匹配，并输出判断结果。
本实施例中，识别结果的表示形式与关键词的表示形式相同。
本申请实施例中，由于服务器接收到终端设备发送的轨迹点的坐标和轨迹点对应的状态，因此，服务器能够根据该轨迹点以及该轨迹点对应的状态生成准确的待识别图像，并在识别待识别图像后得到对应的识别结果，即服务器能够生成与用户涂鸦图像相同的图像并识别，从而保证识别结果的准确性，进而保证得到的判断结果的准确性。此外，由于终端设备向服务器传输的是从绘图轨迹中提取出的折线段所对应的轨迹点，而折线段的长度必然短于或等于绘图轨迹的长度，因此，传输的轨迹点的数量必然少于直接传输绘图轨迹所对应的轨迹点的数量，从而大大提高了传输效率。
在一些实施例中，该涂鸦图像识别装置7包括：
擦除动作检测单元，用于若检测到用户的擦除动作，则确定该擦除动作对应的绘图轨迹，根据该擦除动作对应的绘图轨迹确定被擦除的轨迹点以及该被擦除的轨迹点对应的状态。
被擦除的轨迹点发送单元，用于将该被擦除的轨迹点的坐标以及该被擦除的轨迹点对应的状态向该服务器传输。
在一些实施例中，该涂鸦图像识别装置7包括：
被擦除的轨迹点确定单元，用于若检测到用户的擦除动作，则确定该擦除动作对应的绘图轨迹，根据该擦除动作对应的绘图轨迹确定被擦除的轨迹点以及该被擦除的轨迹点对应的状态。
轨迹点更新单元，用于根据该被擦除的轨迹点以及该被擦除的轨迹点更新用户针对该关键词的所有绘图轨迹对应的轨迹点以及该轨迹点对应的状态。
在一些实施例中，该识别结果包括至少2个描述信息，该识别结果接收单元74，具体用于：
接收该服务器返回的识别结果，判断该识别结果的描述信息中是否存在与该关键词相同的描述信息，若存在与该关键词相同的描述信息，则判定该绘图轨迹对应的涂鸦图像与该关键词匹配，若不存在与该关键词相同的描述信息，则判定该绘图轨迹对应的涂鸦图像与该关键词不匹配。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例四：
对应于上文实施例二该的涂鸦图像识别方法，图8示出了本申请实施例提供的涂鸦图像识别装置的结构框图，该涂鸦图像识别装置应用于服务器，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图8，该涂鸦图像识别装置8包括：轨迹点接收单元81、待识别图像生成单元82、识别结果生成单元83、识别结果发送单元84。其中：
轨迹点接收单元81，用于接收终端设备发送的轨迹点的坐标以及该轨迹点对应的状态，该轨迹点是在上述终端设备检测到绘图轨迹后并提取出的折线段得到。
在一些实施例中，该涂鸦图像识别装置8包括：关键词发送单元。该关键词发送单元用于向终端设备发送关键词。
本实施例中，若判断出用户在终端设备开启了与涂鸦识别有关的应用后，则上述的关键词发送单元随机向终端设备发送关键词。
在一些实施例中，上述的关键词发送单元根据终端设备发送的关键词的类别的信息，从与该关键词的类别的信息对应的词库中选取一个关键词，再将选取的关键词向终端设备发送。
待识别图像生成单元82，用于根据该轨迹点的坐标以及该轨迹点对应的状态生成待识别图像。
识别结果生成单元83，用于对该待识别图像进行识别，得到对应的识别结果。
识别结果发送单元84，用于向该终端设备发送该识别结果。
本申请实施例中，由于服务器获取了轨迹点的坐标和该轨迹点对应的状态，因此，服务器能够根据该轨迹点以及该轨迹点对应的状态生成准确的待识别图像，并在识别待识别图像后得到对应的识别结果，即服务器能够生成与用户涂鸦图像相同的图像并识别，从而保证识别结果的准确性，进而保证得到的判断结果的准确性。此外，由于终端设备向服务器传输的是从绘图轨迹中提取出的折线段所对应的轨迹点，而折线段的长度必然短于或等于绘图轨迹的长度，因此，传输的轨迹点的数量必然少于直接传输绘图轨迹所对应的轨迹点的数量，从而大大提高了传输效率。
在一些实施例中，该涂鸦图像识别装置8包括：
尺寸调整单元，用于将该待识别图像的尺寸调整至预设大小。
该识别结果发送单元84，具体用于：
对尺寸调整后的该待识别图像进行识别，得到对应的识别结果。
在一些实施例中，该识别结果发送单元84，具体用于：
采用训练后的涂鸦识别网络对该待识别图像进行分类识别，得到包括至少2个描述信息的识别结果，其中，该训练后的涂鸦识别网络包括至少2个卷积层、至少2个池化层以及1个全连接层。
上述训练后的涂鸦识别网络可通过以下方式进行训练：将正样本和负样本输入待训练的涂鸦识别网络，得到对应的识别结果，其中，正样本是标注了正确描述信息的样本，负样本是标注了错误描述信息的样本。将识别结果分别与正样本和负样本的标注比较，以判断识别结果的准确率是否满足用户需求，若不满足，调整待训练的涂鸦识别网络的模型参数，再采用上述的正样本和负样本对模型参数调整后的待训练的涂鸦识别网络继续训练，直到识别结果的准确率满足用户需求，得到训练后的涂鸦识别网络。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
实施例五：
图9为本申请实施例五提供的终端设备的结构示意图。如图9所示，该实施例的终端设备9包括：至少一个处理器90(图9中仅示出一个处理器)、存储器91以及存储在该存储器91中并可在该至少一个处理器90上运行的计算机程序92，该处理器90执行该计算机程序92时实现上述任意各个方法实施例中的步骤：
检测绘图轨迹，并从检测到的绘图轨迹中提取出折线段；
根据所述折线段确定所述绘图轨迹的轨迹点以及所述轨迹点对应的状态；
将所述轨迹点的坐标以及所述轨迹点对应的状态向所述服务器传输；
接收所述服务器返回的识别结果，根据所述识别结果判断所述绘图轨迹对应的涂鸦图像是否与关键词匹配，并输出判断结果。
可选地，该将该轨迹点的坐标以及该轨迹点对应的状态向该服务器传输，包括：
若判断出用户停止绘图，则将该用户针对该关键词的所有绘图轨迹对应的轨迹点的坐标以及该轨迹点对应的状态向该服务器传输。
可选地，在该将该轨迹点的坐标以及该轨迹点对应的状态向该服务器传输之后，包括：
若检测到用户的擦除动作，则确定该擦除动作对应的绘图轨迹，根据该擦除动作对应的绘图轨迹确定被擦除的轨迹点以及该被擦除的轨迹点对应的状态。
将该被擦除的轨迹点的坐标以及该被擦除的轨迹点对应的状态向该服务器传输。
可选地，该识别结果包括至少2个描述信息，该接收该服务器返回的识别结果，根据该识别结果判断该绘图轨迹对应的涂鸦图像是否与该关键词匹配，并输出判断结果，包括：
接收该服务器返回的识别结果，判断该识别结果的描述信息中是否存在与该关键词相同的描述信息，若存在与该关键词相同的描述信息，则判定该绘图轨迹对应的涂鸦图像与该关键词匹配，若不存在与该关键词相同的描述信息，则判定该绘图轨迹对应的涂鸦图像与该关键词不匹配。
该终端设备9可以是桌上型计算机、笔记本、掌上电脑及人型机器人等计算设备。该终端设备可包括，但不仅限于，处理器90、存储器91。本领域技术人员可以理解，图9仅仅是终端设备9的举例，并不构成对终端设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，该处理器90还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器91在一些实施例中可以是所述终端设备9的内部存储单元，例如终端设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述终端设备9的外部存储设备，例如所述终端设备9上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器91还可以既包括所述终端设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。
实施例六：
图10为本申请实施例六提供的服务器的结构示意图。如图10所示，该实施例的服务器10包括：至少一个处理器100(图10中仅示出一个处理器)、存储器101以及存储在所述存储器101中并可在所述至少一个处理器100上运行的计算机程序102，所述处理器100执行所述计算机程序102时实现上述任意各个方法实施例中的步骤：
接收终端设备发送的轨迹点的坐标以及所述轨迹点对应的状态，所述轨迹点是在所述终端设备检测到绘图轨迹后并提取出的折线段得到；
根据所述轨迹点的坐标以及所述轨迹点对应的状态生成待识别图像；
对所述待识别图像进行识别，得到对应的识别结果；
向所述终端设备发送所述识别结果。
可选地，在所述对所述待识别图像进行识别，得到对应的识别结果之前，包括：
将所述待识别图像的尺寸调整至预设大小；
所述对所述待识别图像进行识别，得到对应的识别结果，包括：
对尺寸调整后的所述待识别图像进行识别，得到对应的识别结果。
可选地，所述对所述待识别图像进行识别，得到对应的识别结果，包括：
采用训练后的涂鸦识别网络对所述待识别图像进行分类识别，得到包括至少2个描述信息的识别结果，其中，所述训练后的涂鸦识别网络包括至少2个卷积层、至少2个池化层以及1个全连接层。
该服务器可包括，但不仅限于，处理器100、存储器101。本领域技术人员可以理解，图10仅仅是服务器10的举例，并不构成对服务器10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器100可以是CPU，该处理器100还可以是其他通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器101在一些实施例中可以是所述服务器10的内部存储单元，例如服务器10的硬盘或内存。所述存储器101在另一些实施例中也可以是所述服务器10的外部存储设备，例如所述服务器10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器101还可以既包括所述服务器10的内部存储单元也包括外部存储设备。所述存储器101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种涂鸦图像识别方法，其特征在于，应用于终端设备，包括：
检测绘图轨迹，并从检测到的绘图轨迹中提取出折线段，其中，采用道格拉斯-普克算法提取所述折线段，使所述折线段保留所述绘图轨迹的大体结构；
选取每一所述折线段的两个端点作为所述绘图轨迹的轨迹点以及确定所述轨迹点对应的状态；
将得到的至少一个绘图轨迹的轨迹点的坐标以及所述轨迹点对应的状态向服务器传输；
若检测到用户的擦除动作，则确定所述擦除动作对应的绘图轨迹，根据所述擦除动作对应的绘图轨迹确定被擦除的轨迹点以及所述被擦除的轨迹点对应的状态；
将所述被擦除的轨迹点的坐标以及所述被擦除的轨迹点对应的状态向所述服务器传输，其中，若所述服务器已接收到的轨迹点的坐标中存在与所述被擦除的轨迹点的坐标相同的坐标，则所述服务器从所述已接收到的轨迹点的坐标中删除与所述被擦除的轨迹点的坐标相同的坐标，若所述服务器已接收到的轨迹点的坐标中不存在与所述被擦除的轨迹点的坐标相同的坐标，则所述服务器根据所述被擦除的轨迹点在所述已接收到的轨迹点的坐标中查找需删除的坐标，并根据所述被擦除的轨迹点更新所述已接收到的轨迹点的坐标；
接收所述服务器返回的识别结果，根据所述识别结果判断所述绘图轨迹对应的涂鸦图像是否与关键词匹配，并输出判断结果。
2.如权利要求1所述的涂鸦图像识别方法，其特征在于，所述识别结果包括至少2个描述信息，所述接收所述服务器返回的识别结果，根据所述识别结果判断所述绘图轨迹对应的涂鸦图像是否与所述关键词匹配，并输出判断结果，包括：
接收所述服务器返回的识别结果，判断所述识别结果的描述信息中是否存在与所述关键词相同的描述信息，若存在与所述关键词相同的描述信息，则判定所述绘图轨迹对应的涂鸦图像与所述关键词匹配，若不存在与所述关键词相同的描述信息，则判定所述绘图轨迹对应的涂鸦图像与所述关键词不匹配。
3.一种涂鸦图像识别方法，其特征在于，应用于服务器，包括：
接收终端设备发送的至少一个绘图轨迹的轨迹点的坐标以及所述轨迹点对应的状态，所述轨迹点选取的是各个折线段的两个端点，所述折线段是在所述终端设备检测到绘图轨迹后并采用道格拉斯-普克算法提取得到，所述折线段保留所述绘图轨迹的大体结构；
若接收所述终端设备发送的被擦除的轨迹点的坐标以及所述被擦除的轨迹点对应的状态，且已接收到的轨迹点的坐标中存在与所述被擦除的轨迹点的坐标相同的坐标，则从所述已接收到的轨迹点的坐标中删除与所述被擦除的轨迹点的坐标相同的坐标，若已接收到的轨迹点的坐标中不存在与所述被擦除的轨迹点的坐标相同的坐标，则根据所述被擦除的轨迹点在所述已接收到的轨迹点的坐标中查找需删除的坐标，并根据所述被擦除的轨迹点更新所述已接收到的轨迹点的坐标；
根据所述轨迹点的坐标以及所述轨迹点对应的状态生成待识别图像；
对所述待识别图像进行识别，得到对应的识别结果；
向所述终端设备发送所述识别结果。
4.如权利要求3所述的涂鸦图像识别方法，其特征在于，在所述对所述待识别图像进行识别，得到对应的识别结果之前，包括：
将所述待识别图像的尺寸调整至预设大小；
所述对所述待识别图像进行识别，得到对应的识别结果，包括：
对尺寸调整后的所述待识别图像进行识别，得到对应的识别结果。
5.如权利要求3或4所述的涂鸦图像识别方法，其特征在于，所述对所述待识别图像进行识别，得到对应的识别结果，包括：
采用训练后的涂鸦识别网络对所述待识别图像进行分类识别，得到包括至少2个描述信息的识别结果，其中，所述训练后的涂鸦识别网络包括至少2个卷积层、至少2个池化层以及1个全连接层。
6.一种涂鸦图像识别装置，其特征在于，应用于终端设备，包括：
绘图轨迹检测单元，用于检测绘图轨迹，并从检测到的绘图轨迹中提取出折线段，其中，采用道格拉斯-普克算法提取所述折线段，使所述折线段保留所述绘图轨迹的大体结构；
轨迹点确定单元，用于选取每一所述折线段的两个端点作为所述绘图轨迹的轨迹点以及确定所述轨迹点对应的状态；
轨迹点传输单元，用于将得到的至少一个绘图轨迹的所述轨迹点的坐标以及所述轨迹点对应的状态向服务器传输；
擦除动作检测单元，用于若检测到用户的擦除动作，则确定所述擦除动作对应的绘图轨迹，根据所述擦除动作对应的绘图轨迹确定被擦除的轨迹点以及所述被擦除的轨迹点对应的状态；
被擦除的轨迹点发送单元，用于将所述被擦除的轨迹点的坐标以及所述被擦除的轨迹点对应的状态向所述服务器传输，其中，若所述服务器已接收到的轨迹点的坐标中存在与所述被擦除的轨迹点的坐标相同的坐标，则所述服务器从所述已接收到的轨迹点的坐标中删除与所述被擦除的轨迹点的坐标相同的坐标，若所述服务器已接收到的轨迹点的坐标中不存在与所述被擦除的轨迹点的坐标相同的坐标，则所述服务器根据所述被擦除的轨迹点在所述已接收到的轨迹点的坐标中查找需删除的坐标，并根据所述被擦除的轨迹点更新所述已接收到的轨迹点的坐标；
识别结果接收单元，用于接收所述服务器返回的识别结果，根据所述识别结果判断所述绘图轨迹对应的涂鸦图像是否与关键词匹配，并输出判断结果。
7.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述的方法。
8.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求3至5任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述的方法，或，所述计算机程序被处理器执行时实现如权利要求3至5任一项所述的方法。
CN202011395484.6A 2020-12-03 2020-12-03 涂鸦图像识别方法、装置及终端设备 Active CN112527179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011395484.6A CN112527179B (zh) 2020-12-03 2020-12-03 涂鸦图像识别方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011395484.6A CN112527179B (zh) 2020-12-03 2020-12-03 涂鸦图像识别方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN112527179A CN112527179A (zh) 2021-03-19
CN112527179B true CN112527179B (zh) 2023-01-31

Family

ID=74996789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011395484.6A Active CN112527179B (zh) 2020-12-03 2020-12-03 涂鸦图像识别方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN112527179B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323660A (ja) * 2007-06-25 2007-12-13 Sony Corp 描画装置、及び描画方法
CN104063417A (zh) * 2013-03-21 2014-09-24 株式会社东芝 图画描绘支援装置、方法、以及程序
CN111913644A (zh) * 2020-07-29 2020-11-10 北京大麦地信息技术有限公司 一种白板的线条绘制方法及装置、可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5668365B2 (ja) * 2009-11-20 2015-02-12 株式会社リコー 描画処理システム、サーバ装置、ユーザ端末、描画処理方法、プログラム及び記録媒体
CN102184042A (zh) * 2011-05-25 2011-09-14 深圳市海云天教育测评有限公司 自动擦除所写内容的电子手写笔及其实现方法
CN104850244A (zh) * 2014-02-19 2015-08-19 珠海金山办公软件有限公司 一种涂鸦输入方法及装置
US11144587B2 (en) * 2016-03-08 2021-10-12 Shutterstock, Inc. User drawing based image search
CN111596810B (zh) * 2020-06-24 2021-10-12 腾讯科技（深圳）有限公司 涂鸦识别方法、装置、设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323660A (ja) * 2007-06-25 2007-12-13 Sony Corp 描画装置、及び描画方法
CN104063417A (zh) * 2013-03-21 2014-09-24 株式会社东芝 图画描绘支援装置、方法、以及程序
CN111913644A (zh) * 2020-07-29 2020-11-10 北京大麦地信息技术有限公司 一种白板的线条绘制方法及装置、可读存储介质

Also Published As

Publication number Publication date
CN112527179A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN110909725B (zh) 识别文本的方法、装置、设备及存储介质
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN112395978B (zh) 行为检测方法、装置及计算机可读存储介质
EP3270304A1 (en) Artificial intelligence-based prior art document identification system
US20200004815A1 (en) Text entity detection and recognition from images
US11854237B2 (en) Human body identification method, electronic device and storage medium
CN111695453B (zh) 绘本识别方法、装置及机器人
CN112639872B (zh) 一种目标检测中难例挖掘的方法及装置
CN110889437B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110543879A (zh) 基于se模块的ssd目标检测方法及计算机存储介质
CN111177375A (zh) 一种电子文档分类方法及装置
CN112818200A (zh) 基于静态网站的数据爬取及事件分析方法及系统
CN113360803A (zh) 基于用户行为的数据缓存方法、装置、设备及存储介质
CN103399957A (zh) 搜索方法、系统、搜索引擎和客户端
CN112527179B (zh) 涂鸦图像识别方法、装置及终端设备
CN112579781A (zh) 文本归类方法、装置、电子设备及介质
CN111027533B (zh) 一种点读坐标的变换方法、系统、终端设备及存储介质
CN109101630B (zh) 一种应用程序搜索结果的生成方法、装置及设备
CN112418089A (zh) 一种手势识别方法、装置及终端
CN114531340B (zh) 日志获取方法、装置、电子设备、芯片及存储介质
US20230401809A1 (en) Image data augmentation device and method
CN109213322B (zh) 一种虚拟现实中手势识别的方法及系统
CN109542229B (zh) 手势识别方法、用户设备、存储介质及装置
CN112949299A (zh) 新闻稿件的生成方法及装置、存储介质、电子装置
CN112836045A (zh) 基于文本数据集的数据处理方法、装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant