CN112800904B - 一种根据手指指向识别图片中字符串的方法及装置 - Google Patents

一种根据手指指向识别图片中字符串的方法及装置 Download PDF

Info

Publication number
CN112800904B
CN112800904B CN202110067650.8A CN202110067650A CN112800904B CN 112800904 B CN112800904 B CN 112800904B CN 202110067650 A CN202110067650 A CN 202110067650A CN 112800904 B CN112800904 B CN 112800904B
Authority
CN
China
Prior art keywords
character string
picture
character
target picture
directed graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110067650.8A
Other languages
English (en)
Other versions
CN112800904A (zh
Inventor
宋金梦
朱松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wantong Technology Co ltd
Original Assignee
Shenzhen Wantong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wantong Technology Co ltd filed Critical Shenzhen Wantong Technology Co ltd
Priority to CN202110067650.8A priority Critical patent/CN112800904B/zh
Publication of CN112800904A publication Critical patent/CN112800904A/zh
Application granted granted Critical
Publication of CN112800904B publication Critical patent/CN112800904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种根据手指指向识别图片中字符串的方法及装置，提高对字符串进行定位的准确性。本申请实施例方法包括：获取目标图片；根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息；获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果；根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；确定所述目标图片中的手指点坐标；根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标；根据所述最佳匹配坐标确定目标字符串。

Description

一种根据手指指向识别图片中字符串的方法及装置
技术领域
本申请实施例涉及数据处理领域，尤其涉及一种根据手指指向识别图片中字符串的方法及装置。
背景技术
随着社会对图像识别技术需求的提高，如今的图像识别技术也随着社会得到了发展，当使用手指或带有指向意图的道具指向图片部分被遮挡的目标图片时，图像识别系统会提取目标图片模板，在获取目标图片并确定遮挡物指向后，对比目标图片与系统中存储的目标图片模板，从而确定遮挡物指向的字符串。
在现有技术中，要确定图片上的字符串会先获取到目标图片和模板图片，再对比目标图片和模板图片的字符串，以确定目标图片上的字符串，但该方法会受到目标图片拍摄角度及光照等实际情况的影响，导致目标图片上字符串识别不准确。
发明内容
本申请实施例提供了一种根据手指指向识别图片中字符串的方法及装置，用于避免使用一般图直接与模板进行对比，提高对字符串进行定位的准确性。
本申请第一方面提供了一种根据手指指向识别图片中字符串的方法，包括：
获取目标图片，所述目标图片包含手指区域和字符串区域；
根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息，所述字符串信息包含字符、字符位置及字符连接关系；
获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置；
根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
确定所述目标图片中的手指点坐标；
根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标；
根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
可选的，根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果包括：
根据如下公式对对所述图片模板和所述有向图进行计算，得到最优匹配结果，
E(i,nj)表示所述有向图与所述图片模板中任一字符串最长公共子序列长度的匹配结果，其中S为所述图片模板中的第一字符串，Si为所述第一字符串中第i个字符，G为所述有向图上生成连接关系的字符节点组成的第二字符串，为所述第二字符串中的一个字符，parent(nj)为与存在上一级连接关系的字符。
可选的，所述根据所述目标图片建立有向图包括：
获取所述目标图片的字符信息，所述字符信息包括字符和字符位置；
根据预设规则和字符信息建立所述目标图片的有向图。
可选的，所述确定所述目标图片中的手指点坐标包括：
通过深度卷积神经网络确定所述目标图片中的手指点坐标。
可选的，所述根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标包括：
根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到对比结果；
确定所述对比结果中的最小值为最佳匹配坐标。
本申请第二方面提供了一种根据手指指向识别图片中字符串的装置，包括：
第一获取单元，用于获取目标图片，所述目标图片包含手指区域和字符串区域；
建立单元，用于根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息；
第二获取单元，用于获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
计算单元，用于根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置；
记录单元，用于根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
确定单元，用于确定所述目标图片中的手指点坐标；
对比单元，用于根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标；
匹配单元，用于根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
可选的，所述计算单元包括：
计算模块，用于根据如下公式对对所述图片模板和所述有向图进行计算，得到最优匹配结果，
E(i,nj)表示所述有向图与所述图片模板中任一字符串最长公共子序列长度的匹配结果，其中S为所述图片模板中的第一字符串，Si为所述第一字符串中第i个字符，G为所述有向图上生成连接关系的字符节点组成的第二字符串，为所述第二字符串中的一个字符，parent(nj)为与存在上一级连接关系的字符。
可选的，所述建立单元包括：
获取模块，用于获取所述目标图片的字符信息，所述字符信息包括字符和字符位置；
建立模块，用于根据预设规则和字符信息建立所述目标图片的有向图。
可选的，所述确定单元包括：
第一确定模块，用于通过深度卷积神经网络确定所述目标图片中的手指点坐标。
可选的，所述对比单元包括：
对比模块，用于根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到对比结果；
第二确定模块，用于确定所述对比结果中的最小值为最佳匹配坐标。
本申请第三方面提供了一种根据手指指向识别图片中字符串的装置，包括：
处理器、存储器、输入输出单元、总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述处理器具体执行如下操作：
获取目标图片，所述目标图片包含手指区域和字符串区域；
根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息，所述字符串信息包含字符、字符位置及字符连接关系；
获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置；
根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
确定所述目标图片中的手指点坐标；
根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标；
根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
本申请实施例第三方面提供了一种根据手指指向识别图片中字符串的装置，包括：
处理器、存储器、输入输出单元、总线；
所述处理器与所述存储器、所述输入输出单元以及所述总线相连；
所述处理器具体执行如下操作：
获取目标图片，所述目标图片包含手指区域和字符串区域；
根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息，所述字符串信息包含字符、字符位置及字符连接关系；
获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置；
根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
确定所述目标图片中的手指点坐标；
根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标；
根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
从以上技术方案可以看出，本申请获取目标图片后，根据目标图片建立有向图，并通过有向图的信息与带有字符串信息的图片模板进行目标图片中字符串位置的定位，再获取手指点位置的定位，根据手指点位置确定目标字符串，本发明将目标图像转换为带有更准确图像信息的有向图进行字符串定位读取，避免了使用一般图直接与模板进行对比，提高了对字符串进行定位的准确性。
附图说明
图1为本申请实施例中根据手指指向识别图片中字符串的方法一个实施例流程示意图；
图2为本申请实施例中根据手指指向识别图片中字符串的方法另一实施例流程示意图；
图3为本申请实施例中根据手指指向识别图片中字符串的装置一个实施例结构示意图；
图4为本申请实施例中根据手指指向识别图片中字符串的装置另一实施例结构示意图；
图5为本申请实施例中根据手指指向识别图片中字符串的装置另一实施例结构示意图。
具体实施方式
本申请实施例提供了一种根据手指指向识别图片中字符串的方法及装置，用于避免使用一般图直接与模板进行对比，提高对字符串进行定位的准确性。
下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
具体的，本申请实施例可使用所有具有逻辑演算能力的装置进行操作，如终端、服务器和系统等，具体此处不做限定，本申请实施例将以系统为执行主体进行描述。
请参阅图1，本申请实施例提供了根据手指指向识别图片中字符串的方法的一种实施例，包括：
101、获取目标图片，所述目标图片包含手指区域和字符串区域；
在本申请实施例中，目标图片来自系统的外置摄像头配件，该摄像头以可调节的俯视视角对目标图片进行拍摄。
具体的，因为固定视角下拍摄的结果会受到外部环境的影响，从而影响到目标图片的清晰度，本申请实施例中，摄像头一般情况下会以45°角斜俯视对目标图片进行拍摄，但摄像头的角度可控，满足自由调节的需求，从而适应外部环境，使得提高目标图片的清晰度。
目标图片的内容为由手指指向目标图片中某一字符串，故该目标图片可以粗略分解为包括手指区域与字符串区域。
102、根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息，所述字符串信息包含字符、字符位置及字符连接关系；
在系统获取到目标图片后，会对目标图片中所有字符串进行字符拆解提取，并根据拆解提取的结果生成有向图，有向图中包含的信息主要包括字符、字符位置以及字符的连接关系。
具体的，有向图根据目标图片中的信息生成，系统获取目标图片中所有字符及该字符的位置，将所有字符及位置标注在有向图中，在生成了所有字符及字符位置后，系统会根据所有字符的坐标对所有相邻字符建立连接关系，字符的连接关系按照阅读习惯从左往右进行连接，在与目标字符产生连接关系的字符中，目标字符会生成一个节点，该目标字符节点左边的字符被称为该目标字符的父节点。在建立连接关系后，有向图中会呈现两个及两个以上的相邻字符逐一连接的情况，在这种情况下得到的字符连接关系称为子串。
103、获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
在生成有向图后，系统会获取到有向图信息，而有向图信息对字符串的确定依据主要来源于在目标图片中的字符串区域来源的图片模板，该图片模板在实际情况中为系统预制的信息，而在目标图片中的字符串区域在系统中必然存在模板图片。
104、根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置；
在系统得到目标图片的有向图及图片模板后，系统会将有向图中的子串与图片模板中包含的字符串进行匹配计算，从而获得最优匹配结果，使得系统可以根据该最优匹配结果确定目标图片中字符串区域在图片模板中的位置。
105、根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
在系统确定有向图与图片模板的最优匹配结果后，系统会根据有向图中子串在图片模板中的坐标给目标图片中相对应的字符标记坐标，并把该坐标记录到系统中，根据字符串生成字符串位置坐标集合。
106、确定所述目标图片中的手指点坐标；
当系统确定了字符串位置坐标集合后，要找到目标图片中手指指向的字符串，系统还需获取手指点的坐标，该手指点坐标在判定时系统会根据手指的位置及特性找到能够表示手指指向的坐标点，并确定该坐标点为手指点坐标。
107、根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标；
此时，系统已经获取了目标图片中的所有字符串信息及手指点坐标信息，要确定手指点指向的字符串，系统会根据手指点坐标对所有字符串位置坐标集合进行匹配判断。
具体的，系统以手指点坐标为基准对字符串位置坐标集合汇总的字符串位置坐标进行逐一匹配判断，系统每进行一次匹配判断都会将本次匹配的匹配结果与上一次匹配的匹配结果作对比，若本次匹配结果更优于上一次的匹配结果，则本次匹配结果会替换上一次匹配结果，直到字符串位置坐标合集中的所有字符串位置坐标都进行匹配后，最后的匹配结果则可以确定为最佳匹配坐标。
108、根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
当系统根据手指坐标及字符串位置坐标合集确定最佳匹配坐标后，系统会根据该坐标获取图片模板中该坐标的字符串，从而确定该字符串为目标字符串。
本申请实施例在获取目标图片后，根据目标图片建立有向图，并通过有向图的信息与带有字符串信息的图片模板进行目标图片中字符串位置的定位，再获取手指点位置的定位，根据手指点位置确定目标字符串。具体方法可以看出，本申请实施例中，系统将目标图像转换为带有更准确图像信息的有向图进行字符串定位读取，避免了使用一般图直接与模板进行对比，提高了对字符串进行定位的准确性。
请参阅图2，本申请实施例提供了根据手指指向识别图片中字符串的方法的另一实施例，包括：
201、获取目标图片，所述目标图片包含手指区域和字符串区域；
本实施例中的步骤201与前述实施例中步骤101类似，此处不再赘述。
202、获取所述目标图片的字符信息，所述字符信息包括字符和字符位置；
当系统获取到目标图片后，系统会先对目标图片进行信息的拆解提取，拆解提取的主要步骤就是对目标图片中的字符串进行字符的拆解，从而使得系统能够根据该目标图片获取该目标图片字符串区域中的字符信息，将字符串拆解为字符，主要使得在后续的对比中，系统能够根据更精确的数据对目标图片中手指指向的字符串内进行判断。
203、根据预设规则和字符信息建立所述目标图片的有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息，所述字符串信息包含字符、字符位置及字符连接关系；
具体的，预设规则主要用于确定字符与字符间的连接关系，在实际情况中，系统会将所有连接关系的字符进行连线，此处的连接关系为上述步骤中提到的相邻字符，从而获得多个足以用于适合比较的字符串。
系统根据目标图片字符串区域获取到的字符信息可能会出现信息不完整的情况，故在进行有向图建立的时候获取到的子串结果会被认为是公共子序列而非公共子串，其中，公共子序列仅要求两个对比的字符串中字符顺序一致，而公共子串需要字符顺序一致且字符连续。
204、获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
本实施例中的步骤204与前述实施例中步骤103类似，此处不再赘述。
205、根据如下公式对对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置，
E(i,nj)表示所述有向图与所述图片模板中任一字符串最长公共子序列长度的匹配结果，其中S为所述图片模板中的第一字符串，Si为所述第一字符串中第i个字符，G为所述有向图上生成连接关系的字符节点组成的第二字符串，为所述第二字符串中的一个字符，parent(nj)为与存在上一级连接关系的字符；
在本申请实施例中，E(i,nj)为目标图片中字符串与有向图中公共子序列匹配度的计算方式，计算E(i,nj)根据不同的字符情况分为两种计算方式，第一种情况为当对比字符在图片模板中字符串的顺序位置与有向图中最长公共子序列的节点位置一致时，根据公式进行计算，除此情况外的其他情况都将根据公式进行计算。
206、根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
本实施例中的步骤206与前述实施例中步骤105类似，此处不再赘述。
207、通过深度卷积神经网络确定所述目标图片中的手指点坐标；
系统根据对所述目标图像进行缩放、灰度化和归一化处理，利用深度卷积神经网络算法定位所述处理后图像中手的位置，并对定位结果进行判断。
具体的，若判断结果为定位到手的位置，继续检测手势检测，否则，结束检测。若判断结果为检测到点击手势，在手的定位框内回归指尖坐标，并将作为映射回原始图像，否则，结束检测。根据该深度卷积神经网络的算法对手指点坐标进行计算得到结果的步骤简略清晰，得到结果的速度更快，使得在实际应用中降低对系统的占用时间，提高运行效率。
208、根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到对比结果；
具体的，字符串坐标合集中不止以个字符串坐标，根据字符串坐标系统可以确定目标图片中字符串区域的字符串存在于图片模板中的位置，并根据该图片目标确定目标图片的字符串区域中的字符串内容并确定字符串坐标，在获取字符串内容后，系统对比字符串坐标与手指点坐标，并对匹配结果进行最小值替换判断，从而获得最小匹配结果。
209、确定所述对比结果中的最小值为最佳匹配坐标；
系统在获得对比结果后，系统会根据最小匹配结果提取出该计算出该匹配结果的字符串并确定该字符串的坐标。
210、根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
本实施例中的步骤210与前述实施例中步骤108类似，此处不再赘述。
在本申请实施例中，系统根据具体的计算方式对有向图中的字符串与图片目标中的字符串进行匹配计算，有向图数据信息相比于一般图信息更为准确，使得获取到的有向图信息与精确的模板图片信息进行匹配计算时，计算的数据本身更为准确，从而提高得到计算结果的准确度。
请参阅图3，本申请实施例提供了根据手指指向识别图片中字符串的装置的一种实施例，包括：
第一获取单元301，用于获取目标图片，所述目标图片包含手指区域和字符串区域；
建立单元302，用于根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息；
第二获取单元303，用于获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
计算单元304，用于根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置；
记录单元305，用于根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
确定单元306，用于确定所述目标图片中的手指点坐标；
对比单元307，用于根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标；
匹配单元308，用于根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
本实施例中，各单元的功能与前述图1所示实施例中的步骤对应，此处不再赘述。
请参阅图4，本申请实施例提供了根据手指指向识别图片中字符串的装置的另一实施例，包括：
第一获取单元401，用于获取目标图片，所述目标图片包含手指区域和字符串区域；
建立单元402，用于根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息；
第二获取单元403，用于获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
计算单元404，用于根据对动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置；
记录单元405，用于根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
确定单元406，用于确定所述目标图片中的手指点坐标；
对比单元407，用于根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标；
匹配单元408，用于根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
在本申请实施例中，所述计算单元404还用于根据如下公式对对所述图片模板和所述有向图进行计算，得到最优匹配结果；
E(i,nj)表示所述有向图与所述图片模板中任一字符串最长公共子序列长度的匹配结果，其中S为所述图片模板中的第一字符串，Si为所述第一字符串中第i个字符，G为所述有向图上生成连接关系的字符节点组成的第二字符串，为所述第二字符串中的一个字符，parent(nj)为与存在上一级连接关系的字符。
在本申请实施例中，所述确定单元406，还用于通过深度卷积神经网络确定所述目标图片中的手指点坐标。
在本申请实施例中，所述建立单元402包括：
获取模块4021，用于获取所述目标图片的字符信息，所述字符信息包括字符和字符位置；
建立模块4022，用于根据预设规则和字符信息建立所述目标图片的有向图。
在本申请实施例中，所述对比单元407包括：
对比模块4071，用于根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到对比结果；
确定模块4072，用于确定所述对比结果中的最小值为最佳匹配坐标。
本实施例中，各单元的功能与前述图2所示实施例中的步骤对应，此处不再赘述。
请参阅图5，本申请实施例提供了根据手指指向识别图片中字符串的装置的另一实施例，包括：
处理器501、存储器502、输入输出单元503、总线504；
所述处理器501与所述存储器502、所述输入输出单元503以及所述总线504相连；
所述处理器501具体执行图1至图2中的方法步骤对应的操作。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种根据手指指向识别图片中字符串的方法，其特征在于，包括：获取目标图片，所述目标图片包含手指区域和字符串区域；
根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息，所述字符串信息包含字符、字符位置及字符连接关 系；
获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
根据动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板 的最佳匹配长度和最佳匹配位置；包括：
根据如下公式对所述图片模板和所述有向图进行计算，得到最优匹配结果，
；
E(i, nj ) 表示所述有向图与所述图片模板中任一字符串最长公共子序列长度的匹配结果，其中 S 为所述图片模板中的第一字符串，Si 为所述第一字符串中第 i 个字符，G 为所述有向图上生成连接关系的字符节点组成的第二字符串，为所述第二字符串中的一个字符，parent（nj）为与存在上一级连接关系的字符；
根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；确定所述目标图片中的手指点坐标；
根据所述手指点坐标对比所述字符串位置坐标集合中的所有字符串坐标，得到最佳匹配坐标；
根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
2.根据权利要求 1 所述的方法，其特征在于，所述根据所述目标图片建立有向图包括：
获取所述目标图片的字符信息，所述字符信息包括字符和字符位置；
根据预设规则和字符信息建立所述目标图片的有向图。
3.根据权利要求 1 所述的方法，其特征在于，所述确定所述目标图片中的手指点坐标包括：
通过深度卷积神经网络确定所述目标图片中的手指点坐标。
4.根据权利要求 1 所述的方法，其特征在于，所述根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到最佳匹配坐标包括：
根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到对比结果；
确定所述对比结果中的最小值为最佳匹配坐标。
5.一种根据手指指向识别图片中字符串的装置，其特征在于，包括：
第一获取单元，用于获取目标图片，所述目标图片包含手指区域和字符串区域；
建立单元，用于根据所述目标图片建立有向图，所述有向图包含所述目标图片字符串区域中的所有字符串信息；
第二获取单元，用于获取图片模板，所述图片模板包含有所述目标图片中字符串区域的完整信息；
计算单元，用于根据动态规划状态方程对所述图片模板和所述有向图进行计算，得到最优匹配结果，所述最优匹配结果为所述有向图上所有字符串在所述图片模板的最佳匹配长度和最佳匹配位置；包括：
根据如下公式对所述图片模板和所述有向图进行计算，得到最优匹配结果，
；
E(i, nj ) 表示所述有向图与所述图片模板中任一字符串最长公共子序列长度的匹配结果，其中 S 为所述图片模板中的第一字符串，Si 为所述第一字符串中第 i 个字符，G 为所述有向图上生成连接关系的字符节点组成的第二字符串，为所述第二字符串中的一个字符，parent（nj）为与存在上一级连接关系的字符；
记录单元，用于根据所述最优匹配结果记录所述目标图片中的字符串位置坐标集合；
确定单元，用于确定所述目标图片中的手指点坐标；
对比单元，用于根据所述手指点坐标对比所述字符串位置坐标集合中的所有字符串坐标，得到最佳匹配坐标；
匹配单元，用于根据所述最佳匹配坐标确定目标字符串，所述目标字符串为手指指向的字符串。
6.根据权利要求 5 所述的装置，其特征在于，所述建立单元包括：
获取模块，用于获取所述目标图片的字符信息，所述字符信息包括字符和字符位置；
建立模块，用于根据预设规则和字符信息建立所述目标图片的有向图。
7.根据权利要求 5 所述的装置，其特征在于，所述确定单元包括：第一确定模块，用于通过深度卷积神经网络确定所述目标图片中的手指点坐标。
8.根据权利要求 5 所述的装置，其特征在于，所述对比单元包括：
对比模块，用于根据所述手指点坐标对比所述字符串坐标集合中的所有字符串坐标，得到对比结果；
第二确定模块，用于确定所述对比结果中的最小值为最佳匹配坐标。
CN202110067650.8A 2021-01-19 2021-01-19 一种根据手指指向识别图片中字符串的方法及装置 Active CN112800904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110067650.8A CN112800904B (zh) 2021-01-19 2021-01-19 一种根据手指指向识别图片中字符串的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110067650.8A CN112800904B (zh) 2021-01-19 2021-01-19 一种根据手指指向识别图片中字符串的方法及装置

Publications (2)

Publication Number Publication Date
CN112800904A CN112800904A (zh) 2021-05-14
CN112800904B true CN112800904B (zh) 2024-08-09

Family

ID=75810364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110067650.8A Active CN112800904B (zh) 2021-01-19 2021-01-19 一种根据手指指向识别图片中字符串的方法及装置

Country Status (1)

Country Link
CN (1) CN112800904B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520851A (zh) * 2008-02-29 2009-09-02 富士通株式会社 字符信息识别装置和方法
CN104268541A (zh) * 2014-09-15 2015-01-07 青岛高校信息产业有限公司 一种设备铭牌和能效标识的智能化图像识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198761A (ja) * 1997-01-09 1998-07-31 Oki Electric Ind Co Ltd 文字認識方法および文字認識装置
CN111126370A (zh) * 2018-10-31 2020-05-08 上海迈弦网络科技有限公司 一种基于ocr识别结果的最长公共子串自动纠错方法及系统
CN109961008B (zh) * 2019-02-13 2024-07-16 平安科技（深圳）有限公司 基于文字定位识别的表格解析方法、介质及计算机设备
CN112016346A (zh) * 2019-05-28 2020-12-01 阿里巴巴集团控股有限公司 手势的识别方法、装置、系统以及信息的处理方法
CN111078083A (zh) * 2019-06-09 2020-04-28 广东小天才科技有限公司 一种点读内容的确定方法及电子设备
CN111160097B (zh) * 2019-11-27 2023-05-26 云知声智能科技股份有限公司 一种内容识别方法及装置
CN111191512B (zh) * 2019-12-04 2023-05-30 武汉汉德瑞庭科技有限公司 基于最长路径的在线手写笔迹笔画匹配方法
CN112052724A (zh) * 2020-07-23 2020-12-08 深圳市玩瞳科技有限公司 基于深度卷积神经网络的手指指尖定位方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520851A (zh) * 2008-02-29 2009-09-02 富士通株式会社 字符信息识别装置和方法
CN104268541A (zh) * 2014-09-15 2015-01-07 青岛高校信息产业有限公司 一种设备铭牌和能效标识的智能化图像识别方法

Also Published As

Publication number Publication date
CN112800904A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
CN110287772B (zh) 平面手掌掌心区域提取方法及装置
CN111767819B (zh) 一种图像识别方法、装置、电子设备和计算机可读介质
KR102236616B1 (ko) 정보 처리 장치, 그의 제어 방법, 및 기억 매체
JP6211407B2 (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
US20130236068A1 (en) Calculating facial image similarity
CN111783882B (zh) 关键点检测方法、装置、电子设备及存储介质
JPWO2010004958A1 (ja) 個人認証システム、個人認証方法
JP7107598B2 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
CN111783770A (zh) 图像的矫正方法、装置和计算机可读存储介质
CN113469040B (zh) 一种图像处理方法、装置、计算机设备和存储介质
US20150055866A1 (en) Optical character recognition by iterative re-segmentation of text images using high-level cues
US20180150689A1 (en) Information processing apparatus, storage medium, and information processing method
JP2020526835A (ja) 画像を投稿するためのユーザのアカウントを動的に識別する装置及び方法
CN108875549B (zh) 图像识别方法、装置、系统及计算机存储介质
WO2021060147A1 (ja) 類似領域検出装置、類似領域検出方法およびプログラム
JP5755046B2 (ja) 画像認識装置、画像認識方法及びプログラム
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2024169261A9 (zh) 图像处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品
CN112800904B (zh) 一种根据手指指向识别图片中字符串的方法及装置
CN115131693A (zh) 文本内容识别方法、装置、计算机设备和存储介质
CN110287943B (zh) 图像的对象识别方法、装置、电子设备及存储介质
CN112257689A (zh) 人脸识别模型的训练和识别方法、存储介质及相关设备
US8144965B2 (en) Image processing apparatus, image processing method, and computer storage medium
CN114333039B (zh) 一种人像聚类的方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant