CN111611994A - 图像提取方法、装置、电子设备和存储介质 - Google Patents
图像提取方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111611994A CN111611994A CN201910143421.2A CN201910143421A CN111611994A CN 111611994 A CN111611994 A CN 111611994A CN 201910143421 A CN201910143421 A CN 201910143421A CN 111611994 A CN111611994 A CN 111611994A
- Authority
- CN
- China
- Prior art keywords
- image
- position information
- recognition
- target
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 198
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 35
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241001122767 Theaceae Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了图像提取方法、装置、电子设备和存储介质,涉及图像识别领域。本申请所提供的方法,在获取到的目标图像后,通过将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息,而后根据倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。由于本申请所提供的方法中,在使用图像提取模型对目标图像中目标对象进行定位的时候,使用的是倾斜识别框,而不是非倾斜的水平识别框,使得在针对目标对象是倾斜的存在于目标图像中的情况进行图像提取时,可以提高提取到的包含有目标对象的局部图像的精度,也就是减少了包含有目标对象的局部图像中背景图像的占比。
Description
技术领域
本发明涉及图像识别领域,具体而言,涉及图像提取方法、装置、电子设备和存储介质。
背景技术
随着信息技术的不断进步,图像识别技术在各行各业都得到的广泛的应用。
比如图像识别技术中的车牌识别技术可以在停车场中应用,也可以在安保系统中应用,具体来说,车辆停放计时收费技术、嫌犯车辆追踪技术都依赖于车牌识别技术。又比如图像识别技术中的证件识别技术可以在很多服务机构中应用,具体来说,通过证件识别技术可以自动的识别证件中的照片和文字,以提高服务机构办理各项业务的效率。
发明内容
本发明的目的在于提供图像提取方法、装置、电子设备和存储介质。
在一些实施例中,一种图像提取方法,包括:
获取目标图像;
将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
根据倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
在一些实施例中,将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息,包括:
将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
将目标图像输入到预先训练的倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
根据倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像,包括:
根据倾斜识别框的位置信息和非倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
在一些实施例中,将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息,包括:
将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
将目标图像中与非倾斜识别框的位置信息相对应的局部图像输入到倾斜图像提取模型中,以确定局部图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。
在一些实施例中,倾斜识别框的位置信息包括倾斜识别框顶点的位置信息;
方法还包括:
根据预先获取到的透视变换矩阵和倾斜识别框顶点的位置信息,对目标图像中倾斜识别框信息所对应的局部图像进行透视变换,以得到包含有目标对象的非倾斜图像;
将包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
在一些实施例中,还包括:
根据预先获取到的仿射变换矩阵,对目标图像中倾斜识别框信息所对应的局部图像进行仿射变换,以得到包含有目标对象的非倾斜图像;
将包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
在一些实施例中,将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息,包括:
将目标图像输入到非倾斜图像提取模型的候选框生成网络中,以得到非倾斜图像提取模型的候选框生成网络所输出的多个非倾斜候选框的位置信息;
根据每个非倾斜候选框的位置信息,计算每个非倾斜候选框的重合度;
根据每个非倾斜候选框的重合度,对多个非倾斜候选框的位置信息进行过滤;
从过滤后的多个非倾斜候选框的位置信息中选择目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息。
在一些实施例中,目标对象包括以下的任意一种:
车牌、证件、广告牌。
在一些实施例中,倾斜识别框的位置信息包括以下的任意一种或多种信息:
倾斜识别框的顶点的位置信息;倾斜识别框的中心点的位置信息;倾斜识别框的边沿的位置信息。
在一些实施例中,图像提取模型是按照如下方式训练得到的:
获取样本图像;
将样本图像输入到图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对图像提取模型进行训练。
在一些实施例中,非倾斜图像提取模型是按照如下方式训练得到的:
获取样本图像;
将样本图像输入到非倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考非倾斜识别框的位置信息;
根据参考非倾斜识别框的位置信息和样本对象的标准位置信息的差别,对非倾斜图像提取模型进行训练。
在一些实施例中,倾斜图像提取模型是按照如下方式训练得到的:
获取样本图像;
将样本图像输入到倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对倾斜图像提取模型进行训练。
在一些实施例中,目标对象为车牌;
方法还包括:
从目标图像中提取驾驶员的人脸照片;
将人脸照片输入到人脸识别模型中,以确定人脸识别结果;
根据人脸识别结果与目标对象的识别结果的匹配程度,确定操作方式。
在一些实施例中,一种图像提取装置,包括:
第一获取模块,用于获取目标图像;
第一输入模块,用于将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
第一提取模块,用于根据倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
在一些实施例中,第一输入模块,包括:
第一输入单元,用于将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
第二输入单元,用于将目标图像输入到预先训练的倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
第一提取模块,包括:
第一提取单元,用于根据倾斜识别框的位置信息和非倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
在一些实施例中,第一输入模块,包括:
第三输入单元,用于将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
第四输入单元,用于将目标图像中与非倾斜识别框的位置信息相对应的局部图像输入到倾斜图像提取模型中,以确定局部图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。
在一些实施例中,倾斜识别框的位置信息包括倾斜识别框顶点的位置信息;
装置还包括:
第一变换模块,用于根据预先获取到的透视变换矩阵和倾斜识别框顶点的位置信息,对目标图像中倾斜识别框信息所对应的局部图像进行透视变换,以得到包含有目标对象的非倾斜图像;
第一确定模块,用于将包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
在一些实施例中,还包括:
第二变换模块,用于根据预先获取到的仿射变换矩阵,对目标图像中倾斜识别框信息所对应的局部图像进行仿射变换,以得到包含有目标对象的非倾斜图像;
第二确定模块,用于将包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
在一些实施例中,第三输入单元,包括:
第一输入子单元,用于将目标图像输入到非倾斜图像提取模型的候选框生成网络中,以得到非倾斜图像提取模型的候选框生成网络所输出的多个非倾斜候选框的位置信息;
第一计算子单元,用于根据每个非倾斜候选框的位置信息,计算每个非倾斜候选框的重合度;
第一过滤子单元,用于根据每个非倾斜候选框的重合度,对多个非倾斜候选框的位置信息进行过滤;
第一选择子单元,用于从过滤后的多个非倾斜候选框的位置信息中选择目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息。
在一些实施例中,目标对象包括以下的任意一种:
车牌、证件、广告牌。
在一些实施例中,倾斜识别框的位置信息包括以下的任意一种或多种信息:
倾斜识别框的顶点的位置信息;倾斜识别框的中心点的位置信息;倾斜识别框的边沿的位置信息。
在一些实施例中,图像提取模型是按照如下模块训练得到的:
第二获取模块,用于获取样本图像;
第二输入模块,用于将样本图像输入到图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
第一训练模块,用于根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对图像提取模型进行训练。
在一些实施例中,非倾斜图像提取模型是按照如下模块训练得到的:
第三获取模块,用于获取样本图像;
第三输入模块,用于将样本图像输入到非倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考非倾斜识别框的位置信息;
第二训练模块,用于根据参考非倾斜识别框的位置信息和样本对象的标准位置信息的差别,对非倾斜图像提取模型进行训练。
在一些实施例中,倾斜图像提取模型是按照如下方式训练得到的:
第四获取模块,用于获取样本图像;
第四输入模块,用于将样本图像输入到倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
第三训练模块,用于根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对倾斜图像提取模型进行训练。
在一些实施例中,目标对象为车牌;
装置还包括:
第二提取模块,用于从目标图像中提取驾驶员的人脸照片;
第三确定模块,用于将人脸照片输入到人脸识别模型中,以确定人脸识别结果;
第四确定模块,用于根据人脸识别结果与目标对象的识别结果的匹配程度,确定操作方式。
在一些实施例中,一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以执行时执行如图像提取方法的步骤。
在一些实施例中,一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如图像提取方法的步骤。
本申请所提供的方法,在获取到的目标图像后,通过将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息,而后根据倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。由于本申请所提供的方法中,在使用图像提取模型对目标图像中目标对象进行定位的时候,使用的是倾斜识别框,而不是非倾斜的水平识别框,使得在针对目标对象是倾斜的存在于目标图像中的情况进行图像提取时,可以提高提取到的包含有目标对象的局部图像的精度,也就是减少了包含有目标对象的局部图像中背景图像的占比。
在一些实施例中,本申请所提供的图像提取方法,先将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;而后,再将目标图像中与非倾斜识别框的位置信息相对应的局部图像输入到倾斜图像提取模型中,以确定局部图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。由于系统使用非倾斜识别框进行计算时所占用的系统资源要小于使用非倾斜识别框进行计算时所占用的系统资源,因此,对整张目标图像先使用非倾斜图像提取模型来提取到局部图像,再使用倾斜图像提取模型在提取到的局部图像中进行二次提取,可以降低系统整体的资源的占用程度。
在一些实施例中,本申请所提供的图像提取方法,还使用了透视变换矩阵对提取到的目标对象所在的局部图像进行了透视变换,以得到包含有目标对象的非倾斜图像,并将包含有目标对象的非倾斜图像输入到了图像识别模型中,进而确定了目标对象的识别结果,通过进行了透视变换,使得最终确定的识别结果的准确度得到了提升。
在一些实施例中,本申请所提供的图像提取方法,还使用了仿射变换矩阵对提取到的目标对象所在的局部图像进行了仿射变换,以得到包含有目标对象的非倾斜图像,并将包含有目标对象的非倾斜图像输入到了图像识别模型中,进而确定了目标对象的识别结果,通过进行了透视变换,使得最终确定的识别结果的准确度得到了提升。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的包含有非倾斜车牌的车牌照片的示意图;
图2示出了本发明实施例所提供的包含有倾斜车牌的车牌照片的示意图;
图3示出了本发明实施例所提供的图像提取方法的基本流程图;
图4示出了本发明实施例所提供的图像提取方法中,使用倾斜识别框对目标图像进行图像提取时的示意图;
图5示出了本发明实施例所提供的图像提取方法中,使用倾斜识别框进行遍历时的示意图;
图6示出了本发明实施例所提供的图像提取方法中,步骤1023和步骤1024的实现过程示意图;
图7示出了本发明实施例所提供的图像提取方法中,进行透视变换前后的对比示意图;
图8示出了本申请实施例所提供的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中,图像识别技术已经在各个领域被广泛的使用。如证件识别技术和车牌识别技术已经常见于日常生活中了。
虽然图像识别技术的种类很多,但原理较为相似,下面仅以车牌识别技术为例进行说明:
一般情况下,车牌识别技术在使用时可以分为3个步骤,分别是:
步骤1,通过摄像头对车牌进行拍照,以得到原始照片;
步骤2,将原始照片输入到图像提取模型中,以提取出车牌所在的局部图像;
步骤3,将车牌所在的局部图像输入到车牌识别模型中,以使车牌识别模型输出识别结果。
通常,影响车牌识别准确度的步骤主要是步骤3,因此,相关技术中,技术人员通常会使用大量的样本对车牌识别模型进行训练。训练时,只要用户提供足够多的样本,并且经过适当的调整(调整模型内部的参数,如卷积核的大小),就能够使得训练完成的车牌识别模型对各种类型(数字、英文、中文)的车牌有着较强的适应能力。具体训练时,训练车牌识别模型所使用的样本都是实际的车牌照片,车牌识别模型能够自动辨识出这些照片中的特点,进而完成自我学习。使用训练完成的车牌识别模型来执行步骤3就能够保证车牌识别模型最终输出的识别结果的准确度,此处,识别结果指的是车牌上的具体字符。
但本申请发明人发现,影响最终识别结果准确程度的不仅仅是车牌识别模型,还有步骤2中的图像提取模型。主要是在对车牌进行拍照的时候,摄像头并不必然是正对着车牌的,因此车牌区域在照片中可能是倾斜的。
如图1所示,示出了包含有非倾斜车牌的车牌照片的示意图。该图1中,外面矩形是照片边框,里面的矩形是车牌边框,该图1中的车牌号码为“京A123456”。即,非倾斜车牌照片是指车牌上的号码的排列方向与照片的长度方向是大致平行的车牌照片。
但实际操作中,车牌照片大多是倾斜的(主要是受到拍摄角度的影响),如图2所示,示出了包含有倾斜车牌的车牌照片的示意图。该图2中,外面矩形是照片边框,里面的矩形是车牌边框,该图2中的车牌号排列方向为如箭头所示,车牌上的号码的排列方向与照片的长度方向是非平行的。
如图2所示,相关技术中在执行步骤2的时候使用的水平的矩形识别框来从照片中提取到车牌所在区域的图像。由于相关技术中的矩形识别框是水平的,而车牌区域又是倾斜的,这导致识别框与车牌边框之间填充有较多的背景图像,如果直接将如图2所示的识别框的图像输入到车牌识别模型中来得到识别结果的话,则由于背景图像过多,会导致识别结果的精度受到影响。
针对上述情况,本申请发明人认为,可以采用将图2中的水平的矩形识别框改为倾斜的识别框,以降低提取到的识别框中背景图像的面积。
如图3所示,本申请提供了一种图像提取方法,其特征在于,包括:
S101,获取目标图像;
S102,将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
S103,根据倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
步骤S101中,目标图像可以是任意的一种图像,比如,目标图像可以是包含有车牌图像的车牌照片;又比如,目标图像可以是包含有证件图像的证件照片。实际上,目标图像可以是任何包含有待检测目标(即目标对象,如车牌、证件)的图像。该目标图像可以是通过照相机、摄像机等任何能够获取到图像的设备获取到的。此处的目标图像可以是原始照片(通过照相机等拍照设备直接拍摄得到的照片),也可以是原始照片中的一部分。
比如,当目标图像是车牌照片的时候,该车牌照片可以是通过任意的一种方式获取到的,比如该车牌照片可以是通过各个路口的摄像头采集的车辆的原始图像,也可以是从原始图像中提取到车牌照片。也可以是通过在停车场出入口处的摄像头采集的车辆的车牌照片。还可以是通过某种监控摄像头采集的车辆的原始图像。还可以是通过人工摄像头(手动控制的摄像头)采集的车辆的原始图像。
目标对象是被拍摄到目标图像中的物体,具体来说目标对象可以是车牌、某种证件或者广告牌等具有文字或数字的载体。
步骤S102中,主要目的是将目标图像输入到预先训练的图像提取模型中,以使图像提取模型自动的从目标图像中提取到目标对象所在的位置区域。由于本方案中图像提取模型使用的是倾斜识别框进行提取的,因此,目标对象所在的位置区域也是通过倾斜识别框来表示的,也就是,模型的输出结果是目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。通常,图像提取模型所输出的结果是一组数据,该数据是用来描述倾斜识别框的位置的,该数据也就是步骤S102中的倾斜识别框的位置信息。此处,倾斜识别框的位置信息是用来描述倾斜识别框在目标图像中的位置。需要说明的是,倾斜识别框的位置信息应当是能够定位出来唯一一个倾斜识别框(或者说通过一个倾斜识别框的信息只能够确定出一个倾斜识别框)的。如图4所示,示出了使用倾斜识别框对目标图像进行图像提取时的示意图。图4中,倾斜的识别框与车牌边框之间的背景区域要比图3中非倾斜识别框与车牌边框之间的背景区域更小。也就是使用倾斜识别框进行提取时,所提取到的图像中目标对象的占比更多。
实际使用的时候,倾斜识别框的倾斜角度一般是固定下来的,也就是一般情况下,一个图像提取模型只能够针对一种倾斜角度的目标对象进行有效识别。具体的角度是受训练图像提取模型时所使用的样本图像中,样本对象(如车牌、证件)的角度(样本对象在样本图像中)所决定的。
具体的,如图5所示,在使用倾斜识别框对目标图像进行提取的时候,通常是采用遍历的方式在指定区域内(如整张目标图像内,或者是目标图像中的某个区域内),按照预设的步长,生成多个倾斜候选框,而后计算每个倾斜候选框所对应的图像中包含目标对象的概率,最后将包含目标对象概率最高的倾斜候选框作为倾斜识别框,并将该倾斜识别框的位置信息作为图像提取模型的输出结果。
本方案中,倾斜识别框可以是指倾斜的矩形识别框、倾斜的等边三角形识别框等,进一步的本方案中的倾斜识别框可以是指任何除非倾斜的矩形识别框以外的识别框。比如,倾斜识别框可以是不规则四边形的识别框。
也就是本方案中的识别框可以分为两种,第一种是倾斜的规则图形(如正方形、矩形、等边三角形、矩形、半圆等)的识别框;第二种是倾斜的不规则图形(如不规则四边形、五边形等多边形)的边框。此处,使用哪种倾斜识别框来进行识别,主要是看被识别物体(目标对象)的形状。具体来说,如果被识别的物体(目标对象)在目标图像中是长方形的话,那就应当使用倾斜的矩形识别框进行识别;如果被识别的物体在目标图像中是等边三角形的话,那就应当使用倾斜的等边三角形进行识别。经过发明人的实验,认为倾斜识别框优选为倾斜的矩形识别框,非倾斜识别框优选为非倾斜(水平)的矩形识别框。
由于一个图像提取模型只有一种识别方式(只能使用一种识别框进行识别),因此,本申请的方案在实现的时候,应当先确定(可以是认为的确定)被识别对象(目标对象)的大致形状,并且使用对应的图像提取模型来进行图像提取。比如图像提取模型可以具体分为使用倾斜的矩形识别框的图像提取模型、使用倾斜的等边三角形识别框的图像提取模型等。
进而,本申请所提供的方法中,步骤S102可以按照如下方式实现时:
根据目标图像中目标对象的参考类型,选择图像提取模型;
将目标图像输入到选择的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。
此处目标图像的参考类型包括以下至少一种信息:目标图像中目标对象的形状和目标图像中目标对象的倾斜角度。
其中,倾斜识别框的形状如倾斜等边三角形、倾斜矩形、倾斜梯形等。倾斜识别框的倾斜角度反映了倾斜识别框再旋转多少的角度能够不再倾斜。比如,倾斜角度可以是30度、60度等。
具体的,目标对象的形状类型可以是使用者自己录入的。
也就是,每个图像提取模型都可以有两个属性,分别是该图像提取模型所使用的倾斜识别框的形状和该图像提取模型所使用的倾斜识别框的倾斜角度,进而在查找倾斜识别框的时候,可以使用这两个属性进行查找。
如前文中所说,倾斜识别框的位置信息应当能够确定出唯一的一个倾斜识别框。进而,任何能够确定出唯一的一个倾斜识别框的信息都可以作为倾斜识别框的位置信息。
具体而言,倾斜识别框的位置信息可以包括以下的任意一种或多种信息:
倾斜识别框的顶点的位置信息;倾斜识别框的中心点的位置信息;倾斜识别框的边沿的位置信息。
具体的,倾斜识别框的顶点的位置信息指的是倾斜识别框中,相邻的两个边的交点的位置信息。倾斜识别框的中心点的位置信息可以是指倾斜识别框的几何中心的位置信息。倾斜识别框的边沿的位置信息通常应当使用函数式来表达(通过该函数式能够表述出一个直线或者曲线)。
具体使用的时候,这三种位置信息可以根据具体情况来使用。比如,对于倾斜的矩形识别框或平行四边形识别框可以直接使用至少三个顶点的位置信息来表征,或者是使用至少2个相邻的边沿的位置信息来表征。而对于倾斜的等边三角形识别框而言,则必须同时使用二个顶点的位置信息来表征,或者是使用至少二个边沿的位置信息来表征。
由于中心点的位置并不是直接显示在倾斜识别框上的,因此,在使用中心点的位置信息前,先需要计算该中心点的位置。
倾斜识别框的边沿的位置信息一般至少包括如下几种信息中的一种或多种:边沿的长度、倾斜角度、边沿的起点或终点的坐标。
需要说明的是,虽然倾斜识别框的位置信息可以包括倾斜识别框的顶点的位置信息;倾斜识别框的中心点的位置信息;倾斜识别框的边沿的位置信息中的任意一种或多种,但具体包含哪种位置信息,并且每种位置信息需要几个(如两个顶点的位置信息),则需要根据实际的情况来确定。比如,对于矩形的倾斜识别框而言,可以使用中心点的坐标、倾斜角度、相邻的两个边沿的长度(矩形的长和宽)来表征。
通过大量的实验,本申请的发明人发现使用倾斜识别框的顶点的位置信息是比较好的选择,主要是这种方式能够适用于大部分的倾斜识别框,具体来说,就是大部分的倾斜识别框均可以只通过顶点进行定位。
当本申请所提供的方案中,倾斜识别框是倾斜矩形识别框,并且使用的位置信息是顶点信息时,本申请所提供的方案中,步骤S102可以按照如下方式实现:
目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜矩形识别框的顶点位置信息;
步骤S103可以按照如下方式实现:
根据倾斜矩形识别框的顶点位置信息,从目标图像中提取目标对象所在的局部图像。此时,提取出的局部图像就是一个倾斜的矩形。
当本申请所提供的方案中,倾斜识别框是不规则四边形识别框,并且使用的位置信息是顶点信息时,本申请所提供的方案中,步骤S102可以按照如下方式实现:
目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的不规则四边形识别框的顶点位置信息;
步骤S103可以按照如下方式实现:
根据不规则四边形识别框的顶点位置信息,从目标图像中提取目标对象所在的局部图像。此时,提取出的局部图像就是一个不规则四边形。
需要说明的是,本申请所提供的方案中,图像提取模型是预先训练好的,对图像提取模型进行训练的时候,应当是将样本图像输入到图像提取模型中,而后,图像提取模型会输出样本对象(如车牌)所在区域提取出来,在后,系统可以比较图像提取模型所输出的样本对象所在的区域和样本对象实际所在的区域(实际所在的区域可以是人为确定的)的差别,并根据该差别生成损失函数,最后使用该损失函数对图像提取模型进行训练。
通过步骤S102可以得到目标对象所在的位置区域对应的倾斜识别框的位置信息。进而,在步骤S103中可以直接将该位置信息进行输出,由于该位置信息相对准确的表达了目标对象所在的位置,因此,直接将该位置信息输出,就可以认为是提取到了目标对象所在的局部图像。
步骤S103中所输出的还可以是倾斜识别框的位置信息所对应的目标图像中的局部图像(倾斜的图像),此处的图像是指由多个像素点所组成的图像。
本方案中,由于在进行图像提取的时候,使用了倾斜识别框来确定目标对象所在的位置,使得提取到的包含有目标对象的位置区域中,背景区域的面积得到了有效的缩减,提高了图像提取的准确度。
在使用倾斜识别框来确定目标对象的位置区域时,可能会有不准确的情况,此时,可以同时使用倾斜识别框和非倾斜识别框来共同确定目标对象的位置。
具体的,步骤S102可以按照如下方式来实现:
步骤1021,将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
步骤1022,将目标图像输入到预先训练的倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
步骤S103可以按照如下方式来实现:
步骤1031,根据倾斜识别框的位置信息和非倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
步骤1021和1022中,主要目的是分别使用倾斜图像提取模型和非倾斜图像提取模型从目标图像中查找出目标对象的位置。此处,生成非倾斜识别框的方式与生成倾斜识别框的方式相似,都是先生成多个非倾斜候选框,而后从非倾斜候选框中选择一个作为非倾斜识别框。关于步骤1021中的说明可以参照前文中对步骤102的说明。
具体的,在确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息和目标对象所在的位置区域对应的非倾斜识别框的位置信息时,可以是分别使用不同的模型来生成目标图像中的目标对象所在的位置区域对应的倾斜识别框的位置信息,和目标对象所在的位置区域对应的非倾斜识别框的位置信息。
在确定了倾斜识别框的位置信息和非倾斜识别框的位置信息之后,步骤S1031中就可以根据这两个位置信息来确定目标对象了。
步骤1031的具体实现方式有如下几种,下面分别进行说明:
步骤1031的第一种实现方式:
计算倾斜识别框的位置和非倾斜识别框的位置重合度;
根据倾斜识别框的位置和非倾斜识别框的位置重合度,从目标图像中提取目标对象所在的局部图像。
此处,重合度可以根据倾斜识别框和非倾斜识别框的重合区域的面积与某个识别框的面积的比值。此处,某个识别框可以是指倾斜识别框,也可以是指非倾斜识别框,还可以是将倾斜识别框和非倾斜识别框叠加在一起之后,所形成的更大的识别框。
如果倾斜识别框和非倾斜识别框的重合度很高(超过预定阈值),则说明非倾斜识别框的识别结果是没有问题的,此时可以直接依据目标图像中的目标对象所在的位置区域对应的倾斜识别框的位置信息从目标图像中提取目标对象。或者是直接依据目标图像中的目标对象所在的位置区域对应的非倾斜识别框的位置信息从目标图像中提取目标对象。
对应的,如果倾斜识别框和非倾斜识别框的重合度很低(低于预定的阈值),则需要重新检测。
一般来说,非倾斜识别框可以认为是对倾斜识别框进行验证,主要是相关技术中,对非倾斜识别框的开发已经相对完善了,因此可以考虑使用非倾斜识别框对倾斜识别框进行验证。
步骤1031的第二种实现方式:
将倾斜识别框的位置和非倾斜识别框的位置取并集,以得到叠加识别框的位置信息;
根据叠加识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
此处,叠加的意思是将倾斜识别框的位置和非倾斜识别框的位置取并集,某个位置/区域只要在斜识别框内或非倾斜识别框内出现,就可以认为该位置/区域是位于叠加识别框中的了。
此种情况下,主要是使用非倾斜识别框作为补救措施。也就是,倾斜识别框可能无法准确的确定出目标对象所在的区域,此时可以依据非倾斜识别框的位置提取出目标对象所在的局部图像。
步骤1031的第三种实现方式:
将倾斜识别框的位置和非倾斜识别框的位置取并集,以得到重合识别框的位置信息;
根据重合识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
与第二种实现方式不同的是,第三种实现方式中不再是取交集了,而是取并集,也就是,某个位置/区域只有同时在斜识别框内和非倾斜识别框内出现,才可以认为该位置/区域是位于合识别框中的。
此种情况下,主要的目的是进一步减小背景区域的范围。如前文中所说,不论是使用倾斜识别框来提取目标对象,还是使用非倾斜识别框来提取目标对象,提取出来的图像都会有一定的背景图像,但通常情况下,倾斜识别框和非倾斜识别框中都会包含有完整的目标对象,因此,将倾斜识别框和非倾斜识别框取交集(二者的重合区域),进而,根据交集所提取出来的包含有目标对象的图像中,背景区域的面积会进一步减小。
上述内容介绍了几种的使用倾斜识别框和非倾斜识别框的方式,下面提供一种按照先后顺序来使用倾斜识别框和非倾斜识别框的方案。
具体的,数学模型在生成倾斜识别框和依据倾斜识别框进行计算的时候,所付出的计算量(比如计算重合度)是较大的(相对于非倾斜识别框而言),主要是因为倾斜识别框的边界并不是水平和竖直的,因此,在计算的时候,需要使用大量的小数或者浮点型数据参与计算。如果直接对目标图像的全部区域都使用倾斜识别框进行采样的话,则会导致计算量过大,进而加重系统的负担。
针对这种情况,本申请的发明人认为,可以先使用非倾斜识别框进行粗定位,再使用倾斜识别框进行细定位的方式来实现方案。此时,非倾斜识别框就是指识别框的边界与目标图像的边界相垂直或平行的识别框了。
具体的,步骤S102可以按照如下方式实现:
步骤1023,将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
步骤1024,将目标图像中与非倾斜识别框的位置信息相对应的局部图像输入到倾斜图像提取模型中,以确定局部图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。
也就是,在确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息之前,先执行步骤1023,即将目标图像输入到非倾斜图像提取模型中,以使该模型输出目标对象所在的位置区域对应的非倾斜识别框的位置信息。
而后,步骤1024中,就可以以非倾斜识别框所对应的图像(局部图像)为基础,将该局部图像输入到倾斜图像提取模型中,以使倾斜图像提取模型从该局部图像中确定目标对象所在的位置区域对应的倾斜识别框的位置信息。
如图6所示,示出了步骤1023和步骤1024的实现过程示意图。
由图6可见,步骤1023中,如图6上部所示首先使用非倾斜识别框从目标图像中提取到的非倾斜识别框的位置信息所对应的局部图像(图6中上部的局部图像),而后使用倾斜识别框从非倾斜识别框的位置信息所对应的局部图像中确定了倾斜识别框。很明显,在局部图像中使用倾斜识别框来查找目标对象的计算量要远小于直接在目标图像中查找目标对象的计算量。图6中的虚线表示将图6中上部的局部图像进行等比例放大后得到了图6中下部的局部图像。
如前文中的说明,步骤S103中所输出的包含有目标对象的局部图像,或者是包含有目标对象的局部图像的位置信息(倾斜识别框的位置信息)。但由于步骤S103中所直接提取到的局部图像是倾斜的图像,如果直接依据该倾斜的图像进行识别的话,则会导致识别的准确度受到影响,此时应当先对倾斜的图像进行调整(调整的具体内容主要是指旋转),而后再进行具体的识别。
具体的,对倾斜图像进行调整的方式有两种,分别是进行透视变换和进行仿射变换,下面分别对这两种变换方式进行说明。
如果是对倾斜图像进行透视变换的话,则需要知晓倾斜识别框顶点的位置信息,也就是倾斜识别框的位置信息包括倾斜识别框顶点的位置信息。
具体的,本申请所提供的方法还包括如下步骤:
步骤1041,根据预先获取到的透视变换矩阵和倾斜识别框顶点的位置信息,对目标图像中倾斜识别框信息所对应的局部图像进行透视变换,以得到包含有目标对象的非倾斜图像;
步骤1042,将包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
其中,在使用本申请的方法前就应当能够预知到目标对象的形状(如车牌在现实环境中的形状),比如车牌和证件都是矩形的。预先建立的透视变换矩阵是能够表征变换前后的两个图像的各个顶点对应关系的矩阵。进而,按照透视变换矩阵将倾斜识别框的位置信息所对应的局部图像的各个定点拉扯到预先设定好的位置上,并将倾斜识别框所对应的局部图像中其他的像素点进行适应性的拉扯,就能够得到包含有目标对象的非倾斜图像了。
在得到包含有目标对象的非倾斜图像之后,就可以将包含有目标对象的非倾斜图像输入到图像识别模型中(如文字识别模型、车牌号识别模型),就可以得到针对目标对象的识别结果了,此处的识别结果可以是具体的车牌号(如京A123456),也可以是证件上的某段文字。
具体的,进行透视变换时,并不要求倾斜识别框是规则图形(如矩形、正三角形),倾斜识别框是非规则图形也可以使用该放哪,比如倾斜识别框是不规则图形同样可以使用。
如图7所示,示出了进行透视变换前后的对比示意图,图7中,左侧的不规则四边形就是透视变换的图形,右侧的矩形是进行透视变换后的图形。可以见,透视变换就是将点A拉扯到点E的位置上;将点B拉扯到点F的位置上;将点C拉扯到点G的位置上;将点D拉扯到点H的位置上。在将各个定点拉扯到指定的位置上之后,就可以按照此种拉扯方式将不规则四边形中的其他的像素点按照预定的比例拉扯到矩形中对应的位置上。
由于仿射变换只是对图像进行旋转和平移,图像的形状不会发生改变,因此,只要能够提取到倾斜图像即可,并不要求必须知晓倾斜识别框顶点的位置信息。
如果是对倾斜图像进行仿射变换的话,则本申请所提供的方法还可以包括如下步骤:
步骤1043,根据预先获取到的仿射变换矩阵,对目标图像中倾斜识别框信息所对应的局部图像进行仿射变换,以得到包含有目标对象的非倾斜图像;
步骤1044,将包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
仿射变换是在几何上的定义是两个向量空间之间的一个仿射变换或者仿射映射,是由一个线性变换和一个平移变换组成的。具体的,仿射变换矩阵也是预先在训练阶段训练好的,也就是对于样本图像中的样本对象进行多少角度的旋转和平移能够达到目的,就应当对目标图像中的目标对象进行多少角度的旋转和平移,也就是,可以根据该旋转的角度和平移的幅度来生成放射变换矩阵。
在对目标对象所在的位置区域对应的非倾斜图像进行仿射变换之后,目标对象所在的位置区域就可以以非倾斜图像的形式展示出来了。
进而,在得到包含有目标对象的非倾斜图像之后,就可以将非倾斜图像输入到图像识别模型中(如文字识别模型、车牌号识别模型),就可以得到针对目标对象的识别结果,此处的识别结果可以是具体的车牌号(如京A123456),也可以是证件上的某段文字。
在使用非倾斜识别框对目标图像进行提取的时候,通常是采用遍历的方式在目标图像内生成多个非倾斜候选框,而后计算每个非倾斜候选框所对应的图像中包含目标对象的概率,最后将包含目标对象概率最高的非倾斜候选框作为非倾斜识别框,并输出该非倾斜识别框的位置信息。
此处,生成的非倾斜候选框的数量是大量的,具体生成的非倾斜候选框的数量是受目标图像的大小和遍历时的步长所决定的,因此,有些时候,生成的非倾斜候选框的数量可能是较多的,如果直接对每个非倾斜候选框都进行图像识别,并从中找出非倾斜识别框,则会导致计算量过大。此时可以使用基于重合度的图像过滤方法来过滤掉一部分非倾斜候选框,而后再从中选择非倾斜识别框。
具体的,步骤1023可以按照如下方式实现:
步骤10231,将目标图像输入到非倾斜图像提取模型的候选框生成网络中,以得到非倾斜图像提取模型的候选框生成网络所输出的多个非倾斜候选框的位置信息;
步骤10232,根据每个非倾斜候选框的位置信息,计算每个非倾斜候选框的重合度;
步骤10233,根据每个非倾斜候选框的重合度,对多个非倾斜候选框的位置信息进行过滤;
步骤10234,从过滤后的多个非倾斜候选框的位置信息中选择目标对象所在的位置区域对应的非倾斜识别框的位置信息。
步骤10231中,主要是采用遍历的方式从目标图像中提取到多个非倾斜候选框,而后,在步骤10232中,非倾斜候选框的重合度有多种计算方式,比较常用的计算方式是计算该非倾斜候选框与相邻的候选框之间的重合度,并将该重合度作为该非倾斜候选框的重合度。也就是重合度是表征两个非倾斜候选框之间的重合程度。
进而,步骤10233中,如果对于任意计算了重合度的两个非倾斜候选框而言,如果计算得到的重合度过高,则应当将这两个非倾斜候选框中的一个进行删除(过滤)。最后,在步骤10234中,就可以从剩余(没有被删除)的多个非倾斜候选框的位置信息中,选择目标对象所在的位置区域对应的非倾斜识别框的位置信息了。
如前文中的说明,在执行步骤S101之前需要预先对图像提取模型进行训练,下面对图像提取模型的训练过程进行说明。
图像提取模型可以是通过如下方式训练得到的:
步骤201,获取样本图像;
步骤202,将样本图像输入到图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
步骤203,根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对图像提取模型进行训练。
步骤201的样本图像与步骤S101中的目标图像的获取方式应当是相同的,比如样本图像的中样本对象的倾斜角度与目标图像中目标对象的倾斜角度应当是相同的。
步骤202中,将样本图像输入到图像提取模型中之后,就可以得到图像提取模型所输出的样本对象所在的位置区域对应的参考倾斜识别框的位置信息。最后,步骤203中,就可以根据该位置信息与标准信息的差别来对图像提取模型进行训练了。
具体来说,训练的过程就是根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别来生成损失函数,并根据损失函数对图像提取模型进行训练。
类似的,针对步骤1023和步骤1024中的实现方式,同样可以采用分别对模型进行训练的方式来实现。
也就是,非倾斜图像提取模型是按照如下方式训练得到的:
获取样本图像;
将样本图像输入到非倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考非倾斜识别框的位置信息;
根据参考非倾斜识别框的位置信息和样本对象的标准位置信息的差别,对非倾斜图像提取模型进行训练。
倾斜图像提取模型是按照如下方式训练得到的:
获取样本图像;
将样本图像输入到倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对倾斜图像提取模型进行训练。
具体的,倾斜图像提取模型、非倾斜图像提取模型和图像提取模型均可以选择常见的分类器,如逻辑回归(Logistics Regression)模型,支持向量机(Support VectorMachine)模型,决策树(Decision Tree)模型,以及梯度提升决策树(Gradient BoostingDecision Tree)模型。除此之外,也可以选择使用深度机器学习(神经网络)模型。若使用神经网络模型,则在将数据输入到模型前,需要对数据进行归一化处理,并采取适合的初始化方案,以保证模型可以收敛到一个较优的状态。
下面提供一个本申请所提供的方案的具体使用方式,该使用方式在实现时,首先从目标图像中提取出驾驶员的人脸照片,而后对人脸照片使用人脸识别技术,以得到驾驶员的信息,最后根据验证车牌(即目标对象)和驾驶员是否匹配的结果,进行后续处理。。
具体的,该方案可以按照如下方式实现:
步骤301,从目标图像中提取驾驶员的人脸照片;
步骤302,将人脸照片输入到人脸识别模型中,以确定人脸识别结果;
步骤303,根据人脸识别结果与目标对象的识别结果的匹配程度,确定操作方式。
步骤301中,驾驶员的人脸照片是从目标图像中提取到的,这也就保证了驾驶员的照片和车牌(目标对象)的照片是从同一个照片中提取到的,由于二者是在相同的照片中,因此人脸照片的识别结果的精度和车牌的识别结果的准确度应当是差不多的。
在获取到驾驶员的人脸照片后,步骤302中,可以将人脸照片输入到人脸识别模型中,以确定人脸识别结果,此处的人脸识别结果是该人脸照片所对应的人物,比如该人脸照片的识别结果说明驾驶员是“张三”或“李四”。
具体的,步骤302中,人脸识别模型直接输出的是人脸照片所对应的与每个可能的识别结果的概率,比如,可以得到如下表1:
表1
编号 | 人脸照片编号 | 识别结果 | 概率 |
1 | A | 张三 | 0.92 |
2 | A | 李四 | 0.05 |
3 | A | 王五 | 0.01 |
4 | A | 赵六 | 0.02 |
如表1所示,示出了编号为A的人脸照片所对应的每个识别结果的概率。可以看出概率最高的识别结果是“张三”,进而,就可以确定编号为A的人脸照片的人脸识别结果为“张三”。
进而,步骤303中,人脸识别结果与车牌照片的识别结果的匹配程度就是指车牌的识别结果所关联的用户是否包含了人脸识别结果(某个用户),如果车牌照片的识别结果所关联的用户中没有人脸识别结果,则说明人脸识别结果与车牌照片的识别结果的匹配程度过低(或者说是二者不匹配);反之,则说明人脸识别结果与车牌照片的识别结果的匹配程度较高(或者说是二者匹配)。
此处,需要说明的是,由于车辆上除了驾驶员,可能还会乘坐有其他乘客,因此在使用对目标图像进行识别的时候,首先应当采用图像分割的方式,将定位到的多个人脸照片进行分割,并从分割的结果中提取到驾驶员图像。一般情况下,驾驶员所乘坐的位置是相对固定的,比如驾驶员通常是坐在车辆中左前方的座位上,或者是坐在车辆中右前方的座位上。进而,在拍摄到目标图像之后,可以先从目标图像中定位到车辆所在的局部图像,而后,从车辆所在的局部图像中调取出驾驶员所在的局部图像。比如驾驶员通常在车辆所在的局部图像中的左侧,那么在进行人脸识别的时候,就只能将在车辆所在的局部图像中的左侧出现的人脸照片作为驾驶员的人脸照片了。
在得到驾驶员的人脸照片之后,就可以将驾驶员的人脸照片输入到人脸识别模型中,以确定人脸识别结果了。
如下表2所示,示出了每个车牌照片的识别结果与用户的对应关系。
表2
编号 | 车牌号 | 用户 |
1 | 京A123456 | 张三、李四 |
2 | 京A123457 | 路人甲、路人乙 |
3 | 京A123458 | 张三、路人丙 |
4 | 京A123459 | 路人甲、路人丙 |
如表2所示,示出了每个车牌号(车牌照片的识别结果)所对应的用户,在步骤303具体实现的时候,如果人脸识别结果所对应的用户不在车牌号所对应的用户中,则说明人脸识别结果与车牌照片的识别结果的不匹配。
具体来说,按照表2中的情况而言,如果人脸识别结果为张三,车牌号(车牌照片的识别结果)为京A123457,则说明人脸识别结果与车牌照片的识别结果的不匹配(京A123457所对应的用户是路人甲和路人乙,没有张三)。如果人脸识别结果为张三,车牌号(车牌照片的识别结果)为京A123456,则说明人脸识别结果与车牌照片的识别结果的匹配(京A123456所对应的用户是张三、李四,包含了人脸识别结果的张三)。
对应的,确定的操作方式有很多种,具体采用哪些操作方式可以根据不同的使用场景来设定。
比如,操作方式可以是如下操作方式中的任意一个或多个:若人脸识别结果与车牌照片的识别结果的不匹配,则进行报警;此处的报警,可以是向第三方安全机构发送短消息,也可以是向数据库中预存的与车牌号相关联的用户发送提示信息。
若人脸识别结果与车牌照片的识别结果的不匹配,则停止抬起停车杆(停车杆设置在停车场的出口或入口处,只有抬起了停车杆,车辆才能够进入到停车场中,或者是从停车场中离开)。
若人脸识别结果与车牌照片的识别结果的匹配,则抬起停车杆。
上述方案中,采用报警的方式来提示用户的主要目的是如果车辆被盗,则第一时间提示对应的用户。进而,步骤303还可以按照如下方式实现:
若人脸识别结果与车牌照片的识别结果的不匹配,则确定操作方式为向车牌照片的识别结果(车牌号)所对应的用户(车主)发送提示消息。
此处,向车牌照片的识别结果所对应的用户发送提示消息的目的是对用户进行提示。车牌号(车牌照片的识别结果)和用户的对应关系可以是预先录入到系统中的,通常情况下,应当是将车牌号所对应的车主建立对应关系。
与上述方法相对应的,本申请还提供了一种图像提取装置,包括:
第一获取模块,用于获取目标图像;
第一输入模块,用于将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
第一提取模块,用于根据倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
在一些实施例中,第一输入模块,包括:
第一输入单元,用于将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
第二输入单元,用于将目标图像输入到预先训练的倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
第一提取模块,包括:
第一提取单元,用于根据倾斜识别框的位置信息和非倾斜识别框的位置信息,从目标图像中提取目标对象所在的局部图像。
在一些实施例中,第一输入模块,包括:
第三输入单元,用于将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
第四输入单元,用于将目标图像中与非倾斜识别框的位置信息相对应的局部图像输入到倾斜图像提取模型中,以确定局部图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。
在一些实施例中,倾斜识别框的位置信息包括倾斜识别框顶点的位置信息;
装置还包括:
第一变换模块,用于根据预先获取到的透视变换矩阵和倾斜识别框顶点的位置信息,对目标图像中倾斜识别框信息所对应的局部图像进行透视变换,以得到包含有目标对象的非倾斜图像;
第一确定模块,用于将包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
在一些实施例中,还包括:
第二变换模块,用于根据预先获取到的仿射变换矩阵,对目标图像中倾斜识别框信息所对应的局部图像进行仿射变换,以得到包含有目标对象的非倾斜图像;
第二确定模块,用于将包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
在一些实施例中,第三输入单元,包括:
第一输入子单元,用于将目标图像输入到非倾斜图像提取模型的候选框生成网络中,以得到非倾斜图像提取模型的候选框生成网络所输出的多个非倾斜候选框的位置信息;
第一计算子单元,用于根据每个非倾斜候选框的位置信息,计算每个非倾斜候选框的重合度;
第一过滤子单元,用于根据每个非倾斜候选框的重合度,对多个非倾斜候选框的位置信息进行过滤;
第一选择子单元,用于从过滤后的多个非倾斜候选框的位置信息中选择目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息。
在一些实施例中,目标对象包括以下的任意一种:
车牌、证件、广告牌。
在一些实施例中,倾斜识别框的位置信息包括以下的任意一种或多种信息:
倾斜识别框的顶点的位置信息;倾斜识别框的中心点的位置信息;倾斜识别框的边沿的位置信息。
在一些实施例中,图像提取模型是按照如下模块训练得到的:
第二获取模块,用于获取样本图像;
第二输入模块,用于将样本图像输入到图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
第一训练模块,用于根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对图像提取模型进行训练。
在一些实施例中,非倾斜图像提取模型是按照如下模块训练得到的:
第三获取模块,用于获取样本图像;
第三输入模块,用于将样本图像输入到非倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考非倾斜识别框的位置信息;
第二训练模块,用于根据参考非倾斜识别框的位置信息和样本对象的标准位置信息的差别,对非倾斜图像提取模型进行训练。
在一些实施例中,倾斜图像提取模型是按照如下方式训练得到的:
第四获取模块,用于获取样本图像;
第四输入模块,用于将样本图像输入到倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
第三训练模块,用于根据参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对倾斜图像提取模型进行训练。
在一些实施例中,目标对象为车牌;
装置还包括:
第二提取模块,用于从目标图像中提取驾驶员的人脸照片;
第三确定模块,用于将人脸照片输入到人脸识别模型中,以确定人脸识别结果;
第四确定模块,用于根据人脸识别结果与目标对象的识别结果的匹配程度,确定操作方式。
与上述方法相对应的,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如图像提取方法的步骤。
如图8所示,为本申请实施例所提供的电子设备示意图,该电子设备1000包括:处理器1001、存储器1002和总线1003,存储器1002存储有执行指令,当电子设备运行时,处理器1001与存储器1002之间通过总线1003通信,处理器1001执行存储器1002中存储的提示信息发送方法的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (26)
1.一种图像提取方法,其特征在于,包括:
获取目标图像;
将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
根据所述倾斜识别框的位置信息,从目标图像中提取所述目标对象所在的局部图像。
2.根据权利要求1所述的方法,其特征在于,将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息,包括:
将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
将目标图像输入到预先训练的倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
根据所述倾斜识别框的位置信息,从目标图像中提取所述目标对象所在的局部图像,包括:
根据所述倾斜识别框的位置信息和所述非倾斜识别框的位置信息,从目标图像中提取所述目标对象所在的局部图像。
3.根据权利要求1所述的方法,其特征在于,将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息,包括:
将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
将目标图像中与非倾斜识别框的位置信息相对应的局部图像输入到倾斜图像提取模型中,以确定局部图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。
4.根据权利要求3所述的方法,其特征在于,所述倾斜识别框的位置信息包括倾斜识别框顶点的位置信息;
所述方法还包括:
根据预先获取到的透视变换矩阵和倾斜识别框顶点的位置信息,对目标图像中倾斜识别框信息所对应的局部图像进行透视变换,以得到包含有目标对象的非倾斜图像;
将所述包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
5.根据权利要求3所述的方法,其特征在于,还包括:
根据预先获取到的仿射变换矩阵,对目标图像中倾斜识别框信息所对应的局部图像进行仿射变换,以得到包含有目标对象的非倾斜图像;
将所述包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
6.根据权利要求3所述的方法,其特征在于,将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息,包括:
将目标图像输入到所述非倾斜图像提取模型的候选框生成网络中,以得到所述非倾斜图像提取模型的候选框生成网络所输出的多个非倾斜候选框的位置信息;
根据每个非倾斜候选框的位置信息,计算每个非倾斜候选框的重合度;
根据每个非倾斜候选框的重合度,对所述多个非倾斜候选框的位置信息进行过滤;
从过滤后的所述多个非倾斜候选框的位置信息中选择目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息。
7.根据权利要求3所述的方法,其特征在于,所述目标对象包括以下的任意一种:
车牌、证件、广告牌。
8.根据权利要求3所述的方法,其特征在于,倾斜识别框的位置信息包括以下的任意一种或多种信息:
倾斜识别框的顶点的位置信息;倾斜识别框的中心点的位置信息;倾斜识别框的边沿的位置信息。
9.根据权利要求2所述的方法,其特征在于,所述图像提取模型是按照如下方式训练得到的:
获取样本图像;
将样本图像输入到图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
根据所述参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对图像提取模型进行训练。
10.根据权利要求3所述的方法,其特征在于,所述非倾斜图像提取模型是按照如下方式训练得到的:
获取样本图像;
将样本图像输入到非倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考非倾斜识别框的位置信息;
根据所述参考非倾斜识别框的位置信息和样本对象的标准位置信息的差别,对非倾斜图像提取模型进行训练。
11.根据权利要求10所述的方法,其特征在于,所述倾斜图像提取模型是按照如下方式训练得到的:
获取样本图像;
将样本图像输入到倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
根据所述参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对倾斜图像提取模型进行训练。
12.根据权利要求4或5所述的方法,其特征在于,所述目标对象为车牌;
所述方法还包括:
从目标图像中提取驾驶员的人脸照片;
将所述人脸照片输入到人脸识别模型中,以确定人脸识别结果;
根据人脸识别结果与目标对象的识别结果的匹配程度,确定操作方式。
13.一种图像提取装置,其特征在于,包括:
第一获取模块,用于获取目标图像;
第一输入模块,用于将目标图像输入到预先训练的图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
第一提取模块,用于根据所述倾斜识别框的位置信息,从目标图像中提取所述目标对象所在的局部图像。
14.根据权利要求13所述的装置,其特征在于,第一输入模块,包括:
第一输入单元,用于将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
第二输入单元,用于将目标图像输入到预先训练的倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的倾斜识别框的位置信息;
第一提取模块,包括:
第一提取单元,用于根据所述倾斜识别框的位置信息和所述非倾斜识别框的位置信息,从目标图像中提取所述目标对象所在的局部图像。
15.根据权利要求13所述的装置,其特征在于,第一输入模块,包括:
第三输入单元,用于将目标图像输入到预先训练的非倾斜图像提取模型中,以确定目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息;
第四输入单元,用于将目标图像中与非倾斜识别框的位置信息相对应的局部图像输入到倾斜图像提取模型中,以确定局部图像中目标对象所在的位置区域对应的倾斜识别框的位置信息。
16.根据权利要求15所述的装置,其特征在于,所述倾斜识别框的位置信息包括倾斜识别框顶点的位置信息;
所述装置还包括:
第一变换模块,用于根据预先获取到的透视变换矩阵和倾斜识别框顶点的位置信息,对目标图像中倾斜识别框信息所对应的局部图像进行透视变换,以得到包含有目标对象的非倾斜图像;
第一确定模块,用于将所述包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
17.根据权利要求15所述的装置,其特征在于,还包括:
第二变换模块,用于根据预先获取到的仿射变换矩阵,对目标图像中倾斜识别框信息所对应的局部图像进行仿射变换,以得到包含有目标对象的非倾斜图像;
第二确定模块,用于将所述包含有目标对象的非倾斜图像输入到图像识别模型中,以确定目标对象的识别结果。
18.根据权利要求15所述的装置,其特征在于,第三输入单元,包括:
第一输入子单元,用于将目标图像输入到所述非倾斜图像提取模型的候选框生成网络中,以得到所述非倾斜图像提取模型的候选框生成网络所输出的多个非倾斜候选框的位置信息;
第一计算子单元,用于根据每个非倾斜候选框的位置信息,计算每个非倾斜候选框的重合度;
第一过滤子单元,用于根据每个非倾斜候选框的重合度,对所述多个非倾斜候选框的位置信息进行过滤;
第一选择子单元,用于从过滤后的所述多个非倾斜候选框的位置信息中选择目标图像中目标对象所在的位置区域对应的非倾斜识别框的位置信息。
19.根据权利要求15所述的装置,其特征在于,所述目标对象包括以下的任意一种:
车牌、证件、广告牌。
20.根据权利要求15所述的装置,其特征在于,倾斜识别框的位置信息包括以下的任意一种或多种信息:
倾斜识别框的顶点的位置信息;倾斜识别框的中心点的位置信息;倾斜识别框的边沿的位置信息。
21.根据权利要求14所述的装置,其特征在于,所述图像提取模型是按照如下模块训练得到的:
第二获取模块,用于获取样本图像;
第二输入模块,用于将样本图像输入到图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
第一训练模块,用于根据所述参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对图像提取模型进行训练。
22.根据权利要求15所述的装置,其特征在于,所述非倾斜图像提取模型是按照如下模块训练得到的:
第三获取模块,用于获取样本图像;
第三输入模块,用于将样本图像输入到非倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考非倾斜识别框的位置信息;
第二训练模块,用于根据所述参考非倾斜识别框的位置信息和样本对象的标准位置信息的差别,对非倾斜图像提取模型进行训练。
23.根据权利要求22所述的装置,其特征在于,所述倾斜图像提取模型是按照如下方式训练得到的:
第四获取模块,用于获取样本图像;
第四输入模块,用于将样本图像输入到倾斜图像提取模型中,以确定样本图像中样本对象所在的位置区域对应的参考倾斜识别框的位置信息;
第三训练模块,用于根据所述参考倾斜识别框的位置信息和样本对象的标准位置信息的差别,对倾斜图像提取模型进行训练。
24.根据权利要求16或17所述的装置,其特征在于,所述目标对象为车牌;
所述装置还包括:
第二提取模块,用于从目标图像中提取驾驶员的人脸照片;
第三确定模块,用于将所述人脸照片输入到人脸识别模型中,以确定人脸识别结果;
第四确定模块,用于根据人脸识别结果与目标对象的识别结果的匹配程度,确定操作方式。
25.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行时执行如权利要求1至12任一所述的图像提取方法的步骤。
26.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至12任一所述的图像提取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910143421.2A CN111611994B (zh) | 2019-02-26 | 2019-02-26 | 图像提取方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910143421.2A CN111611994B (zh) | 2019-02-26 | 2019-02-26 | 图像提取方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111611994A true CN111611994A (zh) | 2020-09-01 |
CN111611994B CN111611994B (zh) | 2024-04-05 |
Family
ID=72195843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910143421.2A Active CN111611994B (zh) | 2019-02-26 | 2019-02-26 | 图像提取方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111611994B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418043A (zh) * | 2020-11-16 | 2021-02-26 | 安徽农业大学 | 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质 |
CN112926463A (zh) * | 2021-03-02 | 2021-06-08 | 普联国际有限公司 | 一种目标检测方法和装置 |
WO2022267387A1 (zh) * | 2021-06-21 | 2022-12-29 | 梅卡曼德(北京)机器人科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03232100A (ja) * | 1990-02-08 | 1991-10-16 | Mitsubishi Heavy Ind Ltd | ナンバープレート読み取り装置 |
JP2006004051A (ja) * | 2004-06-16 | 2006-01-05 | Digital Fashion Ltd | 画像処理プログラム、画像処理装置、及び画像処理方法 |
CN107704857A (zh) * | 2017-09-25 | 2018-02-16 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
CN108182691A (zh) * | 2018-01-02 | 2018-06-19 | 北京汽车集团有限公司 | 识别限速标志的方法、装置及车辆 |
CN108968811A (zh) * | 2018-06-20 | 2018-12-11 | 四川斐讯信息技术有限公司 | 一种扫地机器人的物体识别方法及系统 |
CN108985137A (zh) * | 2017-06-02 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法、装置及系统 |
CN109359502A (zh) * | 2018-08-13 | 2019-02-19 | 北京市商汤科技开发有限公司 | 防伪检测方法和装置、电子设备、存储介质 |
-
2019
- 2019-02-26 CN CN201910143421.2A patent/CN111611994B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03232100A (ja) * | 1990-02-08 | 1991-10-16 | Mitsubishi Heavy Ind Ltd | ナンバープレート読み取り装置 |
JP2006004051A (ja) * | 2004-06-16 | 2006-01-05 | Digital Fashion Ltd | 画像処理プログラム、画像処理装置、及び画像処理方法 |
CN108985137A (zh) * | 2017-06-02 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种车牌识别方法、装置及系统 |
CN107704857A (zh) * | 2017-09-25 | 2018-02-16 | 北京邮电大学 | 一种端到端的轻量级车牌识别方法及装置 |
CN108182691A (zh) * | 2018-01-02 | 2018-06-19 | 北京汽车集团有限公司 | 识别限速标志的方法、装置及车辆 |
CN108968811A (zh) * | 2018-06-20 | 2018-12-11 | 四川斐讯信息技术有限公司 | 一种扫地机器人的物体识别方法及系统 |
CN109359502A (zh) * | 2018-08-13 | 2019-02-19 | 北京市商汤科技开发有限公司 | 防伪检测方法和装置、电子设备、存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112418043A (zh) * | 2020-11-16 | 2021-02-26 | 安徽农业大学 | 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质 |
CN112418043B (zh) * | 2020-11-16 | 2022-10-28 | 安徽农业大学 | 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质 |
CN112926463A (zh) * | 2021-03-02 | 2021-06-08 | 普联国际有限公司 | 一种目标检测方法和装置 |
CN112926463B (zh) * | 2021-03-02 | 2024-06-07 | 普联国际有限公司 | 一种目标检测方法和装置 |
WO2022267387A1 (zh) * | 2021-06-21 | 2022-12-29 | 梅卡曼德(北京)机器人科技有限公司 | 图像识别方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111611994B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569878B (zh) | 一种基于卷积神经网络的照片背景相似度聚类方法及计算机 | |
US11023708B2 (en) | Within document face verification | |
US20200410074A1 (en) | Identity authentication method and apparatus, electronic device, and storage medium | |
EP1693783B1 (en) | Fast method of object detection by statistical template matching | |
US7715596B2 (en) | Method for controlling photographs of people | |
CN114930408A (zh) | 用于从流程图图像中自动提取信息的系统、方法和计算机程序产品 | |
CN103914676B (zh) | 一种在人脸识别中使用的方法和装置 | |
US8577099B2 (en) | Method, apparatus, and program for detecting facial characteristic points | |
US20020126893A1 (en) | Automatic color defect correction | |
US20060039600A1 (en) | 3D object recognition | |
CN112686812A (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
US11144752B1 (en) | Physical document verification in uncontrolled environments | |
CN111611994A (zh) | 图像提取方法、装置、电子设备和存储介质 | |
US9704024B2 (en) | Object discriminating apparatus and method | |
JP2005250556A (ja) | トリミング処理方法および装置並びにプログラム | |
CN109815823B (zh) | 数据处理方法及相关产品 | |
CN114445843A (zh) | 固定版式的卡证图像文字识别方法和装置 | |
CN111222452A (zh) | 一种人脸匹配方法、装置、电子设备及可读存储介质 | |
CN111192241A (zh) | 一种人脸图像的质量评估方法、装置及计算机存储介质 | |
JP6542230B2 (ja) | 投影ひずみを補正するための方法及びシステム | |
CN111310751B (zh) | 车牌识别方法、装置、电子设备和存储介质 | |
CN112991159B (zh) | 人脸光照质量评估方法、系统、服务器与计算机可读介质 | |
CN114445788A (zh) | 车辆停放检测方法、装置、终端设备和可读存储介质 | |
Jiao et al. | Individual Building Rooftop and Tree Crown Segmentation from High‐Resolution Urban Aerial Optical Images | |
Graf et al. | Robust image segmentation in low depth of field images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |