一种图像处理方法及装置、一种计算设备及存储介质
技术领域
本申请涉及计算机图像处理技术领域,特别涉及一种图像处理方法及装置、一种计算设备及计算机可读存储介质。
背景技术
证件文字OCR(Optical Character Recognition,光学字符识别)在互联网金融等身份认证场景得到了普遍应用。证件文字OCR是指使用OCR技术对用户提供的证件照片进行处理,从而提取并识别证件上的用户信息(如提取身份证照片上的用户姓名、生日、证件有效期等信息)。在现实场景中,由于用户拍摄证件照片的环境复杂多样(如不同的光照角度与强度等),经常会出现在拍摄的证件照片上出现反光的情况。如果反光正好出现在文字区域,则会导致该证件照片上反光部分的文字信息丢失,从而无法采用OCR技术对证件照片上的文字等进行正常识别。
发明内容
有鉴于此,本说明书实施例提供了一种图像处理方法及装置、一种计算设备及计算机可读存储介质,以解决现有技术中存在的技术缺陷。
第一方面,本说明书实施例公开了一种图像处理方法,包括:
获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像;
基于预设算法将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像;
确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识;
基于所述正面图像的第一检测框和第二检测框、所述至少两张调整图像的第一检测框和第二检测框确定待融合的第二检测框;
基于预设的图像融合算法对含有所述待融合的第二检测框的图像进行图像融合。
可选地,获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像,包括:
通过摄像头获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像;其中,所述正面图像为与所述摄像头呈平行关系的图像,所述侧面图像为与所述摄像头呈预定倾斜角度的图像。
可选地,基于预设算法将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像,包括:
基于图像配准算法确定每张侧面图像的空间位置和所述正面图像的空间位置的映射关系;
基于所述映射关系将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像。
可选地,基于所述正面图像的第一检测框和第二检测框、所述至少两张调整图像的第一检测框和第二检测框确定待融合的第二检测框,包括:
基于所述正面图像的第二检测框和所述至少两张调整图像的第二检测框确定待选择的第二检测框;
基于所述正面图像第一检测框、所述至少两张调整图像的第一检测框和所述待选择的第二检测框确定待融合的第二检测框。
可选地,基于所述正面图像的第二检测框和所述至少两张调整图像的第二检测框确定待选择的第二检测框,包括:
将所述正面图像的第二检测框分别与每张调整图像的第二检测框进行重叠;
确定重叠面积小于第一预设阈值的所述正面图像的第二检测框和每张所述调整图像的第二检测框为待选择的第二检测框。
可选地,基于所述正面图像第一检测框、所述至少两张调整图像的第一检测框和所述待选择的第二检测框确定待融合的第二检测框,包括:
若所述正面图像的第一检测框与对应的所述待选择的第二检测框的重叠面积小于第二预设阈值,则确定所述待选择的第二检测框为正面图像第二检测框,若每张调整图像的第一检测框与对应的所述待选择的第二检测框的重叠面积小于第二预设阈值,则确定所述待选择的第二检测框为调整图像第二检测框,所述正面图像第二检测框和所述调整图像第二检测框构成待融合的第二检测框。
可选地,基于预设的图像融合算法对含有所述待融合的第二检测框的图像进行图像融合,包括:
基于预设的图像融合算法对含有所述待融合的第二检测框的正面图像和调整图像进行图像融合,形成一张融合图像。
可选地,所述方法还包括:
识别所述融合图像中的文字。
可选地,确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域,包括:
基于预先训练的卷积神经网络模型确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域。
第二方面,本说明书实施例提供了一种图像处理装置,包括:
获取模块,被配置为获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像;
调整模块,被配置为基于预设算法将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像;
第一确定模块,被配置为确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识;
第二确定模块,被配置为基于所述正面图像的第一检测框和第二检测框、所述至少两张调整图像的第一检测框和第二检测框确定待融合的第二检测框;
融合模块,被配置为基于预设的图像融合算法对含有所述待融合的第二检测框的图像进行图像融合。
可选地,所述获取模块,进一步被配置为:
通过摄像头获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像;其中,所述正面图像为与所述摄像头呈平行关系的图像,所述侧面图像为与所述摄像头呈预定倾斜角度的图像。
可选地,所述调整模块,包括:
第三确定子模块,被配置为基于图像配准算法确定每张侧面图像的空间位置和所述正面图像的空间位置的映射关系;
对齐子模块,被配置为基于所述映射关系将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像。
可选地,所述第二确定模块,包括:
第四确定子模块,被配置为基于所述正面图像的第二检测框和所述至少两张调整图像的第二检测框确定待选择的第二检测框;
第五确定子模块,被配置为基于所述正面图像第一检测框、所述至少两张调整图像的第一检测框和所述待选择的第二检测框确定待融合的第二检测框。
可选地,所述第四确定子模块,进一步被配置为:
将所述正面图像的第二检测框分别与每张调整图像的第二检测框进行重叠;
确定重叠面积小于第一预设阈值的所述正面图像的第二检测框和每张所述调整图像的第二检测框为待选择的第二检测框。
可选地,所述第五确定子模块,进一步被配置为:
若所述正面图像的第一检测框与对应的所述待选择的第二检测框的重叠面积小于第二预设阈值,则确定所述待选择的第二检测框为正面图像第二检测框,若每张调整图像的第一检测框与对应的所述待选择的第二检测框的重叠面积小于第二预设阈值,则确定所述待选择的第二检测框为调整图像第二检测框,所述正面图像第二检测框和所述调整图像第二检测框构成待融合的第二检测框。
可选地,所述融合模块,进一步被配置为:
基于预设的图像融合算法对含有所述待融合的第二检测框的正面图像和调整图像进行图像融合,形成一张融合图像。
可选地,所述装置还包括:
识别模块,被配置为识别所述融合图像中的文字。
可选地,所述第一确定模块,进一步被配置为:
基于预先训练的卷积神经网络模型确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域。
第三方面,本说明书实施例公开了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述指令时实现如上所述图像处理方法的步骤。
第四方面,本说明书实施例公开了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如上所述图像处理方法的步骤。
本申请提供的一种图像处理方法及装置、一种计算设备及计算机可读存储介质,其中,所述方法包括获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像;基于预设算法将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像;确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识;基于所述正面图像的第一检测框和第二检测框、所述至少两张调整图像的第一检测框和第二检测框确定待融合的第二检测框;基于预设的图像融合算法对含有所述待融合的第二检测框的图像进行图像融合。通过获取不同角度的目标物体的图像,然后对不同角度的目标物体的图像做处理,利用不同角度的目标物体的图像进行融合消除反光影响,极大的提高了后续对图像中文字识别的准确性。
附图说明
图1是本说明书一个或多个实施例提供的一种计算设备的结构框图;
图2是本说明书一个或多个实施例提供的一种图像处理方法的流程图;
图3是本说明书一个或多个实施例提供一种图像处理方法以身份证为目标物体的多角度图像示意图;
图4是本说明书一个或多个实施例提供的一种图像处理方法的流程图;
图5是本说明书一个或多个实施例提供的一种图像处理方法的流程图;
图6是本说明书一个或多个实施例提供的一种图像处理方法的流程图;
图7是本说明书一个或多个实施例提供的一种图像处理装置的流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本发明一个或多个实施例涉及的名词术语进行解释。
OCR:英文全称:Optical Character Recognition,中文全称:光学字符识别,是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符,通过检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字的过程。
核身:对用户身份的真实性进行核验。
证件合规:检查证件照片是否合乎算法要求的输入规范。
在本申请中,提供了一种图像处理方法及装置、一种计算设备及计算机可读存储介质,在下面的实施例中逐一进行详细说明。
图1是示出了根据本说明书一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存数据。
计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中,处理器120可以执行图2所示方法中的步骤。图2示出了根据本说明书一实施例的一种图像处理方法的示意性流程图,包括步骤202至步骤210。
步骤202:获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像。
其中,所述目标物体包括但不限于待核身的证件,例如身份证、结婚证或社保卡等。为了便于描述,本说明书一个或多个实施例中均以所述目标物体为身份证为例进行说明。
在所述目标物体为身份证的情况下,获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像,即获取同一场景下,身份证的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像;所述同一场景包括但不限于以桌面或纯色纸张等为目标物体背景的场景。
本说明书一个或多个实施例中,获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像,包括:
通过摄像头获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像,其中,所述正面图像为与所述摄像头呈平行关系的图像,所述侧面图像为与所述摄像头呈预定倾斜角度的图像。
参见图3,实际应用中,仍以目标物体为身份证为例,获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像,即是通过摄像头获取同一场景下,身份证的正面图像和以所述正面图像为基础的上、下、左、右四个角度的四张侧面图像。
其中,所述正面图像为图3的a部区域,所述上侧面图像为图3的b部区域,所述下侧面图像为图3的c部区域,所述左侧面图像为图3的d部区域,所述右侧面图像为图3的e部区域;
而a部区域是与所述摄像头呈平行关系的图像;b部区域、c部区域、d部区域和e部区域分别为以所述a部区域为基础,与所述摄像头呈预定倾斜角度的上、下、左、右四侧的图像,所述倾斜角度可以根据实际拍摄过程进行设置,例如20度、30度等,本说明书对此不作任何限定。
步骤204:基于预设算法将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像。
其中,所述预设算法包括但不限于图像配准算法,即Image registration算法,图像配准算法可以使两幅图像之间在某种意义上达到匹配。
在所述预设算法为图像配准算法的情况下,基于预设算法将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像,包括:
基于图像配准算法确定每张侧面图像的空间位置和所述正面图像的空间位置的映射关系;
基于所述映射关系将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像。
即首先对所述至少两张侧面图像中的每张侧面图像和所述正面图像进行特征提取得到特征点,通过进行相似性度量找到匹配的特征点对,然后通过匹配的特征点对得到图像空间坐标变换参数,最后由坐标变换参数进行图像配准。其中,特征点即是图像的点、线以及边缘等特征信息。
实际应用中,即是通过Image registration算法将所述至少两张侧面图像2Dhomography变换到正面图像拍摄的样子,把每张侧面图像都通过2D homography变换到正面图像的视角,使得每张侧面图像与正面图像的视角对齐,其中,2D homography是用来计算一堆在同一个三维平面上的点在不同的二维图像中的投影位置的,是一个一对一的映射,homography可以用来计算一幅图像中的不同平面的变换,也可以是不同图像中的同一个平面的变换。
步骤206:确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识。
其中,可以基于预先训练的卷积神经网络模型确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域。其中,卷积神经网络模型即CNN,英文全称为:Convolutional Neural Networks。
若所述正面图像和所述至少两张调整图像为身份证的正面图像、调整后的上侧面图像、下侧面图像、左侧面图像和右侧面图像,确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识,
则可以是通过预先训练的卷积神经网络模型识别出身份证的正面图像、调整后的上侧面图像、下侧面图像、左侧面图像和右侧面图像中每张图像的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识。
实际应用中,每张图像可以有反光区域,也可以没有反光区域,并且每张图像的反光区域可以包括但不限于至少一处;每张图像的文字区域也可以包括但不限于至少一处,并且所述第一检测框和所述第二检测框可以包括但不限于使用矩形框表示。
步骤208:基于所述正面图像的第一检测框和第二检测框、所述至少两张调整图像的第一检测框和第二检测框确定待融合的第二检测框。
本说明书一个或多个实施例中,基于所述正面图像的第一检测框和第二检测框、所述至少两张调整图像的第一检测框和第二检测框确定待融合的第二检测框,包括:
基于所述正面图像的第二检测框和所述至少两张调整图像的第二检测框确定待选择的第二检测框;
基于所述正面图像第一检测框、所述至少两张调整图像的第一检测框和所述待选择的第二检测框确定待融合的第二检测框。
参见图4,基于所述正面图像的第二检测框和所述至少两张调整图像的第二检测框确定待选择的第二检测框,包括步骤402至步骤404。
步骤402:将所述正面图像的第二检测框分别与每张调整图像的第二检测框进行重叠。
步骤404:确定重叠面积小于第一预设阈值的所述正面图像的第二检测框和每张所述调整图像的第二检测框为待选择的第二检测框。
其中,所述第一预设阈值包括但不限于0.8、1.2等,具体可以根据实际应用进行设置。在所述第一预设阈值为0.8的情况下,确定重叠面积小于第一预设阈值的所述正面图像的第二检测框和每张所述调整图像的第二检测框为待选择的第二检测框,即在所述正面图像的第二检测框与某张调整图像的第二检测框的重叠面积小于0.8的情况下,将所述正面图像的第二检测框和该调整图像的第二检测框确定为待选择的第二选择框;在所述正面图像的第二检测框与某张调整图像的第二检测框的重叠面积大于等于0.8的情况下,删除该调整图像的第二检测框,然后以上述方式为例,对其它剩余调整图像进行第二检测框的排除。
本说明书实施例可以实现将重叠面积较大的文字区域进行删除,避免后续进行图像融合时增加工作量,降低图像融合工作效率。
本说明书一个或多个实施例中,基于所述正面图像第一检测框、所述至少两张调整图像的第一检测框和所述待选择的第二检测框确定待融合的第二检测框,包括:
若所述正面图像的第一检测框与对应的所述待选择的第二检测框的重叠面积小于第二预设阈值,则确定所述待选择的第二检测框为正面图像第二检测框,若每张调整图像的第一检测框与对应的所述待选择的第二检测框的重叠面积小于第二预设阈值,则确定所述待选择的第二检测框为调整图像第二检测框,所述正面图像第二检测框和所述调整图像第二检测框构成待融合的第二检测框。
实际应用中,以所述第二预设阈值为0.8为例,若所述正面图像的第一检测框与所述正面图像的待选择的第二检测框的重叠面积小于0.8,则确定所述待选择的第二检测框为正面图像第二检测框;若每张调整图像的第一检测框和每张所述调整图像的待选择的第二检测框的重叠面积小于0.8,则确定所述待选择的第二检测框为调整图像第二检测框,所述正面图像第二检测框和所述调整图像第二检测框构成待融合的第二检测框。
本说明书实施例可以实现将反光面积较大的文字区域排除,不进行后续的图像融合。
步骤210:基于预设的图像融合算法对含有所述待融合的第二检测框的图像进行图像融合。
本说明书一个或多个实施例中,基于预设的图像融合算法对含有所述待融合的第二检测框的图像进行图像融合,包括:
基于预设的图像融合算法对含有所述待融合的第二检测框的正面图像和调整图像进行图像融合,形成一张融合图像。
其中,预设的图像融合算法可以包括但不限于泊松融合算法,即PoissonBlending算法,又叫alpha blending算法,就是把不同的图像的不同部分放在一起,形成一张新的图像,让目标图像在融合部分“生长”出源图像。也就是说,只提供原图像的斜率,让目标图像根据自己图像的特点,按照对应斜率生成融合部分。
本说明书一个或多个实施例中,所述图像处理方法可以通过摄像头拍摄到目标物体(例如用户证件)从上、中、下、左、右共五个角度的图像,通过预定的角度对准目标物体拍摄,保证目标物体可以被精准的拍摄到,从而获取到目标物体五种角度的图像。由于拍摄角度的不同,每张图像上的反光区域与角度也会不同,目标物体图像上的同一个文字位置,从五个角度都被反光覆盖的概率相比传统的只有正面图像一个角度的情况大大降低,采用这种多角度信息输入的方式大大降低了目标物体的图像中文字区域被反光影响的概率,最后将目标物体的五个角度处理后的图像融合起来消除反光的影响,极大的提高用户体验。
其中,处理器120可以执行图5所示方法中的步骤。图5示出了根据本说明书一实施例的一种图像处理方法的示意性流程图,包括步骤502至步骤512。
步骤502:获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像。
步骤504:基于预设算法将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像。
步骤506:确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识。
步骤508:基于所述正面图像的第一检测框和第二检测框、所述至少两张调整图像的第一检测框和第二检测框确定待融合的第二检测框。
步骤510:基于预设的图像融合算法对含有所述待融合的第二检测框的图像进行图像融合。
本说明书一个或多个实施例中,步骤502至步骤510的具体实现方式可以参见上述实施例,在此不再赘述。
步骤512:识别所述融合图像中的文字。
其中,可以通过OCR技术识别所述融合图像中的文字。
本说明书一个或多个实施例中,所述图像处理方法通过采集目标物体不同角度的目标物体图像,从而利用多图像输入对反光区域做反光消除,极大的提高了反光消除后图像的鲁棒性,可以较大层度上消除反光对目标图像上文字OCR识别的影响,最终提高了OCR识别目标图像中文字的准确率。
参见图3和图6,以所述目标物体为身份证为例,对所述图像处理方法进行详细说明,具体包括步骤602至步骤628。
步骤602:通过手机APP的证件照UI采集界面,用手机摄像头获取同一场景下身份证的正面图像以及以所述正面图像为基础的上、下、左、右四个侧面图像。
步骤604:基于Image registration算法将上、下、左、右四个侧面图像调整为与所述正面图像空间位置对齐的上、下、左、右四个调整图像。
步骤606:确定所述正面图像和所述上、下、左、右四个调整图像上的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识。
步骤608:将所述正面图像的第二检测框分别与每张调整图像的第二检测框进行重叠。
步骤610:确定重叠面积小于0.8的所述正面图像的第二检测框和每张调整图像的第二检测框为待选择的第二检测框。
步骤612:判断所述正面图像的第一检测框和所述正面图像的待选择的第二检测框的重叠面积是否小于0.8,若是,则执行步骤614,若否,则执行步骤616。
步骤614:确定所述正面图像的待选择的第二检测框为正面图像第二检测框。
步骤616:删除所述正面图像的待选择的第二检测框。
步骤618:判断每张调整图像的第一检测框和对应的调整图像的待选择的第二检测框的重叠面积是否小于0.8,若是,则执行步骤620,若否,则执行步骤622。
步骤620:确定所述待选择的第二检测框为调整图像第二检测框。
步骤622:删除所述调整图像的待选择的第二检测框。
步骤624:所述正面图像第二检测框和所述调整图像第二检测框构成待融合的第二检测框。
步骤626:基于Poisson Blending算法对含有所述待融合的第二检测框的正面图像和调整图像进行图像融合,形成一张融合图像。
步骤628:通过OCR识别所述融合图像中的文字。
本说明书一个或多个实施例中,所述图像处理方法通过手机APP的UI证件照采集界面,获取多张不同角度的身份证图像来防止因为反光问题带来的身份证上的文字丢失,并采用图像对齐、反光消除以及多图融合算法等实现对获取的不同角度的多张图片的融合,使得采用OCR识别技术对融合后的身份证图像上的文字进行识别时,极大的提高了识别的准确率,提升用户体验。
参见图7,本说明书一个或多个实施例提供了一种图像处理装置,包括:
获取模块702,被配置为获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像;
调整模块704,被配置为基于预设算法将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像;
第一确定模块706,被配置为确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域,并将所述反光区域用第一检测框标识,将所述文字区域用第二检测框标识;
第二确定模块708,被配置为基于所述正面图像的第一检测框和第二检测框、所述至少两张调整图像的第一检测框和第二检测框确定待融合的第二检测框;
融合模块710,被配置为基于预设的图像融合算法对含有所述待融合的第二检测框的图像进行图像融合。
可选地,所述获取模块702,进一步被配置为:
通过摄像头获取同一场景下,目标物体的正面图像和以所述正面图像为基础的不同角度的至少两张侧面图像;其中,所述正面图像为与所述摄像头呈平行关系的图像,所述侧面图像为与所述摄像头呈预定倾斜角度的图像。
可选地,所述调整模块704,包括:
第三确定子模块,被配置为基于图像配准算法确定每张侧面图像的空间位置和所述正面图像的空间位置的映射关系;
对齐子模块,被配置为基于所述映射关系将所述至少两张侧面图像调整为与所述正面图像空间位置对齐的至少两张调整图像。
可选地,所述第二确定模块708,包括:
第四确定子模块,被配置为基于所述正面图像的第二检测框和所述至少两张调整图像的第二检测框确定待选择的第二检测框;
第五确定子模块,被配置为基于所述正面图像第一检测框、所述至少两张调整图像的第一检测框和所述待选择的第二检测框确定待融合的第二检测框。
可选地,所述第四确定子模块,进一步被配置为:
将所述正面图像的第二检测框分别与每张调整图像的第二检测框进行重叠;
确定重叠面积小于第一预设阈值的所述正面图像的第二检测框和每张所述调整图像的第二检测框为待选择的第二检测框。
可选地,所述第五确定子模块,进一步被配置为:
若所述正面图像的第一检测框与对应的所述待选择的第二检测框的重叠面积小于第二预设阈值,则确定所述待选择的第二检测框为正面图像第二检测框,若每张调整图像的第一检测框与对应的所述待选择的第二检测框的重叠面积小于第二预设阈值,则确定所述待选择的第二检测框为调整图像第二检测框,所述正面图像第二检测框和所述调整图像第二检测框构成待融合的第二检测框。
可选地,所述融合模块710,进一步被配置为:
基于预设的图像融合算法对含有所述待融合的第二检测框的正面图像和调整图像进行图像融合,形成一张融合图像。
可选地,所述装置还包括:
识别模块,被配置为识别所述融合图像中的文字。
可选地,所述第一确定模块706,进一步被配置为:
基于预先训练的卷积神经网络模型确定所述正面图像和所述至少两张调整图像上的反光区域和文字区域。
本说明书一个或多个实施例中,所述图像处理装置可以通过摄像头拍摄到目标物体(例如用户证件)从上、中、下、左、右等多个角度的图像,通过预定的角度对准目标物体拍摄,保证目标物体可以被精准的拍摄到,从而获取到目标物体多种角度的图像。由于拍摄角度的不同,每张图像上的反光区域与角度也会不同,目标物体图像上的同一个文字位置,从多个角度都被反光覆盖的概率相比传统的只有正面图像一个角度的情况大大降低,采用这种多角度信息输入的方式大大降低了目标物体的图像中文字区域被反光影响的概率,最后将目标物体的五个角度处理后的图像融合起来消除反光的影响,极大的提高用户体验。
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如前所述图像处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本申请的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。