CN108510472A - 用于处理图像的方法和装置 - Google Patents
用于处理图像的方法和装置 Download PDFInfo
- Publication number
- CN108510472A CN108510472A CN201810191220.5A CN201810191220A CN108510472A CN 108510472 A CN108510472 A CN 108510472A CN 201810191220 A CN201810191220 A CN 201810191220A CN 108510472 A CN108510472 A CN 108510472A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- subgraph
- images
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了用于处理图像的方法和装置。该方法的一具体实施方式包括:获取待识别图像;将待识别图像划分为至少两个子图像;对于至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息,其中,目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。该实施方式提高了对待识别图像进行识别的准确性。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于处理图像的方法和装置。
背景技术
计算机视觉技术是一门研究如何使机器“看”的技术。计算机视觉技术利用摄影机和电脑代替人眼对目标进行识别、跟踪、测量等,再进一步做图形处理,使目标图像被处理成为更适合人眼观察或传送给仪器检测的图像。
计算机视觉技术可以应用于人脸识别、物体识别、工业品检测等多种领域。例如,在轮胎制造行业,可以通过采集轮胎的X光图像,并对采集的X光图像进行分析,以判断轮胎是否具有缺陷。
发明内容
本申请实施例提出了用于处理图像的方法和装置。
第一方面,本申请实施例提供了一种用于处理图像的方法,该方法包括:获取待识别图像;将待识别图像划分为至少两个子图像;对于至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息,其中,目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
在一些实施例中,目标检测模型通过如下步骤训练得到:获取多个样本纹理图像,多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息;获取预设的第一卷积神经网络;利用机器学习方法,将多个样本纹理图像中的每个样本纹理图像作为第一卷积神经网络的输入,将多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为输出,训练得到目标检测模型。
在一些实施例中,对该子图像进行滤波处理,得到该子图像的纹理图像,包括:提取该子图像的频谱信息;基于所提取的频谱信息对该子图像进行滤波处理,得到该子图像的纹理图像。
在一些实施例中,用于处理图像的方法还包括:对于至少两个子图像中的每个子图像,将该子图像与该子图像的纹理图像进行差分运算,得到该子图像的背景图像;将所得到的背景图像输入至目标检测模型,确定是否得到该子图像的背景图像包括的第二目标图像的位置信息和类别信息;响应于确定得到第二目标图像的位置信息和类别信息,输出所得到的第二目标图像的位置信息和类别信息。
在一些实施例中,目标检测模型通过如下步骤训练得到:获取多个样本纹理图像,多个样本背景图像,多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息,多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息;获取预设的第二卷积神经网络;利用机器学习方法,将多个样本纹理图像中的每个样本纹理图像作为第二卷积神经网络的输入,将多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为第二卷积神经网络的输出,以及将多个样本背景图像中的每个样本背景图像作为第二卷积神经网络的输入,将多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息作为第二卷积神经网络的输出,训练得到目标检测模型。
在一些实施例中,将待识别图像划分为至少两个子图像,包括:将待识别图像输入至预先训练的区域划分模型,得到至少一个用于指定待识别图像中的区域图像的区域信息,其中,区域划分模型用于表征待识别图像和区域信息的对应关系;对于所得到的至少一个区域信息中的每个区域信息,根据该区域信息确定待识别图像中的区域图像;对于所确定的各个区域图像中的每个区域图像,将该区域图像划分为至少两个子图像。
在一些实施例中,区域划分模型通过如下步骤训练得到:获取多个样本图像和用于标注多个样本图像中的每个样本图像中的区域图像的标注区域信息;获取预设的第三卷积神经网络;利用机器学习方法,将多个样本图像中的每个样本图像作为第三卷积神经网络的输入,将多个样本图像中的每个样本图像对应的标注区域信息作为第三卷积神经网络的输出,训练得到区域划分模型。
在一些实施例中,用于处理图像的方法还包括:基于待识别图像,以及所输出的位置信息和类别信息,生成包括位置标记和类别标记的目标标记图像。
第二方面,本申请实施例提供了一种用于处理图像的装置,该装置包括:获取单元,配置用于获取待识别图像;划分单元,配置用于将待识别图像划分为至少两个子图像;第一检测单元,配置用于对于至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息,其中,目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
在一些实施例中,目标检测模型通过如下步骤训练得到:获取多个样本纹理图像,多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息;获取预设的第一卷积神经网络;利用机器学习方法,将多个样本纹理图像中的每个样本纹理图像作为第一卷积神经网络的输入,将多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为输出,训练得到目标检测模型。
在一些实施例中,第一检测单元包括:提取模块,配置用于提取该子图像的频谱信息;滤波模块,基于所提取的频谱信息对该子图像进行滤波处理,得到该子图像的纹理图像。
在一些实施例中,用于生成信息的装置还包括:第二检测单元,配置用于对于至少两个子图像中的每个子图像,将该子图像与该子图像的纹理图像进行差分运算,得到该子图像的背景图像;将所得到的背景图像输入至目标检测模型,确定是否得到该子图像的背景图像包括的第二目标图像的位置信息和类别信息;响应于确定得到第二目标图像的位置信息和类别信息,输出所得到的第二目标图像的位置信息和类别信息。
在一些实施例中,目标检测模型通过如下步骤训练得到:获取多个样本纹理图像,多个样本背景图像,多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息,多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息;获取预设的第二卷积神经网络;利用机器学习方法,将多个样本纹理图像中的每个样本纹理图像作为第二卷积神经网络的输入,将多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为第二卷积神经网络的输出,以及将多个样本背景图像中的每个样本背景图像作为第二卷积神经网络的输入,将多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息作为第二卷积神经网络的输出,训练得到目标检测模型。
在一些实施例中,划分单元包括:第一划分模块,配置用于将待识别图像输入至预先训练的区域划分模型,得到至少一个用于指定待识别图像中的区域图像的区域信息,其中,区域划分模型用于表征待识别图像和区域信息的对应关系;确定模块,配置用于对于所得到的至少一个区域信息中的每个区域信息,根据该区域信息确定待识别图像中的区域图像;第二划分模块,对于所确定的各个区域图像中的每个区域图像,将该区域图像划分为至少两个子图像。
在一些实施例中,区域划分模型通过如下步骤训练得到:获取多个样本图像和用于标注多个样本图像中的每个样本图像中的区域图像的标注区域信息;获取预设的第三卷积神经网络;利用机器学习方法,将多个样本图像中的每个样本图像作为第三卷积神经网络的输入,将多个样本图像中的每个样本图像对应的标注区域信息作为第三卷积神经网络的输出,训练得到区域划分模型。
在一些实施例中,用于生成信息的装置还包括:生成单元,配置用于基于待识别图像,以及所输出的位置信息和类别信息,生成包括位置标记和类别标记的目标标记图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于处理图像的方法和装置,通过对待识别图像进行划分,再通过目标检测模型来对所划分的图像进行检测,以确定是否得到目标图像的位置信息和类别信息,响应于确定得到位置信息和类别信息,则输出所得到的位置信息和类别信息,从而提高了对待识别图像进行处理的灵活性,以及提高了对待识别图像进行识别的准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的用于处理图像的方法的一个实施例的流程图;
图3是根据本申请的用于处理图像的方法的一个应用场景的示意图;
图4是根据本申请的用于处理图像的方法的又一个实施例的流程图;
图5是根据本申请的用于处理图像的方法的又一个应用场景的示意图;
图6是根据本申请的用于处理图像的方法的又一个实施例的流程图;
图7是根据本申请的用于处理图像的方法的对待识别图像进行划分的示例性示意图;
图8是根据本申请的用于处理图像的装置的一个实施例的结构示意图;
图9是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请实施例的用于处理图像的方法或用于处理图像的装置的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用,例如图像处理类应用、网页浏览器应用、购物类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的图像提供支持的后台图像处理服务器。后台图像处理服务器可以对接收到的图像进行分析等处理,并将处理结果(例如目标图像的位置信息和类别信息)反馈给终端设备。
需要说明的是,本申请实施例所提供的用于处理图像的方法可以由服务器105执行,也可以由终端设备101、102、103执行,相应地,用于处理图像的装置可以设置于服务器105中,也可以设置于终端设备101、102、103中。
需要说明的是,服务器可以是硬件,也可以是软件。当服务器为硬件时,可以实现成多个设备组成的分布式设备集群,也可以实现成单个设备。当服务器为软件时,可以分别实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。在需要处理的图像不需要从远程获取的情况下,上述系统架构可以不包括网络,而只需终端设备或服务器。
继续参考图2,示出了根据本申请的用于处理图像的方法的一个实施例的流程200。该用于处理图像的方法,包括以下步骤:
步骤201,获取待识别图像。
在本实施例中,用于处理图像的方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以通过有线连接方式或者无线连接方式从远程获取待识别图像,也可以从本地获取待识别图像。其中,待识别图像可以是各种类型的图像,例如彩色图像、灰度图像、X光图像等。并且,待识别图像可以是预先对目标物体进行拍摄所得到的图像。其中,目标物体可以是各种类型的物体,例如轮胎、钢材、玻璃制品等物体。
步骤202,将待识别图像划分为至少两个子图像。
在本实施例中,基于步骤201中获取的待识别图像,上述执行主体可以利用各种方法将待识别图像划分为至少两个子图像。其中,子图像可以是预设的任意形状、任意大小的图像。例如,上述执行主体可以将待识别图像划分成大小相等的至少两个正方形子图像,或者将待识别图像划分成大小不等的至少两个区域图像,再将每个区域图像划分成大小相等的至少两个子图像。
通过将待识别图像划分成至少两个子图像,可以使上述执行主体在进行目标检测时,对像素数较少的子图像进行检测,从而可以提高图像处理的速度。需要说明的是,空间位置相邻的子图像之间可以有重叠的区域,这样可以避免因两个子图像的交界处将目标图像割裂而导致的检测错误。
步骤203,对于至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
在本实施例中,基于步骤202得到的至少两个子图像,对于所划分得到的各个子图像中的每个子图像,上述执行主体可以执行如下步骤:
首先,上述执行主体对该子图像进行滤波处理,得到该子图像的纹理图像。上述执行主体可以按照现有的滤波处理方法(例如,基于Gabor变换的滤波处理方法,基于小波变换的滤波处理方法等),对该子图像进行滤波处理,进而得到该子图像的纹理图像。纹理图像可以是反映纹理特征的图像,其中,纹理特征是图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织的排列属性。需要说明的是,上述各种滤波处理方法是目前广泛研究和应用的公知技术,在此不再赘述。
然后,上述执行主体将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息。其中,目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系。
作为示例,目标检测模型可以是技术人员基于对大量的纹理图像和纹理图像包含的第一目标图像的对应关系表,该对应关系表可以反映纹理图像与纹理图像包含的第一目标图像的对应关系。目标检测模型也可以是技术人员基于现有的人工神经网络(例如卷积神经网络)进行有监督地训练而得到的图像识别模型。
上述第一目标图像可以是纹理图像表征的物体上的某种目标的图像。例如,表征轮胎内的钢丝帘线缺陷的图像,表征轮胎表面的纹理的图像等。作为示例,轮胎内的钢丝帘线的开线、错位等缺陷,在X光图像上表现为纹理图像异常。
上述第一目标图像的位置信息可以表征第一目标图像在子图像中的位置。例如,位置信息可以为如下格式:“x,y,w,h”,其中,x为目标图像的某角点的横坐标,y为该角点的纵坐标,w为目标图像的宽度,h为目标图像的高度。上述第一目标图像的类别信息可以表征第一目标图像所属的类别。例如,类别信息可以为如下格式:“c1,p1;c2,p2;c3,p3……”,其中,c1、c2、c3分别为类别的名称,p1为目标图像属于类别c1的概率,p2为目标图像属于类别c2的概率、p3为目标图像属于类别c3的概率,并且,p1>p2>p3,则该类别信息表征目标图像所属的类别名称为c1。
最后,上述执行主体响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
在本实施例的一些可选的实现方式中,上述目标检测模型可以通过如下步骤训练得到:
获取多个样本纹理图像,多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息。其中,第一目标图像可以是样本纹理图像表征的物体上的某种目标(例如物体上的缺陷)的图像。
然后,获取预设的第一卷积神经网络。其中,卷积神经网络(ConvolutionalNeural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,可以用于进行图像特征信息的提取。上述第一卷积神经网络可以是用于目标区域检测的卷积神经网络,例如R-CNN(Regions with CNN,基于候选区域检测的卷积神经网络)、Fast R-CNN、Faster R-CNN等。可选的,上述执行主体可以获取预设的Faster R-CNN,Faster R-CNN是一种优化的R-CNN,它可以使目标区域的识别速度更快,并且能够识别尺寸较小的目标区域。需要说明的是,上述各种用于目标区域检测的卷积神经网络是目前广泛研究和应用的公知技术,在此不再赘述。
最后,利用机器学习方法,将多个样本纹理图像中的每个样本纹理图像作为第一卷积神经网络的输入,将多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为输出,训练得到目标检测模型。实践中,可以对初始化的卷积神经网络进行训练,初始化的卷积神经网络的各层可以设置有初始参数,参数在目标检测模型的训练过程中可以被不断地调整。
在本实施例的一些可选的实现方式中,对于上述至少两个子图像中的每个子图像,上述执行主体可以按照如下步骤得到该子图像的纹理图像:
首先,上述执行主体提取该子图像的频谱信息。通常,可以利用傅里叶变换提取图像的频谱信息。频谱信息可以表征图像的频率的分布,频率可以表征图像中灰度变化的剧烈程度,是灰度在平面空间上的梯度。例如,大面积的沙漠在图像中是一片灰度变化缓慢的区域,对应的频率值小;而对于不同类别的地表之间的相邻区域,在图像中往往灰度变化剧烈,对应的频率值较大。
然后,上述执行主体基于所提取的频谱信息对该子图像进行滤波处理,得到该子图像的纹理图像。通常,上述执行主体可以利用Gabor变换、小波变换等算法,对所提取的频谱信息进行滤波,得到该子图像的纹理图像。作为示例,上述执行主体利用Gabor滤波器(即基于Gabor变换的滤波算法),得到预设的纹理分布方向上的纹理图像。假设子图像为轮胎的X光图像,由于轮胎的胎侧的纹理一般是横向(及相对于水平线的夹角为0度)的,因此对于胎侧图像,一般需要设置Gabor滤波器的角度参数(θ)为0度就可以得到胎侧图像的图像;由于胎肩的纹理比较复杂,因此可以设置多个Gabor滤波器的角度参数,得到胎肩图像的多个纹理图像。
继续参见图3,图3是根据本实施例的用于处理图像的方法的应用场景的一个示意图。在图3的应用场景中,计算机301首先获取待识别图像302,其中,待识别图像302是轮胎的X光图像。然后,计算机301将待识别图像平均划分为大小相等的四个正方形子图像303。再然后,计算机301基于Gabor变换的滤波处理方法对四个子图像303中的每个子图像进行滤波处理,得到四个纹理图像304。接着,计算机301将所得到的每个纹理图像分别输入至预先训练的目标检测模型,确定纹理图像3041包括目标图像3042(例如轮胎的缺陷图像),则输出目标图像3042的位置信息3043“x1,y1,w1,h1”和类别信息3044“帘线缺陷”,其中,x1、y1分别为目标图像3042的左上角点的横坐标和纵坐标,w1、h1分别为目标图像3042的宽度和高度。
本申请的上述实施例提供的方法,通过对待识别图像进行划分,再通过目标检测模型来对所划分的图像进行检测,以确定是否得到第一目标图像的位置信息和类别信息,响应于确定得到位置信息和类别信息,则输出所得到的位置信息和类别信息,从而提高了对待识别图像进行处理的灵活性,以及提高了对待识别图像进行识别的准确性。
进一步参考图4,其示出了用于处理图像的方法的又一个实施例的流程400。该用于处理图像的方法的流程400,包括以下步骤:
步骤401,获取待识别图像。
在本实施例中,用于处理图像的方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以通过有线连接方式或者无线连接方式从远程获取待识别图像,也可以从本地获取待识别图像。其中,待识别图像可以是各种类型的图像,例如彩色图像、灰度图像、X光图像等。并且,待识别图像可以是预先对目标物体进行拍摄所得到的图像。其中,目标物体可以是各种类型的物体,例如轮胎、钢材、玻璃制品等物体。
步骤402,将待识别图像划分为至少两个子图像。
在本实施例中,步骤402与图2对应实施例中的步骤202基本一致,这里不再赘述。
步骤403,对于至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
在本实施例中,步骤403与图2对应实施例中的步骤203基本一致,这里不再赘述。
步骤404,对于至少两个子图像中的每个子图像,基于该子图像的纹理图像,得到该子图像的背景图像;将所得到的背景图像输入至上述目标检测模型,确定是否得到该子图像的背景图像包括的第二目标图像的位置信息和类别信息;响应于确定得到第二目标图像的位置信息和类别信息,输出所得到的第二目标图像的位置信息和类别信息。
在本实施例中,基于步骤402得到的至少两个子图像,对于所划分得到的各个子图像中的每个子图像,上述执行主体可以执行如下步骤:
首先,上述执行主体将该子图像与该子图像的纹理图像进行差分运算,得到该子图像的背景图像。通常,对于子图像中的每个像素点,可以将该像素点的灰度值与子图像的纹理图像中的、与该像素点位置相同的像素点的灰度值相减,得到子图像的背景图像中的、与该像素点位置相同的像素点的灰度值。当单个子图像的纹理图像的数量为多个时,对于子图像中的每个像素点,可以将该像素点的灰度值减去子图像的每个纹理图像中的、与该像素点的位置相同的像素点的灰度值,得到背景图像中的、与该像素点位置相同的像素点的灰度值。作为示例,假设子图像中的某像素点的坐标为(50,50),该像素点的灰度值为200,该子图像的纹理图像的数量为2,其中一个纹理图像中的、坐标为(50,50)的像素点的灰度值为50,另一个纹理图像中的、坐标为(50,50)的像素点的灰度值为60,则该子图像的背景图像中的、坐标为(50,50)的像素点的灰度值为200-50-60=90。
然后,上述执行主体将所得到的背景图像输入至上述目标检测模型,确定是否得到该子图像的背景图像包括的第二目标图像的位置信息和类别信息。其中,目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系。上述第二目标图像可以是背景图像表征的物体上的某种目标的图像。例如,表征轮胎内的气泡缺陷的图像、表征玻璃制品上的气泡缺陷的图像等。通常,纹理图像和背景图像包含的目标图像的类型可以不同。作为示例,轮胎内的钢丝帘线的开线、错位等缺陷,在X光图像上表现为纹理图像异常,制造轮胎所使用的橡胶分布不均匀造成的气泡以及橡胶内部的异物等,在X光图像上表现为背景图像异常。
上述目标检测模型可以是技术人员基于对大量的纹理图像和纹理图像包含的目标图像,以及对大量的背景图像和背景图像包含的目标图像的统计而预先制定的对应关系表,该对应关系表可以反映纹理图像与纹理图像包含的目标图像的对应关系,以及背景图像与背景图像包含的目标图像的对应关系。上述目标检测模型也可以是技术人员基于现有的人工神经网络(例如卷积神经网络)进行有监督地训练而得到的图像识别模型。
最后,上述执行主体响应于确定得到第二目标图像的位置信息和类别信息,输出所得到的第二目标图像的位置信息和类别信息。需要说明的是,本实施例中的第二目标图像的位置信息和类别信息的表示方法可以与图2对应实施例中的第一目标图像的位置信息和类别信息的表示方法相同,这里不再赘述。
实践中,可以同时将纹理图像和背景图像输入目标检测模型,目标检测模型再分别从输入的纹理图像和背景图像中提取出第一目标图像的位置信息和类别信息,以及第二目标图像的位置信息和类别信息。也可以依次将纹理图像和背景图像输入目标检测模型,目标检测模型再从输入的纹理图像或背景图像中提取出第一目标图像的位置信息和类别信息,或者第二目标图像的位置信息和类别信息。
在本实施例的一些可选的实现方式中,上述目标检测模型可以通过如下步骤训练得到:
首先,获取多个样本纹理图像,多个样本背景图像,多个样本纹理图像中的每个样本纹理图像中的目标图像的标注位置信息和标注类别信息,多个样本背景图像中的每个样本背景图像中的目标图像的标注位置信息和标注类别信息。其中,样本纹理图像中的目标图像可以是样本纹理图像表征的物体上的某种目标的图像。样本背景图像中的目标图像可以是样本背景图像表征的物体上的某种目标的图像。样本纹理图像和样本背景图像可以具有对应关系(例如某样本纹理图像和某样本背景图像提取自同一图像),也可以没有对应关系(例如样本纹理图像和样本背景图像分别提取自不同的图像)。
然后,获取预设的第二卷积神经网络。第二卷积神经网络可以是用于目标区域检测的卷积神经网络,例如R-CNN(Regions with CNN,基于候选区域检测的卷积神经网络)、Fast R-CNN、Faster R-CNN等。可选的,上述执行主体可以获取预设的Faster R-CNN,Faster R-CNN是一种优化的R-CNN,它可以使目标区域的识别速度更快,并且能够识别尺寸较小的目标区域。需要说明的是,上述各种用于目标区域检测的卷积神经网络是目前广泛研究和应用的公知技术,在此不再赘述。
最后,利用机器学习方法,将多个样本纹理图像中的每个样本纹理图像作为第二卷积神经网络的输入,将多个样本纹理图像中的每个样本纹理图像中的目标图像的标注位置信息和标注类别信息作为第二卷积神经网络的输出,以及将多个样本背景图像中的每个样本背景图像作为第二卷积神经网络的输入,将多个样本背景图像中的每个样本背景图像中的目标图像的标注位置信息和标注类别信息作为第二卷积神经网络的输出,训练得到目标检测模型。实践中,上述执行主体可以对初始化的卷积神经网络进行训练,初始化的卷积神经网络的各层可以设置有初始参数,参数在目标检测模型的训练过程中可以被不断地调整。
作为示例,假设每个样本纹理图像均包含轮胎内的钢丝帘线缺陷的图像(即目标图像),每个钢丝帘线缺陷的图像具有预设的第一标注位置信息(即钢丝帘线缺陷的图像的位置的信息)和预设的第一标注类别信息(例如“钢丝帘线缺陷”);每个样本背景图像均包含轮胎内的气泡缺陷的图像(即目标图像),每个气泡缺陷的图像具有预设的第二标注位置信息(即气泡缺陷的图像的位置的信息)和预设的第二标注类别信息(例如“气泡缺陷”)相对应。在进行训练时,若将样本纹理图像作为输入,则将与输入的样本纹理图像对应的第一标注位置信息和第一标注类别信息作为输出;若将样本背景图像作为输入,则将与输入的样本背景图像对应的第二标注位置信息和第二标注类别信息作为输出。
继续参见图5,图5是根据本实施例的用于处理图像的方法的应用场景的一个示意图。在图5的应用场景中,计算机501首先获取待识别图像502,其中,待识别图像502是轮胎的X光图像。然后,计算机501将待识别图像平均划分为大小相等的四个正方形子图像503。再然后,计算机501基于Gabor变换的滤波处理方法对四个子图像503中的每个子图像进行滤波处理,得到四个纹理图像504和四个背景图像505。接着,计算机501将所得到的每个纹理图像和每个背景图像分别输入至预先训练的目标检测模型,确定纹理图像5041包括目标图像5042(例如轮胎的缺陷图像),则输出目标图像5042的位置信息5043“x1,y1,w1,h1”和类别信息5044“帘线缺陷”,其中,x1、y1分别为目标图像5042的左上角点的横坐标和纵坐标,w1、h1分别为目标图像5042的宽度和高度;确定背景图像5051包括目标图像5052(例如轮胎的气泡缺陷),则输出目标图像5052的位置信息5053“x2,y2,w2,h2”和类别信息5054“气泡缺陷”,其中,x2、y2分别为目标图像5052的左上角点的横坐标和纵坐标,w2、h2分别为目标图像5052的宽度和高度。
从图4中可以看出,与图2对应的实施例相比,本实施例中的用于处理图像的方法的流程400突出了获得子图像的背景图像和利用背景图像获得第二目标图像的位置信息和类别信息的步骤。由此,本实施例描述的方案可以获得更全面的目标图像的位置信息和类别信息,进一步提高识别图像的准确性和处理图像的效率。
进一步参考图6,其示出了用于处理图像的方法的又一个实施例的流程600。该用于处理图像的方法的流程600,包括以下步骤:
步骤601,获取待识别图像。
在本实施例中,用于处理图像的方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以通过有线连接方式或者无线连接方式从远程获取待识别图像,也可以从本地获取待识别图像。其中,待识别图像可以是各种类型的图像,例如彩色图像、灰度图像、X光图像等。并且,待识别图像可以是预先对目标物体进行拍摄所得到的图像。其中,目标物体可以是各种类型的物体,例如轮胎、钢材、玻璃制品等物体。
步骤602,将待识别图像输入至预先训练的区域划分模型,得到至少一个用于指定待识别图像中的区域图像的区域信息。
在本实施例中,基于步骤601获取的待识别图像,上述执行主体可以将待识别图像输入至预先训练的区域划分模型,得到至少一个用于指定待识别图像中的区域图像的区域信息。其中,区域信息可以包括坐标信息和区域图像的大小信息。例如,区域信息为“x0,y0,w0,h0”,其中,x0、y0分别为形状为矩形的区域图像的左上角点的横坐标和纵坐标,w0、h0分别为区域图像的宽度和高度。
上述区域划分模型可以用于表征待识别图像和区域信息的对应关系。作为示例,区域划分模型可以是技术人员基于对大量的图像和包含相同或相似的图像特征(例如纹理特征、颜色特征等)的区域图像的统计而预先制定的、存储有多个图像与区域图像的对应关系的对应关系表;也可以是基于现有的人工神经网络(例如卷积神经网络)进行有监督地训练而得到的图像识别模型。
步骤603,对于所得到的至少一个区域信息中的每个区域信息,根据该区域信息确定待识别图像中的区域图像。
在本实施中,基于步骤602得到的至少一个区域信息,对于所得到的至少一个区域信息中的每个区域信息,上述执行主体可以根据该区域信息确定待识别图像中的区域图像。继续步骤402中的区域信息的示例,根据区域信息“x0,y0,w0,h0”,则上述执行主体可以首先确定待识别图像中的坐标“x0,y0”,然后将坐标“x0,y0”作为矩形的左上角点的坐标,确定大小为w0×h0的矩形区域,从待识别图像中将确定出的矩形区域包含的图像提取出作为该区域信息对应的区域图像。区域图像可以更加准确地反映待识别图像的各个区域,使图像的识别过程更加具有针对性,从而提高图像识别的准确率。
示例性的,如图7所示,待识别图像为轮胎图像,待识别图像被划分为五个区域图像,包括胎圈图像701、705,胎侧图像702、704,胎冠图像703。
在本实施例的一些可选的实现方式中,区域划分模型可以通过如下步骤训练得到:
首先,获取多个样本图像和用于标注多个样本图像中的每个样本图像中的区域图像的标注区域信息。
然后,获取预设的第三卷积神经网络。第三卷积神经网络可以是用于区域划分的卷积神经网络,例如SSD(Single Shot MultiBox Detector)网络。其中,SSD网络是基于前向传播的CNN网络,它可以产生一系列固定大小(fixed-size)的包围盒(bounding boxes),以及每一个包围盒中包含物体的可能性,即分数。SSD网络可以实现在检测速度较快的同时保持较高的识别精度,适用于区域划分这种对精度要求不高的检测场景。SSD网络的原理和训练方法是目前广泛研究和应用的公知技术,在此不再赘述。
最后,利用机器学习方法,将多个样本图像中的每个样本图像作为第三卷积神经网络的输入,将多个样本图像中的每个样本图像对应的标注区域信息作为第三卷积神经网络的输出,训练得到区域划分模型。
步骤604,对于所确定的各个区域图像中的每个区域图像,将该区域图像划分为至少两个子图像。
在本实施例中,基于步骤603确定的区域图像,对于所确定的各个区域图像中的每个区域图像,上述执行主体可以将该区域图像划分为预设形状、预设大小的至少两个子图像。其中,所划分的至少两个子图像中的、空间位置相邻的子图像可以部分重叠。
在本实施例的一些可选的实现方式中,对于所确定的各个区域图像中的每个区域图像,上述执行主体可以将该区域图像划分为至少两个预设大小的正方形子图像。通过将区域图像划分为至少两个正方形子图像,可以降低目标检测模型的输入图像的像素数量,从而可以提高图像处理的速度
步骤605,对于至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
在本实施例中,步骤605与图2对应实施例中的步骤203基本一致,这里不再赘述。
步骤606,对于至少两个子图像中的每个子图像,基于该子图像的纹理图像,得到该子图像的背景图像;将所得到的背景图像输入至上述目标检测模型,确定是否得到该子图像的背景图像包括的第二目标图像的位置信息和类别信息;响应于确定得到第二目标图像的位置信息和类别信息,输出所得到的第二目标图像的位置信息和类别信息。
在本实施例中,步骤606与图4对应实施例中的步骤404基本一致,这里不再赘述。
步骤607,基于待识别图像,以及所输出的位置信息和类别信息,生成包括位置标记和类别标记的目标标记图像。
在本实施例中,基于待识别图像,以及步骤605和步骤606所输出的位置信息和类别信息,上述执行主体可以生成包括位置标记和类别标记的目标标记图像。其中,目标标记图像可以是在上述待识别图像中添加位置标记和类别标记的图像。位置标记(例如以矩形框表示的标记)可以用于表征第一目标图像的位置信息和/或第二目标图像的位置信息。类别标记(例如以文字或符合表示的标记)可以用于表征第一目标图像的类别信息和/或第二目标图像的类别信息。作为示例,假设待识别图像为轮胎的X光图像,第二目标图像为气泡缺陷图像,输出的第二目标图像的位置信息表征气泡缺陷图像在子图像的纹理图像中的位置,输出的类别信息为“气泡缺陷”,则上述执行主体可以根据输出的第二目标图像的位置信息和子图像在待识别图像的位置,确定出气泡缺陷图像在待识别图像中的位置,然后根据确定出的位置在待识别图像上绘制矩形,将包含上述绘制的矩形并包含输出的类别信息的图像确定为目标标记图像。
可选的,上述执行主体可以将所确定的目标标记图像发送至与上述执行主体通信连接的其他设备(如图1所示的终端设备),或者在上述执行主体包括的显示器上显示。
从图6中可以看出,与图2和图4对应的实施例相比,本实施例中的用于处理图像的方法的流程600突出了利用区域划分模型对待识别图像进行划分的步骤,以及生成目标标注图像的步骤。由此,本实施例描述的方案可以进一步提高识别图像的准确性和处理图像的效率。
进一步参考图8,作为对上述各图所示方法的实现,本申请提供了一种用于处理图像的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图8所示,本实施例的用于处理图像的装置800包括:获取单元801,配置用于获取待识别图像;划分单元802,配置用于将待识别图像划分为至少两个子图像;第一检测单元803,配置用于对于至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息,其中,目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
在本实施例中,用于处理图像的装置800的获取单元801可以通过有线连接方式或者无线连接方式从远程获取待识别图像,也可以从本地获取待识别图像。其中,待识别图像可以是各种类型的图像,例如彩色图像、灰度图像、X光图像等。并且,待识别图像可以是预先对目标物体进行拍摄所得到的图像。其中,目标物体可以是各种类型的物体,例如轮胎、钢材、玻璃制品等物体。
在本实施例中,基于获取单元801获取的待识别图像,划分单元802可以利用各种方法将待识别图像划分为至少两个子图像。其中,子图像可以是预设的任意形状、任意大小的图像。例如,将待识别图像划分成大小相等的至少两个正方形子图像,或者将待识别图像划分成大小不等的至少两个区域图像,再将每个区域图像划分成大小相等的至少两个子图像。
在本实施例中,基于划分单元802得到的至少两个子图像,对于至少两个子图像中的每个子图像,第一检测单元803可以执行如下步骤:首先,第一检测单元803对该子图像进行滤波处理,得到该子图像的纹理图像。然后,第一检测单元803将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息。最后,第一检测单元803响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
在本实施例的一些可选的实现方式中,目标检测模型可以通过如下步骤训练得到:获取多个样本纹理图像,多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息;获取预设的第一卷积神经网络;利用机器学习方法,将多个样本纹理图像中的每个样本纹理图像作为第一卷积神经网络的输入,将多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为输出,训练得到目标检测模型。
在本实施例的一些可选的实现方式中,第一检测单元803可以包括:提取模块(图中未示出),配置用于提取该子图像的频谱信息;滤波模块(图中未示出),基于所提取的频谱信息对该子图像进行滤波处理,得到该子图像的纹理图像。
在本实施例的一些可选的实现方式中,上述装置还可以包括:第二检测单元(图中未示出),配置用于对于至少两个子图像中的每个子图像,将该子图像与该子图像的纹理图像进行差分运算,得到该子图像的背景图像;将所得到的背景图像输入至目标检测模型,确定是否得到该子图像的背景图像包括的第二目标图像的位置信息和类别信息;响应于确定得到第二目标图像的位置信息和类别信息,输出所得到的第二目标图像的位置信息和类别信息。
在本实施例的一些可选的实现方式中,目标检测模型可以通过如下步骤训练得到:获取多个样本纹理图像,多个样本背景图像,多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息,多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息;获取预设的第二卷积神经网络;利用机器学习方法,将多个样本纹理图像中的每个样本纹理图像作为第二卷积神经网络的输入,将多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为第二卷积神经网络的输出,以及将多个样本背景图像中的每个样本背景图像作为第二卷积神经网络的输入,将多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息作为第二卷积神经网络的输出,训练得到目标检测模型。
在本实施例的一些可选的实现方式中,划分单元802可以包括:第一划分模块(图中未示出),配置用于将待识别图像输入至预先训练的区域划分模型,得到至少一个用于指定待识别图像中的区域图像的区域信息,其中,区域划分模型用于表征待识别图像和区域信息的对应关系;确定模块(图中未示出),配置用于对于所得到的至少一个区域信息中的每个区域信息,根据该区域信息确定待识别图像中的区域图像;第二划分模块(图中未示出),对于所确定的各个区域图像中的每个区域图像,将该区域图像划分为至少两个子图像。
在本实施例的一些可选的实现方式中,区域划分模型可以通过如下步骤训练得到:获取多个样本图像和用于标注多个样本图像中的每个样本图像中的区域图像的标注区域信息;获取预设的第二卷积神经网络;利用机器学习方法,将多个样本图像中的每个样本图像作为第二卷积神经网络的输入,将多个样本图像中的每个样本图像对应的标注区域信息作为第二卷积神经网络的输出,训练得到区域划分模型。
在本实施例的一些可选的实现方式中,装置还可以包括:生成单元(图中未示出),配置用于基于待识别图像,以及所输出的位置信息和类别信息,生成包括位置标记和类别标记的目标标记图像。
本申请的上述实施例提供的装置,通过对待识别图像进行划分,再通过目标检测模型来对所划分的图像进行检测,以确定是否得到第一目标图像的位置信息和类别信息,响应于确定得到位置信息和类别信息,则输出所得到的位置信息和类别信息,从而提高了对待识别图像进行处理的灵活性,以及提高了对待识别图像进行识别的准确性。
下面参考图9,其示出了适于用来实现本申请实施例的电子设备的计算机系统900的结构示意图。图9示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,计算机系统900包括中央处理单元(CPU)901,其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中,还存储有系统900操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取单元、划分单元和检测单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,获取单元还可以被描述为“获取待识别图像的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备:获取待识别图像;将待识别图像划分为至少两个子图像;对于至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息,其中,目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (18)
1.一种用于处理图像的方法,包括:
获取待识别图像;
将所述待识别图像划分为至少两个子图像;
对于所述至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息,其中,所述目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
2.根据权利要求1所述的方法,其中,所述目标检测模型通过如下步骤训练得到:
获取多个样本纹理图像,所述多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息;
获取预设的第一卷积神经网络;
利用机器学习方法,将所述多个样本纹理图像中的每个样本纹理图像作为所述第一卷积神经网络的输入,将所述多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为输出,训练得到目标检测模型。
3.根据权利要求1所述的方法,其中,所述对该子图像进行滤波处理,得到该子图像的纹理图像,包括:
提取该子图像的频谱信息;
基于所提取的频谱信息对该子图像进行滤波处理,得到该子图像的纹理图像。
4.根据权利要求1所述的方法,其中,所述方法还包括:
对于所述至少两个子图像中的每个子图像,将该子图像与该子图像的纹理图像进行差分运算,得到该子图像的背景图像;将所得到的背景图像输入至所述目标检测模型,确定是否得到该子图像的背景图像包括的第二目标图像的位置信息和类别信息;响应于确定得到第二目标图像的位置信息和类别信息,输出所得到的第二目标图像的位置信息和类别信息。
5.根据权利要求4所述的方法,其中,所述目标检测模型通过如下步骤训练得到:
获取多个样本纹理图像,多个样本背景图像,所述多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息,所述多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息;
获取预设的第二卷积神经网络;
利用机器学习方法,将所述多个样本纹理图像中的每个样本纹理图像作为所述第二卷积神经网络的输入,将所述多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为所述第二卷积神经网络的输出,以及将所述多个样本背景图像中的每个样本背景图像作为所述第二卷积神经网络的输入,将所述多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息作为所述第二卷积神经网络的输出,训练得到目标检测模型。
6.根据权利要求1所述的方法,其中,所述将所述待识别图像划分为至少两个子图像,包括:
将所述待识别图像输入至预先训练的区域划分模型,得到至少一个用于指定所述待识别图像中的区域图像的区域信息,其中,所述区域划分模型用于表征待识别图像和区域信息的对应关系;
对于所得到的至少一个区域信息中的每个区域信息,根据该区域信息确定所述待识别图像中的区域图像;
对于所确定的各个区域图像中的每个区域图像,将该区域图像划分为至少两个子图像。
7.根据权利要求6所述的方法,其中,所述区域划分模型通过如下步骤训练得到:
获取多个样本图像和用于标注所述多个样本图像中的每个样本图像中的区域图像的标注区域信息;
获取预设的第三卷积神经网络;
利用机器学习方法,将所述多个样本图像中的每个样本图像作为所述第三卷积神经网络的输入,将所述多个样本图像中的每个样本图像对应的标注区域信息作为所述第三卷积神经网络的输出,训练得到区域划分模型。
8.根据权利要求1-7之一所述的方法,其中,所述方法还包括:
基于所述待识别图像,以及所输出的位置信息和类别信息,生成包括位置标记和类别标记的目标标记图像。
9.一种用于处理图像的装置,包括:
获取单元,配置用于获取待识别图像;
划分单元,配置用于将所述待识别图像划分为至少两个子图像;
第一检测单元,配置用于对于所述至少两个子图像中的每个子图像,对该子图像进行滤波处理,得到该子图像的纹理图像;将所得到的纹理图像输入至预先训练的目标检测模型,确定是否得到该子图像的纹理图像包括的第一目标图像的位置信息和类别信息,其中,所述目标检测模型用于表征图像与图像包括的目标图像的位置信息和类别信息的对应关系;响应于确定得到第一目标图像的位置信息和类别信息,输出所得到的第一目标图像的位置信息和类别信息。
10.根据权利要求9所述的装置,其中,所述目标检测模型通过如下步骤训练得到:
获取多个样本纹理图像,所述多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息;
获取预设的第一卷积神经网络;
利用机器学习方法,将所述多个样本纹理图像中的每个样本纹理图像作为所述第一卷积神经网络的输入,将所述多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为输出,训练得到目标检测模型。
11.根据权利要求9所述的装置,其中,所述第一检测单元包括:
提取模块,配置用于提取该子图像的频谱信息;
滤波模块,基于所提取的频谱信息对该子图像进行滤波处理,得到该子图像的纹理图像。
12.根据权利要求9所述的装置,其中,所述装置还包括:
第二检测单元,配置用于对于所述至少两个子图像中的每个子图像,将该子图像与该子图像的纹理图像进行差分运算,得到该子图像的背景图像;将所得到的背景图像输入至所述目标检测模型,确定是否得到该子图像的背景图像包括的第二目标图像的位置信息和类别信息;响应于确定得到第二目标图像的位置信息和类别信息,输出所得到的第二目标图像的位置信息和类别信息。
13.根据权利要求12所述的装置,其中,所述目标检测模型通过如下步骤训练得到:
获取多个样本纹理图像,多个样本背景图像,所述多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息,所述多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息;
获取预设的第二卷积神经网络;
利用机器学习方法,将所述多个样本纹理图像中的每个样本纹理图像作为所述第二卷积神经网络的输入,将所述多个样本纹理图像中的每个样本纹理图像中的第一目标图像的标注位置信息和标注类别信息作为所述第二卷积神经网络的输出,以及将所述多个样本背景图像中的每个样本背景图像作为所述第二卷积神经网络的输入,将所述多个样本背景图像中的每个样本背景图像中的第二目标图像的标注位置信息和标注类别信息作为所述第二卷积神经网络的输出,训练得到目标检测模型。
14.根据权利要求9所述的装置,其中,所述划分单元包括:
第一划分模块,配置用于将所述待识别图像输入至预先训练的区域划分模型,得到至少一个用于指定所述待识别图像中的区域图像的区域信息,其中,所述区域划分模型用于表征待识别图像和区域信息的对应关系;
确定模块,配置用于对于所得到的至少一个区域信息中的每个区域信息,根据该区域信息确定所述待识别图像中的区域图像;
第二划分模块,对于所确定的各个区域图像中的每个区域图像,将该区域图像划分为至少两个子图像。
15.根据权利要求14所述的装置,其中,所述区域划分模型通过如下步骤训练得到:
获取多个样本图像和用于标注所述多个样本图像中的每个样本图像中的区域图像的标注区域信息;
获取预设的第三卷积神经网络;
利用机器学习方法,将所述多个样本图像中的每个样本图像作为所述第三卷积神经网络的输入,将所述多个样本图像中的每个样本图像对应的标注区域信息作为所述第三卷积神经网络的输出,训练得到区域划分模型。
16.根据权利要求9-15之一所述的装置,其中,所述装置还包括:
生成单元,配置用于基于所述待识别图像,以及所输出的位置信息和类别信息,生成包括位置标记和类别标记的目标标记图像。
17.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810191220.5A CN108510472B (zh) | 2018-03-08 | 2018-03-08 | 用于处理图像的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810191220.5A CN108510472B (zh) | 2018-03-08 | 2018-03-08 | 用于处理图像的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108510472A true CN108510472A (zh) | 2018-09-07 |
CN108510472B CN108510472B (zh) | 2019-10-22 |
Family
ID=63377328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810191220.5A Active CN108510472B (zh) | 2018-03-08 | 2018-03-08 | 用于处理图像的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108510472B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109377482A (zh) * | 2018-09-29 | 2019-02-22 | 中国石油大学(华东) | 一种基于点云数据的轮胎胎角性质检测方法 |
CN109540138A (zh) * | 2018-11-12 | 2019-03-29 | 中南大学 | 基于视觉神经网络的室内导航方法、系统及可读存储器 |
CN109632037A (zh) * | 2018-12-12 | 2019-04-16 | 四创科技有限公司 | 一种基于图像智能识别的城市内涝积水深度检测方法 |
CN110110652A (zh) * | 2019-05-05 | 2019-08-09 | 达闼科技(北京)有限公司 | 一种目标检测方法、电子设备及存储介质 |
CN110348515A (zh) * | 2019-07-10 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
CN110969173A (zh) * | 2018-09-28 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 目标分类方法及装置 |
CN110969041A (zh) * | 2018-09-30 | 2020-04-07 | 北京京东尚科信息技术有限公司 | 图形编码的识别方法和装置 |
CN111127439A (zh) * | 2019-12-22 | 2020-05-08 | 上海眼控科技股份有限公司 | 车辆轮胎的胎纹检测方法、装置、电子设备及存储介质 |
CN111325707A (zh) * | 2018-12-13 | 2020-06-23 | 深圳中科飞测科技有限公司 | 一种图像处理方法和系统、检测方法和系统 |
CN111784675A (zh) * | 2020-07-01 | 2020-10-16 | 云南易见纹语科技有限公司 | 物品纹理信息处理的方法、装置、存储介质及电子设备 |
CN111833288A (zh) * | 2019-04-12 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 图像识别方法、装置和设备 |
TWI711099B (zh) * | 2018-10-30 | 2020-11-21 | 台灣積體電路製造股份有限公司 | 晶圓黏接方法及裝置與晶圓處理方法 |
CN113160176A (zh) * | 2021-04-23 | 2021-07-23 | 歌尔股份有限公司 | 缺陷检测方法和装置 |
CN113255911A (zh) * | 2021-06-07 | 2021-08-13 | 杭州海康威视数字技术股份有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262728A (zh) * | 2011-07-28 | 2011-11-30 | 电子科技大学 | 一种道路交通标志的识别方法 |
CN102411777A (zh) * | 2011-06-15 | 2012-04-11 | 夏东 | 一种印刷品划痕缺陷检测方法 |
CN105118044A (zh) * | 2015-06-16 | 2015-12-02 | 华南理工大学 | 一种轮形铸造产品缺陷自动检测方法 |
CN106529468A (zh) * | 2016-11-07 | 2017-03-22 | 重庆工商大学 | 一种基于卷积神经网络的手指静脉识别方法及系统 |
CN107016362A (zh) * | 2017-03-30 | 2017-08-04 | 华中科技大学 | 基于车辆前挡风玻璃粘贴标志的车辆重识别方法和系统 |
CN107169956A (zh) * | 2017-04-28 | 2017-09-15 | 西安工程大学 | 基于卷积神经网络的色织物疵点检测方法 |
CN107220603A (zh) * | 2017-05-18 | 2017-09-29 | 惠龙易通国际物流股份有限公司 | 基于深度学习的车辆检测方法及装置 |
CN107316300A (zh) * | 2017-07-17 | 2017-11-03 | 杭州盈格信息技术有限公司 | 一种基于深度卷积神经网络的轮胎x光病疵检测方法 |
US9830534B1 (en) * | 2015-12-16 | 2017-11-28 | A9.Com, Inc. | Object recognition |
-
2018
- 2018-03-08 CN CN201810191220.5A patent/CN108510472B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411777A (zh) * | 2011-06-15 | 2012-04-11 | 夏东 | 一种印刷品划痕缺陷检测方法 |
CN102262728A (zh) * | 2011-07-28 | 2011-11-30 | 电子科技大学 | 一种道路交通标志的识别方法 |
CN105118044A (zh) * | 2015-06-16 | 2015-12-02 | 华南理工大学 | 一种轮形铸造产品缺陷自动检测方法 |
US9830534B1 (en) * | 2015-12-16 | 2017-11-28 | A9.Com, Inc. | Object recognition |
CN106529468A (zh) * | 2016-11-07 | 2017-03-22 | 重庆工商大学 | 一种基于卷积神经网络的手指静脉识别方法及系统 |
CN107016362A (zh) * | 2017-03-30 | 2017-08-04 | 华中科技大学 | 基于车辆前挡风玻璃粘贴标志的车辆重识别方法和系统 |
CN107169956A (zh) * | 2017-04-28 | 2017-09-15 | 西安工程大学 | 基于卷积神经网络的色织物疵点检测方法 |
CN107220603A (zh) * | 2017-05-18 | 2017-09-29 | 惠龙易通国际物流股份有限公司 | 基于深度学习的车辆检测方法及装置 |
CN107316300A (zh) * | 2017-07-17 | 2017-11-03 | 杭州盈格信息技术有限公司 | 一种基于深度卷积神经网络的轮胎x光病疵检测方法 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110969173B (zh) * | 2018-09-28 | 2023-10-24 | 杭州海康威视数字技术股份有限公司 | 目标分类方法及装置 |
CN110969173A (zh) * | 2018-09-28 | 2020-04-07 | 杭州海康威视数字技术股份有限公司 | 目标分类方法及装置 |
CN109377482A (zh) * | 2018-09-29 | 2019-02-22 | 中国石油大学(华东) | 一种基于点云数据的轮胎胎角性质检测方法 |
CN110969041B (zh) * | 2018-09-30 | 2023-09-01 | 北京京东振世信息技术有限公司 | 图形编码的识别方法和装置 |
CN110969041A (zh) * | 2018-09-30 | 2020-04-07 | 北京京东尚科信息技术有限公司 | 图形编码的识别方法和装置 |
TWI711099B (zh) * | 2018-10-30 | 2020-11-21 | 台灣積體電路製造股份有限公司 | 晶圓黏接方法及裝置與晶圓處理方法 |
US11430677B2 (en) | 2018-10-30 | 2022-08-30 | Taiwan Semiconductor Manufacturing Co., Ltd. | Wafer taping apparatus and method |
CN109540138A (zh) * | 2018-11-12 | 2019-03-29 | 中南大学 | 基于视觉神经网络的室内导航方法、系统及可读存储器 |
CN109632037A (zh) * | 2018-12-12 | 2019-04-16 | 四创科技有限公司 | 一种基于图像智能识别的城市内涝积水深度检测方法 |
CN109632037B (zh) * | 2018-12-12 | 2020-06-05 | 四创科技有限公司 | 一种基于图像智能识别的城市内涝积水深度检测方法 |
CN111325707B (zh) * | 2018-12-13 | 2021-11-30 | 深圳中科飞测科技股份有限公司 | 一种图像处理方法和系统、检测方法和系统 |
CN111325707A (zh) * | 2018-12-13 | 2020-06-23 | 深圳中科飞测科技有限公司 | 一种图像处理方法和系统、检测方法和系统 |
CN111833288A (zh) * | 2019-04-12 | 2020-10-27 | 阿里巴巴集团控股有限公司 | 图像识别方法、装置和设备 |
CN111833288B (zh) * | 2019-04-12 | 2024-02-09 | 阿里巴巴集团控股有限公司 | 图像识别方法、装置和设备 |
CN110110652A (zh) * | 2019-05-05 | 2019-08-09 | 达闼科技(北京)有限公司 | 一种目标检测方法、电子设备及存储介质 |
CN110348515A (zh) * | 2019-07-10 | 2019-10-18 | 腾讯科技(深圳)有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
CN110348515B (zh) * | 2019-07-10 | 2024-08-23 | 腾讯科技(深圳)有限公司 | 图像分类方法、图像分类模型训练方法及装置 |
CN111127439A (zh) * | 2019-12-22 | 2020-05-08 | 上海眼控科技股份有限公司 | 车辆轮胎的胎纹检测方法、装置、电子设备及存储介质 |
CN111784675A (zh) * | 2020-07-01 | 2020-10-16 | 云南易见纹语科技有限公司 | 物品纹理信息处理的方法、装置、存储介质及电子设备 |
CN113160176A (zh) * | 2021-04-23 | 2021-07-23 | 歌尔股份有限公司 | 缺陷检测方法和装置 |
CN113255911A (zh) * | 2021-06-07 | 2021-08-13 | 杭州海康威视数字技术股份有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
CN113255911B (zh) * | 2021-06-07 | 2023-10-13 | 杭州海康威视数字技术股份有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108510472B (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108510472B (zh) | 用于处理图像的方法和装置 | |
CN108038469B (zh) | 用于检测人体的方法和装置 | |
CN108154196B (zh) | 用于输出图像的方法和装置 | |
CN107679490B (zh) | 用于检测图像质量的方法和装置 | |
CN108038880B (zh) | 用于处理图像的方法和装置 | |
CN107644209A (zh) | 人脸检测方法和装置 | |
CN108304835A (zh) | 文字检测方法和装置 | |
CN109948507A (zh) | 用于检测表格的方法和装置 | |
CN107909065A (zh) | 用于检测人脸遮挡的方法及装置 | |
CN109389068A (zh) | 用于识别驾驶行为的方法和装置 | |
CN108446698A (zh) | 在图像中检测文本的方法、装置、介质及电子设备 | |
CN109446990A (zh) | 用于生成信息的方法和装置 | |
CN109558779A (zh) | 图像检测方法和装置 | |
CN109389589A (zh) | 用于统计人数的方法和装置 | |
CN108229485A (zh) | 用于测试用户界面的方法和装置 | |
CN109711508B (zh) | 图像处理方法和装置 | |
CN108509921A (zh) | 用于生成信息的方法和装置 | |
CN110443824A (zh) | 用于生成信息的方法和装置 | |
CN109272543A (zh) | 用于生成模型的方法和装置 | |
CN110163096A (zh) | 人物识别方法、装置、电子设备和计算机可读介质 | |
CN108876858A (zh) | 用于处理图像的方法和装置 | |
CN108062544A (zh) | 用于人脸活体检测的方法和装置 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
CN109241934A (zh) | 用于生成信息的方法和装置 | |
CN108182457A (zh) | 用于生成信息的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180907 Assignee: Beijing Intellectual Property Management Co.,Ltd. Assignor: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. Contract record no.: X2023110000099 Denomination of invention: Method and apparatus for processing images Granted publication date: 20191022 License type: Common License Record date: 20230822 |