CN114745500B - 图像处理方法及输出检测系统 - Google Patents

图像处理方法及输出检测系统 Download PDF

Info

Publication number
CN114745500B
CN114745500B CN202210312209.6A CN202210312209A CN114745500B CN 114745500 B CN114745500 B CN 114745500B CN 202210312209 A CN202210312209 A CN 202210312209A CN 114745500 B CN114745500 B CN 114745500B
Authority
CN
China
Prior art keywords
image
target
area
images
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210312209.6A
Other languages
English (en)
Other versions
CN114745500A (zh
Inventor
刘伟
王建勋
吴少敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202210312209.6A priority Critical patent/CN114745500B/zh
Publication of CN114745500A publication Critical patent/CN114745500A/zh
Application granted granted Critical
Publication of CN114745500B publication Critical patent/CN114745500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法及输出检测系统,获得多帧第一图像,不同的第一图像中图像采集设备对应的对焦区域不同;对多帧第一图像进行处理,得到多帧第一图像中清晰度满足处理条件的多个目标区域;将多个目标区域进行拼接,以得到第二图像,第二图像用于获得输出设备的图像输出区域的检测结果。

Description

图像处理方法及输出检测系统
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及输出检测系统。
背景技术
在对显示屏进行“坏点缺陷”的自动光学检测AOI(Automated OpticalInspection)时,需要相机从侧面的一定角度进行图像拍摄才能检测出来。
但是,由于相机的对焦景深有限,导致所拍摄到的图像中存在模糊的区域,导致使用这种图像进行AOI的检测结果不准确。
发明内容
有鉴于此,本申请提供一种图像处理方法及输出检测系统,用于解决现有技术中对输出设备的图像输出区域进行检测时检测结果不准确的技术问题。
本申请提供一种图像处理方法,所述方法包括:
获得多帧第一图像,所述第一图像为图像采集设备对相对于所述图像采集设备处于多个姿态的输出设备所采集的图像,不同的所述第一图像中所述图像采集设备对应的对焦区域不同;
对多帧所述第一图像进行处理,得到多帧所述第一图像中清晰度满足处理条件的多个目标区域,所述目标区域属于所述输出设备对应的图像输出区域,且不同的所述第一图像中的目标区域在所述图像输出区域的位置不同;
将多个所述目标区域进行拼接,以得到第二图像,所述第二图像用于获得所述输出设备的图像输出区域的检测结果。
优选的,所述输出设备在其图像输出区域上输出有目标图像;
其中,对多帧所述第一图像进行处理,得到多帧所述第一图像中的多个目标区域,包括:
截取所述第一图像中的第一区域,所述第一区域属于所述目标图像对应的图像区域;
识别所述第一区域中清晰度满足处理条件的目标区域。
优选的,所述目标图像由多个子图像组成,所述子图像通过对所述目标图像进行区域划分得到;
其中,识别所述第一区域中清晰度满足处理条件的目标区域,包括:
使用识别模型,对所述第一区域中子图像对应的子区域进行清晰度识别,以得到清晰度满足处理条件的目标子区域;
根据所述目标子区域,获得目标区域。
优选的,识别所述第一区域中清晰度满足处理条件的目标区域,包括:
根据所述第一区域对应的边界线,对所述第一区域进行区域划分,以得到所述第一区域中清晰度满足处理条件的目标区域;
其中,所述边界线至少基于所述识别模型得到。
优选的,所述多个子图像为规则排列的图形;或者,所述多个子图像为非规则的局部图形;
其中,在所述多个子图像为规则排列的图形的情况下,所述规则排列的图形按照行或列规则排列。
优选的,根据所述目标子区域,获得目标区域,包括:
将边缘相邻的所述目标子区域划分为一个区域,以得到所述第一区域中的至少一个目标区域。
优选的,根据所述目标子区域,获得目标区域,包括:
在规则排列的图形处于同一行的所述目标子区域的数量大于或等于第一阈值的情况下,将所述目标子区域所在行的所有子区域划分为一个区域,以得到所述第一区域中的至少一个目标区域;
在规则排列的图形处于同一行的所述目标子区域的数量小于所述第一阈值的情况下,删除所述目标子区域;
或者,
根据所述目标子区域,获得目标区域,包括:
在规则排列的图形处于同一列的所述目标子区域的数量大于或等于第一阈值的情况下,将所述目标子区域所在列的所有子区域划分为一个区域,以得到所述第一区域中的至少一个目标区域;
在规则排列的图形处于同一列的所述目标子区域的数量小于所述第一阈值的情况下,删除所述目标子区域。
优选的,获得多帧第一图像,包括:
按照目标数值,控制图像采集设备对相对于所述图像采集设备处于多个姿态的输出设备进行图像采集,以得到多帧第一图像,所述姿态的数量与所述目标数值对应;
其中,在将多个所述目标区域进行拼接,以得到第二图像之后,所述方法还包括:
判断所述第二图像中是否缺少所述输出设备对应的至少部分区域;
如果所述第二图像中缺少所述输出设备对应的至少部分区域,增大所述目标数值,并按照被增大的目标数值,重新控制图像采集设备对相对于所述图像采集设备处于多个姿态的输出设备进行图像采集,直到所述第二图像中包含所述输出设备对应的全部区域。
优选的,在识别所述第一区域中清晰度满足处理条件的目标区域之前,所述方法还包括:
使用所述第一区域与所述目标图像之间的投影变换矩阵,对所述第一区域中的像素点坐标进行坐标转换,以使得所述第一区域的区域尺寸与所述目标图像的图像尺寸相一致。
本申请还提供一种输出检测系统,包括:
图像采集设备和与所述图像采集设备相连接的电子设备;
其中,所述图像采集设备用于:对输出设备进行图像采集;
所述电子设备用于:获得多帧第一图像,所述第一图像为所述图像采集设备对相对于所述图像采集设备处于多个姿态的所述输出设备所采集的图像,且不同的所述第一图像中所述图像采集设备对应的对焦区域不同;对多帧所述第一图像进行处理,以得到多帧所述第一图像中清晰度满足处理条件的多个目标区域,所述目标区域属于所述输出设备对应的图像输出区域,且不同的所述第一图像中的目标区域在所述图像输出区域的位置不同;将多个所述目标区域进行拼接,以得到第二图像;根据所述第二图像,获得所述输出设备的图像输出区域的检测结果。
从上述技术方案可以看出,本申请公开的一种图像处理方法及输出检测系统中,通过采集多帧输出设备相对于图像采集设备处于不同姿态的第一图像,由于这些第一图像中图像采集设备对应的对焦区域不同,由此,在获得到这些第一图像中清晰度满足处理条件且对应于输出设备的图像输出区域的多个目标区域之后,将这些目标区域进行拼接,就可以得到清晰度满足处理条件且对应于图像输出区域的第二图像,进而就能够通过第二图像获得图像输出区域的检测结果。可见,本申请中通过拼接对应于图像输出区域的不同位置的清晰图像来实现图像输出区域的检测,从而避免因为图像存在模糊而导致的检测结果不准确的情况,达到提高检测准确性的目的。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请公开的一种图像处理方法的流程图;
图2(a)为本申请公开的对焦区域的示意图;
图2(b)为本申请公开的对焦区域的另一示意图;
图2(c)为本申请公开的对焦区域的又一示意图;
图3为本申请公开的一种图像处理方法的另一流程图;
图4为本申请公开的识别目标区域的流程图;
图5(a)为本申请公开的第一区域的示意图;
图5(b)为本申请公开的第一区域的另一示意图;
图5(c)为本申请公开的目标图像的示意图;
图6为本申请公开的利用识别模型从第一区域中识别出目标区域的流程图;
图7(a)为本申请公开的目标区域的第一示意图;
图7(b)为本申请公开的目标区域的第二示意图;
图7(c)为本申请公开的目标区域的第三示意图;
图8为本申请公开的图像处理装置的结构框图;
图9为本申请公开的一种输出检测系统的结构框图;
图10为本申请公开的一种对显示屏的侧拍图像进行拼接的方案的流程图;
图11(a)为本申请公开的目标图像的另一示意图;
图11(b)为本申请公开的第一区域的又一示意图;
图11(c)为本申请公开的第一区域的再一示意图;
图12(a)为本申请公开的目标区域的第四示意图;
图12(b)为本申请公开的目标区域的第五示意图;
图12(c)为本申请公开的目标区域的第六示意图;
图12(d)为本申请公开的目标区域的第六示意图;
图13为本申请公开的第二图像的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,其示出了本申请实施例提供的一种图像处理方法的流程图,本实施例中的方法可以适用于能够进行图像处理的电子设备中,如计算机或服务器等。本实施例中的技术方案主要用于提高对输出设备的图像输出区域的检测准确性。
具体的,本实施例中的图像处理方法可以包括以下步骤:
步骤S101:获得多帧第一图像。
在具体实现步骤S101的过程中,利用图像采集设备采集输出设备的多帧第一图像,例如:采集输出设备的3帧(仅举例)第一图像;多帧第一图像为:对相对于图像采集设备处于多个姿态的输出设备所采集的图像;不同的第一图像中图像采集设备对应的对焦区域不同。
可以理解的是,对焦区域具体是指:在采集输出设备的第一图像时,图像采集设备在输出设备上对焦的区域;由于需要采集多帧第一图像,在不移动图像采集设备的情况下,可以通过调整输出设备相对于图像采集设备所处的姿态,以调整图像采集设备的对焦区域。例如:在检测输出设备的生产流水线上,图像采集设备通常固定不动;在采集输出设备的多帧第一图像时,可以调整输出设备的姿态以调整图像采集设备的对焦区域,其中,输出设备的姿态可以通过移动输出设备来进行调整。或者,由于需要采集多帧第一图像,在不移动输出设备的情况下,可以通过调整图像采集设备的位置来调整输出设备相对于图像采集设备所处的姿态,进而调整图像采集设备的对焦区域。例如:被检测的输出设备固定不动,在采集输出设备的多帧第一图像时,可以调整图像采集设备的位置来调整输出设备的姿态,进而调整图像采集设备在输出设备上的对焦区域。
一些实施例中,输出设备具体可以是显示器和显示屏等设备,输出设备用于输出图像(或者说显示图像)的区域可以称之为图像输出区域。对于输出设备相对于图像采集设备所处的姿态而言,该姿态可通过输出设备的图像输出区域所在平面与图像采集设备的采集方向之间的相对位置来表征,具体而言,输出设备的图像输出区域所在平面与采集方向呈预设角度(非90度角),且该采集方向对应于图像输出区域的部分区域(该部分区域即为对焦区域)。
值得说明的是,图像输出区域所在平面与采集方向所呈的角度是固定的,即在调整对焦区域时需保证图像输出区域所在平面与采集方向保持预设角度。
例如:假设需采集3帧第一图像;在保证图像输出区域所在平面与采集方向呈45度角的情况下,如图2(a),移动输出设备以调整姿态,使对焦区域处于输出区域中的左侧区域并采集相应的第一图像,其中,箭头方向指示采集方向;在保证图像输出区域所在平面与采集方向呈45度角的情况下,如图2(b),移动输出设备以调整姿态,使对焦区域处于输出区域中的中间区域并采集相应的第一图像;在保证图像输出区域所在平面与采集方向呈45度角的情况下,如图2(c),移动输出设备以调整姿态,使对焦区域处于输出区域中的右侧区域并采集相应的第一图像。
需要说明的是,输出设备的图像输出区域所在平面与采集方向呈预设角度(非90度角),因此所采集的第一图像可以认为是侧拍图像。
步骤S102:对多帧第一图像进行处理,得到多帧第一图像中清晰度满足处理条件的多个目标区域。
在具体实现步骤S102的过程中,对于每一帧第一图像,对该帧第一图像进行处理,得到该帧第一图像中清晰度满足处理条件的目标区域;每一帧第一图像都可处理得到一个目标区域;其中,处理条件可以是清晰度大于预设的清晰度阈值。也就是说,从每一帧第一图像中确定清晰度大于清晰度阈值的区域以作为目标区域,目标区域可以认为是第一图像中的清晰区域。
值得说明的是,第一图像中可能包含对应于输出设备的图像输出区域的区域及其它区域(如黑屏区域或环境区域等其它区域),在本实施例中所得到的目标区域属于输出设备对应的图像输出区域,即目标区域为第一图像中对应于图像输出区域的区域;由于不同第一图像中图像采集设备对应的对焦区域不同,故不同的第一图像中的目标区域在图像输出区域的位置不同。例如:第一图像A中图像采集设备对应的对焦区域处于图像输出区域的左侧区域,第一图像B中图像采集设备对应的对焦区域处于图像输出区域的右侧区域;则从第一图像A中处理得到的目标区域在第一图像中对应于图像输出区域的左侧区域的区域内,而从第一图像B中处理得到的目标区域在第一图像中对应于图像输出区域的右侧区域的区域内。
一些实施例中,在采集输出设备对应的多帧第一图像时,输出设备的图像输出区域可能显示目标图像(也称标定图像),输出设备的图像输出区域也可能未显示任何内容。
在图像输出区域显示有目标图像的情况下,从第一图像中得到的目标区域属于目标图像对应的图像区域。
需要说明的是,目标图像中可以包含图形和/或文字等内容,即目标图像的像素点不完全一致;且目标图像的尺寸和形状可以根据实际需求进行设定,在本实施例中不对目标图像的内容、尺寸和形状做具体限定。
在图像输出区域未显示任何内容的情况下,可以通过图像清晰度识别算法从第一图像中得到目标区域,本实施例中不对图像清晰度识别算法做具体限定。
步骤S103:将多个目标区域进行拼接,以得到第二图像,第二图像用于获得输出设备的图像输出区域的检测结果。
在具体实现步骤S103的过程中,从多帧第一图像中得到目标区域后,目标区域即为第一图像中的清晰区域且分别对应于图像输出区域的不同位置,进而将所得到的多个目标区域进行拼接,可得到清晰的且至少近似完整的第二图像;具体而言,在对多个目标区域进行拼接的过程,去除多个目标区域的重叠部分(即如果多个部分重叠则只保留其中一个部分),可得到清晰的第二图像;该第二图像可以用于进行AOI以获得输出设备的图像输出区域的检测结果。
由上述方案可知,本申请实施例公开的一种图像处理方法中,通过采集多帧输出设备相对于图像采集设备处于不同姿态的第一图像,由于这些第一图像中图像采集设备对应的对焦区域不同,由此,在获得到这些第一图像中清晰度满足处理条件且对应于输出设备的图像输出区域的多个目标区域之后,将这些目标区域进行拼接,就可以得到清晰度满足处理条件且对应于图像输出区域的第二图像,进而就能够通过第二图像获得图像输出区域的检测结果。可见,本申请实施例中通过拼接对应于图像输出区域的不同位置的清晰图像来实现图像输出区域的检测,从而避免因为图像存在模糊而导致的检测结果不准确的情况,达到提高检测准确性的目的。
可以理解的是,对于将多个目标区域进行拼接所得到的第二图像,该第二图像可能包含输出设备对应的全部区域(即第二图像是完整对应于图像输出区域的),该第二图像也可能缺少输出设备对应的至少部分区域(即第二图像是不完整对应于图像输出区域的)。基于此,优选的,本实施例中在得到第二图像后,可以判断第二图像是否完整,若第二图像不完整则需要进行相应处理以得到完整的第二图像,详见以下实施例图3中的内容。
请参阅图3,其示出了本申请实施例提供的一种图像处理方法的另一流程图,该图像处理方法可以包括以下步骤:
步骤S301:按照目标数值,控制图像采集设备对相对于图像采集设备处于多个姿态的输出设备进行图像采集,以得到多帧第一图像。
一些实施例中,目标数值可以是预设值,如3或5等;或者,目标数值可以基于输出设备的图像输出区域的大小确定,例如,如果图像输出区域为较大尺寸,那么目标数值可以设置为相应较大的数值。本实施例中对于目标数值不做限定。
需要说明的是,姿态的数量与目标数值对应。在具体实现步骤S301的过程中,控制图像采集设备对相对于图像采集设备处于目标数值个姿态的输出设备进行图像采集,以得到目标数值帧的第一图像。例如:假设目标数值为3,则控制图像采集设备对相对于图像采集设备处于3个姿态的输出设备进行图像采集,以得到3帧第一图像。
可以理解的是,关于输出设备的姿态以及第一图像的相关内容,可参见上述实施例图1步骤S101中的内容,在此不再赘述。
步骤S302:对多帧第一图像进行处理,得到多帧第一图像中清晰度满足处理条件的多个目标区域。
需要说明的是,从第一图像中得到目标区域的相关内容,可参见上述实施例图1步骤S102中的内容,在此不再赘述。
步骤S303:将多个目标区域进行拼接,以得到第二图像。
步骤S304:判断第二图像中是否缺少输出设备对应的至少部分区域。如果第二图像中缺少输出设备对应的至少部分区域,执行步骤S305;如果第二图像中包含输出设备对应的全部区域,确定得到最终的第二图像。
在具体实现步骤S304的过程中,判断第二图像中是否缺少输出设备对应的至少部分区域。如果第二图像中缺少输出设备对应的至少部分区域,则表明第二图像不完整,此时执行步骤S305。例如:如果第二图像中缺少输出设备对应的左侧部分区域,则表明第二图像不完整。
如果第二图像中包含输出设备对应的全部区域,则表明第二图像完整,确定得到最终的第二图像,该第二图像可以用于进行AOI,以得到输出设备的图像输出区域的检测结果。
步骤S305:增大目标数值,并返回执行步骤S301。
在具体实现步骤S305的过程中,如果第二图像中缺少输出设备对应的至少部分区域,增大目标数值,返回执行步骤S301重新控制图像采集设备对相对于图像采集设备处于多个姿态的输出设备进行图像采集,直至第二图像中包含输出设备对应的全部区域。
可以理解的是,增大目标数值旨在增多所采集的第一图像的数量以获得更多的目标区域,进而可以利用更多的目标区域拼接成完整的第二图像。
可见,在本实施例中,将多个目标区域拼接成第二图像后,判断第二图像是否完整。若第二图像不完整,则需增大目标数值并重新控制图像采集设备进行图像采集,直至得到完整的第二图像。利用完整的第二图像进行AOI可以获取得到更加准确的检测结果。
一些实施例中,在图像输出区域显示有目标图像的情况下,可以利用机器学习模型识别第一图像中的目标区域,利用机器学习模型识别目标区域的具体方式详见图4对应的实施例;请参阅图4,其示出了本申请实施例提供的步骤S102中得到目标区域的流程图,其中,输出设备在其图像输出区域上输出有目标图像,图4包括以下步骤:
步骤S401:截取第一图像中的第一区域。
需要说明的是,由于第一图像中可能包含对应于输出设备的图像输出区域的区域及其它区域,因此需要从第一图像中截取属于目标图像对应的图像区域的第一区域。在具体实现步骤S401的过程中,从第一图像中截取第一区域,该第一区域属于目标图像对应的图像区域。
值得说明的是,输出设备的图像输出区域所在平面与采集方向呈预设角度(非90度角),所采集的第一图像可以认为是侧拍图像,故从第一图像中所截取的第一区域为梯形区域。例如:假设目标图像包含图形,从第一图像中所截取的第一区域为如图5(a)所示出的梯形区域。
一些实施例中,由于第一图像为侧拍图像,故第一图像中的内容会存在畸变;为方便后续针对第一区域的处理,在截取到第一图像中的第一区域(此时第一区域为梯形)后,可将形状为梯形的第一区域转换为形状为矩形的第一区域;具体而言,使用第一区域与目标图像之间的投影变换矩阵,对第一区域中的像素点坐标进行坐标转换,以使得第一区域的区域尺寸与目标图像的图像尺寸相一致,此时即将形状为梯形的第一区域转换成形状为矩形的第一区域;例如:假设从第一图像中所截取的第一区域为如图5(a)所示出的梯形区域,使用该第一区域与目标图像之间的投影变换矩阵对该第一区域进行转换后,所得到的第一区域如图5(b)所示出的矩形区域。
可以理解的是,不同的第一图像为图像采集设备对相对于图像采集设备处于不同姿态的输出设备所采集的图像(或者说不同的第一图像中图像采集设备对应的对焦区域不同);在使用投影变换矩阵对第一区域中的像素点坐标进行坐标转换,从不同第一图像中截取的第一区域所使用的投影变换矩阵有所不同,即输出设备处于不同姿态下所采集到的第一图像的第一区域所使用的投影变换矩阵有所不同,例如:图像采集设备对相对于图像采集设备处于不同姿态的输出设备分别采集到第一图像A和第一图像B;从第一图像A中截取的第一区域所使用的投影变换矩阵为投影变换矩阵A,从第一图像B中截取的第一区域所使用的投影变换矩阵为投影变换矩阵B。
一些实施例中,投影变换矩阵的具体内容如公式(1)至公式(3)。
在公式(1)至公式(3)中,u、v和w为转换前的第一区域(梯形)中像素点的坐标,x、y和w是转换后的第一区域(矩形)中像素点的坐标,其中w轴不变,w可以设置为1;x'、y'和w'指示转换前的第一区域(梯形)的四个坐标点。
步骤S402:识别第一区域中清晰度满足处理条件的目标区域。
一些实施例中,目标图像由多个子图像组成,该子图像通过对目标图像进行区域划分得到;每个子图像对应目标图像中所包含的图形或文字,例如:图5(a)和图5(b)中的每个图形即为一个子图像。
在具体实现步骤S402的过程中,利用预先训练得到的识别模型,从第一区域(已转换成矩形区域)中确定清晰度满足处理条件的目标区域;具体而言,利用识别模型确定目标区域至少包含两种方式,其一为利用识别模型从第一区域中识别出目标区域,其二为利用由识别模型得到的边界线从第一区域中划分出目标区域。以下分别解释说明如何训练得到识别模型以及如何利用识别模型确定目标区域。
关于如何训练得到识别模型的说明:
将具有清晰标签的样本图像作为正样本,及将具有模糊标签的样本图像作为负样本;利用前述得到的正样本和负样本作为训练样本对机器学习模型进行训练,在训练过程中调整机器模型的参数以将该机器模型训练至收敛,得到满足收敛要求的识别模型,通过该识别模型可以识别图像是否为清晰图像(也就是清晰度大于清晰度阈值的图像);具体而言,对于某一待识别的图像,识别模型对该图像进行清晰度识别之后,识别模型可通过输出0或1来表征该图像是否为清晰图像,其中1可以表征图像为清晰图像,0可以表征图像不是清晰图像。
需要说明的是,上述提及的样本图像与组成目标图像的子图像相对应。具体的,本实施例中可以将目标图像按照其所包含的子图像进行划分,这些划分出来的包含相应清晰图形或清晰文字的子图像作为正样本,如图5(c)中的每个清晰的小动物图标均为正样本的样本图像;之后,再对划分得到的多个子图像分别进行模糊处理,由此得到包含相应模糊图形或模糊文字的子图像作为负样本。
或者,本实施例中将目标图像输出在输出设备的图像输出区域,再使用图像采集设备以图像输出区域中的任一区域为对焦区域进行图像采集,再截取采集到的图像中对应于图像输出区域即目标图像的梯形区域,之后,对截取到的这部分区域调整为矩形区域,最后,将调整出来的矩形区域按照目标图像中的子图像进行子区域的划分,之后,由工作人员将这些子区域对应的图像进行清晰或模糊的标签设置,从而得到标签为1的清晰子区域的图像作为正样本,并得到标签为0的模糊子区域的图像作为负样本。
另外,机器学习模型可以是分类的神经网络,在本实施例中不对机器学习模型的类型做具体限定。
关于利用识别模型从第一区域中识别出目标区域的说明:
请参阅图6,其示出了本申请实施例提供的利用识别模型从第一区域中识别出目标区域的流程图,包括以下步骤:
步骤S601:使用识别模型,对第一区域中子图像对应的子区域进行清晰度识别,以得到清晰度满足处理条件的目标子区域。
需要说明的是,第一区域由多个子区域组成,子区域通过对第一区域进行区域划分得到,每个子区域对应于一个子图像。
在具体实现步骤S601的过程中,首先将第一区域按照目标图像中的子图像进行子区域的划分,从而使得第一区域中由多个分别对应于目标图像中的子图像的子区域组成,基于此,利用识别模型对每个对应于子图像的子区域进行清晰度识别,以确定每个子区域的清晰度是否满足处理条件,也就是确定每个子区域的清晰度是否大于清晰度阈值;清晰度满足处理条件的子区域即为目标子区域。通过识别模型对每个子区域进行清晰度识别后,可确定得到一个或多个目标子区域。
步骤S602:根据目标子区域,获得目标区域。
在具体实现步骤S602的过程中,利用从第一区域中识别出的目标子区域划分得到目标区域。
一些实施例中,从第一区域中识别出目标子区域后,将边缘相邻的目标子区域划分为一个区域以得到第一区域中的至少一个目标区域;也就是说,由边缘相邻的目标子区域所组成的区域即为目标区域,第一区域中至少可以划分出一个目标区域。例如:将边缘相邻的目标子区域划分为一个区域所得到的目标区域的示意图如图7(a),图7(a)中虚线框所划分的区域即为目标区域。又例如:将边缘相邻的目标子区域划分为一个区域所得到的目标区域的示意图如图7(b),图7(b)中虚线框所划分的区域即为目标区域。
一些实施例中,目标图像中的多个子图像为规则排列的图形(图案或文字),或者,多个子图像为非规则的局部图形。需要说明的是,在多个子图像为规则排列的图形的情况下,规则排列的图形按照行和列规则排列,例如:如图5(c)所示,目标图像中包含的图形为小动物图标,该目标图像中所包含的小动物图标按照行和列规则排列。
在多个子图像为规则排列的图形的情况下,利用目标子区域划分出目标区域的其中一种方式为:在规则排列的图形处于同一行的目标子区域的数量大于或等于第一阈值的情况下,将目标子区域所在行的所有子区域划分为一个区域,以得到第一区域中的至少一个目标区域。在规则排列的图形处于同一行的目标子区域的数量小于第一阈值的情况下,删除目标子区域。
也就是说,对于第一区域中的某一行子区域,若从该行子区域中识别出的目标子区域的数量大于或等于第一阈值,则将该行子区域的所有子区域划分为一个区域以作为目标区域;若从该行子区域中识别出的目标子区域的数量小于第一阈值,则将该行子区域中的目标子区域删除。需要说明的是,第一阈值可以根据实际情况进行设置或者调整,在本实施例中不做限定。
可以理解的是,每帧第一图像按上述方式确定目标区域后可得到多个目标区域;将多个目标区域进行拼接和去重可得到清晰的第二图像;例如:假设获得3帧第一图像,第一区域中总共包含15行图形;第一帧第一图像中识别出第1行子区域至第4行子区域为目标区域(以1-4表示该目标区域);第二帧第一图像中识别出第5行子区域至第10行子区域为目标区域(以5-10表示目标区域);第三帧第一图像中识别出第8行子区域至第15行子区域为目标区域(以8-15表示目标区域);将第一帧第一图像中的1-4行子区域、第二帧第二图像中的5-9行子区域和第三帧第一图像中的10-15行子区域进行拼接(已经去重),即可得到总共包含15行图形的清晰的第二图像。
在多个子图像为规则排列的图形的情况下,利用目标子区域划分出目标区域的另外一种方式为:在规则排列的图形处于同一列的所述目标子区域的数量大于或等于第一阈值的情况下,将目标子区域所在列的所有子区域划分为一个区域,以得到第一区域中的至少一个目标区域;在规则排列的图形处于同一列的目标子区域的数量小于第一阈值的情况下,删除目标子区域。
也就是说,对于第一区域中的某一列子区域,若从该列子区域中识别出的目标子区域的数量大于或等于第一阈值,则将该列子区域的所有子区域划分为一个区域以作为目标区域;若从该列子区域中识别出的目标子区域的数量小于第一阈值,则将该列子区域中的目标子区域删除。需要说明的是,第一阈值可以根据实际情况进行设置或者调整,在本实施例中不做限定。
例如:如图7(c)所示出的目标区域的示意图,从第一区域中的第1列子区域至第6列子区域中识别出的目标子区域的数量大于或等于第一阈值;此时可分别将第1列子区域的所有子区域划分为一个区域以作为目标区域,同理,第2列子区域至第6列子区域的所有子区域也分别划分为目标区域;图7(c)中的目标区域即为虚线框所划分的区域。
可以理解的是,每帧第一图像按上述方式确定目标区域后可得到多个目标区域;将多个目标区域进行拼接和去重可得到清晰的第二图像;例如:假设获得3帧第一图像,第一区域中总共包含22列图形;第一帧第一图像中识别出第1列子区域至第8列子区域为目标区域(以1-8表示该目标区域);第二帧第一图像中识别出第5列子区域至第16列子区域为目标区域(以5-16表示目标区域);第三帧第一图像中识别出第14列子区域至第22列子区域为目标区域(以14-22表示目标区域);将第一帧第一图像中的1-6列子区域、第二帧第二图像中的7-15列子区域和第三帧第一图像中的16-22列子区域进行拼接(已经去重),即可得到总共包含22列图形的清晰的第二图像。
以上是关于利用识别模型从第一区域中识别出目标区域的说明,一些实施例中,利用识别模型从第一区域中识别出目标区域之后,可以根据识别出的目标子区域确定目标区域的边界线,并记录用于从第一区域中划分出目标区域的边界线;在下次从新的第一图像中的第一区域中划分目标区域时,可以利用记录的边界线从第一区域中划分出目标区域,具体如何利用边界线划分出目标区域详见以下说明。
关于利用由识别模型得到的边界线从第一区域中划分出目标区域的说明:
一些实施例中,根据第一区域对应的边界线,对第一区域进行区域划分,以得到第一区域中清晰度满足处理条件的目标区域;其中,边界线至少基于识别模型得到。
需要说明的是,由于不同第一图像中图像采集设备对应的对焦区域不同,在记录边界线时,每个对焦区域对应的第一图像中的第一区域均需记录相应的边界线(可以认为每个对焦区域对应记录一边界线);记录边界线后,在下次识别目标区域时,每个对焦区域对应的第一图像中的第一区域均可以获取相应的边界线以用于划分目标区域。
例如:假设多帧第一图像的对焦区域分别处于输出区域中的左侧区域、中间区域和右侧区域;利用识别模型识别对焦区域处于左侧区域的第一图像中第一区域的目标区域时,记录与对焦区域处于左侧区域的第一图像中的第一区域对应的边界线;利用识别模型识别对焦区域处于中间区域的第一图像中第一区域的目标区域时,记录与对焦区域处于中间区域的第一图像中的第一区域对应的边界线;利用识别模型识别对焦区域处于右侧区域的第一图像中第一区域的目标区域时,记录与对焦区域处于右侧区域的第一图像中的第一区域对应的边界线。
根据第一区域对应的边界线对第一区域进行区域划分具体是指:利用该第一区域对应的对焦区域所对应的边界线,对该第一区域进行区域划分以得到该第一区域中清晰度满足处理条件的目标区域。
例如:假设第一图像A和第一图像B的对焦区域均处于输出区域中的左侧区域;在利用识别模型从第一图像A的第一区域中识别出目标区域时,记录与第一图像A的第一区域相应的边界线。在需要从第一图像B的第一区域中识别出目标区域时,利用记录的与第一图像A的第一区域相应的边界线,对第一图像B的第一区域进行区域划分,以得到第一图像B的第一区域中清晰度满足处理条件的目标区域。记录的与第一图像A的第一区域相应的边界线即为:第一图像B的第一区域对应的边界线。
又例如:假设第一图像C和第一图像D的对焦区域均处于输出区域中的中间区域;在利用识别模型从第一图像C的第一区域中识别出目标区域时,记录与第一图像C的第一区域相应的边界线。在需要从第一图像D的第一区域中识别出目标区域时,利用记录的与第一图像C的第一区域相应的边界线,对第一图像D的第一区域进行区域划分,以得到第一图像D的第一区域中清晰度满足处理条件的目标区域。记录的与第一图像C的第一区域相应的边界线即为:第一图像D的第一区域对应的边界线。
以上是关于利用由识别模型得到的边界线从第一区域中划分出目标区域的说明,在需要从第一区域中划分出目标区域时,可利用记录的与第一区域对应的边界线从第一区域中划分出目标区域,能够提高识别目标区域的效率和节约识别资源。
对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
与上述方法实施例相对应,本申请实施例公开一种图像处理装置,该装置可以配置在能够进行图像处理的电子设备中,如计算机或服务器等。本实施例中的技术方案主要用于提高对输出设备的检测准确性。具体的,本实施例中的图像处理装置的结构如图8所示,可以包括:图像获得单元801、区域获得单元802和区域拼接单元803。
图像获得单元801,用于获得多帧第一图像,第一图像为图像采集设备对相对于图像采集设备处于多个姿态的输出设备所采集的图像,且不同的第一图像中图像采集设备对应的对焦区域不同。
区域获得单元802,用于对多帧第一图像进行处理,以得到多帧第一图像中清晰度满足处理条件的多个目标区域,目标区域属于输出设备对应的图像输出区域,且不同的第一图像中的目标区域在图像输出区域的位置不同。
一些实施例中,输出设备在其图像输出区域上输出有目标图像;区域获得单元802具体用于:截取第一图像中的第一区域,第一区域属于目标图像对应的图像区域;识别第一区域中清晰度满足处理条件的目标区域。
优选的,上述区域获得单元802在识别第一区域中清晰度满足处理条件的目标区域之前,还用于:使用第一区域与所述目标图像之间的投影变换矩阵,对第一区域中的像素点坐标进行坐标转换,以使得第一区域的区域尺寸与目标图像的图像尺寸相一致。
一些实施例中,目标图像由多个子图像组成,子图像通过对目标图像进行区域划分得到;上述区域获得单元802识别第一区域中清晰度满足处理条件的目标区域的方式为:使用识别模型,对第一区域中子图像对应的子区域进行清晰度识别,以得到清晰度满足处理条件的目标子区域;根据目标子区域,获得目标区域。具体而言,根据目标子区域获得目标区域的方式为:将边缘相邻的目标子区域划分为一个区域,以得到第一区域中的至少一个目标区域。
一些实施例中,多个子图像为规则排列的图形;或者,多个子图像为非规则的局部图形;其中,在多个子图像为规则排列的图形的情况下,规则排列的图形按照行或列规则排列。相应的,上述区域获得单元802根据目标子区域获得目标区域的方式为:在规则排列的图形处于同一行的目标子区域的数量大于或等于第一阈值的情况下,将目标子区域所在行的所有子区域划分为一个区域,以得到第一区域中的至少一个目标区域;在规则排列的图形处于同一行的目标子区域的数量小于所述第一阈值的情况下,删除目标子区域;或者,上述区域获得单元802根据目标子区域获得目标区域的方式为:在规则排列的图形处于同一列的目标子区域的数量大于或等于第一阈值的情况下,将目标子区域所在列的所有子区域划分为一个区域,以得到第一区域中的至少一个目标区域;在规则排列的图形处于同一列的目标子区域的数量小于第一阈值的情况下,删除目标子区域。
一些实施例中,上述区域获得单元802识别第一区域中清晰度满足处理条件的目标区域的方式为:根据第一区域对应的边界线,对第一区域进行区域划分,以得到第一区域中清晰度满足处理条件的目标区域;其中,边界线至少基于识别模型得到。
区域拼接单元803,用于将多个目标区域进行拼接,以得到第二图像,第二图像用于获得输出设备的图像输出区域的检测结果。
一些实施例中,上述图像获得单元801获得多帧第一图像的方式为:按照目标数值,控制图像采集设备对相对于图像采集设备处于多个姿态的输出设备进行图像采集,以得到多帧第一图像,姿态的数量与所述目标数值对应。相应的,区域拼接单元803还用于:判断第二图像中是否缺少输出设备对应的至少部分区域;如果第二图像中缺少输出设备对应的至少部分区域,增大目标数值,返回执行图像获得单元801按照被增大的目标数值重新控制图像采集设备对相对于图像采集设备处于多个姿态的输出设备进行图像采集,直到第二图像中包含输出设备对应的全部区域。
需要说明的是,关于图像处理装置的执行原理,在上述方法实施例中已进行详细的解释和说明,在此不再赘述。
本申请实施例中,通过调整对焦区域来采集输出设备对应的多帧第一图像,从每帧第一图像中提取清晰度满足处理条件的目标区域,并将所提取的目标区域进行拼接以得到清晰的第二图像,利用第二图像进行AOI可以获取得到准确的检测结果。
与上述方法实施例相对应,本申请实施例公开一种输出检测系统,其中输出检测系统的结构如图9所示,可以包括:图像采集设备901和与图像采集设备901相连接的电子设备902,电子设备可以为能够进行图像处理的设备,如计算机或服务器等。其中:
图像采集设备901用于:对输出设备903进行图像采集。
电子设备902用于:获得多帧第一图像,第一图像为图像采集设备901对相对于图像采集设备901处于多个姿态的输出设备903所采集的图像,且不同的第一图像中图像采集设备901对应的对焦区域不同;对多帧第一图像进行处理,以得到多帧第一图像中清晰度满足处理条件的多个目标区域,目标区域属于输出设备903对应的图像输出区域,且不同的第一图像中的目标区域在图像输出区域的位置不同;将多个目标区域进行拼接,以得到第二图像;根据第二图像,获得输出设备903的图像输出区域的检测结果。
以输出设备为需要被AOI检测的显示屏为例,为提高对显示屏的AOI检测的准确性,基于本申请中的技术方案,本实施例中提出一种对显示屏的侧拍图像进行拼接的方案,具体如下:
请参阅图10,其示出了本申请实施例提供的一种对显示屏的侧拍图像进行拼接的方案的流程图,图10包括以下步骤:
步骤S100:屏幕显示图标。
需要说明的是,屏幕为输出设备即显示屏的屏幕,屏幕所显示的图标为目标图像。
一些实施例中,制作图案模板(也就是目标图像),图案模板中包含的图形可以是形态各异且大小一致的小动物图标,图案模板中的图形可以按照行和列规则排列(可以理解为均匀排布),每行或每列具有图案编号,形态各异,大小一致,由此达到精确标记标定图像即目标图像的宽度或长度的目的。图案模板的具体样式可以参见图11(a),其中每列具有图案标号,以便于精确标记长度。需要说明的是,图11(a)仅用于示例,并不对图案模板中包含的图形做具体限定。
在具体实现步骤S100的过程中,控制屏幕显示图标。
步骤S200:侧面拍摄成像。
在具体实现步骤S200的过程中,利用图像采集设备如相机从侧面拍摄屏幕的多帧第一图像,不同的第一图像中相机对应的对焦区域不同。
步骤S300:图像变换。
在具体实现步骤S300的过程中,利用投影变换矩阵,对第一图像的第一区域中的像素点坐标进行坐标转换,以使得第一区域的区域尺寸与目标图像的图像尺寸相一致。
需要说明的是,由于第一图像为侧拍图像,从第一图像中截取的第一区域的形状为梯形,且第一区域中所显示的内容会存在畸变,例如:如图11(b)所示形状为梯形的第一区域,第一区域中所显示的内容存在畸变。为提高识别目标区域的准确性,需要将形状为梯形的第一区域转换为形状为矩形的第一区域,以使得第一区域的区域尺寸与目标图像的图像尺寸相一致,例如:将图11(b)所示出的第一区域转换为形状为矩形的第一区域,形状为矩形的第一区域如图11(c)。具体而言,可以利用上述公式(1)至公式(3)将形状为梯形的第一区域转换为形状为矩形的第一区域,由此降低后续算法的复杂度并提高算法的准确性。
步骤S400:算法识别。
在具体实现步骤S400的过程中,从第一区域中识别清晰度满足处理条件的目标区域,该目标区域显示有清晰的图形;例如:通过识别算法检测第一区域并识别出清晰的小图标,以此确定目标区域,以图12(a)-图12(c)为例:图12(a)为从对焦区域处于输出区域中的左侧区域的第一图像的第一区域中识别出的目标区域;图12(b)为从对焦区域处于输出区域中的中间区域的第一图像的第一区域中识别出的目标区域;图12(c)为从对焦区域处于输出区域中的右侧区域的第一图像的第一区域中识别出的目标区域。
可以理解的是,可利用识别模型从第一区域中识别清晰度满足处理条件的目标区域;训练得到识别模型的过程为:将清晰的图案模板小图标(目标图像中清晰的子图像对应的具有清晰标签的样本图像)作为正样本,将模糊的图案模板小图标(目标图像中模糊的子图像对应的具有模糊标签的样本图像)作为负样本;利用正样本和负样本作为训练样本对机器学习模型进行训练,同时调整阈值,该识别模型可以准确区分清晰图像与模糊图像。对由识别模型从每列子区域识别出的目标子区域的数量可以设置阈值参数(第一阈值),全识别出清晰图标最佳,未全部识别出清晰图标则作为边界线;也就是说,对于每列子区域而言,若该列子区域中包含的目标子区域的数量大于或等于第一阈值,则该列子区域可以划分为一个目标区域,例如:若某一列子区域中的所有子区域均为目标子区域,则该列子区域可以划分为一个目标区域;若该列子区域中包含的目标子区域的数量小于第一阈值,则该列子区域可以作为用于划分目标区域的边界线。同理,按行划分目标区域的方式可以参见前述内容,在此不再赘述。基于此,对第一区域中的每列子区域都执行步骤S410,以识别出用于划分目标区域的边界线。
一些实施例中,在利用边界线划分目标区域时,裁切得到的目标区域可以是规则的;同理,在利用边界线划分目标区域时,裁切得到的目标区域可以是不规则的,如图12(d)所示,裁切得到的目标区域可以是不规则的。
步骤S410:该列是否全部清晰。
在具体实现步骤S410的过程中,该列确定子区域中所有的子区域是否为目标子区域。若该列子区域中所有的子区域均为目标子区域,确定该列全部图像清晰(确定该列子区域对应的子图像为清晰图像);若该列子区域中不是所有的子区域均为目标子区域,确定该列图像清晰边界(确定该列子区域为用于划分目标区域的边界线)。基于此,在对第一区域中每个小图标所在的区域的清晰度进行识别,取出每帧第一图像中的第一区域中的清晰部分,即目标区域。
步骤S500:去重拼图。
在具体实现步骤S500的过程中,将多个目标区域进行拼接和去除重叠部分,以得到清晰完整的第二图像,例如:假设获得3帧第一图像,第一区域中总共包含22列图形;第一帧第一图像中识别出第1列子区域至第8列子区域为目标区域(以1-8表示该目标区域);第二帧第一图像中识别出第5列子区域至第16列子区域为目标区域(以5-16表示目标区域);第三帧第一图像中识别出第14列子区域至第22列子区域为目标区域(以14-22表示目标区域);将第一帧第一图像中的1-6列子区域、第二帧第二图像中的7-15列子区域和第三帧第一图像中的16-22列子区域进行拼接(已经去重),即可得到总共包含22列图形的清晰的第二图像,所得到的第二图像如图13所示,即一张各区域都清晰的完整图像。
上述选择3张图像进行拼接,是由于3张图像可满足14"及以下尺寸的屏幕检测需求。如果遇到更大尺寸的屏幕检测需求,可不限定拼接图像张数。基于此,本实施例中将需要检测的屏幕在流水线上正常运行,相机间隔抓取屏幕的多张图像,按照上述实施例所描述技术,逐张裁切并完成清晰图像的拼接,从而实现屏幕的检测。另外,以上方案中裁切图像时,可以按照小图标排列的规则进行裁切,也可以通过检测图像清晰边界,进行不规则形状的裁切,从而完成拼图。
以上是关于一种对显示屏的侧拍图像进行拼接的方案的相关说明,通过拼接对应于图像输出区域的不同位置的清晰图像来实现图像输出区域的检测,从而避免因为图像存在模糊而导致的检测结果不准确的情况。
由上述可知,本实施例中针对单个相机对侧拍图像景深不足导致成像部分模糊的情况下,通过自动拼图可达到使用多组相机拍摄的效果,从而节省设备成本。而且,标定图像只需在首次确定边界的时候使用,后续对其他同尺寸屏幕拍摄时可以不再标定,直接通过前一屏幕拍摄所得到的边界进行区域划分即可得到用于拼接的清晰图像区域,从而达到提高效率的目的。进一步的,本实施例中通过校正侧拍图像至正拍方正图像,提高图像对识别算法的兼容性,降低方案的实现复杂度,提高效率。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种图像处理方法,所述方法包括:
获得多帧第一图像,所述第一图像为图像采集设备对相对于所述图像采集设备处于多个姿态的输出设备所采集的图像,不同的所述第一图像中所述图像采集设备对应的对焦区域不同,所述输出设备在其图像输出区域上输出有目标图像,所述姿态通过所述输出设备的图像输出区域所在平面与所述图像采集设备的采集方向之间的相对位置来表征,其中,所述输出设备的图像输出区域所在平面与所述采集方向呈预设角度,且所述采集方向对应于所述图像输出区域的部分区域,所述预设角度为非90度角;
对多帧所述第一图像进行处理,得到多帧所述第一图像中清晰度满足处理条件的多个目标区域,包括:截取所述第一图像中的第一区域,所述第一区域属于所述目标图像对应的图像区域;使用所述第一区域与所述目标图像之间的投影变换矩阵,对所述第一区域中的像素点坐标进行坐标转换,以使得所述第一区域的区域尺寸与所述目标图像的图像尺寸相一致;识别所述第一区域中清晰度满足处理条件的目标区域,所述目标区域属于所述输出设备对应的图像输出区域,且不同的所述第一图像中的目标区域在所述图像输出区域的位置不同;
将多个所述目标区域进行拼接,以得到第二图像,所述第二图像用于获得所述输出设备的图像输出区域的检测结果;
所述目标图像由多个子图像组成,所述子图像通过对所述目标图像进行区域划分得到;
其中,识别所述第一区域中清晰度满足处理条件的目标区域,包括:使用识别模型,对所述第一区域中子图像对应的子区域进行清晰度识别,以得到清晰度满足处理条件的目标子区域;根据所述目标子区域,获得目标区域。
2.根据权利要求1所述的方法,识别所述第一区域中清晰度满足处理条件的目标区域,包括:
根据所述第一区域对应的边界线,对所述第一区域进行区域划分,以得到所述第一区域中清晰度满足处理条件的目标区域;
其中,所述边界线至少基于所述识别模型得到。
3.根据权利要求1所述的方法,所述多个子图像为规则排列的图形;或者,所述多个子图像为非规则的局部图形;
其中,在所述多个子图像为规则排列的图形的情况下,所述规则排列的图形按照行或列规则排列。
4.根据权利要求1所述的方法,根据所述目标子区域,获得目标区域,包括:
将边缘相邻的所述目标子区域划分为一个区域,以得到所述第一区域中的至少一个目标区域。
5.根据权利要求3所述的方法,根据所述目标子区域,获得目标区域,包括:
在规则排列的图形处于同一行的所述目标子区域的数量大于或等于第一阈值的情况下,将所述目标子区域所在行的所有子区域划分为一个区域,以得到所述第一区域中的至少一个目标区域;
在规则排列的图形处于同一行的所述目标子区域的数量小于所述第一阈值的情况下,删除所述目标子区域;
或者,
根据所述目标子区域,获得目标区域,包括:
在规则排列的图形处于同一列的所述目标子区域的数量大于或等于第一阈值的情况下,将所述目标子区域所在列的所有子区域划分为一个区域,以得到所述第一区域中的至少一个目标区域;
在规则排列的图形处于同一列的所述目标子区域的数量小于所述第一阈值的情况下,删除所述目标子区域。
6.根据权利要求1所述的方法,获得多帧第一图像,包括:
按照目标数值,控制图像采集设备对相对于所述图像采集设备处于多个姿态的输出设备进行图像采集,以得到多帧第一图像,所述姿态的数量与所述目标数值对应;
其中,在将多个所述目标区域进行拼接,以得到第二图像之后,所述方法还包括:
判断所述第二图像中是否缺少所述输出设备对应的至少部分区域;
如果所述第二图像中缺少所述输出设备对应的至少部分区域,增大所述目标数值,并按照被增大的目标数值,重新控制图像采集设备对相对于所述图像采集设备处于多个姿态的输出设备进行图像采集,直到所述第二图像中包含所述输出设备对应的全部区域。
7.一种输出检测系统,包括:
图像采集设备和与所述图像采集设备相连接的电子设备;
其中,所述图像采集设备用于:对输出设备进行图像采集;
所述电子设备用于:获得多帧第一图像,所述第一图像为所述图像采集设备对相对于所述图像采集设备处于多个姿态的所述输出设备所采集的图像,且不同的所述第一图像中所述图像采集设备对应的对焦区域不同,所述输出设备在其图像输出区域上输出有目标图像,所述姿态通过所述输出设备的图像输出区域所在平面与所述图像采集设备的采集方向之间的相对位置来表征,其中,所述输出设备的图像输出区域所在平面与所述采集方向呈预设角度,且所述采集方向对应于所述图像输出区域的部分区域,所述预设角度为非90度角;对多帧所述第一图像进行处理,以得到多帧所述第一图像中清晰度满足处理条件的多个目标区域,包括:截取所述第一图像中的第一区域,所述第一区域属于所述目标图像对应的图像区域;使用所述第一区域与所述目标图像之间的投影变换矩阵,对所述第一区域中的像素点坐标进行坐标转换,以使得所述第一区域的区域尺寸与所述目标图像的图像尺寸相一致;识别所述第一区域中清晰度满足处理条件的目标区域,所述目标区域属于所述输出设备对应的图像输出区域,且不同的所述第一图像中的目标区域在所述图像输出区域的位置不同;将多个所述目标区域进行拼接,以得到第二图像;根据所述第二图像,获得所述输出设备的图像输出区域的检测结果;
所述目标图像由多个子图像组成,所述子图像通过对所述目标图像进行区域划分得到;其中,识别所述第一区域中清晰度满足处理条件的目标区域,包括:使用识别模型,对所述第一区域中子图像对应的子区域进行清晰度识别,以得到清晰度满足处理条件的目标子区域;根据所述目标子区域,获得目标区域。
CN202210312209.6A 2022-03-28 2022-03-28 图像处理方法及输出检测系统 Active CN114745500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210312209.6A CN114745500B (zh) 2022-03-28 2022-03-28 图像处理方法及输出检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210312209.6A CN114745500B (zh) 2022-03-28 2022-03-28 图像处理方法及输出检测系统

Publications (2)

Publication Number Publication Date
CN114745500A CN114745500A (zh) 2022-07-12
CN114745500B true CN114745500B (zh) 2023-09-19

Family

ID=82277368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210312209.6A Active CN114745500B (zh) 2022-03-28 2022-03-28 图像处理方法及输出检测系统

Country Status (1)

Country Link
CN (1) CN114745500B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968792A (zh) * 2012-10-29 2013-03-13 中国科学院自动化研究所 显微视觉下多焦面物体成像的方法
CN105100578A (zh) * 2014-05-05 2015-11-25 南昌欧菲光电技术有限公司 图像处理系统及其图像处理方法
CN110879999A (zh) * 2019-11-14 2020-03-13 武汉兰丁医学高科技有限公司 基于手机的微型显微图像采集装置及图像拼接、识别方法
CN111259907A (zh) * 2020-03-12 2020-06-09 Oppo广东移动通信有限公司 内容识别方法、装置以及电子设备
TWI718747B (zh) * 2019-11-05 2021-02-11 國立臺灣科技大學 增進影像清晰度的方法
CN214121968U (zh) * 2020-12-03 2021-09-03 无锡动视宫原科技有限公司 一种基于多次拍摄和标定的液晶屏侧拍瑕疵检测装置
CN113486828A (zh) * 2021-07-13 2021-10-08 杭州睿胜软件有限公司 图像处理方法、装置、设备和存储介质
CN113781393A (zh) * 2021-08-04 2021-12-10 深圳市鑫信腾科技股份有限公司 屏幕缺陷检测方法、装置、设备及存储介质
WO2022016563A1 (zh) * 2020-07-23 2022-01-27 南京科沃信息技术有限公司 一种植保无人机地面监控系统及其监控方法
WO2022022715A1 (zh) * 2020-07-30 2022-02-03 华为技术有限公司 一种拍摄方法及设备
CN114022416A (zh) * 2021-10-16 2022-02-08 泰康保险集团股份有限公司 一种图像清晰度检测方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968792A (zh) * 2012-10-29 2013-03-13 中国科学院自动化研究所 显微视觉下多焦面物体成像的方法
CN105100578A (zh) * 2014-05-05 2015-11-25 南昌欧菲光电技术有限公司 图像处理系统及其图像处理方法
TWI718747B (zh) * 2019-11-05 2021-02-11 國立臺灣科技大學 增進影像清晰度的方法
CN110879999A (zh) * 2019-11-14 2020-03-13 武汉兰丁医学高科技有限公司 基于手机的微型显微图像采集装置及图像拼接、识别方法
CN111259907A (zh) * 2020-03-12 2020-06-09 Oppo广东移动通信有限公司 内容识别方法、装置以及电子设备
WO2022016563A1 (zh) * 2020-07-23 2022-01-27 南京科沃信息技术有限公司 一种植保无人机地面监控系统及其监控方法
WO2022022715A1 (zh) * 2020-07-30 2022-02-03 华为技术有限公司 一种拍摄方法及设备
CN214121968U (zh) * 2020-12-03 2021-09-03 无锡动视宫原科技有限公司 一种基于多次拍摄和标定的液晶屏侧拍瑕疵检测装置
CN113486828A (zh) * 2021-07-13 2021-10-08 杭州睿胜软件有限公司 图像处理方法、装置、设备和存储介质
CN113781393A (zh) * 2021-08-04 2021-12-10 深圳市鑫信腾科技股份有限公司 屏幕缺陷检测方法、装置、设备及存储介质
CN114022416A (zh) * 2021-10-16 2022-02-08 泰康保险集团股份有限公司 一种图像清晰度检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114745500A (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN109100363B (zh) 一种贴合异物缺陷与灰尘的区分方法及系统
US20080232715A1 (en) Image processing apparatus
CN111025701B (zh) 一种曲面液晶屏幕检测方法
TWI635462B (zh) 一種評估影像品質之方法
CN113284154B (zh) 钢卷端面图像分割方法、装置及电子设备
US9094617B2 (en) Methods and systems for real-time image-capture feedback
JP2005258940A (ja) 画像認識方法及び画像認識装置
CN112991159B (zh) 人脸光照质量评估方法、系统、服务器与计算机可读介质
CN114745500B (zh) 图像处理方法及输出检测系统
CN111798422A (zh) 棋盘格角点识别方法、装置、设备及存储介质
CN113128499B (zh) 视觉成像设备的震动测试方法、计算机设备及存储介质
CN115984197A (zh) 基于标准pcb图像的缺陷检测方法及相关装置
CN111935480B (zh) 一种用于图像获取装置的检测方法及相关装置
CN111401365B (zh) Ocr图像自动生成方法及装置
CN114354622A (zh) 显示屏的缺陷检测方法、装置、设备和介质
JP2006293522A (ja) 直線検出装置、直線検出方法およびそのプログラム
JPH0843316A (ja) 塗膜劣化自動診断方法及び装置
CN114511443A (zh) 图像处理、图像识别网络训练和图像识别的方法及装置
JP4696239B2 (ja) 文字列の傾斜補正方法及び装置
JP2005217721A (ja) 静止画像生成装置および生成方法
CN117495857B (zh) 皮带撕边的检测方法、系统、设备和介质
CN111553210B (zh) 车道线检测模型的训练方法、车道线检测方法及装置
JP2013053986A (ja) パターン検査方法及びその装置
JP6157068B2 (ja) 情報処理装置及びその制御方法
CN117576609A (zh) 实验器材的自动标注方法、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant