CN112257607A - 一种处理流水线上采集的手机图像畸变的矫正方法 - Google Patents

一种处理流水线上采集的手机图像畸变的矫正方法 Download PDF

Info

Publication number
CN112257607A
CN112257607A CN202011147122.5A CN202011147122A CN112257607A CN 112257607 A CN112257607 A CN 112257607A CN 202011147122 A CN202011147122 A CN 202011147122A CN 112257607 A CN112257607 A CN 112257607A
Authority
CN
China
Prior art keywords
image
mobile phone
points
transparent platform
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011147122.5A
Other languages
English (en)
Other versions
CN112257607B (zh
Inventor
李新宇
余化兴
付勇刚
符永高
胡嘉琦
邓梅玲
卞朋帅
翟文星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
China National Electric Apparatus Research Institute Co Ltd
Original Assignee
Hefei University of Technology
China National Electric Apparatus Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology, China National Electric Apparatus Research Institute Co Ltd filed Critical Hefei University of Technology
Priority to CN202011147122.5A priority Critical patent/CN112257607B/zh
Publication of CN112257607A publication Critical patent/CN112257607A/zh
Application granted granted Critical
Publication of CN112257607B publication Critical patent/CN112257607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W30/00Technologies for solid waste management
    • Y02W30/50Reuse, recycling or recovery technologies
    • Y02W30/82Recycling of waste of electrical or electronic equipment [WEEE]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及一种处理流水线上采集的手机图像畸变的矫正方法。该方法包括如下步骤:S1、针对获取的图像,设置拍摄对象矩形范围,分离正反面,并做第一次透视变换;S2、针对上步骤处理后的图像,提取图像的感兴趣区;S3、根据感兴趣区最小外接矩形设置手机倾斜程度等级;S4、根据倾斜等级设置合适的边缘卷积核H;通过运算获取可靠的四边边缘点;S5、根据可靠的四边边缘点拟合直线形成最佳的外包四边形;S6、构建四边形四个顶点的排序准则;S7、将四个排序好的点作为输入,作第二次透视变换。该方法可以对采集的图像中的各种畸变进行矫正处理,提高获取的图像的质量。

Description

一种处理流水线上采集的手机图像畸变的矫正方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种处理流水线上采集的手机图像畸变的矫正方法。
背景技术
当前,智能手机的使用日益普及,每年产生大量的废旧手机,这些废旧手机可以进行回收处理,对其中的可回收部件进行拆解利用。传统的手机回收分类通常由人工完成,工作任务繁重,且增加了回收处理的成本,因此很多废旧手机回收处理厂家愿意采购自动化的分类设备进行处理。
自动处理废旧手机的装备通常基于机器视觉技术,其利用计算机来模拟人的视觉功能,从客观事物的图像中提取信息。为了能提高回收效益,首先需要采集手机外观图像并进行识别分类。手机的主要信息来源于手机的正方两面,因此需要同时采集手机正反两面的图像,传统的设备需要人工进行手机反面,这种操作方式速度慢,效率低,部分设备采用机械手臂代替人工进行手机反面,这会大大提高设备的硬件成本,且机械手翻转占据空间大且繁琐。因此,设计一种能实现流水线上快速、便捷、低成本采集手机两面图像的设备,成为亟需解决的技术问题。
此外,传统的采集设备中,相机位置是固定的,而在回收处理流水线上的废旧手机摆放位置和方向都是不固定的。由于方位的不确定,所拍摄的照片与实际的照片存在一定的任意倾斜角度和透视变形,导致后期的识别准确率降低。而现有的透视矫正的方法,先预处理后用Canny算子获取边缘,再通过Hough直线检测,接下来利用获得的直线获得最佳外包四边形,最后获得较正矩阵对图像矫正。由于手机外观大致呈矩形,利用此方法较为合理且简单,但此方法针对手机存在以下不足:Canny获取的边缘常常有断点,导致Hough直线检测出多条直线,为了避免同一条直线出现断裂的情况,需要进行连接的复杂处理,致使通过这些直线很难获得最佳外包四边形,只有当每一步都理想状态下才能较好矫正。
发明内容
针对现有的技术方案存在的问题,本发明的目的在于提供一种处理流水线上采集的手机图像畸变的矫正方法,可以对采集的图像中的各种畸变进行矫正处理,提高获取的图像的质量。
为实现上述目的,本发明提供以下技术方案:
一种处理流水线上采集的手机图像畸变的矫正方法,图像矫正处理过程包括如下步骤:
S1、对获取的图像,设置拍摄对象矩形范围,分离正反面,并做第一次透视变换,消除由镜面反射引起的透视畸变;
S2、对上步骤处理后的图像,通过如下步骤提取图像的感兴趣区:
S21、将图像的颜色空间由RGB转换至HSV颜色空间,空间中第i行j列的像素值为[hij,sij,vij],其中hij,sij,vij分别为i行j列HSV空间中H,S,V通道的值;
S22、设定单一背景颜色在的HSV空间值的范围,上限值[hup,sup,vup]和下限值[hdown,sdown,vdown];
S23、根据设定上下值对目标图像进行二值化,图像记为{Pij};i行j列的像素值Pij取值采用如下公式:
Figure BDA0002740014240000021
S24、搜索二值化图像所有连通区,连通区集合记作Q。Q={Qk|k=1,2,…,n},Qk={(i,j)|(i,j)满足连通区点},除去最大连通区
Figure BDA0002740014240000023
外其它连通区填充为黑色(像素值为0),得到新的{Pij}。计算公式如下:
Figure BDA0002740014240000022
S25、使用泛洪填充将最大区域的内部孔洞填充为白色,得到整个手机的单连通区;
S26、使用形态学滤波优化连通区边缘,得最终ROI图像,记作M,M={Pij};
S3、根据感兴趣区最小外接矩形设置手机倾斜程度等级;
S4、根据倾斜等级设置合适的边缘卷积核H;并通过如下步骤运算获取可靠的四边边缘点:
S41、由倾斜等级设置合适的边缘卷积核H;
采用Prewitt算子,水平方向H0和倾斜方向H45两类,H选取如下:
Figure BDA0002740014240000031
其中H0,H45算子的表示形式:
Figure BDA0002740014240000032
S42、对感兴趣区图像M进行卷积计算;
利用离散卷积公式M′=M*H,M′中最大值P′max和最小值P′min有如下关系:
M′={P′ij},P′min=min(P′ij)=-3,P′max=max(P′ij)=3;
其中P′ij表示M′中第i行j列的像素值;
S43、最大值的点集A和最小值的点集B,计算公式如下:
A={(i,j)|P′ij=P′max},B={(i,j)|P′ij=P′min};
S44、获取可靠的点集,先对点集排序,然后过滤靠近端点的点集;
S45、将卷积核H顺时针旋转90度后重复S42~S44,依次完成四边边缘点的寻找;
S5、根据可靠的四边边缘点拟合直线形成最佳的外包四边形;
S6、构建四边形四个顶点的排序准则;
S7、将四个排序好的点作为输入,作第二次透视变换,消除由任意方位引起的透视畸变。
进一步地,步骤S1中,采集的手机图像,图像分为上半区和下半区,均保持完整性,避免拍摄手机的局部;图像背景颜色保持单一颜色;设置拍摄对象的目标矩形范围,分离图像上半部分和下半部分,各自作透视变换消除由镜面反射的透视畸变。
进一步地,S3步骤的处理过程如下:
S31、利用旋转法获取最小外接矩形,记作R。R=(x,y,w,h,r),其中x,y表示R的中心横向坐标和纵向坐标,w,h表示R的宽和长,r表示R旋转角度,取值范围(-90,0],角度为负表示逆时针旋转;
S32、根据最小外接矩形设置倾斜等级g,倾斜等级分为3级:g=0表示呈竖直;g=1表示呈倾斜;g=2表示呈水平,计算公式如下:
Figure BDA0002740014240000041
其中,θ1,θ2分别倾斜时旋转的临界值;其取值范围θ1∈(-85,-75],θ2∈(-25,-15]。
进一步地,步骤S44包含以下步骤:
S441、对集合A的n个项按照i的大小排序,新集合记作A′,具体形式如下:
A′={(iN,jN)|(iN,jN)∈A}且
Figure BDA0002740014240000042
满足iN-1≤iN≤iN+1,N={2,3,…,n-1};
S442、按数量过滤离散点A″;
S443、按百分比过滤靠近端点,计算公式为:
Figure BDA0002740014240000043
其中,λ为过滤的百分比系数,取值范围[0.05,0.15];I表示满足百分比过滤要求的iN集合;imin,imax分别为iN的最小值与最大值;
S444、对集合B重复S441~S443,获得可靠的点集B″′。
进一步地,S6步骤的处理过程如下:
S61、直线LA与LC、LA与LD、LB与LC和LB与LD交点分别为:(x1,y1),(x2,y2),(x3,y3),(x4,y4)。其中LA,LB,LC,LD对点集A″′,B″′,C″′,D″′拟合的直线。
S62、比较四个点水平和竖直方向最大差距,设置基准向量
Figure BDA0002740014240000051
计算公式如下:
Figure BDA0002740014240000052
d=[(max(xm)-min(xm)]-[max(ym)-min(ym)];
其中xm,ym表示第m个交点的坐标,m∈{1,2,…,M},M=4;
S62、四点的中心到四个点的向量,计算公式如下:
Figure BDA0002740014240000053
其中
Figure BDA0002740014240000054
表示中心点到第m个交点的向量;
S63、利用构建函数计算点排序值,公式如下:
Figure BDA0002740014240000055
其中sm表示第m个点的排序值,取值范围[-2,2];符号“·”表示向量点乘,符号“||||”表示向量的模;
S64、利用sm的大小来判断第m个点顺序,sm从大到小表示四点按顺时针排列,其中smax为{sm}的最大值并以该点为起点。
进一步地,步骤S7中,以排序好的四点作为输入,以水平放置的手机角点顺序为左下,左上,右上,右下为矫正标准,计算中心投影变换矩阵,最后利用变换矩阵矫正图像。
进一步地,步骤1中获取的所述图像由采集装置输出,采集装置包括箱体,载台,两个背景板,分别与所述两个背景板相对应的两块反光镜,以及取像装置。箱体一侧设置开口;载台包括透明平台、驱动所述透明平台旋转的驱动机构;所述透明平台沿水平方向部分伸入所述箱体内,使得所述透明平台上的手机能通过所述透明平台相对所述箱体从开口侧旋入、旋出;两个背景板分别位于所述透明平台伸入在所述箱体内的部分的上、下相对两侧上,且与所述透明平台平行;两块反光镜分别对称位于所述透明平台伸入在所述箱体内的部分的上、下相对两侧上,并与所述透明平台成一定夹角,且满足以下条件:当所述手机随所述透明平台旋入在所述箱体内时,所述手机的上、下相对两侧及其透过所述透明平台的背景板成像在相应的反光镜上;取像装置用于获取图像,所述图像至少包括所述两块反光镜中的成像。
进一步地,采集装置接收输入传送带上输出的手机,并输出到输出传送带上,采集装置还包括限位装置,限位装置位于箱体外的部分透明平台的外周,限位装置与所述输入传送带相接的位置设置输入口,限位装置与所述输出传送带相接的位置设置输出口;限位装置的输入口处设置第一引导拨片,限位装置的输出口处设置第二引导拨片,所述第一引导拨片和第二引导拨片用于引导手机在输入传送带、透明平台和输出传送带间平稳传送,而不至于从透明平台上滑落。
进一步地,箱体内还设置光源,光源与箱体内壁固定连接,对所述透明平台上的手机进行补光;所述取像装置的镜头前设置偏振片。
进一步地,取像装置通过数据输出接口与图像处理装置的数据输入接口电连接,图像处理装置包括存储器、处理器及存储在存储器上运行的计算机程序,所述计算机程序执行如前述的图像矫正处理步骤。
本发明提供的一种处理流水线上采集的手机图像畸变的矫正方法,具有以下有益效果:
本发明的处理流水线上采集的手机图像畸变的矫正方法,可以对在流水线上不停机地同时采集到的手机正反两面外观图像进行矫正处理。既能处理设备本身带来的畸变,同时也能处理因手机摆放方位的差异而带来的畸变;该方法充分利用了手机的可靠边缘点来获得精确的手机定位,提高后期的识别准确率。
该方法中应用的图像采集设备设计巧妙,布局科学,结构简单,对空间的占用较小;可以完全代替传统的机械手和工业相机等复杂设备,具有极高的实用价值。
附图说明
下面结合附图对本发明进一步说明。
图1为本发明实施例1中图像矫正方法的算法流程图;
图2为本发明实施例2中图像采集装置的整体结构示意图;
图3为本发明实施例2中图像采集装置的的半剖结构示意图;
图4为本发明实施例2中图像采集过程的光线反射原理图;
附图标记说明:1、箱体;2、透明平台;3、限位装置;4、输入传送带;5、输出传送带;11、取像装置;12、光源;13、背景板;14、反光镜;21、转轴;31、输入口;32、输出口;140、限位螺钉;210、电机;311、第一引导拨片;321、第二引导拨片。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
实施例1
如图1所示,本实施例提供处理流水线上采集的手机图像畸变的矫正方法;该方法包括如下步骤:
S1、对获取的图像,设置拍摄对象矩形范围,分离正反面,并做第一次透视变换,消除由镜面反射引起的透视畸变;
S2、对上步骤处理后的图像,提取图像的感兴趣区;
S3、根据感兴趣区最小外接矩形设置手机倾斜程度等级;
S4、根据倾斜等级设置合适的边缘卷积核H;并通过运算获取可靠的四边边缘点;
S5、根据可靠的四边边缘点拟合直线形成最佳的外包四边形;
S6、构建四边形四个顶点的排序准则;
S7、将四个排序好的点作为输入,作第二次透视变换,消除由任意方位引起的透视畸变。
其中,步骤S1中,拍摄一张手机图像,图像分为上半区和下半区,均保持完整性,避免拍摄手机的局部;图像背景颜色保持单一颜色;设置拍摄对象的目标矩形范围,分离图像上半部分和下半部分,各自作透视变换消除由镜面反射的透视畸变。
S2步骤的处理过程如下:
S21、将图像的颜色空间由RGB转换至HSV颜色空间,空间中第i行j列的像素值为[hij,sij,vij],其中hij,sij,vij分别为i行j列HSV空间中H,S,V通道的值;
S22、设定单一背景颜色在的HSV空间值的范围,上限值[hup,sup,vup]和下限值[hdown,sdown,vdown];
S23、根据设定上下值对目标图像进行二值化,图像记为{Pij};i行j列的像素值Pij取值采用如下公式:
Figure BDA0002740014240000081
S24、搜索二值化图像所有连通区,连通区集合记作Q。Q={Qk|k=1,2,…,n},Qk={(i,j)|(i,j)满足连通区点},除去最大连通区
Figure BDA0002740014240000082
外其它连通区填充为黑色(像素值为0),得到新的{Pij}。计算公式如下:
Figure BDA0002740014240000091
S25、使用泛洪填充将最大区域的内部孔洞填充为白色,得到整个手机的单连通区;
S26、使用形态学滤波优化连通区边缘,得最终ROI图像,记作M,M={Pij}。
本实施例中,S3步骤的处理过程如下:
S31、利用旋转法获取最小外接矩形,记作R。R=(x,y,w,h,r),其中x,y表示R的中心横向坐标和纵向坐标,w,h表示R的宽和长,r表示R旋转角度,取值范围(-90,0],角度为负表示逆时针旋转;
S32、根据最小外接矩形设置倾斜等级g,倾斜等级分为3级:g=0表示呈竖直;g=1表示呈倾斜;g=2表示呈水平,计算公式如下:
Figure BDA0002740014240000092
其中,θ1,θ2分别倾斜时旋转的临界值;其取值范围θ1∈(-85,-75],θ2∈(-25,-15]。
本实施例中,S4步骤的处理过程如下:
S41、由倾斜等级设置合适的边缘卷积核H;
采用Prewitt算子,水平方向H0和倾斜方向H45两类,H选取如下:
Figure BDA0002740014240000093
其中H0,H45算子的表示形式:
Figure BDA0002740014240000094
S42、对感兴趣区图像M进行卷积计算;
利用离散卷积公式M′=M*H,M′中最大值P′max和最小值P′min有如下关系:
M′={P′ij},P′min=min(P′ij)=-3,P′max=max(P′ij)=3;
其中P′ij表示M′中第i行j列的像素值;
S43、最大值的点集A和最小值的点集B,计算公式如下:
A={(i,j)|P′ij=P′max},B={(i,j)|P′ij=P′min};
S44、获取可靠的点集,先对点集排序,然后过滤靠近端点的点集;
S45、将卷积核H顺时针旋转90度后重复S42~S44,依次完成四边边缘点的寻找。
进一步地,步骤S44包含以下步骤:
S441、对集合A的n个项按照i的大小排序,新集合记作A′,具体形式如下:
A′={(iN,jN)|(iN,jN)∈A}且
Figure BDA0002740014240000101
满足iN-1≤iN≤iN+1,N={2,3,…,n-1};
S442、按数量过滤离散点A″;
S443、按百分比过滤靠近端点,计算公式为:
Figure BDA0002740014240000102
其中,λ为过滤的百分比系数,取值范围[0.05,0.15];I表示满足百分比过滤要求的iN集合;imin,imax分别为iN的最小值与最大值;
S444、对集合B重复S441~S443,获得可靠的点集B″′。
本实施例的步骤S5中,减少了离群点对直线拟合的影响,采用最小二乘法进行直线拟合。直线L=(vx,vy,x0,y0),其中(vx,vy)表示方向向量,(x0,y0)表示直线上的点坐标。直线的一般式为:vyx-vxy=vyx0-vxy0
对点集A″′,B″′,C″′,D″′拟合的直线分别记作LA,LB,LC,LD
本实施例中,S6步骤的处理过程如下:
S61、直线LA与LC、LA与LD、LB与LC和LB与LD交点分别为:(x1,y1),(x2,y2),(x3,y3),(x4,y4)。其中LA,LB,LC,LD对点集A″′,B″′,C″′,D″′拟合的直线。
S62、比较四个点水平和竖直方向最大差距,设置基准向量
Figure BDA0002740014240000111
计算公式如下:
Figure BDA0002740014240000112
d=[(max(xm)-min(xm)]-[max(ym)-min(ym)];
其中xm,ym表示第m个交点的坐标,m∈{1,2,…,M},M=4;
S62、四点的中心到四个点的向量,计算公式如下:
Figure BDA0002740014240000113
其中
Figure BDA0002740014240000114
表示中心点到第m个交点的向量;
S63、利用构建函数计算点排序值,公式如下:
Figure BDA0002740014240000115
其中sm表示第m个点的排序值,取值范围[-2,2];符号“·”表示向量点乘,符号“||||”表示向量的模;
S64、利用sm的大小来判断第m个点顺序,sm从大到小表示四点按顺时针排列,其中smax为{sm}的最大值并以该点为起点。
步骤S7中,一排序好的四点作为输入,以水平放置的手机角点顺序为左下,左上,右上,右下为矫正标准,计算中心投影变换矩阵,最后利用变换矩阵矫正图像。
实施例2
如图2和图3所示,本实施例提供获取实施例1处理的图像采集装置,图像采集装置接收输入传送带4上输出的物件(在本实施例中为手机),并输出到输出传送带5上,其包括箱体1,载台,两个背景板12,分别与两个背景板12相对应的两块反光镜14以及取像装置11。
箱体1一侧设置开口;载台包括透明平台2、驱动透明平台2旋转的驱动机构;透明平台2沿水平方向部分伸入箱体1内,使得透明平台2上的物件能通过透明平台2相对箱体1从开口侧旋入、旋出。
两个背景板13分别位于透明平台2伸入在箱体1内的部分的上、下相对两侧上,且与透明平台2平行。
两块反光镜14分别对称位于透明平台2伸入在箱体1内的部分的上、下相对两侧上,并与透明平台2成一定夹角,且满足以下条件:当物件随所述透明平台2旋入在箱体1内时,物件的上、下相对两侧及其透过透明平台2的背景板13成像在相应的反光镜14上;取像装置11用于获取图像,图像至少包括两块反光镜14中的成像。
该采集装置还包括限位装置3,限位装置3位于箱体1外的部分透明平台2的外周,与箱体1支撑连接,限位装置3与输入传送带4相接的位置设置输入口31,限位装置3与输出传送带5相接的位置设置输出口32;限位装置3的输入口31处设置第一引导拨片311,限位装置3的输出口32处设置第二引导拨片321,所述第一引导拨片311和第二引导拨片321用于引导物件在输入传送带4、透明平台2和输出传送带5间平稳传送,而不至于从透明平台2上滑落。
箱体内还设置光源12,光源12与箱体1内壁固定连接,对透明平台2上的物件进行补光。驱动机构包括转轴21和电机210,转轴21与透明平台2垂直固定连接,电机210与转轴21轴连接。
取像装置11与透明平台2处于同一高度,反光镜14与透明平台2所在平面呈60度夹角,箱体1内还设置限位螺钉140,固定连接反光镜14与箱体1。其中,取像装置11的镜头处还可以设置偏振片,从而消除直射光线对获取的图像造成的干扰。
该装置使用时,手机沿输入传送带4运动至箱体1的开口处,开口的宽度大于手机的厚度,当手机到达限位装置3的输入口31处时,受到第一引导拨片311的阻挡,因此可以准确移动到透明平台2上,电机210驱动透明平台2转动,手机移动至箱体1内部时,取像装置11对手机进行拍照,采集完图像后,透明平台2通过转动将手机移出箱体1内,手机转动至限位装置3的输出口32处时,受到第二引导拨片321的阻挡,进而准确移动到输出传送带5上,完成图像采集过程。
如图4所示,图像采集过程中,光源12提供充足且明亮的光线,对拍摄的手机进行补光,反光镜14产生射入到工业相机11镜头内的光路,背景板13可以产生单一颜色的背景,从而为后续的图像处理提供便利,透明平台2可以透过光线,因此可以同时获取手机正反两面的图像。
实施例3
本实施例中,采集装置还包括图像处理装置,图像处理装置的数据输入接口与取像装置11的数据输出接口电连接,获取取像装置中拍摄的图像,图像处理装置包括存储器、处理器及存储在存储器上运行的计算机程序,其用于对取像装置11获取的图像进行矫正处理;计算机程序执行如下实施例1的图像矫正处理步骤。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种处理流水线上采集的手机图像畸变的矫正方法,其特征在于,所述图像矫正处理过程包括如下步骤:
S1、对获取的图像,设置拍摄对象矩形范围,分离正反面,并做第一次透视变换,消除由镜面反射引起的透视畸变;
S2、对上步骤处理后的图像,通过如下步骤提取图像的感兴趣区:
S21、将图像的颜色空间由RGB转换至HSV颜色空间,空间中第i行j列的像素值为[hij,sij,vij],其中hij,sij,vij分别为i行j列HSV空间中H,S,V通道的值;
S22、设定单一背景颜色在的HSV空间值的范围,上限值[hup,sup,vup]和下限值[hdown,sdown,vdown];
S23、根据设定上下值对目标图像进行二值化,图像记为{Pij};i行j列的像素值Pij取值采用如下公式:
Figure FDA0002740014230000011
S24、搜索二值化图像所有连通区,连通区集合记作Q。Q={Qk|k=1,2,…,n},Qk={(i,j)|(i,j)满足连通区点},除去最大连通区
Figure FDA0002740014230000013
外其它连通区填充为黑色(像素值为0),得到新的{Pij}。计算公式如下:
Figure FDA0002740014230000012
S25、使用泛洪填充将最大区域的内部孔洞填充为白色,得到整个手机的单连通区;
S26、使用形态学滤波优化连通区边缘,得最终ROI图像,记作M,M={Pij};
S3、根据感兴趣区最小外接矩形设置手机倾斜程度等级;
S4、根据倾斜等级设置合适的边缘卷积核H;并通过如下步骤运算获取可靠的四边边缘点:
S41、由倾斜等级设置合适的边缘卷积核H;
采用Prewitt算子,水平方向H0和倾斜方向H45两类,H选取如下:
Figure FDA0002740014230000021
其中H0,H45算子的表示形式:
Figure FDA0002740014230000022
S42、对感兴趣区图像M进行卷积计算;
利用离散卷积公式M′=M*H,M′中最大值P′max和最小值P′min有如下关系:
M′={P′ij},P′min=min(P′ij)=-3,P′max=max(P′ij)=3;
其中P′ij表示M′中第i行j列的像素值;
S43、最大值的点集A和最小值的点集B,计算公式如下:
A={(i,j)|P′ij=P′max},B={(i,j)|P′ij=P′min};
S44、获取可靠的点集,先对点集排序,然后过滤靠近端点的点集;
S45、将卷积核H顺时针旋转90度后重复S42~S44,依次完成四边边缘点的寻找;
S5、根据可靠的四边边缘点拟合直线形成最佳的外包四边形;
S6、构建四边形四个顶点的排序准则;
S7、将四个排序好的点作为输入,作第二次透视变换,消除由任意方位引起的透视畸变。
2.如权利要求1所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于:所述步骤S1中,采集的手机图像,图像分为上半区和下半区,均保持完整性,避免拍摄手机的局部;图像背景颜色保持单一颜色;设置拍摄对象的目标矩形范围,分离图像上半部分和下半部分,各自作透视变换消除由镜面反射的透视畸变。
3.如权利要求1所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于,所述S3步骤的处理过程如下:
S31、利用旋转法获取最小外接矩形,记作R。R=(x,y,w,h,r),其中x,y表示R的中心横向坐标和纵向坐标,w,h表示R的宽和长,r表示R旋转角度,取值范围(-90,0],角度为负表示逆时针旋转;
S32、根据最小外接矩形设置倾斜等级g,倾斜等级分为3级:g=0表示呈竖直;g=1表示呈倾斜;g=2表示呈水平,计算公式如下:
Figure FDA0002740014230000031
其中,θ1,θ2分别倾斜时旋转的临界值;其取值范围θ1∈(-85,-75],θ2∈(-25,-15]。
4.如权利要求1所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于,所述步骤S44包含以下步骤:
S441、对集合A的n个项按照i的大小排序,新集合记作A′,具体形式如下:
A′={(iN,jN)|(iN,jN)∈A}且
Figure FDA0002740014230000032
满足iN-1≤iN≤iN+1,N={2,3,…,n-1};
S442、按数量过滤离散点A″;
S443、按百分比过滤靠近端点,计算公式为:
Figure FDA0002740014230000033
其中,λ为过滤的百分比系数,取值范围[0.05,0.15];I表示满足百分比过滤要求的iN集合;imin,imax分别为iN的最小值与最大值;
S444、对集合B重复S441~S443,获得可靠的点集B″′。
5.如权利要求6所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于,所述S6步骤的处理过程如下:
S61、直线LA与LC、LA与LD、LB与LC和LB与LD交点分别为:(x1,y1),(x2,y2),(x3,y3),(x4,y4)。其中LA,LB,LC,LD对点集A″′,B″′,C″′,D″′拟合的直线。
S62、比较四个点水平和竖直方向最大差距,设置基准向量
Figure FDA0002740014230000034
计算公式如下:
Figure FDA0002740014230000041
d=[(max(xm)-min(xm)]-[max(ym)-min(ym)];
其中xm,ym表示第m个交点的坐标,m∈{1,2,…,M},M=4;
S62、四点的中心到四个点的向量,计算公式如下:
Figure FDA0002740014230000042
其中
Figure FDA0002740014230000043
表示中心点到第m个交点的向量;
S63、利用构建函数计算点排序值,公式如下:
Figure FDA0002740014230000044
其中sm表示第m个点的排序值,取值范围[-2,2];符号“·”表示向量点乘,符号“|| ||”表示向量的模;
S64、利用sm的大小来判断第m个点顺序,sm从大到小表示四点按顺时针排列,其中smax为{sm}的最大值并以该点为起点。
6.如权利要求1所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于:所述步骤S7中,以排序好的四点作为输入,以水平放置的手机角点顺序为左下,左上,右上,右下为矫正标准,计算中心投影变换矩阵,最后利用变换矩阵矫正图像。
7.如权利要求1所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于:
所述步骤1中获取的所述图像由采集装置输出,采集装置包括箱体,载台,两个背景板,分别与所述两个背景板相对应的两块反光镜,以及取像装置;箱体一侧设置开口;载台包括透明平台、驱动所述透明平台旋转的驱动机构;所述透明平台沿水平方向部分伸入所述箱体内,使得所述透明平台上的手机能通过所述透明平台相对所述箱体从开口侧旋入、旋出;两个背景板分别位于所述透明平台伸入在所述箱体内的部分的上、下相对两侧上,且与所述透明平台平行;两块反光镜分别对称位于所述透明平台伸入在所述箱体内的部分的上、下相对两侧上,并与所述透明平台成一定夹角,且满足以下条件:当所述手机随所述透明平台旋入在所述箱体内时,所述手机的上、下相对两侧及其透过所述透明平台的背景板成像在相应的反光镜上;取像装置用于获取图像,所述图像至少包括所述两块反光镜中的成像。
8.如权利要求7所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于:所述采集装置接收输入传送带上输出的手机,并输出到输出传送带上,采集装置还包括限位装置,限位装置位于箱体外的部分透明平台的外周,限位装置与所述输入传送带相接的位置设置输入口,限位装置与所述输出传送带相接的位置设置输出口;限位装置的输入口处设置第一引导拨片,限位装置的输出口处设置第二引导拨片,所述第一引导拨片和第二引导拨片用于引导手机在输入传送带、透明平台和输出传送带间平稳传送,而不至于从透明平台上滑落。
9.如权利要求7所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于:所述箱体内还设置光源,光源与箱体内壁固定连接,对所述透明平台上的手机进行补光;所述取像装置的镜头前设置偏振片。
10.如权利要求7所述的处理流水线上采集的手机图像畸变的矫正方法,其特征在于:所述取像装置通过数据输出接口与图像处理装置的数据输入接口电连接,图像处理装置包括存储器、处理器及存储在存储器上运行的计算机程序,所述计算机程序执行如权利要求1-6任意一项所述的步骤。
CN202011147122.5A 2020-10-23 2020-10-23 一种处理流水线上采集的手机图像畸变的矫正方法 Active CN112257607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011147122.5A CN112257607B (zh) 2020-10-23 2020-10-23 一种处理流水线上采集的手机图像畸变的矫正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011147122.5A CN112257607B (zh) 2020-10-23 2020-10-23 一种处理流水线上采集的手机图像畸变的矫正方法

Publications (2)

Publication Number Publication Date
CN112257607A true CN112257607A (zh) 2021-01-22
CN112257607B CN112257607B (zh) 2022-08-26

Family

ID=74263287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147122.5A Active CN112257607B (zh) 2020-10-23 2020-10-23 一种处理流水线上采集的手机图像畸变的矫正方法

Country Status (1)

Country Link
CN (1) CN112257607B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112945198A (zh) * 2021-02-02 2021-06-11 贵州电网有限责任公司 一种基于激光lidar点云的输电线路铁塔倾斜自动检测方法
CN116843626A (zh) * 2023-06-08 2023-10-03 江苏苏港智能装备产业创新中心有限公司 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134072A (zh) * 2014-07-04 2014-11-05 北京学信速达科技有限公司 一种答题卡识别方法
CN106407983A (zh) * 2016-09-12 2017-02-15 南京理工大学 图像主体的识别、矫正与配准方法
CN108171674A (zh) * 2018-01-15 2018-06-15 西北工业大学 针对任意视角投影仪图像的视觉矫正方法
CN109145915A (zh) * 2018-07-27 2019-01-04 武汉科技大学 一种复杂场景下车牌快速畸变矫正方法
US10331966B1 (en) * 2018-10-19 2019-06-25 Capital One Services, Llc Image processing to detect a rectangular object
CN110852958A (zh) * 2019-10-11 2020-02-28 北京迈格威科技有限公司 基于物体倾斜角度的自适应校正方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104134072A (zh) * 2014-07-04 2014-11-05 北京学信速达科技有限公司 一种答题卡识别方法
CN106407983A (zh) * 2016-09-12 2017-02-15 南京理工大学 图像主体的识别、矫正与配准方法
CN108171674A (zh) * 2018-01-15 2018-06-15 西北工业大学 针对任意视角投影仪图像的视觉矫正方法
CN109145915A (zh) * 2018-07-27 2019-01-04 武汉科技大学 一种复杂场景下车牌快速畸变矫正方法
US10331966B1 (en) * 2018-10-19 2019-06-25 Capital One Services, Llc Image processing to detect a rectangular object
CN110852958A (zh) * 2019-10-11 2020-02-28 北京迈格威科技有限公司 基于物体倾斜角度的自适应校正方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHARLES R. QI ET AL.: ""PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
张金 等: ""一种基于虚拟键盘图像坐标变换的几何失真校正方法"", 《计算机应用与软件》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112945198A (zh) * 2021-02-02 2021-06-11 贵州电网有限责任公司 一种基于激光lidar点云的输电线路铁塔倾斜自动检测方法
CN112945198B (zh) * 2021-02-02 2023-01-31 贵州电网有限责任公司 一种基于激光lidar点云的输电线路铁塔倾斜自动检测方法
CN116843626A (zh) * 2023-06-08 2023-10-03 江苏苏港智能装备产业创新中心有限公司 一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法

Also Published As

Publication number Publication date
CN112257607B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
Romero-Ramirez et al. Speeded up detection of squared fiducial markers
US9727775B2 (en) Method and system of curved object recognition using image matching for image processing
CN105957015B (zh) 一种螺纹桶内壁图像360度全景拼接方法及系统
US20200380229A1 (en) Systems and methods for text and barcode reading under perspective distortion
CN112257607B (zh) 一种处理流水线上采集的手机图像畸变的矫正方法
US20080226171A1 (en) Correcting device and method for perspective transformed document images
RU2631765C1 (ru) Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот
CN114494045B (zh) 一种基于机器视觉的大型直齿轮几何参数测量系统及方法
CN113191174B (zh) 物品定位方法和装置、机器人及计算机可读存储介质
WO2020228680A1 (zh) 基于双相机图像的拼接方法、装置、电子设备
CN109801336B (zh) 基于可见光及红外光视觉的机载目标定位系统及方法
CN112509145B (zh) 基于三维视觉的物料分拣方法和装置
CN103700082B (zh) 基于对偶四元数相对定向的图像拼接方法
CN113129383A (zh) 手眼标定方法、装置、通信设备及存储介质
CN115609591A (zh) 一种基于2D Marker的视觉定位方法和系统、复合机器人
CN107464214B (zh) 生成太阳能电站全景图的方法
CN112257611B (zh) 一种流水线上手机外观采集装置
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN109978829B (zh) 一种待检测对象的检测方法及其系统
CN110245674A (zh) 模板匹配方法、装置、设备及计算机存储介质
CN106709942B (zh) 一种基于特征方位角的全景图像误匹配消除方法
WO2023082417A1 (zh) 抓取点信息获取方法、装置、电子设备和存储介质
CN114998571A (zh) 基于固定尺寸标志物的图像处理及颜色检测方法
CN112786509A (zh) 一种定位系统、定位方法及计算设备
CN112749664A (zh) 一种手势识别方法、装置、设备、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant