CN108171674B - 针对任意视角投影仪图像的视觉矫正方法 - Google Patents
针对任意视角投影仪图像的视觉矫正方法 Download PDFInfo
- Publication number
- CN108171674B CN108171674B CN201810033443.9A CN201810033443A CN108171674B CN 108171674 B CN108171674 B CN 108171674B CN 201810033443 A CN201810033443 A CN 201810033443A CN 108171674 B CN108171674 B CN 108171674B
- Authority
- CN
- China
- Prior art keywords
- image
- straight line
- straight
- straight lines
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 title claims abstract description 15
- 238000012937 correction Methods 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000003708 edge detection Methods 0.000 claims abstract description 10
- 238000012216 screening Methods 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000009427 jiangzhi Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Abstract
本发明提供了一种针对任意视角投影仪图像的视觉矫正方法。首先,利用Canny算法对拍摄的投影仪图像进行边缘检测,然后利用LSD算法对边缘图像进行直线检测,将得到的直线以极坐标进行表示,再进行直线分类和筛选,最后,根据筛选后直线的交点坐标在原拍摄图像上截取出新图像,并进行透视变换,得到最终矫正后的图像。本发明方法不仅能够滤除不必要的背景,而且可以将拍摄到的投影仪图像矫正为正面视角的投影仪图像,具有很好的鲁棒性。
Description
技术领域
本发明属图像处理技术领域,具体涉及一种针对任意视角投影仪图像的视觉矫正方法。
背景技术
随着科技的不断发展,手机、数码相机等带有图像采集功能的设备已经变得越来越普及。人们也越来越习惯于使用具有图像采集功能的设备捕捉和获取有价值的信息。为了满足用户的需求,越来越多的厂商也在不断地优化自己图像采集设备的性能,但在某些情况下所采集到的图像仍可能存在变形问题,比如在上课、听报告或开会的时候,如果所处的位置不够好,所拍摄到的投影仪图像就会产生很大的形变,这将可能导致拍摄到的内容不清楚。图像矫正则是解决这个问题的一种途径。
例如,文献“代勤,王延杰,韩广良.基于改进Hough变换和透视变换的透视图像矫正[J].液晶与显示,2012,27(4):552-556.”中,提出利用改进Hough变换和透视变换进行视觉矫正,其方法简单易行,但对有复杂背景的拍摄图像鲁棒性不足。文献“蒋智文.视觉文档图像的矫正方法研究[D].华南理工大学,2015.”提出了几种利用图像处理技术进行文档图像的视觉矫正方法,分别为变形文档的三维矫正、文本趋向检测方法和基于形变网络的图像矫正方法,该方法复杂度较大,且只针对文本图像。
发明内容
为了克服现有技术的不足,得到在任意角度拍摄均保持正面视角的投影仪图像,本发明提出了一种针对任意视角投影仪图像的视觉矫正方法。对以任何角度拍摄的投影仪图像,不仅能够滤除不必要的背景,而且可以将拍摄到的投影仪图像矫正为正面视角的投影仪图像,从而得到矫正后的图像。
一种针对任意视角投影仪图像的视觉矫正方法,其特征在于步骤如下:
步骤一:利用Canny算法对拍摄的投影仪图像进行边缘检测,得到边缘检测图像;
步骤二:利用LSD算法对步骤一得到的边缘检测图像进行直线检测,得到直线检测图像;
步骤三:利用极坐标对步骤二得到的直线检测图像中的直线段进行表示,并进行分类加权处理,得到不同的直线。具体为:
步骤a:以图像的重心(w/2,h/2)为原点建立笛卡尔坐标系和极坐标系,满足x=u-w/2,y=h/2-v,其中,w表示图像的水平宽度,h表示图像的竖直高度,(u,v)表示图像坐标,(x,y)表示笛卡尔坐标;极坐标系与笛卡尔坐标系的转换关系为ρ=xcos(θ)+ysin(θ),(ρ,θ)表示极坐标;则图像坐标与极坐标的转换关系为:ρ=(u-w/2)cos(θ)+(h/2-v)sin(θ)。
步骤b:根据图像坐标和极坐标的关系,计算直线段两个端点的图像坐标对应的极坐标,即得到极坐标表示的直线段。
步骤c:将ρ和θ的值相差都小于0.1的直线段分为一类并分配相同的标号,然后对具有相同标号的直线段进行加权平均,每条直线段对应的权值为其线段的长度,从而得到对应的直线。
步骤四:先根据给定的阈值对每一条直线进行第一次筛选,把小于设定阈值的直线删除,所述的阈值为0.03×min{w,h}。然后利用HSV颜色模型来表示原图像,并利用HSV颜色模型中的V分量大小对直线再进行筛选,如果直线两侧V分量之差小于0.2,则将直线删除。最后按照直线的长短来打分,最长的直线分值为100,其他直线的分值为100乘以其与最长直线的长度之比,保留得分最高的四条直线;
步骤五:在极坐标系下求出所得四条直线的交点,如果处于图像内的交点不够四个,则删除当前产生合格交点最少的直线,如果产生合格交点最少的直线多于一条,则删除其中得分最低的直线,然后利用步骤四的直线得分选择一条得分仅次于计算交点的四条直线中的最低得分的直线重新计算交点,直至得到均处于图像内的四个交点;所述的产生合格交点最少的直线是指只与一条直线相交或者与其他直线在图像内没有交点的直线。
步骤六:以四个交点中左上角的点为起点,并按逆时针方向对交点进行排序;
步骤七:根据经过排序的四个交点的坐标在原拍摄图像上截取出新图像,并对新图像进行透视变换,得到变换后的图像即为最终视觉矫正后的图像。
本发明的有益效果是:由于采用canny算子和LSD对直线边缘进行双重检测,很大程度上减少了检测直线边缘中的伪边缘和弱边缘;由于利用HSV特征进行了直线筛选,使得矫正方法具有更好的鲁棒性。本发明方法能够滤除投影仪图像中不必要的背景信息,从而实现对有价值图像信息的提取。
附图说明
图1是本发明的一种针对任意视角投影仪图像的视觉矫正方法流程图
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
如图1所示,本发明提供了一种针对任意视角投影仪图像的视觉矫正方法,其具体过程为:
1、利用Canny算法对拍摄的投影仪图像进行边缘检测,得到边缘检测图像。其具体步骤如下:
(1)高斯模糊
应用高斯滤波平滑图像,主要作用就是去除噪声。因为噪声集中于高频信号,很容易被识别为伪边缘。应用高斯模糊去除噪声,可以减少伪边缘的识别。但是由于图像边缘信息也是高频信号,高斯模糊的半径选择很重要,过大的半径很容易会使得一些弱边缘检测不到,本实施例中选择半径为2的高斯滤波器。
(2)计算梯度幅值和方向
图像的边缘可以指向不同方向,因此,Canny算法用了四个梯度算子来分别计算水平、垂直和对角线方向的梯度,具体实现时的常用方法是使用边缘差分算子Sobel计算水平和垂直方向的差分Gx和Gy,然后按如下公式计算梯度的模和方向:
θ=atan2(Gy,Gx) (2)
利用上述公式计算得到图像中每一个像素的G和θ,从而得到梯度幅值图和梯度方向图。
(3)非最大值抑制
非最大值抑制处理旨在使模糊的边界变得清晰,得到更加精细的边缘。处理方式就是保留每个像素点梯度强度的极大值,而删掉其他的值,即对于每个像素点:首先,按照接近程度将其梯度方向θ近似为(0度,45度,90度,135度,180度,225度,270度,315度)中的一个值,即其新的梯度方向,然后,比较该像素点和其梯度方向正负方向上的像素点的梯度强度,如果该像素点梯度强度最大则保留,否则抑制,即将该像素点的值置为0)。
(4)双阀值处理
通过全局高、低双阈值处理进行边缘点选取,即在梯度幅值图的直方图分布中,像素点个数按梯度幅值递增方向累加,累加个数达到像素总数的75%时,对应的梯度作为高阈值,将0.35倍的高阈值作为低阈值。如果边缘像素点的梯度值大于高阈值,则标记为强边缘点,如果边缘像素点的梯度值小于高阈值而大于低阈值,则标记为弱边缘点,梯度值小于低阈值的像素点的值置为0。
(5)滞后边界跟踪
经过上述处理,强边缘点可以认为是真的边缘,弱边缘点则可能是真的边缘,也可能是噪声或颜色变化引起的。为得到精确的结果,应将后者引起的弱边缘点去除。通常认为真实边缘引起的弱边缘点和强边缘点是连通的,而由噪声引起的弱边缘点则不会。所谓的滞后边界跟踪算法就是检查一个弱边缘点的8连通邻域,只要有强边缘点存在,那么这个弱边缘点被认为是真边缘保留下来。这个算法搜索所有连通的弱边缘,如果一条连通的弱边缘的任何一个点都和强边缘点连通,则保留这条弱边缘,否则抑制这条弱边缘,即将弱边缘上的像素点置为0,最后得到所有被认为是真边缘的边缘点,这些点即组成检测得到的边缘图像。
2、利用文献“von Gioi R G,Jakubowicz J,Morel J M,et al.LSD:a linesegment detector[J].Image Processing On Line,2012,2:35-55.”中的LSD算法对边缘检测后的图像进行直线检测,得到直线检测图像。
3、利用极坐标对步骤2得到的直线检测图像中的直线段进行表示,并进行分类加权处理,得到不同的直线。具体为:
(1)以图像的重心(w/2,h/2)为原点建立笛卡尔坐标系和极坐标系,满足x=u-w/2,y=h/2-v,其中,w表示图像的水平宽度,h表示图像的竖直高度,(u,v)表示图像坐标,(x,y)表示笛卡尔坐标;极坐标系与笛卡尔坐标系的转换关系为ρ=xcos(θ)+ysin(θ),(ρ,θ)表示极坐标;则图像坐标与极坐标的转换关系为:ρ=(u-w/2)cos(θ)+(h/2-v)sin(θ)。
(2)根据图像坐标和极坐标的关系,计算直线段两个端点的图像坐标对应的极坐标,即得到极坐标表示的直线段。
(3)将ρ和θ的值相差都小于0.1的直线段分为一类并分配相同的标号,然后对具有相同标号的直线段进行加权平均,每条直线段对应的权值为其线段的长度,从而得到对应的直线。
4、首先,根据给定的阈值对每一条直线进行第一次筛选,此处的阈值根据原图像大小按比例来设定阈值,设为0.03×min{w,h},把小于设定阈值的直线删除。然后,利用HSV颜色模型来表示原图像,并利用HSV颜色模型中的V分量大小对直线再进行筛选,如果直线两侧V分量之差小于0.2,则将直线删除。最后,根据一定的准则对剩余的直线进行打分,保留得分最高的四条直线,所述的根据一定的准则对直线进行打分是指按照直线的长短来打分,最长的直线分值为100,其他直线的分值为100乘以其与最长直线的长度之比。
5、在极坐标系下求出所得四条直线的交点,如果处于图像内的交点不够四个,则删除当前产生合格交点最少的直线,如果产生合格交点最少的直线多于一条,则删除其中得分最低的直线,然后利用步骤4的直线得分选择一条得分仅次于计算交点的四条直线中的最低得分的直线,重复此步骤直至得到均处于图像内的四个交点。其中,产生合格交点最少的直线是指只与一条直线相交或者与其他直线在图像内没有交点的直线。
6、以四个交点中左上角的点为起点,并按逆时针方向对交点进行排序。
7、根据经过排序的四个交点的坐标在原图像拍摄图像上截取出新图像,并对新图像进行透视变换,本实施例采用OpenCV中封装好的warpPerspective函数进行透视变换,变换后的图像即为最终视觉矫正后的图像。
Claims (1)
1.一种针对任意视角投影仪图像的视觉矫正方法,其特征在于步骤如下:
步骤一:利用Canny算法对拍摄的投影仪图像进行边缘检测,得到边缘检测图像;
步骤二:利用LSD算法对步骤一得到的边缘检测图像进行直线检测,得到直线检测图像;
步骤三:利用极坐标对步骤二得到的直线检测图像中的直线段进行表示,并进行分类加权处理,得到不同的直线,具体为:
步骤a:以图像的重心(w/2,h/2)为原点建立笛卡尔坐标系和极坐标系,满足x=u-w/2,y=h/2-v,其中,w表示图像的水平宽度,h表示图像的竖直高度,(u,v)表示图像坐标,(x,y)表示笛卡尔坐标;极坐标系与笛卡尔坐标系的转换关系为ρ=xcos(θ)+ysin(θ),(ρ,θ)表示极坐标;则图像坐标与极坐标的转换关系为:ρ=(u-w/2)cos(θ)+(h/2-v)sin(θ);
步骤b:根据图像坐标和极坐标的关系,计算直线段两个端点的图像坐标对应的极坐标,即得到极坐标表示的直线段;
步骤c:将ρ和θ的值相差都小于0.1的直线段分为一类并分配相同的标号,然后对具有相同标号的直线段进行加权平均,每条直线段对应的权值为其线段的长度,从而得到对应的直线;
步骤四:先根据给定的阈值对每一条直线进行第一次筛选,把小于设定阈值的直线删除,所述的阈值为0.03×min{w,h};然后利用HSV颜色模型来表示原图像,并利用HSV颜色模型中的V分量大小对直线再进行筛选,如果直线两侧V分量之差小于0.2,则将直线删除;最后按照直线的长短来打分,最长的直线分值为100,其他直线的分值为100乘以其与最长直线的长度之比,保留得分最高的四条直线;
步骤五:在极坐标系下求出所得四条直线的交点,如果处于图像内的交点不够四个,则删除当前产生合格交点最少的直线,如果产生合格交点最少的直线多于一条,则删除其中得分最低的直线,然后利用步骤四的直线得分选择一条得分仅次于计算交点的四条直线中的最低得分的直线重新计算交点,直至得到均处于图像内的四个交点;所述的产生合格交点最少的直线是指只与一条直线相交或者与其他直线在图像内没有交点的直线;
步骤六:以四个交点中左上角的点为起点,并按逆时针方向对交点进行排序;
步骤七:根据经过排序的四个交点的坐标在原拍摄图像上截取出新图像,并对新图像进行透视变换,得到变换后的图像即为最终视觉矫正后的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810033443.9A CN108171674B (zh) | 2018-01-15 | 2018-01-15 | 针对任意视角投影仪图像的视觉矫正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810033443.9A CN108171674B (zh) | 2018-01-15 | 2018-01-15 | 针对任意视角投影仪图像的视觉矫正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108171674A CN108171674A (zh) | 2018-06-15 |
CN108171674B true CN108171674B (zh) | 2020-07-14 |
Family
ID=62514269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810033443.9A Active CN108171674B (zh) | 2018-01-15 | 2018-01-15 | 针对任意视角投影仪图像的视觉矫正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108171674B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109409366B (zh) * | 2018-10-30 | 2022-04-05 | 四川长虹电器股份有限公司 | 基于角点检测的畸变图像校正方法及装置 |
CN109740579A (zh) * | 2019-03-01 | 2019-05-10 | 上海柏珍信息科技有限公司 | 一种基于碗盘智能识别的快餐收银系统 |
CN110738604B (zh) * | 2019-07-31 | 2022-05-17 | 武汉大学 | 基于Canny算子和Hough变换的大倾角证件图像矫正方法及系统 |
CN112257607B (zh) * | 2020-10-23 | 2022-08-26 | 合肥工业大学 | 一种处理流水线上采集的手机图像畸变的矫正方法 |
CN113628282A (zh) * | 2021-08-06 | 2021-11-09 | 深圳市道通科技股份有限公司 | 图案投影矫正装置、方法及计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104851089A (zh) * | 2015-04-28 | 2015-08-19 | 中国人民解放军国防科学技术大学 | 一种基于三维光场的静态场景前景分割方法和装置 |
CN105096269A (zh) * | 2015-07-21 | 2015-11-25 | 北京交通大学 | 基于畸变直线结构检测的图像径向畸变矫正的方法及系统 |
CN106780351A (zh) * | 2016-12-09 | 2017-05-31 | 浙江浩腾电子科技股份有限公司 | 一种车牌倾斜矫正方法 |
CN107046636A (zh) * | 2017-02-22 | 2017-08-15 | 青岛海信宽带多媒体技术有限公司 | 投影设备的图像矫正方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3846592B2 (ja) * | 2003-06-26 | 2006-11-15 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
-
2018
- 2018-01-15 CN CN201810033443.9A patent/CN108171674B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104851089A (zh) * | 2015-04-28 | 2015-08-19 | 中国人民解放军国防科学技术大学 | 一种基于三维光场的静态场景前景分割方法和装置 |
CN105096269A (zh) * | 2015-07-21 | 2015-11-25 | 北京交通大学 | 基于畸变直线结构检测的图像径向畸变矫正的方法及系统 |
CN106780351A (zh) * | 2016-12-09 | 2017-05-31 | 浙江浩腾电子科技股份有限公司 | 一种车牌倾斜矫正方法 |
CN107046636A (zh) * | 2017-02-22 | 2017-08-15 | 青岛海信宽带多媒体技术有限公司 | 投影设备的图像矫正方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108171674A (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108171674B (zh) | 针对任意视角投影仪图像的视觉矫正方法 | |
CN109785291B (zh) | 一种车道线自适应检测方法 | |
JP5542889B2 (ja) | 画像処理装置 | |
CN104809422B (zh) | 基于图像处理的qr码识别方法 | |
CN110866903B (zh) | 基于霍夫圆变换技术的乒乓球识别方法 | |
CN107945111A (zh) | 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法 | |
CN113034452B (zh) | 一种焊件轮廓检测方法 | |
RU2631765C1 (ru) | Способ и система исправления перспективных искажений в изображениях, занимающих двухстраничный разворот | |
CN102132323A (zh) | 自动图像矫直 | |
Lo et al. | Joint trilateral filtering for depth map super-resolution | |
CN108154491B (zh) | 一种图像反光消除方法 | |
CN110414308B (zh) | 一种针对输电线路上动态异物的目标识别方法 | |
CN109359577B (zh) | 一种基于机器学习的复杂背景下人数检测系统 | |
CN110415208A (zh) | 一种自适应目标检测方法及其装置、设备、存储介质 | |
CN112016469A (zh) | 图像处理方法及装置、终端及可读存储介质 | |
CN107452028A (zh) | 一种确定目标图像位置信息的方法及装置 | |
CN110245600A (zh) | 自适应起始快速笔画宽度无人机道路检测方法 | |
CN115272664A (zh) | 仪表盘示数展示方法、装置、电子设备和存储介质 | |
CN103914829A (zh) | 一种含噪图像边缘检测方法 | |
CN110490886A (zh) | 一种针对倾斜视角下证件图像的自动纠正方法及系统 | |
CN108961182B (zh) | 针对视频图像的竖直方向灭点检测方法及视频扭正方法 | |
CN108830862A (zh) | 基于图像分割的螃蟹朝向识别方法 | |
CN106204648B (zh) | 一种基于背景剔除的目标跟踪方法及装置 | |
CN106780599A (zh) | 一种基于Hough变化的圆形识别方法及系统 | |
Wang et al. | Straight lane line detection based on the Otsu-Canny algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |