CN103247031B - 一种畸变图像校正的方法、终端及系统 - Google Patents
一种畸变图像校正的方法、终端及系统 Download PDFInfo
- Publication number
- CN103247031B CN103247031B CN201310138091.0A CN201310138091A CN103247031B CN 103247031 B CN103247031 B CN 103247031B CN 201310138091 A CN201310138091 A CN 201310138091A CN 103247031 B CN103247031 B CN 103247031B
- Authority
- CN
- China
- Prior art keywords
- image block
- field picture
- coordinate
- correction
- relative depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003702 image correction Methods 0.000 title claims abstract description 21
- 238000012937 correction Methods 0.000 claims abstract description 111
- 238000013507 mapping Methods 0.000 claims abstract description 56
- 230000000903 blocking effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000009977 dual effect Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种畸变图像校正的方法,包括:获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,输出并存储所述校正后的显示坐标和所述第一帧间相对深度。本发明技术方案可以提高近距离手势识别的精准度。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种畸变图像校正的方法、终端及系统。
背景技术
在众多的人机交互方式中,手势作为一种直观、自然、易于学习的交互方式,受到了广泛的关注,其中基于摄像头的手势识别技术,由于其简单的系统结构和开放的应用环境,受到了广大科研工作者的青睐和深入研究,并在工业界取得了快速的进步与发展。
目前基于摄像头的手势识别技术已经开始应用于手机、电视等多种场景的控制操作,在人机交互领域中扮演越来越为重要的作用。但由于现有技术的控制准确度比较低,因此实现的功能有限,操作也比较简单:比如左右挥手实现图片的左右切换翻页等简单操作。
在对现有技术的研究和实践过程中,本发明的发明人发现,由于普通摄像头的视角较小,在这种情况下,用于识别近距离手势的参数的准确率很低,发生误操作的概率很高。基于双摄像头的手势交互虽然可以在一定程度上解决近距离手势识别的问题,但是由于双摄像头近距离时立体可视面将变小,立体成像的盲区变大,无法较好地计算出深度信息,用于识别手势的参数的准确率依然很低。
发明内容
本发明实施例提供一种畸变图像校正的方法、可以校正广角摄像头采集的近距离大范围内的图像,提高了用于识别手势变化的参数的精准度。本发明实施例还提供了相应的终端和系统。
本发明第一方面提供一种畸变图像校正的方法,包括:
获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;
获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
结合第一方面,在第一种可能的实现方式中,所述查找所述目标图像块的畸变坐标对应的校正后的显示坐标时,还包括:
从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
对应的,所述计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度的步骤之后,还包括:
根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
对应的,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度,包括:
输出并存储所述校正后的显示坐标和所述第二帧间相对深度。
结合第一方面第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:
将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
根据所述每个图像块的畸变坐标和对应计算出的校正后的显示坐标,生成所述映射表。
结合第一方面第二种可能的实现方式,在第三种可能的实现方式中,所述根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标时,所述方法还包括:
以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
将所述每个图像块的块相对深度对应写入所述映射表中。
结合第一方面、第一方面第一种至第三种可能的实现方式中的任意一种,在第四种可能的实现方式中,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度的步骤之后,还包括:
根据所述任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化,并根据所述手势的变化响应对应的操作。
本发明第二方面提供一种终端,包括:
获取单元,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;
分块单元,用于将所述获取单元获取的任意一帧图像分成预置数量的图像块;
所述获取单元,还用于获取所述任意一帧图像中目标图像块的畸变坐标;
查找单元,用于根据所述获取单元获取的目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
所述获取单元,还用于获取所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数;
计算单元,用于根据所述述获取单元获取的任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度;
输出单元,用于输出所述校正后的显示坐标和所述第一帧间相对深度;
存储单元,用于存储所述校正后的显示坐标和所述第一帧间相对深度。
结合第二方面,在第一种可能的实现方式中,
所述查找单元,还用于从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
所述计算单元,还用于根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
所述输出单元,还用于输出所述校正后的显示坐标和所述第二帧间相对深度;
所述存储单元,还用于存储所述校正后的显示坐标和所述第二帧间相对深度。
结合第二方面第一种可能的实现方式,在第二种可能的实现方式中,所述终端还包括:
所述分块单元,还用于将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
所述获取单元,还用于获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
所述计算单元,还用于根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
生成单元,用于根据所述每个图像块的畸变坐标和所述计算单元对应计算出的校正后的显示坐标,生成所述映射表。
结合第二方面第二种可能的实现方式,在第三种可能的实现方式中,所述终端还包括:
所述计算单元,还用于以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
所述生成单元,用于将所述计算单元计算出的每个图像块的块相对深度对应写入所述映射表中。
结合第二方面、第二方面第一种至第三种可能的实现方式中的任意一种,在第四种可能的实现方式中,所述终端还包括:
识别单元,用于根据所述存储单元存储的任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化;
响应单元,用于根据所述识别单元识别的手势的变化响应对应的操作。
本发明第三方面提供一种畸变图像校正系统,包括:终端和广角摄像头,所述广角摄像头与所述终端通信连接;
所述终端为上述技术方案所述的终端。
本发明实施例采用获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,输出并存储所述校正后的显示坐标和所述第一帧间相对深度。与现有技术中普通摄像头和双摄像头识别手势准确率低相比,本发明实施例提供的畸变图像校正的方法,通过广角摄像头采集大范围近距离的图像,再通过畸变校正修正畸变坐标,从而提高了用于识别近距离手势变化的参数的精准度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中畸变图像校正的方法的一实施例示意图;
图2是本发明实施例中一场景举例示意图;
图3是本发明实施例中另一场景举例示意图;
图4是本发明实施例中终端的一实施例示意图;
图5是本发明实施例中终端的另一实施例示意图;
图6是本发明实施例中终端的另一实施例示意图;
图7是本发明实施例中终端的另一实施例示意图;
图8是本发明实施例中系统的一实施例示意图。
具体实施方式
本发明实施例提供一种畸变图像校正的方法、可以校正广角摄像头采集的近距离大范围内的图像,提高了用于识别手势变化的参数的精准度。本发明实施例还提供了相应的终端和系统。以下分别进行详细说明。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,本发明实施例提供的一种畸变图像校正的方法的一实施例包括:
101、终端获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块。
本发明实施例中,通常获取的是近距离的手势变化的图像,如小于15厘米的图像。当然,不限于15厘米,对20厘米或者更大一点距离的图像也可以按照本发明实施例进行处理。
广角镜头指的是镜头的角度在120度以上的镜头。鱼眼镜头是广角镜头中的一种特殊镜头,镜头的角度在180度以上。本发明实施例中可以采用鱼眼镜头采集手势变化过程中的每一帧图像。
因广角镜头的覆盖范围大,所以采集的图像会发生畸变,所以要想得到准确的图像坐标,需要对畸变坐标进行校正。
针对同一个广角镜头采集的图像,在处理每一帧图像时,划分的图像块数相同。
预置数量可以根据不同的精度要求预先设定,如20块、30块、50块或者其他数量。
102、终端获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标。
广角摄像头采集到的图像可以是手的完整图像,但对终端有影响的可能只有手指,所以只需要处理包含手指的目标图像块即可。
图像块畸变坐标与校正后的显示坐标的映射表中包含每个图像块的畸变坐标和对应的校正后的坐标,当在处理其他帧图像时,获取到目标图像块的畸变坐标后,就可以根据该目标图像块的畸变坐标从映射表中查找到校正后的坐标。
103、终端获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,并输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
手在移动的过程中不限于左右移动,还会前后移动,所以根据前后帧图像的面积、轮廓、集合形状参数的变化,可以通过现有技术中的方案确定第一帧间相对深度。
终端输出校正后的显示坐标和所述第一帧间相对深度后,就可以根据前后帧的目标图像块的坐标的变化了第一帧间相对深度确定手势的工作,向左、向右、向前或者向后。
本发明实施例采用获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,并输出并存储所述校正后的显示坐标和所述第一帧间相对深度。与现有技术中普通摄像头和双摄像头识别手势准确率低相比,本发明实施例提供的畸变图像校正的方法,通过广角摄像头采集大范围近距离的图像,再通过畸变校正修正畸变坐标,从而提高了用于识别近距离手势变化的参数的精准度。
可选地,在上述图1对应的实施例的基础上,本发明实施例提供的畸变图像校正的方法的第一个可选实施例中,
所述查找所述目标图像块的畸变坐标对应的校正后的显示坐标时,还可以包括:
从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
对应的,所述计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度的步骤之后,还可以包括:
根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
对应的,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度,可以包括:
输出并存储所述校正后的显示坐标和所述第二帧间相对深度。
本发明实施例中,因广角镜头有畸变,所以同一帧图像中不同图像块都会发生或大或小的畸变,可以认为中心图像块不发生任何畸变,其他图像块随着与中心图像块的距离变化,畸变逐渐增加,不光坐标上有畸变,块深度上也有畸变,所以映射表中也可以预先写有每个图像块相对于中心图像块的块相对深度。
当从映射表中还查找到目标图像块的块相对深度时,还可以通过预先设置的第二帧间相对深度与第一帧间相对深度和块相对深度的关系,计算出第二帧间相对深度,因为考虑到了块相对深度,所以第二帧间相对深度比第一帧间相对深度更精确。
第二帧间相对深度与第一帧间相对深度和块相对深度的关系可以用下面的公式来表示:
第二帧间相对深度=α*第一帧间相对深度+β*块相对深度;
α、β:权重系数,平衡帧间相对深度与块相对深度的相互作用,α+β=1;
α和β的具体取值,可以根据精度设定。
可选地,在上述图1对应的第一个可选实施例的基础上,本发明实施例提供的畸变图像校正的方法的第二个可选实施例还可以包括:
将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
根据所述每个图像块的畸变坐标和对应计算出的校正后的显示坐标,生成所述映射表。
本发明实施例中,图像块畸变坐标与校正后的显示坐标的映射表是与广角摄像头关联的,一旦广角摄像头确定下来,与畸变相关的参数就确定下来,就可以根据所述广角摄像头的畸变参数,计算每个图像块的校正后的显示坐标,生成包含每个图像块的畸变坐标和校正后的坐标的映射表。
可选地,在上述图1对应的第二个可选实施例的基础上,本发明实施例提供的畸变图像校正的方法的第三个可选实施例中,所述根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标时,所述方法还可以包括:
以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
将所述每个图像块的块相对深度对应写入所述映射表中。
本发明实施例中,在广角摄像头确定后,广角摄像头采集的第一帧图像时,就可以计算第一帧图像中每个图像块的块相对深度,将每个图像块的块相对深度对应畸变坐标和校正后的显示坐标写入到映射表中。
可选地,在上述图1对应的实施例及图1对应的第一个至第三个可选实施例中的任一实施例的基础上,本发明实施例提供的畸变图像校正的方法的第三个可选实施例中,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度的步骤之后,还可以包括:
根据所述任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化,并根据所述手势的变化响应对应的操作。
本发明实施例中,当输出校正后的显示坐标和第一帧间相对深度或者第二帧间相对深度后,就可以根据前后两帧图像中校正后的显示坐标和第一帧间相对深度或者第二帧间相对深度的变化,确定手势的变化,如向左移动、向右移动、向前移动或者向后移动。
为了便于理解,下面以一个应用场景为例,说明本发明实施例中畸变图像校正的方法的过程:
参阅图2,广角摄像头采集到的图像的坐标图是发生了畸变的,按照图2所展示的,图像被分成了25个图像块,默认为中心图像块没有发生畸变,其他每个图像块都发生了畸变,校正后的图像块可以参阅图3进行理解。
假设图像块1的畸变坐标为(x1,y1),图像块2的畸变坐标为(x2,y2),依次类推,图像块25的畸变坐标为(x25,y25)。
根据广角镜头的畸变程度、焦点镜头参数、广角镜头模型等畸变参数信息,校正从图像块1到图像块25,得到校正后的图像块的坐标为依次为:
图像块1的校正后的显示坐标(x1',y1')、图像块2的校正后的显示坐标(x2',y2'),依次类推,图像块25的校正后的显示坐标(x25',y25')。
中心图像块没有发生畸变,所以中心图像块的块相对深度为0,假设图像块1的块相对深度为d1、图像块2的块相对深度为d2、图像块3的块相对深度为d3、依次类推,图像块25的块相对深度为d25。
将每个图像块的畸变坐标、校正后的显示坐标和块的相对深度信息写入到图像块畸变坐标与校正后的显示坐标的映射表中,映射表可以参阅表1进行理解:
表1:畸变校正映射表
块的畸变坐标 | 块的校正后的显示坐标 | 块的相对深度 |
(x1,y1) | (x1',y1') | d1 |
(x2,y2) | (x2',y2') | d2 |
(x3,y3) | (x3',y3') | d3 |
…… | …… | …… |
(x23,y23) | (x23’,y23’) | d23 |
(x24,y24) | (x24’,y24’) | d24 |
(x25,y25) | (x25’,y25’) | d25 |
这样,表1所表示的映射表生成后,后面一旦有手势移动,广角摄像头就可以采集到手势移动的每一帧图像,然后将每一帧图像分成25块,在获知畸变坐标(x1,y1)后,就可以通过查表得到(x1',y1')和d1。其他畸变坐标的处理与(x1,y1)相同,在此不再做过多赘述。
假设目标图像块为第一个图像块,当通过前后帧的图像的面积、轮廓或者几何形状等的变化,计算出本帧图像与前一帧图像的帧间相对深度,假设为D1,那么结合块的相对深度,利用公式D=α*D1+β*d1,就可以计算出准确的帧间相对深度D。
那么输出(x1,y1,D),通过比较(x1,y1)与前一帧的第一个图像块的坐标(x0,y0),就可以判断出手势是向左移动、向下移动、向右移动还是向上移动,通过D可以获知手是向前移动还是向后移动,从而可以准确的识别手势的变化,正确的响应对应的应用。
参阅图4,本发明实施例提供的终端的一实施例包括:
获取单元201,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;
分块单元202,用于将所述获取单元201获取的任意一帧图像分成预置数量的图像块;
所述获取单元201,还用于获取所述任意一帧图像中目标图像块的畸变坐标;
查找单元203,用于根据所述获取单元201获取的目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
所述获取单元201,还用于获取所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数;
计算单元204,用于根据所述述获取单元201获取的任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度;
输出单元205,用于输出所述校正后的显示坐标和所述第一帧间相对深度;
存储单元206,用于存储所述校正后的显示坐标和所述第一帧间相对深度。
本发明实施例中,获取单元201获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;分块单元202将所述获取单元201获取的任意一帧图像分成预置数量的图像块;所述获取单元201还获取所述任意一帧图像中目标图像块的畸变坐标;查找单元203根据所述获取单元201获取的目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;所述获取单元201还获取所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数;计算单元204根据所述述获取单元201获取的任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度;输出单元205输出所述校正后的显示坐标和所述第一帧间相对深度;存储单元206存储所述校正后的显示坐标和所述第一帧间相对深度。与现有技术中普通摄像头和双摄像头识别手势准确率低相比,本发明实施例提供的终端,通过广角摄像头采集大范围近距离的图像,再通过畸变校正修正畸变坐标,从而提高了用于识别近距离手势变化的参数的精准度。
在上述图4对应的实施例的基础上,本发明实施例提供的终端的第一个可选实施例中,
所述查找单元203,还用于从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
所述计算单元204,还用于根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
所述输出单元205,还用于输出所述校正后的显示坐标和所述第二帧间相对深度;
所述存储单元206,还用于存储所述校正后的显示坐标和所述第二帧间相对深度。
在上述图4对应的第一个可选实施例的基础上,参阅图5,本发明实施例提供的终端的第二个可选实施例还可以包括:
所述分块单元202,还用于将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
所述获取单元201,还用于获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
所述计算单元204,还用于根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
生成单元207,用于根据所述每个图像块的畸变坐标和所述计算单元204对应计算出的校正后的显示坐标,生成所述映射表。
在上述图5对应的第二个可选实施例的基础上,本发明实施例提供的终端的第三个可选实施例中,
所述计算单元204,还用于以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
所述生成单元207,用于将所述计算单元204计算出的每个图像块的块相对深度对应写入所述映射表中。
在上述任一终端实施例的基础上,参阅图6,本发明实施例提供的终端的第四个可选实施例还包括:
识别单元208,用于根据所述存储单元207存储的任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化;
响应单元209,用于根据所述识别单元208识别的手势的变化响应对应的操作。
本发明实施例提供了一种计算机可读存储介质,该存储介质中存储有程序,该程序执行时包括上述畸变图像校正的方法的部分或者全部步骤。
参阅图7,本发明实施例提供的终端的另一实施例包括:接收器210、发送器220、存储器230和处理器240,所述接收器210、发送器220、存储器230和处理器240通过总线或者其他方式连接。
其中,所述接收器210,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;
所述处理器240,用于将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,并输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
本发明一些实施例中,所述处理器240,还用于从已生成所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
所述发送器,用于输出所述校正后的显示坐标和所述第二帧间相对深度;
所述存储器,用于存储所述校正后的显示坐标和所述第二帧间相对深度。
本发明一些实施例中,所述处理器240,还用于将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;根据所述每个图像块的畸变坐标和对应计算出的校正后的显示坐标,生成所述图像块畸变坐标与校正后的显示坐标的映射表。
本发明一些实施例中,所述处理器240,还用于以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;将所述每个图像块的块相对深度对应写入所述映射表中。
本发明一些实施例中,所述处理器240,还用于根据所述任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化,并根据所述手势的变化响应对应的操作。
参阅图7,本发明实施例提供的畸变图像校正系统的一实施例包括:终端20和广角摄像头30,所述广角摄像头30与所述终端20通信连接;
广角摄像头30可以内置在所述终端20上,也可以通过其他方式连接。
广角摄像头30,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,并输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的图像畸变校正的方法、终端以及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (11)
1.一种畸变图像校正的方法,其特征在于,包括:
获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;
获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
2.根据权利要求1所述的方法,其特征在于,所述查找所述目标图像块的畸变坐标对应的校正后的显示坐标时,还包括:
从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
对应的,所述计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度的步骤之后,还包括:
根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
对应的,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度,包括:
输出并存储所述校正后的显示坐标和所述第二帧间相对深度。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
根据所述每个图像块的畸变坐标和对应计算出的校正后的显示坐标,生成所述映射表。
4.根据权利要求3所述的方法,其特征在于,所述根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标时,所述方法还包括:
以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
将所述每个图像块的块相对深度对应写入所述映射表中。
5.根据权利要求1~4任意一项所述的方法,其特征在于,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度的步骤之后,还包括:
根据所述任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化,并根据所述手势的变化响应对应的操作。
6.一种终端,其特征在于,包括:
获取单元,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;
分块单元,用于将所述获取单元获取的任意一帧图像分成预置数量的图像块;
所述获取单元,还用于获取所述任意一帧图像中目标图像块的畸变坐标;
查找单元,用于根据所述获取单元获取的目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
所述获取单元,还用于获取所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数;
计算单元,用于根据所述获取单元获取的任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度;
输出单元,用于输出所述校正后的显示坐标和所述第一帧间相对深度;
存储单元,用于存储所述校正后的显示坐标和所述第一帧间相对深度。
7.根据权利要求6所述的终端,其特征在于,
所述查找单元,还用于从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
所述计算单元,还用于根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
所述输出单元,还用于输出所述校正后的显示坐标和所述第二帧间相对深度;
所述存储单元,还用于存储所述校正后的显示坐标和所述第二帧间相对深度。
8.根据权利要求7所述的终端,其特征在于,所述终端还包括:
所述分块单元,还用于将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
所述获取单元,还用于获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
所述计算单元,还用于根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
生成单元,用于根据所述每个图像块的畸变坐标和所述计算单元对应计算出的校正后的显示坐标,生成所述映射表。
9.根据权利要求8所述的终端,其特征在于,所述终端还包括:
所述计算单元,还用于以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
所述生成单元,用于将所述计算单元计算出的每个图像块的块相对深度对应写入所述映射表中。
10.根据权利要求6~9任意一项所述的终端,其特征在于,所述终端还包括:
识别单元,用于根据所述存储单元存储的任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化;
响应单元,用于根据所述识别单元识别的手势的变化响应对应的操作。
11.一种畸变图像校正系统,其特征在于,包括:终端和广角摄像头,所述广角摄像头与所述终端通信连接;
所述终端为上述权利要求6~10任意一项所述的终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310138091.0A CN103247031B (zh) | 2013-04-19 | 2013-04-19 | 一种畸变图像校正的方法、终端及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310138091.0A CN103247031B (zh) | 2013-04-19 | 2013-04-19 | 一种畸变图像校正的方法、终端及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103247031A CN103247031A (zh) | 2013-08-14 |
CN103247031B true CN103247031B (zh) | 2016-03-09 |
Family
ID=48926536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310138091.0A Expired - Fee Related CN103247031B (zh) | 2013-04-19 | 2013-04-19 | 一种畸变图像校正的方法、终端及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103247031B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104636743B (zh) * | 2013-11-06 | 2021-09-03 | 北京三星通信技术研究有限公司 | 文字图像校正的方法和装置 |
CN104691444A (zh) * | 2013-12-09 | 2015-06-10 | 奇点新源国际技术开发(北京)有限公司 | 一种基于电动汽车的车载终端和车载终端系统 |
GB2524250A (en) * | 2014-03-17 | 2015-09-23 | Sony Comp Entertainment Europe | Image processing |
CN104883477B (zh) * | 2015-04-30 | 2018-05-15 | 北京小鸟看看科技有限公司 | 一种视频数据预畸变处理方法、装置及头戴显示器 |
CN105141827B (zh) | 2015-06-30 | 2017-04-26 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及终端 |
CN108040210B (zh) * | 2015-06-30 | 2020-03-10 | Oppo广东移动通信有限公司 | 一种局部畸变的校正方法及移动终端和相关介质产品 |
CN108389159A (zh) * | 2015-06-30 | 2018-08-10 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及终端 |
CN107657595B (zh) * | 2015-06-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 一种畸变校正方法及移动终端和相关介质产品 |
CN104994281B (zh) * | 2015-06-30 | 2017-09-19 | 广东欧珀移动通信有限公司 | 一种人脸畸变校正的方法及终端 |
JP6723512B2 (ja) * | 2015-12-22 | 2020-07-15 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN108255822A (zh) * | 2016-12-28 | 2018-07-06 | 深圳市氧橙互动娱乐有限公司 | 一种交互式图书阅读方法、装置及系统 |
CN106934351B (zh) * | 2017-02-23 | 2020-12-29 | 中科创达软件股份有限公司 | 手势识别方法、装置及电子设备 |
CN108876725A (zh) * | 2017-05-12 | 2018-11-23 | 深圳市魔眼科技有限公司 | 一种虚拟图像畸变矫正方法及系统 |
WO2020014881A1 (zh) * | 2018-07-17 | 2020-01-23 | 华为技术有限公司 | 一种图像校正方法和终端 |
US11100790B2 (en) | 2019-09-25 | 2021-08-24 | Universal City Studios Llc | Systems and methods for determining projected target location of a handheld object |
CN115100049A (zh) * | 2022-06-14 | 2022-09-23 | 广东源兴诡谷子光学智能科技有限公司 | 一种用于拼接图像畸变校正的图像校正方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101937560A (zh) * | 2010-08-30 | 2011-01-05 | 中兴通讯股份有限公司 | 失真图像处理方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8111300B2 (en) * | 2009-04-22 | 2012-02-07 | Qualcomm Incorporated | System and method to selectively combine video frame image data |
-
2013
- 2013-04-19 CN CN201310138091.0A patent/CN103247031B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101937560A (zh) * | 2010-08-30 | 2011-01-05 | 中兴通讯股份有限公司 | 失真图像处理方法及装置 |
Non-Patent Citations (2)
Title |
---|
Depth map distortion analysis for view rendering and depth coding;Woo-Shik Kim等;《Image Processing (ICIP), 2009 16th IEEE International Conference on》;20091110;721-724 * |
虚拟培训技术在石油工业中的应用研究;尹晓喆;《万方学位论文数据库》;20060918;正文第1-51页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103247031A (zh) | 2013-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103247031B (zh) | 一种畸变图像校正的方法、终端及系统 | |
US10984554B2 (en) | Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium | |
CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
CN109165680B (zh) | 基于视觉slam的室内场景下单一目标物体字典模型改进方法 | |
CN111784778B (zh) | 基于线性求解非线性优化的双目相机外参标定方法和系统 | |
CN108447097A (zh) | 深度相机标定方法、装置、电子设备及存储介质 | |
CN108537726A (zh) | 一种跟踪拍摄的方法、设备和无人机 | |
CN111882602A (zh) | 基于orb特征点和gms匹配过滤器的视觉里程计实现方法 | |
CN116704048B (zh) | 一种双光配准方法 | |
CN112925416A (zh) | 用户视线跟踪方法、装置及系统 | |
CN114140527A (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
CN113052880A (zh) | 一种sfm稀疏重建方法、系统及应用 | |
CN111179408B (zh) | 三维建模的方法及设备 | |
CN113112553B (zh) | 双目相机的参数标定方法、装置、电子设备及存储介质 | |
CN114049401A (zh) | 双目相机标定方法、装置、设备及介质 | |
CN105654474A (zh) | 基于视觉引导的机械臂定位方法及装置 | |
CN106910246B (zh) | 时空结合的散斑三维成像方法及装置 | |
WO2023160445A1 (zh) | 即时定位与地图构建方法、装置、电子设备及可读存储介质 | |
CN106651950B (zh) | 一种基于二次曲线透视投影不变性的单相机位姿估计方法 | |
CN109509208B (zh) | 一种高精度三维点云获取方法、系统、装置及存储介质 | |
CN113674340A (zh) | 一种基于路标点的双目视觉导航方法与装置 | |
CN110766740A (zh) | 一种基于行人跟踪的实时高精度双目测距系统及方法 | |
CN103426171A (zh) | 双目立体视觉系统中对应指尖点的匹配方法、装置 | |
CN112163509B (zh) | 图像处理方法、装置、网络设备及存储介质 | |
CN112367441B (zh) | 一种反畸变图像的生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160309 |