CN103247031A - 一种畸变图像校正的方法、终端及系统 - Google Patents

一种畸变图像校正的方法、终端及系统 Download PDF

Info

Publication number
CN103247031A
CN103247031A CN2013101380910A CN201310138091A CN103247031A CN 103247031 A CN103247031 A CN 103247031A CN 2013101380910 A CN2013101380910 A CN 2013101380910A CN 201310138091 A CN201310138091 A CN 201310138091A CN 103247031 A CN103247031 A CN 103247031A
Authority
CN
China
Prior art keywords
field picture
coordinate
distortion
correction
relative depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101380910A
Other languages
English (en)
Other versions
CN103247031B (zh
Inventor
郑士胜
张兼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310138091.0A priority Critical patent/CN103247031B/zh
Publication of CN103247031A publication Critical patent/CN103247031A/zh
Application granted granted Critical
Publication of CN103247031B publication Critical patent/CN103247031B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种畸变图像校正的方法,包括:获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,输出并存储所述校正后的显示坐标和所述第一帧间相对深度。本发明技术方案可以提高近距离手势识别的精准度。

Description

一种畸变图像校正的方法、终端及系统
技术领域
本发明涉及图像处理技术领域,具体涉及一种畸变图像校正的方法、终端及系统。
背景技术
在众多的人机交互方式中,手势作为一种直观、自然、易于学习的交互方式,受到了广泛的关注,其中基于摄像头的手势识别技术,由于其简单的系统结构和开放的应用环境,受到了广大科研工作者的青睐和深入研究,并在工业界取得了快速的进步与发展。
目前基于摄像头的手势识别技术已经开始应用于手机、电视等多种场景的控制操作,在人机交互领域中扮演越来越为重要的作用。但由于现有技术的控制准确度比较低,因此实现的功能有限,操作也比较简单:比如左右挥手实现图片的左右切换翻页等简单操作。
在对现有技术的研究和实践过程中,本发明的发明人发现,由于普通摄像头的视角较小,在这种情况下,用于识别近距离手势的参数的准确率很低,发生误操作的概率很高。基于双摄像头的手势交互虽然可以在一定程度上解决近距离手势识别的问题,但是由于双摄像头近距离时立体可视面将变小,立体成像的盲区变大,无法较好地计算出深度信息,用于识别手势的参数的准确率依然很低。
发明内容
本发明实施例提供一种畸变图像校正的方法、可以校正广角摄像头采集的近距离大范围内的图像,提高了用于识别手势变化的参数的精准度。本发明实施例还提供了相应的终端和系统。
本发明第一方面提供一种畸变图像校正的方法,包括:
获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;
获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
结合第一方面,在第一种可能的实现方式中,所述查找所述目标图像块的畸变坐标对应的校正后的显示坐标时,还包括:
从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
对应的,所述计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度的步骤之后,还包括:
根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
对应的,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度,包括:
输出并存储所述校正后的显示坐标和所述第二帧间相对深度。
结合第一方面第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:
将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
根据所述每个图像块的畸变坐标和对应计算出的校正后的显示坐标,生成所述映射表。
结合第一方面第二种可能的实现方式,在第三种可能的实现方式中,所述根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标时,所述方法还包括:
以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
将所述每个图像块的块相对深度对应写入所述映射表中。
结合第一方面、第一方面第一种至第三种可能的实现方式中的任意一种,在第四种可能的实现方式中,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度的步骤之后,还包括:
根据所述任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化,并根据所述手势的变化响应对应的操作。
本发明第二方面提供一种终端,包括:
获取单元,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;
分块单元,用于将所述获取单元获取的任意一帧图像分成预置数量的图像块;
所述获取单元,还用于获取所述任意一帧图像中目标图像块的畸变坐标;
查找单元,用于根据所述获取单元获取的目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
所述获取单元,还用于获取所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数;
计算单元,用于根据所述述获取单元获取的任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度;
输出单元,用于输出所述校正后的显示坐标和所述第一帧间相对深度;
存储单元,用于存储所述校正后的显示坐标和所述第一帧间相对深度。
结合第二方面,在第一种可能的实现方式中,
所述查找单元,还用于从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
所述计算单元,还用于根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
所述输出单元,还用于输出所述校正后的显示坐标和所述第二帧间相对深度;
所述存储单元,还用于存储所述校正后的显示坐标和所述第二帧间相对深度。
结合第二方面第一种可能的实现方式,在第二种可能的实现方式中,所述终端还包括:
所述分块单元,还用于将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
所述获取单元,还用于获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
所述计算单元,还用于根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
生成单元,用于根据所述每个图像块的畸变坐标和所述计算单元对应计算出的校正后的显示坐标,生成所述映射表。
结合第二方面第二种可能的实现方式,在第三种可能的实现方式中,所述终端还包括:
所述计算单元,还用于以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
所述生成单元,用于将所述计算单元计算出的每个图像块的块相对深度对应写入所述映射表中。
结合第二方面、第二方面第一种至第三种可能的实现方式中的任意一种,在第四种可能的实现方式中,所述终端还包括:
识别单元,用于根据所述存储单元存储的任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化;
响应单元,用于根据所述识别单元识别的手势的变化响应对应的操作。
本发明第三方面提供一种畸变图像校正系统,包括:终端和广角摄像头,所述广角摄像头与所述终端通信连接;
所述终端为上述技术方案所述的终端。
本发明实施例采用获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,输出并存储所述校正后的显示坐标和所述第一帧间相对深度。与现有技术中普通摄像头和双摄像头识别手势准确率低相比,本发明实施例提供的畸变图像校正的方法,通过广角摄像头采集大范围近距离的图像,再通过畸变校正修正畸变坐标,从而提高了用于识别近距离手势变化的参数的精准度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中畸变图像校正的方法的一实施例示意图;
图2是本发明实施例中一场景举例示意图;
图3是本发明实施例中另一场景举例示意图;
图4是本发明实施例中终端的一实施例示意图;
图5是本发明实施例中终端的另一实施例示意图;
图6是本发明实施例中终端的另一实施例示意图;
图7是本发明实施例中终端的另一实施例示意图;
图8是本发明实施例中系统的一实施例示意图。
具体实施方式
本发明实施例提供一种畸变图像校正的方法、可以校正广角摄像头采集的近距离大范围内的图像,提高了用于识别手势变化的参数的精准度。本发明实施例还提供了相应的终端和系统。以下分别进行详细说明。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,本发明实施例提供的一种畸变图像校正的方法的一实施例包括:
101、终端获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块。
本发明实施例中,通常获取的是近距离的手势变化的图像,如小于15厘米的图像。当然,不限于15厘米,对20厘米或者更大一点距离的图像也可以按照本发明实施例进行处理。
广角镜头指的是镜头的角度在120度以上的镜头。鱼眼镜头是广角镜头中的一种特殊镜头,镜头的角度在180度以上。本发明实施例中可以采用鱼眼镜头采集手势变化过程中的每一帧图像。
因广角镜头的覆盖范围大,所以采集的图像会发生畸变,所以要想得到准确的图像坐标,需要对畸变坐标进行校正。
针对同一个广角镜头采集的图像,在处理每一帧图像时,划分的图像块数相同。
预置数量可以根据不同的精度要求预先设定,如20块、30块、50块或者其他数量。
102、终端获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标。
广角摄像头采集到的图像可以是手的完整图像,但对终端有影响的可能只有手指,所以只需要处理包含手指的目标图像块即可。
图像块畸变坐标与校正后的显示坐标的映射表中包含每个图像块的畸变坐标和对应的校正后的坐标,当在处理其他帧图像时,获取到目标图像块的畸变坐标后,就可以根据该目标图像块的畸变坐标从映射表中查找到校正后的坐标。
103、终端获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,并输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
手在移动的过程中不限于左右移动,还会前后移动,所以根据前后帧图像的面积、轮廓、集合形状参数的变化,可以通过现有技术中的方案确定第一帧间相对深度。
终端输出校正后的显示坐标和所述第一帧间相对深度后,就可以根据前后帧的目标图像块的坐标的变化了第一帧间相对深度确定手势的工作,向左、向右、向前或者向后。
本发明实施例采用获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,并输出并存储所述校正后的显示坐标和所述第一帧间相对深度。与现有技术中普通摄像头和双摄像头识别手势准确率低相比,本发明实施例提供的畸变图像校正的方法,通过广角摄像头采集大范围近距离的图像,再通过畸变校正修正畸变坐标,从而提高了用于识别近距离手势变化的参数的精准度。
可选地,在上述图1对应的实施例的基础上,本发明实施例提供的畸变图像校正的方法的第一个可选实施例中,
所述查找所述目标图像块的畸变坐标对应的校正后的显示坐标时,还可以包括:
从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
对应的,所述计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度的步骤之后,还可以包括:
根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
对应的,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度,可以包括:
输出并存储所述校正后的显示坐标和所述第二帧间相对深度。
本发明实施例中,因广角镜头有畸变,所以同一帧图像中不同图像块都会发生或大或小的畸变,可以认为中心图像块不发生任何畸变,其他图像块随着与中心图像块的距离变化,畸变逐渐增加,不光坐标上有畸变,块深度上也有畸变,所以映射表中也可以预先写有每个图像块相对于中心图像块的块相对深度。
当从映射表中还查找到目标图像块的块相对深度时,还可以通过预先设置的第二帧间相对深度与第一帧间相对深度和块相对深度的关系,计算出第二帧间相对深度,因为考虑到了块相对深度,所以第二帧间相对深度比第一帧间相对深度更精确。
第二帧间相对深度与第一帧间相对深度和块相对深度的关系可以用下面的公式来表示:
第二帧间相对深度=α*第一帧间相对深度+β*块相对深度;
α、β:权重系数,平衡帧间相对深度与块相对深度的相互作用,α+β=1;
α和β的具体取值,可以根据精度设定。
可选地,在上述图1对应的第一个可选实施例的基础上,本发明实施例提供的畸变图像校正的方法的第二个可选实施例还可以包括:
将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
根据所述每个图像块的畸变坐标和对应计算出的校正后的显示坐标,生成所述映射表。
本发明实施例中,图像块畸变坐标与校正后的显示坐标的映射表是与广角摄像头关联的,一旦广角摄像头确定下来,与畸变相关的参数就确定下来,就可以根据所述广角摄像头的畸变参数,计算每个图像块的校正后的显示坐标,生成包含每个图像块的畸变坐标和校正后的坐标的映射表。
可选地,在上述图1对应的第二个可选实施例的基础上,本发明实施例提供的畸变图像校正的方法的第三个可选实施例中,所述根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标时,所述方法还可以包括:
以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
将所述每个图像块的块相对深度对应写入所述映射表中。
本发明实施例中,在广角摄像头确定后,广角摄像头采集的第一帧图像时,就可以计算第一帧图像中每个图像块的块相对深度,将每个图像块的块相对深度对应畸变坐标和校正后的显示坐标写入到映射表中。
可选地,在上述图1对应的实施例及图1对应的第一个至第三个可选实施例中的任一实施例的基础上,本发明实施例提供的畸变图像校正的方法的第三个可选实施例中,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度的步骤之后,还可以包括:
根据所述任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化,并根据所述手势的变化响应对应的操作。
本发明实施例中,当输出校正后的显示坐标和第一帧间相对深度或者第二帧间相对深度后,就可以根据前后两帧图像中校正后的显示坐标和第一帧间相对深度或者第二帧间相对深度的变化,确定手势的变化,如向左移动、向右移动、向前移动或者向后移动。
为了便于理解,下面以一个应用场景为例,说明本发明实施例中畸变图像校正的方法的过程:
参阅图2,广角摄像头采集到的图像的坐标图是发生了畸变的,按照图2所展示的,图像被分成了25个图像块,默认为中心图像块没有发生畸变,其他每个图像块都发生了畸变,校正后的图像块可以参阅图3进行理解。
假设图像块1的畸变坐标为(x1,y1),图像块2的畸变坐标为(x2,y2),依次类推,图像块25的畸变坐标为(x25,y25)。
根据广角镜头的畸变程度、焦点镜头参数、广角镜头模型等畸变参数信息,校正从图像块1到图像块25,得到校正后的图像块的坐标为依次为:
图像块1的校正后的显示坐标(x1',y1')、图像块2的校正后的显示坐标(x2',y2'),依次类推,图像块25的校正后的显示坐标(x25',y25')。
中心图像块没有发生畸变,所以中心图像块的块相对深度为0,假设图像块1的块相对深度为d1、图像块2的块相对深度为d2、图像块3的块相对深度为d3、依次类推,图像块25的块相对深度为d25。
将每个图像块的畸变坐标、校正后的显示坐标和块的相对深度信息写入到图像块畸变坐标与校正后的显示坐标的映射表中,映射表可以参阅表1进行理解:
表1:畸变校正映射表
块的畸变坐标 块的校正后的显示坐标 块的相对深度
(x1,y1) (x1',y1') d1
(x2,y2) (x2',y2') d2
(x3,y3) (x3',y3') d3
…… …… ……
(x23,y23) (x23’,y23’) d23
(x24,y24) (x24’,y24’) d24
(x25,y25) (x25’,y25’) d25
这样,表1所表示的映射表生成后,后面一旦有手势移动,广角摄像头就可以采集到手势移动的每一帧图像,然后将每一帧图像分成25块,在获知畸变坐标(x1,y1)后,就可以通过查表得到(x1',y1')和d1。其他畸变坐标的处理与(x1,y1)相同,在此不再做过多赘述。
假设目标图像块为第一个图像块,当通过前后帧的图像的面积、轮廓或者几何形状等的变化,计算出本帧图像与前一帧图像的帧间相对深度,假设为D1,那么结合块的相对深度,利用公式D=α*D1+β* d1,就可以计算出准确的帧间相对深度D。
那么输出(x1,y1,D),通过比较(x1,y1)与前一帧的第一个图像块的坐标(x0,y0),就可以判断出手势是向左移动、向下移动、向右移动还是向上移动,通过D可以获知手是向前移动还是向后移动,从而可以准确的识别手势的变化,正确的响应对应的应用。
参阅图4,本发明实施例提供的终端的一实施例包括:
获取单元201,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;
分块单元202,用于将所述获取单元201获取的任意一帧图像分成预置数量的图像块;
所述获取单元201,还用于获取所述任意一帧图像中目标图像块的畸变坐标;
查找单元203,用于根据所述获取单元201获取的目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
所述获取单元201,还用于获取所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数;
计算单元204,用于根据所述述获取单元201获取的任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度;
输出单元205,用于输出所述校正后的显示坐标和所述第一帧间相对深度;
存储单元206,用于存储所述校正后的显示坐标和所述第一帧间相对深度。
本发明实施例中,获取单元201获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;分块单元202将所述获取单元201获取的任意一帧图像分成预置数量的图像块;所述获取单元201还获取所述任意一帧图像中目标图像块的畸变坐标;查找单元203根据所述获取单元201获取的目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;所述获取单元201还获取所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数;计算单元204根据所述述获取单元201获取的任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度;输出单元205输出所述校正后的显示坐标和所述第一帧间相对深度;存储单元206存储所述校正后的显示坐标和所述第一帧间相对深度。与现有技术中普通摄像头和双摄像头识别手势准确率低相比,本发明实施例提供的终端,通过广角摄像头采集大范围近距离的图像,再通过畸变校正修正畸变坐标,从而提高了用于识别近距离手势变化的参数的精准度。
在上述图4对应的实施例的基础上,本发明实施例提供的终端的第一个可选实施例中,
所述查找单元203,还用于从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
所述计算单元204,还用于根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
所述输出单元205,还用于输出所述校正后的显示坐标和所述第二帧间相对深度;
所述存储单元206,还用于存储所述校正后的显示坐标和所述第二帧间相对深度。
在上述图4对应的第一个可选实施例的基础上,参阅图5,本发明实施例提供的终端的第二个可选实施例还可以包括:
所述分块单元202,还用于将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
所述获取单元201,还用于获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
所述计算单元204,还用于根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
生成单元207,用于根据所述每个图像块的畸变坐标和所述计算单元204对应计算出的校正后的显示坐标,生成所述映射表。
在上述图5对应的第二个可选实施例的基础上,本发明实施例提供的终端的第三个可选实施例中,
所述计算单元204,还用于以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
所述生成单元207,用于将所述计算单元204计算出的每个图像块的块相对深度对应写入所述映射表中。
在上述任一终端实施例的基础上,参阅图6,本发明实施例提供的终端的第四个可选实施例还包括:
识别单元208,用于根据所述存储单元207存储的任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化;
响应单元209,用于根据所述识别单元208识别的手势的变化响应对应的操作。
本发明实施例提供了一种计算机可读存储介质,该存储介质中存储有程序,该程序执行时包括上述畸变图像校正的方法的部分或者全部步骤。
参阅图7,本发明实施例提供的终端的另一实施例包括:接收器210、发送器220、存储器230和处理器240,所述接收器210、发送器220、存储器230和处理器240通过总线或者其他方式连接。
其中,所述接收器210,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;
所述处理器240,用于将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,并输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
本发明一些实施例中,所述处理器240,还用于从已生成所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
所述发送器,用于输出所述校正后的显示坐标和所述第二帧间相对深度;
所述存储器,用于存储所述校正后的显示坐标和所述第二帧间相对深度。
本发明一些实施例中,所述处理器240,还用于将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;根据所述每个图像块的畸变坐标和对应计算出的校正后的显示坐标,生成所述图像块畸变坐标与校正后的显示坐标的映射表。
本发明一些实施例中,所述处理器240,还用于以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;将所述每个图像块的块相对深度对应写入所述映射表中。
本发明一些实施例中,所述处理器240,还用于根据所述任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化,并根据所述手势的变化响应对应的操作。
参阅图7,本发明实施例提供的畸变图像校正系统的一实施例包括:终端20和广角摄像头30,所述广角摄像头30与所述终端20通信连接;
广角摄像头30可以内置在所述终端20上,也可以通过其他方式连接。
广角摄像头30,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,并输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
以上对本发明实施例所提供的图像畸变校正的方法、终端以及系统进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种畸变图像校正的方法,其特征在于,包括:
获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像,并将所述任意一帧图像分成预置数量的图像块;
获取所述任意一帧图像中目标图像块的畸变坐标,并根据所述目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
获取并根据所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度,输出并存储所述校正后的显示坐标和所述第一帧间相对深度。
2.根据权利要求1所述的方法,其特征在于,所述查找所述目标图像块的畸变坐标对应的校正后的显示坐标时,还包括:
从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
对应的,所述计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度的步骤之后,还包括:
根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
对应的,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度,包括:
输出并存储所述校正后的显示坐标和所述第二帧间相对深度。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
根据所述每个图像块的畸变坐标和对应计算出的校正后的显示坐标,生成所述映射表。
4.根据权利要求3所述的方法,其特征在于,所述根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标时,所述方法还包括:
以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
将所述每个图像块的块相对深度对应写入所述映射表中。
5.根据权利要求1~4任意一项所述的方法,其特征在于,所述输出并存储所述校正后的显示坐标和所述第一帧间相对深度的步骤之后,还包括:
根据所述任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化,并根据所述手势的变化响应对应的操作。
6.一种终端,其特征在于,包括:
获取单元,用于获取广角摄像头在手势变化过程中采集的发生畸变的任意一帧图像;
分块单元,用于将所述获取单元获取的任意一帧图像分成预置数量的图像块;
所述获取单元,还用于获取所述任意一帧图像中目标图像块的畸变坐标;
查找单元,用于根据所述获取单元获取的目标图像块的畸变坐标,从已生成的映射表中查找所述目标图像块的畸变坐标对应的校正后的显示坐标,所述映射表中包含所述任意一帧图像中每个图像块的畸变坐标与所述畸变坐标对应的校正后的显示坐标;
所述获取单元,还用于获取所述任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数;
计算单元,用于根据所述述获取单元获取的任意一帧图像和所述任意一帧图像的前一帧图像的同一描述参数,计算所述任意一帧图像与所述前一帧图像的第一帧间相对深度;
输出单元,用于输出所述校正后的显示坐标和所述第一帧间相对深度;
存储单元,用于存储所述校正后的显示坐标和所述第一帧间相对深度。
7.根据权利要求6所述的终端,其特征在于,
所述查找单元,还用于从已生成的所述映射表中,对应查找所述目标图像块相对于所述任意一帧图像上的未发生畸变的中心图像块的块相对深度;
所述计算单元,还用于根据所述帧间相对深度和所述块相对深度,计算所述任意一帧图像与所述前一帧图像的第二帧间相对深度;
所述输出单元,还用于输出所述校正后的显示坐标和所述第二帧间相对深度;
所述存储单元,还用于存储所述校正后的显示坐标和所述第二帧间相对深度。
8.根据权利要求7所述的终端,其特征在于,所述终端还包括:
所述分块单元,还用于将所述广角摄像头第一次采集的第一帧图像分成所述预置数量的图像块;
所述获取单元,还用于获取所述第一帧图像的所述预置数量的图像块中每个图像块的畸变坐标;
所述计算单元,还用于根据所述广角摄像头的畸变参数,计算所述每个图像块的畸变坐标对应的校正后的显示坐标;
生成单元,用于根据所述每个图像块的畸变坐标和所述计算单元对应计算出的校正后的显示坐标,生成所述映射表。
9.根据权利要求8所述的终端,其特征在于,所述终端还包括:
所述计算单元,还用于以所述第一帧图像中所述未发生畸变的中心图像块为依据,计算所述第一帧图像中每个图像块的块相对深度;
所述生成单元,用于将所述计算单元计算出的每个图像块的块相对深度对应写入所述映射表中。
10.根据权利要求6~9任意一项所述的终端,其特征在于,所述终端还包括:
识别单元,用于根据所述存储单元存储的任意一帧图像中目标图像块的校正后的显示坐标和所述第一帧间相对深度,以及存储的所述前一帧图像中同一目标图像块的校正后的显示坐标和所述第一帧间相对深度,识别所述手势的变化;
响应单元,用于根据所述识别单元识别的手势的变化响应对应的操作。
11.一种畸变图像校正系统,其特征在于,包括:终端和广角摄像头,所述广角摄像头与所述终端通信连接;
所述终端为上述权利要求6~10任意一项所述的终端。
CN201310138091.0A 2013-04-19 2013-04-19 一种畸变图像校正的方法、终端及系统 Expired - Fee Related CN103247031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310138091.0A CN103247031B (zh) 2013-04-19 2013-04-19 一种畸变图像校正的方法、终端及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310138091.0A CN103247031B (zh) 2013-04-19 2013-04-19 一种畸变图像校正的方法、终端及系统

Publications (2)

Publication Number Publication Date
CN103247031A true CN103247031A (zh) 2013-08-14
CN103247031B CN103247031B (zh) 2016-03-09

Family

ID=48926536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310138091.0A Expired - Fee Related CN103247031B (zh) 2013-04-19 2013-04-19 一种畸变图像校正的方法、终端及系统

Country Status (1)

Country Link
CN (1) CN103247031B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636743A (zh) * 2013-11-06 2015-05-20 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN104691444A (zh) * 2013-12-09 2015-06-10 奇点新源国际技术开发(北京)有限公司 一种基于电动汽车的车载终端和车载终端系统
CN104883477A (zh) * 2015-04-30 2015-09-02 北京小鸟看看科技有限公司 一种视频数据预畸变处理方法、装置及头戴显示器
CN104994281A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN104994283A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种局部畸变的校正方法及移动终端
CN105141827A (zh) * 2015-06-30 2015-12-09 广东欧珀移动通信有限公司 一种畸变校正方法及终端
CN105160632A (zh) * 2015-06-30 2015-12-16 广东欧珀移动通信有限公司 一种畸变校正方法及移动终端
CN106462942A (zh) * 2014-03-17 2017-02-22 索尼电脑娱乐欧洲有限公司 图像处理
CN106934351A (zh) * 2017-02-23 2017-07-07 中科创达软件股份有限公司 手势识别方法、装置及电子设备
CN107018316A (zh) * 2015-12-22 2017-08-04 卡西欧计算机株式会社 图像处理装置、图像处理方法以及程序
CN108255822A (zh) * 2016-12-28 2018-07-06 深圳市氧橙互动娱乐有限公司 一种交互式图书阅读方法、装置及系统
CN108389159A (zh) * 2015-06-30 2018-08-10 广东欧珀移动通信有限公司 一种畸变校正方法及终端
CN108876725A (zh) * 2017-05-12 2018-11-23 深圳市魔眼科技有限公司 一种虚拟图像畸变矫正方法及系统
CN111656391A (zh) * 2018-07-17 2020-09-11 华为技术有限公司 一种图像校正方法和终端
US11100790B2 (en) 2019-09-25 2021-08-24 Universal City Studios Llc Systems and methods for determining projected target location of a handheld object
CN115100049A (zh) * 2022-06-14 2022-09-23 广东源兴诡谷子光学智能科技有限公司 一种用于拼接图像畸变校正的图像校正方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271498A1 (en) * 2009-04-22 2010-10-28 Qualcomm Incorporated System and method to selectively combine video frame image data
CN101937560A (zh) * 2010-08-30 2011-01-05 中兴通讯股份有限公司 失真图像处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271498A1 (en) * 2009-04-22 2010-10-28 Qualcomm Incorporated System and method to selectively combine video frame image data
CN101937560A (zh) * 2010-08-30 2011-01-05 中兴通讯股份有限公司 失真图像处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WOO-SHIK KIM等: "Depth map distortion analysis for view rendering and depth coding", 《IMAGE PROCESSING (ICIP), 2009 16TH IEEE INTERNATIONAL CONFERENCE ON》 *
尹晓喆: "虚拟培训技术在石油工业中的应用研究", 《万方学位论文数据库》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636743B (zh) * 2013-11-06 2021-09-03 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN104636743A (zh) * 2013-11-06 2015-05-20 北京三星通信技术研究有限公司 文字图像校正的方法和装置
CN104691444A (zh) * 2013-12-09 2015-06-10 奇点新源国际技术开发(北京)有限公司 一种基于电动汽车的车载终端和车载终端系统
CN106462942A (zh) * 2014-03-17 2017-02-22 索尼电脑娱乐欧洲有限公司 图像处理
CN106462942B (zh) * 2014-03-17 2019-11-05 索尼互动娱乐欧洲有限公司 图像处理
CN104883477A (zh) * 2015-04-30 2015-09-02 北京小鸟看看科技有限公司 一种视频数据预畸变处理方法、装置及头戴显示器
CN104883477B (zh) * 2015-04-30 2018-05-15 北京小鸟看看科技有限公司 一种视频数据预畸变处理方法、装置及头戴显示器
CN105141827B (zh) * 2015-06-30 2017-04-26 广东欧珀移动通信有限公司 一种畸变校正方法及终端
JP2018530173A (ja) * 2015-06-30 2018-10-11 広東欧珀移動通信有限公司 歪み補正方法及び端末
CN105160632A (zh) * 2015-06-30 2015-12-16 广东欧珀移动通信有限公司 一种畸变校正方法及移动终端
CN104994281A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN108040210B (zh) * 2015-06-30 2020-03-10 Oppo广东移动通信有限公司 一种局部畸变的校正方法及移动终端和相关介质产品
CN104994281B (zh) * 2015-06-30 2017-09-19 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN105160632B (zh) * 2015-06-30 2017-11-07 广东欧珀移动通信有限公司 一种畸变校正方法及移动终端
CN104994283B (zh) * 2015-06-30 2018-01-23 广东欧珀移动通信有限公司 一种局部畸变的校正方法及移动终端
CN107657595A (zh) * 2015-06-30 2018-02-02 广东欧珀移动通信有限公司 一种畸变校正方法及移动终端和相关介质产品
KR20180019709A (ko) * 2015-06-30 2018-02-26 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 왜곡 보정 방법 및 단말기
US9959601B2 (en) 2015-06-30 2018-05-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Distortion rectification method and terminal
CN105141827A (zh) * 2015-06-30 2015-12-09 广东欧珀移动通信有限公司 一种畸变校正方法及终端
CN108040210A (zh) * 2015-06-30 2018-05-15 广东欧珀移动通信有限公司 一种局部畸变的校正方法及移动终端和相关介质产品
CN104994283A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种局部畸变的校正方法及移动终端
CN108389159A (zh) * 2015-06-30 2018-08-10 广东欧珀移动通信有限公司 一种畸变校正方法及终端
WO2017000724A1 (zh) * 2015-06-30 2017-01-05 广东欧珀移动通信有限公司 一种畸变校正方法及终端
KR102010712B1 (ko) * 2015-06-30 2019-08-13 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 왜곡 보정 방법 및 단말기
US10319081B2 (en) 2015-06-30 2019-06-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Distortion rectification method and terminal
CN107018316A (zh) * 2015-12-22 2017-08-04 卡西欧计算机株式会社 图像处理装置、图像处理方法以及程序
CN107018316B (zh) * 2015-12-22 2021-02-05 卡西欧计算机株式会社 图像处理装置、图像处理方法以及存储介质
CN108255822A (zh) * 2016-12-28 2018-07-06 深圳市氧橙互动娱乐有限公司 一种交互式图书阅读方法、装置及系统
CN106934351B (zh) * 2017-02-23 2020-12-29 中科创达软件股份有限公司 手势识别方法、装置及电子设备
CN106934351A (zh) * 2017-02-23 2017-07-07 中科创达软件股份有限公司 手势识别方法、装置及电子设备
CN108876725A (zh) * 2017-05-12 2018-11-23 深圳市魔眼科技有限公司 一种虚拟图像畸变矫正方法及系统
CN111656391A (zh) * 2018-07-17 2020-09-11 华为技术有限公司 一种图像校正方法和终端
CN111656391B (zh) * 2018-07-17 2023-09-22 华为技术有限公司 一种图像校正方法和终端
US11100790B2 (en) 2019-09-25 2021-08-24 Universal City Studios Llc Systems and methods for determining projected target location of a handheld object
US11436916B2 (en) 2019-09-25 2022-09-06 Universal City Studios Llc Systems and methods for determining projected target location of a handheld object
US11663906B2 (en) 2019-09-25 2023-05-30 Universal City Studios Llc Systems and methods for determining projected target location of a handheld object
CN115100049A (zh) * 2022-06-14 2022-09-23 广东源兴诡谷子光学智能科技有限公司 一种用于拼接图像畸变校正的图像校正方法和装置

Also Published As

Publication number Publication date
CN103247031B (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN103247031A (zh) 一种畸变图像校正的方法、终端及系统
CN108898630B (zh) 一种三维重建方法、装置、设备和存储介质
CN107111880B (zh) 针对计算机视觉的遮挡处置
CN109086727B (zh) 一种确定人体头部的运动角度的方法、装置及电子设备
CN108986197B (zh) 3d骨架线构建方法及装置
CN111540004A (zh) 单相机极线校正方法及装置
CN109974623B (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN111340866A (zh) 深度图像生成方法、装置及存储介质
CN108109176A (zh) 物品检测定位方法、装置及机器人
CN107851301A (zh) 用于选择图像变换的系统和方法
JP2021525032A (ja) 画像処理方法、装置及び3次元結像システム
TWI528783B (zh) 產生深度影像之方法及其系統及電腦程式產品
CN110009664B (zh) 一种基于响应图融合的红外目标跟踪方法及装置
CN113112553B (zh) 双目相机的参数标定方法、装置、电子设备及存储介质
CN105225270A (zh) 一种信息处理方法及电子设备
CN112017242B (zh) 显示方法及装置、设备、存储介质
CN109544594B (zh) 多个非线性扭曲镜头下的目标追踪方法及系统
US8861838B2 (en) Apparatus and method for correcting stereoscopic image using matching information
CN113052880A (zh) 一种sfm稀疏重建方法、系统及应用
CN111179408B (zh) 三维建模的方法及设备
CN112652056B (zh) 一种3d信息展示方法及装置
CN112907714B (zh) 一种基于Census变换和灰度绝对差的混合匹配双目视觉系统
JP2021131377A (ja) 生成装置、生成方法およびプログラム
CN113674340A (zh) 一种基于路标点的双目视觉导航方法与装置
Fu et al. Calibration of Projector with Fixed Pattern and Large Distortion Lens in a Structured Light System.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160309