CN111325674A - 图像处理方法、装置及设备 - Google Patents
图像处理方法、装置及设备 Download PDFInfo
- Publication number
- CN111325674A CN111325674A CN201811541405.0A CN201811541405A CN111325674A CN 111325674 A CN111325674 A CN 111325674A CN 201811541405 A CN201811541405 A CN 201811541405A CN 111325674 A CN111325674 A CN 111325674A
- Authority
- CN
- China
- Prior art keywords
- value
- coordinate value
- coordinate
- wide
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007405 data analysis Methods 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000003702 image correction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
Abstract
本发明实施例提供一种图像处理方法、装置及设备。该方法包括：获取广角摄像头采集到的待处理图像；根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同；根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值；根据第二坐标值以及第二坐标值的第二像素值，显示拍摄图像。本发明实施例的方法，根据广角摄像头对应的畸变参数，对畸变的图像进行矫正处理，实现了对广角摄像头采集图像的有效矫正，为后续数据分析提供了准确的数据。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备。
背景技术
随着计算机视觉、机器学习、大数据分析以及人工智能等技术领域的快速发展，各种基于计算机视觉的智能应用、产品以及服务等也获得了快速的发展。无人商店、无人餐厅等应运而生，为人们的生活带来了极大的便利。
在无人商店、无人餐厅等应用中，通常需要采用摄像头采集图像，通过目标识别、目标跟踪等技术，实现向用户推荐商品、用户行为分析等。出于成本因素考虑，无人商店、无人餐厅中通常采用广角摄像头。由于广角摄像头畸变大进而会导致图像失真，增加了后续数据分析的难度，降低了数据分析的准确性。
对广角摄像头采集的图像进行矫正处理意义重大，然而现有的图像矫正处理方法并未充分考虑广角摄像头的畸变特性，导致无法对广角摄像头采集的图像进行有效矫正。
发明内容
本发明实施例提供一种图像处理方法、装置及设备，用以解决现有图像矫正方法无法对广角摄像头拍摄的图像进行有效矫正的问题。
第一方面，本发明实施例提供一种图像处理方法，包括：
获取广角摄像头采集到的待处理图像；
根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同；
根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值；
根据第二坐标值以及第二坐标值的第二像素值，显示拍摄图像。
在一种可能的实现方式中，根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理之前，还包括：
根据柱面投影算法，获取广角摄像头对应的畸变参数。
在一种可能的实现方式中，
第一坐标值包括：第一横坐标值和第一纵坐标值；
第二坐标值包括：第二横坐标值和第二纵坐标值；
根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值，包括：
根据广角摄像头对应的畸变参数、第一坐标值的第一横坐标值，得到第一横坐标值对应的第二横坐标值；
根据广角摄像头对应的畸变参数、第一坐标值的第一纵坐标值以及第一横坐标值，得到第一纵坐标值对应的第二纵坐标值。
在一种可能的实现方式中，根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值，包括：
若第二坐标值对应一个第一坐标值，则确定第一坐标值的第一像素值为第二坐标值的第二像素值；
若第二坐标值对应至少两个第一坐标值，则根据至少两个第一坐标值的第一像素值，确定第二坐标值的第二像素值。
在一种可能的实现方式中，根据至少两个第一坐标值的第一像素值，确定第二坐标值的第二像素值，包括：
确定至少两个第一坐标值的第一像素值的最邻近插值为第二坐标值的第二像素值。
在一种可能的实现方式中，根据广角摄像头对应的畸变参数、第一坐标值的第一横坐标值，得到第一横坐标值对应的第二横坐标值，包括：
根据公式1，得到第一横坐标值对应的第二横坐标值；
其中，x'为第一坐标值的第一横坐标值，x为第一横坐标值对应的第二横坐标值，R为广角摄像头对应的畸变参数。
在一种可能的实现方式中，根据广角摄像头对应的畸变参数、第一坐标值的第一纵坐标值以及第一横坐标值，得到第一坐标值对应的第二纵坐标值，包括：
根据公式2，得到第一坐标值对应的第二纵坐标值；
其中，y'为第一坐标值的第一纵坐标值，y为第一坐标值对应的第二纵坐标值，R为广角摄像头对应的畸变参数。
第二方面，本发明实施例提供一种图像处理装置，包括：
获取模块，用于获取广角摄像头采集到的待处理图像；
矫正模块，用于根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同；
确定模块，用于根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值；
显示模块，用于根据第二坐标值以及第二坐标值的第二像素值，显示拍摄图像。
第三方面，本发明实施例提供一种电子设备，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面任一项所述的图像处理方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一项所述的图像处理方法。
本发明实施例提供的图像处理方法、装置及设备，通过获取广角摄像头采集到的待处理图像，根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同，根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值，根据第二坐标值以及第二坐标值的第二像素值，显示拍摄图像。实现了对广角摄像头采集图像的有效矫正，由于在进行畸变矫正时充分考虑了广角摄像头对应的畸变参数，因此矫正后的图像更逼近真实场景，提高了畸变矫正的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明提供的图像处理方法一实施例的流程图；
图2A-图2B为本发明一实施例提供的图像处理结果的示意图；
图3A-图3B为本发明一实施例提供的柱面投影的示意图；
图4A-图4B为本发明一实施例中用于确定畸变参数的测试图像的示意图；
图5为本发明提供的图像处理装置一实施例的结构示意图；
图6为本发明提供的电子设备一实施例的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明中的“第一”和“第二”只起标识作用，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明的说明书中通篇提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在无人店应用中，需要通过摄像头采集图像数据，通过对采集到的图像数据进行实时分析，以进行顾客识别、跟踪以及顾客行为分析，从而为顾客提供更好的服务。
广角摄像头因其镜头角度较广，可视范围较广，在相同面积的无人店中，相较于普通摄像头，可以采用较少数量的广角摄像头便可实现无死角覆盖。一方面可以降低无人店布店的硬件成本，另一方面在后续数据分析中，可以尽量减少跨摄像头间的目标跟踪，降低了后续数据分析的复杂度。
摄像头在成像的时候根据镜头的光学特性，将光线折射到感光器件上，而镜头折射的不规则将导致图像的畸变失真现象。摄像头通常具有径向畸变和切向畸变，而图像畸变将严重影响无人店的数据采集、顾客跟踪与顾客行为分析，因此图像畸变矫正对于计算机视觉系统意义重大，其主要任务是根据已知空间的点与图像中的对应点求解图像畸变参数的过程。
现有技术中，对于摄像头畸变的矫正一般采用标定法。标定法分为传统标定法、自标定法和基于主动视觉的标定法。基于主动视觉的标定法通过采集一定数量的二维图像，并建立图像点与实际场景点的对应关系，根据摄像机的运动规律来获得摄像头的参数，但是所需实验设备昂贵，无法大面积推广。自标定法是位摄像头建立绝对二次曲面方程进行求解，这种方法方便于实验，但是精度不是很高。
上述矫正方法均是对具有规则畸变模型的摄像头进行矫正，而广角摄像头的镜头与传统摄像头以及鱼眼摄像头的畸变模型并不相同，其径向畸变对横坐标与纵坐标的畸变模型并不一致，因此，采用传统方法对广角摄像头进行矫正的效果较差。
图1为本发明提供的图像处理方法一实施例的流程图。如图1所示，本实施例提供的图像处理方法可以包括：
S101、获取广角摄像头采集到的待处理图像。
本实施例中的广角摄像头可以是安装于各种应用场所中的广角摄像头，如无人店等。广角摄像头以预设帧率采集图像，采集到的图像具有畸变失真现象。其中，预设帧率可以根据广角摄像头的固有参数进行设置；在一些实时应用中，还可以根据应用需求进行设置，例如可以根据顾客跟踪的实时处理帧率进行设置。
本实施例提供的图像处理方法可以由图像处理设备执行，该图像处理设备例如可以是与广角摄像头连接的终端设备或者网络侧设备。广角摄像头将采集到的产生了畸变的待处理头像通过有线和/或无线的方式发送至图像处理设备，以便进行畸变矫正。
S102、根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同。
本实施例中广角摄像头对应的畸变参数，用于体现广角摄像头的畸变特性，不同的广角摄像头对应的畸变参数不同。畸变参数根据广角摄像头的成像特性确定，下面的实施例将给出如何确定广角摄像头对应的畸变参数的详细说明。
本实施例中的第一坐标值为待处理的畸变图像中的坐标值，第二坐标值为矫正后的图像中的坐标值。根据广角摄像头对应的畸变参数以及待处理的畸变图像中的坐标值，确定其在矫正后的图像中对应的坐标值。
S103、根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值。
本实施例中第一像素值为待处理的畸变图像中的像素值，第二像素值为矫正后的图像中的像素值。
本实施例中，在确定了第一坐标值对应的第二坐标值之后，则可以根据第一坐标值的第一像素值，确定第二坐标值的第二像素值。本实施例中的像素值例如可以是灰度值、RGB值等。
S104、根据第二坐标值以及第二坐标值的第二像素值，显示拍摄图像。
本实施例中在确定了待处理的畸变图像中各个像素点在矫正后的图像中对应的位置和像素值之后，则根据所确定的第二坐标值以及第二坐标值对应的第二像素值，显示矫正后的拍摄图像。
本实施例提供的图像处理方法，通过获取广角摄像头采集到的待处理图像，根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同，根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值，根据第二坐标值以及第二坐标值的第二像素值，显示拍摄图像。实现了对广角摄像头采集图像的有效矫正，由于在进行畸变矫正时充分考虑了广角摄像头对应的畸变参数，因此矫正后的图像更逼近真实场景，提高了畸变矫正的准确性。
图2A-图2B为本发明一实施例提供的图像处理结果的示意图。其中，图2A为通过广角摄像头采集到的拍摄场景的待处理的畸变图像，图2B为采用本发明实施例提供的图像处理方法对图2A所示的畸变图像进行矫正处理之后的图像。通过对比图2A和图2B，可以看出通过矫正之后，图像畸变现象得到很好的改善。图像中靠近下部的点为实验者模拟顾客在无人店中直线走动时，实验者人头中心位置点。图2A中的人头中心点呈现非线性的特性，而经过矫正处理的图2B中人头中心点呈现线性的特性。图像中人头中心像素点的线性特性有利于全局映射的准确，能够更加准确的获取顾客站立的位置。
无人店中通过安装广角摄像头采集店内的实时图像数据，然后得到视频流信息；对获取到的视频流进行截帧，然后对每帧图像进行目标检测；当无人店中有顾客时，会检测到顾客的人头像素点，采用上述实施例提供的图像处理方法，对采集到的畸变图像进行校正，将会获取到顾客的人头像素点在矫正后的图像中的像素点；最后通过全局映射便可以得到顾客在无人店中实际站立的位置信息。通过持续的读帧并进行相应的处理，以不间断的获取顾客在无人店中实际站立的位置信息，从而得到估计的轨迹信息。
采用本发明实施例提供的图像处理方法对无人店中广角摄像头采集到的畸变图像进行矫正处理之后，再进行全局映射、目标跟踪、行为分析等处理，可以减少后续处理的误差，提高数据分析的有效性。
可选的，在根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理之前，还可以包括：根据柱面投影算法，获取广角摄像头对应的畸变参数。
本实施例中通过对广角摄像头的成像特性进行研究分析，确定广角摄像头采集的图像呈现柱面投影后图像的特点，即图像的垂直方向畸变较小，水平方向畸变严重。因此，本实施例中根据柱面投影算法，获取广角摄像头对应的畸变参数。并采用柱面投影模型的逆向推导来实现广角摄像头畸变的矫正。
图3A-图3B为本发明一实施例提供的柱面投影的示意图。其中，图3A为柱面投影的立体示意图，图3B为柱面投影的俯视图。柱面投影为将平面上的图像投影到一个圆柱面上。在图3A和图3B中，O为观测点，点A、A'、G均为平面上的点，点A坐标为(x,y,z)，该平面与柱面相切，R为柱面的半径；点G为柱面与平面的一个相切点；A'为点A在水平方向的垂点，B为点A在柱面上的投影点，其坐标为(x',y',z')；点B'为点A'在柱面上的投影点，其坐标为(x',0,z')；F为B'点在GO上的垂点。柱面半径R的大小可以反映广角摄像头的畸变特性，因此，本实施例中采用R表示广角摄像头对应的畸变参数。
如图3A所示，根据三角形相似的几何关系，即
则有BB'＝kAA',B'F＝kA'G,OF＝kR，其中，k为相似系数，且k<1。则kx＝x',ky＝y'。
又根据勾股定理可知：OF2+B'F2＝B'O2，则k2R2+k2x2＝R2，因此可以得到k与R的关系如下：
则：
根据上述两个公式可以得到平面图像中的像素与柱面上的像素之间位置的对应关系，而由于广角摄像头采集到的图像具有平面图像映射到柱面后的特性，因此通过对上述两个公式进行逆向推导可以得到如下公式：
根据公式1和公式2可以将柱面上的像素映射至平面上。
本实施例中通过对测试图像进行矫正处理的实验方法，获取广角摄像头的畸变参数。图4A-图4B为本发明一实施例中用于确定畸变参数的测试图像的示意图。其中，图4A为本实施例中的采用的测试图像，图4B为通过广角摄像头对图4A所示的测试图像进行拍摄获取到的畸变图像。为R设置不同的取值，根据公式1和公式2对图4B进行矫正处理，使矫正后的图像与测试图像4A的误差最小的R，为该广角摄像头的畸变参数。
在一些实施例中，第一坐标值可以包括：第一横坐标值和第一纵坐标值；
第二坐标值可以包括：第二横坐标值和第二纵坐标值；则根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值的一种实现方式可以是：
根据广角摄像头对应的畸变参数、第一坐标值的第一横坐标值，得到第一横坐标值对应的第二横坐标值；
根据广角摄像头对应的畸变参数、第一坐标值的第一纵坐标值以及第一横坐标值，得到第一纵坐标值对应的第二纵坐标值。
本实施例中针对横坐标和纵坐标分别进行处理，即根据广角摄像头的水平畸变特性以及垂直畸变特性分别进行水平矫正和垂直矫正。
在一些实施例中，根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值的一种实现方式可以是：若第二坐标值对应一个第一坐标值，则确定第一坐标值的第一像素值为第二坐标值的第二像素值；若第二坐标值对应至少两个第一坐标值，则根据至少两个第一坐标值的第一像素值，确定第二坐标值的第二像素值。
也就是说，当矫正后的图像中的一个像素点仅对应一个待处理的畸变图像中的像素点时，则该像素点的值等于待处理的畸变图像中对应的像素点的值。当矫正后的图像中的一个像素点对应多个待处理的畸变图像中的像素点时，则该像素点的值需要根据待处理的畸变图像中对应的多个像素点的值确定，例如可以使用多个像素点的值的平均值、线性插值、最邻近插值等。
在一些实施例中，根据至少两个第一坐标值的第一像素值，确定第二坐标值的第二像素值的一种实现方式可以是：确定至少两个第一坐标值的第一像素值的最邻近插值为第二坐标值的第二像素值。
在一些实施例中，根据广角摄像头对应的畸变参数、第一坐标值的第一横坐标值，得到第一横坐标值对应的第二横坐标值的一种实现方式可以是：
根据公式1，得到第一横坐标值对应的第二横坐标值；
其中，x'为第一坐标值的第一横坐标值，x为第一横坐标值对应的第二横坐标值，R为广角摄像头对应的畸变参数。可以理解的是，若根据公式1计算得到的第一横坐标值对应的第二横坐标值x为小数时，所述方法还包括对x进行取整操作，该取整操作包括但不限于四舍五入取整操作，向上取整操作和向下取整操作。
在一些实施例中，根据广角摄像头对应的畸变参数、第一坐标值的第一纵坐标值以及第一横坐标值，得到第一坐标值对应的第二纵坐标值的一种实现方式可以是：
根据公式2，得到第一坐标值对应的第二纵坐标值；
其中，y'为第一坐标值的第一纵坐标值，y为第一坐标值对应的第二纵坐标值，R为广角摄像头对应的畸变参数。可以理解的是，若根据公式2计算得到的第一横坐标值对应的第二纵坐标值y为小数时，所述方法还包括对y进行取整操作，该取整操作包括但不限于四舍五入取整操作，向上取整操作和向下取整操作。
本发明实施例提供的图像处理方法，充分考虑了广角摄像头的畸变特征，不仅实现了对广角摄像头采集到的畸变图像的有效矫正，提高了矫正图像的准确性。而且通过坐标变换的方式实现图像矫正，处理复杂度低，提高了图像矫正的处理速度，降低了图像矫正的耗时，为实时数据处理奠定了基础。
本发明实施例还提供一种图像处理装置，请参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。图5为本发明提供的图像处理装置一实施例的结构示意图。如图5所示，本实施例提供的图像处理装置50可以包括：获取模块501、矫正模块502、确定模块503和显示模块504。
获取模块501，用于获取广角摄像头采集到的待处理图像。
矫正模块502，用于根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理，得到第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同。
确定模块503，用于根据第一坐标值的第一像素值，确定第一坐标值对应的第二坐标值的第二像素值。
显示模块504，用于根据第二坐标值以及第二坐标值的第二像素值，显示拍摄图像。
本实施例提供的图像处理装置可用于执行图1所示方法实施例对应的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，图像处理装置50还可以包括获取模块(图中未示出)，用于在根据广角摄像头对应的畸变参数，对待处理图像的各像素点的第一坐标值进行矫正处理之前，根据柱面投影算法，获取广角摄像头对应的畸变参数。
可选的，第一坐标值可以包括：第一横坐标值和第一纵坐标值；第二坐标值可以包括：第二横坐标值和第二纵坐标值；矫正模块502具体可以用于，根据广角摄像头对应的畸变参数、第一坐标值的第一横坐标值，得到第一横坐标值对应的第二横坐标值；根据广角摄像头对应的畸变参数、第一坐标值的第一纵坐标值以及第一横坐标值，得到第一纵坐标值对应的第二纵坐标值。
可选的，确定模块503具体可以用于：
若第二坐标值对应一个第一坐标值，则确定第一坐标值的第一像素值为第二坐标值的第二像素值；若第二坐标值对应至少两个第一坐标值，则根据至少两个第一坐标值的第一像素值，确定第二坐标值的第二像素值。
可选的，确定模块503具体还可以用于：
确定至少两个第一坐标值的第一像素值的最邻近插值为第二坐标值的第二像素值。
可选的，矫正模块502具体还可以用于：
根据公式1，得到第一横坐标值对应的第二横坐标值；
其中，x'为第一坐标值的第一横坐标值，x为第一横坐标值对应的第二横坐标值，R为广角摄像头对应的畸变参数。
可选的，矫正模块502具体还可以用于：
根据公式2，得到第一坐标值对应的第二纵坐标值；
其中，y'为第一坐标值的第一纵坐标值，y为第一坐标值对应的第二纵坐标值，R为广角摄像头对应的畸变参数。
本发明实施例还提供一种电子设备，请参见图6所示，本发明实施例仅以图6为例进行说明，并不表示本发明仅限于此。图6为本发明提供的电子设备一实施例的结构示意图。如图6所示，本实施例提供的电子设备可以包括以下一个或多个组件：处理组件601，存储器602，电源组件604，多媒体组件606，音频组件603，输入/输出(I/O)接口608，传感器组件607，以及通信组件605。
处理组件601通常控制电子设备的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件601可以包括一个或多个处理器6011来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件601可以包括一个或多个模块，便于处理组件601和其他组件之间的交互。例如，处理组件601可以包括多媒体模块，以方便多媒体组件606和处理组件601之间的交互。
存储器602被配置为存储各种类型的数据以支持在电子设备的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器602可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。本实施例中，存储器602中存储有计算机程序，该计算机程序可以由处理器6011执行，以实现上述任一方法实施例对应的图像处理方法的技术方案。
电源组件604为电子设备的各种组件提供电力。电源组件604可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
多媒体组件606包括在所述电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件606包括一个前置摄像头和/或后置摄像头。当电子设备处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件603被配置为输出和/或输入音频信号。例如，音频组件603包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器602或经由通信组件605发送。本实施例中，可以通过麦克风采集用户对电子设备进行语音控制的语音信号，然后经由通信组件605发送至云端服务器。在一些实施例中，音频组件603还包括一个扬声器，用于输出音频信号。本实施例中，可以通过扬声器播放对用户的提示信息。
I/O接口608为处理组件601和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件607包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件607可以检测到电子设备的打开/关闭状态，组件的相对定位，例如所述组件为电子设备的显示器和小键盘，传感器组件607还可以检测电子设备或电子设备一个组件的位置改变，用户与电子设备接触的存在或不存在，电子设备方位或加速/减速和电子设备的温度变化。传感器组件607可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件607还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件607还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件605被配置为便于电子设备和其他设备之间有线或无线方式的通信。本实施例中通信组件605用于实现电子设备和云端服务器之间的交互。电子设备可以接入基于通信标准的无线网络，如WiFi，2G、3G或4G，或它们的组合。在一个示例性实施例中，通信组件605经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件605还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器602，上述指令可由电子设备的处理器6011执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本实施例提供的电子设备可用于执行上述任一方法实施例对应的技术方案，其实现原理和技术效果类似，此处不再赘述。
需要说明的是，本实施例提供的电子设备包括但不限于以下中的至少一个：用户侧设备、网络侧设备。用户侧设备包括但不限于计算机、智能手机、平板电脑、数字广播终端、消息收发设备、游戏控制台、个人数字助理等。网络侧设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机组成的一个超级虚拟计算机。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例提供的图像处理方法。本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取广角摄像头采集到的待处理图像；
根据所述广角摄像头对应的畸变参数，对所述待处理图像的各像素点的第一坐标值进行矫正处理，得到所述第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同；
根据所述第一坐标值的第一像素值，确定所述第一坐标值对应的第二坐标值的第二像素值；
根据所述第二坐标值以及所述第二坐标值的第二像素值，显示拍摄图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述广角摄像头对应的畸变参数，对所述待处理图像的各像素点的第一坐标值进行矫正处理之前，还包括：
根据柱面投影算法，获取广角摄像头对应的畸变参数。
3.根据权利要求1所述的方法，其特征在于，
所述第一坐标值包括：第一横坐标值和第一纵坐标值；
所述第二坐标值包括：第二横坐标值和第二纵坐标值；
所述根据所述广角摄像头对应的畸变参数，对所述待处理图像的各像素点的第一坐标值进行矫正处理，得到所述第一坐标值对应的第二坐标值，包括：
根据所述广角摄像头对应的畸变参数、所述第一坐标值的第一横坐标值，得到所述第一横坐标值对应的第二横坐标值；
根据所述广角摄像头对应的畸变参数、所述第一坐标值的第一纵坐标值以及第一横坐标值，得到所述第一纵坐标值对应的第二纵坐标值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一坐标值的第一像素值，确定所述第一坐标值对应的第二坐标值的第二像素值，包括：
若第二坐标值对应一个第一坐标值，则确定第一坐标值的第一像素值为所述第二坐标值的第二像素值；
若第二坐标值对应至少两个第一坐标值，则根据所述至少两个第一坐标值的第一像素值，确定所述第二坐标值的第二像素值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两个第一坐标值的第一像素值，确定所述第二坐标值的第二像素值，包括：
确定所述至少两个第一坐标值的第一像素值的最邻近插值为所述第二坐标值的第二像素值。
6.根据权利要求3所述的方法，其特征在于，所述根据所述广角摄像头对应的畸变参数、所述第一坐标值的第一横坐标值，得到所述第一横坐标值对应的第二横坐标值，包括：
根据公式1，得到所述第一横坐标值对应的第二横坐标值；
其中，x'为所述第一坐标值的第一横坐标值，x为所述第一横坐标值对应的第二横坐标值，R为所述广角摄像头对应的畸变参数。
7.根据权利要求3所述的方法，其特征在于，所述根据所述广角摄像头对应的畸变参数、所述第一坐标值的第一纵坐标值以及第一横坐标值，得到所述第一坐标值对应的第二纵坐标值，包括：
根据公式2，得到所述第一坐标值对应的第二纵坐标值；
其中，y'为所述第一坐标值的第一纵坐标值，y为所述第一坐标值对应的第二纵坐标值，R为所述广角摄像头对应的畸变参数。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取广角摄像头采集到的待处理图像；
矫正模块，用于根据所述广角摄像头对应的畸变参数，对所述待处理图像的各像素点的第一坐标值进行矫正处理，得到所述第一坐标值对应的第二坐标值，其中，不同的广角摄像头对应的畸变参数不同；
确定模块，用于根据所述第一坐标值的第一像素值，确定所述第一坐标值对应的第二坐标值的第二像素值；
显示模块，用于根据所述第二坐标值以及所述第二坐标值的第二像素值，显示拍摄图像。
9.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-7任一项所述的图像处理方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811541405.0A CN111325674A (zh) | 2018-12-17 | 2018-12-17 | 图像处理方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811541405.0A CN111325674A (zh) | 2018-12-17 | 2018-12-17 | 图像处理方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111325674A true CN111325674A (zh) | 2020-06-23 |
Family
ID=71166860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811541405.0A Pending CN111325674A (zh) | 2018-12-17 | 2018-12-17 | 图像处理方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325674A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951193A (zh) * | 2020-08-21 | 2020-11-17 | 安谋科技（中国）有限公司 | 图像的水平畸变矫正方法及水平畸变矫正装置 |
| CN117301078A (zh) * | 2023-11-24 | 2023-12-29 | 浙江洛伦驰智能技术有限公司 | 一种机器手视觉校准方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103854335A (zh) * | 2012-12-05 | 2014-06-11 | 厦门雅迅网络股份有限公司 | 一种行车记录仪全景视频生成方法 |
| CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
| CN103996172A (zh) * | 2014-05-08 | 2014-08-20 | 东北大学 | 一种基于多步校正的鱼眼图像校正方法 |
| CN106412669A (zh) * | 2016-09-13 | 2017-02-15 | 微鲸科技有限公司 | 一种全景视频渲染的方法和设备 |
| CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
-
2018
- 2018-12-17 CN CN201811541405.0A patent/CN111325674A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103854335A (zh) * | 2012-12-05 | 2014-06-11 | 厦门雅迅网络股份有限公司 | 一种行车记录仪全景视频生成方法 |
| CN103971352A (zh) * | 2014-04-18 | 2014-08-06 | 华南理工大学 | 一种基于广角镜头的快速图像拼接方法 |
| CN103996172A (zh) * | 2014-05-08 | 2014-08-20 | 东北大学 | 一种基于多步校正的鱼眼图像校正方法 |
| CN106412669A (zh) * | 2016-09-13 | 2017-02-15 | 微鲸科技有限公司 | 一种全景视频渲染的方法和设备 |
| CN106525004A (zh) * | 2016-11-09 | 2017-03-22 | 人加智能机器人技术（北京）有限公司 | 双目立体视觉系统及深度测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 肖潇;王伟;毕凯;: "柱面透视投影模型下的全景环形透镜畸变校正", 西安电子科技大学学报 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111951193A (zh) * | 2020-08-21 | 2020-11-17 | 安谋科技（中国）有限公司 | 图像的水平畸变矫正方法及水平畸变矫正装置 |
| CN111951193B (zh) * | 2020-08-21 | 2024-02-02 | 安谋科技（中国）有限公司 | 图像的水平畸变矫正方法及水平畸变矫正装置 |
| CN117301078A (zh) * | 2023-11-24 | 2023-12-29 | 浙江洛伦驰智能技术有限公司 | 一种机器手视觉校准方法及系统 |
| CN117301078B (zh) * | 2023-11-24 | 2024-03-12 | 浙江洛伦驰智能技术有限公司 | 一种机器手视觉校准方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651955B (zh) | 图片中目标物的定位方法及装置 | |
| US10534972B2 (en) | Image processing method, device and medium | |
| CN110097576B (zh) | 图像特征点的运动信息确定方法、任务执行方法和设备 | |
| US8315443B2 (en) | Viewpoint detector based on skin color area and face area | |
| CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
| CN107977934B (zh) | 图像处理方法及装置 | |
| CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
| CN109840939B (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| CN107798654B (zh) | 图像磨皮方法及装置、存储介质 | |
| CN107944367B (zh) | 人脸关键点检测方法及装置 | |
| CN110853095B (zh) | 相机定位方法、装置、电子设备及存储介质 | |
| US20200312022A1 (en) | Method and device for processing image, and storage medium | |
| CN106648063B (zh) | 手势识别方法及装置 | |
| CN107958223B (zh) | 人脸识别方法及装置、移动设备、计算机可读存储介质 | |
| CN108009563B (zh) | 图像处理方法、装置及终端 | |
| CN114170302A (zh) | 相机外参标定方法、装置、电子设备及存储介质 | |
| CN110796012B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN109784327B (zh) | 边界框确定方法、装置、电子设备及存储介质 | |
| CN111325674A (zh) | 图像处理方法、装置及设备 | |
| CN108154090B (zh) | 人脸识别方法及装置 | |
| CN107239758B (zh) | 人脸关键点定位的方法及装置 | |
| CN107730443B (zh) | 图像处理方法、装置及用户设备 | |
| US20150371367A1 (en) | Method and terminal device for retargeting images | |
| CN108596957B (zh) | 物体跟踪方法及装置 | |
| CN105635573A (zh) | 摄像头视角调整方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |