CN113763530B - 图像处理方法、装置、计算设备及存储介质 - Google Patents
图像处理方法、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN113763530B CN113763530B CN202010502907.3A CN202010502907A CN113763530B CN 113763530 B CN113763530 B CN 113763530B CN 202010502907 A CN202010502907 A CN 202010502907A CN 113763530 B CN113763530 B CN 113763530B
- Authority
- CN
- China
- Prior art keywords
- points
- mapping
- image
- point
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 21
- 238000009877 rendering Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
本申请提出了图像处理方法、计算设备、系统及存储介质，能够提高建模方便性。其中，一种图像处理方法，包括：确定二维坐标系中目标区域，所述目标区域的形状与待矫正的弧面鱼眼图像中有效图像区域的形状对应；确定待生成的弧面模型所处的半球面，所述待生成的弧面模型为弧面鱼眼图像对应的三维模型；将目标区域中多个目标点投影至所述半球面上，得到所述多个目标点在所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点。
Description
技术领域
本申请涉及视频监控技术领域，特别涉及图像处理方法、装置、计算设备及存储介质。
背景技术
目前，在视频监控等应用场景中，需要对鱼眼图像进行预览等操作。为了呈现鱼眼图像对应的矫正图像，图像处理设备需要先建立鱼眼图像对应的三维模型，例如为半球模型。以建立半球模型为例，图像处理设备可以根据给定的纬度线数和经度线数，生成由多个顶点组成的模型。然后，图像处理设备可以进一步确定三维模型中顶点对应的纹理坐标。纹理坐标为二维坐标系(图像对应的归一化坐标系)中目标点的坐标。在此基础上，图像处理设备可以将鱼眼图像投影至三维模型，并生成矫正图像。
然而，在需要矫正弧面鱼眼图像时，需要建立的三维模型为弧面模型。弧面模型的建模复杂度较高。
为此，如何方便地对弧面模型进行建模是需要解决的技术问题。
发明内容
本申请提出了图像处理方法、计算设备、系统及存储介质，能够提高对弧面模型的建模方便性。
根据本申请一个方面，提供一种图像处理方法，包括：
确定二维坐标系中目标区域，所述目标区域的形状与待矫正的弧面鱼眼图像中有效图像区域的形状对应；
确定待生成的弧面模型所处的半球面，所述待生成的弧面模型为弧面鱼眼图像对应的三维模型；
将目标区域中多个目标点投影至所述半球面上，得到所述多个目标点在所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点。
在一些实施例中，上述方法进一步包括：
确定所述多个目标点与所述有效图像区域中像素点的对应关系，得到所述多个目标点对应的多个像素点的颜色信息；
根据所述多个目标点对应的多个像素点的颜色信息，确定所述多个顶点对应的颜色信息；
根据所述多个顶点对应的颜色信息，渲染与所述弧面鱼眼图像对应的矫正图像。
在一些实施例中，所述确定二维坐标系中目标区域，包括：
获取鱼眼镜头的参数，所述鱼眼镜头的参数用于表征所述鱼眼镜头采集的图像中有效图像区域的轮廓信息；
根据所述鱼眼镜头的参数，在二维坐标系中确定所述目标区域。
在一些实施例中，所述将所述多个目标点投影至所述半球面上，得到所述多个目标点所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点，包括：
确定所述目标区域中点与所述半球面上点之间的映射关系；
根据所述映射关系，确定所述多个目标点在所述半球面上的多个映射点；
将所述多个映射点作为所述弧面模型的顶点。
在一些实施例中，所述确定所述目标区域中点与所述半球面上点之间的映射关系，包括：对于所述目标区域中任一个点，根据该点的二维坐标，确定该点与目标区域的外接圆的圆心的距离，以及确定该点到所述圆心的连线与二维坐标系中一坐标轴的第一夹角；
根据所述目标区域的外接圆的半径和所述距离，确定该点对应的映射点到所述球面的球心的连线、与所述半球面所处半球体的底面之间的第二夹角；
根据所述半球面的球面半径和所述第二夹角，确定该点对应的映射点在三维坐标系中第一坐标轴上的坐标值，和该点对应的映射点所处的外圆的半径，其中第一坐标轴垂直于所述底面，所述外圆为该点对应的映射点的纬度线所处平面对所述半球面的截面圆；
根据所述外圆的半径和所述第一夹角，确定该点对应的映射点在所述三维坐标系中的第二坐标轴上的坐标值和第三坐标轴上的坐标值。
在一些实施例中，所述根据所述目标区域的外接圆的半径和所述距离，确定该点对应的映射点到所述球面的球心的连线、与所述半球面所处半球体的底面之间的第二夹角，包括：
确定所述距离与所述目标区域的外接圆的直径比值；
将所述比值与π之积作为所述第二夹角的弧度值。
在一些实施例中，根据所述多个顶点对应的颜色信息，渲染与所述弧面鱼眼图像对应的矫正图像，包括：
确定虚拟视点和虚拟视角范围；
根据所述多个顶点中处于所述虚拟视角范围的顶点对应的颜色信息，渲染生成与所述虚拟视点对应的所述矫正图像。
根据本申请一方面，提供一种图像处理装置，包括：
获取单元，确定二维坐标系中目标区域以及待生成的弧面模型的球面半径，所述目标区域的形状与待矫正的弧面鱼眼图像中有效图像区域的形状对应，所述待生成的弧面模型为弧面鱼眼图像对应的三维模型；
建模单元，将目标区域中多个目标点投影至所述半球面上，得到所述多个目标点在所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点。
根据本申请一方面，提供一种计算设备，包括：存储器；处理器；程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行根据本申请的图像处理方法的指令。
根据本申请一方面，提供一种存储介质，存储有程序，所述程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据本申请的图像处理方法。
综上，根据本申请实施例的图像处理方案，可以确定待矫正的弧面图像的目标区域，以便利用目标区域表征弧面图像的有效区域的形状。在此基础上，图像处理方案可以将目标区域中目标点投影到弧面模型所处的半球面上，从而确定待生成的弧面模型中多个顶点的坐标，即确定弧面模型。这样，本申请实施例的图像处理方案可以避免先建立弧面模型的麻烦，从而能够极大提高对三维模型的建模方便性。
附图说明
图1A示出了根据本申请一些实施例的应用场景的示意图；
图1B示出了根据本申请一些实施例的应用场景的示意图；
图2A示出了一张标准鱼眼图像的示意图；
图2B示出了一张弧面鱼眼图像的示意图；
图2C示出了一张弧面鱼眼图像的示意图；
图3示出了根据本申请一些实施例的图像处理方法300的示意图；
图4示出了根据本申请一些实施例的二维坐标系的示意图；
图5示出了本申请一些实施例的弧面模型的示意图；
图6示出了根据本申请一些实施例的确定目标区域的方法600的流程图；
图7示出了根据本申请一些实施例的确定弧面模型中顶点的方法700的流程图；
图8A示出了根据本申请一些实施例的建立三维模型的方法800的流程图；
图8B示出了根据本申请一些实施例的目标区域中点C的示意图；
图8C示出了根据本申请一些实施例的半球体E上映射点C’的示意图；
图8D示出了根据本申请一些实施例的半球体的纵切面的示意图；
图8E示出了根据本申请一些实施例的半球体的纵切面的示意图；
图8F示出了根据本申请一些实施例的三维坐标系的示意图；
图9A示出了根据本申请一些实施例的图像处理方法900的示意图；
图9B示出了根据本申请一些实施例的鱼眼图像的示意图；
图9C示出了对图9B中鱼眼图像进行矫正之后的矫正图像；
图10示出了根据本申请一些实施例的图像处理装置1000的示意图；
图11示出了根据本申请一些实施例的图像处理装置1100的示意图；
图12示出了根据本申请一些实施例的计算设备的示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请进一步详细说明。
图1A示出了根据本申请一些实施例的应用场景的示意图。如图1A所示，应用场景包括鱼眼摄像机110、录像机120和监控终端130。
如图1A所示，鱼眼摄像机110可以采集鱼眼图像。这里，鱼眼图像可以是标准鱼眼图像或者弧面鱼眼图像。标准鱼眼图像是指鱼眼图像中的有效图像区域为完整的圆形区域。弧面鱼眼图像中的有效图像区域不是完整的圆形区域。与标准鱼眼图像的有效图像区域相比，弧面鱼眼图像中的有效图像区域为圆形区域切去一部分后的区域。例如，弧面鱼眼图像中的有效图像区域为在圆形区域的左侧和右侧各切去一部分后的区域，或者在圆形区域的上侧和下侧各切去一部分后的区域。例如，图2A示出了一个标准鱼眼图像的示意图。图2B和图2C分别示出了一个弧面鱼眼图像的示意图。图2A中有效图像区域201呈圆形。图2B中有效图像区域为圆形区域左右各切去一部分后的区域。图2C中有效图像区域为圆形区域上下各切去一部分后的区域。
录像机120例如为数字视频录像机(DVR)或者网络硬盘录像机(NVR)。录像机120可以通过有线网络或者无线网络与鱼眼摄像机110进行通讯。鱼眼摄像机110可以向录像机120输出鱼眼图像。图1A仅示出了一个鱼眼摄像机110和一个录像机120。但应用场景中鱼眼摄像机110和录像机120均可以是多个。
监控终端130例如可以是台式计算机、移动终端等各种终端设备。监控终端130可以对录像机120中鱼眼图像进行播放、预览等操作。这里，监控终端130可以呈现鱼眼图像的矫正图像。
图1B示出了根据本申请一些实施例的应用场景的示意图。如图1B所示，应用场景包括鱼眼摄像机110和监控终端130。鱼眼摄像机110可以向监控终端130输出鱼眼图像。监控终端130可以对鱼眼图像进行播放、预览等操作。
图3示出了根据本申请一些实施例的图像处理方法300的示意图。图像处理方法300例如可以在计算设备中执行。这里，计算设备例如为鱼眼摄像机110、录像机120或者监控终端130。
如图3所示，在步骤S301中，确定二维坐标系中目标区域。目标区域的形状与待矫正的弧面鱼眼图像中有效图像区域的形状对应。这里，二维坐标系例如为纹理坐标系。纹理坐标系为一个归一化坐标系。对于各种分辨率的鱼眼图像，其像素坐标均可以映射到二维坐标系中一个目标点。例如图4示出了根据本申请一些实施例的二维坐标系的示意图。目标区域401处于区域402中。区域402的坐标范围为(0,0)至(1,1)。如图4所示，目标区域401为有效图像区域的归一化表示。换言之，目标区域401对应一种有效图像区域的形状，例如呈鼓状。在有效图像区域的形状相同或相似时，多种分辨率的鱼眼图像的有效图像区域均可以映射成二维坐标系中相同的目标区域。应当理解，目标区域并不限于表示为归一化坐标系中坐标区域，也可以表示为其他二维坐标系(例如图像坐标系)中坐标区域。
在步骤S302中，确定待生成的弧面模型所处的半球面。待生成的弧面模型为与弧面鱼眼图像对应的三维模型。半球面是指标准鱼眼图像对应的三维模型。这里，确定半球面的操作包括确定半球面的球面半径。在执行步骤S302时，弧面模型还未生成。不过，弧面模型可以认为是半球面上的一部分弧面。因此，步骤S302可以将弧面模型所处的半球面的球面半径作为弧面模型的球面半径。这里，半球面的球面半径可以是一个设定值。
在步骤S303中，将目标区域中多个目标点投影至半球面上，得到多个目标点在半球面上的多个映射点，并将多个映射点作为弧面模型的顶点。多个目标点例如可以均匀分布在目标区域中，但不限于此。这里，步骤S303可以采用各种映射模型来确定每个目标点对应的映射点。映射模型是指目标点与映射点之间的数学映射关系。例如，图5示出了一个弧面模型的示意图。
在说明图像处理方法300的技术效果之前，先说明一下未采用本申请图像处理方案的情况。如果未采用根据本申请的图像处理方法，可以先建立弧面模型然后确定顶点对应的纹理坐标的方案。该方案需要在半球模型基础上进行裁剪，从而得到弧面模型。然而，半球模型是由多个顶点来限定结构的。在对半球模型进行裁剪时，需要考虑如何裁剪半球模型中大量顶点。因此，在先建立弧面模型然后确定顶点对应的纹理坐标的方案中，弧面模型的建模复杂度较高。
相比于先建立弧面模型然后确定顶点对应的纹理坐标的方案，根据本申请实施例的图像处理方法300，可以确定待矫正的弧面图像的目标区域，以便利用目标区域表征弧面图像的有效区域的形状。在此基础上，图像处理方案可以将目标区域中目标点投影到弧面模型所处的半球面上，从而确定待生成的弧面模型中多个顶点的坐标，即确定弧面模型。这样，本申请实施例的图像处理方法300可以避免先建立弧面模型的麻烦，从而能够极大提高对三维模型的建模方便性。
图6示出了根据本申请一些实施例的确定目标区域的方法600的流程图。上文中步骤S301可以实施为方法600。
如图6所示，在步骤S601中，获取鱼眼镜头的参数。鱼眼镜头的参数例如为鱼眼摄像机110的参数。鱼眼镜头的参数用于表征鱼眼镜头采集的图像中有效图像区域的轮廓信息。这里，轮廓信息也可以称为形状信息。
在步骤S602中，根据鱼眼镜头的参数，在二维坐标系中确定目标区域。这里，目标区域的形状与鱼眼镜头采集的图像中有效图像区域的形状相同。
综上，方法600可以根据鱼眼镜头的参数，能够在获取待矫正的鱼眼图像之前确定目标区域，进而方便后续进行三维建模。
在一些实施例中，上文中步骤S303可以实施为方法700。
如图7所示，在步骤S701中，确定目标区域中点与半球面上点之间的映射关系。这里，映射关系可以是各种能够将二维坐标系中点与半球面点进行映射的数据关系，本申请对此不做限制。
在步骤S702中，根据映射关系，确定多个目标点在半球面上的多个映射点。
在步骤S703中，将多个映射点作为弧面模型的顶点。这样，方法700可以利用顶点的坐标表示弧面模型。
综上，方法700可以根据映射关系，确定半球面上多个顶点，从而得到弧面模型。
在一些实施例中，步骤S701可以实施为方法800。
如图8A所示，在步骤S801中，对于目标区域中任一个点，根据该点的二维坐标，确定该点到目标区域的外接圆的圆心的距离，和确定该点到圆形的连线与二维坐标系中一坐标轴的第一夹角。
以图8B的目标区域401中任一个点C为例，步骤S801可以确定点C与目标区域401的圆心O1的距离d1，以及确定与坐标轴U的第一夹角β。
点C的坐标为假设为(u,v)。
距离d1可以根据下述公式1)进行计算。
第一夹角β可以根据下述公式2)进行计算。
β＝arctan(u/v) 2)
在步骤S802中，根据目标区域的外接圆的半径和到目标区域的外接圆的圆心的距离，确定该点对应的映射点到半球面的球心之间连线、与半球面所处半球体的底面之间的第二夹角。
以点C为例，点C对应的映射点例如为C’。目标区域的外接圆的半径例如为r。弧面模型所处半球面的球心例如为O2。第二夹角例如为α。第二夹角α为C’与球心的连线(即映射点C’对应的半径)与半球体的底面的夹角。例如图8C示出了半球体E中映射点C’的示意图。如图8C所示，在半球体为水平面截成的下半球体时，第二夹角为过映射点C’的半径R1与底面S的夹角。另外，图8D示出了半球体的一个纵切面的示意图。图8D是经过半球体E的球形O2和映射点C’的纵切面。第二夹角α与纵切面中圆弧A’C’的弧度对应。
在一些实施例中，步骤S801首先确定距离d1与目标区域的外接圆的直径比值。然后，
步骤S801可以将比值与π之积作为第二夹角对应的弧度值。
例如，第二夹角α可以根据下述公式3)进行计算。
其中，2r表示外接圆的直径。需要说明的是，公式3)是等距映射模型确定的α与d1的数学关系。等距映射模型是一个将目标区域中点与映射点进行映射的模型。下面以图8E为例对等距映射模型进行说明。图8E中假定目标区域的外接圆的半径r与半球体的半径R一致。二维坐标系平行于半球体的底面，目标区域的外接圆的圆心与半球体的球心的连线处于竖直方向。
等距映射模型就是对半球面上圆弧A’B’进行等分，每个等分点为一个映射点。线段AB为纵切面与目标区域的交线,即圆弧A’B’映射到二维坐标系中的映射线段。
以映射点C’为例，等距离映射模型可以用下述公式4)表示。
其中，线段AC与线段AB的比值等于第二夹角α与π的比值。
在步骤S803中，根据球面半径和第二夹角，确定该点对应的映射点在三维坐标系中第一坐标轴上的坐标值，和该点对应的映射点所处的外圆的半径。其中第一坐标轴垂直于底面，外圆为该点对应的映射点的纬度线所处平面对半球体的截面圆。
例如，弧面模型所处三维坐标系为图8F中的O3(X,Y,Z)。映射点C’在三维坐标系O3中坐标为C'(x,y,z)。
映射点C’在第一坐标轴Z上的坐标z可以根据下述公式5)计算。
z＝R*cos(α) 5)
映射点C’所处的外圆的半径d2可以根据下述公式6)计算。
d2＝R*sin(α) 6)
在步骤S804中，根据外圆的半径d2和第一夹角β，确定该点对应的映射点在三维坐标系中的第二坐标轴上的坐标值和第三坐标轴上的坐标值。
以映射点C’为例，映射点C’在第二坐标轴X上坐标可以根据下述公式7)计算。
x＝d2*sin(β) 7)
映射点C’在第三坐标轴Y上坐标可以根据下述公式8)计算。
y＝d2*cos(β) 8)
综上，方法800可以根据目标区域中点的坐标确定三维模型上映射点的坐标。换言之，方法800能够确定半球模型上点和目标区域中点映射关系。
图9A示出了根据本申请一些实施例的图像处理方法900的示意图。如图9A所示，图像处理方法900例如可以在计算设备中执行。这里，计算设备例如为鱼眼摄像机110、录像机120或者监控终端130。
如图9A所示，在步骤S901中，确定二维坐标系中目标区域。目标区域与待矫正的弧面鱼眼图像中有效图像区域对应。
在步骤S902中，确定待生成的弧面模型所处的球面。待生成的弧面模型为与弧面鱼眼图像对应的三维模型。
在步骤S903中，将所述多个目标点投影至所述半球面上，得到所述多个目标点所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点。步骤S901至步骤S903更具体实施方式与方法300一致，这里不再赘述。
在步骤S904中，确定多个目标点与有效图像区域中像素点的对应关系，得到多个目标点对应的多个像素点的颜色信息。这里，步骤S904可以将鱼眼图像的有效图像区域的像素坐标映射至二维坐标系，从而得到每个目标点对应的像素点，即得到每个目标点对应的像素点的颜色信息。
在步骤S905中，根据多个目标点对应的多个像素点的颜色信息，确定多个顶点对应的颜色信息。
在步骤S906中，根据多个顶点对应的颜色信息，渲染与弧面鱼眼图像对应的矫正图像。
在一些实施例中，步骤S906可以确定虚拟视点和虚拟视角范围。这里，虚拟视点和虚拟视点范围例如可以根据用户输入确定。在此基础上，步骤S906可以根据多个顶点中处于虚拟视角范围的顶点对应的颜色信息，渲染生成与虚拟视点对应的矫正图像。
综上，根据本申请实施例的图像处理方法900可以根据目标点与顶点的映射关系，以及目标点与像素点的对应关系，将弧面鱼眼图像投影至三维结构模型中。在此基础上，图像处理方法900可以按照视点和视角范围，渲染生成矫正图像。未经过图像处理方法900处理的原始鱼眼图像存在明显的畸变。而图像处理方法900生成的矫正图像可以校正原始鱼眼图像的畸变。图9B示出了根据本申请一些实施例的鱼眼图像的示意图。图9C示出了图9B中鱼眼图像在经过矫正之后的渲染图像。通过执行图像处理方法900，计算设备可以在显示器中显示图9C的图像。图9B的鱼眼图像中建筑存在明显失真，而图9C的渲染图像中建筑有明显的去失真效果。综上，图像处理方法900通过按照设定的视点和设定的视角范围，可以生成具有明显去失真效果的矫正图像。
图10示出了根据本申请一些实施例的图像处理装置1000的示意图。图像处理装置1000例如可以部署在鱼眼摄像机110、录像机120或者监控终端130中。
如图10所示，图像处理装置1000可以包括获取单元1001和建模单元1002。
获取单元1001用于确定二维坐标系中目标区域以及待生成的弧面模型的球面半径，目标区域的形状与待矫正的弧面鱼眼图像中有效图像区域的形状对应，待生成的弧面模型为弧面鱼眼图像对应的三维模型。
建模单元1002用于将目标区域中多个目标点投影至所述半球面上，得到多个目标点在半球面上的多个映射点，并将多个映射点作为所述弧面模型的顶点。
装置1000更具体的实施方式与方法300类似，这里不再赘述。
综上，根据本申请实施例的图像处理装置1000，可以确定待矫正的弧面图像的目标区域，以便利用目标区域表征弧面图像的有效区域的形状。在此基础上，图像处理方案可以将目标区域中目标点投影到弧面模型所处的半球面上，从而确定待生成的弧面模型中多个顶点的坐标，即确定弧面模型。这样，本申请实施例的图像处理装置1000可以避免先建立弧面模型的麻烦，从而能够极大提高对三维模型的建模方便性。
图11示出了根据本申请一些实施例的图像处理装置1100的示意图。图像处理装置1100例如可以部署在鱼眼摄像机110、录像机120或者监控终端130中。
如图11所示，图像处理装置1100可以包括获取单元1101、建模单元1102、图像处理单元1103、映射单元1104和渲染单元1105。
获取单元1101用于确定二维坐标系中目标区域以及待生成的弧面模型的球面半径，目标区域的形状与待矫正的弧面鱼眼图像中有效图像区域的形状对应，待生成的弧面模型为弧面鱼眼图像对应的三维模型。在一些实施例中，获取单元1101可以获取鱼眼镜头的参数。鱼眼镜头的参数用于表征鱼眼镜头采集的图像中有效图像区域的轮廓信息。根据鱼眼镜头的参数，获取单元1101可以在二维坐标系中确定目标区域。
建模单元1102用于将目标区域中多个目标点投影至所述半球面上，得到多个目标点在半球面上的多个映射点，并将多个映射点作为所述弧面模型的顶点。图像处理单元1103确定多个目标点与有效图像区域中像素点的对应关系，得到多个目标点对应的多个像素点的颜色信息。
在一些实施例中，建模单元1102可以确定目标区域中点与半球面上点之间的映射关系。根据所述映射关系，建模单元1102确定多个目标点在半球面上的多个映射点。这样，建模单元1102可以将多个映射点作为弧面模型的顶点。
在一些实施例中，为了确定目标区域中点与半球面上点之间的映射关系，建模单元1102可以执行如下操作。对于目标区域中任一个点，建模单元1102根据该点的二维坐标，确定该点与目标区域的外接圆的圆心的距离，以及确定该点到圆心的连线与二维坐标系中一坐标轴的第一夹角。根据目标区域的外接圆的半径和所述距离，建模单元1102可以确定该点对应的映射点到球面的球心的连线、与半球面所处半球体的底面之间的第二夹角。例如，建模单元1102可以确定所述距离与目标区域的外接圆的直径比值。然后，建模单元1102可以将比值与π之积作为第二夹角的弧度值。根据半球面的球面半径和第二夹角，建模单元1102可以确定该点对应的映射点在三维坐标系中第一坐标轴上的坐标值，和该点对应的映射点所处的外圆的半径。其中，第一坐标轴垂直于底面，外圆为该点对应的映射点的纬度线所处平面对半球面的截面圆。根据外圆的半径和第一夹角，建模单元1102可以确定该点对应的映射点在三维坐标系中的第二坐标轴上的坐标值和第三坐标轴上的坐标值。
图像处理单元1103用于确定多个目标点与有效图像区域中像素点的对应关系，得到多个目标点对应的多个像素点的颜色信息。
映射单元1104可以根据所述多个目标点对应的多个像素点的颜色信息，确定多个顶点对应的颜色信息。
渲染单元1105根据所述多个顶点对应的颜色信息，渲染与所述弧面鱼眼图像对应的矫正图像。在一些实施例中，渲染单元1105可以确定虚拟视点和虚拟视角范围。根据多个顶点中处于虚拟视角范围的顶点对应的颜色信息，渲染单元1105可以渲染生成与虚拟视点对应的矫正图像。装置1100更具体的实施方式与方法900类似，这里不再赘述。
综上，根据本申请实施例的图像处理装置1100可以根据目标点与顶点的映射关系，以及目标点与像素点的对应关系，将弧面鱼眼图像投影至三维结构模型中。在此基础上，图像处理装置1100可以按照视点和视角范围，渲染生成矫正图像。
图12示出了根据本申请一些实施例的计算设备的示意图。如图12所示，该计算设备包括一个或者多个处理器(CPU)1202、通信模块1204、存储器1206、用户接口1210，以及用于互联这些组件的通信总线1208。
处理器1202可通过通信模块1204接收和发送数据以实现网络通信和/或本地通信。
用户接口1210包括一个或多个输出设备1212，其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1210也包括一个或多个输入设备1214。用户接口1210例如可以接收遥控器的指令，但不限于此。
存储器1206可以是高速随机存取存储器，诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备；或者非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备，或其他非易失性固态存储设备。
存储器1206存储处理器1202可执行的指令集，包括：
操作系统1216，包括用于处理各种基本系统服务和用于执行硬件相关任务的程序；
应用1218，包括用于实现上述图像处理的各种程序，例如可以包括图像处理装置1000或图像处理装置1100。这种程序能够实现上述各实例中的处理流程，比如可以包括图像处理方法。
另外，本申请的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
因此本申请还公开了一种非易失性存储介质，其中存储有程序。该程序包括指令，所述指令当由处理器执行时，使得计算设备执行根据本申请的图像处理方法。
另外，本申请所述的方法步骤除了可以用数据处理程序来实现，还可以由硬件来实现，例如，可以由逻辑门、开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请图像处理方法的硬件也可以构成本申请。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
确定二维坐标系中目标区域，所述目标区域的形状与待矫正的弧面鱼眼图像中有效图像区域的形状对应，所述弧面鱼眼图像中有效图像区域为圆形区域切去一部分后的区域；
确定待生成的弧面模型所处的半球面，所述待生成的弧面模型为弧面鱼眼图像对应的三维模型，所述待生成的弧面模型为所述半球面上的一部分弧面；
将目标区域中多个目标点投影至所述半球面上，得到所述多个目标点在所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点；
所述将目标区域多个目标点投影至所述半球面上，得到所述多个目标点在所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点，包括：
确定所述目标区域中点与所述半球面上点之间的映射关系；根据所述映射关系，确定所述多个目标点在所述半球面上的多个映射点；将所述多个映射点作为所述弧面模型的顶点。
2.如权利要求1所述的图像处理方法，其特征在于，进一步包括：
确定所述多个目标点与所述有效图像区域中像素点的对应关系，得到所述多个目标点对应的多个像素点的颜色信息；
根据所述多个目标点对应的多个像素点的颜色信息，确定所述多个顶点对应的颜色信息；
根据所述多个顶点对应的颜色信息，渲染与所述弧面鱼眼图像对应的矫正图像。
3.如权利要求1所述的图像处理方法，其特征在于，所述确定二维坐标系中目标区域，包括：
获取鱼眼镜头的参数，所述鱼眼镜头的参数用于表征所述鱼眼镜头采集的图像中有效图像区域的轮廓信息；
根据所述鱼眼镜头的参数，在二维坐标系中确定所述目标区域。
4.如权利要求3所述的图像处理方法，其特征在于，所述确定所述目标区域中点与所述半球面上点之间的映射关系，包括：
对于所述目标区域中任一个点，根据该点的二维坐标，确定该点与目标区域的外接圆的圆心的距离，以及确定该点到所述圆心的连线与二维坐标系中一坐标轴的第一夹角；
根据所述目标区域的外接圆的半径和所述距离，确定该点对应的映射点到所述球面的球心的连线、与所述半球面所处半球体的底面之间的第二夹角；
根据所述半球面的球面半径和所述第二夹角，确定该点对应的映射点在三维坐标系中第一坐标轴上的坐标值，和该点对应的映射点所处的外圆的半径，其中第一坐标轴垂直于所述底面，所述外圆为该点对应的映射点的纬度线所处平面对所述半球面的截面圆；
根据所述外圆的半径和所述第一夹角，确定该点对应的映射点在所述三维坐标系中的第二坐标轴上的坐标值和第三坐标轴上的坐标值。
5.如权利要求4所述的图像处理方法，其中，所述根据所述目标区域的外接圆的半径和所述距离，确定该点对应的映射点到所述球面的球心的连线、与所述半球面所处半球体的底面之间的第二夹角，包括：
确定所述距离与所述目标区域的外接圆的直径比值；
将所述比值与π之积作为所述第二夹角的弧度值。
6.如权利要求2所述的图像处理方法，其特征在于，所述根据所述多个顶点对应的颜色信息，渲染与所述弧面鱼眼图像对应的矫正图像，包括：
确定虚拟视点和虚拟视角范围；
根据所述多个顶点中处于所述虚拟视角范围的顶点对应的颜色信息，渲染生成与所述虚拟视点对应的所述矫正图像。
7.一种图像处理装置，其特征在于，包括：
获取单元，确定二维坐标系中目标区域以及待生成的弧面模型的球面半径，所述目标区域的形状与待矫正的弧面鱼眼图像中有效图像区域的形状对应，所述弧面鱼眼图像中有效图像区域为圆形区域切去一部分后的区域，所述待生成的弧面模型为弧面鱼眼图像对应的三维模型；
建模单元，将目标区域中多个目标点投影至半球面上，得到所述多个目标点在所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点，所述弧面模型为所述半球面上的一部分弧面；
所述建模单元将目标区域多个目标点投影至所述半球面上，得到所述多个目标点在所述半球面上的多个映射点，并将所述多个映射点作为所述弧面模型的顶点，包括：
确定所述目标区域中点与所述半球面上点之间的映射关系；根据所述映射关系，确定所述多个目标点在所述半球面上的多个映射点；将所述多个映射点作为所述弧面模型的顶点。
8.一种计算设备，其特征在于，包括：
存储器；
处理器；
程序，存储在该存储器中并被配置为由所述处理器执行，所述程序包括用于执行权利要求1-6中任一项所述图像处理方法的指令。
9.一种存储介质，存储有程序，所述程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1-6中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010502907.3A CN113763530B (zh) | 2020-06-05 | 2020-06-05 | 图像处理方法、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010502907.3A CN113763530B (zh) | 2020-06-05 | 2020-06-05 | 图像处理方法、装置、计算设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763530A CN113763530A (zh) | 2021-12-07 |
| CN113763530B true CN113763530B (zh) | 2024-04-26 |
Family
ID=78783848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010502907.3A Active CN113763530B (zh) | 2020-06-05 | 2020-06-05 | 图像处理方法、装置、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763530B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011066860A (ja) * | 2009-09-18 | 2011-03-31 | Loarant Corp | パノラマ画像生成方法及びパノラマ画像生成プログラム |
| CN106600549A (zh) * | 2016-11-16 | 2017-04-26 | 深圳六滴科技有限公司 | 鱼眼图像的矫正方法和装置 |
| CN109308686A (zh) * | 2018-08-16 | 2019-02-05 | 北京市商汤科技开发有限公司 | 一种鱼眼图像处理方法及装置、设备和存储介质 |
| CN109544458A (zh) * | 2018-11-21 | 2019-03-29 | 陕西高速公路工程试验检测有限公司 | 鱼眼图像校正方法、装置及其存储介质 |
| CN110197466A (zh) * | 2019-05-30 | 2019-09-03 | 河海大学常州校区 | 一种广角鱼眼图像矫正方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106981050A (zh) * | 2016-01-18 | 2017-07-25 | 深圳岚锋创视网络科技有限公司 | 对鱼眼镜头拍摄的图像矫正的方法和装置 |
-
2020
- 2020-06-05 CN CN202010502907.3A patent/CN113763530B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011066860A (ja) * | 2009-09-18 | 2011-03-31 | Loarant Corp | パノラマ画像生成方法及びパノラマ画像生成プログラム |
| CN106600549A (zh) * | 2016-11-16 | 2017-04-26 | 深圳六滴科技有限公司 | 鱼眼图像的矫正方法和装置 |
| CN109308686A (zh) * | 2018-08-16 | 2019-02-05 | 北京市商汤科技开发有限公司 | 一种鱼眼图像处理方法及装置、设备和存储介质 |
| CN109544458A (zh) * | 2018-11-21 | 2019-03-29 | 陕西高速公路工程试验检测有限公司 | 鱼眼图像校正方法、装置及其存储介质 |
| CN110197466A (zh) * | 2019-05-30 | 2019-09-03 | 河海大学常州校区 | 一种广角鱼眼图像矫正方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于非线性方程的鱼眼图像畸变矫正方法研究;魏利胜;张平改;费敏锐;;电子测量与仪器学报(11);1584-1593 * |
| 鱼眼图像畸变校正技术研究;周小康;饶鹏;朱秋煜;陈忻;;工业控制计算机(10);98-99,102 * |
| 鱼眼图像畸变校正算法的研究;孙培双;中国优秀硕士学位论文全文数据库信息科技辑;I138-2614 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763530A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3534336B1 (en) | Panoramic image generating method and apparatus | |
| CN112927362B (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
| US10593014B2 (en) | Image processing apparatus, image processing system, image capturing system, image processing method | |
| TWI637355B (zh) | 紋理貼圖之壓縮方法及其相關圖像資料處理系統與產生３６０度全景視頻之方法 | |
| CN100437639C (zh) | 图像处理装置和图像处理方法 | |
| JP2004187298A (ja) | パノラマ画像および全方位画像の描画および符号化 | |
| CN113643414B (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| US20190289203A1 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
| US6515658B1 (en) | 3D shape generation apparatus | |
| US20190289206A1 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
| US11922568B2 (en) | Finite aperture omni-directional stereo light transport | |
| WO2022166868A1 (zh) | 漫游视图的生成方法、装置、设备和存储介质 | |
| JP2002203254A (ja) | 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 | |
| CN114549289A (zh) | 图像处理方法、装置、电子设备和计算机存储介质 | |
| CN114782648A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113920282B (zh) | 图像处理方法和装置、计算机可读存储介质、电子设备 | |
| CN114449249A (zh) | 图像投影方法、装置、存储介质以及投影设备 | |
| CN108765582B (zh) | 一种全景图片显示方法及设备 | |
| US10699372B2 (en) | Image generation apparatus and image display control apparatus | |
| CN113763530B (zh) | 图像处理方法、装置、计算设备及存储介质 | |
| US20240331202A1 (en) | Fisheye image compression method, fisheye video stream compression method and panoramic video generation method | |
| CN112465692A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114900743A (zh) | 基于视频推流的场景渲染过渡方法以及系统 | |
| CN111161426B (zh) | 基于全景图像的三维显示方法和系统 | |
| JP2002203237A (ja) | 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |