CN118134944A - 图像处理方法、装置、终端设备及存储介质 - Google Patents
图像处理方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN118134944A CN118134944A CN202211537870.3A CN202211537870A CN118134944A CN 118134944 A CN118134944 A CN 118134944A CN 202211537870 A CN202211537870 A CN 202211537870A CN 118134944 A CN118134944 A CN 118134944A
- Authority
- CN
- China
- Prior art keywords
- mapping
- image
- output image
- position information
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000013507 mapping Methods 0.000 claims abstract description 239
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000009792 diffusion process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开提出一种图像处理方法、装置、终端设备及存储介质，该方法包括：确定与原始图像对应的至少一个网格区域；对网格区域进行划分，得到多个映射区域；根据第一输出图像中像素点，从多个映射区域中确定第一映射区域，其中，第一输出图像和原始图像包含相同视角的拍摄内容；以及根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像。通过本公开，能够有效降低图像映射处理的复杂度，减少运算资源消耗，有效提升图像映射处理效率。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、终端设备及存储介质。
背景技术
终端设备中配置有图像处理器，图像处理器包括：图像处理引擎(ImageProcessing Engine，IPE)，图像处理引擎IPE通常执行图像裁剪、图像映射、降噪等图像处理任务。其中，图像映射，在终端设备的镜头畸变矫正、视频防抖等有广泛的应用。图像映射，是将图像中像素点的位置信息(例如，位置坐标)通过函数关系，映射到另外的位置。
相关技术中，终端设备在对图像进行后向映射时，映射处理较为复杂，导致图像映射处理效率不高。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本公开的目的在于提出一种图像处理方法、装置、终端设备、存储有计算机指令的非瞬时计算机可读存储介质及计算机程序产品，能够有效降低图像映射处理的复杂度，有效提升图像映射处理效率。
本公开第一方面实施例提出的图像处理方法，包括：确定与原始图像对应的至少一个网格区域；对网格区域进行划分，得到多个映射区域；根据第一输出图像中像素点，从多个映射区域中确定第一映射区域，其中，第一输出图像和原始图像包含相同视角的拍摄内容；以及根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像。
本公开第二方面实施例提出的图像处理装置，包括：第一确定模块，用于确定与原始图像对应的至少一个网格区域；划分模块，用于对网格区域进行划分，得到多个映射区域；第二确定模块，用于根据第一输出图像中像素点，从多个映射区域中确定第一映射区域，其中，第一输出图像和原始图像包含相同视角的拍摄内容；以及第三确定模块，用于根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像。
本公开第三方面实施例提出的终端设备，包括：存储器、图像处理器及存储在存储器上并可在图像处理器上运行的计算机程序，图像处理器执行程序时实现如本公开第一方面实施例提出的图像处理方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的图像处理方法。
本公开第五方面实施例提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如本公开第一方面实施例提出的图像处理方法。
本公开提出的图像处理方法、装置、终端设备、存储有计算机指令的非瞬时计算机可读存储介质及计算机程序产品，通过确定与原始图像对应的至少一个网格区域，并对网格区域进行划分，得到多个映射区域，根据第一输出图像中像素点，从多个映射区域中确定第一映射区域，其中，第一输出图像和原始图像包含相同视角的拍摄内容，以及根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像，能够有效降低图像映射处理的复杂度，减少运算资源消耗，有效提升图像映射处理效率。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本公开一实施例提出的图像处理方法的流程示意图；
图2是本公开实施例中原始图像的网格区域示意图；
图3是本公开实施例中原始图像的映射区域示意图；
图4是本公开另一实施例提出的图像处理方法的流程示意图；
图5是本公开实施例中第一映射区域的搜索示意图；
图6是本公开另一实施例提出的图像处理方法的流程示意图；
图7是本公开实施例中第一映射区域示意图；
图8是本公开一实施例提出的图像处理装置的结构示意图；
图9示出了适于用来实现本公开实施方式的示例性终端设备的框图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本公开一实施例提出的图像处理方法的流程示意图。
本实施例以图像处理方法被配置为图像处理装置中来举例说明，本实施例中图像处理方法可以被配置在图像处理装置中，图像处理装置可以设置在服务器中，或者也可以设置在终端设备中，本公开实施例对此不作限制。
本实施例以图像处理方法被配置在终端设备中为例。其中，终端设备例如智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备。
需要说明的是，本公开实施例的执行主体，在硬件上可以例如为服务器或者终端设备中的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为服务器或者终端设备中的相关的后台服务，对此不作限制。
如图1所示，该图像处理方法，包括：
S101：确定与原始图像对应的至少一个网格区域。
本公开实施例中的图像映射处理，可以是对相关技术中的后向映射方法进行了改进，以简化图像后向映射的便捷性，其中，后向映射是指由输出图像中各个像素点的位置信息(比如某个像素点在其所属输出图像中的位置坐标)，反推该像素点在原始图像中的位置信息。
本公开实施例中，输出图像可以是图像信号处理单元(Image SignalProcessing，ISP)提供给图像处理引擎IPE的图像，图像处理引擎IPE可以对输出图像进行处理，反推输出图像中的各个像素点在原始图像中的位置信息，所得位置信息可以被用于执行图像裁剪、图像映射、降噪等图像处理任务，或者所得位置信息还可以被提供至显示设备，以支持显示设备进行相关应用，对此不做限制。
本公开实施例中，在对图像进行后向映射时，可以是确定与原始图像对应的至少一个网格区域，原始图像中会包含多个像素点，对原始图像进行划分，得到多个划分区域，使得不同划分区域中包含不重叠的像素点，所得划分区域，即可以被称为网格区域，该网格区域可以被用于进行图像的后向映射。
本公开实施例中，上述的原始图像可以是视频帧图像，其具有有序的结构以及有限扰动的特征，从而与原始图像对应的多个网格区域之间会具有一定的有序性，如图2所示，图2是本公开实施例中原始图像的网格区域示意图。其中，图中左半部分可以表示原始图像，其中可以包含多个像素点，可以对多个像素点进行采样，并采样得到部分像素点，根据该部分像素点形成网格区域。
在本公开的一些实施例中，在执行确定与原始图像对应的至少一个网格区域时，可以是对原始图像的多个像素点进行降采样，以得到部分像素点，以部分像素点中相邻像素点为顶点，为相邻顶点之间构建第一连接边，将多个第一连接边所组成的区域作为相应网格区域，其中，不同网格区域之间不包含重叠部分，当构建得到与原始图像对应的至少一个网格区域之后，在进行后向映射过程中，仅仅参考降采样所得网格区域的移动情况即可，而不需要参考原始图像中全部像素点的移动情况，从而能够有效地提升图像后向映射的处理效率。
一并如上述图2所示，图2中右半部分的多个网格区域的每个顶点即对应一个像素点，即将采样所得部分像素点中相邻像素点作为网格区域的顶点，对相邻顶点之间进行连接，形成第一连接边，而后由多个第一连接边组成网格区域，不同网格区域之间不包含重叠部分，从而形成与原始图像对应的若干个网格区域，在进行后向映射过程中，可以参考网格区域的位置信息来进行后向映射，具体可以参见后续实施例。
当然，也可以采用其他任意可能方式确定与原始图像对应的一个或者多个网格区域，比如，基于网格生成模型处理原始图像，得到与原始图像对应的一个或者多个网格区域，还可以基于原始图像的尺寸特征确定与原始图像对应的一个或者多个网格区域，对此不做限制。
S102：对网格区域进行划分，得到多个映射区域。
相关技术在进行后向映射过程中，通常会基于原始图像中的若干个无序的点构建三角形状的映射区域，这种方式会带入较大的计算量，而本公开实施例中，由于已形成与原始图像对应的若干个网格区域，则可以在每个网格区域内构建相应的映射区域，而网格区域的数量显然是少于原始图像中像素点的数量，并且仅仅是在网格区域内划分得到映射区域，从而能够较大程度地减少计算量，且更适用于具有有序的结构以及有限扰动特征的视频图像。
在本公开的一些实施例中，网格区域至少包括：第一顶点，和与第一顶点相对的第二顶点；其中，对网格区域进行划分，得到多个映射区域，可以是构建第一顶点和第二顶点之间的第二连接边，并基于第二连接边对网格区域划分，并将划分所得区域作为映射区域，从而能够有效提升映射区域构建的便捷性，支持提升整体图像后向映射效率。
如图3所示，图3是本公开实施例中原始图像的映射区域示意图。其中，每个网格区域中位于对角线两端的顶点，一个可以被称为第一顶点，另一个可以被称为第二顶点，而后，可以在每个网格区域内连接第一顶点和第二顶点，所得连接边可以被称为第二连接边，该第二连接边，可以是与网格区域的对角线重合，不同网格区域的第二连接边的方向可以整体保持一致，比如如图3所示向左倾斜，或者，也可以划分为向右倾斜，对此不做限制。
S103：根据第一输出图像中像素点，从多个映射区域中确定第一映射区域，其中，第一输出图像和原始图像包含相同视角的拍摄内容。
其中，第一映射区域，可以表示第一输出图像中像素点所相关的映射区域，该像素点是指当前待进行映射处理的像素点。
也即是说，本公开实施例中，可以对每个网格区域进行如图3所示的划分，得到多个映射区域(图3中的网格区域内的三角形区域，即为一个映射区域)，而后可以根据第一输出图像中像素点，从多个映射区域中确定第一映射区域。
其中，当前进行后向映射处理的输出图像，可以被称为第一输出图像，第一输出图像中的像素点的数量可以是一个或者多个，第一输出图像和原始图像包含相同视角的拍摄内容，是指第一输出图像所包含视角的拍摄内容，与原始图像所包含视角的拍摄内容相一致，比如原始图像是对场景A基于视角B采集所得预览图像，则在拍摄过程中，摄像模组硬件捕获对场景A基于视角B采集所得预览图像，而后经过一定硬件处理得到第一输出图像，则相应的，第一输出图像同样包含场景A基于视角B的拍摄内容。
而由于摄像模组硬件处理对场景A基于视角B采集所得预览图像，可能会由于镜头畸变或者抖动引入一些图像的微小变形，则本公开实施例中可以对第一输出图像中像素点在原始图像中的目标位置信息进行估计预测，以支持对第一输出图像进行畸变矫正处理，比如可以根据第一输出图像中的每个像素点，从多个映射区域中确定第一映射区域，或者，还可以根据第一输出图像中部分像素点，从多个映射区域中确定第一映射区域，以及根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息(具体可以参见后续实施例)，对此不做限制。
其中，比如当前对第一输出图像中像素点A进行映射处理，则可以根据第一输出图像中像素点A，从多个映射区域中确定第一映射区域，该第一映射区域是指像素点A所位于的映射区域，或者是像素点A所接近的映射区域，对此不做限制。
举例而言，可以对第一输出图像中像素点的位置，以及每个映射区域的位置进行运算，以确定第一输出图像中像素点与每个映射区域的相对位置关系，而后根据相对位置关系来从多个映射区域中选择第一映射区域。
S104：根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像。
其中，对第一输出图像进行后向映射处理，得到第一输出图像中像素点在原始图像中的位置信息，可以被称为目标位置信息，目标位置信息，可以例如位置坐标，对此不做限制。
上述在根据第一输出图像中像素点，从多个映射区域中确定第一映射区域之后，可以根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，比如根据第一输出图像中像素点与第一映射区域的相对位置关系，而后，根据该相对位置关系来确定第一输出图像中像素点在原始图像中的目标位置信息。
举例而言，还可以联合第一映射区域中每个顶点的位置信息，以及第一输出图像中像素点的位置信息，来分析确定第一输出图像中像素点在原始图像中的目标位置信息，对此不做限制。
上述在根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，可以根据目标位置信息对第一输出图像中像素点进行调整，比如，将第一输出图像中像素点的当前位置调整为目标位置信息所指示的位置，对第一输出图像中每个像素点均进行相应处理，处理所得图像，即可以被称为目标图像。
另一些实施例中，也可以将第一输出图像中像素点在原始图像中的目标位置信息和第一输出图像发送给显示装置，由显示装置的控制电路决策基于目标位置信息对第一输出图像进行处理的方式，并基于所决策方式对第一输出图像进行处理，得到目标图像，目标图像可以被用于进行显示，对此不做限制。
另一些实施例中，还可以参考目标位置信息和第一输出图像生成目标图像，并基于该目标图像对镜头进行测试校准，以尽可能地减小镜头畸变或者抖动对拍摄图像带入的影响，对此不做限制。
当然，还可以基于其他任意可能的方式参考目标位置信息以处理第一输出图像，得到目标图像，比如基于人工智能处理、基于数学算法处理，所得目标图像也可以被应用于其他任意可能的图像应用场景中，例如，基于目标图像进行人工智能建模的场景，基于目标图像进行硬件测试校准的场景，基于目标图像进行广角图像合成的场景，基于目标图像进行实时通信的场景，对此不做限制。
本实施例中，通过确定与原始图像对应的至少一个网格区域，并对网格区域进行划分，得到多个映射区域，根据第一输出图像中像素点，从多个映射区域中确定第一映射区域，其中，第一输出图像和原始图像包含相同视角的拍摄内容，以及根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像，能够有效降低图像映射处理的复杂度，减少运算资源消耗，有效提升图像映射处理效率。
图4是本公开另一实施例提出的图像处理方法的流程示意图。
如图4所示，该图像处理方法，包括：
S401：确定与原始图像对应的至少一个网格区域。
S402：对网格区域进行划分，得到多个映射区域。
针对S401-S402的描述说明可以具体参见上述实施例，在此不再赘述。
S403：确定第二输出图像中像素点在原始图像中的参考位置信息。
其中，第二输出图像是在第一输出图像之前的一帧输出图像，该第二输出图像中像素点是与第一输出图像中像素点相同的像素点。
比如，第一输出图像是视频流中当前待后向映射处理的一帧视频图像，则第二输出图像，可以是上一帧视频图像，由于相邻视频帧图像具有上下文关联性，由此，本公开实施例中可以参考上一帧的第二输出图像的后向映射结果(即第二输出图像中像素点在原始图像中的参考位置信息)，来对当前帧的第一输出图像进行后向映射处理，从而能够有效提升从多个映射区域中确定第一映射区域的命中概率和确定效率，进一步提升图像后向映射效率。
S404：从多个映射区域中，确定参考位置信息所属第二映射区域。
本公开实施例中，第二输出图像中像素点在原始图像中的参考位置信息，可以是基于本公开实施例中的图像映射方法确定所得，还可以是基于其他任意可能的方法确定所得，对此不做限制。
在确定第二输出图像中像素点在原始图像中的参考位置信息之后，可以进一步地，确定该参考位置信息所属映射区域，作为第二映射区域，该第二映射区域作为确定第一映射区域时的参考，且第二映射区域属于多个映射区域。
S405：从与第二映射区域相邻的部分映射区域中，确定第一输出图像中像素点所位于映射区域作为第一映射区域，其中，部分映射区域属于多个映射区域，第二输出图像是在第一输出图像之前的一帧输出图像，第一输出图像和原始图像包含相同视角的拍摄内容。
而后，可以在与第二映射区域相关的部分映射区域中来确定第一映射区域，减小第一映射区域的搜索范围。
与第二映射区域相邻的部分映射区域，相邻可以是指：第二映射区域与部分映射区域共用顶点或者边，对此不做限制。
S406：如果未从部分映射区域中，确定第一输出图像中像素点所位于映射区域，则确定与部分映射区域相邻的其他映射区域。
本公开实施例中，可以首先从与第二映射区域相邻的部分映射区域中搜索第一映射区域，而如果未成功从部分映射区域中搜索第一映射区域，则还可以基于螺旋搜索方法或者扩散搜索方法，确定与部分映射区域相邻的其他映射区域，即实现向外扩散、延伸以逐步地扩大搜索范围，保证能够正确搜索到第一映射区域。
与部分映射区域相邻的其他映射区域，相邻可以是指：部分映射区域与其他映射区域共用顶点或者边，对此不做限制。
S407：从与其他映射区域中，确定第一输出图像中像素点所位于映射区域作为第一映射区域，其中，其他映射区域属于多个映射区域。
举例而言，可以首先从与第二映射区域相邻的部分映射区域中搜索第一映射区域，而如果未成功从部分映射区域中搜索第一映射区域，则基于螺旋搜索方法或者扩散搜索方法，确定与部分映射区域相邻的其他映射区域，而后，从与其他映射区域中，确定第一输出图像中像素点所位于映射区域作为第一映射区域。
举例而言，可以根据第二输出图像像素点被插值后的映射区域(即，第二输出图像中像素点在原始图像中的参考位置信息所属的第二映射区域)，进行加速搜索，比如上一帧在第六行第八个三角形(三角形的区域即为第二映射区域)插值成功，如图5所示，图5是本公开实施例中第一映射区域的搜索示意图，第六行第八个三角形，可以如图5中0号三角形，则在搜索第一映射区域时，可以在该0号三角形附近搜索，搜索时采用扩散搜索或者螺旋搜索方法，逐个搜索0，1，2，3，4…，N，N为正整数，且N小于网格区域的总数量。
以扩散搜索法为例：比如第二输出图像的(xn，yn)位置的像素点插值在0号三角形区域(第二映射区域)，由此，对于第一输出图像，在对(xn，yn)位置的像素点进行插值时，可以如图5所示螺旋搜索方式，起始搜索位置为0号三角形所对应映射区域。通过(xn，yn)位置的像素点与三角形所对应映射区域的相对位置关系进行搜索确认得到第一映射区域，而后对第一输出图像中(xn，yn)位置的像素点进行插值，从而较大地增加像素点与三角形所对应映射区域之间相对位置关系的判别效率，进一步增加插值效率。
S408：根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像。
本实施例中，能够有效降低图像映射处理的复杂度，减少运算资源消耗，有效提升图像映射处理效率。还可以参考上一帧的第二输出图像的后向映射结果(即第二输出图像中像素点在原始图像中的参考位置信息)，来辅助对当前帧的第一输出图像进行后向映射处理，从而能够有效提升从多个映射区域中确定第一映射区域的命中概率和确定效率，进一步提升图像后向映射效率。可以首先从与第二映射区域相邻的部分映射区域中搜索第一映射区域，而如果未成功从部分映射区域中搜索第一映射区域，则还可以基于螺旋搜索方法或者扩散搜索方法，确定与部分映射区域相邻的其他映射区域，即实现向外扩散、延伸以逐步地扩大搜索范围，保证能够正确搜索到第一映射区域。
图6是本公开另一实施例提出的图像处理方法的流程示意图。
如图6所示，该图像处理方法，包括：
S601：确定与原始图像对应的至少一个网格区域。
S602：对网格区域进行划分，得到多个映射区域。
针对S601-S602的描述说明可以具体参见上述实施例，在此不再赘述。
S603：从多个映射区域中，确定第一输出图像中像素点所位于映射区域作为第一映射区域，其中，第一映射区域包括：多个第三顶点，第一输出图像和原始图像包含相同视角的拍摄内容。
一并参见上述图3，其中，第一映射区域可以是三角形形状，则其包含的顶点，可以被称为第三顶点，本公开实施例中，可以结合第一映射区域的各个第三顶点的位置情况来支持对第一输出图像中像素点在原始图像中进行插值处理。
S604：确定第一输出图像中像素点的第一位置信息。
S605：确定每个第三顶点的第二位置信息。
其中，由于第一输出图像和原始图像是互相坐标变换所得，从而在描述第一输出图像中像素点的第一位置信息时，可以是确定该像素点在第一输出图像中的相对位置的情况，而后，将该相对位置的情况作为第一位置信息，相应的，由于第一输出图像和原始图像是基于坐标变换所得，从而该像素点在第一输出图像中的相对位置的情况，能够被用于确定该像素点在原始图像中的相对位置的情况，而用于描述该像素点在原始图像中的相对位置的情况，即可以被称为目标位置信息。
如图7所示，图7是本公开实施例中第一映射区域示意图，其中，在图7中的(b)部分中，A、B、C表示第一映射区域的三个第三顶点，B的位置坐标(第二位置信息)可以是(x1，y1)，A的位置坐标(第二位置信息)可以是(x3，y3)，C的位置坐标(第二位置信息)可以是(x2，y2)，可以如图7中所示的(a)部分，p是指第一输出图像中像素点。
如图7所示，第一输出图像中像素点p位于第一映射区域内，也即是说，p的第一位置信息和A、B、C三个顶点的第二位置信息之前符合如下约束条件：
(1)图7中向量表示如下：
计算向量点乘结果：
d00＝dot(V0,V0)
d01＝dot(V0,V1)
d02＝dot(V0,V2)；
d11＝dot(V1,V1)
d12＝dot(V1,V2)
计算三角形的重心坐标：
InvDenom＝1/(d00*d11-d01*d01)
u＝(d11*d02-d01*d12)*InvDenom；
v＝(d00*d12-d01*d02)*InvDenom
其中，InvDenom表示模的逆。第一输出图像中像素点p第一映射区域内，则(u≥0)、(v≥0)、以及(u+v<1)同时成立。
S606：根据第一位置信息和多个第二位置信息，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像。
上述在确定第一输出图像中像素点的第一位置信息，并确定每个第三顶点的第二位置信息之后，可以结合第一位置信息和多个第二位置信息，推算出第一输出图像中像素点在原始图像中的目标位置信息，对此不做限制。
举例而言，可以结合一定的数学运算方式处理第一位置信息和多个第二位置信息，以得到第一输出图像中像素点在原始图像中的目标位置信息，或者，还可以基于人工智能模型的方式确定，对此不做限制。
由此，上述通过确定第一输出图像中像素点的第一位置信息，并确定每个第三顶点的第二位置信息，联合根据第一位置信息和多个第二位置信息，确定第一输出图像中像素点在原始图像中的目标位置信息，能够实现便捷地、快速地在原始图像中对第一输出图像中像素点进行插值，有效地提升插值准确率和插值效率。
在本公开的一些实施例中，还可以根据第一位置信息和多个第二位置信息，确定第一映射区域内重心的第三位置信息(u，v)(参见上述公式)，而后，根据第三位置信息，生成与每个第二位置信息对应的参考权重信息，并根据参考权重信息对多个第二位置信息进行拟合处理，并将拟合所得位置信息作为目标位置信息，从而实现快速地、准确地计算出第一输出图像中像素点在原始图像中的目标位置信息。
举例而言，假设第三顶点的第二位置信息，可以表示为A(a_x，a_y)、B(b_x，b_y)、C(c_x，c_y)，参考权重信息，用于表示每个第二位置信息在用于推算目标位置信息时被参考的权重情况，可以基于上述所确定的重心的第三位置信息(u，v)确定得出，与A(a_x，a_y)中的a_x对应的参考权重信息是u，与A(a_x，a_y)中的a_y对应的参考权重信息是v，与B(b_x，b_y)中的b_x对应的参考权重信息是u，与B(b_x，b_y)中的b_y对应的参考权重信息是v，与C(c_x，c_y)中的c_x对应的参考权重信息是(1-u-v)，与C(c_x，c_y)中的c_y对应的参考权重信息是(1-u-v)。
根据参考权重信息对多个第二位置信息进行拟合处理，并将拟合所得位置信息作为目标位置信息，可以举例如下：
目标位置信息表示为(Target_x，Target_y)；
则Target_x＝a_x*u+b_x*u+c_x*(1-u-v)；
Target_y＝a_y*v+b_y*v+c_y*(1-u-v)，从而得出目标位置信息。
本实施例中，能够有效降低图像映射处理的复杂度，减少运算资源消耗，有效提升图像映射处理效率。通过确定第一输出图像中像素点的第一位置信息，并确定每个第三顶点的第二位置信息，联合根据第一位置信息和多个第二位置信息，确定第一输出图像中像素点在原始图像中的目标位置信息，能够实现便捷地、快速地在原始图像中对第一输出图像中像素点进行插值，有效地提升插值准确率和插值效率。
图8是本公开一实施例提出的图像处理装置的结构示意图。
如图8所示，该图像处理装置80，包括：
第一确定模块801，用于确定与原始图像对应的至少一个网格区域。
划分模块802，用于对网格区域进行划分，得到多个映射区域。
第二确定模块803，用于根据第一输出图像中像素点，从多个映射区域中确定第一映射区域，其中，第一输出图像和原始图像包含相同视角的拍摄内容。
第三确定模块804，用于根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像。
需要说明的是，前述对图像处理方法的解释说明也适用于本实施例的图像处理装置，此处不再赘述。
本实施例中，通过确定与原始图像对应的至少一个网格区域，并对网格区域进行划分，得到多个映射区域，根据第一输出图像中像素点，从多个映射区域中确定第一映射区域，其中，第一输出图像和原始图像包含相同视角的拍摄内容，以及根据第一映射区域，确定第一输出图像中像素点在原始图像中的目标位置信息，其中，目标位置信息被用于处理第一输出图像，以得到目标图像，能够有效降低图像映射处理的复杂度，减少运算资源消耗，有效提升图像映射处理效率。
图9示出了适于用来实现本公开实施方式的示例性终端设备的框图。图9显示的终端设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，终端设备12以通用计算设备的形式表现。终端设备12的组件可以包括但不限于：一个或者多个图像处理器16，系统存储器28，连接不同系统组件(包括系统存储器28和图像处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
终端设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。终端设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。
尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
终端设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得人体能与该终端设备12交互的设备通信，和/或与使得该终端设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，终端设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与终端设备12的其他模块通信。应当明白，尽管图中未示出，可以结合终端设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余图像处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
图像处理器16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的图像处理方法。
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的图像处理方法。
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的图像处理方法。
需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
确定与原始图像对应的至少一个网格区域；
对所述网格区域进行划分，得到多个映射区域；
根据第一输出图像中像素点，从所述多个映射区域中确定第一映射区域，其中，所述第一输出图像和所述原始图像包含相同视角的拍摄内容；以及
根据所述第一映射区域，确定所述第一输出图像中像素点在所述原始图像中的目标位置信息，其中，所述目标位置信息被用于处理所述第一输出图像，以得到目标图像。
2.如权利要求1所述的方法，其特征在于，所述确定与原始图像对应的至少一个网格区域，包括：
对所述原始图像的多个像素点进行降采样，以得到部分像素点；
以所述部分像素点中相邻像素点为顶点，为相邻所述顶点之间构建第一连接边；
将多个所述第一连接边所组成的区域作为相应所述网格区域，其中，不同所述网格区域之间不包含重叠部分。
3.如权利要求1所述的方法，其特征在于，所述网格区域至少包括：第一顶点，和与所述第一顶点相对的第二顶点；其中，所述对所述网格区域进行划分，得到多个映射区域，包括：
构建所述第一顶点和所述第二顶点之间的第二连接边；
基于所述第二连接边对所述网格区域划分，并将划分所得区域作为所述映射区域。
4.如权利要求1所述的方法，其特征在于，所述根据第一输出图像中像素点，从所述多个映射区域中确定第一映射区域，包括：
从所述多个映射区域中，确定所述第一输出图像中像素点所位于映射区域作为所述第一映射区域。
5.如权利要求4所述的方法，其特征在于，所述从所述多个映射区域中，确定所述第一输出图像中像素点所位于映射区域作为所述第一映射区域，包括：
确定第二输出图像中像素点在所述原始图像中的参考位置信息；
从所述多个映射区域中，确定所述参考位置信息所属第二映射区域；
从与所述第二映射区域相邻的部分映射区域中，确定所述第一输出图像中像素点所位于映射区域作为所述第一映射区域，其中，所述部分映射区域属于所述多个映射区域，所述第二输出图像是在所述第一输出图像之前的一帧输出图像。
6.如权利要求5所述的方法，其特征在于，所述从所述多个映射区域中，确定所述第一输出图像中像素点所位于映射区域作为所述第一映射区域，还包括：
如果未从所述部分映射区域中，确定所述第一输出图像中像素点所位于映射区域，则确定与所述部分映射区域相邻的其他映射区域；
从与所述其他映射区域中，确定所述第一输出图像中像素点所位于映射区域作为所述第一映射区域，其中，所述其他映射区域属于所述多个映射区域。
7.如权利要求1-6任一项所述的方法，其特征在于，所述第一映射区域包括：多个第三顶点；
其中，所述根据所述第一映射区域，确定所述第一输出图像中像素点在所述原始图像中的目标位置信息，包括：
确定所述第一输出图像中像素点的第一位置信息；
确定每个所述第三顶点的第二位置信息；
根据所述第一位置信息和多个所述第二位置信息，确定所述第一输出图像中像素点在所述原始图像中的目标位置信息。
8.如权利要求7所述的方法，其特征在于，所述根据所述第一位置信息和多个所述第二位置信息，确定所述第一输出图像中像素点在所述原始图像中的目标位置信息，包括：
根据多个所述第二位置信息，确定所述第一映射区域内重心的第三位置信息；
根据所述第一位置信息和所述第三位置信息，生成与每个所述第二位置信息对应的参考权重信息；
根据所述参考权重信息对所述多个所述第二位置信息进行拟合处理，并将拟合所得位置信息作为所述目标位置信息。
9.一种图像处理装置，其特征在于，所述装置包括：
第一确定模块，用于确定与原始图像对应的至少一个网格区域；
划分模块，用于对所述网格区域进行划分，得到多个映射区域；
第二确定模块，用于根据第一输出图像中像素点，从所述多个映射区域中确定第一映射区域，其中，所述第一输出图像和所述原始图像包含相同视角的拍摄内容；以及
第三确定模块，用于根据所述第一映射区域，确定所述第一输出图像中像素点在所述原始图像中的目标位置信息，其中，所述目标位置信息被用于处理所述第一输出图像，以得到目标图像。
10.一种终端设备，其特征在于，包括：
至少一个图像处理器；以及
与所述至少一个图像处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个图像处理器执行的指令，所述指令被所述至少一个图像处理器执行，以使所述至少一个图像处理器能够执行权利要求1-8中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，其中，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
12.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211537870.3A CN118134944A (zh) | 2022-12-01 | 2022-12-01 | 图像处理方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211537870.3A CN118134944A (zh) | 2022-12-01 | 2022-12-01 | 图像处理方法、装置、终端设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118134944A true CN118134944A (zh) | 2024-06-04 |
Family
ID=91238268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211537870.3A Pending CN118134944A (zh) | 2022-12-01 | 2022-12-01 | 图像处理方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118134944A (zh) |
-
2022
- 2022-12-01 CN CN202211537870.3A patent/CN118134944A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020001168A1 (zh) | 三维重建方法、装置、设备和存储介质 | |
| WO2017091927A1 (zh) | 图像处理方法和双摄像头系统 | |
| CN111372087B (zh) | 全景视频插帧方法、装置及对应的存储介质 | |
| US9030478B2 (en) | Three-dimensional graphics clipping method, three-dimensional graphics displaying method, and graphics processing apparatus using the same | |
| CN113029128B (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
| US20110091131A1 (en) | System and method for stabilization of fisheye video imagery | |
| CN105635588A (zh) | 一种稳像方法及装置 | |
| CN109194878B (zh) | 视频图像防抖方法、装置、设备和存储介质 | |
| CN112733820A (zh) | 障碍物信息生成方法、装置、电子设备和计算机可读介质 | |
| WO2023169281A1 (zh) | 图像配准方法、装置、存储介质及电子设备 | |
| WO2018058476A1 (zh) | 一种图像校正方法及装置 | |
| KR20120020821A (ko) | 영상 왜곡 보정 장치 및 방법 | |
| WO2022247630A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US11494961B2 (en) | Sticker generating method and apparatus, and medium and electronic device | |
| CN115546027A (zh) | 图像缝合线确定方法、装置以及存储介质 | |
| WO2024099068A1 (zh) | 基于图像的速度确定方法、装置、设备及存储介质 | |
| CN109325909B (zh) | 一种图像放大方法和图像放大装置 | |
| CN113034582A (zh) | 位姿优化装置及方法、电子设备及计算机可读存储介质 | |
| CN116452638B (zh) | 位姿估计模型的训练方法、装置、设备和存储介质 | |
| JP2019197489A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN112215036B (zh) | 跨镜追踪方法、装置、设备及存储介质 | |
| WO2023025085A1 (zh) | 视频处理方法、装置、设备、介质及程序产品 | |
| WO2022247394A1 (zh) | 图像拼接方法及装置、存储介质及电子设备 | |
| CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| CN118134944A (zh) | 图像处理方法、装置、终端设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |