CN108876717B - 图像视角转换方法及其系统 - Google Patents

Abstract

图像视角转换方法包含取得第一图像；将第一图像内的预定区域分为多个多边形子区域；取得所述多边形子区域的每一个多边形子区域对应的多个第一坐标；依据世界坐标系统，将每一个多边形子区域对应的所述第一坐标转换为多个第二坐标；及将所述第二坐标之间的多个像素进行内插，以产生第二图像。

Description

图像视角转换方法及其系统

技术领域

本发明公开了一种图像视角转换方法，尤其是一种利用多边形坐标转换的图像视角转换方法。

背景技术

随着科技日新月异，各种图像监控装置以及图像识别系统已被用于日常生活中。图像监控装置以及图像识别系统可执行物体监控、环境监控、行车图像记录等等。图像监控装置会利用相机镜头或是任何具备图像捕获功能的装置监控环境图像。例如，安装在车上的行车记录仪，即可利用一个或多个镜头来录制或连续拍摄车子周边的图像。

传统图像监控装置的镜头可安装于任何位置，然而，也因为镜头可安装于任何位置，故镜头与地面的相对距离与角度也会依据安装位置而更动。当镜头捕获图像时，捕获到的图像平面会受到镜头所放置的角度、高度或是位置不同而有所偏斜。举例而言，当镜头与地面高度存在一个高度差距，且镜头的焦点在地面上时，捕获到的图像平面将会变为下底较长且上底较短的梯形的平面。换言之，捕获到的图像平面的坐标为对应相机(镜头)坐标。坐标轴会受到镜头内的感光元件的位置、高度或角度而偏斜。为了将镜头捕获到的图像平面的坐标轴校正，图像监控装置可针对每一个像素的坐标进行处理，以校正图像平面的视角。

以目前图像分辨率需求越来越大的趋势下，高分辨率(High Definition，HD，1280×720像素)、全高分辨率(Full High Definition，FHD，1920×1080像素)、甚至超高分辨率(Ultra-High Definition，UHD，3840×2160像素)的图像规格也被应用于图像监控装置。由于HD、FHD、以及UHD规格的图像画面由巨量的像素所组成，因此传统图像监控装置在进行图像坐标的校正时，会花费将当多的处理时间，才能将所有的像素坐标进行校正。并且，在传统图像监控装置中，也必须要使用大容量的存储器来存储校正图像的每一个像素坐标的查询表或是投影关系。换句话说，传统图像监控装置若要处理分辨率较高的图像时，需要大容量的存储器规格以及长时间的处理时间。

发明内容

本发明一实施例提出一种图像视角转换方法，包含取得第一图像，将第一图像内的预定区域分为多个多边形子区域，取得所述多边形子区域的每一个多边形子区域对应的多个第一坐标，依据世界坐标系统，将每一个多边形子区域对应的所述第一坐标转换为多个第二坐标，及将所述第二坐标之间的多个像素进行内插，以产生第二图像。第一图像及第二图像是对应不同视角的两图像。

本发明另一实施例提出一种图像视角转换系统，包含图像捕获装置、存储器、处理器、及图像输出装置。图像捕获装置用以捕获第一图像，存储器用以存储世界空间坐标系统的数据，处理器耦接于图像捕获装置及存储器，用以处理该第一图像，图像输出装置耦接于处理器，用以输出第二图像。处理器将第一图像内的预定区域分为多个多边形子区域，取得所述多边形子区域的每一个多边形子区域对应的多个第一坐标，依据世界坐标系统，将每一个多边形子区域对应的所述第一坐标转换为多个第二坐标，将所述第二坐标之间的多个像素进行内插，以产生第二图像。第一图像及第二图像是对应不同视角的两图像。

附图说明

图1为本发明的图像视角转换系统的实施例的方块图。

图2为图1的图像视角转换系统中，图像捕获装置所捕获的第一图像的示意图。

图3为图1的图像视角转换系统中，处理器将第一图像内的预定区域进行视角转换，以产生第二图像的示意图。

图4为图1的图像视角转换系统中，第一图像内的预定区域利用三角形子区域进行视角转换的示意图。

图5为图1的图像视角转换系统中，利用三角形子区域完成坐标转换的示意图。

图6为图1的图像视角转换系统中，图像视角转换方法的流程图。

具体实施方式

图1为本发明的图像视角转换系统100的实施例的方块图。图像视角转换系统100包含处理器11、存储器12、图像输出装置13、以及图像捕获装置14。图像捕获装置14用以捕获第一图像。图像捕获装置14可为任何具备捕获图像能力的装置，例如相机镜头、摄影机、或是行车记录仪的广角镜头等等。存储器12用以存储后文所述的世界空间坐标系统(WorldCoordinate System，WCS)的数据以及查询表(Look up Table，LUT)的数据。存储器12可为任何形式的存储装置，例如随机存取存储器(Random Access Memory，RAM)、硬盘、或非易失性存储器等等。处理器11耦接于图像捕获装置14及存储器12，用以处理图像捕获装置14所产生的第一图像。处理器11可为任何种类的处理装置，例如中央处理器、微处理器、处理芯片、或可编程逻辑单元等等。处理器11可利用存储器12所存储的世界空间坐标系统的数据以及查询表，将图像捕获装置所捕获的第一图像转换为符合图像坐标的第二图像(可为任意视角)。详细的图像处理过程将于后文详述。图像输出装置13耦接于处理器11，用以输出第二图像。图像输出装置13可为任何形式的显示装置或是投影装置。用户将可以在图像输出装置13上看到转换后视角的第二图像。

图2为图像视角转换系统100中，图像捕获装置14所捕获的第一图像P1的示意图。在本实施例中，图像捕获装置14可安装于任何位置。然而，也因为图像捕获装置14可安装于任何位置，故图像捕获装置14与地面的相对距离与角度也会随着安装位置而更动。当图像捕获装置14捕获图像时，捕获到的图像平面会受到图像捕获装置14所放置的角度、高度或是位置不同而有所偏斜。举例而言，当图像捕获装置14与地面高度存在一个高度差距，且图像捕获装置14的焦点在地面上时，捕获到的第一图像P1内的对象图像将会变形为梯形的图像平面。换言之，第一图像P1的坐标为对应图像捕获装置14的坐标。坐标轴会受到图像捕获装置14内的感光元件的位置、高度或角度而偏斜。在图2中，第一图像P1的两个预定区域(例如行车记录仪图像中的两个特定区域)PR1以及PR2可为用户自定义的区域。这些预定区域PR1以及PR2内的对象可视为用户欲检视的对象。因此，图像视角转换系统100的目的为将预定区域PR1以及PR2内的图像进行视角转换，以让用户最后能看到具有转换后视角的预定区域PR1以及PR2图像，进而检视特定区域内的对象。视角转换系统100处理图像的方式描述于下。首先，视角转换系统100会将第一图像P1内的预定区域PR1以及PR2分为多个多边形子区域。举例而言，预定区域PR1会被分为(4×5)个多边形子区域GR1至GR20，预定区域PR2会被分为(4×5)个多边形子区域GS1至GS20。在本实施例中，多边形子区域GR1至GR20及多边形子区域GS1至GS20可为四边形子区域。然而本发明非局限以四边形子区域来切割预定区域PR1及预定区域PR2，任何多边形子区域均可用以切割预定区域PR1及预定区域PR2。在本实施例中，每一个多边形的子区域均具有多个顶点。举例而言，多边形子区域GR1具有四个顶点，每个顶点具有各自的第一坐标。例如，多边形子区域GR1的四个顶点对应的第一坐标可为点坐标A至D。类似地，多边形的子区域GS1具有四个顶点，每个顶点具有各自的第一坐标。例如，多边形子区域GS1的四个顶点对应的第一坐标可为点坐标E至H。每一个多边形子区域包含多个像素，而多边形子区域的数量可为用户自定义的参数，亦可为系统内建的参数。

图3为图像视角转换系统100中，处理器11将第一图像P1内的预定区域PR1及PR2进行视角转换，以产生第二图像P2的示意图。处理器11将第一图像P1内的预定区域PR1及PR2进行分区处理，以产生多边形子区域GR1至GR20及多边形子区域GS1至GS20后，处理器11可依据世界坐标系统(WCS)，将每一个多边形子区域对应的所述第一坐标转换为多个第二坐标。举例而言，在图2中，第一图像P1中的预定区域PR1的多边形子区域GR1的点坐标A至D(第一坐标)可依据世界坐标系统转换为图3中的第二图像P2中的校正后的预定区域PR1’的校正后的多边形子区域GR1’的点坐标A’至D’(第二坐标)。其中，点坐标A被转换至点坐标A’，点坐标B被转换至点坐标B’，点坐标C被转换至点坐标C’，点坐标D被转换至点坐标D’。类似地，在图2中，第一图像P1中的预定区域PR2的多边形子区域GS1的点坐标E至H(第一坐标)可依据世界坐标系统转换为图3中的第二图像P2中的校正后的预定区域PR2’的校正后的多边形子区域GS1’的点坐标E’至H’(第二坐标)。其中，点坐标E被转换至点坐标E’，点坐标F被转换至点坐标F’，点坐标G被转换至点坐标G’，点坐标H被转换至点坐标H’。在本实施例中，第一坐标可为原始相机的坐标，而第二坐标可为任意视角的图像坐标。第一坐标转换至第二坐标的方式可利用平面投影转换矩阵(Homography Matrix)进行数值转换，也可以利用查询表进行反向查询，以将第一坐标偏移至转换后视角的图像坐标点。任何合理的坐标转换方式都属于本发明所公开的范畴。例如，平面投影转换矩阵的数据可被写入于程序中，而图像视角转换系统100可利用程序执行的方式进行坐标转换。并且，在预定区域PR1中，所有的多边形子区域GR1至GR20的对应的第一坐标都会被转换为转换后视角的图像坐标(第二坐标)。在预定区域PR2中，所有的多边形子区域GS1至GS20的对应的第一坐标都会被转换为转换后视角的图像坐标(第二坐标)。

接着，处理器11会将多边形子区域GR1至GR20以及多边形子区域GS1至GS20的多个第二坐标之间的多个像素进行内插，以产生校正后的多边形子区域。举例而言，图2中的多边形子区域GR1的第一坐标A至D被转换为图3所示的第二坐标A’至D’之后，处理器11会将第二坐标A’至D’之间的像素进行内插，以产生校正后的多边形子区域GR1’。类似地，图2中的多边形子区域GS1的第一坐标E至H被转换为图3所示的第二坐标E’至H’之后，处理器11会将第二坐标E’至H’之间的像素进行内插，以产生校正后的多边形子区域GS1’。像素内插的方式可为线性内插或是非线性内插，任何合理的内插算法都属于本发明所公开的范畴。处理器11可依此产生所有校正后的多边形子区域。因此，对于预定区域PR1的多边形子区域GR1至GR20而言，经过坐标转换以及像素内插的处理后，预定区域PR1将会变为包含校正后的多边形子区域GR1’至GR20’的校正后的预定区域PR1’。同理，对于预定区域PR2的多边形子区域GS1至GS20而言，经过坐标转换以及像素内插的处理后，预定区域PR2将会变为包含校正后的多边形子区域GS1’至GS20’的校正后的预定区域PR2’。校正后的预定区域PR1’及PR2’内的图像即为转换后视角的图像。PR1’与PR2’可以为不同视角，第二图像P2可呈现多个不同视角图像。换言之，当第一图像P1中所有的预定区域都被校正后，即可形成第二图像P2。

图4为图像视角转换系统100中，第一图像P1内的预定区域PR1利用三角形子区域的进行视角转换的示意图。图5为图像视角转换系统100中，利用三角形子区域完成坐标转换的示意图。如前述提及，第一图像P1内的预定区域PR1可利用任何形式的多边形子区域进行分区的坐标转换处理，并不局限于上述实施例所用的四边形子区域。举例而言，在图4中，预定区域PR1进行分区坐标转换处理所用的多边形子区域TR1至TR5可为三角形子区域(后文称为：三角形子区域TR1至TR5)。类似前述的处理步骤，三角形子区域TR1至TR5的第一坐标会依据世界坐标系统，转换为第二坐标。举例而言，在图4中，三角形子区域TR1具有对应顶点或是边界转折点的点坐标I至K。点坐标I至K会被处理器11转换为图5中的点坐标I’至K’。其中，点坐标I被转换至点坐标I’，点坐标J被转换至点坐标J’，点坐标K被转换至点坐标K’。当所有的三角形子区域TR1至TR5的坐标都已经转换完成后，类似地，处理器会将这些转换后的坐标(多个第二坐标)之间的多个像素进行内插，以产生校正后的多边形子区域。举例而言，图4中的三角形子区域TR1的第一坐标I至K被转换为图5所示的第二坐标I’至K’。处理器11会将第二坐标I’至K’之间的像素进行内插，以产生校正后的多边形子区域(校正后的三角形子区域)TR1’。像素内插的方式可为线性内插或是非线性内插，任何合理的内插算法都属于本发明所公开的范畴。处理器11可依此产生所有校正后的三角形子区域TR1’至TR5’。因此，对于预定区域PR1的三角形子区域TR1至TR5而言，经过坐标转换以及像素内插的处理后，预定区域PR1将会变为包含校正后的三角形子区域TR1’至TR5’的校正后的预定区域PR1’。因此，如同前述利用多个四边形子区域进行分区校正的功效，利用多个三角形子区域校正后的预定区域PR1’也可为具有转换后视角的图像。

图6为图像视角转换系统100中，图像视角转换方法的流程图。图像视角转换方法的流程包含步骤S601至步骤S605。任何合理的步骤变更皆属于本发明所公开的范畴。步骤S601至步骤S605描述于下：

步骤S601：取得第一图像P1；

步骤S602：将第一图像P1内的预定区域PR1及PR2分为多个多边形子区域GR1至GR20及GS1至GS20；

步骤S603：取得所述多边形子区域GR1至GR20及GS1至GS20的每一个多边形子区域对应的多个第一坐标；

步骤S604：依据世界坐标系统，将每一个多边形子区域对应的所述第一坐标转换为多个第二坐标；

步骤S605：将所述第二坐标之间的多个像素进行内插，以产生第二图像P2。

图像视角转换方法的步骤S601至S605的详细执行方式以及原理已于前文描述，于此将不再赘述。并且，虽然在图1至图4的实施例中，第一图像P1仅包含了两个预定区域PR1以及PR2，并且每个预定区域可利用四边形子区域进行分区坐标转换的处理或是利用三角形子区域进行分区坐标转换的处理。但本发明却不以此为限制。第一图像P1可包含任意数量的预定区域。并且，每一个预定区域可被划分为任意数量的多边形子区域。当单一预定区域被划分为极多的多边形子区域时，最后形成具有转换后视角的第二图像的质量较佳，但处理器11要花费较多的处理时间，且图像处理所需要较大的存储器12的空间。当单一预定区域被划分为较少的多边形子区域时，最后形成具有转换后视角的第二图像的质量较差，但处理器11花费较少的处理时间，且图像处理仅需要较小的存储器12的空间。因此，本发明的图像视角转换方法具有很高的操作弹性。用户可以在硬件需求、执行速度以及图像画质之间取得平衡。

综上所述，本发明描述了一种图像视角转换系统以及图像视角转换方法。可以将预定区域中的图像视角进行转换，让用户最后在图像输出装置所看到的图像是具有转换后视角的图像。图像视角转换系统可利用多个多边形子区域，将预定区域中的图像进行分区，在针对每一个多边形子区域的坐标进行调整。每一个多边形子区域可包含多个像素。例如预定区域具有(1280×720)个像素时，可以利用N个多边形子区域进行分区处理。因此每一个多边形子区域会包含(1280×720/N)个像素。N大于2且可为用户自定义的数值。如前述提及，当N很大时，表示单一预定区域被划分为极多的多边形子区域，最后形成具有转换后视角的图像质量较佳，但处理器要花费较多的处理时间，且图像处理需要较大的存储器空间。当N较小时，表示单一预定区域被划分为较少的多边形子区域，最后形成具有转换后视角的第二图像的质量较差，但处理器花费较少的处理时间，且图像处理仅需要较小的存储器空间。因此，本发明的视角转换系统，可以依据用户的需求以及硬件设备，客制化地调整处理图像所需要的复杂度以及运算速度，因此具有很高的操作弹性。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

【符号说明】

100 图像视角转换系统

11 处理器

12 存储器

13 图像输出装置

14 图像捕获装置

P1 第一图像

A至K 点坐标

GR1至GR20、GS1至GS20、及TR1至TR5 多边形子区域

PR1及PR2 预定区域

GR1’至GR20’、GS1’至GS20’及TR1’至TR5’ 校正后的多边形子区域

A’至K’ 校正后的点坐标

PR1’及PR2’ 校正后的预定区域

P2 第二图像

S601至S605 步骤

Claims (10)

1.一种图像视角转换方法，包含：

取得一第一图像；

将该第一图像内的一预定区域分为多个多边形子区域；

取得所述多边形子区域的每一多边形子区域对应的多个第一坐标；

依据一世界坐标系统，将该每一多边形子区域对应的所述第一坐标转换为多个第二坐标；及

将所述第二坐标之间的多个像素进行内插，以产生一第二图像；

其中该第一图像及该第二图像为对应不同视角的两图像。

2.如权利要求1所述的方法，其中所述第一坐标为对应多个相机坐标，且所述第二坐标为对应多个图像坐标。

3.如权利要求1所述的方法，其中该每一多边形子区域包含多个像素，且该每一多边形子区域为一四边形子区域。

4.如权利要求1所述的方法，其中该每一多边形子区域包含多个像素，且该每一多边形子区域为一三角形子区域。

5.如权利要求1所述的方法，其中该每一多边形子区域对应的所述第一坐标为该每一多边形子区域的多个顶点坐标。

6.如权利要求1至5中任一项所述的方法，其中依据该世界坐标系统，将该每一多边形子区域对应的所述第一坐标转换为所述第二坐标包含：

依据该世界坐标系统，利用一平面投影转换矩阵(Homography Matrix)将该每一多边形子区域对应的所述第一坐标转换为所述第二坐标。

7.如权利要求1至5中任一项所述的方法，其中依据该世界坐标系统，将该每一多边形子区域对应的所述第一坐标转换为所述第二坐标包含：

依据该世界坐标系统，利用一查询表将该每一多边形子区域对应的所述第一坐标转换为所述第二坐标。

8.如权利要求1所述的方法，其中该第一图像为一任意视角图像，且该第二图像为一转换后视角图像。

9.一种图像视角转换系统，包含：

一图像捕获装置，用以捕获一第一图像；

一存储器，用以存储一世界空间坐标系统的数据；

一处理器，耦接于该图像捕获装置及该存储器，用以处理该第一图像；及

一图像输出装置，耦接于该处理器，用以输出一第二图像；

其中该处理器将该第一图像内的一预定区域分为多个多边形子区域，取得所述多边形子区域的每一多边形子区域对应的多个第一坐标，依据该世界坐标系统，将该每一多边形子区域对应的所述第一坐标转换为多个第二坐标，将所述第二坐标之间的多个像素进行内插，以产生该第二图像，且该第一图像及该第二图像为对应不同视角的两图像。

10.如权利要求9 所述的系统，其中该存储器还包含一查询表，用于将该每一多边形子区域对应的所述第一坐标转换为所述第二坐标，且所述第一坐标为该每一多边形子区域的多个顶点坐标。

Images