CN114615477A - 全景影像中邻近镜头影像间颜色差的补偿方法 - Google Patents

全景影像中邻近镜头影像间颜色差的补偿方法 Download PDF

Info

Publication number
CN114615477A
CN114615477A CN202110351831.3A CN202110351831A CN114615477A CN 114615477 A CN114615477 A CN 114615477A CN 202110351831 A CN202110351831 A CN 202110351831A CN 114615477 A CN114615477 A CN 114615477A
Authority
CN
China
Prior art keywords
image
color adjustment
color
lens
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110351831.3A
Other languages
English (en)
Inventor
吕忠晏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinhua Technology Co ltd
Original Assignee
Xinhua Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinhua Technology Co ltd filed Critical Xinhua Technology Co ltd
Publication of CN114615477A publication Critical patent/CN114615477A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明揭露一种全景影像中邻近镜头影像间颜色差的补偿方法，用以补偿一全景影像中邻近镜头影像间的颜色差，各镜头影像包含多个特征区且各特征区具有一特征点，该方法包含：根据所述特征点的平均颜色值，计算从一部具多镜头的照相机产生的多个镜头影像中任两个邻近镜头影像间每一对特征区的颜色差值；根据每一对特征区的颜色差值，决定各镜头影像中所述特征点的颜色调整量；以及，根据一单元与邻近该单元的两个特征点的位置以及该两个邻近特征点的颜色调整量，计算该单元的颜色调整量。利用本发明，可以改善颜色差现象下的影像品质。

Description

全景影像中邻近镜头影像间颜色差的补偿方法
技术领域
本发明是有关于全景影像，特别地，尤有关于一种于全景影像中邻近镜头影像间颜色差的补偿方法。
背景技术
一部具多镜头的照相机(camera)捕捉到的一个视野，涵盖360度水平视域(fieldof view，FOV)以及高达180度的垂直视域。举例而言，如图1A所示，一现有照相机包含四个镜头且分别架设在一立方体架构11的四个工作面(右面、左面、正面、背面)上，该四个工作面的任两个邻近面实质上正交，例如该四个工作面分别朝向虚拟球体12的经度(longitude)0度、90度、180度及270度，以同时捕捉到一个具有360度水平FOV及90度垂直FOV的视野，以产生四个镜头影像。架设该四镜头的照相机的一个必要条件是任两个邻近镜头的视野之间应有足够的重叠，以助影像拼接(image mosaicking)。请参考图1B，区域13内的像素是由两个镜头/纹理影像重叠而成，而区域15内的像素则来自于单一镜头/纹理影像。因此，可对所述重叠区域13进行拼接(stitch)操作，以形成一全景影像。
在一种很可能发生的状况下，若上述具四个镜头的照相机的其中一个镜头直接朝向一光源(如太阳)，而另一个镜头朝向阴暗处，即使有相同的曝光时间，这两个镜头产生的影像(包含所述重叠区域13)的色彩表现会有很大的差异，以下称之为”颜色差现象”。因此，业界亟需一种补偿方法来改善上述颜色差现象下的影像品质。
发明内容
有鉴于上述问题，本发明的目的之一是提供一种补偿方法来改善颜色差现象下的影像品质。
根据本发明的一实施例，提供一种补偿方法，用以补偿一全景影像中邻近镜头影像间的颜色差，各镜头影像包含多个特征区且各特征区具有一特征点，该方法包含：根据所述特征点的平均颜色值，计算从一部具多镜头的照相机产生的多个镜头影像中任两个邻近镜头影像间的每一对特征区的颜色差值；根据每一对特征区的颜色差值，决定各镜头影像中所述特征点的颜色调整量；以及，根据一单元与邻近该单元的两个特征点的位置以及该两个邻近特征点的颜色调整量，计算该单元的颜色调整量。
利用本发明，可以改善颜色差现象下的影像品质。
兹配合下列图示、实施例的详细说明及权利要求，将上述及本发明的其他目的与优点详述于后。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是显示一立方体架构11与一球体12之间的关系。
图1B是显示一等距长方全景影像(equirectangular panoramic image)，源自于四个镜头影像(背面、左面、右面、正面)的等距长方投影。
图2是根据本发明一实施例，显示全景影像处理系统的方块图。
图3A是根据本发明第一实施例，显示各特征区中所有像素的颜色值的平均方法流程图。
图3B是显示一纹理/镜头影像的各边缘，相对于影像中心O，被分成三个区块的例子。
图4A是显示一个三角形网格，用以模型化一球体表面。
图4B是显示一个多边形网格，用以组成/模型化一等距长方全景影像。
图5A是根据本发明第二实施例，显示各特征区中所有像素的颜色值的平均方法流程图。
图5B是显示多个被选定值当作各纹理/镜头影像(背面、左面、右面、正面)的八个特征区的八个重心的经度及纬度(latitude)坐标的一个例子。
图6A是显示由于被偏移的镜头中心所导致的未匹配拼接结果。
图6B是根据现有技术，显示具有十两个重叠区的等距长方全景影像的例子。
图6C是根据现有技术，显示具有二十个控制区的等距长方全景影像的例子。
图6D是显示于一正面镜头影像中的目标顶点P2及八个控制区的关系的一示例。
图7是根据本发明一实施例，显示影像处理装置的方块图。
图8A是显示工作面0及工作面1的纹理/镜头影像之间的三个工作配对的一个例子。
图8B是根据本发明第一实施例，显示于一全景影像中邻近镜头影像间颜色差的补偿方法流程图。
图8C是显示一个例子，利用右侧的低通滤波器对左侧八个特征区的八个初始颜色调整量进行低通滤波，以得到下方的八个最终颜色调整量。
图8D是显示在一正面镜头影像中，其影像中心O、一目标顶点/像素S以及邻近该目标顶点/像素S的两个特征点(G及H)之间的位置关系的例子。
图8E是根据本发明第二实施例，显示于一全景影像中邻近镜头影像间颜色差的补偿方法流程图。
图9A是根据本发明一实施例，显示于一全景影像中所有镜头影像内多个特征点的颜色调整量及半径的取得方法流程图。
图9B至图9C是根据本发明第三实施例，显示于一全景影像中邻近镜头影像间颜色差的补偿方法流程图。
11:立方体架构
12:球体
13:重叠区域
15:非重叠区域
32:最佳焦点
33:理想成像位置
35:远物
36、37:实际焦点
38:实际成像位置
62:控制区的位置
72:纹理映射电路
73:混合单元
74:目的缓冲器
75:栅格化引擎
77:量测单元
200:全景影像处理系统
210:影像撷取模块
220:影像处理装置
250:对应性产生器
710:计算单元
721～72N:纹理映射引擎
750:显像引擎
具体实施方式
在通篇说明书及后续的权利要求当中所提及的“一”及“该”等单数形式的用语，都同时包含单数及复数的涵义，除非本说明书中另有特别指明。在通篇说明书及后续的权利要求当中所提及的相关用语定义如下，除非本说明书中另有特别指明。在通篇说明书及后续的权利要求当中所提及的相关用语定义如下，除非本说明书中另有特别指明。在通篇说明书中，具相同功能的电路元件使用相同的参考符号。
图2是根据本发明一实施例，显示全景影像处理系统的方块图。本发明全景影像处理系统200包含一影像撷取模块210、一影像处理装置220以及一对应性产生器(correspondence generator)250。其中，该对应性产生器250是非必须的。
该影像撷取模块210是一部具多镜头的照相机，可捕捉到的一个视野，涵盖高达360度水平FOV以及高达180度的垂直FOV，以产生多个镜头影像。于接收来自该影像撷取模块210的所述镜头影像后，该影像处理装置220为各镜头影像产生一个具多个颜色调整量的2D颜色调整阵列，再根据所述镜头影像及所述2D颜色调整阵列，进行拼接操作，以形成一全景影像。请注意，只要能捕捉到一个高达水平360度及垂直180度的FOV，本发明不限制该影像撷取模块210所包含的镜头数量。架设该影像撷取模块210的一个必要条件是任两个邻近镜头的视野之间应有足够的重叠，以助影像拼接。该全景影像的例子包含，但不限于，一个360度全景影像以及一等距长方全景影像。
为清楚及方便描述，以下的例子及实施例皆以等距长方全景影像做说明，并假设该影像撷取模块210包含四个镜头，分别架设在一立方体架构11的四个工作面(右面、左面、正面、背面)上。
图3A是根据本发明第一实施例，显示各特征区中所有像素的颜色值的平均方法(由该影像处理装置220执行)流程图。以下，说明本发明各特征区中所有像素的颜色值的平均方法。
步骤S302：将一纹理(texture)/镜头(lens)影像j的周围分成多个区块。图3B显示一纹理/镜头影像的周围分成八个区块的例子，且各区块包含一特征区
Figure BDA0003002353430000051
其中j表示该纹理/镜头影像的索引/ID以及i表示该特征区于该纹理/镜头影像j中的索引/ID，其中，i＝0～7。
步骤S304：决定各特征区的形状与大小以及各特征区中特征点的纹理坐标。于图3B中，所述特征区
Figure BDA0003002353430000052
的形状(如圆形)仅是示例，而非本发明的限制。一个具纹理坐标的特征点CPi (j)被指定给一对应特征区
Figure BDA0003002353430000053
各特征区
Figure BDA0003002353430000054
对应一区块且位于该对应区块内。该特征点CPi (j)可以是该特征区
Figure BDA0003002353430000055
的一重心或一质量中心或一几何中心。可随意选择该纹理影像j的所述特征区的形状、半径或大小，只要任二相邻特征区不重叠即可，然而，稍微重叠也是无碍于运作。其中，“纹理坐标”一词指的是在一纹理空间(例如一纹理/镜头影像j)中的坐标。
步骤S306：计算该纹理/镜头影像j中各特征区内所有像素的平均颜色值
Figure BDA0003002353430000056
(包含亮度(Y；luma)、色度(U、V；chroma)成分)。请注意，若一特征区不是位于如图1B的重叠区13内，就无需计算其平均颜色值。例如，请参考图1B及图3B，特征区
Figure BDA0003002353430000057
及
Figure BDA0003002353430000058
无需计算其平均颜色值。
步骤S308：决定是否已处理完所有纹理/镜头影像。若否，回到步骤S302以处理下一个纹理/镜头影像；若是，结束本流程。
图2也显示本发明具对应性产生器250的全景影像处理系统200的处理管线(pipeline)。该处理管线分为离线阶段(offline phase)和连线阶段(online phase)。于连线阶段，全景影像处理系统200产生全景影像。于离线阶段，该对应性产生器250分别校正四个镜头，例如，于图1A半径2公尺(r＝2)的球体12表面上划出许多圆圈，当作经度及纬度(图未示)，其多个交叉点被视为多个校正点；该影像撷取模块210的四个镜头捕捉所述校正点，且所述校正点于所述镜头影像上的位置为已知。然后，因为所述校正点和所述镜头坐标的视角(view angle)被连结，故可建立该等距长方全景影像及所述镜头影像之间的映射关系。在本说明书及后续的权利要求当中，一个具上述映射关系的校正点被定义为一个“顶点(vertex)”。于校正后，该对应性产生器250产生一对应表，该对应表包含多个顶点，且各顶点提供该等距长方坐标(纬度及经度)及其于所有镜头影像内的纹理坐标之间的映射关系。于另一实施例中，根据该对应表，该对应性产生器250采用适合的影像对准(registration)技术来产生一原始顶点列表(如表一)，并且该原始顶点列表中的各顶点提供该等距长方全景影像及所述镜头影像之间(或该等距长方坐标及所述纹理坐标之间)的顶点映射关系。于离线阶段，该对应性产生器250会完成所有必要的预先计算。
图4A显示一个三角形网格(mesh)，用以模型化一球体表面。参考图4A，利用一个三角形网格来模型化一球体12的表面。图4B显示一个多边形网格，用以组成/模型化该等距长方全景影像。透过对图4A的三角形网格进行一等距长方投影而产生图4B的多边形网格，而图4B的多边形网格是多个四边形与多个三角形的集合。请注意，因为对图4A的多个极点三角形(pole triangle)进行投影而得图4B的多边形网格的最上面一行(row)及最下面一行，故只有图4B的多边形网格的最上面一行及最下面一行是由多个四边形所形成。“极点三角形”一词指的是：一个三角形具有一个顶点为一个三角形网格的极点(天底(Nadir)或天顶(Zenith))，而该三角形网格用以模型化一球体表面。
于离线阶段，根据该等距长方全景影像及所述镜头影像的几何形状，该对应性产生器250为多边形网格(图4B)的各顶点，计算其等距长方坐标及纹理坐标，并决定各顶点是否为一极点，以产生该原始顶点列表。最后，该对应性产生器250将该原始顶点列表传送给该影像处理装置220。该原始顶点列表一旦产生后，就被该影像处理装置220重复使用以进行后续操作，例如进行拼接后续的镜头影像。该原始顶点列表是多个顶点的列表，所述顶点形成该多边形网格(图4B)的多个四边形，且各顶点由一相对应数据结构所定义。该数据结构定义了一目的空间及一纹理空间之间(或该等距长方坐标及该纹理坐标之间)的顶点映射关系。一实施例中，该数据结构包含，但不受限于，等距长方坐标、一极点旗标、涵盖/重叠的镜头影像数目、在各镜头影像中的纹理坐标、各镜头影像的ID、以及各镜头影像的拼接混合权值。
表一显示该原始顶点列表中各顶点的数据结构的一个例子。
Figure BDA0003002353430000071
图5A是根据本发明第二实施例，显示各特征区中所有像素的颜色值的平均方法(由该影像处理装置220执行)流程图。以下，根据本发明第二实施例，说明本发明各特征区中所有像素的颜色值的平均方法。
步骤S502：决定一纹理/镜头影像j中多个特征区的特征点以及所述特征点的预设经度及纬度坐标值(即等距长方坐标)。请同时参考图1A及图5B。图5B显示图1A的立方体架构11具有多个预设经度及纬度坐标(即等距长方坐标)值的特征点。请注意，所有特征点必须位于所述纹理/镜头影像的重叠区内(如图6B的R(1)～R(12))。在本实施例中，各该四个纹理/镜头影像有八个特征点CPi (j)，其中，i＝0～7及j＝0～3。然而，图5B显示的所述预设经度及纬度坐标值，仅是示例，而非本发明的限制。于实际实施时，可选择其他点当作特征点，只要所述点分别落在所述重叠区内即可。
步骤S504：根据该对应表(或该原始顶点列表)及经度及纬度坐标(即等距长方坐标)，决定该纹理/镜头影像j中各特征点CPi (j)的纹理坐标，其中，i＝0～5。如上所述，该原始顶点列表中各顶点的数据结构提供了该等距长方坐标及该纹理坐标之间的顶点映射关系；此外，该对应表提供了各顶点在该等距长方坐标及该纹理坐标之间的映射关系。举例而言，利用经度45度及纬度0度的等距长方坐标搜寻来自该对应性产生器250产生的原始顶点列表，很快就可找到一匹配顶点；之后，因为上述具有经度45度及纬度0度的顶点必定位于一重叠区内，故参考表一，可从该匹配顶点的数据结构中撷取出第一纹理影像内的第一纹理坐标(u1,v1)及第二纹理影像内的第二纹理坐标(u2,v2)。
步骤S506：相对于各特征区的特征点，决定各特征区
Figure BDA0003002353430000081
的形状与大小，其中，i＝0～5。如上所述，任何形状及大小都适用于所述特征区，只要任二相邻特征区不重叠即可，然而，稍微重叠也是无碍于运作。如上所述，因为各纹理/镜头影像的上缘及下缘不会与任何纹理/镜头影像重叠且已决定各特征点CPi (j)的纹理坐标，因此不需去决定上下两个特征区
Figure BDA0003002353430000082
及
Figure BDA0003002353430000083
的形状与大小及计算该个特征区
Figure BDA0003002353430000084
及
Figure BDA0003002353430000085
的平均颜色值。
步骤S508：计算该纹理/镜头影像j中各特征区
Figure BDA0003002353430000086
内所有像素的平均颜色值(包含Y、U、V成分)，其中，i＝0～5。
步骤S510：决定是否已处理完所有纹理/镜头影像。若否，回到步骤S502以处理下一个纹理/镜头影像；若是，结束本流程。
另一实施例中，该对应性产生器250提供一修正顶点列表至该影像处理装置220。该修正顶点列表是多个顶点的列表，所述顶点形成该多边形网格(图4B)的多个四边形，且各顶点由一相对应数据结构所定义。表二显示该修正顶点列表中各顶点的数据结构的一个例子。
Figure BDA0003002353430000087
Figure BDA0003002353430000091
如表二所示，相较于该原始顶点列表中各顶点的数据结构，在该修正顶点列表的各顶点的数据结构中，各镜头影像另包含以下五个栏位：接合系数(warping coefficient)索引(idxk0,idxk1)、接合系数的混合权值(Alphak)、颜色值累加器索引(IAk)、颜色调整索引(idek0,idek1)及颜色调整混合权值(cwk)，其中，k＝1～N。
请同时参考图1A及图6A。在一理想状况下，该影像撷取模块210的四个镜头(包含镜头#1及#2)同时设置在一立方体架构11的系统中心，因此一远物的单一理想成像位置(imaging point)位于半径2公尺(r＝2)的成像平面(image plane)12上。据此，因为镜头影像#1(来自镜头#1)的理想成像位置及镜头影像#2(来自镜头#2)的理想成像位置相符，在影像处理装置220完成影像拼接/混合操作后，该等距长方全景影像就会呈现出完美的拼接/混合结果。然而，在实际状况下，镜头#1及#2的实际焦点(focal point)(或相机中心)36及37和该最佳焦点(或系统中心)32分开，故一远物35的两个实际成像位置38在成像平面22上是分离的，如图6A的左侧所示。结果，请参考图6A的右侧，在该影像处理装置220完成影像拼接/混合操作后，该等距长方全景影像就会清楚呈现出不匹配的影像缺陷。因此，须修正各顶点的纹理坐标，以减少该影像撷取模块210因偏移的镜头中心所引起的不匹配的影像缺陷。
图6B是根据现有技术，显示具有十两个重叠区的等距长方全景影像的例子。图6C是根据现有技术，显示具有二十个控制区的等距长方全景影像的例子。比较图6B～图6C的例子，该十二个重叠区R(1)～R(12)被分成二十个控制区B(1)～B(20)，且该二十个控制区B(1)～B(20)分别具有二十个接合系数Cw(1)～Cw(20)或二十个接合程度(warping degree)Cw(1)～Cw(20)。
以图6D的目标顶点P2(在正面镜头影像中具有原始纹理坐标(u2,v2))为例，假设一旋转角度θ为顺时针方向且θ＝93°，因为该正面镜头影像有八个控制区，故360°/8＝45°、idx＝θ/45°＝2及θmod 45°＝θ-idx×45°＝3°。因此，顶点P2最邻近的两个控制区为B(18)及B(11)，且在该正面镜头影像中该目标顶点P2的内插接合系数/程度C’以下列方程式定义/计算如下：C’＝Cw(18)×(3/45)+Cw(11)*(1-3/45)。其中，该角度θ形成于一第一向量V1及一第二向量V2之间；该第一向量V1以影像中心O为起点，以启始控制区B(7)的位置62为终点，而该第二向量V2以影像中心O为起点，以该目标顶点P2为终点。各控制区的位置62包含，但不限于，该控制区的重心(gravity center)、该控制区的区域中心、及该控制区的中间点(median point)。
为简化上述计算，以上述目标顶点P2为例，于离线阶段，该对应性产生器250额外地预先决定哪两个控制区(即B(18)及B(11))是最邻近该目标顶点P2，并将其索引值(18及11)写到该修正顶点列表内该目标顶点P2的数据结构(参考表二)的该正面镜头影像的”接合系数索引”栏位中；另外，该对应性产生器250额外地预先计算接合系数(Cw(18)及Cw(11))的混合权值(＝3/45)，并将该混合权值写到该修正顶点列表内该目标顶点P2的数据结构的该正面镜头影像的”接合系数的混合权值(Alpha)”栏位中。请注意，所述接合系数(Cw(1)～Cw(20))被存储及安排为一维(one dimension)的接合系数阵列Cw或1D的数据串流。
请参考图7，该影像处理装置220包含一计算单元710及一显像(render)引擎750。该显像引擎750包含一栅格化引擎(rasterization engine)75、一纹理映射电路72、一混合单元73以及一目的缓冲器74。“栅格化”一词指的是将场景几何形状(scene geometry)(或一全景影像)映射至各镜头影像的纹理坐标的计算过程。在接收到该修正顶点列表后，该计算单元710根据该目标顶点P2的数据结构中(参考表二)的该正面镜头影像的”接合系数索引”栏位的内容(即18及11)，从一维的接合系数阵列Cw中撷取出两个接合系数(Cw(18)及Cw(11))，以及根据该目标顶点P2的数据结构中的该正面镜头影像的”接合系数的混合权值(Alpha)”栏位(即3/45)，计算该目标顶点P2的内插接合系数/程度C’。接着，该计算单元710根据下列方程式：u2’＝(u2-ucenter)×C’+ucenter；v2’＝(v2-vcenter)×C’+vcenter，计算该目标顶点P2(具原始纹理坐标(u2,v2))在正面镜头影像中的修正纹理坐标(u2’,v2’)，其中，该正面镜头影像的影像中心O具纹理坐标(ucenter,vcenter)。最后，该计算单元710以该修正纹理坐标(u2’,v2’)更新该目标顶点P2的数据结构中正面镜头影像中的纹理坐标。依此方式，该计算单元710根据一维的接合系数阵列Cw，依序修正该修正顶点列表中所有顶点的数据结构中的所有纹理坐标，以便每次传送三个具修正纹理坐标的顶点至该显像引擎750。在修正完该修正顶点列表中所有顶点的数据结构中的所有纹理坐标以及完成上述拼接过程之后，即可大幅改善因偏移的镜头中心所造成的不匹配的影像缺陷。至于上述二十个控制区B(1)～B(20)的二十个接合系数Cw(1)～Cw(20)(被安排成该一维的接合系数阵列Cw)的决定过程，以及该影像处理装置220进行拼接的详细过程都已揭露于美国第10,810,700B2号专利文献中(上述专利的内容在此被整体引用作为本说明书内容的一部份)，在此不再赘述。
一实施例中，该对应性产生器250预先将图1B的各重叠区13分成三个特征区，各特征区可根据其等距长方坐标而被识别。根据来自该计算单元710的三个具修正纹理坐标的顶点，该显像引擎750进行三角形栅格化操作、纹理映射操作及混合操作，并促使该量测单元77计算各特征区的平均颜色值。具体而言，一栅格化引擎75接收该三个具修正纹理坐标的顶点后，判断该涵盖/重叠的影像数目N的大小。由于该影像撷取模块210是一部具四个镜头的照相机，故N<＝2。若N＝1，该栅格化引擎75将一控制讯号CS1设为无效(de-assert)以禁能(disable)该量测单元77；否则，该栅格化引擎75将该控制讯号CS1设为有效(assert)以致能该量测单元77。对于位于一个三角形(由该三个具修正纹理坐标的顶点A、B、C所形成)内的一点/像素Q(具等距长方坐标(x,y))，该栅格化引擎75计算N个镜头影像中的N对纹理坐标及N个工作面混合权值(fw1～fwN)。以N＝2为例，该栅格化引擎75利用一重心加权(barycentric weighting)方法，根据该三个顶点(A、B、C)及该像素Q的等距长方坐标(xA,yA,xB,yB,xC,yC,xD,yD,x,y)，计算三个空间权值(a,b,c)。根据该三个空间权值(a,b,c)及该三个顶点(A、B、C)的纹理坐标，该栅格化引擎75计算该像素Q的二对纹理坐标如下：(u1Q,v1Q)＝(a×u1A+b×u1B+c×u1C,a×v1A+b×v1B+c×v1C)；(u2Q,v2Q)＝(a×u2A+b×u2B+c×u2C,a×v2A+b×v2B+c×v2C)，其中(u1Q,v1Q),(u1A,v1A)(u1B,v1B)及(u1C,v1C)代表该像素Q及该三个顶点(A、B、C)于第一镜头影像的纹理坐标，而(u2Q,v2Q),(u2A,v2A)(u2B,v2B)及(u2C,v2C)代表该像素Q及该三个顶点(A、B、C)于第二镜头影像的纹理坐标。根据该像素Q的二对纹理坐标，该纹理映射电路72的两个纹理映射引擎721～722利用任何合适的方法(例如最近相邻内插法(nearest-neighbor interpolation)、双线性(bilinear)内插法、或三线性(trilinear)内插法)，纹理映射上述两个镜头影像的纹理数据，以平行地产生该像素Q的两个取样值(s1～s2)。其中，各取样值(s1～s2)可以是一亮度(luma)值或一色度(chroma)值。然后，根据来自该计算单元710的各该三个顶点(A、B、C)的数据结构，该栅格化引擎75传送第一及第二镜头影像的颜色值累加器索引(IA1～IA2)至该量测单元77。
对于上述点/像素Q，该量测单元77利用一颜色值累加器(IA1)(图未示)来累加其取样值s1，并利用一像素计数器(IA1)(图未示)来计算其像素(其取样值被该颜色值累加器(IA1)所累加)的数目；该量测单元77利用一颜色值累加器(IA2)(图未示)来累加其取样值s2，并利用一像素计数器(IA2)(图未示)来计算其像素(其取样值被该颜色值累加器(IA2)所累加)的数目。依此方式，该量测单元77累加各该二十四个特征区
Figure BDA0003002353430000121
中所有点/像素的取样值及像素数目。因为该影像撷取模块210包含四个镜头(右面、左面、正面、背面)而且各镜头影像的八个特征区中只有六个特征区需要计算平均颜色值，因此总共有二十四个特征区(需要计算平均颜色值)、二十四个颜色值累加器以及二十四个像素计数器。最后，在与该修正顶点列表有关的所有顶点都被传送至该栅格化引擎75后，该量测单元77根据对应颜色值累加器以及对应像素计数器的输出值，计算各特征区
Figure BDA0003002353430000122
之的平均颜色值
Figure BDA0003002353430000123
(包含Y、U、V成分)。
根据所述顶点的等距长方坐标，可以很容易识别一顶点是否位于/属于所述特征区之一。以下三种方式可以决定各特征区的特征点的纹理坐标。(1)修正前暨顶点级别：针对各特征区，该计算单元710分别累计来自该修正顶点列表的顶点总数及顶点的原始纹理坐标，以计算顶点的平均原始纹理坐标来当作各特征区的特征点的纹理坐标。(2)修正后暨顶点级别：针对各特征区，该计算单元710分别累计与该修正顶点列表有关的顶点总数及顶点的修正纹理坐标，以计算顶点的平均修正纹理坐标来当作各特征区的特征点的纹理坐标。(3)修正后暨像素级别：该量测单元77接收所有像素的纹理坐标(图未示)，分别累计各特征区的像素总数及像素的纹理坐标，以计算像素的平均纹理坐标来当作各特征区的特征点的纹理坐标。
本发明的特色之一是将位于二相邻纹理/镜头影像的两个特征区的两个特征点视为一工作配对(working pair)，并根据该工作配对的两个特征点间的颜色差值(包含亮度差值及色度差值)，分别决定该两个特征点的颜色调整量。例如，图8A中，二相邻的工作面0及工作面1的纹理影像的两个相邻特征区(如
Figure BDA0003002353430000131
)的两个特征点(如
Figure BDA0003002353430000132
)被视为一工作配对。
图8B是根据本发明第一实施例，显示于一全景影像中邻近镜头影像间颜色差的补偿方法(由该影像处理装置220执行)的流程图。以下，说明本发明于一全景影像中邻近镜头影像间颜色差的补偿方法。
步骤S802：计算各特征区
Figure BDA0003002353430000133
之的平均颜色值
Figure BDA0003002353430000134
及决定所有特征区的特征点CPi (j)的纹理坐标(或相对于影像中心的半径)，其中，i＝0～5及j＝0～3。请参考图3A及图5A的方法及图7的相关说明。
步骤S804：计算各工作配对中两个特征点的颜色差值(包含Y、U、V成分)。以工作配对
Figure BDA0003002353430000135
为例，计算特征点
Figure BDA0003002353430000136
的颜色差值如下：
Figure BDA0003002353430000137
以及计算特征点
Figure BDA0003002353430000138
的颜色差值如下：
Figure BDA0003002353430000139
步骤S806：决定所有特征点CPi (j)的初始颜色调整量
Figure BDA00030023534300001310
其中，i＝0～5及j＝0～3。例如，分别将两个特征点
Figure BDA00030023534300001311
的初始颜色调整量设定为
Figure BDA00030023534300001312
及
Figure BDA00030023534300001313
一工作配对的初始颜色调整量通常对应其颜色差值，例如其颜色差值除以一整数。再者，一工作配对中两个特征点的初始颜色调整量的和通常小于其颜色差值的绝对值。请注意，上述初始颜色调整量的值仅是示例，而非本发明的限制，实际实施时，其他值也适用上述初始颜色调整量。另请注意，两个特征点
Figure BDA00030023534300001314
(不会与其相邻纹理影像的任何特征点形成任何工作配对)的初始颜色调整量被设定为0。
步骤S808：利用一低通滤波器，修正所述初始颜色调整量
Figure BDA00030023534300001315
以得到一纹理影像j中所有特征区的最终颜色调整量
Figure BDA00030023534300001318
其中，i＝0～7及j＝0～3。例如，如图8C中，利用右侧的低通滤波器对左侧八个特征区的八个初始颜色调整量(包含Y、U、V成分)进行低通滤波，以得到下方的八个最终颜色调整量(包含Y、U、V成分)。请注意，步骤S806及S808的顺序是可交换的。
步骤S809：根据一纹理影像j中各顶点及其二相邻特征点的距离/半径以及该二相邻特征点的最终颜色调整量，计算该纹理影像j中各顶点的颜色调整量(包含Y、U、V成分)。图8D显示一正面镜头影像中，其影像中心O、一目标顶点S以及二相邻特征点(G及H)之间的位置关系的例子。请参考图8D，由第一侧
Figure BDA00030023534300001316
及第二侧
Figure BDA00030023534300001317
形成第一夹角∠GOS及由第三侧
Figure BDA0003002353430000141
及该第二侧
Figure BDA0003002353430000142
形成第二夹角∠HOS，其中，X是一内插点且两个向量
Figure BDA0003002353430000143
及
Figure BDA0003002353430000144
具有相同方向。假设特征点G具有一最终颜色调整量
Figure BDA0003002353430000145
且相对于正面镜头影像(即纹理影像j)的影像中心O的距离/半径为RG、特征点H具有一最终颜色调整量
Figure BDA0003002353430000146
且相对于该影像中心O的距离/半径为RH以及一混合权值α＝∠GOS∠HOS，则依据下列方程式(1)及(2)，可计算该内插点X的颜色调整量
Figure BDA0003002353430000147
及距离/半径RX如下：
Figure BDA0003002353430000148
RX＝(1-α)×RG+α×RH……(2)。最后，依据方程式(3)，计算该目标顶点S的颜色调整量
Figure BDA0003002353430000149
(包含Y、U、V成分)如下：
Figure BDA00030023534300001410
其中，
Figure BDA00030023534300001411
表示该影像中心O与该目标顶点S的距离/半径。依此方式，可得到纹理影像j中所有顶点的颜色调整量，其中j＝0～3。
步骤S810：于镜头影像j中，根据多个顶点(如三个/四个顶点，可形成一多边形)的颜色调整量与纹理坐标以及各像素的纹理坐标，计算该多边形(如图4B中的三角形或四边形)内各像素的颜色调整量(包含Y、U、V成分)。举例而言，倘若三个具颜色调整量及纹理坐标的顶点组成一个三角形且一目标像素S0位于该三角形内，根据该目标像素S0及该三个顶点的纹理坐标，利用一颜色调整平面方程式(如f(u,v)＝p×u+q×v+r)以得到该目标像素S0的颜色调整量；例如，根据该三个顶点的颜色调整量与纹理坐标，可决定该纹理影像j中该颜色调整平面方程式(f(u,v)＝p×u+q×v+r)的系数值(p、q、r)，然后，根据该目标像素S0的纹理坐标(u0S,v0S)及该颜色调整平面方程式，计算位于该纹理影像j的该三角形(由该三个顶点所组成)内目标像素S0的颜色调整量如下：ΔC0S＝p×u0S+q×v0S+r。若四个具颜色调整量及纹理坐标的顶点组成一个四边形且一目标像素S1位于该四边形内，根据该目标像素S1的纹理坐标(u1S,v1S)，利用一双线性内插法可得到该目标像素S1的颜色调整量。依此方式，可得到该纹理影像j中所有像素的颜色调整量。该纹理影像j中所有像素的颜色调整量存储于一个别的二维颜色调整阵列中。
步骤S811：根据该纹理影像j中各像素的取样值(包含Y、U、V成分)及对应二维颜色调整阵列中的颜色调整量(包含Y、U、V成分)，计算该纹理影像j中各像素的颜色值(包含Y、U、V成分)。本步骤结束时，即可形成对应该纹理影像j的颜色补偿后的纹理影像。
步骤S812：决定是否已处理完所有纹理/镜头影像。若否，回到步骤S808以处理下一个纹理/镜头影像；若是，结束本流程且已形成四个颜色补偿后的镜头/纹理影像。
图8E是根据本发明第二实施例，显示于一全景影像中邻近镜头影像间颜色差的补偿方法(由该影像处理装置220执行)流程图。在图8E的方法中，由于步骤S802～S808及步骤S811～S812与图8B相同，故在此不予赘述。
步骤S818：根据一纹理/镜头影像j中各像素及其二相邻特征点相对于其影像中心的距离/半径以及该二相邻特征点的最终颜色调整量，计算该纹理/镜头影像j中各像素的颜色调整量(包含Y、U、V成分)。请回到图8D，在本实施例中，请将目标点S视为一像素，类似于步骤S809描述的计算方式，根据上述方程式(1)～(3)，计算该纹理影像j中该目标像素S的颜色调整量
Figure BDA0003002353430000151
(包含Y、U、V成分)。依此方式，可得到该纹理影像j中所有像素的颜色调整量，其中，j＝0～3。
请注意，在该影像处理装置220对该四个颜色补偿后的镜头/纹理影像(步骤S812的输出)进行正常栅格化操作、纹理映射操作及混合操作之前，执行上述图8B及图8E的补偿方法，故上述图8B及图8E的补偿方法可被视为预先处理操作。
图9A是根据本发明一实施例，显示于一全景影像中所有镜头影像内多个特征点的颜色调整量及半径的取得方法(由该影像处理装置220执行)流程图。在图9A的方法中，由于步骤S802及步骤S804与图8B相同，故在此不予赘述。
步骤S920：利用一低通滤波器修正一镜头影像j内多个特征点
Figure BDA0003002353430000152
的颜色差值(例如
Figure BDA0003002353430000153
)，以得到特征点
Figure BDA0003002353430000154
过滤后的颜色差值(包含Y、U、V成分)。其中，于滤波/修正前，二特征点
Figure BDA0003002353430000155
(不会与其邻近纹理影像内的任何特征点形成任何工作配对)的颜色差值(例如
Figure BDA0003002353430000156
)被设为0，其中j＝0～3。
步骤S922：根据该镜头影像j的特征点
Figure BDA0003002353430000157
过滤后的颜色差值，决定所述特征点
Figure BDA0003002353430000158
的颜色调整量(包含Y、U、V成分)。请注意，步骤S920及步骤S922的顺序是可交换的。
步骤S924：决定是否已处理完所有纹理/镜头影像。若否，回到步骤S920以处理下一个纹理/镜头影像；若是，结束本流程。于本步骤结束时，32个特征点
Figure BDA0003002353430000159
的32个颜色调整量
Figure BDA00030023534300001510
及32个距离/半径(相对于其本身影像的影像中心)分别被存储，具体来说，该32个颜色调整量
Figure BDA00030023534300001511
被存储及安排为一个一维的颜色调整量阵列CA[m]，以及该32个距离/半径被存储及安排为一个一维的半径阵列RA[m]，其中m＝0～31、j＝0～3及i＝0～7。执行图9A方法的目的是为了帮图9B～图9C的方法取得或设定上述一维的颜色调整量阵列CA[m]及一维的半径阵列RA[m]。
于离线阶段，该对应性产生器250额外地预先决定哪两个特征点最邻近一目标顶点(例如图8D中两个特征点G及H最邻近一目标顶点S)，并将该两个特征点的索引值(idxk0及idxk1；例如：CA[idek0]＝RH及CA[idek1]＝RG)写入该修正顶点列表(参考表二)中该目标顶点的数据结构中纹理影像j的”颜色调整索引”栏位；并且，该对应性产生器250额外地预先计算颜色调整混合权值(例如：图8D中cwk＝∠GOS/∠HOS＝α)，并将该颜色调整混合权值写入该修正顶点列表中该目标顶点的数据结构中该纹理影像j的”颜色调整混合权值”栏位。依此相同方式，于离线阶段，该对应性产生器250计算及填满该修正顶点列表中所有顶点的数据结构中各纹理影像的”颜色调整混合权值”栏位及”颜色调整索引”栏位。
图9B至图9C是根据本发明第三实施例，显示于一全景影像中邻近镜头影像间颜色差的补偿方法(由该影像处理装置220执行)流程图。执行图9B至图9C方法的目的是为了将上述一维的颜色调整量阵列CA[m]及一维的半径阵列RA[m]应用于多个输入镜头影像以形成一颜色补偿后的全景影像。请参考图7及图9B至图9C，说明于一全景影像中邻近镜头影像间颜色差的补偿方法。
步骤S962：从一修正顶点列表(参考表二)中取出一顶点。
步骤S964：根据该顶点的数据结构中各镜头影像的纹理坐标以及于各镜头影像的”颜色调整混合权值”栏位及”颜色调整索引”栏位中的值，计算该顶点于各镜头影像的颜色调整量。假设来自该修正顶点列表的顶点C被两个镜头影像(正面、顶面；N＝2)所涵盖/重叠，以及该顶点C具有以下数据结构且其纹理坐标已被计算单元710修正过：vertex C:{(xC,yC),2,0,IDFront,(u1C,v1C),w1C,(idx10C,idx11C),Alpha1C,IA1C,(ide10C,ide11C),cw1C,IDTop,(u2C,v2C),w2C,(idx20C,idx21C),Alpha2C,IA2C,(ide20C,ide21C),cw2C}。根据公式：d1C＝sqrt((u1C-uO)×(u1C-uO)+(v1C-vO)×(v1C-vO))，该栅格化引擎75计算正面镜头影像中该顶点C相对于其正面镜头影像的影像中心O的距离d1C；之后，该栅格化引擎75从该顶点C的数据结构的该正面镜头影像的”颜色调整混合权值”栏位中，取出一权值cw1C，以及从该顶点C的数据结构的该正面镜头影像的”颜色调整索引”栏位中，取出一对索引值(ide10C,ide11C)。接着，根据公式：R1XC＝cw1C×RA[ide10C]+(1-cw1C)×RA[ide11C]，该栅格化引擎75计算该正面镜头影像中一内插顶点Xc的半径R1XC，之后，再根据公式：ΔC1C＝(cw1C×CA[ide10C]+(1-cw1C)×CA[ide11C])×(d1C/R1XC)，计算于正面镜头影像中该顶点C的颜色调整量ΔC1C。依同样方式，根据公式：ΔC2C＝(cw2C×CA[ide20C]+(1-cw2C)×CA[ide21C])×(d2C/R2XC)，该栅格化引擎75可计算出于该顶面镜头影像中该顶点C的颜色调整量ΔC2C。
步骤S966：检查该顶点及其前面(从该修正顶点列表取出)的两个顶点形成一个三角形。若否，跳到步骤S976；若是，跳到步骤S968。
步骤S968：根据该三个顶点的颜色调整量及位于该三角形内各像素的纹理坐标，计算位于该三角形内各像素于各镜头影像的颜色调整量。
假设来自该修正顶点列表的顶点C及其前面的两个顶点(A、B)被两个镜头影像(正面及顶面；N＝2)所涵盖/重叠，以及该两个顶点(A、B)具有以下数据结构且其纹理坐标已被计算单元710修正过：vertex A:{(xA,yA),2,0,IDFront,(u1A,v1A),w1A,(idx10A,idx11A),Alpha1A,IA1A,(ide10A,ide11A),cw1A,IDTop,(u2A,v2A),w2A,(idx20A,idx21A),Alpha2A,IA2A,(ide20A,ide21A),cw2A}；vertex B:{(xB,yB),2,0,IDFront,(u1B,v1B),w1B,(idx10B,idx11B),Alpha1B,IA1B,(ide10B,ide11B),cw1B,IDTop,(u2B,v2B),w2B,(idx20B,idx21B),Alpha2B,IA2B,(ide20B,ide21B),cw2B}。类似于步骤S964说明的计算方式，根据公式：ΔC1A＝(cw1A×CA[ide10A]+(1-cw1A)×CA[ide11A])×(d1A/R1XA)及ΔC1B＝(cw1B×CA[ide10B]+(1-cw1B)×CA[ide11B])×(d1B/R1XB)，该栅格化引擎75计算该两个顶点(A、B)于该正面镜头影像中的颜色调整量(ΔC1A、ΔC1B)；另外，根据公式：ΔC2A＝(cw2A×CA[ide20A]+(1-cw2A)×CA[ide21A])×(d2A/R2XA)；ΔC2B＝(cw2B×CA[ide20B]+(1-cw2B)×CA[ide21B])×(d2B/R2XB)，该栅格化引擎75计算该两个顶点(A、B)于该顶面镜头影像中的颜色调整量(ΔC2A、ΔC2B)。接着，根据上述三个顶点的颜色调整量(ΔC1A、ΔC1B、ΔC1C)及纹理坐标，该栅格化引擎75决定该正面镜头影像中一颜色调整平面方程式(f(u,v)＝p×u+q×v+r)中的三个参数值(p,q,r)。然后，再根据该颜色调整平面方程式(ΔC1T＝p×u1T+q×v1T+r)，该栅格化引擎75计算于该正面镜头影像中位于上述三个顶点(A、B、C)所定义的一个三角形内的一目标像素T(u1T,v1T)的颜色调整量ΔC1T。依同样方式，该栅格化引擎75计算于该顶面镜头影像中位于上述三个顶点(A、B、C)所定义的一个三角形内该目标像素T(u2T,v2T)的颜色调整量ΔC2T。此外，该栅格化引擎75根据上述三个顶点的三个空间权值(a,b,c)及三个拼接混合权值(请参考表二)，分别计算正面及顶面镜头影像的两个工作面混合权值(fw1～fw2)如下：fw1＝a×w1A+b×w1B+c×w1C；fw2＝a×w1A+b×w1B+c×w1C。之后，该栅格化引擎75传送该目标像素T对应于正面及顶面镜头影像的两个工作面混合权值(fw1～fw2)及两个颜色调整量(ΔC1T、ΔC2T)至混合单元73。以此相同方式，该栅格化引擎75计算出位于该三角形(A、B、C)内各像素于各镜头影像的颜色调整量。
步骤S970：根据上述三个顶点于各镜头影像的纹理坐标，计算该三角形内各像素于各镜头影像的纹理坐标。以步骤S968中的目标像素T及三个顶点(A、B、C)为例，于正面及顶面镜头影像的目标像素T的纹理坐标计算如下：(u1T,v1T)＝(a×u1A+b×u1B+c×u1C,a×v1A+b×v1B+c×v1C)；(u2T,v2T)＝(a×u2A+b×u2B+c×u2C,a×v2A+b×v2B+c×v2C)。其中，(u1A,v1A)、(u1B,v1B)及(u1C,v1C)代表三个顶点(A、B、C)于正面镜头影像的纹理坐标、(u2A,v2A)、(u2B,v2B)及(u2C,v2C)代表三个顶点(A、B、C)于顶面镜头影像的纹理坐标以及(a,b,c)代表三个空间权值。
步骤S972：根据上述三角形内各像素的纹理坐标，纹理映射(texture-map)所述镜头影像的纹理数据。以步骤S970中的目标像素T及三个顶点(A、B、C)为例，根据目标像素T的两个纹理坐标(u2T,v2T)及(u2T,v2T)，两个纹理映射引擎721～722利用任何合适的方法(例如最近相邻内插法、双线性内插法、或三线性内插法)，纹理映射该正面与顶面镜头影像的纹理数据以产生两个取样值s1及s2。
步骤S974：根据上述三角形内各像素的取样值、颜色调整量及工作面混合权值，计算上述三角形内各像素的颜色值(包含Y、U、V成分)。以步骤S972中的目标像素T及三个顶点(A、B、C)为例，混合单元73从该栅格化引擎75接收到两个工作面混合权值(fw1～fw2)及两个颜色调整量(ΔC1T、ΔC2T)以及从纹理映射引擎721～722接收到两个取样值s1及s2之后，利用以下方程式来混合两个取样值s1及s2以产生像素T的颜色值Vb：Vb＝fw1×(s1+ΔC1T)+fw2×(s2+ΔC2T)，其中fw1+fw2＝1。最后，混合单元73将像素T的颜色值Vb存储于目标缓冲器74内的一对应位置中。依此相同方式，可计算出上述三角形(A、B、C)内各像素的颜色值。
步骤S976：检查是否已处理完所有顶点。若否，回到步骤S962；若是，结束本流程且形成一颜色补偿后的全景影像。
在另一例子中，假设来自该修正顶点列表的三个顶点(A、B、C)仅被一镜头影像(正面；N＝1)所涵盖，除了只需处理一镜头影像之外，其计算方式是类似的，混合单元73接收到一工作面混合权值(fw1)、一颜色调整量(ΔC1T)以及一取样值s1之后，利用以下方程式来产生像素T的颜色值Vb：Vb＝fw1×(s1+ΔC1T)，其中fw1＝1。
本发明影像处理装置220及对应性产生器250可以软件、硬件、或软件(或韧体)及硬件的组合来实施，一单纯解决方案的例子是现场可程式闸阵列(field programmablegate array)或一特殊应用集成电路(application specific integrated circuit)。一较佳实施例中，该影像处理装置220利用一图形处理单元(Graphics Processing Unit)以及一第一程序存储器来实施；该对应性产生器250利用一个一般用途(general-purpose)处理器以及一第二程序存储器来实施。该第一程序存储器存储一第一处理器可执行程序，而第二程序存储器存储一第二处理器可执行程序。当该图形处理单元执行该第一处理器可执行程序时，该图形处理单元被组态(configured)以运作有如：该影像处理装置220。当该一般用途处理器执行该第二处理器可执行程序时，该一般用途处理器被组态以运作有如：该对应性产生器250。
另一实施例中，影像处理装置220及对应性产生器250利用一个一般用途处理器以及一第三程序存储器来实施。该第三程序存储器存储一第三处理器可执行程序。当该一般用途处理器执行该第三处理器可执行程序时，该一般用途处理器被组态以运作有如：该对应性产生器250以及该影像处理装置220。
上述仅为本发明的较佳实施例而已，而并非用以限定本发明的申请专利范围；凡其他未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在下述申请专利范围内。

Claims (23)

1.一种全景影像中邻近镜头影像间颜色差的补偿方法，用以补偿一全景影像中邻近镜头影像间的颜色差，各镜头影像包含多个特征区且各特征区具有一特征点，其特征在于，所述方法包含：
根据所述特征区的平均颜色值，计算从一部具多镜头的照相机产生的多个镜头影像中任两个邻近镜头影像间的每一对特征区的颜色差值；
根据每一对特征区的颜色差值，决定各镜头影像中所述特征点的颜色调整量；以及
根据一单元与其两个邻近特征点的位置以及所述两个邻近特征点的颜色调整量，计算所述单元的颜色调整量。
2.如权利要求1所述的方法，其特征在于，所述具多镜头的照相机捕捉到一个视野，涵盖360度水平视域以及高达180度的垂直视域，以产生所述镜头影像。
3.如权利要求1所述的方法，其特征在于，各特征点是其对应特征区的重心。
4.如权利要求1所述的方法，其特征在于，更包含：
于所述计算所述颜色差值步骤之前，取得所述特征区的平均颜色值。
5.如权利要求4所述的方法，其特征在于，所述取得步骤包含：
决定各镜头影像中各特征区的形状与大小以及各特征点的纹理坐标；以及
计算各特征区的平均颜色值。
6.如权利要求4所述的方法，其特征在于，所述取得步骤包含：
通过校正所述具多镜头的照相机，以取得一对应表以及一第一顶点列表之其一；
选定具有预设经度及纬度坐标的所述特征点；
根据各特征点的预设经度及纬度坐标与所述对应表以及所述第一顶点列表之其一，决定各特征点于各镜头影像中的纹理坐标；
决定各特征点的对应特征区的形状及大小；以及
计算各特征区的平均颜色值；
其中，所述第一顶点列表包含多个具有数据结构的第一顶点，且所述数据结构定义所述全景影像及所述镜头影像之间的顶点映射；
其中，所述对应表包含多个第二顶点，且各第二顶点提供所述全景影像及所述镜头影像之间的映射。
7.如权利要求4所述的方法，其特征在于，所述取得步骤包含：
对于来自一第一顶点列表的三个顶点所形成的一个三角形内的各像素，对所述三个顶点的修正纹理坐标进行三角形栅格化操作及纹理映射操作，以产生对应N个镜头影像的N个取样值，其中N>1；
对所述三角形内的各像素，以多个颜色值累加器来分别累加所述N个取样值，其中所述颜色值累加器以所述三个顶点的数据结构中的N个累加器索引值来索引；
对所述三角形内的各像素，以多个像素计数器来分别累加所述N个镜头影像中的像素数目，其中所述像素计数器以所述N个累加器索引值来索引；
重复所述进行三角形栅格化操作及纹理映射操作步骤、所述分别累加所述N个取样值步骤以及所述分别累加所述N个镜头影像中的像素数目步骤，直到处理完来自所述第一顶点列表的所有顶点为止；以及
根据一对应颜色值累加器以及一对应像素计数器的输出值，计算各镜头影像中各特征区的平均颜色值；
其中，所述第一顶点列表包含多个具有数据结构的顶点，且所述数据结构定义所述全景影像及所述镜头影像之间的顶点映射。
8.如权利要求7所述的方法，其特征在于，所述取得步骤更包含：
在所述进行三角形栅格化操作及纹理映射操作步骤之前，根据各所述三个顶点于各镜头影像的对应接合程度及原始纹理坐标，计算各所述三个顶点于各镜头影像的修正纹理坐标。
9.如权利要求7所述的方法，其特征在于，更包含：
根据各特征区中顶点的总数，分别平均属于各特征区中所述顶点的原始纹理坐标，来决定各镜头影像中各特征区内各特征点的纹理坐标。
10.如权利要求7所述的方法，其特征在于，更包含：
根据各特征区中顶点的总数，分别平均属于各特征区中所述顶点的修正纹理坐标，来决定各镜头影像中各特征区内各特征点的纹理坐标。
11.如权利要求7所述的方法，其特征在于，更包含：
根据所述像素计数器的输出值，分别平均属于各特征区中所述像素的纹理坐标，来决定各镜头影像中各特征区内各特征点的纹理坐标。
12.如权利要求1所述的方法，其特征在于，所述决定步骤包含：
根据每一对特征区的颜色差值，决定所有特征点的初始颜色调整量；
以一低通滤波器，修正一镜头影像中所述特征点的初始颜色调整量；以及
重复所述修正步骤，直到处理完所有镜头影像为止，以取得各镜头影像中所述特征点的颜色调整量。
13.如权利要求1所述的方法，其特征在于，所述决定步骤包含：
以一低通滤波器，修正一镜头影像中所述特征点的颜色差值，以产生所述特征点的过滤颜色差值；
根据所述特征点的过滤颜色差异值，决定所述镜头影像中所述特征点的颜色调整量；以及
重复所述修正步骤以及所述决定所述镜头影像中所述特征点的颜色调整量步骤，直到处理完所有镜头影像为止，以取得各镜头影像中所述特征点的颜色调整量。
14.如权利要求1所述的方法，其特征在于，更包含：
根据一像素的取样值及颜色调整量，计算所述像素的颜色值。
15.如权利要求14所述的方法，其特征在于，更包含：
重复所述计算所述单元的颜色调整量步骤以及所述计算所述像素的颜色值步骤，直到处理完一镜头影像内所有的像素为止，以形成一颜色补偿后的镜头影像。
16.如权利要求15所述的方法，其特征在于，所述单元为一像素。
17.权利要求14所述的方法，其特征在于，所述单元包含形成一个多边形的多个顶点以及所述计算所述单元的颜色调整量步骤包含：
于一镜头影像中，根据中各所述多个顶点的半径及其两个邻近特征点的半径及颜色调整量，计算各所述多个顶点的颜色调整量；以及
于所述镜头影像中，根据位于所述多边形内所述像素的纹理坐标及所述多个顶点的颜色调整量，计算所述像素的颜色调整量。
18.如权利要求17所述的方法，其特征在于，所述多边形是一个四边形以及所述计算所述像素的颜色调整量步骤包含：
于所述镜头影像中，利用双线性内插法，根据形成一个四边形的四个顶点的颜色调整量与纹理坐标以及位于所述四边形内的所述像素的纹理坐标，计算所述像素的颜色调整量。
19.如权利要求17所述的方法，其特征在于，所述多边形是一个三角形以及所述计算所述像素的颜色调整量步骤包含：
于所述镜头影像中，根据形成所述三角形的三个顶点的颜色调整量与纹理坐标，决定一颜色调整平面方程式；以及
于所述镜头影像中，根据所述颜色调整平面方程式以及位于所述三角形中所述像素的纹理坐标，计算所述像素的颜色调整量。
20.如权利要求14所述的方法，其特征在于，所述单元包含形成一个三角形的三个顶点以及所述计算所述单元的颜色调整量步骤包含：
(a)根据来自一第二顶点列表的各所述三个顶点的数据结构中于N个镜头影像中的N个纹理坐标、N个颜色调整混合权值及对应一第一阵列及一第二阵列的N对索引值，计算各所述三个顶点于各所述N个镜头影像中的颜色调整量，其中，N代表所述三个顶点的重叠镜头影像数目且N>1；
(b)于各所述N个镜头影像中，根据所述三个顶点的颜色调整量及纹理坐标，决定一颜色调整平面方程式的多个参数值；以及
(c)于各所述N个镜头影像中，根据所述颜色调整平面方程式以及位于所述三角形的所述像素的纹理坐标，计算所述像素的颜色调整量；
其中，所述特征区的颜色调整量及半径分别存储所述第一阵列及所述第二阵列；以及
其中，所述第二顶点列表包含多个具有数据结构的顶点，且所述数据结构定义所述全景影像及所述镜头影像之间的顶点映射，以及各数据结构包含于各镜头影像的纹理坐标、所述颜色调整混合权值及对应所述第一阵列及所述第二阵列的一对索引值。
21.如权利要求20所述的方法，其特征在于，所述计算所述像素的颜色值步骤包含：
(d)根据所述三个顶点的空间权值及于所述N个镜头影像的纹理坐标，计算位于所述三角形内的所述像素于所述N个镜头影像的N个纹理坐标；
(e)根据所述像素的所述N个纹理坐标，纹理映射所述N个镜头影像的纹理数据，以产生N个取样值；
(f)根据所述三个顶点的空间权值及于所述N个镜头影像的拼接混合权值，计算N个工作面混合权值；以及
(g)根据于所述N个镜头影像的所述N个工作面混合权值、所述N个取样值以及所述N个颜色调整量，计算所述像素的颜色值；
其中，所述空间权值是有关于所述三个顶点及所述像素的等距长方坐标；以及
其中，所述第二顶点列表中各数据结构更包含各所述N个镜头影像的拼接混合权值。
22.如权利要求21所述的方法，其特征在于，所述计算所述像素的颜色值步骤更包含：
(h)重复步骤(c)至(g)，直到处理完所述三角形内所有的像素为止；以及
(i)重复步骤(a)至(h)，直到处理完所有顶点为止，以形成一颜色补偿后的全景影像。
23.如权利要求1所述的方法，其特征在于，所述计算所述单元的颜色调整量步骤包含：
根据下列方程式：RX＝(1-α)×RG+α×RH，计算所述镜头影像j中邻近所述单元S的两个特征点G及H之间的一内插点X的半径RX；
根据下列方程式：
Figure FDA0003002353420000051
计算所述内插点X的颜色调整量
Figure FDA0003002353420000052
以及
根据下列方程式：
Figure FDA0003002353420000053
计算所述单元S的颜色调整量
Figure FDA0003002353420000054
其中，
Figure FDA0003002353420000055
代表所述镜头影像j的影像中心O与所述单元S的距离，其中，α＝∠GOS/∠HOS，其中
Figure FDA0003002353420000056
及
Figure FDA0003002353420000057
分别代表于所述镜头影像j中所述两个特征点G及H的颜色调整量，以及其中RG、RH及RX分别代表点G、H及X相对于影像中心O的半径，以及二向量
Figure FDA0003002353420000058
及
Figure FDA0003002353420000059
具有相同方向。
CN202110351831.3A 2020-12-08 2021-03-31 全景影像中邻近镜头影像间颜色差的补偿方法 Pending CN114615477A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/115,215 2020-12-08
US17/115,215 US11616909B2 (en) 2020-12-08 2020-12-08 Method of compensating for color differences between adjacent lens images in a panoramic image

Publications (1)

Publication Number Publication Date
CN114615477A true CN114615477A (zh) 2022-06-10

Family

ID=81848408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351831.3A Pending CN114615477A (zh) 2020-12-08 2021-03-31 全景影像中邻近镜头影像间颜色差的补偿方法

Country Status (3)

Country Link
US (1) US11616909B2 (zh)
CN (1) CN114615477A (zh)
TW (1) TWI783423B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117438056A (zh) * 2023-12-20 2024-01-23 达州市中心医院(达州市人民医院) 用于消化内镜影像数据的编辑筛选与存储控制方法和系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4005201A1 (en) * 2019-07-28 2022-06-01 Google LLC Methods, systems, and media for rendering immersive video content with foveated meshes
CN111915520B (zh) * 2020-07-30 2023-11-10 黑芝麻智能科技(上海)有限公司 用于改善拼接图像的亮度的方法、装置和计算机设备
CN116611991B (zh) * 2023-07-20 2023-10-03 杭州几率视界科技有限公司 一种基于gpu描绘复杂场景的处理方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621767B2 (en) 2017-06-12 2020-04-14 Qualcomm Incorporated Fisheye image stitching for movable cameras
CN107360418B (zh) 2017-09-21 2019-12-27 长沙全度影像科技有限公司 一种全景相机颜色一致性评判系统及方法
US10628990B2 (en) 2018-08-29 2020-04-21 Intel Corporation Real-time system and method for rendering stereoscopic panoramic images
CN109493273B (zh) 2018-10-09 2023-07-11 珠海大轩信息科技有限公司 一种色彩一致性调节方法
JP7100574B2 (ja) * 2018-12-21 2022-07-13 ルネサスエレクトロニクス株式会社 半導体装置、画像処理方法およびプログラム
US10810700B2 (en) 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
US11694303B2 (en) * 2019-03-19 2023-07-04 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 stitching workflow and parameter

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117438056A (zh) * 2023-12-20 2024-01-23 达州市中心医院(达州市人民医院) 用于消化内镜影像数据的编辑筛选与存储控制方法和系统
CN117438056B (zh) * 2023-12-20 2024-03-12 达州市中心医院(达州市人民医院) 用于消化内镜影像数据的编辑筛选与存储控制方法和系统

Also Published As

Publication number Publication date
TW202224419A (zh) 2022-06-16
US20220182541A1 (en) 2022-06-09
US11616909B2 (en) 2023-03-28
TWI783423B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
US10104288B2 (en) Method and apparatus for generating panoramic image with stitching process
CN114615477A (zh) 全景影像中邻近镜头影像间颜色差的补偿方法
CA3019163C (en) Generating intermediate views using optical flow
TWI728620B (zh) 基於全景影像內控制區的紋理座標調整方法
JP4828779B2 (ja) 高速デジタルパンチルトズームビデオ
US10186067B2 (en) Method and apparatus for generating panoramic image with rotation, translation and warping process
US20180018807A1 (en) Method and apparatus for generating panoramic image with texture mapping
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN116437165A (zh) 影像处理系统及其方法
TWI762353B (zh) 以縮放調整及接縫拼接來產生投影影像的方法
CN115484442A (zh) 以缩放调整及接缝拼接来产生投影影像的方法
TWI837563B (zh) 以多鏡頭相機產生投影影像之影像處理系統及其方法
CN110544203A (zh) 一种运动最小二乘法与线约束相结合的视差图像拼接方法
Yuan et al. A novel method for geometric correction of multi-cameras in panoramic video system
TW202327349A (zh) 以多鏡頭相機產生投影影像之影像處理系統及其方法
TWI807845B (zh) 產生具感興趣區域之投影影像的系統及方法
Hui et al. A positioning method for the optimal seam in binocular visual image stitching
EP3229470A1 (en) Efficient canvas view generation from intermediate views

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination