CN110264406B - 图像处理装置及图像处理的方法 - Google Patents

图像处理装置及图像处理的方法 Download PDF

Info

Publication number
CN110264406B
CN110264406B CN201910555216.7A CN201910555216A CN110264406B CN 110264406 B CN110264406 B CN 110264406B CN 201910555216 A CN201910555216 A CN 201910555216A CN 110264406 B CN110264406 B CN 110264406B
Authority
CN
China
Prior art keywords
image
area
flow
adjusted
overlapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910555216.7A
Other languages
English (en)
Other versions
CN110264406A (zh
Inventor
蔡宗谕
陈奕志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weisheng Electronics Shenzhen Co ltd
Original Assignee
Weisheng Electronics Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weisheng Electronics Shenzhen Co ltd filed Critical Weisheng Electronics Shenzhen Co ltd
Publication of CN110264406A publication Critical patent/CN110264406A/zh
Application granted granted Critical
Publication of CN110264406B publication Critical patent/CN110264406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Abstract

一种图像处理装置及图像处理的方法。图像处理装置包括至少一个图像撷取装置及处理器。处理器从图像撷取装置接收第一图像与第二图像，并识别第一图像与第二图像之间的重叠区域。处理器分析所述重叠区域以获得多个特征点、第一经光流调整区域及第二经光流调整区域，利用特征点作为顶点以将第一经光流调整区域及第二经光流调整区域划分为多个三角区块，将第一经光流调整区域及第二经光流调整区域中对应的三角区块进行混合以形成经拼接区域，组合经拼接区域及第一图像与第二图像中的多个未重叠区域以产生经拼接图像。由此大幅降低运算复杂度并可具备较佳的影像品质，从而适用于图像拼接的实时运算、立体图像及影像生成等诸多实时性应用。

Description

图像处理装置及图像处理的方法
技术领域
本发明涉及一种图像(image)及影像(video)处理技术，且特别涉及一种利用稀疏光流法及三角区块进行图像拼接以降低运算复杂度的图像处理装置及图像处理的方法。
背景技术
图像撷取技术越发进步的现今，使用者经常希望能利用手上的消费型电子设备来撷取视角更大、更为立体的画面及影像。然而，由于单一照相机或摄影机有其自身的镜头视角大小的问题，若希望获得立体或是广域(如，180度或360度)视角的图像的话，常用多台照相机或摄影机同时撷取影像并将这些影像进行拼接，便是目前最常使用的影像撷取与拼接技术。
许多影像拼接技术/影像匹配技术需要十分大量的运算量来计算两张或多张图像上所有像素点的偏移量，才能进行像素级别的图像匹配/图像拼接。然而，上述做法需要许多硬件运算量来实现，难以应用于实时性的图像拼接应用。
发明内容
本发明提供一种图像处理装置及图像处理的方法，利用稀疏光流法及三角区块进行图像拼接，以大幅降低运算复杂度并可具备较佳的影像品质，从而适用于图像拼接的实时运算、立体图像及影像生成等诸多实时性应用。
本发明实施例的图像处理装置包括至少一个图像撷取装置以及处理器。所述至少一个图像撷取装置用以撷取第一图像与第二图像。第一图像与第二图像部分重叠。处理器耦接图像撷取装置。处理器从图像撷取装置接收第一图像与第二图像，识别第一图像与第二图像之间的重叠区域以作为第一重叠区域及第二重叠区域。处理器分析第一重叠区域及第二重叠区域以获得多个特征点、第一经光流调整区域及第二经光流调整区域。处理器利用所述特征点作为顶点以将第一经光流调整区域及第二经光流调整区域划分为多个三角区块，并将第一经光流调整区域及第二经光流调整区域中对应的三角区块进行混合以形成经拼接区域。处理器组合经拼接区域及第一图像与第二图像中的多个未重叠区域以产生经拼接图像。经拼接图像为第一图像与第二图像的拼接结果。
本发明实施例的图像处理的方法包括：获得第一图像与第二图像，其中第一图像与第二图像部分重叠；识别第一图像与第二图像之间的重叠区域以作为第一重叠区域及第二重叠区域；分析第一重叠区域及第二重叠区域以获得多个特征点、第一经光流调整区域及第二经光流调整区域；利用所述特征点作为顶点以将第一经光流调整区域及第二经光流调整区域划分为多个三角区块，并将第一经光流调整区域及第二经光流调整区域中对应的三角区块进行混合以形成经拼接区域；以及，组合经拼接区域及第一图像与第二图像中的多个未重叠区域以产生经拼接图像，经拼接图像为第一图像与第二图像的拼接结果。
基于上述，本发明实施例所述的图像处理装置及图像处理的方法在进行两个图像的图像拼接时，利用图像特征检测法及稀疏光流法以分析图像中重叠区域，从而产生数个特征点及经由稀疏光流法处理后的重叠区域。然后，图像处理装置利用这些特征点划分处理后的重叠区域以获得数个三角区块，借以将重叠区域中位于相同位置的三角区块利用视图插值、像素混合等方式进行混合以形成经拼接区域，并利用第一图像与第二图像中的多个未重叠区域以产生经拼接图像。换言之，本发明实施例利用稀疏光流法及三角区块进行图像拼接，且不需通过稠密光流法将重叠区域中的每个像素都进行运算，由此大幅降低运算复杂度并可具备较佳的影像品质，从而适用于图像拼接的实时运算、立体图像及影像生成等诸多实时性应用。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图示作详细说明如下。
附图说明
图1是依照本发明一实施例的一种图像处理装置的示意图。
图2A至图2C分别是依照本发明一实施例中多个图像撷取装置的镜头排列的示意图。
图3是依照本发明一实施例的一种图像处理的方法的流程图。
图4是本发明一实施例以图2B的镜头排列所获得的第一图像及第二图像的示意图。
图5是本发明一实施例中第一经光流调整区域及第二经光流调整区域的示意图。
图6是依照本发明一实施例以将第一图像与第二图像进行图像拼接后的经拼接图像示意图。
附图标记说明
100：图像处理装置；110：图像撷取装置；120：处理器；130：储存单元；211～227：图像撷取装置的镜头；S310～S350：图像处理的方法的各步骤；410：第一图像；420：第二图像；430、440：第一重叠区域；432、442：第二重叠区域；450、452：非重叠区域；530：第一经光流调整区域；532：第二经光流调整区域；600：经拼接图像；630：经拼接区域；640-1、640-2：经拼接区域；A1、B1、C1、D1、E1、F1、A2、B2、C2、D2、E2、F2：特征点；(X1，Y1)、(X2，Y2)：坐标。
具体实施方式
图1是依照本发明一实施例的一种图像处理装置100的示意图。图像处理装置100可以是具备一个或多个镜头或外接图像撷取装置(例如，具备多个镜头的全景照相机)的消费型电子装置，如笔记型电脑、智慧型手机、桌上型电脑等。本实施例的图像处理装置100可用于处理图像拼接以作为图像或影像显示的应用，如虚拟现实眼镜所需的左眼影像与右眼影像、全景投影机的全景影像等。
图像处理装置100至少包括至少一个图像撷取装置(如，图1所示的图像撷取装置110)以及处理器120。图像处理装置100还可包括储存单元130，以作为处理图像时的暂存区。处理器120可以是中央处理器(CPU)、图形处理器(GPU)、数字信号处理器(DSP)等。储存单元130可以是随机存取存储器、快取硬盘等。应用本实施例者应其需求调整处理器120及储存单元130的实现元件，只要其功能符合本发明实施例即可。
本实施例的图像撷取装置110可具备多样化的镜头排列，从而让所撷取的图像具备足够的重叠部分，借以进行图像拼接，并在立体图像或全景图像上的应用上获得较佳的感官呈现。本实施例中，为使两个图像之间的重叠区域足以平顺地进行图像拼接，希望所述重叠区域的面积至少可占图像面积的15％或以上。例如，若图像的格式为1920×1080时，则重叠面积中的像素数量超过31万个为佳。当然，应用本实施例者可依其需求来设置重叠区域与图像之间的面积占比，本发明不限制于此。在符合本实施例的其他实现方式中，亦可单独使用具备单个镜头的单个图像撷取装置，并通过撷取多张且互为连续的图像的方式来获得多个图像，并将这些图像相互拼接以获得完整的全景图像、立体图像或其他应用所需的图像、影像。
图2A至图2C分别是依照本发明一实施例中多个图像撷取装置的镜头排列的示意图。图2A中揭示用以撷取全景图像的8个图像撷取装置，这8个图像撷取装置的镜头211～218以中心点为准且成放射型排列。并且，为使图像撷取装置所撷取的图像(称为，第一图像)与邻近的图像撷取装置所撷取的图像(称为，第二图像)之间有足够的重叠面积，本实施例将图像撷取装置的数量称为N个(N为正整数)，每个图像撷取装置的视角为X度(X为正数)，因此图像撷取装置的数量(N)乘以每个图像撷取装置的视角(X)的数值大于等于720度为佳(亦即，X×N≥720o)。因此，图2A中每个图像撷取装置的视角设计在90度或90度以上的角度范围为佳。此外，亦可让每个图像撷取装置的视角与相邻图像撷取装置的视角相互交叠约50％以上，从而获得较佳的图像拼接效果。
应用本实施例者亦可使用不同数量、不同排列的图像撷取装置来实现本实施例，图2B中揭示以两个图像撷取装置来实现图像的撷取，在此主要绘示这两个图像撷取装置的镜头219及220。镜头219的图像撷取方向W1与图像撷取装置的镜头220的图像撷取方向W2相反，且为使透过镜头219所撷取到的图像能够与镜头220所撷取到的图像相互重叠，镜头219的视角EOF1及镜头220的视角EOF2经设计在220度或以上的角度范围为佳。图2C中示出9个图像撷取装置所对应的镜头221～229，这些镜头221～229以3×3的阵列形式排列在同一平面上。由此，相邻图像撷取装置所撷取的图像便可具备充足的重叠区域。应用本实施例者亦可使用不同阵列或形状来排列多个镜头。
图3是依照本发明一实施例的一种图像处理的方法的流程图。图3所述图像处理的方法可依据图1中图像处理装置100来实现。请参照图1及图3，在步骤S310中，处理器120从至少一个图像撷取装置110获得包含第一图像与第二图像的多个图像。本实施例以第一图像与跟第一图像相邻的第二图像作为举例，且第一图像与第二图像部分重叠。在步骤S320中，处理器120识别第一图像与第二图像之间的重叠区域以作为第一重叠区域及第二重叠区域。
为方便说明步骤S320，本实施例利用图4作为举例。图4是本发明一实施例以图2B的镜头排列所获得的第一图像410及第二图像420的示意图。图4的第一图像410系由镜头219所撷取，第二图像420由镜头220所撷取。因此，处理器120识别出第一图像410具备两个第一重叠区域430及440以及非重叠区域450、识别出第二图像420具备两个第二重叠区域432及442以及非重叠区域452，第一重叠区域430与第二重叠区域432相互重叠，且第一重叠区域440与第二重叠区域442相互重叠。为方便说明，本实施例主要以第一重叠区域430与第二重叠区域432作为举例，应用本实施例者可依据本实施例的公开引申到第一重叠区域440与第二重叠区域442或相似重叠区域的图像拼接、混合。
请参考图3及图4，在步骤S330中，图1的处理器120分析第一重叠区域430及第二重叠区域440以获得多个特征点、第一经光流调整区域及第二经光流调整区域。详细来说，步骤S330可由步骤S332及S334实现。在步骤S332中，图1的处理器120依据图像特征检测法(如，尺度不变特征转换(Scale-invariant feature transform；SIFT)、定向快速及旋转简述(Oriented FAST and rotated BRIEF；ORB)或其他图像特征检测法)来分析所要混合的两个重叠区域(即，第一重叠区域430及第二重叠区域432)中的像素信息以取得可作为像素代表的特征点，并利用稀疏光流法(例如是，Lucas Janade光流法)计算这些特征点所对应的光流向量。由于本发明实施例仅从像素中选择部分的特征点进行光流向量的计算，因此相较于将每个像素都计算对应的光流向量的稠密光流法来说，图像特征检测法结合稀疏光流法所需的计算复杂度大为降低。
所谓的“光流向量”是指，当第一重叠区域430中的每个像素要调整成第二重叠区域432中的对应像素时，第一重叠区域430中的像素要移动多少向量(亦即，光流向量，在一例子中可以是以像素数为单位)才会最为接近第二重叠区域432中的对应像素的内容。相似地，当第二重叠区域432中的每个像素要调整成第一重叠区域430中的对应像素时，第二重叠区域432中的像素要移动多少向量(亦即，光流向量)才会最为接近第一重叠区域430中的对应像素的内容。
在步骤S334中，图1的处理器120便可依据这些特征点及其所对应的光流向量调整第一重叠区域430及第二重叠区域432以形成第一经光流调整区域及第二经光流调整区域。在此以图5中的第一经光流调整区域530及第二经光流调整区域532作为举例，图5是本发明一实施例中第一经光流调整区域530及第二经光流调整区域532的示意图。在本实施例中，由于第一重叠区域430及第二重叠区域432互为左右重叠，因此若要进行双向(亦即，从第一重叠区域430调整成第二重叠区域432；或是，从第二重叠区域432调整成第一重叠区域430)的像素混合运算的话，就需要先行计算出从第一重叠区域430调整成第二重叠区域432的第一经光流调整区域530，以及从第二重叠区域432调整成第一重叠区域430的第二经光流调整区域532。
处理器120是依据特定比例来调整第一重叠区域430及第二重叠区域432以形成第一经光流调整区域530及第二经光流调整区域532。此特定比例可依据第一重叠区域430的像素与第二重叠区域432的对应像素之间的光流向量值、使用者的瞳距(pupil distance；IPD)等参数和/或按照拼接图像的应用而对应地调整。例如，经图像拼接后的经拼接图像可以采取：将位于第一经光流调整区域530(亦即，从左方第一重叠区域430到右方第二重叠区域432产生的经光流调整区域)中光流向量的比例设为50％的比例来移动第一重叠区域430中的各像素以形成第一经光流调整区域530，且将第二经光流调整区域532(亦即，从右方第二重叠区域432到左方第一重叠区域430产生的经光流调整区域)中光流向量的位移取50％的比例来移动第二重叠区域432中的各像素以形成第二经光流调整区域532，并且利用第一经光流调整区域530与第二经光流调整区域532进行后续像素混合的计算。换句话说，在本实施例中，第一重叠区域430中的各像素会移动至要调整成第二重叠区域432中的对应像素时的向量的中间位置，而第二重叠区域432中的各像素也会移动至要调整成第一重叠区域430中的对应像素时的向量的中间位置，再将上述二者进行后续像素混合的计算。若经拼接图像的应用是用于立体图像的呈现，则可采取：将位于第一经光流调整区域530中光流向量的比例设为20％的比例，且将第二经光流调整区域532中光流向量的位移取80％的比例来进行像素混合的计算，以获得立体图像中的左眼图像；将位于第一经光流调整区域530中光流向量的比例设为80％的比例，且将第二经光流调整区域532中光流向量的位移取20％的比例来进行像素混合的计算，以获得立体图像中的右眼图像。最后，依据上述的左眼图像及右眼图像重新编码以产生立体图像或立体影像。在立体图像的实施例中，光流向量的比例可以依据使用者的瞳距调整。
请同时参考图3及图5，由于步骤S330仅处理像素中的特征点，并未将全部的像素进行处理，因此为了让经画面拼接后的结果更为平滑，在步骤S340中，图1的处理器120利用步骤S332所获得的多个特征点作为顶点以将第一经光流调整区域530及第二经光流调整区域532划分为多个三角区块，并将第一经光流调整区域530及第二经光流调整区域532中对应的所述三角区块进行混合以形成经拼接区域。详细来说，图5中的第一经光流调整区域530包括特征点A1、B1、C1、D1、E1及F1，第二经光流调整区域532包括特征点A2、B2、C2、D2、E2及F2，且特征点A1对应特征点A2；特征点B1对应特征点B2；特征点C1对应特征点C2；特征点D1对应特征点D2；特征点E1对应特征点E2；特征点F1对应特征点F2。处理器120利用特征点A1、B1、C1、D1、E1及F1作为顶点以形成多个三角区块，特征点A2、B2、C2、D2、E2及F2作为顶点以为对应的多个三角区块。然后，处理器120将第一经光流调整区域530中的第一三角区块(如，以特征点A1、B1、C1作为顶点的三角区块)及第二经光流调整区域532中对应位置的第二三角区块(如，以特征点A2、B2、C2作为顶点的三角区块)进行混合，以形成经拼接区域中对应位置的经拼接三角区块。所述“混合”是以特定比例结合相对应的两个三角区块的坐标、像素值，利用视图插值(view interpolation)技术补插出经拼接区域中对应位置的经拼接三角区块，并将这些经拼接三角区块组合成经拼接区域。用于混合坐标的特定比例与用于混合像素值的特定比例可以互为相同或不同数值。例如，混合坐标的做法可以例如是，若特征点D1的坐标为(X1，Y1)、特征点D2的坐标为(X2，Y2)、且特定比例为θ，则经拼接区域中对应特征点D1及特征点D2的像素将位于((X1+X2)×θ，(Y1+Y2)×θ)。若θ为50％，则像素坐标位于
Figure BDA0002106682190000081
而在另一实施例中，混合像素值的作法可以例如是以下述方程式F1及F2表示的像素值：
Figure BDA0002106682190000082
D＝tanh(k4×d12)…F2
上述方程式的c为混合后的像素值；c1为第一经光流调整区域530的特征点的像素值；c2为对应的第二经光流调整区域532的特征点的像素值；r1与r2为结合像素值的特定比例(r1与r2可依需求调整，例如可以是r1＝0.5，r2＝0.5或r1＝0.2，r2＝0.8等数值)；α1与α2分别为对应该特征点的第一重叠区域430像素与第二重叠区域432像素的不透明度参数(Alpha Channel)；I12与I21分别为将对应该特征点的第一重叠区域430像素调整成第二重叠区域432中对应像素的光流向量与将对应该特征点的第二重叠区域432像素调整成第一重叠区域430中对应像素的光流向量；d12为对应该特征点的第一重叠区域430像素与第二重叠区域432中对应像素间的色差(即像素间的欧式距离(Euclidean distance))；k1到k4为可依需求调整的常数。故在本实施例中，用于混合像素值的特定比例可依据对应该特征点的第一重叠区域430的像素与第二重叠区域432像素的色差、不透明度参数、光流向量值而调整；不透明度参数越大者在像素值的混合中所占的比例越高，而光流向量越大者在像素值的混合中所占的比例也越高。在其他实施例中，混合像素值的作法也可以是以其他方式进行，例如可以不考虑不透明度参数(即将上式中的α1与α2设为常数而并入k2与k3)，或是直接将第一经光流调整区域530的特征点与对应的第二经光流调整区域532的特征点的像素值计算平均值作为混合后的像素值。
在步骤S350中，图1的处理器120组合由步骤S340获得的经拼接区域及第一图像(如，图4中第一图像410)与第二图像(如，图4中第二图像420)中的多个未重叠区域(如，第一图像410的未重叠区域450以及第二图像420的未重叠区域452)以产生经拼接图像600，如图6所示。图6是依照本发明一实施例以将第一图像410与第二图像420进行图像拼接后的经拼接图像600示意图。此处的经拼接图像600为图4的第一图像410与第二图像420的拼接结果。从图6中可知，经拼接图像600为利用经拼接区域630(即，由第一重叠区域430与第二重叠区域432经拼接及混合后的区域)、经拼接区域640-1、640-2(即，由第一重叠区域440与第二重叠区域442经拼接及混合后的区域，因为经拼接图像600为全景图像，因此分为两个经拼接区域640-1、640-2呈现)、第一图像410的未重叠区域450以及第二图像420的未重叠区域452相互组合而成。
综上所述，本发明实施例所述的图像处理装置及图像处理的方法在进行两个图像的图像拼接时，利用图像特征检测法及稀疏光流法以分析图像中重叠区域，从而产生数个特征点及经由稀疏光流法处理后的重叠区域。然后，图像处理装置利用这些特征点划分处理后的重叠区域以获得数个三角区块，借以将重叠区域中位于相同位置的三角区块利用视图插值、像素混合等方式进行混合以形成经拼接区域，并利用第一图像与第二图像中的多个未重叠区域以产生经拼接图像。换言之，本发明实施例利用稀疏光流法及三角区块进行图像拼接，且不需通过稠密光流法将重叠区域中的每个像素都进行运算，由此大幅降低运算复杂度并可具备较佳的影像品质，从而适用于图像拼接的实时运算、立体图像及影像生成等诸多实时性应用。
以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可以在此基础上做进一步的改进和变化，因此本发明的保护范围应当以本申请的权利要求书所界定的范围为准。

Claims (8)

1.一种图像处理装置，包括：
至少一个图像撷取装置，用以撷取第一图像与第二图像，其中所述第一图像与所述第二图像部分重叠，以及
处理器，耦接所述至少一个图像撷取装置，
其中所述处理器从所述至少一个图像撷取装置接收所述第一图像与所述第二图像，识别所述第一图像与所述第二图像之间的重叠区域以作为第一重叠区域及第二重叠区域，
所述处理器分析所述第一重叠区域及所述第二重叠区域以获得多个特征点、第一经光流调整区域及第二经光流调整区域，所述处理器利用所述特征点作为顶点以将所述第一经光流调整区域及所述第二经光流调整区域划分为多个三角区块，并将所述第一经光流调整区域及所述第二经光流调整区域中对应的所述三角区块进行混合以形成经拼接区域，所述处理器组合所述经拼接区域及所述第一图像与所述第二图像中的多个未重叠区域以产生经拼接图像，其中所述经拼接图像为所述第一图像与所述第二图像的拼接结果，
其中，所述处理器依据图像特征检测法及稀疏光流法分析所述第一重叠区域及所述第二重叠区域，以获得所述特征点以及每个特征点所对应的光流向量，并依据所述特征点及其所对应的所述光流向量调整所述第一重叠区域及所述第二重叠区域以形成所述第一经光流调整区域及所述第二经光流调整区域。
2.根据权利要求1所述的图像处理装置，其中，所述处理器依据特定比例将所述第一经光流调整区域及所述第二经光流调整区域中对应的所述三角区块进行混合以形成所述经拼接区域，
其中所述特定比例依据所述第一重叠区域的像素与所述第二重叠区域的对应像素之间的色差、不透明度参数和/或光流向量值而调整。
3.根据权利要求1所述的图像处理装置，其中，所述第一图像与所述第二图像之间的所述重叠区域的面积至少占所述第一图像的面积或所述第二图像的面积的15％或以上。
4.根据权利要求1所述的图像处理装置，其中，所述至少一个图像撷取装置包括依据中心点为准且呈放射型排列的多个图像撷取装置，其中所述图像撷取装置的数量乘以每个图像撷取装置的视角的数值大于或等于720。
5.根据权利要求1所述的图像处理装置，其中，所述至少一个图像撷取装置包括以阵列排列在同一平面的多个图像撷取装置。
6.一种图像处理的方法，包括：
获得第一图像与第二图像，其中所述第一图像与所述第二图像部分重叠；
识别所述第一图像与所述第二图像之间的重叠区域以作为第一重叠区域及第二重叠区域；
分析所述第一重叠区域及所述第二重叠区域以获得多个特征点、第一经光流调整区域及第二经光流调整区域；
利用所述特征点作为顶点以将所述第一经光流调整区域及所述第二经光流调整区域划分为多个三角区块，并将所述第一经光流调整区域及所述第二经光流调整区域中对应的三角区块进行混合以形成经拼接区域，以及
组合所述经拼接区域及所述第一图像与所述第二图像中的多个未重叠区域以产生经拼接图像，其中所述经拼接图像为所述第一图像与所述第二图像的拼接结果，
其中，分析所述第一重叠区域及所述第二重叠区域以获得所述特征点、所述第一经光流调整区域及所述第二经光流调整区域的步骤包括：
依据图像特征检测法及稀疏光流法分析所述第一重叠区域及所述第二重叠区域，以获得所述特征点以及每个特征点所对应的光流向量；以及
依据所述特征点及其所对应的所述光流向量调整所述第一重叠区域及所述第二重叠区域以形成所述第一经光流调整区域及所述第二经光流调整区域。
7.根据权利要求6所述的图像处理的方法，其中，将所述第一经光流调整区域及所述第二经光流调整区域中对应的所述三角区块进行混合的步骤包括依据特定比例以形成所述经拼接区域，
其中所述特定比例依据所述第一重叠区域的像素与所述第二重叠区域的对应像素之间的色差、不透明度参数和/或光流向量值而调整。
8.根据权利要求6所述的图像处理的方法，其中，所述第一图像与所述第二图像之间的所述重叠区域的面积至少占所述第一图像的面积或所述第二图像的面积的15％或以上。
CN201910555216.7A 2019-05-07 2019-06-25 图像处理装置及图像处理的方法 Active CN110264406B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108115695 2019-05-07
TW108115695A TWI743477B (zh) 2019-05-07 2019-05-07 圖像處理裝置及圖像處理的方法

Publications (2)

Publication Number Publication Date
CN110264406A CN110264406A (zh) 2019-09-20
CN110264406B true CN110264406B (zh) 2023-04-07

Family

ID=67921418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910555216.7A Active CN110264406B (zh) 2019-05-07 2019-06-25 图像处理装置及图像处理的方法

Country Status (2)

Country Link
CN (1) CN110264406B (zh)
TW (1) TWI743477B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827555A (zh) 2021-01-28 2022-07-29 中强光电股份有限公司 显示环景影像的显示系统及其操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007015374A2 (en) * 2005-08-02 2007-02-08 Casio Computer Co., Ltd. Image processing apparatus and image processing program
CN107067368A (zh) * 2017-01-20 2017-08-18 武汉大学 基于影像变形的街景影像拼接方法及系统
CN107292822A (zh) * 2017-06-26 2017-10-24 北京奇艺世纪科技有限公司 一种图像的拼接方法和装置
CN107767339A (zh) * 2017-10-12 2018-03-06 深圳市未来媒体技术研究院 一种双目立体图像拼接方法
CN109146833A (zh) * 2018-08-02 2019-01-04 广州市鑫广飞信息科技有限公司 一种视频图像的拼接方法、装置、终端设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7889197B2 (en) * 2007-01-26 2011-02-15 Captivemotion, Inc. Method of capturing, processing, and rendering images
CN101901481B (zh) * 2010-08-11 2012-11-21 深圳市蓝韵实业有限公司 一种图像拼接方法
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
CN105550981A (zh) * 2015-11-27 2016-05-04 中山大学 一种基于Lucas-Kanade算法的图像配准和拼接方法
CN107274337B (zh) * 2017-06-20 2020-06-26 长沙全度影像科技有限公司 一种基于改进光流的图像拼接方法
CN108648149B (zh) * 2018-05-10 2022-05-31 上海扩博智能技术有限公司 基于增强现实的图像拼接方法、系统、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007015374A2 (en) * 2005-08-02 2007-02-08 Casio Computer Co., Ltd. Image processing apparatus and image processing program
CN107067368A (zh) * 2017-01-20 2017-08-18 武汉大学 基于影像变形的街景影像拼接方法及系统
CN107292822A (zh) * 2017-06-26 2017-10-24 北京奇艺世纪科技有限公司 一种图像的拼接方法和装置
CN107767339A (zh) * 2017-10-12 2018-03-06 深圳市未来媒体技术研究院 一种双目立体图像拼接方法
CN109146833A (zh) * 2018-08-02 2019-01-04 广州市鑫广飞信息科技有限公司 一种视频图像的拼接方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
TWI743477B (zh) 2021-10-21
TW202042177A (zh) 2020-11-16
CN110264406A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
US11743416B2 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
CN109076172B (zh) 从中间视图生成有效画布视图的方法和系统
US7570280B2 (en) Image providing method and device
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
CN107316273B (zh) 全景图像采集装置及采集方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
US11962946B2 (en) Image processing apparatus, display system, image processing method, and medium
US8019180B2 (en) Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
JP4875887B2 (ja) 画像合成システム及び画像合成方法
CN110264406B (zh) 图像处理装置及图像处理的方法
CN115049548A (zh) 恢复从阵列相机获得的图像的方法和装置
JP2012256274A (ja) 画像生成装置、画像生成方法、及びコンピュータプログラム
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
Popovic et al. Design and implementation of real-time multi-sensor vision systems
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
US20180182143A1 (en) Method and apparatus for multi-band blending of a seam in an image derived from multiple cameras
CN115174805A (zh) 全景立体图像的生成方法、装置和电子设备
CN110197524B (zh) 立体显示方法、设备、装置和计算机可读存储介质
WO2019163449A1 (ja) 画像処理装置、画像処理方法およびプログラム
Zhao et al. Stripe sensitive convolution for omnidirectional image dehazing
JP2019146010A (ja) 画像処理装置、画像処理方法およびプログラム
TW201911239A (zh) 立體環景影片產生方法及裝置
CN114339120A (zh) 沉浸式视频会议系统
CN116016959A (zh) 一种视频流的处理方法、装置、服务器及存储介质
JP2019146004A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200903

Address after: Via science and technology building, No. 9966 Nanshan District Shennan Road, Shenzhen city of Guangdong Province, 4 floor

Applicant after: Weisheng Electronics (Shenzhen) Co.,Ltd.

Address before: 8 / F, 535 Zhongzheng Road, Xindian District, Xinbei City, Taiwan, China

Applicant before: Via Technologies, Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant