CN110178365A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN110178365A
CN110178365A CN201780083407.7A CN201780083407A CN110178365A CN 110178365 A CN110178365 A CN 110178365A CN 201780083407 A CN201780083407 A CN 201780083407A CN 110178365 A CN110178365 A CN 110178365A
Authority
CN
China
Prior art keywords
boundary portion
image
correction values
boundary
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780083407.7A
Other languages
English (en)
Other versions
CN110178365B (zh
Inventor
王亲和
荻野亮司
田部井宪治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN110178365A publication Critical patent/CN110178365A/zh
Application granted granted Critical
Publication of CN110178365B publication Critical patent/CN110178365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

用于将彼此相邻且部分重合的多个图像数据进行合成的图像处理装置(2)具有：边界部选择部(14)，其从彼此相邻的图像数据的边界部中选择计算图像校正值的边界部；校正值计算部(15)，其计算由边界部选择部(14)选择出的边界部的图像校正值；以及图像校正部(16)，其在由边界部选择部(14)选择出的边界部中使用由校正值计算部(15)计算出的图像校正值来进行边界部的图像校正，在没有被边界部选择部(14)选择的边界部中使用过去计算出的图像校正值来进行图像校正。

Description

图像处理装置和图像处理方法
技术领域
本公开涉及一种用于将彼此相邻且部分重合的多个图像数据进行合成的图像处理装置以及该图像处理装置的图像处理方法。
背景技术
在专利文献1中公开了一种将来自多个照相机的图像进行连结来全周地(日语：一巡して)进行显示的摄像系统。该摄像系统对图像进行校正，使得所有的边界部处的接缝不明显。
现有技术文献
专利文献
专利文献1：日本特开2013-29995号公报
发明内容
然而，存在以下问题：当对所有的边界部计算用于使图像的接缝不明显的校正值时，图像处理变得繁重。特别是在成为对象的图像是视频图像的情况下，如果图像处理繁重，则难以进行实时处理。
本公开的目的在于提供一种在维持图像品质的同时实现图像处理的高速化的技术。
本公开的图像处理装置用于将彼此相邻且部分重合的多个图像数据进行合成，所述图像处理装置具有：边界部选择部，其从彼此相邻的图像数据的边界部中选择计算图像校正值的所述边界部；校正值计算部，其计算由所述边界部选择部选择出的所述边界部的图像校正值；以及图像校正部，其在由所述边界部选择部选择出的所述边界部中使用由所述校正值计算部计算出的图像校正值来进行所述边界部的图像校正，在没有被所述边界部选择部选择的所述边界部中使用过去计算出的图像校正值来进行图像校正。
根据本公开，能够在维持图像品质的同时实现图像处理的高速化。
附图说明
图1是示出使用了本公开的实施方式所涉及的图像处理装置的图像处理系统的一例的图。
图2是示出图像处理装置的功能块结构例的图。
图3A是说明图像数据的合成以及校正的例子的图。
图3B是说明图像数据的合成以及校正的例子的图。
图3C是说明图像数据的合成以及校正的例子的图。
图3D是说明图像数据的合成以及校正的例子的图。
图4A是说明边界部选择部和校正值计算部的处理例的图。
图4B是说明边界部选择部和校正值计算部的处理例的图。
图4C是说明边界部选择部和校正值计算部的处理例的图。
图4D是说明边界部选择部和校正值计算部的处理例的图。
图4E是说明边界部选择部和校正值计算部的处理例的图。
图5是示出图像处理装置的动作例的流程图。
图6是示出拼接处理的详细的处理例的流程图。
图7是示出图像处理装置的硬件结构例的图。
图8是说明使用过去和未来的图像校正值来估计图像校正值的例子的图。
具体实施方式
以下，参照附图来说明本公开的实施方式。
图1是示出使用了本公开的实施方式所涉及的图像处理装置的图像处理系统的一例的图。如图1所示，图像处理系统具有摄影照相机1a～1d、图像处理装置2以及显示装置3。
摄影照相机1a～1d被配置为彼此相邻的2个摄影照相机之间的摄影区域部分重合。摄影照相机1a～1d向图像处理装置2输出拍摄到的摄影区域的图像数据。
图像处理装置2将从摄影照相机1a～1d分别输出的图像数据拼接为各个帧，来生成1个图像数据(全景图像数据)。图像处理装置2将生成的全景图像数据输出到显示装置3。
显示装置3用于显示从图像处理装置2输出的全景图像数据。
即，图1的图像处理系统将由摄影照相机1a～1d各自拍摄的摄影区域的图像数据进行全景合成，并在显示装置3中进行显示。
此外，在图1中，摄影照相机1a～1d的台数是4台，但不限于此。例如，摄影照相机1a～1d的台数既可以是3台，也可以是5台以上。另外，在将各摄影照相机的图像数据进行合成来生成全方位影像的情况下，摄影照相机1a～1d的台数也可以是2台。即，只要是作为系统整体存在多个边界部的结构，对照相机的台数没有限制。
图2是示出图像处理装置2的功能块结构例的图。如图2所示，图像处理装置2具有输入缓冲器部11、调整部12、合成部13、边界部选择部14、校正值计算部15、图像校正部16、输出缓冲器部17以及存储部18。
向输入缓冲器部11输入从摄影照相机1a～1d输出的图像数据。输入缓冲器部11用于暂时存储被输入的图像数据。
调整部12读出被暂时存储于输入缓冲器部11的图像数据，并对读出的图像数据进行图像调整。例如，调整部12基于摄影照相机1a～1d的空间配置、光学特性等信息来进行用于接着要说明的合成部13的全景合成的调整。更为具体地说，调整部12调整图像数据的位置、形状或浓度等。
此外，调整部12的运算量比后述的校正值计算部15的运算量少。另外，在需要对从输入缓冲器部11读出的由每个摄影照相机拍摄到的图像数据的整体区域进行图像调整的情况下，调整部12对图像数据的整体区域进行图像调整。
合成部13用于将由调整部12调整后的图像数据进行拼接(全景合成)。合成部13在将图像数据进行拼接时，以使彼此相邻的图像数据的一部分重合的方式进行拼接。例如，合成部13使被配置为摄影区域部分重合的摄影照相机1a～1d各自的图像数据中的、与摄影区域重合的部分对应的图像区域重合，来对图像数据进行拼接。以下，有时将彼此相邻的图像数据的重合的部分称为边界部。
边界部选择部14从由合成部13合成的图像数据的边界部(参照图4A的虚线A11～A13)中选择计算图像校正值的边界部。在后面详细叙述边界部选择部14的对边界部的选择动作。
校正值计算部15计算由边界部选择部14选择出的边界部的图像校正值。例如，校正值计算部15提取彼此相邻的图像数据的边界部的特征点，并将提取出的特征点进行关联。然后，校正值计算部15基于进行了关联的一组特征点的位置关系、浓度差来计算局部区域的形状、浓度等的校正值。
即，校正值计算部15计算由边界部选择部14选择出的边界部的图像校正值，使得由边界部选择部14选择出的边界部被平滑地显示(例如，没有接缝(日语：切れ目)等而连续地显示)。此外，也可以是，校正值计算部15计算边界部和边界部周边的部分的图像数据的校正值。
在此，对图像数据的合成以及校正进行说明。
图3A～图3D是说明图像数据的合成以及校正的例子的图。在图3A～图3D中，为了简化说明，对从2台摄影照相机21a、21b输出的图像数据的合成以及校正的例子进行说明。
图3A示出2个摄影照相机21a、21b的摄影状况。在图3A的例子中，2个摄影照相机21a、21b同时拍摄近景的人物和远景的山。
图3B示出2个摄影照相机21a、21b的摄影图像。图3B示出的摄影图像22a表示摄影照相机21a的摄影图像，摄影图像22b表示摄影照相机21b的摄影图像。
向图2示出的输入缓冲器部11例如输入图3B所示的摄影图像22a、22b的图像数据。然后，由调整部12读出被输入到输入缓冲器部11的摄影图像22a、22b的图像数据并进行图像调整。由图2示出的合成部13将由调整部12进行了图像调整后的图像数据简单地进行合成。即，合成部13不对重合的部分(边界部)的图像进行校正，而仅仅是以2个摄影图像22a、22b的两端部分重合的方式进行合成。
图3C示出图3B的2个摄影图像22a、22b的合成图像。在将摄影照相机21a、21b的图像数据简单地进行了合成的情况下，如图3C的虚线A1所示，有时在2个摄影图像22a、22b的边界部产生差异(接缝)。例如，近景的人物部分消失，另外，远景的山分离。
关于边界部的差异，例如存在远景的山与近景的人物的视差、由照相机镜头导致的几何失真等。另外，关于边界部的差异，例如存在由2个摄影照相机21a、21b之间的曝光差导致的亮度差、颜色不均等。
图3D示出对图3C的合成图像的边界部进行校正后的图像。图2示出的校正值计算部15计算图像数据的图像校正值，使得由合成部13进行合成得到的图像的边界部被平滑地显示。通过计算出的图像校正值，彼此相邻的图像的边界部如图3D的虚线A2所示那样被平滑地显示。
在如图3A～图3D的例子那样，将2个摄影照相机21a、21b的图像数据进行合成的情况下，边界部为1个。另一方面，在如图1的例子那样，将4个摄影照相机1a～1d的图像数据进行合成来生成全景图像的情况下，边界部为3个(参照图4A的虚线A11～A13)。当在3个边界部进行图像校正值的计算时，图像处理装置2(校正值计算部15)的处理变得繁重。此外，图像处理装置2的处理随着图像数据的边界部的数量的增加而变得繁重。而且，边界部的数量随着摄影照相机的数量的增加而增加。
因此，如上所述，边界部选择部14选择计算图像校正值的边界部。然后，校正值计算部15计算由边界部选择部14选择出的边界部的图像校正值。
图4A～图4E是说明边界部选择部14和校正值计算部15的处理例的图。图4A中示出的摄影图像31表示图1中示出的摄影照相机1a的摄影图像。摄影图像32表示摄影照相机1b的摄影图像。摄影图像33表示摄影照相机1c的摄影图像。摄影图像34表示摄影照相机1d的摄影图像。
图4A中示出的虚线A11表示2个彼此相邻的摄影图像31、32的边界部。虚线A12表示2个彼此相邻的摄影图像32、33的边界部。虚线A13表示2个彼此相邻的摄影图像33、34的边界部。
图4B示出帧n中的摄影图像。边界部选择部14在帧n中选择虚线A11～A13所示的边界部中的虚线A11所示的边界部。由此，校正值计算部15计算虚线A11所示的边界部的图像校正值。
图4C示出帧n+1中的摄影图像。边界部选择部14在帧n+1中选择虚线A11～A13所示的边界部中的虚线A12所示的边界部。由此，校正值计算部15计算虚线A12所示的边界部的图像校正值。
图4D示出帧n+2中的摄影图像。边界部选择部14在帧n+2中选择虚线A11～A13所示的边界部中的虚线A13所示的边界部。由此，校正值计算部15计算虚线A13所示的边界部的图像校正值。
图4E示出帧n+3中的摄影图像。边界部选择部14在帧n+3中选择虚线A11～A13所示的边界部中的虚线A11所示的边界部。由此，校正值计算部15计算虚线A11所示的边界部的图像校正值。以下同样地，边界部选择部14依次切换在每个帧中选择的边界部。
像这样，通过由边界部选择部14对边界部的选择，来将校正值计算部15计算的边界部的校正值计算进行疏除(日语：間引かれる)。由此，减轻了图像处理装置2(校正值计算部15)的处理，从而实现高速化。
对边界部选择部14的边界部选择算法的例子进行说明。边界部选择部14例如基于下面的式(1)来选择边界部。
Nborder％P＝Nframe％P…(1)
在此，“％”表示求余运算(日语：剰余算)，“Nborder”表示边界部的编号。例如从左侧起以升序的方式对边界部分配编号。例如，对图4A的虚线A11所示的边界部分配“1”，对虚线A12所示的边界部分配“2”，对虚线A13所示的边界部分配“3”。
“Nframe”表示图像处理中的帧编号。“P”是被设定在边界部总数以下的参数。“P”例如被预先存储于存储部18。
例如，在存储部18中存储有“P＝2”的情况下，边界部选择部14在各帧中交替地选择偶数编号的边界部和奇数编号的边界部。另外，例如在存储部18中存储有“P＝边界部总数”的情况下，边界部选择部14在各帧中逐个地依次选择边界部。此外，在存储部18中存储有“P＝3”的情况下，边界部选择部14如用图4B～图4E所说明的那样依次选择边界部。
例如根据视频影像中的被摄体的活动的大小来决定参数“P”的值。例如，如果影像中的活动大，则减小参数“P”的值，增多图像校正值的计算频率。另外，例如根据处理器的处理能力来决定参数“P”的值。例如，如果处理器的处理能力高，则减小参数“P”的值，增多图像校正值的计算频率。另外，也可以是，如果处理器的处理余量多，则减小“P”的值，如果余量少，则增大“P”的值。作为表示处理器的处理能力的指标的一例，考虑CPU的时钟频率等。另外，作为表示处理的余量的指标的一例，考虑CPU利用率等。参数“P”的值例如既可以由用户来设定，也可以通过自动影像分析来动态地设定。
像这样，边界部选择部14能够基于式(1)来从彼此相邻的图像数据的边界部中选择计算图像校正值的边界部。
返回到图2的说明。图像校正部16使用由校正值计算部15计算出的图像校正值来进行边界部的图像校正。
在此，在各帧中存在计算图像校正值的边界部和不计算图像校正值的边界部。例如，在图4B所示的帧n中，对虚线A11所示的边界部计算图像校正值，对虚线A12、A13所示的边界部不计算图像校正值。另外，在图4C所示的帧n+1中，对虚线A12所示的边界部计算图像校正值，对虚线A11、A13所示的边界部不计算图像校正值。
因此，图像校正部16使用过去计算出的图像校正值来对不计算图像校正值的边界部进行图像校正。
例如，在图4C所示的帧n+1中，图像校正部16使用在过去的帧n中计算出的虚线A11所示的图像校正值来对虚线A11所示的边界部进行图像校正。另外，图像校正部16使用在过去的帧n-1(未图示)中计算出的图像校正值来对虚线A13所示的边界部进行图像校正。
另外，例如，在图4D所示的帧n+2中，图像校正部16使用在过去的帧n中计算出的虚线A11所示的图像校正值来对虚线A11所示的边界部进行图像校正。另外，图像校正部16使用在过去的帧n+1中计算出的虚线A12所示的图像校正值来对虚线A12所示的边界部进行图像校正。
像这样，图像校正部16使用过去计算出的图像校正值来对没有被边界部选择部14选择出的边界部进行图像校正。一般地，图像校正值随时间的变化小，因此即使使用在近期计算出的图像校正值来进行图像校正，图像品质也几乎不会降低。
输出缓冲器部17用于暂时存储由合成部13合成且由图像校正部16进行图像校正后的图像数据。输出缓冲器部17中暂时存储的图像数据被输出到显示装置3。
在存储部18中存储各种设定数据。例如，在存储部18中存储上述的参数“P”。
图5是示出图像处理装置2的动作例的流程图。设为摄影照相机1a～1d拍摄摄影区域并将图像数据输出到图像处理装置2。
首先，图像处理装置2的输入缓冲器部11输入从摄影照相机1a～1d输出的图像数据(步骤S1)。输入缓冲器部11暂时存储所输入的图像数据。
接着，图像处理装置2对在步骤S1中被暂时存储于输入缓冲器部11的图像数据进行拼接处理(步骤S2)。此外，下面使用流程图来详细地说明图像处理装置2的拼接处理。
接着，图像处理装置2将在步骤S2中进行了拼接处理后的图像数据(全景影像)输出到显示装置3(步骤S3)。
接着，图像处理装置2判定是否结束视频处理(步骤S4)。图像处理装置2在判定为不结束视频处理的情况下(S4的“否(No)”)，使处理转移到步骤S1，在判定为结束视频处理的情况下(S4的“是(Yes)”)，结束该流程图的处理。此外，图像处理装置2例如在从用户接受到视频处理的结束操作的情况下结束视频处理。
图6是示出拼接处理的详细的处理例的流程图。图6的流程图示出图5的流程图的步骤S2的详细的处理例。图像处理装置2例如每隔图像的一个帧周期执行图6所示的流程图的处理。
首先，调整部12读入被暂时存储于输入缓冲器部11的摄影照相机1a～1d的图像数据(步骤S11)。
接着，调整部12对在步骤S11中读入的图像数据进行图像调整(步骤S12)。例如，调整部12基于摄影照相机1a～1d的空间配置、光学特性等信息来进行用于图像数据的全景合成的调整。
接着，合成部13对在步骤S12中被进行图像调整后的图像数据进行全景合成(步骤S13)。
接着，边界部选择部14从在步骤S13中进行合成得到的图像数据的边界部中选择计算图像校正值的边界部(步骤S14)。例如，边界部选择部14从图4A的虚线A11～A13所示的边界部中选择计算图像校正值的边界部。边界部选择部14例如基于上述的式(1)来选择计算图像校正值的边界部。
接着，校正值计算部15提取1个图像数据的边界部，并判定提取出的边界部是否为在步骤S14中选择出的边界部(步骤S15)。校正值计算部15在判定为提取出的边界部是在步骤S14中选择出的边界部的情况下(S15的“是”)，计算提取出的边界部的图像校正值(步骤S16)。
另一方面，校正值计算部15在判定为提取出的边界部不是在步骤S14中选择出的边界部的情况下(S15的“否”)，将过去计算出的校正值设为提取出的边界部的图像校正值(步骤S17)。
校正值计算部15在步骤S16或步骤S17的处理之后，判定是否对在步骤S13中进行全景合成得到的图像数据的所有边界部进行了提取(步骤S18)。例如，校正值计算部15判定是否依次全部提取了图4A的虚线A11～A13所示的边界部。校正值计算部15在判定为没有全部提取边界部的情况下(S18的“否”)，使处理转移到步骤S15。
此外，在使处理从步骤S18转移到步骤S15的情况下，校正值计算部15在步骤S15的处理中提取下一个边界部。例如，校正值计算部15在已提取出了图4A的虚线A11所示的边界部的情况下，接着提取虚线A12所示的边界部。另外，校正值计算部15例如在已提取出了图4A的虚线A12所示的边界部的情况下，接着提取虚线A13所示的边界部。
另一方面，校正值计算部15在判定为已全部提取了边界部的情况下(S18的“是”)，使处理转移到步骤S19。然后，图像校正部16进行边界部的图像校正(步骤S19)。
图像校正部16在步骤S19的处理中，使用在步骤S16中计算出的图像校正值来对在步骤S14中选择出的边界部进行图像校正。另一方面，图像校正部16通过步骤S17，使用过去计算出的图像校正值来对在步骤S14中未被选择的边界部进行图像校正。
接着，图像校正部16向输出缓冲器部17输出在步骤S19中进行了图像校正后的图像数据(步骤S20)。然后，图像校正部16结束该流程图的处理。
此外，被输出到输出缓冲器部17的图像数据被输出到显示装置3，并显示于显示装置3。
对图像处理装置2的硬件结构例进行说明。
图7是示出图像处理装置2的硬件结构例的图。如图7所示，图像处理装置2具有输入缓冲器41、ROM(Read Only Memory：只读存储器)42、处理器43、RAM(Random accessmemory：随机存取存储器)44以及输出缓冲器45。
输入缓冲器41是用于暂时存储从摄影照相机1a～1d输出的图像数据的存储装置。输入缓冲器41例如由RAM构成。
在ROM 42中存储有使处理器43执行的程序、各种数据。处理器43例如是CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)或DSP(Digital Signal Processor：数字信号处理器)等处理器。处理器43按照ROM42中存储的程序来发挥规定的实现。在RAM 44中暂时存储处理器43利用的各种数据。
输出缓冲器45是用于暂时存储由处理器43生成的全景图像的图像数据的存储装置。输出缓冲器45例如由RAM构成。输出缓冲器45中存储的图像数据被输出到显示装置3。
图2示出的输入缓冲器部11的功能例如通过输入缓冲器41来实现。另外，调整部12、合成部13、边界部选择部14、校正值计算部15以及图像校正部16的功能例如通过处理器43来实现。输出缓冲器部17的功能例如通过输出缓冲器45来实现。存储部18通过ROM 42或RAM 44来实现。
如以上说明的那样，边界部选择部14从彼此相邻的图像数据的边界部中选择计算图像校正值的边界部。校正值计算部15计算由边界部选择部14选择出的边界部的图像校正值。在由边界部选择部14选择出的边界部中，图像校正部16使用由校正值计算部15计算出的图像校正值来进行边界部的图像校正，在没有被边界部选择部14选择出的边界部中，图像校正部16使用过去计算出的图像校正值来进行图像校正。
由此，校正值计算部15可以不在彼此相邻的图像数据的所有边界部中计算图像校正值，图像处理装置2能够实现图像处理的高速化。另外，在未被计算图像校正值的边界部中，图像校正部16使用过去计算出的图像校正值来进行图像校正，因此图像处理装置2能够抑制未被计算图像校正值的边界部的图像品质的降低。
另外，通过实现图像处理的高速化，能够进行全景图像的实时处理。
此外，也可以是，边界部选择部14在选择了边界部时，将选择出的边界部的影像存储于存储部18，将当前帧的边界部各自的影像与存储于存储部18的对应的边界部的影像进行比较，来选择产生了超过规定的阈值的影像的变化的边界部。边界部选择部14将在当前帧中选择出的边界部的影像存储于存储部18(覆盖)。
例如，当使用图4A进行说明时，在存储部18中存储有之前由边界部选择部14进行了选择时的虚线A11～A13所示的边界部的影像。边界部选择部14将当前帧中的虚线A11～A13所示的边界部各自的影像与存储部18中存储的之前进行了选择时的虚线A11～A13所示的边界部各自的影像进行比较。其中，例如设为当前帧中只有虚线A12所示的边界部的影像相对于存储部18中存储的虚线A12所示的边界部的影像的变化超过了规定的阈值。在该情况下，边界部选择部14选择虚线A12所示的边界部。边界部选择部14将选择出的虚线A12所示的边界部的影像存储于存储部18(覆盖)。此外，规定的阈值既可以由用户来选择，也可以通过自动影像分析来动态地设定。该例例如相当于在边界部存在人物等的移动或发生变形的被摄体的情况。在这种情况下，如果直接应用过去的图像校正值，则无法充分地追随被摄体的变化的可能性高，因此通过例外地重新计算图像校正值，能够减轻合成图像的违和感。
另外，设为在没有被边界部选择部14选择出的边界部中，校正值计算部15直接应用过去计算出的图像校正值，但并不限于此。例如，也可以是，校正值计算部15根据过去的多个帧中的图像校正值来预测(计算)此次的图像校正值。而且，也可以是，图像校正部16利用预测出的图像校正值来对没有被边界部选择部14选择出的边界部进行校正。
另外，也可以是，校正值计算部15使用过去和未来的图像校正值来估计(计算)此次的图像校正值。
图8是说明使用过去和未来的图像校正值来估计图像校正值的例子的图。图8中示出的“输入”表示由合成部13进行合成得到的图像数据的边界部中的一个关注边界部(例如，图4A的虚线A11所示的边界部)的图像数据。
图8中示出的“输出”表示关注边界部的图像校正值。图8中示出的箭头表示时间轴。“输入”和“输出”的编号表示帧编号。图8中示出的“输入”的斜线表示关注边界部已被边界部选择部14选择。
首先，校正值计算部15当被输入“帧1”中的关注边界部的图像数据时，由于该关注边界部已被边界部选择部14选择，因此校正值计算部15计算“帧1”中的该关注边界部的图像校正值。校正值计算部15将计算出的“帧1”中的该关注边界部的图像校正值存储于存储部18。
接着，校正值计算部15当被输入“帧2”中的相同的关注边界部的图像数据时，由于该关注边界部没有被边界部选择部14选择，因此校正值计算部15不计算“帧2”中的该关注边界部的校正值。校正值计算部15输出存储部18中存储的“帧1”中的该关注边界部的图像校正值。
接着，校正值计算部15当被输入“帧3”中的相同的关注边界部的图像数据时，由于该关注边界部已被边界部选择部14选择，因此校正值计算部15计算“帧3”中的该关注边界部的图像校正值。校正值计算部15将计算出的“帧3”中的该关注边界部的图像校正值存储于存储部18。校正值计算部15使用存储部18中存储的“帧1”中的该关注边界部的图像校正值和“帧3”中的该关注边界部的图像校正值，来计算并输出“帧2”中的该关注边界部的校正值。例如，校正值计算部15输出存储部18中存储的“帧1”中的该关注边界部的图像校正值与“帧3”中的该关注边界部的图像校正值的平均值，来作为“帧2”中的该关注边界部的校正值。
接着，校正值计算部15当被输入“帧4”中的相同的关注边界部的图像数据时，由于该关注边界部没有被边界部选择部14选择，因此校正值计算部15不计算“帧4”中的该关注边界部的校正值。校正值计算部15输出存储部18中存储的“帧3”中的该关注边界部的图像校正值。
接着，校正值计算部15当被输入“帧5”中的相同的关注边界部的图像数据时，由于该关注边界部已被边界部选择部14选择，因此校正值计算部15计算“帧5”中的该关注边界部的校正值。校正值计算部15将计算出的“帧5”中的该关注边界部的图像校正值存储于存储部18。校正值计算部15使用存储部18中存储的“帧3”中的该关注边界部的图像校正值和“帧5”中的该关注边界部的图像校正值，来计算并输出“帧4”中的该关注边界部的校正值。例如，校正值计算部15输出存储部18中存储的“帧3”中的该关注边界部的图像校正值与“帧5”中的该关注边界部的图像校正值的平均值，来作为“帧4”中的该关注边界部的校正值。
校正值计算部15继续对以下所有的边界部应用同样的处理。当计算出某帧中的所有的边界部的图像校正值时，图像校正部16对该帧的图像数据进行图像校正，并将校正后的图像数据输出到输出缓冲器部17。
通过以上的处理，图像处理装置2能够基于过去和未来的图像校正值来进行图像数据的校正。由此，能够对边界部进行帧间的违和感少的校正。但是，在进行上述的安装的情况下，输出的图像数据相对于输入的图像数据发生与1个帧或几个帧相应的延迟。此外，在上述的例子中，设为校正值计算部15输出过去和未来的图像校正值的平均值，但并不限于平均值。既可以设为输出对过去和未来进行不同的加权而得到的平均值，也可以使用中值等通过与平均值不同的计算过程导出的值。
此外，在事先保存有未来的图像数据的情况下，校正值计算部15也能够通过预先读取未来的帧的图像数据来事先计算未来的图像校正值。在该情况下，即使输出的图像数据没有延迟，图像处理装置2也能够基于过去和未来的图像校正值来进行图像校正。
以上，对本公开的实施方式进行了说明，也考虑如以下这样的变形例。
也可以是，图像校正部16使用与过去的图像校正值无关的校正值来校正没有被边界部选择部14选择的边界部。例如，考虑应用预先决定的校正值等情况。
另外，在上述实施方式中，假定生成全景影像，但并不限于此。例如，即使在生成全方位影像的情况下，也能够通过同样的处理来校正边界部。此外，当将要被合成的图像的数量设为m时，在生成全景影像的情况下，边界部的数量为m-1，但在生成全方位影像的情况下，边界部的数量为m。
另外，在上述实施方式中，将由多个摄像装置分别拍摄到的图像进行了合成，但并不限于此。既可以从1台摄像装置获取彼此相邻的多个摄像图像，也可以将事先对彼此相邻的区域进行录像得到的图像之间进行合成。即，是彼此相邻且部分重合的多个图像数据即可，可以使用任何图像数据。
另外，在上述实施方式中，边界部选择部14在所有的帧中选择了比全部边界部少的边界部，但并不限于此。例如，也可以是，边界部选择部14在某一帧中选择全部边界部，在其它帧中仅选择一部分边界部。在该情况下，与图像处理装置2计算所有帧中的所有边界部的图像校正值的情况相比，也能够减轻处理负荷。另外，在该变形例中，也能够基于过去和未来的图像校正值来对未被选择的边界部计算图像校正值。例如，在第一帧中选择所有的边界部、在继第一帧之后的第二帧中不选择一部分或全部边界部、在继第二帧之后的第三帧中选择所有的边界部的情况下，考虑使用在第二帧中没有被选择的边界部的图像校正值来作为第一帧和第三帧中的图像校正值的平均值等情况。此外，在该情况下也是，无需一定使用过去(第一帧)的图像校正值和未来(第三帧)的图像校正值的平均值，也可以使用通过其它计算过程导出的值。
另外，关于在上述实施方式的说明中使用的各功能块，典型地被实现为作为集成电路的LSI。这些功能块既可以单独地单芯片化，也可以以包括一部分或全部功能块的方式单芯片化。在此，设为LSI，但有时也根据集成度的不同而称为IC、系统LSI、超大规模LSI、甚大规模LSI。
另外，集成电路化的方法不限于LSI，也可以利用专用电路或通用处理器来实现。在LSI制造后，也可以利用能够编程的FPGA(Field Programmable GateArray：现场可编程门阵列)、能够对LSI内部的电路单元的连接和设定进行重构的可重构处理器。
并且，如果由于半导体技术的进步或派生出的其它技术而出现了置换LSI的集成电路化的技术，则当然也可以利用该技术来进行功能块的集成化。也有可能应用生物技术等。
产业上的可利用性
本公开所涉及的图像处理装置和图像处理方法能够应用于由多个摄影装置拍摄到的多个图像数据的合成。
附图标记说明
1a～1d：摄影照相机；2：图像处理装置；3：显示装置；11：输入缓冲器部；12：调整部；13：合成部；14：边界部选择部；15：校正值计算部；16：图像校正部；17：输出缓冲器部；18：存储部。

Claims (9)

1.一种图像处理装置，用于将彼此相邻且部分重合的多个图像数据进行合成，所述图像处理装置具有：
边界部选择部，其从彼此相邻的图像数据的边界部中选择计算图像校正值的所述边界部；
校正值计算部，其计算由所述边界部选择部选择出的所述边界部的图像校正值；以及
图像校正部，其在由所述边界部选择部选择出的所述边界部中使用由所述校正值计算部计算出的图像校正值来进行所述边界部的图像校正，在未被所述边界部选择部选择的所述边界部中使用过去计算出的图像校正值来进行图像校正。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述图像校正部在未被所述边界部选择部选择的所述边界部中使用过去和未来的图像校正值来进行图像校正。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述边界部选择部在各帧中变更所选择的所述边界部。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述边界部选择部在第一帧中选择所有的所述边界部，
在继所述第一帧之后的第二帧中不选择所述边界部，
在继所述第二帧之后的第三帧中选择所有的所述边界部。
5.根据权利要求4所述的图像处理装置，其特征在于，
所述图像校正部使用所述第一帧的图像校正值和所述第三帧的图像校正值来校正所述第二帧的图像。
6.根据权利要求3所述的图像处理装置，其特征在于，
所述图像校正部的处理能力越高，所述边界部选择部越多地选择边界部。
7.根据权利要求3所述的图像处理装置，其特征在于，
所述图像校正部的处理能力越有余量，所述边界部选择部越多地选择边界部。
8.根据权利要求1所述的图像处理装置，其特征在于，
所述边界部选择部选择帧间的影像的变化超过规定的阈值的边界部。
9.一种图像处理方法，是用于将彼此相邻且部分重合的多个图像数据进行合成的图像处理装置的图像处理方法，所述图像处理方法包括以下步骤：
边界部选择步骤，从彼此相邻的图像数据的边界部中选择计算图像校正值的所述边界部；
校正值计算步骤，计算通过所述边界部选择步骤选择出的所述边界部的图像校正值；以及
图像校正步骤，在通过所述边界部选择步骤选择出的所述边界部中使用通过所述校正值计算步骤计算出的图像校正值来进行所述边界部的图像校正，在通过所述边界部选择步骤没有被选择的所述边界部中使用过去计算出的图像校正值来进行图像校正。
CN201780083407.7A 2017-02-15 2017-11-08 图像处理装置和图像处理方法 Active CN110178365B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-025733 2017-02-15
JP2017025733 2017-02-15
PCT/JP2017/040175 WO2018150652A1 (ja) 2017-02-15 2017-11-08 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN110178365A true CN110178365A (zh) 2019-08-27
CN110178365B CN110178365B (zh) 2021-10-08

Family

ID=63169217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083407.7A Active CN110178365B (zh) 2017-02-15 2017-11-08 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US10957047B2 (zh)
JP (1) JP2018137003A (zh)
CN (1) CN110178365B (zh)
WO (1) WO2018150652A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108377345B (zh) * 2018-04-11 2020-04-03 浙江大华技术股份有限公司 一种曝光参数值确定方法、装置、多目摄像机及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543043A (zh) * 2007-02-20 2009-09-23 索尼株式会社 图像显示装置、视频信号处理器和视频信号处理方法
CN104618648A (zh) * 2015-01-29 2015-05-13 桂林长海发展有限责任公司 一种全景视频拼接系统及拼接方法
CN104854856A (zh) * 2012-10-22 2015-08-19 Eizo株式会社 图像处理装置、图像处理方法及计算机程序
JP2016149736A (ja) * 2015-02-06 2016-08-18 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
CN105957012A (zh) * 2016-05-31 2016-09-21 青岛海信移动通信技术股份有限公司 一种图片拼接方法及移动终端
US20160286138A1 (en) * 2015-03-27 2016-09-29 Electronics And Telecommunications Research Institute Apparatus and method for stitching panoramaic video

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215914B1 (en) 1997-06-24 2001-04-10 Sharp Kabushiki Kaisha Picture processing apparatus
JP3233601B2 (ja) 1997-09-25 2001-11-26 シャープ株式会社 画像処理装置
JP2004139219A (ja) 2002-10-16 2004-05-13 Seiko Instruments Inc 画像処理方法および画像処理装置
JP3962676B2 (ja) 2002-11-29 2007-08-22 キヤノン株式会社 画像処理方法及び装置
JP4783227B2 (ja) 2006-07-06 2011-09-28 パナソニック株式会社 画像合成装置および画像合成方法
DE102006061538A1 (de) 2006-12-27 2008-07-03 Bayer Healthcare Ag Kombinationsprodukt zur Bekämpfung von Parasiten an Tieren
JP2013029995A (ja) 2011-07-28 2013-02-07 Clarion Co Ltd 撮像システム
US9583133B2 (en) * 2012-06-11 2017-02-28 Sony Corporation Image generation device and image generation method for multiplexing captured images to generate an image stream
US10750153B2 (en) 2014-09-22 2020-08-18 Samsung Electronics Company, Ltd. Camera system for three-dimensional video
US10536633B2 (en) 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
JP6253030B2 (ja) 2015-02-06 2017-12-27 パナソニックＩｐマネジメント株式会社 画像処理装置、撮像装置および画像処理方法
US10417743B2 (en) * 2015-11-06 2019-09-17 Mitsubishi Electric Corporation Image processing device, image processing method and computer readable medium
JP6132003B2 (ja) * 2015-11-20 2017-05-24 株式会社リコー 画像処理システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101543043A (zh) * 2007-02-20 2009-09-23 索尼株式会社 图像显示装置、视频信号处理器和视频信号处理方法
CN104854856A (zh) * 2012-10-22 2015-08-19 Eizo株式会社 图像处理装置、图像处理方法及计算机程序
CN104618648A (zh) * 2015-01-29 2015-05-13 桂林长海发展有限责任公司 一种全景视频拼接系统及拼接方法
JP2016149736A (ja) * 2015-02-06 2016-08-18 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
US20160286138A1 (en) * 2015-03-27 2016-09-29 Electronics And Telecommunications Research Institute Apparatus and method for stitching panoramaic video
CN105957012A (zh) * 2016-05-31 2016-09-21 青岛海信移动通信技术股份有限公司 一种图片拼接方法及移动终端

Also Published As

Publication number Publication date
WO2018150652A1 (ja) 2018-08-23
US20190362499A1 (en) 2019-11-28
CN110178365B (zh) 2021-10-08
US10957047B2 (en) 2021-03-23
JP2018137003A (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
US11875475B2 (en) Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
JP4565504B2 (ja) 画像合成装置
JP2000078597A (ja) デジタルカラ―イメ―ジ値の処理装置
CN110602467A (zh) 图像降噪方法、装置、存储介质及电子设备
EP2947868A1 (en) Method for creating panorama
JP6090820B2 (ja) バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置
CN110178365A (zh) 图像处理装置和图像处理方法
JP5665508B2 (ja) 画像処理装置及び方法、並びにプログラム及び記憶媒体
US20220321743A1 (en) Image processing apparatus and method, and image capturing apparatus
JP2020188452A (ja) 撮像装置およびその制御方法
JP6371989B1 (ja) 画像処理装置および画像処理方法
JP5872011B2 (ja) 画像処理装置及び方法、並びにプログラム及び記憶媒体
JP2005175987A (ja) 画像処理装置
JP2012190233A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant