CN101778217B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN101778217B
CN101778217B CN2010100023151A CN201010002315A CN101778217B CN 101778217 B CN101778217 B CN 101778217B CN 2010100023151 A CN2010100023151 A CN 2010100023151A CN 201010002315 A CN201010002315 A CN 201010002315A CN 101778217 B CN101778217 B CN 101778217B
Authority
CN
China
Prior art keywords
image
zone
images
sequence
input picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010100023151A
Other languages
English (en)
Other versions
CN101778217A (zh
Inventor
大木光晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101778217A publication Critical patent/CN101778217A/zh
Application granted granted Critical
Publication of CN101778217B publication Critical patent/CN101778217B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明公开了图像处理装置、图像处理方法及程序。一种图像处理装置包括：第一图像处理器，接收通过在预定方向上顺序地转移拍摄位置而捕获的多个图像来作为图像序列，并且针对图像序列中除第一图像之外的图像，将与在图像序列中优先使用的优先区域相重叠的第一重叠区域设置为禁止使用区域，图像包括第一重叠区域；第二图像处理器，将第二或第三图像的第二重叠区域设置为禁止使用区域，第二和第三图像在图像序列中具有被预定间隔隔开的顺序；以及图像生成器，利用包括在图像序列中的多个图像中除了被第一和第二图像处理器设为禁止使用区域的区域之外的区域，来生成输出图像。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置、图像处理方法及程序，并且更具体地涉及从多个图像生成全景图像(panoramic image)的图像处理装置。 
背景技术
已广泛采取了全景摄影，其中，从通过在摇动(panning)相机的同时执行连续拍摄所捕获的多个图像中生成全景图像(例如，参见日本未实审专利申请公报No.2000-299804)。下面将描述详细示例。 
用户在摇动相机的同时对图16所示的场景捕获多个图像；即，在水平方向上顺序地移动拍摄位置。例如，用户将相机安装在能够在水平方向上旋转的三脚架上，并且在水平方向上手动摇动相机的同时执行拍摄。图16中的场景包括建筑300和行走的人301。当在摇动相机的同时在这种情形中执行连续拍摄时，例如可以捕获图17所示的N个图像P1至PN。 
在图17中，未示出图像P5至PN-3。此外，由于仅在水平方向上移动相机，因此实际上，图像之间在Y轴方向上未出现位置位移而仅在X轴方向上出现了位置位移。然而，在图中，故意绘制了图像P1至PN的矩形区域以使得在垂直方向上彼此轻微地位移，这是因为否则它们将重叠从而变得难以观看。从这N个图像中，生成了一个全景图像(在图17中用虚线围绕起来的)Q。 
从N个输入图像P1至PN生成全景图像Q的方法如下。首先，计算N个输入图像P1至PN之间的位置关系。即，计算输入图像之间的位移量。然后，在被位移了位移量的位置处排列输入图像。在N个输入图像P1至PN被排列为彼此位移的状态中，计算包括在N个输入图像P1至PN中的矩形区域。该矩形区域是要输出的全景图像Q。 
现在关注全景图像Q的每个位置(X，Y)，当在该位置(X，Y)处仅存在一个输入图像时，该输入图像的位置(X，Y)处的像素值被用作全景图像Q的位置(X，Y)处的像素值。当该位置(X，Y)处存在多个输入图像时，这些输入图像的位置(X，Y)处的像素值的平均值被用作全景图像Q的位置(X，Y)处的像素值。 
发明内容
如上所述，当从多个图像生成全景图像Q时，需要确定全景图像Q的区域，并且确定该区域内的每个位置处的像素值。在此情况中，存在要考虑的待定问题。 
待定问题1 
在由相机捕获的图像中，由于镜头失真(lens distortion)，因而通常会发生桶型失真(barrel-type distortion)或枕型失真(pincushion-typedistortion)。当方形网格的图像被捕获时，用户可以期望如图18A所示的图像。然而，在实际情况中，获得了如图18B所示的包括桶型失真的图像或者如图18C所示的包括枕型失真的图像。 
当在全景图像Q的位置(X，Y)处存在多个输入图像时，如果输入图像是无失真的理想图像，则每个输入图像的位置(X，Y)处的像素值将具有相同的值。然而，由于输入图像具有失真，因此，每个输入图像的位置(X，Y)处的像素值将具有不同值。 
因此，当如上所述在全景图像Q的位置(X，Y)处存在多个输入图像，并且将这些输入图像的位置(X，Y)处的像素值的平均值用作全景图像Q的位置(X，Y)处的像素值时，像素值将不是适当的值。 
待定问题2 
如上所述，当在全景图像Q的位置(X，Y)处存在多个输入图像时，通过将这些输入图像的位置(X，Y)处的像素值的平均值用作全景图像Q的位置(X，Y)处的像素值，可以减少噪声分量。即，当在全景图像Q的位置(X，Y)处存在多个输入图像时，使用尽可能多的输入图像可能是有利的。然而，当仅利用多个输入图像中的一个输入图像来确定全景图像Q的像素值时，不能获得降噪效果。 
待定问题3 
各个输入图像是在不同时间捕获的。因此，运动对象(例如，图16和17中的行走的人301)将被投射到不同图像以及各个输入图像中的不同位置处。因此，当将多个输入图像的平均像素值用作全景图像的像素值时，可能发生图像模糊，就好像该范围的区域经过了多次曝光一样。因此，当如上所述在全景图像Q的位置(X，Y)处存在多个输入图像，并且运动对象被投射在该位置处时，仅使用多个输入图像中的一个输入图像可能是有利的。 
这三个问题是待定的。可以从这些待定问题中得出下面的结论。即，从待定问题1得出的结论为不使用各个输入图像中包括不同类型的失真的区域是有利的。从待定问题2得出的结论为由于每个输入图像的外围部分也是有用的因此使用尽可能多的图像是有利的。从待定问题3得出的结论为当运动对象被投射在输入图像中时，仅使用输入图像之一是有利的。这些结论有时可能产生相矛盾的结论。即，难以定义从输入图像生成全景图像的系统性方法，该方法系统性地定义了每个输入图像中的哪个区域应当用来生成全景图像并且哪个区域应当被去除。 
因此，希望使得能够从多个图像中适当地获得全景图像。 
根据本发明的一个实施例，提供了一种图像处理装置，该图像处理装置包括：第一图像处理器，被配置为接收通过在预定方向上顺序地转移拍摄位置而捕获的多个图像来作为图像序列，并且针对所述图像序列中除第一图像之外的图像，将与在所述图像序列中优先使用的优先区域相重叠的第一重叠区域设置为禁止使用区域，所述图像包括所述第一重叠区域；第二图像处理器，被配置为将第二或第三图像的第二重叠区域设置为禁止使用区域，所述第二和第三图像在所述图像序列中具有被预定间隔隔开的顺序；以及图像生成器，被配置为利用包括在所述图像序列中的多个图像中除了被所述第一图像处理器和所述第二图像处理器设为禁止使用区域的区域之外的区域，来生成输出图像。 
在本发明的实施例中，从图像序列生成输出图像。图像序列包括通过在预定方向上转移拍摄位置而捕获的多个图像。例如，从在摇动相机的同 时连续拍摄的多个图像生成一个全景图像。 
包括在图像序列中的每个图像的禁止使用区域由第一图像处理器和第二图像处理器设置。在第一图像处理器中，当在第一图像中指定了在图像序列中优先使用的优先区域时，针对除第一图像以外的图像序列中包括第一重叠区域的图像，来将与优先区域重叠的第一重叠区域设置为禁止使用区域。例如，通过用户操作用户操作单元来指定优先区域。 
在第二图像处理器中，当在图像序列中的顺序被预定间隔相隔的第二和第三图像具有第二重叠区域时，第二或第三图像的第二重叠区域被设为禁止使用区域。例如，通过用户操作用户操作单元来设置顺序之间的预定间隔。 
如上所述，根据本发明的实施例，当在图像中指定了优先区域时，其它图像中与优先区域相重叠的区域被设置为禁止使用区域。因此，当投射了运动对象的区域被用户指定为优先区域时，则在生成全景图像时例如仅将一个图像用于该区域。因此，可以防止出现图像模糊，例如不希望的多次曝光。 
此外，如上所述，根据本发明的实施例，当顺序被预定间隔相隔的两个图像具有重叠区域时，重叠区域之一被设为禁止使用区域。因此，用于生成全景图像的输入图像的重叠图像数目被限制，由此可以减少因镜头失真而从每个输入图像的位置位移产生的图像模糊。 
根据本发明的实施例，当在图像中指定了优先区域时，其它区域中与优先区域重叠的区域被设置为禁止使用区域。当顺序被预定间隔相隔的两个图像具有重叠区域时，重叠区域之一被设为禁止使用区域。因此，可以从多个图像适当地生成全景图像。 
附图说明
图1是图示出根据本发明实施例的数码相机的示例性配置的框图。 
图2是图示出全景图像生成器中的全景图像生成处理的处理过程的流程图。 
图3是图示出当生成全景图像时用于确定每个输入图像的使用区域的 处理的示图。 
图4是图示出当生成全景图像时用于确定每个输入图像的使用区域的处理的示图。 
图5A至5C是图示出因镜头失真(桶型失真和枕型失真)而从每个图像的位置位移中产生的模糊的示图。 
图6是图示出当生成全景图像时用于确定每个输入图像的使用区域的处理的示图。 
图7是图示出用于确定每个输入图像的使用区域(UL[i]，UR[i])的详细处理过程的示例的流程图。 
图8是图示出用于确定另一输入图像中与优先区域重叠的区域(重叠区域)作为非使用区域(去除区域)的详细处理过程的示图。 
图9是图示出用于限制每个输入图像的使用区域以便限制正常的重叠图像数目的详细处理过程的示图。 
图10是图示出用于限制每个输入图像的使用区域以便限制正常的重叠图像数目的详细处理过程的流程图。 
图11是图示出用于限制每个输入图像的使用区域以便限制重叠图像的最大数目的详细处理过程的示图。 
图12是图示出用于限制每个输入图像的使用区域以便限制重叠图像的最大数目的详细处理过程的流程图。 
图13是图示出用于确定每个输入图像的使用区域(UL[i]，UR[i])的详细处理过程的另一示例的流程图。 
图14是图示出用于确定每个输入图像的使用区域(UL[i]，UR[i])的详细处理过程的另一示例的流程图。 
图15是图示出用于生成全景图像的计算设备的示例性配置的框图。 
图16是图示出包括建筑和行走的人在内的场景的一个示例的示图。 
图17是图示出通过在摇动相机的同时执行连续拍摄而捕获的N个图像P1至PN的示例的示图。 
图18A至18C是图示出在所捕获图像中因镜头失真而产生的图像失真(例如，桶型失真和枕型失真)的示图。 
具体实施方式
下面，将描述用于实现本发明的实施方式(此后称为实施例)。将以下面的顺序给出描述： 
1.实施例 
2.修改 
1.实施例 
数码相机的示例性配置 
图1图示出了根据本发明实施例的数码相机100的示例性配置。数码相机100包括CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103以及用户操作单元104。数码相机100还包括成像单元111、图像信号处理器112、A/D(模/数)转换器113、数字信号处理器(DSP)114、记录/回放单元115以及显示单元117。 
CPU 101控制数码相机100的各个部分。ROM 102存储CPU 101的控制程序等。RAM 103例如用于临时存储CPU 101的控制处理所需的数据。CPU 101将从ROM 102读取的程序或数据扩展到RAM 103以运行程序，从而控制数码相机100的各个部分。 
用户操作单元104构成用户接口，并且经由总线105连接到CPU101。用户操作单元104包括被布置在数码相机100的未示出的外壳表面上的键、按钮、标度盘等。CPU 101分析经由总线105从用户操作单元104输入的信息，以响应于用户的操作来执行控制。 
成像单元111对物体成像以输出该物体所对应的捕获图像信号。成像单元111由C-MOS(互补金属氧化物半导体)成像元件或CCD(电荷耦合器件)成像元件构成。图像信号处理器112对从成像单元111输出的捕获图像信号(模拟信号)执行处理，例如采样/保持以及增益控制。 
A/D转换器113将从图像信号处理器112输出的捕获图像信号从模拟信号转换为数字信号。数字信号处理器114对从A/D转换器113提供来的捕获图像信号执行图像信号处理。这里提及的图像处理包括白平衡处理和 伽马校正处理。由于这些处理是通用数码相机中执行，因此将省略其细节。 
在此实施例中，数字信号处理器114包括执行全景图像生成处理的全景图像生成器120。全景图像生成处理是从通过在摇动相机的同时执行连续拍摄而捕获的多个图像，即在水平方向上顺序地位移拍摄位置时所捕获的多个图像来生成全景图像的处理。这里，多个图像形成了图像序列。后面将描述全景图像生成处理的细节。 
数字信号处理器114将经过处理的图像数据传送到显示单元117和记录/回放单元115。记录/回放单元115将与用户的快门操作相对应的静态图像数据写入主要为闪存的可移除记录介质116/从主要为闪存的可移除记录介质116读取与用户的快门操作相对应的静态图像数据。显示单元117由例如安装在数码相机100的后表面上的诸如LCD(液晶显示装置)之类的显示面板构成。显示单元117显示捕获的图像、由记录/回放单元115从记录介质116读取的图像，以及对用户有用的各种信息。 
接下来，描述图1所示的数码相机100的操作。在记录模式中，数码相机100执行下面的操作。通过成像单元111的成像处理获得的所捕获图像信号被提供给图像信号处理器112，其中，诸如采样/保持以及增益控制之类的处理被执行。从图像信号处理器112输出的所捕获图像信号由A/D转换器113从模拟信号转换为数字信号，并且随后被提供给数字信号处理器114。在数字信号处理器114中，使从A/D转换器113提供来的所捕获图像信号经过图像信号处理，例如白平衡处理和伽马校正处理。 
通过数字信号处理器114的处理而获得的图像数据被传送给显示单元117。以这种方式，所捕获的图像被显示在显示单元117上，并且相机进入监视状态。在这种监视状态中，当用户利用用户操作单元104执行快门操作时，CPU 101控制数字信号处理器114和记录/回放单元115，以使得响应于快门操作而将静态图像数据写入记录介质116中。在此情况中，例如，当用户在摇动相机的同时，即在水平方向上顺序地位移拍摄位置的同时执行快门操作时，用于生成全景图像的多个图像的静态图像数据被写入记录介质116中。 
在回放模式中，数码相机100执行下面的操作。在记录/回放单元115中，从记录介质116读出通过用户操作单元104上的用户操作选择的静态图像数据。静态图像数据经由数字信号处理器114从记录/回放单元115被提供给显示单元117。以这种方式，回放图像显示在显示单元117上。 
全景图像生成处理 
接下来，描述全景图像生成处理。全景图像是由数字信号处理器114中的全景图像生成器120在CPU 101的控制下生成的。图2的流程图图示出了全景图像生成器120中的全景图像生成处理的处理过程。 
当用户操作用户操作单元104来发出全景图像生成命令时，全景图像生成器120在步骤ST1处开始全景图像生成处理。当发出了全景图像生成命令时，用户例如通过选择记录在记录介质116中的静态图像数据文件来指定将用于生成全景图像的多个图像(图像序列)。 
然后，在步骤ST2，全景图像生成器120接收将用于生成全景图像的多个图像(N个图像P1至PN)。在此情况中，全景图像生成器120经由记录/回放单元115从记录介质116读取多个图像的静态图像数据，并且将静态图像数据临时存储在由诸如SDRAM之类的半导体存储器构成的未示出的存储器中。 
然后，在步骤ST3，全景图像生成器120对多个图像执行对齐(alignment)。在此情况中，全景图像生成器120通过计算图像之间的相关性来执行对齐。相关领域中公知的块匹配方法可以用作计算图像之间的相关性的方法；因此，将省略其详细描述。通过对齐多个图像，每个输入图像Pi(i＝1至N)的左边缘的X坐标X[i]被确定(参见图3和图4)。 
然后，在步骤ST4，全景图像生成器120确定每个输入图像的使用区域。这里，将参考图3至图5描述确定每个输入图像的使用区域的方法。 
由于N个输入图像P1至PN是通过在水平方向上摇动相机的同时执行连续拍摄而捕获的图像，因此，在Y轴方向上不产生位置位移。因此，仅需要考虑X轴方向上的位置位移。图3和图4是图示出X轴方向上的位置位移的示图。在图3中，P1至PN是上述输入图像，其中，未示出P13至PN-2。由于输入图像P1至PN是在摇动相机的同时捕获的，因此，它 们位于在X轴的正向上位移的位置处。每个输入图像Pi(i＝1至N)的左边缘的X坐标用X[i]表示。 
现在关注图3中的位置“A”。在此位置处，存在六个输入图像P6至P11。因此，根据现有技术的方法，全景图像Q的位置“A”处的像素值将为输入图像P6至P11的位置“A”处的像素值的平均值。输入图像P6中的位置“A”对应于图像的右边缘，并且输入图像P11中的位置“A”对应于图像的左边缘。 
如先前在现有技术部分中描述的，如果不存在失真，则如图5A所示，在输入图像P6与输入图像P11之间绝对不存在位置位移，因此，不存在问题。然而，如果存在枕型失真，则例如如图5B所示的，输入图像P6与输入图像P11之间的位置位移增加。因此，全景图像Q不会成为适当的图像。这同样适用于桶型失真。 
现在关注图3中的范围“B”。假设运动对象(例如，图16和17中的行走的人301)投射到此范围中。在此范围中，存在7个输入图像P2至P8。因此，根据现有技术的方法，全景图像Q的范围“B”中的每个位置处的像素值将是输入图像P2至P8的这些位置处的像素值的平均值。由于输入图像P2至P8是顺序捕获的，因此，它们不是同时捕获的。因此，运动对象将被投射到不同图像以及输入图像P2至P8中的不同位置处。因此，当将多个输入图像的平均像素值用作全景图像的像素值时，可能出现图像模糊，就好像该范围的区域经过了多次曝光一样。 
这里，通过某种方法来假设在如图4所示的输入图像P1至PN中，仅能够使用实线所示的区域而将虚线所示的区域用作非使用区域。即，将考虑这样的情况，其中，仅利用输入图像P1至PN中由实线所示的区域来生成全景图像Q。 
在此情况中，在位置“A”处，与图3的情况不同，仅存在两个输入图像P6和P7。全景图像Q在位置“A”处的像素值为输入图像P6和输入图像P7的位置“A”处的像素值的平均值。输入图像P6中的位置“A”对应于图像的右边缘，而输入图像P7中的位置“A”也对应于图像的右边缘。即使当两个图像具有枕型失真，输入图像P6和输入图像P7也将为如 图5C所示的这种关系。 
即，输入图像P6中的位置“A”(图像的右边缘)与输入图像P7中的位置“A”(近似图像的右边缘)具有相同的失真，并且在它们经受了类似程度的枕型失真的状态中相连，并且位置位移是微小的。因此，全景图像Q将成为适当的图像。这同样适用于桶型失真。 
此外，在范围“B”中，与图3的情况不同，仅存在一个输入图像P4。因此，全景图像Q的范围“B”中的每个位置处的像素值将与输入图像P4的对应像素值相同。因此，将不会出现诸如不希望的多次曝光之类的图像模糊问题，而当将多个输入图像的平均像素值用作全景图像的像素值时会出现这种问题。 
如从上面的描述所理解的，当生成全景图像时，使得每个图像区域自动地被分割为如图4所示的虚线区域(非使用区域)和实线区域(使用区域)是一个重要问题。 
在步骤ST4，全景图像生成器120通过考虑在相关技术部分提到的三个待定问题来设置输入图像P1至PN的每个的非使用区域(图4中的虚线区域)，从而确定每个输入图像的使用区域(图4中的实线区域)。后面将提供此确定处理的细节。 
现在参考图2，随后，在步骤ST5，全景图像生成器120生成作为输出图像的全景图像Q。具体地，N个输入图像P1至PN中(其中，在步骤ST4中限制了使用区域)所包括的矩形区域被用作与全景图像Q相对应的区域。现在关注全景图像Q的每个位置(X，Y)。当该位置(X，Y)处仅存在一个输入图像(其中，在步骤ST4中限制了使用区域)时，该输入图像的像素值被用作全景图像Q的位置(X，Y)处的像素值。当在该位置(X，Y)处存在多个输入图像(其中，在步骤ST4中限制了使用区域)时，这些输入图像的像素值的平均值被用作全景图像Q的位置(X，Y)处的像素值。 
然后，在步骤ST6，全景图像生成器120将在步骤ST5中确定了其像素值的全景图像Q输出作为输出图像。在此情况中，全景图像生成器120在记录/回放单元115的辅助下将全景图像Q的静态图像数据写入记录介质116。此外，在此情况中，全景图像Q的静态图像数据被提供给显示单 元117，并且所生成的全景图像Q显示在显示单元117上。以这种方式，用户能够监视所生成的全景图像Q。 
在步骤ST6的处理之后，全景图像生成器120在步骤ST7中终止用于生成全景图像Q的处理序列。 
使用区域确定处理 
接下来，将描述全景图像生成器120中的上述使用区域确定处理(图2中的步骤ST4的处理)的细节。具体地，该确定处理是确定每个输入图像Pi(i＝1至N)的使用区域ARUi(其从UL[i]延伸至UR[i]，其中，X[i]为基准位置)的处理，如图6所示。在图6中，H是输入图像Pi的宽度，并且PL[i]和PR[i]是由用户指定的值(后面将描述)。 
具体地，图2中的步骤ST4的处理，即确定使用区域(具体地，UL[i]和UR[i])的处理通过图7的流程图所示的处理过程来实现。 
在步骤ST11，全景图像生成器120开始处理，并且随后前进到步骤ST12。在步骤ST12，全景图像生成器120接收N个输入图像P1至PN之间的位置关系，具体地为输入图像P1至PN的左边缘的X坐标X[1]至X[N]。输入图像P1至PN的左边缘的X坐标X[1]至X[N]是在通过对齐多个图像来确定每个图像的位置(图2的步骤ST3)的同时确定的。 
接下来，全景图像生成器120前进到步骤ST13。在步骤ST13，允许用户指定优先区域PARi。在此情况中，用户操作用户操作单元104(参见图1)针对输入图像Pi按照需要来指定PL[i]和PR[i](参见图6)，从而指定优先区域PARi。这里，“按照需要”意思是对于某个i可以不指定。即，可以针对所有i(i＝1至N)指定PL[i]和PR[i]，并且PL[i]和PR[i]中的任一个也可以不是对所有i(i＝1至N)都指定。 
例如，用户在监视输入图像Pi的同时指定PL[i]和PR[i]以使得优先区域PARi包括运动对象的投射区域。在此情况中，满足0≤PL[i]＜PR[i]≤H的关系。例如，当在图16和17所示的状态中捕获图像时，用户可以针对输入图像P4来指定包括行走的人301的投射区域在内的区域(图3中的范围B)。更具体地，将包括行走的人301的投射区域在内的区域的左边缘 的位置指定为PL[4]，并且将包括行走的人301的投射区域在内的区域的右边缘的位置指定为PR[4]。 
接下来，全景图像生成器120前进到步骤ST14。在步骤ST14中，全景图像生成器120初始化每个输入图像Pi(i＝1至N)的使用区域。即，针对所有i(i＝1至N)，UL[i]＝0并且UR[i]＝H。这里，H是每个输入图像的宽度，如上所述。用于该处理的伪码如下。 
//伪码：用于设置每个图像的使用区域的参数的初始值的子程序 
for(i＝1 to N){ 
 UL[i]＝0； 
 UR[i]＝H； 
} 
//伪码结束 
接下来，全景图像生成器120前进到步骤ST15。在步骤ST15中，全景图像生成器120将另一输入图像中与在步骤ST13中指定的优先区域重叠的区域(重叠区域)设置为非使用区域(去除区域)。即，全景图像生成器120更新每个输入图像Pi的UL[i]和UR[i]以便去除重叠区域。 
这是解决在相关技术部分提到的待定问题3的对策。将参考图8描述详细的处理过程。在图8中，图示出了作为输入图像一部分的六个输入图像Pi-2至Pi+3。此外，在步骤ST13中，假设在输入图像Pi中指定了优先区域PARi(具体地，PL[i]和PR[i])。 
具有每个图像一个像素的向下的斜率的直线LINE0是从自输入图像Pi的优先区域PARi的右边缘向左位移了预定裕量(margin)(例如，5个像素)的位置来绘制的。在输入图像Pi+1至PN的部分中将，位于直线LINE0的左边的部分用作非使用区域(去除区域)UUL，而将其余部分用作使用区域。类似地，具有每个图像一个像素的向下的斜率的直线LINE1是从自输入图像Pi的优先区域PARi的左边缘向右位移了预定裕量(例如，5个像素)的位置来绘制的。在输入图像P1至Pi-1的部分中，将位于直线LINE1的右边的部分用作非使用区域(去除区域)UUR，而将其余部分用作使用区域。 
通过这样做，其它输入图像中位于与输入图像Pi的优先区域PARi相 同位置处的区域(重叠区域)被去除，并且在此优先区域中，将仅由输入图像Pi来形成全景图像Q。用于此处理的伪码如下。 
//伪码：用于去除与优先区域重叠的去除部分的子程序 
margin＝5： 
for(i＝1 to N&#8211；1){//注：递增循环 
  if(在InputImage[i]中指定了优先区域){ 
     leftLimit＝X[i]+PR[i]&#8211；margin； 
     for(j＝i+1 to N){//注：递增循环 
      ++leftLimit； 
      tmpLowerLimit＝leftLimit &#8211；X[j]； 
      if(UL[j]＜tmpLowerLimit){UL[j]＝tmpLowerLimit；} 
     } 
  } 
} 
for(i＝N to 2){//注：递减循环 
if(在InputImage[i]中指定了优先区域){ 
   if(UL[i]＜＝PR[i]){ 
    //注：如果UL[i]大于PR[i]，则忽略InputImage[i]的优先区域。 
    if(UL[i]＜＝PL[i]){ 
       rightLimit＝X[i]+PL[i]+margin； 
    }else{ 
        rightLimit＝X[i]+UL[i]+margin； 
    } 
    for(j＝i&#8211；1 to 1){//注：递减循环 
        --rightLimit； 
        tmpHigherLimit＝rightLimit &#8211；X[j]； 
        if(tmpHigherLimit＜UR[i]){UR[i]＝tmpHigherLimit；} 
     } 
   } 
} 
//伪码结束 
然而，可能存在这样的情况，其中，为输入图像指定的优先区域的一部分或整体被针对输入图像的第一个for循环处理所去除，在第一个for循环处理中，给予了新的数目并且指定了优先区域。在该情况中，如在第二个for循环处理中所描述的，仅未被去除的部分被用作优先区域，因此， 消除了可能的矛盾。 
现在返回图7，接下来，全景图像生成器120前进到步骤ST16。在步骤ST16，全景图像生成器120限制每个输入图像的使用区域，以便限制正常情况中的重叠图像的数目。具体地，全景图像生成器120更新UL[i]和UR[i]，以使得在输入图像的边缘处三个图像彼此重叠，并且在除这些边缘以外的部分两个图像彼此重叠。 
这是解决在相关技术部分提到的待定问题1和2的对策。将参考图9描述详细的处理过程。在图9中，图示出了作为输入图像多部分的三个输入图像Pi至Pi+2的使用区域。每个输入图像的使用区域是排除掉由步骤ST15的处理所确定的非使用区域(去除区域)后的其余区域。即，这里使用的使用区域是指由步骤ST15的处理所指定的UL[i]和UR[i]之间的区域、UL[i+1]和UR[i+1]之间的区域以及UL[i+2]和UR[i+2]之间的区域。 
全景图像生成器120判断等于或大于预定边界裕量boundaryMargin(例如16像素)的重叠是否出现在输入图像Pi的使用区域与输入图像Pi+2的使用区域之间。当等于或大于boundaryMargin的重叠出现时，全景图像生成器120将输入图像Pi至Pi+2的每个的使用区域的一部分设置为非使用区域(去除区域)UUa，如图9所示，以使得重叠变为等于boundaryMargin。 
通过这样做，在去除了非使用区域之后，三个图像将在输入图像的边缘处彼此重叠，并且两个图像将在除边缘以外的部分彼此重叠，由此可以利用适当数目的重叠图像生成全景图像Q。 
图10的流程图图示出了用于步骤ST16的处理的过程，具体地，用于限制输入图像的使用区域以便限制正常情况中的重叠图像数目的处理过程。 
在步骤ST21，全景图像生成器120开始使用区域限制处理，并且随后前进到步骤ST22。在步骤ST22，全景图像生成器120例如将边界裕量设置为“16”。 
在步骤ST22的处理之后，全景图像生成器120在步骤ST23中进行针对每个i(i＝1至N-2)的重复处理。在此重复处理中，全景图像生成器 120在步骤ST24处开始处理，并且然后前进到步骤ST25。在步骤ST25，全景图像生成器120计算tmp＝(X[i]+UR[i])-(X[i+2]+UL[i+2])-boundaryMargin。 
然后，在步骤ST26，全景图像生成器120判断tmp是否具有正值。当tmp具有正值时，意味着等于或大于boundaryMargin的重叠出现在输入图像Pi的使用区域与输入图像Pi+2的使用区域之间。因此，当tmp具有负值时，全景图像生成器120在步骤ST28立即终止处理并且继续执行针对下一i的处理。 
当tmp具有正值时，全景图像生成器120在步骤ST27中将UR[i]和UL[i+2]分别更新为UR[i]＝UR[i]-(tmp/2)和UL[i+2]＝UL[i+2]+(tmp/2)。然后，全景图像生成器120在步骤ST28中终止处理并且继续执行针对下一i的处理。 
当完成了步骤ST23中针对每个i(i＝1至N-2)的重复处理时，全景图像生成器120在步骤ST29中终止使用区域限制处理。 
在上面的描述中，已经描述了将重叠图像的数目在边缘处限制为三个并且在除边缘之外的部分限制为两个的情况。然而，可以进行一般化以使得重叠图像数目在边缘处被限制为S(S是等于或大于2的整数)并且在除边缘以外的部分被限制为S-1。用户可以通过操作用户操作单元104(参见图1)来预先设置S的值。上面的描述是S＝3的情况的一个示例。例如，当镜头失真较大时，能够通过降低S的值来减少因镜头失真而从每个输入图像的位置位移引起的图像模糊。此外，当包括许多噪声分量时，能够通过增加S的值来获得具有较少噪声的图像。 
现在返回图7，接下来，全景图像生成器120前进到步骤ST17。虽然通过步骤ST16的处理将重叠图像的数目限制到了某种程度，然而，重叠图像的总数最终可能增加。在步骤ST17中，全景图像生成器120限制每个输入图像的使用区域以限制重叠图像的最大数目。即，全景图像生成器120更新UL[i]和UR[i]以使得在输入图像的任何位置处，最多仅存在四个彼此重叠的图像。 
这是解决在相关技术部分提到的待定问题1和2的对策。将参考图11 描述详细的处理过程。在图11中，图示出了作为输入图像多部分的五个输入图像Pi至Pi+4的使用区域。每个输入图像的使用区域是排除掉通过步骤ST16的处理确定的非使用区域(去除区域)之后的其余区域。即，这里使用的使用区域是指通过步骤ST16的处理所指定的UL[i]和UR[i]之间的区域、UL[i+1]和UR[i+1]之间的区域、UL[i+2]和UR[i+2]之间的区域、UL[i+3]和UR[i+3]之间的区域以及UL[i+4]和UR[i+4]之间的区域。 
全景图像生成器120判断重叠是否出现在输入图像Pi的使用区域与输入图像Pi+4的使用区域之间。当重叠出现时，全景图像生成器120将输入图像Pi和Pi+4的每个的使用区域的一部分设为非使用区域(去除区域)UUb，如图11所示，以使得不存在重叠。 
通过这样做，在去除了非使用区域之后，在输入图像中最多仅存在四个彼此重叠的图像，由此可以利用适当数目的重叠图像来生成全景图像Q。 
图12的流程图图示出了用于步骤ST17的处理的过程，具体地，用于限制输入图像的使用区域以便限制重叠图像的最大数目的处理过程。 
在步骤ST31中，全景图像生成器120开始使用区域限制处理，并且随后在步骤ST32中进行针对每个i(i＝1至N-2)的重复处理。在此重复处理中，全景图像生成器120在步骤ST33处开始处理，并且随后前进到步骤ST34。在步骤ST34中，全景图像生成器120计算tmp＝(X[i]+UR[i])-(X[i+4]+UL[i+4])。 
接下来，在步骤ST35中，全景图像生成器120判断tmp是否具有正值。当tmp具有正值时，意味着重叠出现在输入图像Pi的使用区域与输入图像Pi+4的使用区域之间。因此，当tmp具有负值时，全景图像生成器120在步骤ST37中立即终止处理并且继续执行针对下一i的处理。 
当tmp具有正值时，全景图像生成器120在步骤ST36中将UR[i]和UL[i+4]分别更新为UR[i]＝UR[i]-(tmp/2)和UL[i+4]＝UL[i+4]+(tmp/2)。然后，全景图像生成器120在步骤ST37中终止处理并且继续执行针对下一i的处理。 
当完成了步骤ST32中针对每个i(i＝1至N-2)的重复处理时，全景 图像生成器120在步骤ST38中终止使用区域限制处理。 
在上面的描述中，已描述了将重叠图像的最大数目限制为4的情况。然而，可以进行一般化以使得重叠图像的最大数目被限制T(T是等于或大于2的整数)。用户可以通过操作用户操作单元104(参见图1)来预先设置T的值。上面的描述是T＝4的情况的一个示例。例如，当镜头失真较大时，可以通过降低T的值来减少因镜头失真而从每个输入图像的位置位移中产生的图像模糊。此外，当包括许多噪声分量时，可以通过增加T的值来获得具有较少噪声的图像。 
现在返回图7，接下来，全景图像生成器120前进到步骤ST18。在步骤ST18，全景图像生成器120输出每个输入图像Pi(i＝1至N)的使用区域，具体地为UL[i]和UR[i]，并且随后在步骤ST19中终止该子程序的处理。 
如上所述，根据图1所示的数码相机100，当在利用多个输入图像P1至PN生成全景图像Q时针对输入图像Pi指定了优先区域PARi时，数字信号处理器114的全景图像生成器120将其它输入图像中与优先区域重叠的区域设置为禁止使用区域UUL和UUR(图7中的步骤ST13和ST15)。因此，当投射了运动对象的区域被用户指定为优先区域PARi时，在生成全景图像Q时例如仅将一个图像用于该区域。因此，可以防止出现诸如不希望的多次曝光之类的图像模糊。 
此外，根据图1所示的数码相机100，当顺序被预定间隔隔开的两个输入图像具有重叠区域时，数字信号处理器114的全景图像生成器120将重叠区域之一设为禁止使用区域(图7的步骤ST16和ST17)。因此，用于生成全景图像Q的输入图像的重叠图像数目被限制，从而可以减少因镜头失真而从每个输入图像的位置位移产生的图像模糊。 
2.修改 
在上述实施例中，全景图像生成器120在确定输入图像P1至PN的每个的使用区域(图2的步骤ST4)时执行下面的第一和第二处理。第一处理是将每个其它输入图像中与优先区域重叠的区域设为非使用区域(图7 中的步骤ST15)的处理。第二处理是按照需要向每个输入图像提供非使用区域以限制重叠图像的数目(图7的步骤ST16和ST17)的处理。 
然而，还可以考虑通过执行第一和第二处理中的任一个来确定输入图像P1至PN的每个的使用区域的方法。图13的流程图图示出了通过仅执行第一处理来确定每个输入图像Pi(i＝1至N)的使用区域(UL[i]和UR[i])的处理过程。在图13的流程图中，用相同的标号表示与图7的流程图中相同或相对应的步骤。在图13的流程图中，排除了图7的流程图中的步骤ST16和ST17的处理。由于图13的流程图中的步骤的处理与图7的流程图中的相对应步骤的处理相同，因此将省略其描述。 
根据在确定输入图像P1至PN的每个的使用区域时执行第一处理(将其它输入图像中与优先区域重叠的区域设为非使用区域的处理)的方法，可以获得下面的优点。当投射了运动对象的区域被用户指定为优先区域时，例如在生成全景图像Q时仅将一个图像用于该区域。因此，可以防止出现图像模糊，例如不希望的多次曝光。 
图14的流程图图示出了通过仅执行第二处理来确定每个输入图像Pi(i＝1至N)的使用区域(UL[i]和UR[i])的处理过程。在图14的流程图中，用相同的标号表示与图7的流程图中相同或相对应的步骤。在图14的流程图中，排除了图7的流程图中的步骤ST13和ST15的处理。由于图14的流程图中的步骤的处理与图7的流程图中的相对应步骤的处理相同，因此将省略其描述。 
根据在确定输入图像P1至PN的每个的使用区域时执行第二处理(按照需要向每个输入图像提供非使用区域以限制重叠图像数目的处理)的方法，可以获得下面的优点。由于用于生成全景图像Q的输入图像的重叠图像数目被限制，因此可以减少因镜头失真而从每个输入图像的位置位移产生的图像模糊。 
在上述实施例中，虽然第二处理包括限制正常的重叠图像数目的处理(图7的步骤ST16)以及限制重叠图像的最大数目的处理(图7的步骤ST17)，然而，执行两个处理中的任一个的配置也是可能的。 
此外，在上述实施例中，结合第一处理描述了由用户指定优先区域 (图13的步骤ST13)。然而，还可以考虑这样的配置，其中，从输入图像P1至PN检测运动对象的投射区域，并且包括运动对象的区域自动地被指定为优先区域。 
此外，上述实施例描述了从通过在摇动相机的同时执行连续拍摄而捕获的多个输入图像P1至PN，即，在水平方向上顺序地转移拍摄位置而捕获的多个输入图像P1至PN，来生成全景图像Q的示例。然而，在捕获多个输入图像P1至PN时转移拍摄位置的方向不限于水平方向。转移方向可以是水平方向或其它方向。 
此外，上述实施例描述了由数码相机100的数字信号处理器114中的全景图像生成器120在CPU 101的控制下从多个输入图像P1至PN生成全景图像Q的示例。然而，这样的方法也是可以的，其中，由数码相机捕获的多个图像被传送到计算设备，并且全景图像在计算设备内生成。在此情况中，虽然未提供详细描述，然而，通过与全景图像生成器120的上述处理相同的处理来确定输入图像P1至PN的每个的使用区域，由此可以在计算设备内适当地生成全景图像Q。 
图15图示出了用于生成全景图像的计算设备200的示例性配置。 
计算设备200包括CPU(中央处理单元)11、存储器12、显示控制器13、输入设备接口14以及网络接口15。计算设备200还包括外部设备接口16和数码相机接口18。这些组件连接到总线17。 
显示器19经由显示控制器13连接到总线17。键盘(KBD)20和鼠标21经由输入设备接口14连接到总线17。此外，硬盘驱动器(HDD)22和介质驱动器23经由外部设备接口16连接到总线17。数码相机经由数码相机接口18连接到总线17。此外，计算设备200经由网络接口15连接到诸如因特网之类的网络。 
CPU 11是计算设备200的主控制器。CPU 11在操作系统(OS)的控制下执行各种应用。例如，CPU 11能够执行用于处理从数码相机即刻下载到硬盘驱动器22的图像的应用程序。应用程序在其中实现了用于执行上述全景图像生成处理的处理程序序列。CPU 11通过总线17与其它设备互连。 
存储器12是用于存储供CPU 11执行的程序代码并临时存储执行时的工作数据的存储设备。存储器12被配置为包括诸如ROM之类的非易失性存储和诸如DRAM之类的易失性存储器。 
显示控制器13是实际上处理由CPU 11发出的呈现命令的专用控制器。经显示控制器13处理后的呈现数据首先被写入例如帧缓冲器(未示出)，并且随后显示在显示器19的屏幕上。例如，从硬盘驱动器22读出的图像被显示在显示器19的屏幕上，并且用户观看并欣赏图像。 
输入设备接口14是将诸如键盘20或鼠标21之类的用户输入设备连接到计算设备200的设备。用户能够经由键盘20或鼠标21来输入例如用于播放图像的命令。 
网络接口15根据诸如以太网(注册商标)之类的预定通信协议将计算设备200连接到诸如LAN(局域网)之类的局部网络以及诸如因特网之类的广域网。 
在网络上，多个主机终端或服务器(未示出)以透明状态相连，从而建立了分布式计算环境。在网络上，可获得用于分发软件程序或数据内容的服务。例如，可从存储有其他人捕获的图像的服务器经由网络将图像数据下载到硬盘驱动器22中。 
数码相机接口18是将从数码相机提供来的图像带入计算设备200的设备。外部设备接口16是用于将诸如硬盘驱动器22或介质驱动器23之类的外部设备连接到计算设备200的设备。 
硬盘驱动器22是在其上固定地安装有作为存储载体的磁盘的外部存储设备，如本领域公知的，并且就存储容量和数据传输速率来说优于其它外部存储装置。此外，硬盘驱动器22具有随机存取能力。 
在可执行状态中将软件程序置于硬盘驱动器22上的操作称为将程序“装载”到系统中。硬盘驱动器22一般以非易失性方式存储供CPU 11执行的操作系统的程序代码、应用程序、设备驱动器等。例如，可以将用于执行上述全景图像生成处理的处理程序序列装载到硬盘驱动器22上。 
介质驱动器23是安装有诸如CD(致密盘)、MO(磁光盘)或DVD(数字通用盘)之类的便携式介质并且访问其数据记录面的设备。便携式 介质主要用于将软件程序、数据文件等的备份制作为计算机可读格式的数据，或者用于将它们在系统之间传输(换言之，包括销售、流通和发发)。例如，可以利用便携式介质在多个设备之间有形地流通和分发用于图像处理的应用程序。 
本申请包含与2009年1月7日向日本专利局提交的日本优先专利申请JP 2009-001250中公开的主题有关的主题，该申请的全部内容通过引用结合于此。 
本领域的技术人员应当明白，可以根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围之内。 

Claims (8)

1.一种图像处理装置，包括：
第一图像处理器，被配置为接收通过在预定方向上顺序地转移拍摄位置而捕获的多个图像作为图像序列，并且针对所述图像序列中除第一图像之外的图像，将与在所述图像序列中要优先使用的优先区域相重叠的第一重叠区域设置为禁止使用区域，所述图像包括所述第一重叠区域；
第二图像处理器，被配置为将第二或第三图像的第二重叠区域设置为禁止使用区域，所述第二和第三图像在所述图像序列中的顺序具有预定间隔；以及
图像生成器，被配置为利用包括在所述图像序列中的多个图像中除了被所述第一图像处理器和所述第二图像处理器设为禁止使用区域的区域之外的区域，生成输出图像。
2.根据权利要求1所述的图像处理装置，还包括：用户操作单元，该用户操作单元使得用户能够在所述图像序列中所包括的多个图像的任意图像中指定所述优先区域。
3.根据权利要求1所述的图像处理装置，还包括：用户操作单元，该用户操作单元使得用户能够设置所述顺序的所述预定间隔。
4.一种图像处理方法，包括：
第一图像处理步骤，用于接收通过在预定方向上顺序地转移拍摄位置而捕获的多个图像作为图像序列，并且针对所述图像序列中除第一图像之外的图像，将与在所述图像序列中要优先使用的优先区域相重叠的第一重叠区域设置为禁止使用区域，所述图像包括所述第一重叠区域；
第二图像处理步骤，用于将第二或第三图像的第二重叠区域设置为禁止使用区域，所述第二和第三图像在所述图像序列中的顺序具有预定间隔；以及
图像生成步骤，用于利用包括在所述图像序列中的多个图像中除了在所述第一图像处理步骤和所述第二图像处理步骤中被设为禁止使用区域的区域之外的区域，生成输出图像。
5.一种图像处理装置，包括：
图像处理器，被配置为接收通过在预定方向上顺序地转移拍摄位置而捕获的多个图像作为图像序列，并且针对所述图像序列中除第一图像之外的图像，将与在所述图像序列中要优先使用的优先区域相重叠的第一重叠区域设置为禁止使用区域，所述图像包括所述第一重叠区域；以及
图像生成器，被配置为利用包括在所述图像序列中的多个图像中除了被所述图像处理器设为禁止使用区域的区域之外的区域，生成输出图像。
6.一种图像处理方法，包括：
图像处理步骤，用于接收通过在预定方向上顺序地转移拍摄位置而捕获的多个图像作为图像序列，并且针对所述图像序列中除第一图像之外的图像，将与在所述图像序列中要优先使用的优先区域相重叠的第一重叠区域设置为禁止使用区域，所述图像包括所述第一重叠区域；以及
图像生成步骤，用于利用包括在所述图像序列中的多个图像中除了在所述图像处理步骤中被设为禁止使用区域的区域之外的区域，生成输出图像。
7.一种图像处理装置，包括：
图像处理器，被配置为将第一或第二图像的重叠区域设置为禁止使用区域，所述重叠区域与所述第一和第二图像重叠，并且所述第一和第二图像在包括通过在预定方向上顺序地转移拍摄位置而捕获的多个图像的图像序列中的顺序具有预定间隔；以及
图像生成器，被配置为利用包括在所述图像序列中的多个图像中除了被所述图像处理器设为禁止使用区域的区域之外的区域，生成输出图像。
8.一种图像处理方法，包括：
图像处理步骤，用于将第一或第二图像的重叠区域设置为禁止使用区域，所述重叠区域与所述第一和第二图像重叠，并且所述第一和第二图像在包括通过在预定方向上顺序地转移拍摄位置而捕获的多个图像的图像序列中的顺序具有预定间隔；以及
图像生成步骤，用于利用包括在所述图像序列中的多个图像中除了在所述图像处理步骤中被设为禁止使用区域的区域之外的区域，生成输出图像。
CN2010100023151A 2009-01-07 2010-01-07 图像处理装置和图像处理方法 Expired - Fee Related CN101778217B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009001250A JP5218071B2 (ja) 2009-01-07 2009-01-07 画像処理装置、画像処理方法およびプログラム
JP2009-001250 2009-02-10

Publications (2)

Publication Number Publication Date
CN101778217A CN101778217A (zh) 2010-07-14
CN101778217B true CN101778217B (zh) 2012-05-30

Family

ID=42311425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010100023151A Expired - Fee Related CN101778217B (zh) 2009-01-07 2010-01-07 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US8723917B2 (zh)
JP (1) JP5218071B2 (zh)
CN (1) CN101778217B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612371A (zh) * 2015-10-21 2017-05-03 Lg电子株式会社 移动终端

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5321070B2 (ja) * 2009-01-08 2013-10-23 カシオ計算機株式会社 撮影装置、撮影方法及びプログラム
JP2012222674A (ja) * 2011-04-12 2012-11-12 Sony Corp 画像処理装置、画像処理方法、プログラム
US9160914B2 (en) * 2011-06-28 2015-10-13 Inview Technology Corporation User control of the visual performance of a compressive imaging system
WO2013001143A2 (en) 2011-06-30 2013-01-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
JP5830328B2 (ja) * 2011-09-26 2015-12-09 オリンパス株式会社 内視鏡用画像処理装置、内視鏡装置及び画像処理方法
JP5729237B2 (ja) * 2011-09-26 2015-06-03 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP2013228896A (ja) * 2012-04-26 2013-11-07 Sony Corp 画像処理装置、画像処理方法、プログラム
JP2015156523A (ja) * 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2015156051A (ja) 2012-06-06 2015-08-27 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5719480B2 (ja) 2012-07-13 2015-05-20 富士フイルム株式会社 画像変形装置およびその動作制御方法
US9690458B2 (en) * 2012-09-10 2017-06-27 Mediatek Inc. Image viewing method for displaying portion of selected image based on user interaction input and related image viewing system and machine readable medium
WO2014178234A1 (ja) 2013-04-30 2014-11-06 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6003803B2 (ja) * 2013-05-22 2016-10-05 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP6391356B2 (ja) * 2014-08-11 2018-09-19 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6633862B2 (ja) * 2015-08-04 2020-01-22 キヤノン株式会社 情報処理装置およびその制御方法
US10198838B2 (en) * 2016-03-31 2019-02-05 Qualcomm Incorporated Geometric work scheduling with dynamic and probabilistic work trimming
US11373297B2 (en) * 2016-10-18 2022-06-28 Vatech Co., Ltd. Producing panoramic radiograph
JP6952456B2 (ja) * 2016-11-28 2021-10-20 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
CN106954025B (zh) * 2017-04-17 2019-01-22 维沃移动通信有限公司 一种拍照方法及移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813391B1 (en) * 2000-07-07 2004-11-02 Microsoft Corp. System and method for exposure compensation
CN1553410A (zh) * 2003-12-18 2004-12-08 沈阳东软数字医疗系统股份有限公司 医学图像枕形失真的校正方法
CN1830002A (zh) * 2003-07-28 2006-09-06 奥林巴斯株式会社 图像处理装置、图像处理方法以及失真校正方法
CN101059649A (zh) * 2006-04-18 2007-10-24 索尼株式会社 掩模图案生成方法
US20080298706A1 (en) * 2007-05-29 2008-12-04 Microsoft Corporation Focal length estimation for panoramic stitching

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6657667B1 (en) * 1997-11-25 2003-12-02 Flashpoint Technology, Inc. Method and apparatus for capturing a multidimensional array of overlapping images for composite image generation
US6704041B2 (en) * 1998-03-10 2004-03-09 Canon Kabushiki Kaisha Image processing method, apparatus and memory medium therefor
JP4178657B2 (ja) 1999-04-12 2008-11-12 カシオ計算機株式会社 パノラマ撮影方法及び撮像装置
US7064783B2 (en) * 1999-12-31 2006-06-20 Stmicroelectronics, Inc. Still picture format for subsequent picture stitching for forming a panoramic image
GB2370438A (en) * 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
JP2002208005A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US7010158B2 (en) * 2001-11-13 2006-03-07 Eastman Kodak Company Method and apparatus for three-dimensional scene modeling and reconstruction
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
JP2005175620A (ja) * 2003-12-08 2005-06-30 Canon Inc 画像処理方法及び装置
JP2005309921A (ja) * 2004-04-23 2005-11-04 Seiko Epson Corp 複数の画像からの画像合成
US20060182437A1 (en) * 2005-02-11 2006-08-17 Williams Karen E Method and apparatus for previewing a panoramic image on a digital camera
US7839429B2 (en) * 2005-05-26 2010-11-23 Hewlett-Packard Development Company, L.P. In-camera panorama stitching method and apparatus
US7424218B2 (en) * 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4407663B2 (ja) * 2005-10-13 2010-02-03 株式会社デンソーウェーブ 撮像装置
US7706610B2 (en) * 2005-11-29 2010-04-27 Microsoft Corporation Segmentation of objects by minimizing global-local variational energy
US7639897B2 (en) * 2006-01-24 2009-12-29 Hewlett-Packard Development Company, L.P. Method and apparatus for composing a panoramic photograph
US20080111831A1 (en) * 2006-11-15 2008-05-15 Jay Son Efficient Panoramic Image Generation
KR101354899B1 (ko) * 2007-08-29 2014-01-27 삼성전자주식회사 파노라마 사진 촬영 방법
KR101473215B1 (ko) * 2008-04-18 2014-12-17 삼성전자주식회사 파노라마 이미지 생성장치 및 그 방법
JP5133816B2 (ja) * 2008-08-22 2013-01-30 オリンパスイメージング株式会社 カメラ、画像合成方法、およびプログラム
JP5257044B2 (ja) * 2008-12-16 2013-08-07 ソニー株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813391B1 (en) * 2000-07-07 2004-11-02 Microsoft Corp. System and method for exposure compensation
CN1830002A (zh) * 2003-07-28 2006-09-06 奥林巴斯株式会社 图像处理装置、图像处理方法以及失真校正方法
CN1553410A (zh) * 2003-12-18 2004-12-08 沈阳东软数字医疗系统股份有限公司 医学图像枕形失真的校正方法
CN101059649A (zh) * 2006-04-18 2007-10-24 索尼株式会社 掩模图案生成方法
US20080298706A1 (en) * 2007-05-29 2008-12-04 Microsoft Corporation Focal length estimation for panoramic stitching

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612371A (zh) * 2015-10-21 2017-05-03 Lg电子株式会社 移动终端
CN106612371B (zh) * 2015-10-21 2021-03-09 Lg电子株式会社 移动终端

Also Published As

Publication number Publication date
CN101778217A (zh) 2010-07-14
US20100171810A1 (en) 2010-07-08
JP5218071B2 (ja) 2013-06-26
JP2010161520A (ja) 2010-07-22
US8723917B2 (en) 2014-05-13

Similar Documents

Publication Publication Date Title
CN101778217B (zh) 图像处理装置和图像处理方法
JP4446193B2 (ja) 画像処理装置および方法、並びにプログラム
CN100498835C (zh) 图像组合系统、图像组合方法
JP5018767B2 (ja) 被写体追跡プログラム、被写体追跡装置、およびカメラ
US7834914B2 (en) Image pickup apparatus and signal processor
JP2007201948A (ja) 撮像装置、画像処理方法及びプログラム
JPWO2009019848A1 (ja) 撮影装置、撮影方法、およびプログラム
JP4640032B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP2007214620A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2014096654A (ja) 撮像装置及びプログラム
JP3837882B2 (ja) 撮影画像管理装置およびそのプログラム記録媒体
JP2010068193A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2006287365A (ja) デジタルカメラ
JP2006285655A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2007274248A (ja) 画像再生装置ならびにその制御方法およびその制御プログラム
JPH0746525A (ja) 撮像装置
JP5511403B2 (ja) 画像処理装置およびその制御方法
JP2019213171A (ja) 画像処理装置、画像処理方法及びプログラム
JP4461991B2 (ja) 画像転送装置及びプログラム
JPH11275393A (ja) 画像入力装置、画像入力方法、及び記録媒体
JP2005311875A (ja) 電子カメラ、カメラシステムおよび画像処理プログラム
JP6083946B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2003309755A (ja) モバイルカメラ
JP2007243333A (ja) 手ブレ補正方法、手ブレ補正装置、および撮像装置
JP2003333425A (ja) カメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20160107