CN102063711A - 用于生成全景图像的装置和方法以及计算机可读介质 - Google Patents

用于生成全景图像的装置和方法以及计算机可读介质 Download PDF

Info

Publication number
CN102063711A
CN102063711A CN2010105302368A CN201010530236A CN102063711A CN 102063711 A CN102063711 A CN 102063711A CN 2010105302368 A CN2010105302368 A CN 2010105302368A CN 201010530236 A CN201010530236 A CN 201010530236A CN 102063711 A CN102063711 A CN 102063711A
Authority
CN
China
Prior art keywords
image
connecting line
panoramic picture
images
catch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010105302368A
Other languages
English (en)
Inventor
小野博明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102063711A publication Critical patent/CN102063711A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了用于生成全景图像的装置、方法和计算机可读介质。该装置包括：图像拾取单元，接收第一图像和第二图像，第一图像包括表示移动对象的第一图像数据，第二图像包括表示移动对象的第二图像数据；图像处理单元，确定第一和第二图像之间的移动对象的相对移动；连接线计算单元，基于相对移动确定表示第一图像的第一经修改的边缘和第二图像的第一经修改的边缘的第一连接线；以及全景合成单元，基于第一连接线合并第一和第二图像以生成全景图像。

Description

用于生成全景图像的装置和方法以及计算机可读介质
技术领域
本发明涉及图像处理装置、图像处理方法和计算机可读介质，并且尤其涉及一种图像处理装置、一种图像处理方法和一种计算机可读介质，其中以低计算成本获得高质量全景图像。
背景技术
通常，通过彼此叠置和合成使用并入相机等的数字VCR(盒式录像机)已捕获的多个静止图像来生成全景图像的技术已被使用(参照例如日本未经审查的专利申请公开第2003-198902号)。由于通过布置和合成多个静止图像获得了全景图像，因此，在全景图像中显示比要捕获静止图像时在空间上用作图像捕获对象的区域更大的区域作为表现对象。
然而，如果在要生成全景图像时未考虑已经被移动了的表现对象(在下文中被适当地称为“移动表现对象”)并且静止图像简单地彼此重叠，则移动表现对象附近的区域在静止图像彼此重叠的部分处可能模糊，或者一部分移动表现对象可能缺失。生成该模糊或缺失引起了全景图像的质量劣化。
因此，考虑到移动表现对象，已经提出了利用图论中的最短路径问题解决方案的方法，作为用于检测用来在静止图像之间进行连接的接合部分的方法(参照饭吉建彰和三桥涉的“Image Mosaic Generation Method forGenerating Panorama Image”，第6至11页，图像实验室2008年6月号，日本工业出版株式会社，2008年8月5日出版)。
在该方法中，如图1中所示，确定其中彼此相邻的两个静止图像It和I(t+1)彼此重叠的区域中包括的接合线SL。应当注意，在图1中，水平方向和竖直方向分别表示x方向和y方向，并且静止图像It和I(t+1)被布置为在xy坐标系统中彼此重叠。
在图1中示出的示例中，使用在其中静态图像It和I(t+1)彼此重叠的区域中计算的成本值来计算对应于最小成本的接合线SL。具体地，高成本被设定给静止图像中包括的移动表现对象，而低成本被设定给静止表现对象，生成二维曲线，并且确定对应于最小成本的接合线SL。因此，获得了防止静止图像中包括的移动表现对象被分割的接合线SL。
在计算接合线SL之后，从静止图像It的左末端到静止图像It的接合线SL附近的部分的范围中的部分，以及从静止图像I(t+1)的接合线SL附近的部分到静止图像I(t+1)的右末端的范围中的部分被彼此合成，从而获得了全景图像。
如上文所述，由于在静止图像彼此合成之前获得了防止移动表现对象被分割的接合线SL，因此在执行合成时防止了生成模糊或缺失，并且可以获得较高质量的全景图像。
然而，当使用用于通过计算其中静止图像彼此重叠的区域中的成本值来获得对应于最小成本的接合线的方法时，可以使用存储二维成本图(即x和y方向的成本图(cost map))的存储器，并且确定最短路径的计算成本也变大了。
所期望的是以低的计算成本实现高质量的全景图像。
发明内容
根据示例性实施例，提供了一种用于生成全景图像的装置，包括：图像拾取单元，接收第一图像和第二图像，第一图像包括表示移动对象的第一图像数据，第二图像包括表示移动对象的第二图像数据；图像处理单元，确定移动对象在第一和第二图像之间的相对移动；连接线计算单元，基于相对移动确定表示第一图像的第一经修改的边缘和第二图像的第一经修改的边缘的第一连接线；以及全景合成单元，基于第一连接线合并第一和第二图像以生成全景图像。
根据另一示例性实施例，提供了一种用于生成全景图像的方法，包括：接收第一图像和第二图像，第一图像包括表示移动对象的第一图像数据，第二图像包括表示移动对象的第二图像数据；确定运动对象在第一和第二图像之间的相对移动；基于相对移动确定表示第一图像的第一经修改的边缘和第二图像的第一经修改的边缘的第一连接线；以及基于第一连接线合并第一和第二图像以生成全景图像。
根据另一示例性实施例，提供了一种被利用指令来编码的、在存储设备中有形地实施的非暂时性计算机可读介质，当这些指令在处理器上执行时，其执行用于生成全景图像的方法，该方法包括：接收第一图像和第二图像，第一和第二图像包括表示移动对象的第一和第二图像数据；确定移动对象在第一和第二图像之间的相对移动；基于相对移动确定表示第一图像的第一经修改的边缘和第二图像的第一经修改的边缘的第一连接线；以及基于第一连接线合并第一和第二图像以生成全景图像。
附图说明
图1是图示相关技术中的用于搜索接合线的方法的示图；
图2是图示图像拾取装置的配置的示例性实施例的示图；
图3是图示图像处理电路的配置的示例性实施例的示图；
图4是图示生成全景图像的示例性过程的流程图；
图5是图示示例性地将捕获图像投影到圆柱区域的示图；
图6是图示成像区域和圆柱区域之间的示例性关系的示图；
图7是图示表现对象信息的示例性计算的示图；
图8是图示扫动轴中的各种位置处的示例性移动表现对象分值的示图；
图9是图示接合线的示例性搜索的示图；
图10是图示各接合线的示例性搜索的示图；
图11是图示各捕获图像的有效区域之间的示例性连接的示图；
图12是图示全景图像的示例性修剪的示图；
图13是图示全景图像的另一示例性修剪的示图；
图14是图示表现对象信息的示例性计算的示图；
图15是图示表现对象信息的另一示例性计算的示图；
图16是图示表现对象信息的另一示例性计算的示图；
图17是图示确定连接线的示例性顺序的示图；
图18是图示确定连接线的另一示例性顺序的示图；以及
图19是图示计算机的示例性配置的示图。
具体实施方式
下面将参照附图描述根据本发明的示例性实施例。
图像拾取装置的配置
图2是图示图像拾取装置11的配置的示例的示图。
图像拾取装置11主要包括光学系统、信号处理系统、记录系统、显示系统和控制系统。
具体地，光学系统包括：透镜21，收集表现对象的光学图像；光圈22，控制从透镜21提供的光学图像的光量；以及图像拾取元件23，对收集的光学图像执行光电转换以便于获得电信号。图像拾取元件23包括例如CCD(电荷耦合器件)图像传感器或者CMOS(互补金属氧化物半导体)图像传感器。
信号处理系统包括采样电路24、A/D(模拟/数字)转换电路25和图像处理电路26。采样电路24通过例如CDS(相关双采样)电路实现并且对从图像拾取元件23提供的电信号执行采样以便于获得模拟信号。由此，减少了图像拾取元件23中生成的噪声。采样电路24获得的模拟信号对应于用于显示捕获的表现对象的图像的图像信号。
A/D转换电路25将从采样电路24提供的模拟信号转换为数字信号并且将该数字信号提供给图像处理电路26。图像处理电路26对从A/D转换电路25提供的数字信号执行预定的图像处理。
此外，记录系统包括：编码/解码单元27，对图像信号进行编码或解码；以及存储器28，记录该图像信号。编码/解码单元27对与已由图像处理单元26处理的数字信号相对应的图像信号进行编码并指令存储器28存储该图像信号，并且从存储器28读取该图像信号并对其进行解码并将该图像信号提供给图像处理电路26。
显示系统包括D/A(数字/模拟)转换电路29、视频编码器30和显示单元31。
D/A转换电路29将已由图像处理电路26处理的图像信号转换为模拟图像信号并且将该图像信号提供给视频编码器30。视频编码器30对从D/A转换电路29提供的图像信号进行编码以便于获得具有适合于显示单元31的格式的视频信号。由LCD(液晶显示器)等实现的显示单元31显示与通过由视频编码器30执行的编码而获得的视频信号相对应的图像。此外，显示单元31在捕获表现对象时用作取景器。
控制系统包括时序生成单元32、操作输入单元33、驱动器34和控制器35。此外，图像处理电路26、编码/解码单元27、存储器28、时序生成单元32、操作输入单元33和控制器35通过总线36彼此连接。
时序生成单元32控制图像拾取元件23、采样电路24、A/D转换电路25和图像处理电路26的操作的时序。包括按钮和开关的操作输入单元33接收快门操作或者由用户执行的其他命令输入并且响应于用户操作将信号提供给控制器35。
预定的外围设备连接到驱动器34并且驱动器34驱动所连接的外围设备。例如，驱动器34从诸如磁盘、光盘、磁光盘或半导体存储器的连接到其的记录介质读取数据并且将该数据提供给控制器35。
控制器35控制整体图像拾取装置11。例如，控制器35从连接到驱动器34的记录介质读取控制指令并且根据这些控制指令、从操作输入单元33提供的命令等来控制图像拾取装置11的整体操作。
现在将描述图像拾取装置11的操作。
在图像拾取装置11中，来自表现对象的入射光(即表现对象的光学图像)通过透镜21和光圈22入射在图像拾取元件23中，并且经历由图像拾取元件23进行的光电转换，从而获得电信号。由图像拾取元件23获得的电信号的噪声分量由采样电路24移除，并且该电信号由A/D转换电路25转换为数字信号。该数字信号被临时存储在并入图像处理电路26中的图像存储器(未示出)中。
应当注意，在通常的状态中(即在执行快门操作之前的状态中)，时序生成单元32对信号处理系统执行时序控制，从而图像处理电路26中包括的图像存储器中存储的图像信号按预定的帧速率恒定地被从A/D转换电路25提供的另一图像信号替换。作为数字信号且存储在图像处理电路26的图像存储器中的图像信号由D/A转换电路29转换为模拟信号，并且由视频编码器30进一步转换为视频信号。随后，对应于该视频信号的图像被显示在显示单元31中。
在该情况中，显示单元31还用作图像拾取装置11的取景器。用户在观察显示单元31中显示的图像的同时确定构图并且按下用作操作输入单元33的快门按钮以便于指令捕获图像。当快门按钮被按下时，控制器35根据从操作输入单元33提供的信号来控制时序生成单元32，从而存储在快门按钮被按下之后立即获得的图像信号。这样，控制信号处理系统以使得图像处理电路26中包括的图像存储器中存储的图像信号不被另一图像信号替换。
随后，已存储在图像处理电路26中包括的图像存储器中的图像信号由编码/解码单元27进行编码并且被记录在存储器28中。通过如上文所述的由图像拾取装置11执行的操作，完成了单个图像的信号的获得。图像处理电路的配置
此外，可以如图3中所示详细配置图2中示出的图像处理电路26。
具体地，图像处理电路26可以包括捕获图像存储单元61、圆柱投影单元62、运动补偿参数计算单元63、移动表现对象检测器64、表现对象信息投影单元65、连接线计算单元66、图像投影单元67和全景合成单元68。
捕获图像存储单元61接收由图像拾取装置11捕获的表现对象的图像(在下文中被称为“捕获图像”)，并且存储多个所提供的捕获图像。提供给捕获图像存储单元61的捕获图像对应于在其中以预定方向使图像拾取装置11移动(扫动)的状态下已连续捕获的图像。当这些图像被捕获时，图像拾取装置11被移动使得相同的表现对象包括在连续捕获的两个图像中。
应当注意，假设在已连续捕获的捕获图像中，第t个捕获图像被适当地称为“帧t的捕获图像”。
圆柱投影单元62从捕获图像存储单元61读取捕获图像并且将已读取的捕获图像投影在圆柱区域上。圆柱投影单元62将已投影在圆柱区域上的捕获图像提供给运动补偿参数计算单元63、移动表现对象检测器64和图像投影单元67。
运动补偿参数计算单元63根据从圆柱投影单元62提供的捕获图像计算用于补偿图像拾取装置11在捕获图像的帧之间的运动(移动)的运动补偿参数，并且将运动补偿参数提供给运动表现对象检测器64、表现对象信息投影单元65和图像投影单元67。例如，运动补偿参数对应于表示当捕获图像被布置为使相同的表现对象基本上彼此重叠时获得的捕获图像之间的相对位置关系的信息。
移动表现对象检测器64使用从运动补偿参数计算单元63提供的运动补偿参数和从圆柱投影单元62提供的捕获图像来检测已经被移动了的表现对象，并且将表示检测结果的表现对象信息提供给表现对象信息投影单元65。例如，表现对象信息涉及表现对象在捕获图像中包括的各区域中的移动，诸如移动的程度。应当注意，已被移动了的表现对象(即在实际空间中已被移动了的表现对象)被适当地称为“移动表现对象”。
表现对象信息投影单元65使用从运动补偿参数计算单元63提供的运动补偿参数来将从移动表现对象检测器64提供的表现对象信息投影在扫动轴上，并且将投影结果提供给连接线计算单元66。应当注意，扫动轴在捕获图像时图像拾取装置11被移动的方向上延伸，并且扫动轴的方向被预先确定。
连接线计算单元66根据从表现对象信息投影单元65提供的表现对象信息的投影结果，获得与彼此连接的连续帧的捕获图像之间的连接位置相对应的连接线，并且将表示连接线的位置的连接线信息提供给全景合成单元68。连接线垂直于扫动轴延伸。
图像投影单元67使用从运动补偿参数计算单元63提供的运动补偿参数来将从圆柱投影单元62提供的捕获图像投影在全景坐标系统中，并且将已投影的捕获图像提供给全景合成单元68。应当注意，全景坐标系统对应于包括垂直于扫动轴延伸的轴和扫动轴的二维坐标系统(即预定平面)，并且是预先确定的。
全景合成单元68使用从连接线计算单元66提供的连接线信息，将已从图像投影单元67提供的并且已被投影在全景坐标系统中的捕获图像彼此连接，以便于生成单个全景图像。全景图像包括作为图像捕获对象的图像捕获空间中的整体区域作为表现对象。生成全景图像的过程的解释
当用户对操作输入单元33进行操作以便于指令生成全景图像时，图像拾取装置11开始生成全景图像的过程，该过程从捕获图像开始。参照图4中示出的流程图，下面将描述由图像拾取装置11执行的生成全景图像的过程。
在步骤S11中，图像拾取元件23在其中图像拾取装置11被移动的状态下捕获表现对象。例如，在由图像拾取装置11捕获多个连续图像的同时，用户在预定方向上移动图像拾取装置11。
由于从表现对象发射的光通过透镜21和光圈22入射在图像拾取元件23上，因此图像拾取元件23对入射光执行光电转换，从而获得捕获图像。所获得的捕获图像(图像信号)从图像拾取元件23通过采样电路24至编码/解码单元27被提供给存储器28以被记录。这里，捕获图像由编码/解码单元27进行编码。此外，当捕获图像被记录在存储器28中时，按照图像捕获的顺序将帧编号分配给捕获图像。
在多个捕获图像被相继记录在存储器28中之后，编码/解码单元27从存储器28读取捕获图像，对捕获图像进行解码，并且将捕获图像提供给图像处理电路26中包括的、存储捕获图像的捕获图像存储单元61。
应当注意，所获得的捕获图像可以被直接提供给捕获图像存储单元61，而不被存储在存储器28中。此外，捕获图像可以是单个的被捕获的静止图像或者关于被捕获的移动图像中包括的一个帧的图像。
在步骤S12中，圆柱投影单元62依次读取捕获图像存储单元61中存储的捕获图像，并且根据捕获图像时获得的焦点距离将读取的捕获图像投影在预定的圆柱区域上。
例如，如图5中所示，通过捕获成像区域PS获得的图像被投影(投射)在作为圆柱体的圆周表面的圆柱区域CS上，该圆柱体具有与图像捕获时获得的透镜21的焦点距离相对应的半径。就是说，成像区域PS被投影在圆柱区域上。在图5中示出的示例中，圆柱区域CS连接到成像区域PS的中心。应当注意，根据在图像捕获时透镜21的位置获得了透镜21的焦点距离。
如上文所述，当要生成全景图像时，通过将捕获图像投影在圆柱区域上，可以尽可能地抑制彼此连接的捕获图像中包括的表现对象的位置之间的移位(差异)。
例如，如图6中所示，假设在其中光学中心点C11用作图像拾取装置11的光学中心的状态下，在使用中心处的光学中心点C11以顺时针方向使图像拾取装置11转动(扫动)的同时，用户控制图像拾取装置11以捕获多个图像。应当注意，图6中与图5中示出的部分相对应的部分由与图5中所示的附图标记相同的附图标记表示，并且因此适当地省略其描述。
在图6中示出的示例中，在设定五个成像区域PS-0至PS-4的同时，捕获了五个图像。随后，捕获图像被各自投影在圆柱区域CS上。圆柱区域CS对应于圆柱体的圆周表面，该圆柱体具有中心处的光学中心点C11并且具有对应于焦点距离的半径。
这里，将描述其中使捕获图像彼此合成从而生成全景图像的情况。在图6中，彼此相邻的成像区域的彼此重叠的边缘部分以圆柱区域CS的半径方向在空间上彼此移位，并且因此，如果通过无改变地使捕获图像彼此重叠来对其进行布置，则出现表现对象的位置的移位并且相同的表现对象没有彼此重叠。因此，全景图像质量劣化。
为了解决该问题，当捕获图像被投影在圆柱区域CS上并且使已被投影的捕获图像彼此重叠并将其合成从而生成全景图像时，较之其中无改变地合成捕获图像的情况，捕获图像中包括的表现对象的位置之间的移位(差异)可以被抑制为是小的。如上文所述，通过将捕获图像投影在圆柱区域CS上，可以减少在捕获图像之间生成的表现对象的位置之间的差异。结果，获得了高质量的全景图像。
回来参照图4中示出的流程图的描述，在将捕获图像投影在圆柱区域上之后，圆柱投影单元62将已被投影的捕获图像提供给运动补偿参数计算单元63、移动表现对象检测器64和图像投影单元67，并且该过程从步骤S12前进至步骤S13。
在步骤S13中，运动补偿参数计算单元63计算从圆柱投影单元62提供的捕获图像的运动补偿参数，并且将运动补偿参数提供给移动表现对象检测器64、表现对象信息投影单元65和图像投影单元67。
例如，运动补偿参数计算单元63通过特征点提取或块匹配，使用捕获图像中连续两个帧的捕获图像来计算捕获图像的全局运动向量作为运动补偿参数。
全局运动向量表示捕获图像中包括的全体表现对象在各帧之间的移动。由于捕获图像中包括的大部分表现对象是实际空间中的没有运动的表现对象，因此全局运动向量表示捕获图像中包括的没有运动的表现对象在帧之间的移动，即图像捕获时图像拾取装置11的移动。
应当注意，运动补偿参数不限于全局运动向量并且可以对应于平面投影矩阵或者仿射矩阵。平面投影矩阵和仿射矩阵也是通过特征点提取或块匹配，使用连续两个帧的捕获图像而获得的。当全局运动向量被用作运动补偿参数时，较之其中使用平面投影矩阵或仿射矩阵的情况，以较低的计算成本获得了运动补偿参数。
在步骤S14中，移动表现对象检测器64使用从运动补偿参数计算单元63提供的运动补偿参数和从圆柱投影单元62提供的捕获图像来计算捕获图像的区域中的表现对象信息，并且将表现对象信息提供给表现对象信息投影单元65。
例如，如图7中所示，移动表现对象检测器64分别布置两个连续的帧t和t+1的捕获图像It和捕获图像I(t+1)，从而使用运动补偿参数使捕获图像中包括的相同的表现对象基本上彼此重叠。
随后，移动表现对象检测器64将重叠区域DR(即与捕获图像I(t+1)重叠的捕获图像It中的区域)分割为多个区域(在下文中被称为“块”)并且通过块匹配获得关于各个块的运动向量LMV。
具体地，通过搜索捕获图像I(t+1)以寻找如下区域来获得每个块的运动向量LMV：其中该区域和捕获图像It的各块中相应的一个块之间的差异最小。例如，该区域和捕获图像It的各块中相应的一个块之间的差异对应于该块中包括的像素值和捕获图像I(t+1)中包括的相应的像素值之间的差的绝对值之和。
在图7中，重叠区域DR中包括的由虚线定义的正方形中的一个表示单个块，并且各块中包括的箭头标志表示块的运动向量LMV。运动向量LMV表示在其中使用运动补偿参数布置捕获图像It和I(t+1)的状态下捕获图像的各区域中包括的表现对象在帧之间的运动。
接着，移动表现对象检测器64使用所获得的各块的运动向量LMV来计算表示整体捕获图像It的运动的运动向量GMV(全局运动向量)。例如，全局运动向量GMV对应于各块的运动向量LMV的中值。
应当注意，运动向量GMV可以通过强估计获得，或者可以对应于所获得的各块的运动向量LMV中具有最频繁检测到的方向和程度的运动向量LMV。
由于如上文所述获得的全局运动向量GMV表示捕获图像中包括的所有表现对象的运动，因此包括不同于运动向量GMV的运动向量LMV的块包括实际空间中的移动表现对象。
此外，移动表现对象检测器64使用全局运动向量GMV和各块的运动向量LMV来计算表示捕获图像It中包括的重叠区域DR的各位置处存在/不存在移动表现对象以及移动表现对象的移动程度(运动程度)的成本值。
具体地，假设xy坐标系统将图7中示出的重叠区域DR的左上角用作基准，移动表现对象检测器64根据下式(1)计算与重叠区域DR中包括的、xy坐标系统中的坐标(x，y)相对应的位置的成本值cost(x，y)。应当注意，在图7中示出的示例中，水平方向对应于x方向并且竖直方向对应于y方向。图7中示出的x方向对应于扫动轴的方向。
成本值cost(x，y)＝|GMV-LMV(x，y)|    (1)
应当注意，在式(1)中，GMV表示捕获图像It的全局运动向量，并且LMV(x，y)表示包括与坐标(x，y)相对应的部分的块的运动向量LMV。就是说，各个位置的成本值对应于全局运动向量GMV和各块的运动向量LMV之间的差的绝对值。
因此，当重叠区域DR中包括的位置中的成本值大时，显示在该位置中移动表现对象作大的移动。如上文所述的获得的成本值用作捕获图像的各区域的表现对象信息。
应当注意，尽管图7中描述了其中针对每个块检测移动表现对象的示例(即其中针对每个块检测运动向量的示例)，但是可以针对重叠区域DR中的每个像素检测运动向量。
此外，尽管描述了其中检测表示存在/不存在移动表现对象和移动表现对象的移动程度的成本值作为表现对象信息的示例，但是重叠区域DR的各位置的表现对象信息可以对应于表示在这些位置中是否包括移动表现对象的二进制值。
应当注意，当使用诸如成本值的多值信息作为表现对象信息时，连接线计算单元66将其中表现对象之间的位置移位小的位置确定为连接线。
就是说，连接线计算单元66确定使连续捕获的捕获图像彼此连接的连接线，从而生成全景图像。这里，为了获得具有较高质量的全景图像，尽可能防止确定使移动表现对象被分割的连接线。然而，在一些情况中，由于例如对应于移动表现对象的区域是大的，因此移动表现对象中包括的部分被确定为连接线。
在该情况中，如果表示移动表现对象的移动程度的信息(即成本值)包括在表现对象信息中，则可以获得其中表现对象的移动最小的部分作为连接线。由此，彼此连接的捕获图像的连接部分附近的图像的移位(即当两个捕获图像彼此重叠时获得的两个捕获图像的表现对象的位置的移位)可以被抑制为最小。因此，全景图像的质量劣化可以被抑制。
回来参照图4中示出的流程图的描述，在移动表现对象检测器64将表现对象信息提供给表现对象信息投影单元65之后，该过程从步骤S14前进至步骤S15。
在步骤S15中，表现对象信息投影单元65使用从运动补偿参数计算单元63提供的运动补偿参数将从移动表现对象检测器64提供的表现对象信息投影在扫动轴上。随后，表现对象信息投影单元65计算作为成本值之和的移动表现对象分值，成本值用作针对各个位置投影在扫动轴的各位置中的表现对象信息。
具体地，通过对位于垂直于扫动轴的方向上的、捕获图像中包括的各位置的成本值积分，从而获得移动表现对象分值，执行成本值的到扫动轴上的投影。作为投影结果而获得的移动表现对象分值与移动表现对象的面积(尺寸)和移动程度成比例地变大。
例如，在图7中示出的示例中，由于扫动轴与x方向(x轴)平行地延伸，因此扫动轴上的各位置中的移动表现对象分值中的每一个对应于捕获图像的各位置中的成本值之和，成本值具有与扫动轴上的关注位置的x坐标相同的x坐标。具体地，假设对应于扫动轴上的某个位置X的、xy坐标系统中的x值是x0。在该情况中，获得与重叠区域DR中的x0的x坐标相对应的位置中的成本值cost(x0，y)之和，作为扫动轴上的位置X中的移动表现对象分值。
结果，如图8中所示，例如，获得了扫动轴上的各位置中的移动表现对象分值。应当注意，在图8中，水平方向对应于扫动轴的方向，并且竖直方向表示扫动轴上的各位置中的移动表现对象分值。
图8示出了当捕获图像It中的各区域的成本值被投影在扫动轴上时获得的移动表现对象分值。曲线MS表示扫动轴上的各位置中的移动表现对象分值。
由于表示人的移动表现对象包括在捕获图像It中相对于捕获图像It的中心略偏左侧的部分中，因此移动表现对象分值在扫动轴上与表示人的部分相对应的位置中是大的。另一方面，由于在不包括移动表现对象的部分中获得了成本值0并且在其中彼此相邻的捕获图像彼此重叠的区域中未获得成本值，因此在扫动轴上与不包括人的捕获图像It的各区域相对应的各位置中获得了移动表现对象成本值0。
由此，表现对象信息投影单元65将用作表现对象信息的成本值投影在扫动轴上并且获得了扫动轴上的各位置中的移动表现对象分值。应当注意，在表现对象信息投影单元65中，根据捕获图像的运动补偿参数确定扫动轴上其中捕获图像中的区域的成本值将被投影的各位置。
通过将表现对象信息投影在扫动轴上并且获得扫动轴上的各位置的移动表现对象分值，可以将用于确定连接线的二维信息转换为一维信息。因此，减少了用于确定连接线的信息量，并且节约了用于记录该信息的存储器容量。
回来参照图4中示出的流程图的解释，在计算扫动轴上的各位置中的移动表现对象分值之后，表现对象信息投影单元65将移动表现对象分值提供给连接线计算单元66并且该过程从步骤S15前进至步骤S16。
在步骤S16中，连接线计算单元66根据从表现对象信息投影单元65提供的移动表现对象分值确定用于使捕获图像彼此连接的连接线，并且将表示连接线的位置的连接线信息提供给全景合成单元68。
例如，如图9中所示，假设从捕获图像It获得了由曲线MSt表示的移动表现对象分值。应当注意，在图9中，水平方向表示扫动轴的方向，而竖直方向表示扫动轴上的各位置中的移动表现对象分值的量值。移动表现对象分值在图9中的上侧变大。
在确定用于连接捕获图像It和I(t+1)的连接线的位置之前，连接线计算单元66确定与其中捕获图像It和I(t+1)彼此重叠的重叠区域相对应的、扫动轴上从位置OX0到位置OX1的范围以作为搜索范围。应当注意，当捕获图像I(t+1)被投影在扫动轴上时，位置OX0位于图9中示出的捕获图像I(t+1)的左末端，而当捕获图像It被投影到扫动轴时，位置OX1位于图9中示出的捕获图像It的右末端。
连接线计算单元66确定其中在从位置OX0到位置OX1的搜索范围中获得最小移动表现对象分值的位置，以作为捕获图像It和I(t+1)之间的连接线的位置。
在图9中示出的示例中，由于由曲线MSt表示的移动表现对象分值中的最小移动表现对象分值是在扫动轴上搜索范围中包括的位置S中获得的，因此位置S被确定为连接线的位置。因此，捕获图像It(捕获图像I(t+1))中包括的、垂直于扫动轴延伸并且包括扫动轴上的位置S的线被确定为连接线。
由于与连接线的位置相对应的位置S具有搜索范围中的最小移动表现对象分值，因此表现对象的移动在捕获图像中包括的、布置在扫动轴的方向上的各位置中是最小的。具体地，位置S对应于其中获得捕获图像It和I(t+1)之间的最小移位的位置，这些捕获图像It和I(t+1)被布置在预定平面中从而根据运动补偿参数相同的表现对象基本上彼此重叠。图像之间的移位意味着捕获图像中包括的表现对象的位置之间的移位以及其中捕获图像彼此重叠的区域中包括的像素颜色之间的差异。
如上文所述，当布置捕获图像时，捕获图像中在捕获图像彼此重叠的部分中图像彼此最为相似的位置被确定为连接线。因此，获得了更自然的高质量全景图像。此外，连接线计算单元66通过一维搜索过程迅速且容易地确定连接线，在该过程中搜索扫动轴以寻找其中达到移动表现对象的最小分割成本的位置。
连接线计算单元66执行参照图9描述的搜索过程，以便于针对所有捕获图像确定彼此相邻的帧的捕获图像之间的连接线。
例如，连接线计算单元66按照帧编号的升序顺序(即按照如图10中示出的图像捕获的时间点的升序顺序)确定捕获图像之间的连接线。应当注意，在图10中，水平方向表示扫动轴的方向。
在图10中，根据运动补偿参数布置三个连续帧(t-1)至(t+1)中包括的捕获图像I(t-1)以及捕获图像It和I(t+1)。由于捕获图像I(t-1)具有捕获图像I(t-1)至I(t+1)中的最小的帧编号，因此连接线计算单元66首先确定捕获图像I(t-1)和It之间的连接线。
具体地，如图10的上部分中所示，连接线计算单元66将其中彼此相邻的捕获图像I(t-1)和It彼此重叠的、从位置OX0(t-1，t)到位置OX1(t-1，t)的范围确定为搜索范围并且确定连接线。结果，该搜索范围中具有最小移动表现对象分值的位置S(t-1，t)被确定为连接线的位置。
接着，如图10的中部分中所示，连接线计算单元66确定捕获图像It和I(t+1)之间的连接线。
这里，在其中捕获图像It和I(t+1)彼此重叠的区域中，该区域的左末端(即捕获图像I(t+1)的左末端)的位置位于相对于捕获图像I(t-1)和It之间已确定的连接线的位置S(t-1，t)的左侧。由于捕获图像It和I(t+1)之间的连接线的位置应位于相对于捕获图像I(t-1)和It之间已确定的连接线的位置S(t-1，t)的右侧，因此位于相对于位置S(t-1，t)的左侧的区域应从搜索范围中排除。
因此，连接线计算单元66在用作搜索范围的、从位置S(t-1，t)到捕获图像It的右侧边缘处的位置OX1(t，t+1)的范围中确定连接线。结果，该搜索范围中的具有最小移动表现对象分值的位置S(t，t+1)被确定为连接线的位置。
在如图10中所示确定了连接连续帧中的捕获图像的连接线之后，后续级中的全景合成单元68使捕获图像中包括的并且由连接线确定的有效区域彼此连接，以便于获得如图10中的下部分示出的全景图像。应当注意，在图10中的下部分中，捕获图像I(t-1)至I(t+1)中包括的阴影部分表示有效区域。
例如，捕获图像It中包括的有效区域是在捕获图像It的扫动轴的方向上从对应于捕获图像I(t-1)和It之间的连接线的位置S(t-1，t)到对应于捕获图像It和I(t+1)之间的连接线的位置S(t，t+1)的范围。
如上文所述，通过相继确定捕获图像和相邻捕获图像之间的捕获图像的连接线，相继地确定了捕获图像的有效区域。
返回图4中示出的流程图的解释，在确定捕获图像的连接线之后，连接线计算单元66将表示连接线的位置的连接线信息提供给全景合成单元68，并且该过程从步骤S16前进至步骤S17。
在步骤S17中，图像投影单元67使用从运动补偿参数计算单元63提供的运动补偿参数将从圆柱投影单元62提供的捕获图像投影在全景坐标系统中，并且提供已被投影到全景合成单元68的捕获图像。
通过该投影，捕获图像被布置在全景坐标系统中，从而捕获图像中包括的相同表现对象基本上彼此重叠。应当注意，全景坐标系统是具有垂直于扫动轴延伸的轴和扫动轴的平面。例如，当扫动轴的方向与和捕获图像时获得的图像捕获空间中的竖直方向垂直的方向相同时，垂直于扫动轴的轴在竖直方向上延伸。
在步骤S18中，全景合成单元68使用从连接线计算单元66提供的连接线信息，使已投影在全景坐标系统中并且已从图像投影单元67提供的捕获图像的有效区域彼此连接(合成)以便于生成全景图像。
具体地，在使捕获图像的有效区域彼此连接(合成)之前，在有效区域的边缘附近的部分中，全景合成单元68对彼此相邻的两个捕获图像的有效区域执行加权加法以便于生成全景图像。
例如，如图11中所示，确定连续帧中包括的捕获图像的有效区域，使得它们的边缘部分彼此重叠。应当注意，水平方向表示扫动轴的方向。在图11中，三个连续帧中包括的捕获图像I(t-1)至I(t+1)被布置在全景坐标系统中。
如图11的上部分中所示，在捕获图像I(t-1)的有效区域R(t-1)中，右末端位于相对于捕获图像I(t-1)和It之间的连接线的位置S(t-1，t)的略偏右侧。此外，在捕获图像I(t)的有效区域R(t)中，左末端位于相对于捕获图像It和I(t-1)之间的连接线的位置S(t-1，t)的略偏左侧。因此，有效区域R(t-1)位于右末端附近的部分和有效区域R(t)位于左末端附近的部分彼此重叠。
随后，当要使有效区域R(t-1)和R(t)彼此连接时，在扫动轴方向上从有效区域R(t)的左末端位置到有效区域R(t-1)的右末端位置的区域中，使用有效区域R(t-1)和R(t)的相同部分中包括的像素值执行加权加法。
相似地，在对应于连接线的位置S(t，t+1)附近的部分处，有效区域R(t)和R(t+1)彼此重叠。当要使有效区域R(t)和R(t+1)彼此连接时，使用像素值对重叠部分执行加权加法。
在对有效区域执行的加权加法中，根据扫动轴方向上布置的各位置来改变加权加法的权重。在图11的下部分中，多角曲线OM表示权重的大小，捕获图像I(t-1)(有效区域R(t-1))中的像素与该权重相乘。
就是说，在图11中示出的有效区域R(t-1)中，从图11中的左末端到有效区域R(t)的左末端的范围中的权重的大小是“1”。这是因为当处于有效区域R(t-1)中从有效区域R(t-1)的左末端到有效区域R(t)的左末端的范围中时，有效区域R(t-1)被用作全景图像。
此外，在图11中的右侧上，有效区域R(t-1)的从有效区域R(t)的左末端到有效区域R(t-1)的右末端的范围中权重的大小变小，并且在与有效区域R(t-1)的右末端相对应的位置中权重的大小是“0”。
在其中有效区域R(t-1)和R(t)彼此重叠的部分中，在有效区域R(t)相对于位置S(t-1，t)的左末端，有效区域R(t-1)对生成全景图像的贡献的比例较高。另一方面，在有效区域R(t-1)相对于位置S(t-1，t)的右末端，有效区域R(t)对生成全景图像的贡献的比例较高。
此外，在图11中示出的捕获图像I(t-1)中位于相对于有效区域R(t-1)右末端的右侧的部分中，捕获图像未用于生成全景图像，并且因此，权重的大小是“0”。
如上文所述，在有效区域的末端附近的部分中，使用彼此相邻的两个有效区域来生成全景图像，而在其他部分中，单个有效区域无改变地被用作全景图像。因此，防止生成由捕获图像的重叠引起的全景图像的模糊。
此外，通过根据位置改变合成比例，即通过逐步升高权重，使有效区域的末端部分经历加权加法。由此，获得了高质量全景图像。具体地，即使当在将彼此连接的两个有效区域彼此重叠的部分中，相同表现对象的位置彼此移位或者像素颜色彼此不同时，仍通过加权加法达到了平滑效果。由此，防止生成全景图像的部分表现对象缺失或者颜色不均匀。因此，获得了更自然的全景图像。
全景合成单元68在如上文所述的全景坐标系统中使彼此相邻的捕获图像的有效区域彼此连接，以便于生成单个全景图像。应当注意，可以执行修剪，从而使与单个图像的包括彼此连接的有效区域的部分相对应的区域可以用作全景图像。
例如，当用户手持图像拾取装置11并且在使图像拾取装置11扫动的同时捕获图像时，如图12中的上部分中所示，连续捕获的捕获图像I0至I6的位置可能在全景坐标系统中以图12中的竖直方向变化。应当注意，在图12中，水平方向表示扫动轴的方向，而竖直方向表示全景坐标系统中的垂直于扫动轴延伸的轴的方向。
在图12中示出的示例中，扫动轴与捕获图像的纵向方向平行地延伸。此外，在图12中，捕获图像I0至I6的垂直位置(即垂直于扫动轴的方向上的位置)彼此不同。
因此，通过使捕获图像的有效区域彼此连接而获得的图像不具有矩形的形状。因此，如图12中的下部分中所示，全景合成单元68提取矩形区域P11以便于获得全景图像，该矩形区域P11是通过连接捕获图像I0至I6的有效区域而获得的图像的整体区域中的内接最大矩形。这里，矩形区域P11的长边平行于扫动轴延伸。这样，执行修剪，以由此获得矩形的全景图像。
应当注意，在图12中示出的示例的情况中，捕获图像中包括的各区域的表现对象信息在如图12中的上部分中的虚线表示的方向上被投影到扫动轴上，该方向垂直于扫动轴并且平行于捕获图像的短边方向。因此，连接线也在平行于捕获图像的短边方向的方向上延伸。
此外，在其中用户手持图像拾取装置11并且使图像拾取装置11扫动的情况中，图像拾取装置11的扫动方向可以对应于相对图像捕获空间中的竖直方向倾斜的方向。在该情况中，例如，如图13中的上部分中所示，扫动轴的方向可以对应于相对捕获图像的纵向方向倾斜的方向。
在图13中，扫动轴延伸到右上方向，并且垂直于扫动轴的轴的方向对应于全景坐标系统中的与扫动轴垂直的轴的方向。在图13中示出的示例中，连续捕获的捕获图像I0至I4被以右上方向布置，并且与其中布置捕获图像的方向平行的方向对应于扫动轴的方向。在该情况中，扫动轴未平行于捕获图像的纵向方向延伸。
在该情况中，全景合成单元68提取矩形区域P12以便于获得全景图像，该矩形区域P12是通过连接如图13中的下部分中所示的捕获图像I0至I4的有效区域而获得的图像的整体区域中的内接最大矩形。这里，矩形区域P12的长边平行于扫动轴延伸。
在图13的示例中，由于扫动轴倾斜地延伸，因此较之扫动轴在水平方向上延伸的情况，获得了对应于全景图像的更大的矩形区域。
应当注意，在图13中示出的示例的情况中，捕获图像中包括的区域的表现对象信息在如图13中的上部分中示出的虚线表示的方向上被投影到扫动轴上，该方向垂直于扫动轴并且相对捕获图像的短边方向倾斜。因此，连接线也相对捕获图像的短边方向倾斜地延伸。
此外，尽管所描述的是预先确定扫动轴的方向，但是也可以在由用户对操作输入单元33进行操作来捕获图像之前或之后从多个方向中选择扫动轴的方向。
在如上文所述生成全景图像之后，全景合成单元68输出所生成的全景图像，并且生成全景图像的过程被终止。
例如，从全景合成单元68输出的全景图像输出由编码/解码单元27进行编码并且被记录在存储器28中，或者通过D/A转换电路29和视频编码器30提供给显示单元31以进行显示。
如上文所述，图像拾取装置11使用捕获图像计算表示移动表现对象的移动的表现对象信息，并且通过将表现对象信息投影在扫动轴上来确定连接线。随后，图像拾取装置11在所确定的连接线处使捕获图像彼此连接以便于生成全景图像。
由于图像拾取装置11通过将表现对象信息投影在扫动轴上来确定连接线，因此可以以低计算成本获得高质量全景图像。
就是说，在相关技术中，如参照图1所描述的，通过进行二维搜索来确定连接线(接合线SL)，解决了其中移动表现对象模糊或者移动表现对象被分割的问题，并且获得了具有较高质量的全景图像。然而，当使用二维搜索时，计算成本是高的并且使用了存储器的大的记录容量用于二维搜索。
另一方面，由于图像拾取装置11将包括各区域的表现对象信息的二维信息投影在一维轴(即扫动轴)上，因此通过一维搜索确定了连接线。因此，防止了移动表现对象的模糊或分割，并且以低的计算成本获得了较高质量的全景图像。此外，减少了存储器的记录容量。表现对象信息的另一示例的解释
应当注意，在前面的示例中，已描述了其中用作表现对象信息的成本值对应于整体捕获图像的运动向量和各块的运动向量之间的差的绝对值的情况。然而，任何信息都可以用作表现对象信息，只要该信息涉及捕获图像中包括的表现对象。
例如，如图14中所示，在与其中捕获图像It和I(t+1)彼此重叠的区域相对应的重叠区域DR中包括的像素中，表现对象信息可以对应于捕获图像It中包括的像素值和捕获图像I(t+1)中包括的并且位于与捕获图像It的像素相对应的位置中的像素值之间的差的绝对值。应当注意，在图14中，与于图7中示出的部分相对应的部分由与图7中示出的附图标记相同的附图标记表示，并且因此适当地省略其描述。此外，在图14中，根据运动补偿参数布置捕获图像It和I(t+1)。
在该情况中，移动表现对象检测器64根据下式(2)计算xy坐标系统中的捕获图像It的位置(x，y)中的像素的成本值cost(x，y)。应当注意，在图14中，水平方向对应于x方向而竖直方向对应于y方向。此外，在图14中示出的重叠区域DR中，左上角被确定为xy坐标系统的基准位置，并且x方向用作扫动轴的方向。
成本值cost(x，y)＝|It(x，y)-It+1(x，y)|         (2)
应当注意，在式(2)中，It(x，y)和It+1(x，y)表示坐标(x，y)处的捕获图像It的像素值和坐标(x，y)处的捕获图像I(t+1)的像素值。
当这些成本值被用作表现对象信息时，在其中捕获图像的像素值之间的差的绝对值小的区域中，确定由连接引起的表现对象的位置移位是小的。当像素值之间的差的绝对值被用作成本值时，除了移动表现对象的移动引起的位置移位之外，视差和针对图像拾取装置11的移动执行的运动补偿的精度不足引起的表现对象位置的移位也会反映到成本值，这是优点。
此外，如图15中所示，通过检测人脸可以获得使用脸相似性作为指标的成本值作为表现对象信息。应当注意，在图15中，根据运动补偿参数来布置捕获图像It和I(t+1)。
移动表现对象检测器64检测其中捕获图像It和I(t+1)彼此重叠的重叠区域中的人脸。结果，获得了捕获图像It中包括的并且预期包括人脸的、预定尺寸的区域(在下文中被称为“脸区域”)以及表示与脸区域的人脸区域相似性程度的点。当脸区域中的脸相似性高时，该点变高。
随后，移动表现对象检测器64获得关于捕获图像It的重叠区域的各个位置的成本值。具体地，当各位置中的某个位置包括在脸区域中时，脸区域的点的值被确定为该位置中的成本值，而当该某个位置未包括在脸区域中时，该位置的成本值等于0。
移动表现对象检测器64通过对其中捕获图像I(t+1)和It彼此重叠的区域执行相似的过程来检测人脸以便于获得捕获图像I(t+1)中包括的各位置中的成本值。此外，移动表现对象检测器64将捕获图像It中包括的重叠区域中的位置中的所获得的成本值加到捕获图像I(t+1)中与捕获图像It中的重叠区域内的位置重叠的位置中的成本值，并且将得到的值确定为捕获图像It中包括的重叠区域中的位置中的最终成本值。
在图15中示出的示例中，由于人脸基本包括在重叠区域的中心，因此重叠区域的中心周围的位置的成本值应该是高的。在许多情况中，捕获图像包括用作移动表现对象的人的图像。因此，在防止人的脸部分而非四肢部分或躯干部分在连接捕获图像时被分割的场合，用于确定使用人脸作为指标的成本值作为表现对象信息的方法是有效的。
此外，如图16中所示，通过人检测可以获得使用人相似性作为指标的成本值作为表现对象信息。应当注意，在图16中，根据运动补偿参数来布置捕获图像It和I(t+1)。
移动表现对象检测器64检测捕获图像It的其中捕获图像It和I(t+1)彼此重叠的重叠区域中的人。结果，获得了捕获图像It的具有预定尺寸并且预期包括人的区域(在下文中被称为“人区域”)和表示与人区域的人区域相似性程度的点。当人区域的人相似性的程度变高时，该点变高。
随后，移动表现对象检测器64获得捕获图像It中的重叠区域中包括的位置的成本值。就是说，当各位置中的某个位置包括在人区域中时，人区域的点的值被确定为该位置的成本值，而当该位置未包括在人区域中时，该位置的成本值等于0。
移动表现对象检测器64通过对捕获图像I(t+1)的与捕获图像It重叠的区域执行相似的过程来检测人，以便于获得捕获图像I(t+1)中包括的位置的成本值。此外，移动表现对象检测器64将捕获图像It中包括的重叠区域的位置中的所获得的成本值加到捕获图像I(t+1)的与捕获图像It中包括的重叠区域的位置重叠的位置中的成本值，并且将得到的值确定为捕获图像It中包括的重叠区域的位置中的最终成本值。
图16中示出的示例包括位于重叠区域中相对于其中心的右侧和左侧的人。因此，重叠区域中相对于其中心略偏右侧和左侧的位置中的成本值应该是高的。这里，在防止整个人的图像在连接捕获图像时被连接线分割的场合，用于确定使用整个人的图像作为指标的成本值作为表现对象信息的方法是有效的。
此外，参照图7和图14至图16描述的一些类型的成本值可以彼此组合以便于用作表现对象信息。
例如，参照图7描述的成本值和参照图15描述的成本值之和可以用作捕获图像的位置的成本值(表现对象信息)。在该情况中，较高的成本值可以被设定给对应于人脸的区域。
此外，例如，参照图7描述的成本值和参照图16描述的成本值之和可以用作表现对象信息，或者参照图7、15和16描述的成本值之和可以用作表现对象信息。在该情况中，获得关于捕获图像中包括的各个位置的成本值之和并且将所获得的和用作这些位置的表现对象信息。连接线确定顺序的另一示例的解释
而且，根据前面的描述，按照帧编号的升序顺序来确定捕获图像之间的连接线。然而，连接线的确定顺序不限于此。就是说，可以从用作基准的预定帧中包括的捕获图像开始相继地确定连接线。
例如，在图17中，假设对应于移动表现对象的人在将经历图像捕获的图像捕获空间中的区域中如图17的上部分中示出的箭头标志A11所表示地从左向右移动。此外，假设在该状态下，当在扫动方向对应于从左向右的方向的同时使用图像拾取装置11捕获多个图像时，获得了如图17中的下部分中示出的七个捕获图像(即捕获图像I0至I6)。
在该示例中，相同的人作为移动表现对象包括在捕获图像I2至I4中。在捕获图像时，由于用作移动表现对象的人从左向右移动，因此人显示在在对应于帧2并且最先包括人的捕获图像I2的左末端处。此外，人显示在下一捕获图像I3的中心处，并且人显示在接着的下一图像I4的右末端处。
在该情况中，可以按照该顺序从捕获图像I0到捕获图像I6依次确定连接线。然而，由于连接线被确定为避免对应于移动表现对象的区域，因此由于避免来自对应于移动表现对象的区域的某个连接线而引起的负担可能影响下一连接线的确定。具体地，在具有包括移动表现对象的连续帧的场景中，根据确定连接线的顺序可以获得不同的全景图像。
因此，连接线计算单元66可以确定优先使用的帧中包括的捕获图像，将所确定的帧确定为基准帧，并且按照帧编号的升序顺序和降序顺序从基准帧中包括的捕获图像开始相继地确定连接线，图像是以这些帧编号的顺序被捕获的。
在该情况中，移动表现对象的中心接近度可以被用作用于确定基准帧的指标。具体地，移动表现对象检测器64根据帧0至6中的连续两个帧中包括的捕获图像来检测移动表现对象。例如，如参照图7所描述的，通过将捕获图像的重叠区域分割为块并且获得各块的运动向量和整体捕获图像的运动向量之间的差来执行移动表现对象的检测。由此，检测在捕获图像中包括的区域中存在或不存在移动表现对象。例如，所获得的差的绝对值大于预定阈值的区域对应于包括移动表现对象的区域。
接着，移动表现对象检测器64根据移动表现对象的检测结果获得关于各个捕获图像的移动表现对象的中心接近度的分数。例如，根据移动表现对象在捕获图像中的位置来确定中心接近度的分数，并且移动表现对象的位置越接近捕获图像的中心，获得的中心接近度的分数越高。应当注意，当单个捕获图像中包括多个移动表现对象时，最终确定所获得的关于各个移动表现对象的分数之和，作为中心接近度的分数。
因此，在捕获图像中在越接近其中心的位置处包括移动表现对象，获得的中心接近度的分数越高。此外，捕获图像中包括的移动表现对象的数目越大，获得的中心接近度的分数越高。使用中心接近度的分数，指明了在多个捕获图像中移动表现对象最接近图像中心的捕获图像。
在图17中示出的示例中，在捕获图像I3中获得了中心接近度的最高分数。如上文所述获得的各个帧的中心接近度的分数与从移动表现对象检测器64提供的表现对象信息一起通过表现对象信息投影单元65被提供给连接线计算单元66。
随后，连接线计算单元66从捕获图像的帧中与具有中心接近度的最高分数的帧相对应的基准帧的捕获图像开始，确定捕获图像的连接线。
因此，在图17中示出的示例中，帧3(捕获图像I3)被用作基准，并且首先确定捕获图像I3和I4之间的连接线，随后按照升序顺序确定捕获图像I4和I5之间的连接线以及捕获图像I5和I6之间的连接线。随后，按照从基准帧开始的降序顺序确定捕获图像I3和I2之间的连接线、捕获图像I2和I1之间的连接线以及捕获图像I1和I0之间的连接线。
随后，作为结果，如图18中的上部分中所示，获得了示出用作移动表现对象的人在中心处的全景图像。
在许多情况中，图像是在使图像拾取装置11扫动的同时捕获的，从而移动表现对象位于用作图像捕获对象的整体区域的中心附近。因此，在包括移动表现对象的连续的帧中，基本上位于这些帧的中间的帧应该包括基本上处于用作图像捕获对象的整体区域的中心的移动表现对象，就是说，移动表现对象应该位于该帧中的捕获图像的中心。
因此，在包括移动表现对象的帧中，包括捕获图像的中心处的移动表现对象的帧被用作基准帧并且从基准帧开始连续地确定连接线的位置。由此，如图18中的上部分中所示，获得了包括基本上在中心处示出的移动表现对象的全景图像。
通常，图像中包括的移动表现对象吸引了捕获图像的用户的注意力。这种包括其中心处的移动表现对象的图像被称为“好看的图像”。因此，当使用移动表现对象的中心相似性作为指标来确定捕获图像的连接线从而生成包括位于其中心处的移动表现对象的全景图像时，获得了更好看的全景图像。
应当注意，在图17中，当使用包括其左末端处的移动表现对象的捕获图像I2的帧作为基准帧从捕获图像I2开始相继地确定捕获图像的连接线时，如图18中的中部分中所示，获得了在相对于其中心的左侧示出用作移动表现对象的人的全景图像。相似地，当使用包括其右末端处的移动表现对象的捕获图像I4的帧作为基准帧从捕获图像I4开始相继地确定捕获图像的连接线时，如图18中的下部分中所示，获得了在相对于其中心的右侧显示用作移动表现对象的人的全景图像。
如上文所述，当使用图像捕获时的移动表现对象的位置作为指标，从特定的基准帧中包括的捕获图像开始相继地确定捕获图像的连接线时，获得了更好看的全景图像。
上文描述的一系列过程可以由硬件或软件执行。例如，根据本发明的实施例可以包括被利用指令来编码的、在存储设备中有形地实施的非暂时性计算机可读介质，当这些指令在处理器上执行时，其执行用于生成全景图像的方法。当该系列过程由软件执行时，该软件中包括的程序从程序记录介质安装到例如并入专用硬件中的计算机、或者能够通过安装各种程序来执行各种功能的通用个人计算机。
图19是图示可以执行这些指令以执行用于生成全景图像的方法的计算机的硬件配置示例的框图。
在该计算机中，CPU(中央处理单元)201、ROM(只读存储器)202和RAM(随机存取存储器)203通过总线彼此连接。
输入/输出接口205进一步连接到总线204。包括键盘、鼠标、麦克风等的输入单元206，包括显示器、扬声器等的输出单元207，包括硬盘、非易失性存储器等的记录单元208，包括网络接口等的通信单元209以及驱动包括磁盘、光盘、磁光盘或半导体存储器的可移除介质211(即，计算机可读介质)的驱动210连接到输入/输出接口205。
在如上文所述配置的计算机中，CPU 201通过输入/输出接口205和总线204加载和执行记录单元208中存储的指令，由此执行上述系列过程。
通过将计算机(CPU 201)执行的指令记录在可移除介质211中，该可移除介质211是包括磁盘(诸如软盘)、光盘(CD-ROM(压缩盘-只读存储器)、DVD(数字多用途光盘)等)、磁光盘或半导体存储器的封装介质，或者通过诸如局域网、互联网或者数字卫星广播的有线或无线传输介质，可以提供这些指令。
随后，通过将可移除介质211安装在驱动器210中，经由输入/输出接口205将这些指令安装在记录单元208中。此外，由通信单元209通过有线或无线传输介质接收这些指令，并且这些指令被安装在记录单元208中。可替选地，指令可以被预先安装在ROM 202或者记录单元208中。
应当注意，这些指令可以按照本说明书中描述的顺序按时间序列由计算机执行，或者可以并行地执行或者按照执行读取时的适当的时序执行。
本申请包含与在2009年10月28日提交日本专利局的日本在先专利申请JP 2009-247758中公开的主题内容相关的主题内容，该在先申请的全部内容通过引用并入本文。
尽管在前文中参照附图描述了根据本发明的实施例，但是本发明不限于此。本领域的技术人员应当理解，在所附权利要求或其等同物的范围内，依赖于设计需要和其他因素，可以进行各种修改、组合、子组合和变更。实际上，本发明不限于前文的实施例并且在不偏离本发明的范围的情况下可以进行各种修改。

Claims (20)

1.一种用于生成全景图像的装置，包括：
图像拾取单元，接收第一图像和第二图像，所述第一图像包括表示移动对象的第一图像数据，所述第二图像包括表示所述移动对象的第二图像数据；
图像处理单元，确定所述移动对象在所述第一和第二图像之间的相对移动；
连接线计算单元，基于所述相对移动确定表示所述第一图像的第一经修改的边缘和所述第二图像的第一经修改的边缘的第一连接线；以及
全景合成单元，基于所述第一连接线合并所述第一和第二图像以生成全景图像。
2.如权利要求1所述的装置，其中：
所述图像拾取单元接收第三图像，所述第三图像包括表示所述移动对象的第三图像数据；
所述图像处理单元确定所述移动对象在所述第二和第三图像之间的第二相对移动；
所述连接线计算单元基于所述第二相对移动确定表示所述第二图像的第二经修改的边缘和所述第三图像的第一经修改的边缘的第二连接线；以及
所述全景合成单元基于所述第二连接线合并所述第二和第三图像以生成所述全景图像。
3.如权利要求1所述的装置，其中，如果所述第一图像的所述第一经修改的边缘与所述第二图像的所述第一经修改的边缘重叠，则所述全景合成单元通过执行加权加法来合并所述第一和第二图像。
4.如权利要求3所述的装置，其中，加权加法包括基于所述第一和第二图像中的像素相对于所述第一连接线的位置来向所述像素分配权重。
5.如权利要求1所述的装置，其中，为了生成所述全景图像，所述全景合成单元从所述全景图像提取矩形区域，所述矩形区域是所述全景图像的整体区域中的内接最大矩形。
6.如权利要求5所述的装置，其中，使用扫动轴捕获所述第一和第二图像，以及其中，所述矩形区域包括第一边和第二边，所述第一边和第二边与所述扫动轴平行。
7.如权利要求1所述的装置，其中，使用扫动轴捕获所述第一和第二图像，以及其中，所述第一连接线在垂直于所述扫动轴的方向上延伸。
8.一种用于生成全景图像的方法，包括：
接收第一图像和第二图像，所述第一图像包括表示移动对象的第一图像数据，所述第二图像包括表示所述移动对象的第二图像数据；
确定所述移动对象在所述第一和第二图像之间的相对移动；
基于所述相对移动确定表示所述第一图像的第一经修改的边缘和所述第二图像的第一经修改的边缘的第一连接线；以及
基于所述第一连接线合并所述第一和第二图像以生成全景图像。
9.如权利要求8所述的方法，进一步包括：
接收第三图像，所述第三图像包括表示所述移动对象的第三图像数据；
确定所述移动对象在所述第二和第三图像之间的第二相对移动；
基于所述第二相对移动确定表示所述第二图像的第二经修改的边缘和所述第三图像的第一经修改的边缘的第二连接线；以及
基于所述第二连接线合并所述第二和第三图像以生成所述全景图像。
10.如权利要求9所述的方法，其中，使用扫动轴捕获所述第一和第二图像，以及其中，所述第一和第二连接线中的至少一个在垂直于所述扫动轴的方向上延伸。
11.如权利要求8所述的方法，其中，如果所述第一图像的所述第一经修改的边缘与所述第二图像的所述第一经修改的边缘重叠，则合并所述第一和第二图像包括执行加权加法。
12.如权利要求11所述的方法，其中，执行加权加法包括基于所述第一和第二图像中的像素相对于所述第一和第二连接线中的至少一个的位置来向所述像素分配权重。
13.如权利要求8所述的方法，其中，生成所述全景图像进一步包括从所述全景图像提取矩形区域，所述矩形区域是所述全景图像的整体区域中的内接最大矩形。
14.如权利要求13所述的方法，其中，使用扫动轴捕获所述第一和第二图像，以及其中，所述矩形区域包括第一边和第二边，所述第一边和第二边与所述扫动轴平行。
15.一种被利用指令来编码的、在存储设备中有形地实施的非暂时性计算机可读介质，当所述指令在处理器上执行时，其执行用于生成全景图像的方法，所述方法包括：
接收第一图像和第二图像，所述第一和第二图像包括表示移动对象的第一和第二图像数据；
确定所述移动对象在所述第一和第二图像之间的相对移动；
基于所述相对移动确定表示所述第一图像的第一经修改的边缘和所述第二图像的第一经修改的边缘的第一连接线；以及
基于所述第一连接线合并所述第一和第二图像以生成全景图像。
16.如权利要求15所述的计算机可读介质，其中，所述方法进一步包括：
接收第三图像，所述第三图像包括表示所述移动对象的第三图像数据；
确定所述移动对象在所述第二和第三图像之间的第二相对移动；
基于所述第二相对移动确定表示所述第二图像的第二经修改的边缘和所述第三图像的第一经修改的边缘的第二连接线；以及
基于所述第二连接线合并所述第二和第三图像以生成所述全景图像。
17.如权利要求15所述的计算机可读介质，其中，如果所述第一图像的所述第一经修改的边缘与所述第二图像的所述第一经修改的边缘重叠，则合并所述第一和第二图像包括执行加权加法。
18.如权利要求17所述的计算机可读介质，其中，执行加权加法包括基于所述第一和第二图像中的像素相对于所述第一连接线的位置来向所述像素分配权重。
19.如权利要求15所述的方法，其中，生成所述全景图像进一步包括从所述全景图像提取矩形区域，所述矩形区域是所述全景图像的整体区域中的内接最大矩形。
20.如权利要求15所述的计算机可读介质，其中，使用扫动轴捕获所述第一和第二图像，以及其中，所述第一连接线在垂直于所述扫动轴的方向上延伸。
CN2010105302368A 2009-10-28 2010-10-21 用于生成全景图像的装置和方法以及计算机可读介质 Pending CN102063711A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009247758A JP5359783B2 (ja) 2009-10-28 2009-10-28 画像処理装置および方法、並びにプログラム
JP2009-247758 2009-10-28

Publications (1)

Publication Number Publication Date
CN102063711A true CN102063711A (zh) 2011-05-18

Family

ID=43467612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010105302368A Pending CN102063711A (zh) 2009-10-28 2010-10-21 用于生成全景图像的装置和方法以及计算机可读介质

Country Status (5)

Country Link
US (1) US20110096143A1 (zh)
EP (1) EP2330812B1 (zh)
JP (1) JP5359783B2 (zh)
CN (1) CN102063711A (zh)
BR (1) BRPI1005534A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103312975A (zh) * 2012-03-12 2013-09-18 卡西欧计算机株式会社 图像处理装置、以及图像处理方法
CN103918250A (zh) * 2011-11-09 2014-07-09 索尼公司 图像处理装置和方法、以及程序
CN108881713A (zh) * 2017-05-16 2018-11-23 安讯士有限公司 包括摄像机和客户端设备的系统及通过该系统执行的方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101742120B1 (ko) * 2011-06-10 2017-05-31 삼성전자주식회사 영상 처리 장치 및 방법
WO2013001143A2 (en) 2011-06-30 2013-01-03 Nokia Corporation Method, apparatus and computer program product for generating panorama images
JP5948779B2 (ja) * 2011-09-30 2016-07-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR101804205B1 (ko) * 2012-03-15 2017-12-04 삼성전자주식회사 영상 처리 장치 및 방법
US20150153933A1 (en) * 2012-03-16 2015-06-04 Google Inc. Navigating Discrete Photos and Panoramas
WO2013146566A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6056551B2 (ja) * 2013-02-28 2017-01-11 株式会社ニコン 画像処理プログラムおよびデジタルカメラ
KR102100667B1 (ko) 2013-04-30 2020-04-14 삼성전자주식회사 휴대 단말기에서 이미지 데이터를 생성하는 장치 및 방법
JP6146278B2 (ja) * 2013-11-28 2017-06-14 株式会社Ｊｖｃケンウッド 画像接合装置、画像接合方法および画像接合プログラム
US9563953B2 (en) 2014-08-28 2017-02-07 Qualcomm Incorporated Systems and methods for determining a seam
JP6036934B2 (ja) * 2015-07-10 2016-11-30 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6241503B2 (ja) * 2016-06-08 2017-12-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN105991929A (zh) * 2016-06-21 2016-10-05 浩云科技股份有限公司 全空间摄像机外参标定及全空间视频拼接方法
JP6600335B2 (ja) * 2017-07-07 2019-10-30 日本電信電話株式会社 映像処理装置、映像処理方法および映像処理プログラム
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
KR102052722B1 (ko) * 2017-11-30 2019-12-11 주식회사 룰루랩 편광 필름을 포함하는 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
KR102052723B1 (ko) * 2017-11-30 2019-12-13 주식회사 룰루랩 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
KR20230016367A (ko) * 2021-07-26 2023-02-02 삼성전자주식회사 이미지를 생성하는 전자 장치 및 그 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6456323B1 (en) * 1999-12-31 2002-09-24 Stmicroelectronics, Inc. Color correction estimation for panoramic digital camera
EP1377026A2 (en) * 2002-06-21 2004-01-02 Microsoft Corporation Image Stitching
CN101093348A (zh) * 2006-06-22 2007-12-26 三星电子株式会社 便携式终端中全景摄影的装置和方法
CN101155267A (zh) * 2006-09-27 2008-04-02 三星电子株式会社 用于产生全景图像的设备、方法和介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05236334A (ja) * 1992-02-21 1993-09-10 Canon Inc 動きベクトル検出装置
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
US6930703B1 (en) * 2000-04-29 2005-08-16 Hewlett-Packard Development Company, L.P. Method and apparatus for automatically capturing a plurality of images during a pan
JP2003198902A (ja) 2001-12-25 2003-07-11 Sony Corp パノラマ画像生成装置
US7113185B2 (en) * 2002-11-14 2006-09-26 Microsoft Corporation System and method for automatically learning flexible sprites in video layers
US7606441B2 (en) * 2003-11-27 2009-10-20 Seiko Epson Corporation Image processing device and a method for the same
GB2410639A (en) * 2004-01-30 2005-08-03 Hewlett Packard Development Co Viewfinder alteration for panoramic imaging
JP4905144B2 (ja) * 2007-01-17 2012-03-28 カシオ計算機株式会社 画像合成装置、画像合成プログラム及び画像合成方法
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
JP2009124340A (ja) * 2007-11-13 2009-06-04 Fujifilm Corp 撮像装置、撮影支援方法、及び撮影支援プログラム
JP5424570B2 (ja) 2008-04-10 2014-02-26 Ｈｏｙａ株式会社 電子内視鏡用プロセッサ、ビデオスコープ及び電子内視鏡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6157747A (en) * 1997-08-01 2000-12-05 Microsoft Corporation 3-dimensional image rotation method and apparatus for producing image mosaics
US6456323B1 (en) * 1999-12-31 2002-09-24 Stmicroelectronics, Inc. Color correction estimation for panoramic digital camera
EP1377026A2 (en) * 2002-06-21 2004-01-02 Microsoft Corporation Image Stitching
CN101093348A (zh) * 2006-06-22 2007-12-26 三星电子株式会社 便携式终端中全景摄影的装置和方法
CN101155267A (zh) * 2006-09-27 2008-04-02 三星电子株式会社 用于产生全景图像的设备、方法和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918250A (zh) * 2011-11-09 2014-07-09 索尼公司 图像处理装置和方法、以及程序
CN103312975A (zh) * 2012-03-12 2013-09-18 卡西欧计算机株式会社 图像处理装置、以及图像处理方法
CN108881713A (zh) * 2017-05-16 2018-11-23 安讯士有限公司 包括摄像机和客户端设备的系统及通过该系统执行的方法
CN108881713B (zh) * 2017-05-16 2020-06-23 安讯士有限公司 包括摄像机和客户端设备的系统及通过该系统执行的方法

Also Published As

Publication number Publication date
JP5359783B2 (ja) 2013-12-04
EP2330812A1 (en) 2011-06-08
BRPI1005534A2 (pt) 2012-07-03
EP2330812B1 (en) 2012-12-05
JP2011097246A (ja) 2011-05-12
US20110096143A1 (en) 2011-04-28

Similar Documents

Publication Publication Date Title
CN102063711A (zh) 用于生成全景图像的装置和方法以及计算机可读介质
CN102104732B (zh) 图像处理装置和方法
CN105190688B (zh) 用于查看图像的方法和装置
CN102158650B (zh) 图像处理设备和图像处理方法
Wagner et al. Real-time panoramic mapping and tracking on mobile phones
US8390729B2 (en) Method and apparatus for providing a video image having multiple focal lengths
CN107087107A (zh) 基于双摄像头的图像处理装置及方法
US9509903B2 (en) Image processing apparatus, method, and computer program storage device
CN102685365A (zh) 图像合成装置、图像合成方法和图像合成程序
CN201523430U (zh) 一种全景视频监控系统
CN101389022A (zh) 图像处理设备、图像处理方法以及图像拾取设备
CN101292513A (zh) 用于在数字成像中降低运动失真的方法和设备
CN103454833A (zh) 摄像装置系统及其自动对焦方法
CN102090063A (zh) 图像处理装置以及使用其的摄像装置
US20140218568A1 (en) Image processing device, method and program
JP2010193476A (ja) 撮像装置及び画像再生装置
JP5267279B2 (ja) 画像合成装置及びプログラム
JP6087719B2 (ja) 画像処理装置及び画像処理方法
JP2013165413A (ja) 画像表示装置
JP5402148B2 (ja) 画像合成装置、画像合成方法及びプログラム
JP4556803B2 (ja) 画像処理装置及びプログラム
JP2001111879A (ja) 撮像装置
JPH01119177A (ja) 信号処理装置
JP2021027519A (ja) 撮像装置、コンピュータプログラム及び記憶媒体
JP2024036943A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110518