CN102918858B - 立体全景图像创建设备和方法、立体全景图像再现设备和方法 - Google Patents

立体全景图像创建设备和方法、立体全景图像再现设备和方法 Download PDF

Info

Publication number
CN102918858B
CN102918858B CN201180026719.7A CN201180026719A CN102918858B CN 102918858 B CN102918858 B CN 102918858B CN 201180026719 A CN201180026719 A CN 201180026719A CN 102918858 B CN102918858 B CN 102918858B
Authority
CN
China
Prior art keywords
image
picture
panoramic image
stereoscopic panoramic
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180026719.7A
Other languages
English (en)
Other versions
CN102918858A (zh
Inventor
若林觉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN102918858A publication Critical patent/CN102918858A/zh
Application granted granted Critical
Publication of CN102918858B publication Critical patent/CN102918858B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在根据本发明的一个实施例的立体全景图像创建方法中，获得了包括在沿一个方向移动3D图像拾取设备的同时连续地拍摄的左图像和右图像的多个3D图像，通过合成各左图像以及合成各右图像来创建3D全景图像，检测3D图像之间的对应点，计算用于使得对应点之间的视差变为预定值的图像偏移量，并且以与3D全景图像相关联的方式记录对应点信息和图像偏移量。

Description

立体全景图像创建设备和方法、立体全景图像再现设备和方法
技术领域
本发明涉及立体全景图像创建设备、方法和程序，立体全景图像再现设备、方法和程序，以及记录介质，并且更具体地涉及基于通过移动立体成像设备而拍摄的多个立体图像来创建立体全景图像的立体全景图像创建设备、方法和程序，通过滚动或逐帧播放来再现立体全景图像的立体全景图像再现设备、方法和程序，以及记录介质。 
背景技术
通常，在已知的全景合成方法中，用固定至三角架等以便其旋转的摄像机来执行连续拍摄，并且将从通过该连续拍摄所获得的图像剪切成条状的狭缝图像联接在一起以合成全景图像（专利文献1）。 
专利文献2描述了用于立体阅览的图像中的视差调节，但该调节调整了用于在视差屏障类型的阅览器中的视差屏障与用于立体阅览的图像的像素之间的位置关系。 
在专利文献3所描述的立体图像显示设备中，当输入了用于调节立体图像中视差量的信息时，基于该输入的信息放大或者缩小图像，由此改变立体图像的视差量。 
在专利文献4所描述的立体图像校正设备中，检测在构成立体图像的左眼用图像和右眼用图像之间的视差量，并且调节该视差量以控制立体图像的弹出量和后退量。 
{引用列表} 
{专利文献} 
PTL1：日本专利申请公开No.11-164325 
PTL 2：日本专利申请公开No.2003-169351 
PTL 3：日本专利申请公开No.2005-73013 
PTL 4：日本专利申请公开No.2010-45584 
发明内容
{技术问题} 
专利文献1的摘要描述了：将从连续拍摄图像剪切成狭缝形状的狭缝图像（slit image）联接在一起，以创建用于左眼阅览和右眼阅览的全景图像。然而，专利文献1的说明书根本没有描述关于用于左眼阅览和右眼阅览的全景图像的创建。 
此外，尽管之前未提及立体全景图像（3D全景图像）中的视差调节，然而专利文献2至4中所描述的视差量调节技术可应用于3D全景图像。 
同时，与正常3D显示器的屏的纵横比（4：3、16：9）相比，3D全景图像较大。为了使整个3D全景图像显示在3D显示器上，3D显示器屏幕的上部和下部被掩盖以便进行显示。另一方面，为了有效使用3D显示器的整个屏幕，3D全景图像被放大使得3D全景图像沿纵向的宽度与3D显示器沿纵向的宽度相一致。然后，通过滚动再现该放大的3D全景图像，或者将3D全景图像划分成多个帧以具有3D显示器的纵横比并且之后通过逐帧播放来再现通过分割所获得的这些帧。 
通常，不存在这样的3D全景图像再现设备：当通过滚动或逐帧播放再现3D全景图像时，该3D全景图像再现设备自动地调节视差使得该图像具有针对每个滚动位置或每一帧的最佳视差。特别地，当通过滚动或逐帧播放再现3D全景图像时，会出现这样的情况，使得在于3D显示器上显示的3D图像中不存在显著影响3D图像阅览效果的交叉点部分（在左图像与右图像之间不存在视差的部分），由此不利的是使立体阅览变得困难。 
鉴于这些情况做出了本发明，并且本发明的目的为提供立体全景图像创建设备、方法和程序，立体全景图像再现设备、方法和程序， 以及记录介质，它们能够在通过滚动或逐帧播放再现立体全景图像时针对每个滚动位置或每一帧自动地调节视差。 
{解决问题的方案} 
为了实现上述目的，根据本发明的第一方面的一种立体全景图像创建设备包括：立体图像获得装置，其获得通过立体成像设备拍摄的由左图像和右图像形成的多个立体图像，这些立体图像是立体成像设备沿恒定方向摇动时连续地拍摄的；立体全景图像创建装置，其通过从由立体图像获得装置获得的多个立体图像中将左图像合成在一起且将右图像合成在一起来创建由左和右全景图像形成的立体全景图像；对应点检测装置，其检测用于视差调节的多个对应点，这些对应点具有在由立体图像获得装置获得的多个立体图像的左图像和右图像之间匹配的特征或者具有在创建的立体全景图像的左和右全景图像之间匹配的特征；图像偏移量计算装置，其配置成计算用于将检测到的多个对应点的视差均设置为预定视差量的多个图像偏移量；以及记录装置，其在记录介质中记录创建的立体全景图像，并且将立体全景图像上用于视差调节的多个对应点的位置信息和计算出的多个图像偏移量彼此相关联地记录在记录介质中作为立体全景图像的辅助信息。 
根据上述第一方面的本发明，针对立体全景图像检测用于视差调节的多个对应点。而且，用于将每个对应点的视差设置在预定视差量的图像偏移量与立体全景图像上的每个对应点的位置信息一起记录在记录介质上作为立体全景图像的辅助信息。这样，当通过滚动或逐帧播放再现立体全景图像时，辅助信息可以用于自动地调节针对每个滚动位置或者每一帧的视差。 
在根据本发明的第二方面的立体全景图像创建设备中，在上述第一方面中，对应点检测装置配置成针对由立体图像获得装置获得的立体图像中的每一个的每组左图像和右图像检测一组对应点，以及图像偏移量计算装置配置成计算图像偏移量，其中每个图像偏移量用于将检测到的对应点之间的视差设置为预定视差量。据此，计算并记录 了与用于立体全景图像的合成中的立体图像的数量一样多的图像偏移量。另外，可以在创建立体全景图像之前计算图像偏移量。 
在根据本发明的第三方面的立体全景图像创建设备中，在上述第二方面中，对应点检测装置配置成在靠近立体图像中心的部分中检测针对多个立体图像中的每一个的每组左图像和右图像的一组对应点。 
在根据本发明的第四方面的立体全景图像创建设备中，在上述第三方面中，当对应点检测装置未在靠近立体图像中心的部分中检测所需对应点时，图像偏移量计算装置配置成将预先设置的图像偏移量设置作为计算值，或者图像偏移量计算装置配置成通过在相邻图像偏移量之间进行内插来计算图像偏移量。这样，即使未在靠近立体图像中心的部分中检测到具有特征的对应点，也能够得到图像偏移量。 
在根据本发明的第五方面的立体全景图像创建设备中，在上述第一至第四方面的任一方面中，立体全景图像创建装置配置成通过将多个狭缝图像拼合在一起来创建立体全景图像，其中每个狭缝图像呈条形，这些狭缝图像处于由立体图像获得装置获得的多个立体图像中的靠近中心的部分中。 
根据本发明的第六方面的立体全景图像创建设备在上述第一方面的基础上还包括物体检测装置，其检测包括在由立体图像获得装置获得的多个立体图像或者包括在所创建的立体全景图像中的所需物体，其中对应点检测装置配置成检测针对由物体检测装置检测到的每个物体的对应点。例如，除了人的面部之外，物体检测装置还检测用作主要对象的诸如建筑物或墙壁等的人工建筑。这样，当通过滚动或逐帧播放再现立体全景图像时，可以针对在立体全景图像中检测到的每个物体自动地进行视差调节。 
根据本发明的第七方面的立体全景图像创建设备在上述第一至第六方面的任一方面的基础上还包括内插计算装置，该内插计算装置基于由图像偏移量计算装置计算出的多个图像偏移量、通过在对应点之间内插像素偏移量来计算连续的像素偏移量，其中记录装置配置成将由图像偏移量计算装置计算出的多个图像偏移量和由内插计算装 置计算出的像素偏移量记录在记录介质中。据此，当通过滚动方式再现立体全景图像时，经过内插计算的图像偏移量可以用于连续地进行视差调节。 
在根据本发明的第八方面的立体全景图像创建设备中，在上述第一至第六方面的任一方面中，预定视差量为零。 
根据本发明的第九方面的一种立体全景图像再现设备，其包括：读取装置，其从根据上述第一至第八方面中任一方面的记录介质读取立体全景图像和立体全景图像的辅助信息；再现装置，其以预定倍率放大读取的立体全景图像，并且自动地或者根据手动指令输入来以在立体显示器上滚动的方式再现或者以针对通过划分立体全景图像而获得的多个帧中的每一帧进行逐帧播放的方式再现放大的立体全景图像；以及视差调节装置，其从作为立体全景图像的辅助信息而记录的多个图像偏移量中选择一个图像偏移量，该图像偏移量对应于立体显示器的屏幕中的立体图像，并且当立体全景图像由再现装置通过滚动或逐帧播放的方式进行再现时视差调节装置基于选择的图像偏移量进行立体图像的视差调节。 
根据上述第九方面，读取记录在根据上述第一至第八方面中的任一方面的记录介质上的立体全景图像和立体全景图像的辅助信息（例如多个图像偏移量）。之后，当以预定倍率放大读取的立体全景图像并且自动地或根据手动指令输入通过在立体显示器上滚动再现或者以针对通过分割立体全景图像而获得的多个帧中的每一帧以逐帧播放的方式再现放大的立体全景图像时，辅助信息可用于针对每个滚动位置或每一帧自动地进行视差调节。这样，可以调节显著影响立体图像阅览效果的交叉点部分（在左和右图像之间不存在视差的部分），以使立体阅览变得容易。需要注意的是，尽管预定倍率优选地是使立体全景图像在纵向上的宽度与立体显示器在纵向上的宽度一致的倍率，但是可以比该倍率更大或更小。此外，可以适当地调节预定倍率。 
根据本发明第十方面的一种立体全景图像再现设备包括：立体全景图像获得装置，其获得由左和右全景图像形成的立体全景图像； 对应点检测装置，其在再现获得的立体全景图像之前检测立体全景图像中用于视差调节的多个对应点，这些对应点具有在左和右全景图像之间匹配的特征；图像偏移量计算装置，其计算用于将检测到的多个对应点的视差均设置为预定视差量的图像偏移量；存储装置，其将立体全景图像上用于视差调节的多个对应点的位置信息和计算出的多个图像偏移量彼此相关联地进行存储；再现装置，其以预定倍率放大获得的立体全景图像，并且自动地或者根据手动指令输入以在立体显示器上滚动的方式再现或者以针对通过分割立体全景图像而获得的多个帧中的每一帧进行逐帧播放的方式再现放大的立体全景图像；以及视差调节装置，其从相应于立体全景图像存储在所述存储装置中的多个图像偏移量中选择一个图像偏移量，该图像偏移量对应于立体显示器的屏幕中的立体图像，并且当立体全景图像由再现装置通过滚动或逐帧播放的方式进行再现时视差调节装置基于选择的图像偏移量进行立体图像的视差调节。 
上述第十方面涉及一种当不能从记录介质获得立体全景图像的辅助信息（例如多个图像偏移量的辅助信息）时的立体全景图像再现设备。在再现立体全景图像之前，立体全景图像再现设备检测用于视差调节的多个对应点，这些对应点具有在左和右全景图像之间匹配的特征；计算用于将这些对应点的视差均设置在预定视差量的图像偏移量；将立体全景图像上用于视差调节的多个对应点的位置信息和计算出的多个图像偏移量彼此相关联地进行存储；然后使用存储的多个图像偏移量以在通过滚动或通过逐帧播放再现立体全景图像时进行视差调节。需要注意的是，以类似于上述第九方面的方式执行在通过滚动或通过逐帧播放再现立体全景图像时的视差调节。 
在根据本发明的第十一方面的立体全景图像再现设备中，在上述第十方面中，对应点检测装置配置成检测针对通过分割全景图像而获得的均呈条形的多个狭缝图像中的每一个的一组对应点。 
在根据本发明的第十二方面的立体全景图像再现设备中，在上述第十一方面中，当对应点检测装置未在靠近立体图像中心的部分中检测所需对应点时，图像偏移量计算装置配置成将预先设置的图像偏 移量设置作为计算值，或者图像偏移量计算装置配置成通过在相邻图像偏移量之间进行内插来计算图像偏移量。 
根据本发明的第十三方面的立体全景图像再现设备在上述第十方面的基础上还包括物体检测装置，物体检测装置检测包括在获得的立体全景图像中的所需物体，其中对应点检测装置配置成检测针对由物体检测装置检测到的每个物体的对应点。这样，当通过滚动或分割的逐帧播放再现立体全景图像时，可以针对立体全景图像中的每个物体执行视差调节。 
根据本发明的第十四方面的立体全景图像再现设备在上述第十至第十三方面的任一方面的基础上还包括内插计算装置，其基于由图像偏移量计算装置计算出的多个图像偏移量、通过在对应点之间内插像素偏移量来计算连续的像素偏移量，其中存储装置配置成存储由图像偏移量计算装置计算出的多个图像偏移量和由内插计算装置计算出的多个像素偏移量。 
在根据本发明的第十五方面的立体全景图像再现设备中，在上述第十至第十四方面的任一方面中，预定视差量为零。 
在根据本发明的第十六方面的立体全景图像再现设备中，在上述第九至第十五方面的任一方面中，视差调节装置配置成选择立体显示器的屏幕中心处的或者在最靠近屏幕中心的部分中的图像偏移量，并且基于选择的图像偏移量进行立体图像的视差调节。据此，可以将在立体显示器的屏幕中心处或者在靠近屏幕中心的部分中的对象的视差量设置为预定视差量以使对象的立体阅览变得容易。需要注意的是，如在上述第十五方面中，当预定视差量为零时，目标对象平面地显示并且最容易阅览到。然而，本发明并不受限于此。例如，预定视差量可以设置在合适的值，并且可以调节视差量使得目标对象看上去略微向前弹出。 
根据本发明的第十七方面的立体全景图像再现设备在上述第九至第十六方面的任一方面的基础上配置为当再现装置根据手动指令输入通过滚动方式再现立体全景图像时，在停止滚动之前选择与在根据手动指令输入开始滚动时显示在立体显示器的屏幕中的立体图像 相对应的一个图像偏移量，并且当滚动停止时，选择与停止滚动时显示在立体显示器的屏幕中的立体图像相对应的一个图像偏移量，并且基于选择的图像偏移量进行立体图像的视差调节。如此，滚动期间的视差调节是固定的，由此能够减小因视差波动而造成的眼疲劳并且在停止滚动时能够进行与停止的立体图像相对应的视差调节。 
在根据本发明的第十八方面的立体全景图像再现设备中，在上述第九至第十六方面的任一方面中，再现装置配置成在根据手动指令输入以滚动方式进行再现的滚动期间仅仅使左图像和右图像中的一个显示在立体显示器上，并且当滚动停止时使立体图像显示在立体显示器上，以及在停止滚动时，视差调节装置配置成选择与在停止滚动时显示在立体显示器的屏幕中的立体图像相对应的一个图像偏移量，并且基于选择的图像偏移量进行立体图像的视差调节。如此，由于在滚动期间显示平面图像，因此可以减小眼疲劳，并且在停止滚动时可以执行与停止的立体图像相对应的视差调节。 
在根据本发明的第十九方面的立体全景图像再现设备中，在上述第九至第十八方面的任一方面中，再现装置配置成使整个立体全景图像显示在立体显示器上，然后以预定倍率放大立体全景图像并且通过滚动或逐帧播放的方式回放立体全景图像。这样，在检查整个立体全景图像之后，可以以滚动或进行了分割的逐帧播放的方式阅览放大以及缩放后的立体全景图像。 
根据本发明的第二十方面的一种立体全景图像创建方法包括：立体图像获得步骤，用于获得由立体成像设备拍摄的左图像和右图像形成的多个立体图像，这些立体图像是立体成像设备在沿恒定方向摇动时连续拍摄的；立体全景图像创建步骤，用于通过从获得的多个立体图像中将左图像合成在一起且将右图像合成在一起来创建由左和右全景图像形成的立体全景图像；对应点检测步骤，用于检测用于视差调节的多个对应点，这些对应点具有在获得的多个立体图像的左图像和右图像之间匹配的特征或者在创建的立体全景图像的左和右全景图像之间匹配的特征；图像偏移量计算步骤，用于计算用于将检测到的多个对应点的视差均设置为预定视差量的多个图像偏移量；以及 记录步骤，用于将创建的立体全景图像记录在记录介质中并且将立体全景图像上用于视差调节的多个对应点的位置信息和计算出的多个图像偏移量彼此相关联地记录在记录介质中作为立体全景图像的辅助信息。4 
在根据本发明的第二十一方面的立体全景图像创建方法中，在上述第二十方面中，对应点检测步骤配置成针对获得的立体图像中的每一个的每组左图像和右图像检测一组对应点，以及图像偏移量计算步骤配置成从针对所述多个立体图像中的每一个而检测的对应点中指定一组对应点，并且计算均用于将对应点之间的视差设置为预定视差量的图像偏移量。 
在根据本发明的第二十二方面的立体全景图像创建方法中，在上述第二十一方面中，对应点检测步骤配置成在靠近立体图像中心的部分中检测针对所述多个立体图像中的每一个的每组左图像和右图像的一组对应点。 
在根据本发明的第二十三方面的立体全景图像创建方法中，在上述第二十二方面中，当对应点检测装置未在靠近立体图像中心的部分中检测到所需对应点时，图像偏移量计算步骤配置成将预先设置的图像偏移量设置作为计算值，或者图像偏移量计算步骤配置成通过在相邻图像偏移量之间进行内插来计算图像偏移量。 
在根据本发明的第二十四方面的立体全景图像创建方法中，在上述第二十至第二十三方面的任一方面中，立体全景图像创建步骤配置成通过将多个狭缝图像拼合在一起来创建立体全景图像，其中每个狭缝图像呈条形，这些狭缝图像处于获得的多个立体图像中的靠近中心的部分中。 
根据本发明的第二十五方面的立体全景图像创建方法在上述第二十方面的基础上还包括检测包括在获得的多个立体图像或创建的立体全景图像中的所需物体的物体检测步骤，其中对应点检测步骤配置成检测针对由物体检测步骤检测的每个物体的对应点。 
根据本发明的第二十六方面的立体全景图像创建方法在上述第二十至第二十五方面的任一方面的基础上还包括基于在图像偏移量 计算步骤中计算出的多个图像偏移量、通过在对应点之间内插像素偏移量来计算连续的像素偏移量的内插计算步骤，其中记录步骤配置成将在图像偏移量计算步骤中计算出的多个图像偏移量和在内插计算步骤中计算出的多个像素偏移量记录在记录介质中。 
在根据本发明的第二十七方面的立体全景图像创建方法中，在上述第二十至第二十五方面的任一方面中，预定视差量为零。 
根据本发明的第二十八方面的一种立体全景图像再现方法包括：读取步骤，用于从根据上述第二十至第二十七方面的任一方面的记录介质读取立体全景图像和立体全景图像的辅助信息；再现步骤,用于以预定倍率放大读取的立体全景图像，并且自动地或者根据手动指令输入以在立体显示器上滚动的方式再现或者以针对通过分割立体全景图像而获得的多个帧中的每一帧进行逐帧播放的方式再现放大的立体全景图像；以及视差调节步骤,用于从作为立体全景图像的辅助信息而记录的多个图像偏移量中选择一个图像偏移量，该图像偏移量对应于立体显示器的屏幕中的立体图像，并且当在所述再现步骤中通过滚动或逐帧播放的方式再现立体全景图像时基于选择的图像偏移量进行立体图像的视差调节。 
根据本发明的第二十九方面的一种立体全景图像再现方法包括：立体图像获得步骤，获得由左和右全景图像形成的立体全景图像；对应点检测步骤,用于在再现获得的立体全景图像之前，检测立体全景图像中用于视差调节的多个对应点，这些对应点具有在左和右全景图像之间匹配的特征；图像偏移量计算步骤，用于计算用于将检测到的多个对应点的视差均设置在预定视差量的图像偏移量；存储步骤，用于将立体全景图像上用于视差调节的多个对应点的位置信息和计算出的多个图像偏移量彼此相关联地进行存储；再现步骤，用于以预定放大倍率放大获得的立体全景图像，并且自动地或者根据手动指令输入以在立体显示器上滚动的方式再现或者以针对通过划分立体全景图像而获得的多个帧中的每一帧进行逐帧播放的方式再现放大的立体全景图像；以及视差调节步骤,用于从相应于立体全景图像存储在存储装置中的多个图像偏移量中选择一个图像偏移量，该图像偏移 量对应于立体显示器的屏中的立体图像，并且当在再现步骤中通过滚动或逐帧播放的方式再现立体全景图像时基于选择的图像偏移量进行立体图像的视差调节。 
在根据本发明的第三十方面的立体全景图像再现方法中，在上述第二十九方面中，对应点检测步骤配置成检测针对通过分割全景图像而获得的均呈条形的多个狭缝图像中的每一个的一组对应点。 
在根据本发明的第三十一方面的立体全景图像再现方法中，在上述第三十方面中，当在对应点检测步骤中未在靠近立体图像中心的部分中检测到所需对应点时，图像偏移量计算步骤配置成将预先设置的图像偏移量设置作为计算值，或者图像偏移量计算步骤配置成通过相邻图像偏移量之间进行内插来计算图像偏移量。 
根据本发明的第三十二方面的立体全景图像再现方法在上述第二十九方面的基础上还包括检测包括在获得的立体全景图像中的所需物体的物体检测步骤，其中对应点检测步骤配置成检测针对物体检测步骤中所检测到的每个物体的对应点。 
根据本发明的第三十三方面的立体全景图像再现方法在上述第二十九至第三十二方面的任一方面的基础上还包括基于在图像偏移量计算步骤中计算出的多个图像偏移量、通过在对应点之间内插像素偏移量来计算连续的像素偏移量的内插计算步骤，其中存储步骤配置成存储在图像偏移量计算步骤中计算出的多个图像偏移量和在内插计算步骤中计算出的多个像素偏移量。 
在根据本发明的第三十四方面的立体全景图像再现方法中，在上述第二十九至第三十三方面的任一方面中，预定视差量为零。 
在根据本发明的第三十五方面的立体全景图像再现方法中，在上述第二十八至第三十四方面的任一方面中，视差调节步骤配置成选择处于立体显示器的屏幕中心处或者处于最靠近屏幕中心的部分中的图像偏移量，并且基于选择的图像偏移量进行立体图像的视差调节。 
在根据本发明的第三十六方面的立体全景图像再现方法中，在上述第二十八至第三十五方面的任一方面中，当再现步骤根据手动指 令输入通过滚动方式再现立体全景图像时，视差调节步骤配置成在停止滚动之前选择与在根据手动指令输入开始滚动时显示在立体显示器的屏中的立体图像相对应的一个图像偏移量，并且当滚动停止时，选择与停止滚动时显示在立体显示器的屏中的立体图像相对应的一个图像偏移量，并且在视差调节步骤中基于选择的图像偏移量进行立体图像的视差调节。 
在根据本发明的第三十七方面的立体全景图像再现方法中，在上述第二十八至第三十五方面的任一方面中，再现步骤配置成在根据手动指令输入以滚动方式进行再现的滚动期间仅仅使左图像和右图像中的一个显示在立体显示器上，并且当滚动停止时使立体图像显示在立体显示器上，以及在停止滚动时视差调节步骤配置成选择与在停止滚动时显示在立体显示器的屏中的立体图像相对应的一个图像偏移量，并且基于选择的图像偏移量进行立体图像的视差调节。 
在根据本发明的第三十八方面的立体全景图像再现方法中，在上述第二十八至第三十七方面的任一方面中，再现步骤使整个立体全景图像显示在立体显示器上，然后以预定倍率放大立体全景图像并且通过滚动或逐帧播放的方式回放立体全景图像。 
根据本发明的第三十九方面的一种立体全景图像再现程序配置成通过计算机实现根据上述第一至第八方面中的任一方面的立体全景图像创建设备。 
根据本发明的第四十方面的一种立体全景图像创建程序配置成通过计算机实现根据上述第九至第十九方面中的任一方面的立体全景图像再现设备。 
{本发明的有益效果} 
在本发明中，检测针对立体全景图像的用于视差调节的多个对应点，并且用于将该立体全景图像上的每个对应点的视差设置在预定视差量的图像偏移量与每个对应点的位置信息一起被计算并记录。因此，当通过滚动或逐帧播放再现立体全景图像时，记录的图像偏移量可用于自动地调节针对每个滚动位置或每一帧的视差。这样，可以通 过滚动或逐帧播放的方式来再现可轻松立体阅览到的立体全景图像。 
附图说明
图1A是根据本发明的实施例的立体成像设备的正面透视图。 
图1B是根据本发明的实施例的立体成像设备的背面透视图。 
图2是显示图1的立体成像设备的内部结构的框图。 
图3是拍摄用于3D全景合成的3D图像的方法的示图。 
图4A是用于描述3D全景合成以及其它内容的示图。 
图4B是用于描述3D全景合成以及其它内容的示图。 
图4C是用于描述3D全景合成以及其它内容的示图。 
图4D是用于描述3D全景合成以及其它内容的示图。 
图4E是用于描述3D全景合成以及其它内容的示图。 
图5是说明辅助信息示例的表格，在其上记录了与每个3D图像的交叉点CP的坐标（x，y）相关联的CP量（Δx）。 
图6是说明用于创建3D全景图像和3D全景合成的3D图像的获得的操作步骤的流程图。 
图7是说明再现3D全景图像的方法的第一实施例的流程图。 
图8A是当通过滚动和逐帧播放再现3D全景图像时的图像阅览。 
图8B是当通过滚动和逐帧播放再现3D全景图像时的图像阅览。 
图9是说明再现3D全景图像的方法的第二实施例的流程图。 
图10是说明再现3D全景图像的方法的第三实施例的流程图。 
图11是显示整个3D全景图像的液晶监视器的显示屏的示图。 
图12是说明再现3D全景图像的方法的第四实施例的流程图。 
图13A是拍摄用于3D全景合成的3D图像的另一方法的示图。 
图13B是拍摄用于3D全景合成的3D图像的又一方法的示图。 
图14是用于描述在拍摄用于3D全景合成的3D图像时的视角匹配的示图。 
具体实施方式
下面根据附图来描述根据本发明的立体全景图像创建设备、方 法和程序，立体全景图像再现设备、方法和程序，以及记录介质。 
[立体成像设备的外观] 
图1A和图1B是根据本发明的实施例的立体成像设备的外部示图。图1A是从上方沿对角线方向观看时的立体成像设备1的透视图，以及图1B是从后表面观看时的立体成像设备1的透视图。 
如图1A所示，立体成像设备1设有左成像单元L和右成像单元R。为进行区分，下文将这些成像单元称为第一成像单元L和第二成像单元R。 
第一成像单元L和第二成像单元R并排布置，以便能够获得用于立体阅览的图像信号。在这些成像单元L和R处，分别创建左图像信号和右图像信号。当对图1A和图1B的立体成像设备1的上表面上的电源开关10A进行操作时，将拍摄模式拨盘10B设置在一定模式下（例如，立体模式），之后操作快门按钮10C，在成像单元L和R都创建了用于立体阅览的图像数据。 
包括在该实施例的立体成像设备1中的快门按钮10C具有半按和全按两种操作模式。在该立体成像设备1中，当半按快门按钮10C时执行曝光调节和聚焦调节，并且当全按时执行拍摄。此外，当场亮度太暗时，向对象发出闪光的闪光发出窗口WD设置在成像单元L的上方。 
更进一步地，如图1B所示，立体成像设备1在背部设有能够进行三维显示的液晶监视器DISP。在该液晶监视器DISP上，被成像单元L和R都捕获到的同一对象显示为立体图像。需要注意的是，可以应用的液晶监视器DISP的示例包括使用双凸透镜或视差屏障的液晶监视器和允许通过佩戴专用眼镜（例如偏振眼镜或液晶快门眼镜）分别阅览右图像和左图像的液晶监视器。更进一步地，设置并布置了诸如变焦开关10D、菜单/OK按钮10E和十字键10F等操作器。在下文中，包括电源开关10A、拍摄模式拨盘10B、快门按钮10C、变焦开关10D、菜单/OK按钮10E和十字键10F的操作开关可以统称为操作单元10。 
[立体成像设备的内部结构] 
图2是说明图1A和图1B的立体成像设备1的内部结构的框图。参照图2，对立体成像设备1的内部结构进行描述。 
通过主CPU（中央处理单元）100以集中的方式来控制该立体成像设备1的操作。 
ROM（只读存储器）101经由总线Bus连接至主CPU 100。在ROM101中，存储用于操作该立体成像设备1所需的程序。基于这些程序的进程，主CPU 100根据来自操作单元10的指令以集中的方式控制该立体成像设备1的操作。 
操作单元10的模式拨盘10B是用于从以下模式中选择任何一种模式的选择装置，这些模式为：自动拍摄模式；手动拍摄模式；人物、风景、夜景或其它的场景位置；用于拍摄移动图片的移动图片模式；以及根据本发明的立体（3D）全景图像拍摄模式和3D全景图像再现模式。此外，操作单元10中未示出的再现按钮是用于切换至再现模式的按钮，在再现模式下，拍摄或记录的静止图片或移动图片显示在液晶监视器DISP上。菜单/OK按钮10E是既用作菜单按钮又用作OK按钮的操作键，其中菜单按钮用于发出将菜单显示在液晶监视器DISP的屏上的指令，并且OK按钮用于发出对选定项目等进行确定和执行的指令。十字键10F是用于沿包括上、下、左和右这四个方向的任何一个方向输入指令的操作单元，并且用作从菜单屏选择项目或发出从每个菜单选择各种设置项目中的任何一个项目的指令的按钮（光标移动操作装置）。此外，十字键10F上的上/下键在拍摄模式时用作变焦开关和在再现模式时用作再现缩放开关，并且左/右键在再现模式时用作逐帧播放（正向/反向馈送）按钮。 
首先，当对图1所示的操作单元10中的电源开关10A进行操作时，主CPU 100控制电源控制单元1001以使来自电池Bt的电力经由电源控制单元1001供给至图2的每个单元，由此使该立体成像设备1转变为操作状态。以这种方式，主CPU 100开始拍摄处理。需要注意的是，AF（自动聚焦）检测单元120、AE/AWB（自动曝光/自动白平衡）检测单元130、图像输入控制器114A、数字信号处理单元116A和3D图像创建单元117均被认为是由诸如DSP（数字信号处理器） 等处理器构成，并且主CPU 100被认为是与这些DSP协作执行各种处理。 
此处，参照图2描述第一成像单元L和第二成像单元R（上文参照图1所描述的）的内部结构。值得注意的是，通过为第一成像单元L的每个组成元件提供单词“第一”并且为第二成像单元R的每个组成元件提供单词“第二”来进行描述。 
第一成像单元L设有：包括第一聚焦镜头FLA的第一拍摄光学系统110A；第一聚焦镜头驱动单元（下文称作第一F镜头驱动单元）104A，其用于沿光轴方向移动该第一聚焦镜头FLA；以及第一成像元件111A，其用于接收通过在第一拍摄光学系统110A中形成对象图像而获得的对象光并且创建表示该对象的图像信号。该第一拍摄光学系统110A还设有第一光圈IA以及用于改变该第一光圈IA的开口直径的第一光圈驱动单元105A。 
此外，第一拍摄光学系统110A包括变焦镜头ZLA。提供了Z镜头驱动单元103A，用于控制该变焦镜头ZLA使得该变焦镜头设置成具有预定焦距。值得注意的是，在图2中，用一个镜头ZL示意性地示出了整个拍摄光学系统是变焦镜头的事实。 
另一方面，正如第一成像单元L，第二成像单元R设有：包括第二聚焦镜头FLB的拍摄光学系统；第二聚焦镜头驱动单元（下文称作第二F镜头驱动单元）104B，其用于沿光轴方向移动该第二聚焦镜头FLB；以及第二成像元件111B，其用于接收通过在第二拍摄光学系统中形成对象图像而获得的对象光并且创建表示该对象的图像信号。 
在这些第一成像单元L和第二成像单元R中，创建了用于立体阅览的图像信号。也就是说，在第一成像单元L创建了左图像信号，并且在第二成像单元R创建了右图像信号。 
第一成像单元L和第二成像单元R具有完全相同的结构，区别仅在于创建左图像信号还是右图像信号，两个成像单元的图像信号分别在第一A/D转换单元113A和第二A/D转换单元113B中转换为数字信号并且之后被引导至总线Bus后面的信号处理也是相同的。因此，下面沿着关于第一成像单元L的图像信号的流向来描述该结构。 
首先，描述当由第一成像单元L捕获的对象直接显示在液晶监视器DISP上作为实时阅览图像（直通图像）时的操作。 
对操作单元10中的电源开关10A进行操作之后，主CPU 100控制电源控制单元1001使得来自电池Bt的电力供给至每个单元，由此使该立体成像设备1转变为操作状态。 
主CPU 100首先控制F镜头驱动单元104A和光圈驱动单元105A以开始曝光和聚焦调节。此外，主CPU 100指示定时发生器（TG）106A以使成像元件111A通过电子快门设置曝光时间，并且每隔预定时间（例如，1/60秒）使图像信号从成像元件111A输出至模拟信号处理单元112A。 
在模拟信号处理单元112A，当从TG 106A接收到定时信号的供给并每隔预计时间从成像元件111A接收到图像信号的供给时，执行降噪等处理。之后，经过降噪处理的模拟图像信号在下一个阶段被供给至A/D转换单元113A。此外，在该A/D转换单元113A，与来自TG106A的定时信号同步地，在预定时间执行将模拟信号转换成数字信号的处理。以这种方式，通过转换获得并从A/D转换单元113A输出的数字图像信号在预定时间被图像输入控制器114A引导至总线Bus。经由总线Bus引导的该图像信号被存储在SDRAM（同步动态随机存储器）115中。由于每隔预定时间从成像元件111A输出图像信号，因此每隔预定时间重写该SDRAM 115的内容。 
存储在该SDRAM 115中的图像信号每隔预定时间被构成AF检测单元120、AE/AWB检测单元130和数字信号处理单元116A的DSP读取。 
在AF检测单元120，对于在主CPU 100控制F镜头驱动单元104A以使聚焦镜头FLA移动期间的每个预定时间，对焦区域中图像信号的高频分量被提取并被累积以计算表示图像对比度的AF评估值。主CPU100获得由AF检测单元120计算的AF评估值，并且第一聚焦镜头FLA通过F镜头驱动单元104A移动至镜头位置（聚焦位置），在该镜头位置处AF评估值最大。为此，即使第一成像单元L朝向任何方向，也可以立即调整焦距，并且聚焦的对象大致总是显示在液晶监视器 DISP上。 
此外，在AE/AWB检测单元130，每隔预定时间执行对象亮度的检测、和要设置给数字信号处理单元116A中的白平衡放大器的增益的计算。响应于该AE/AWB检测单元130的亮度检测结果，主CPU 100控制光圈驱动单元105A以改变光圈IA的开口直径。此外，在接收到来自AE/AWB检测单元130的检测结果之后，数字信号处理单元116A对白平衡放大器的增益进行设置。 
在该数字信号处理单元116A，执行处理使得图像信号变得适于显示。然后，通过数字信号处理单元116A的信号处理转换成更适于显示的图像信号被供给至3D图像创建单元117，并且在该3D图像创建单元117，创建用于显示的右图像信号。创建的右图像信号被存储在VRAM（视频随机存取存储器）118中。 
第二成像单元R也以相同的时序执行到目前为止的相同操作。因此，在VRAM 118中，存储了右和左两种类型的图像信号。 
主CPU 100将VRAM 118中的右图像信号和左图像信号传送至显示控制单元119以使图像显示在液晶监视器DISP上。当基于右图像信号和左图像信号的图像显示在图1B的液晶监视器DISP上时，液晶监视器DISP上的图像对人眼来说看起来像是立体的。由于每隔预定时间从第一成像元件111A和第二成像元件111B连续地输出图像信号，因此每隔预定时间重新写入VRAM 118中的图像信号，并且每隔预定时间切换液晶监视器DISP上的立体图像，由此使立体图像显示为移动图片。 
此处，当参考液晶监视器DISP上的对象且将操作单元10中的快门按钮10C半按下时，由AE/AWB检测单元130接收就在完全按下快门按钮10C之前检测到的AE值，并且第一光圈IA和第二光圈IB分别通过第一光圈驱动单元105A和第二光圈驱动单元105B设置成具有一定光圈直径。此外，响应于上述半按操作，主CPU 100使AF检测单元120计算AF评估值，同时第一聚焦镜头FLA和第二聚焦镜头FLB通过第一F镜头驱动单元104A和第二F镜头驱动单元104B在预定搜索范围内移动。 
基于由AF检测单元120计算的AF评估值，主CPU 100检测AF评估值变为最大时的第一聚焦镜头FLA的镜头位置和第二聚焦镜头FLB的镜头位置，并且将第一聚焦镜头FLA和第二聚焦镜头FLB分别移动至第一镜头位置和第二镜头位置。 
然后，当快门按钮10C被完全按下时，主CPU 100通过第一TG106A和第二TG 106B使第一成像元件111A和第二成像元件111B以预定快门速度曝光以执行静止图片的拍摄。主CPU 100在电子快门的关闭时刻使图像信号从第一成像元件111A和第二成像元件111B输出至第一模拟信号处理单元112A和第二模拟信号处理单元112B，由此使第一模拟信号处理单元112A和第二模拟信号处理单元112B执行降噪处理。在第一A/D转换单元113A和第二A/D转换单元113B，模拟图像信号被转换成数字图像信号。 
此处，根据主CPU 100的指令，第一和第二图像输入控制器114A使通过在第一A/D转换单元113A和第二A/D转换单元113B的转换而获得的数字图像信号经由总线Bus一次存储在SDRAM 115中。然后，数字信号处理单元116A和116B读取SDRAM 115中的图像信号，执行图像处理，并且之后将处理结果发送至3D图像创建单元117，其中图像处理包括白平衡校正、伽玛校正、对在与单板CCD（电荷耦合器件）上的滤色片布置相关联的R（红）、G（绿）、B（蓝）以及其它颜色的颜色信号中的空间偏移进行内插以使每个颜色信号的位置彼此匹配的同步处理、轮廓校正、以及亮度/色差信号（YC信号）产生。 
随后，主CPU 100通过使用总线Bus将3D图像创建单元117中的右图像信号和左图像信号提供至压缩/解压单元150。主CPU 100使该压缩/解压单元150对图像数据进行压缩、然后通过使用总线Bus将压缩数据传送至介质控制单元，并且将与压缩和拍摄有关的头部信息供给至介质控制单元160，以使介质控制单元160以预定格式创建图像文件（例如，作为3D静止图片，MP（多图片）格式的图像文件）并且使图像文件记录在存储卡161上。 
当利用操作单元10的模式拨盘10B选择3D全景图像拍摄模式时，主CPU 100执行拍摄3D全景合成所需的多个立体图像的处理。 另外，3D图像创建单元117用作根据3D全景图像拍摄模式时拍摄的多个3D图像（多个左图像和多个右图像）创建3D全景图像的图像处理单元。需要注意的是，下文进一步描述立体成像设备1在3D全景图像拍摄模式时的操作细节。 
对应点检测单元170检测在各3D图像（左图像和右图像）之间特征匹配的对应点，并且还检测在3D全景图像拍摄模式时连续拍摄的先前图像与后续图像之间特征匹配的对应点。前面的对应点检测用于计算图像偏移量以便在3D全景图像的视差调节时使用，而后面的对应点检测用于在创建3D全景图像时计算光流（平移分量）。需要注意的是，对应点检测方法的示例包括：通过使用Harris方案提取特征点并且通过使用KLT（Kanade Lucas Tomasi）方法等跟踪特征点的方法。 
面部检测单元172从直通图像（through-the-lens image）检测人的面部，并且将关于该面部的位置和尺寸的信息输出至主CPU100。即，面部检测单元172包括图像检验电路和面部图像模板。图像匹配电路在直通图像的屏幕上移动目标区域的位置的同时对目标区域中的图像和面部图像模板进行彼此检验以看出其间的相互关系。之后，当相互关系得分超过预设阈值时，面部检测单元172将目标区域识别为面部区域。另外，面部检测单元172可以从以相似方式从拍摄的图像上检测面部。 
需要注意的是，其它已知方法中的任何一种可用作面部检测方法，例如通过边缘检测或形状图案检测的面部检测方法以及通过色相检测或肤色检测的面部检测方法。 
当从面部检测单元172获得表明面部区域的位置和尺寸的信息时，主CPU 100可以用直通图像合成围绕所获得的人的面部区域的面部检测框并且使合成结果显示在液晶监视器DISP上。另外，如上所述检测到的面部区域的位置和尺寸用作聚焦人的面部的AF区域或者AE区域，以使人的面部的亮度合适。此外，在每个3D图像中检测到的面部区域的位置可以用作将由对应点检测单元170检测的对应点。 
需要注意的是，图2示出闪光灯控制单元180、在接收到来自闪 光灯控制单元180的指令之后从图1A的闪光发出窗口WD发出闪光的闪光灯181、以及用于检测当前时间的计时单元W。 
<获得用于创建3D全景图像和3D全景合成的3D图像> 
为了拍摄用于3D全景合成的3D图像，用操作单元10的模式拨盘10B选择3D全景图像拍摄模式。 
之后，如图3所示，使立体成像设备1沿恒定方向摇动并且使其执行持续拍摄（连续拍摄）。 
在图3中，CP表示会聚点（下文称作交叉点），在该会聚点处左成像单元L和右成像单元R的光轴交叉，并且θ是由左成像单元L和右成像单元R的光轴形成的角（会聚角）。在该立体成像设备1中，交叉点CP和会聚角θ是固定的，并且例如，从立体成像设备1至交叉点CP的距离近似为2m。然而，通过使左图像和右图像沿水平方向相对地移位，实际上可以调节至交叉点CP的距离。 
同时，交叉点CP上的对象不具有视差。因此，通过使左图像和右图像相对地移位使得在左图像和右图像之间特征匹配的特定对应点（对象）的偏移量为零，可以将对象的视差设置为零（交叉点CP可以与对象的距离相匹配）。 
当设置3D全景图像拍摄模式时，主CPU 100执行控制使得用于第一3D图像的聚焦位置、曝光条件和白平衡增益是固定的，直到预定数量的3D图像的拍摄结束。 
当3D全景合成所需的预定数量的3D图像的拍摄结束时，主CPU100确定用于3D全景合成的3D图像的拍摄已结束，并且转换至诸如3D全景合成等的向前处理。 
图4A至图4E是示出3D全景图像合成的处理序列的示图。 
在图4A中，1至6表示在立体成像设备1的摇动期间拍摄的时间序列图像，并且上侧的图像是左图像，而下侧的图像是右图像。 
3D图像创建单元117用作从3D全景图像拍摄模式时拍摄的多个3D图像创建3D全景图像的图像处理单元。在全景合成处理中，根据由对应点检测单元170检测到的时间序列图像之间的对应点来计算光流。在图4A所示的示例中，计算相邻图像之间的1-2、2-3、3-4、…… 的光流（平移矢量），（x,y）=（19,2）,（21,-1）,（20,0），……。 
随后，如图4B所示，基于所计算的（x,y）=（19,2）,（21,-1）,（20,0），……的光流（平移矢量），每个3D图像被修剪成条形。之后，顺序地合成所修剪出的条形狭缝图像。即，裁剪距离通过使平移矢量的水平分量x从图像中心移位1/2所获得的位置具有固定宽度w的条形狭缝图像，并且在竖直方向和水平方向上将这些裁剪的条形狭缝图像移位平移矢量来对这些图像进行合成，如图4C所示。这样，3D全景合成完成了。 
接下来，在具有进行全景合成的左图像和右图像的重叠像素的区域中的图像均被修剪。在图4D所示的示例中，从进行全景合成的左图像和右图像中的每一个裁剪出最大矩形区域中的图像。 
这些裁剪出的左图像和右图像被存储在存储卡161中作为3D全景图像（图4E）。例如，从两个左和右全景图像生成多图片文件（MP文件：具有耦接在一起的多个图像的格式的文件），并且该MP文件经由介质控制单元160记录在存储卡161中。需要注意的是，这两个左和右全景图像并不受限于存储在一个MP文件中，而是可以存储在单独的图像文件中，只要它们彼此相互关联即可。 
另外，在由对应点检测单元170针对每个3D图像检测到的对应点中，主CPU 100指定3D图像的中心附近的对应点（例如，左图像的条形狭缝图像中的特征点以及相应右图像上的对应点），并且计算这些对应点的偏移量（像素数量）作为图像偏移量（下文称作CP量）。 
也就是说，主CPU 100使如上所述的针对每个3D图像计算出的CP量与3D全景图像（左图像）上的交叉点CP的坐标（x，y）相关联，并且将与这些相关的信息记录在MP文件等的头部区域中作为3D全景图像的辅助信息。 
图5是示出辅助信息的示例的表格，其上记录了与每个3D图像的交叉点CP的坐标（x，y）相关联的CP量（Δx）。 
图6是示出如上所述的用于创建3D全景图像和3D全景合成的3D图像的获得的操作程序的流程图。 
在图6中，利用操作单元10的模式拨盘10B选择3D全景图像 拍摄模式，然后手持立体成像设备1，并且随着沿一定方向摇动该设备而开始拍摄（步骤S10）。 
主CPU 100判断是否已拍摄与全景合成所需一样多的图像（步骤S12）。如果所需数量的图像的拍摄已结束（“Yes”的情况下），主CPU 100结束3D全景图像拍摄模式下的拍摄。如果所需数量的图像的拍摄未结束（“No”的情况下），主CPU 100使程序转换至步骤S14。 
在步骤S14，从拍摄的3D图像检测对应点。也就是说，从3D图像的左图像的中心附近的一部分提取一个特征点，并且检测右图像上与该特征点对应的对应点。随后，计算作为检测到的对应点之间的偏移量的CP量（步骤S16）。 
针对每个获得的3D图像存储计算出的CP量（步骤S18）。需要注意的是，CP量存储为与3D全景图像（左图像）上的交叉点CP的坐标（x，y）相关联，如图5所示。 
另外，如参考图4A至图4E所述，基于先前的和后续的3D图像的光流（平移矢量）从拍摄的3D图像裁剪条形狭缝图像，在竖直方向和水平方向上将这些条形狭缝图像移位达平移矢量来对这些图像进行合成（全景合成），然后使该程序转换至步骤S12（步骤S20）。 
针对全景合成所需的图像通过以上述方式重复上述步骤S12至步骤S20，创建3D全景图像并且计算其辅助信息（例如CP量），并且将3D全景图像与辅助信息一起存储在存储卡161中。 
需要注意的是，在图6中，针对立体成像设备1的摇动期间拍摄的每个3D图像执行CP量的计算和存储以及全景图像合成。然而，本发明并不受限于此。例如，可以拍摄与全景合成所需一样多的3D图像，可以将这些3D图像临时存储在SDRAM 115中，然后针对每个3D图像可以执行CP量的计算、全景合成等。 
<3D全景图像的再现> 
[第一实施例] 
接下来，对以上述方式存储在存储卡161中的3D全景图像的再现进行描述。 
图7是示出再现3D全景图像的方法的第一实施例的流程图。 
在图7中，用操作单元10的模式拨盘10B选择3D全景图像再现模式，并且开始3D全景图像的再现（步骤S30）。需要注意的是，在开始再现3D全景图像时，从存储卡161读取预定3D全景图像，并将其临时存储在SDRAM 115中。另外，在第一实施例中，假定多个3D图像中的每一个的CP量被存储作为如图5所示的3D全景图像的辅助信息。 
首先，从读取的3D全景图像的左端裁剪用于显示的3D图像，其中该3D图像具有的纵横比等于液晶监视器DISP（图2）的屏幕的纵横比，并且选择裁剪出的3D图像的中心部分（在液晶监视器DISP的显示屏的中心处）的CP量（步骤S32）。在该CP量选择中，找出待显示在液晶监视器DISP上的3D图像的中心部分（3D全景图像的一部分）的3D全景图像（左图像上）的位置（x坐标），并且选择（参考图5）与交叉点CP对应的CP量，其中交叉点CP的x坐标最接近所述的x坐标。 
随后，基于所选择的CP量，通过使右图像相对左图像移位该CP量来执行视差调节，并且经视差调节的左和右图像（3D图像）显示在液晶监视器DISP上（步骤S34）。 
之后，判断是否出现用于滚动3D全景图像的指令或者用于逐帧播放通过分割3D全景图像而获得的多个帧中的每一帧的指令（步骤S36）。如果出现了滚动指令或者逐帧播放指令，则使程序转换至步骤S32。另一方面，如果在预定时间段（即，当3D全景图像显示至其右端结束时）既未出现滚动指令又未出现逐帧播放指令，则读取的3D全景图像的再现结束。需要注意的是，通过在滚动再现时连续地生成滚动指令或者在逐帧播放再现时以一定间隔连续地生成逐帧播放指令，可以自动地执行滚动再现或者逐帧播放再现。 
当基于步骤S32选择与下一个滚动位置或者帧位置对应的CP量时，基于选择的CP量以与上述相似的方式执行视差调节。 
图8A和图8B是通过滚动和通过逐帧播放再现3D全景图像时的图像视图。在图8A和图8B中，粗线框表示待显示在液晶监视器DISP 上的显示图像。 
如图8A所示，在通过滚动再现3D全景图像时，针对3D全景图像的每个滚动位置选择靠近屏中心的CP量，由此执行视差调节。如图8B所示，在通过逐帧播放再现3D全景图像时，为待进行逐帧播放的每个帧选择靠近屏幕中心的CP量，由此执行视差调节。 
由于在通过滚动或者通过逐帧播放再现3D全景图像时基于靠近屏中心的CP量来执行视差调节，因此可以将靠近屏幕中心的图像的视差设置为零。这样，明显影响3D图像阅览效果的交叉点部分（左和右图像之间没有视差的部分）总是靠近屏中心，由此在通过滚动或者通过逐帧播放再现时使得立体阅览变得容易。 
需要注意的是，在上述第一实施例中通过滚动或逐帧播放自动地再现3D全景图像。然而，本发明并不受限于此。例如，可以通过操作单元10的十字键10F的手动操作来执行通过滚动或通过逐帧播放的再现。根据这一点，在通过滚动或通过逐帧播放再现3D全景图像时，3D全景图像可以停止在任何滚动位置或者帧位置处。 
另外，当通过手动操作执行滚动再现时，滚动期间基于恰在图像馈送开始之前的CP量执行视差调节。于是，当图像馈送停止时，可以基于靠近停止的屏幕中心的CP量来执行视差调节。据此，可以固定滚动期间的视差调节，由此减小因视差波动而引起的眼疲劳。 
另外，左图像和右图像之间仅一个图像（平面（2D）全景图像）在滚动期间显示在液晶监视器DISP上，并且当图像馈送停止时，可以基于靠近停止的屏幕中心的CP量来执行视差调节。 
[第二实施例] 
图9是示出再现3D全景图像的方法的第二实施例的流程图。 
第二实施例涉及一种当CP量未作为3D全景图像的辅助信息存储时的再现方法。需要注意的是，与图7所示的第一实施例的那些共同的部分具有相同的步骤编号并且在此不再进行详细描述。 
在图9中，利用操作单元10的模式拨盘10B选择3D全景图像再现模式，并且开始3D全景图像的再现（步骤S40）。需要注意的是，在开始再现3D全景图像时，从存储卡161读取预定3D全景图像， 并将其临时存储在SDRAM 115中，但不存储CP量。 
在第二实施例中，在再现3D全景图像之前，执行CP量的计算等。 
即，从由存储卡161读取的3D全景图像（左图像）提取多个特征点，并且检测右图像上与这些特征点相对应的对应点（步骤S42）。需要注意的是，通过以下方式提取多个特征点：将3D全景图像分割成多个区域（这些区域的宽度与创建3D全景图像时的条形狭缝图像的宽度大致相同）并且针对通过分割所获得的每个区域提取一个特征点。 
随后，计算作为在步骤S42检测到的对应点之间的偏移量的CP量（步骤S44），并且该计算出的CP量与多个特征点的位置坐标相关联被存储在SDRAM 115中（步骤S46）。 
之后，以与图7所示的第一实施例相似的方式通过使用CP量来滚动地或者逐帧播放地再现3D全景图像。 
需要注意的是，在再现3D全景图像结束之后，临时存储在SDRAM115中的CP量可作为辅助信息记录在MP文件上，其中3D全景图像存储在MP文件中。 
根据第二实施例，即使在CP量未作为3D全景图像的辅助信息存储的情况下输入了3D全景图像，也可以通过滚动或通过逐帧播放来再现针对每个滚动位置或每个逐帧播放进行了视差调节的3D全景图像。 
[第三实施例] 
图10是示出再现3D全景图像的方法的第三实施例的流程图。 
第三实施例是通过对图7所示的第一实施例进行修改而获得的，并且与第一实施例的不同之处在于增加了由单点划线围绕的处理。 
该第三实施例与第二实施例不同之处在于整个3D全景图像被首先显示在液晶监视器DISP上。 
在图10中，当利用操作单元10的模式拨盘10B选择3D全景图像再现模式并且开始再现3D全景图像时（步骤S10），选择从存储卡161读取的3D全景图像的中心部分处的CP量（步骤S50）。 
随后，基于选择的CP量，通过使右图像相对左图像仅移位该CP量来执行视差调节，并且将整个经视差调节的3D全景图像显示在液晶监视器DISP上（步骤S52）。 
图11是显示整个3D全景图像的液晶监视器DISP的显示屏的示图。 
接下来，判断是否出现通过滚动或通过逐帧播放等再现3D全景图像的缩放指令（步骤S54）。当未出现缩放指令时，使该过程转换至步骤S52，然后显示整个3D全景图像。如果已出现缩放指令，那么使该过程转换至步骤S32。缩放指令可以在显示整个3D全景图像后的预定时间过去之后自动地生成，或者可以基于用户利用操作单元10输入的指令生成。 
如果缩放指令生成并且该过程转换至步骤S32，则对3D全景图像进行缩放，并且从经缩放的3D全景图像的左端开始通过滚动或通过逐帧播放再现3D全景图像（参照图8A和图8B）。需要注意的是，当通过滚动或通过逐帧播放再现3D全景图像时，如在图7所示的第一实施例中所描述的，为每个滚动位置或者每个逐帧播放选择CP量，并且通过使用选择的CP量来执行视差调节。 
根据第三实施例，在辨认整个3D全景图像之后，然后可以滚动地或者进行划分逐帧播放地阅览经缩放的3D全景图像。 
需要注意的是，图9所示的第二实施例可以改型成使得与上述第三实施例一样首先将整个3D全景图像显示在液晶监视器DISP上。在该情况下，在整个3D全景图像显示在液晶监视器DISP上的时间段期间可以执行CP量的计算等。另外，当整个3D全景图像显示在液晶监视器DISP上时，可以利用预设CP量（包括CP量=0）来执行视差调节。 
另外，通过滚动或通过分割出的逐帧播放再现3D全景图像时的缩放倍率优选地为使3D全景图像在纵向上的宽度与液晶监视器DISP在纵向上的宽度一致的倍率。然而，本发明的范围并不受限于该倍率。例如，可以通过手动缩放操作适当地调节倍率。 
<CP量计算的其它实施例> 
在图6所示的实施例中，针对用于全景合成的每个3D图像从靠近该3D图像的中心的对应点计算CP量。在3D全景图像的CP量计算的另一个实施例中，在3D全景图像中检测多个主要对象，计算每个对象的左和右全景图像之间的偏移量并且将其作为CP量。 
作为检测主要对象的检测装置，可以使用图2所示的面部检测单元172。据此，根据包括在3D全景图像中的每个面部图像计算CP量，并且将CP量存储为与3D全景图像（左图像）上的每个面部图像的位置相关联。 
另外，除了人的面部之外，诸如建筑物和墙壁等人工建筑以及诸如树木和森林等的自然物也可以考虑用作3D全景图像中的主要对象。可以通过已知的物体识别技术（例如，与每个物体的字典数据相匹配）来检测这些人工建筑以及诸如木头和森林的自然物。 
因此，通过向立体成像设备1提供物体检测装置（包括面部检测单元172），可以针对主要对象（诸如脸部、人工建筑和自然物等物体）中的每一个计算CP量并且将其存储。 
[第四实施例] 
图12是示出再现3D全景图像的方法的第四实施例的流程图。需要注意的是，与图7所示的第一实施例的那些共同的部分具有相同的步骤编号并且在本文中不再进行详细描述。 
在图12中，利用操作单元10的模式拨盘10B选择3D全景图像再现模式，并且开始3D全景图像的再现（步骤S30'）。需要注意的是，在开始再现3D全景图像时，从存储卡161读取预定3D全景图像，并将其临时存储在SDRAM 115中。另外，在第四实施例中，假定针对3D全景图像中的每个物体将CP量作为3D全景图像的辅助信息进行存储。 
当开始再现3D全景图像时，选择显示在液晶监视器DISP（图2）上的3D图像（3D全景图像的一部分）中与最靠近显示单元的中心的物体相对应的CP量（步骤S60）。 
然后，以与图7所示的第一实施例相似的方式通过滚动或通过逐帧播放再现利用CP量进行了视差调节的3D全景图像。 
根据第四实施例，当通过滚动或通过逐帧播放再现3D全景图像时，执行视差调节使得最靠近显示单元的中心的物体与交叉点重合。为此，在通过滚动或通过逐帧播放再现时可以容易地立体阅览3D全景图像中的物体（主要对象）。 
需要注意的是，在第四实施例中选择与最靠近液晶监视器DISP的显示单元的中心的物体相对应的CP量。然而，本发明并不受限于此。例如，可以为每种类型的物体预先确定优先等级（例如，按照面部→建筑物→其它的顺序），并且当多个不同类型的物体出现在显示屏幕上时，可以选择与具有最高优先等级的物体相对应的CP量。在这种情况下，关于物体类型的信息也需要存储成与CP量相关联。 
<用于3D全景图像和3D全景合成的3D图像的获得的其它实施例> 
如图3和图4A至图4E所示，为了拍摄用于3D全景合成的3D图像，沿恒定方向摇动立体成像设备1并且使其执行持续拍摄（连续拍摄）。然而，本发明并不受限于此。例如，可以如图13A和图13B所示地执行拍摄。 
即，如图13A和图13B所示，由立体成像设备1拍摄第一3D图像（图13A）。当设置了3D全景图像拍摄模式时，主CPU 100执行控制使得用于第一3D图像的聚焦位置、曝光条件和白平衡增益固定，直到预定数量的3D图像的后续拍摄结束。 
当第一3D图像的拍摄结束时，摄影师摇动（摇摄）立体成像设备1以改变拍摄方向，从而拍摄第二3D图像（图13B）。 
此处，如图14所示，摄影师通过调节立体成像设备1的拍摄方向使得第一3D图像和第二3D图像彼此部分地重叠来进行拍摄。在3D全景图像拍摄模式时，主CPU 100优选地使先前拍摄的3D图像的一部分显示在液晶监视器DISP上以帮助确定下一次拍摄的拍摄方向。即，摄影师可以通过阅览先前拍摄并显示在液晶监视器DISP上的3D图像的一部分以及直通图像来确定拍摄方向。 
当预设或默认设置数量的3D图像的拍摄结束时，主CPU 100确定用于3D全景合成的3D图像的拍摄已结束，并且使该过程转换到 3D全景合成的后续处理。需要注意的是，任何已知技术可用作从如上所述获得的多个3D图像合成3D全景图像的全景合成方法。 
[其它] 
在图6所示的实施例中，针对连续获得的3D图像中的每一个提取靠近左图像的中心的一个特征点，并且检测右图像上与该特征点对应的对应点。通过这些检测到的对应点之间的偏移量计算CP量。然而，取决于拍摄场景，在某些情况下不能提取靠近左图像中心的区域中的适于检测对应点的特征点。在这种情况下，将预设CP量（包括CP量=0）、通过在相邻CP量之间进行内插得到的CP量等看作用于该3D图像的CP量。 
另外，当通过滚动再现3D全景图像时，为了允许针对每个滚动位置进行视差调节，可以基于计算出的多个CP量通过内插（线性内插）得到与每个滚动位置相对应的CP量，并且还可以记录这些CP量。 
此外，同样当针对3D全景图像中的每个物体计算CP量时，可以通过内插计算得到物体之间的CP量，并且可以记录这些CP量。 
更进一步地，在本实施例中，可以得到在左图像和右图像之间特征匹配的特定对应点（对象）的偏移量为零的情况下的CP量（图像偏移量）。然而，本发明并不受限于对应点的偏移量设置为零的情况。例如，可以得到图像偏移量，以实现预定视差量（使目标对象略微向前弹出的视差量）。更进一步地，可以由用户适当地设置该预定视差量。 
针对每个滚动量通过如上所述的内插来得到CP量，当通过滚动再现3D全景图像时，通过内插计算获得的CP量可用于连续地执行视差调节。 
另外，尽管该立体成像设备1使3D全景图像显示在后表面上的液晶监视器DISP上，设备1可以包括用于使3D全景图像显示在外部3D显示器上的输出接口。 
此外，可以由诸如不带拍摄功能的个人计算机配置3D全景图像创建设备和3D全景图像再现设备。在这种情况下，由一般立体成像 设备拍摄的用于3D全景合成的多个3D图像被看作输入图像。 
更进一步地，通过将根据本发明的全景图像创建程序和全景图像再现程序经由存储有这些程序的记录介质安装在计算机上，可以使计算机起到3D全景图像创建设备或3D全景图像再现设备的作用。 
另外，本发明并不受限于上述实施例，并且在不背离本发明的精神的范围内可以进行各种变型，例如通过适当地组合这些实施例。 
{附图标记列表} 
1……立体成像设备；10……操作单元；100……主CPU；101……ROM；102……快闪ROM；110A……第一成像光学系统；110B……第二成像光学系统；111A……第一成像元件；111B……第二成像元件；115……SDRAM；117……3D图像创建单元；119……显示控制单元；160……介质控制单元；161……存储卡；170……对应点检测单元；172……面部检测单元；L……第一成像单元；R……第二成像单元；以及DISP……液晶监控器 

Claims (38)

1.一种立体全景图像创建设备，包括：
立体图像获得装置，其配置成获得由通过立体成像设备拍摄的左图像和右图像形成的多个立体图像，这些立体图像是所述立体成像设备沿恒定方向摇动时连续拍摄的；
立体全景图像创建装置，其配置成通过从由所述立体图像获得装置获得的所述多个立体图像中将所述左图像合成在一起且将所述右图像合成在一起来创建由左全景图像和右全景图像形成的立体全景图像；
对应点检测装置，其配置成检测用于视差调节的多个对应点，所述多个对应点具有在由所述立体图像获得装置获得的所述多个立体图像的左图像和右图像之间匹配的特征或者在所创建的立体全景图像的左全景图像和右全景图像之间匹配的特征；
图像偏移量计算装置，其配置成计算用于将所检测到的多个对应点的视差均设置为预定视差量的多个图像偏移量；以及
记录装置，其配置成在记录介质中记录所创建的立体全景图像，所述记录装置配置成将所述立体全景图像上用于视差调节的所述多个对应点的位置信息和所计算出的多个图像偏移量彼此相关联地记录在所述记录介质中作为所述立体全景图像的辅助信息。
2.根据权利要求1所述的立体全景图像创建设备，其中
所述对应点检测装置针对由所述立体图像获得装置获得的所述多个立体图像中的每一个立体图像的每一组左图像和右图像来检测一组对应点，以及
所述图像偏移量计算装置计算所述多个图像偏移量，这些图像偏移量中的每个图像偏移量用于将所检测到的对应点之间的视差设置为所述预定视差量。
3.根据权利要求2所述的立体全景图像创建设备，其中
所述对应点检测装置在靠近所述立体图像中心的部分中检测针对所述立体图像中的每一个立体图像的每一组左图像和右图像的所述一组对应点。
4.根据权利要求3所述的立体全景图像创建设备，其中
当所述对应点检测装置未在靠近所述立体图像中心的部分中检测到所需对应点时，所述图像偏移量计算装置将预先设置的图像偏移量设置为计算值，或者所述图像偏移量计算装置通过在相邻图像偏移量之间进行内插来计算所述图像偏移量。
5.根据权利要求1至4中任一项所述的立体全景图像创建设备，其中
所述立体全景图像创建装置通过将多个狭缝图像拼合在一起来创建所述立体全景图像，其中每个狭缝图像呈条形，所述多个狭缝图像位于由所述立体图像获得装置获得的所述多个立体图像中靠近中心的部分中。
6.根据权利要求1所述的立体全景图像创建设备，还包括：
物体检测装置，其配置成检测包括在由所述立体图像获得装置获得的所述多个立体图像或者包括在所创建的立体全景图像中的所需物体，其中
所述对应点检测装置检测针对由所述物体检测装置检测到的每个物体的对应点。
7.根据权利要求1至4中任一项所述的立体全景图像创建设备，还包括
内插计算装置，其配置成基于由所述图像偏移量计算装置计算出的所述多个图像偏移量、通过在所述对应点之间内插像素偏移量来计算连续的像素偏移量，其中
所述记录装置将由所述图像偏移量计算装置计算出的所述多个图像偏移量和由所述内插计算装置计算出的所述像素偏移量记录在所述记录介质中。
8.根据权利要求1至4中任一项所述的立体全景图像创建设备，其中
所述预定视差量为零。
9.一种立体全景图像再现设备，包括：
读取装置，其配置成从根据权利要求1所述记录介质读取立体全景图像和所述立体全景图像的辅助信息；
再现装置，其配置成以预定倍率放大所读取的立体全景图像，所述再现装置配置成自动地或者根据手动指令输入来以在立体显示器上滚动的方式再现、或者以针对通过分割所述立体全景图像而获得的多个帧中的每一帧进行逐帧播放的方式再现经过放大的立体全景图像；以及
视差调节装置，其配置成从作为所述立体全景图像的辅助信息而记录的多个图像偏移量中选择一个图像偏移量，该图像偏移量对应于所述立体显示器的屏幕中的立体图像，所述视差调节装置配置成当所述立体全景图像由所述再现装置通过滚动或逐帧播放的方式进行再现时基于所选择的图像偏移量进行所述立体图像的视差调节。
10.一种立体全景图像再现设备，包括：
立体全景图像获得装置，其配置成获得由左全景图像和右全景图像形成的立体全景图像；
对应点检测装置，其配置成在再现所获得的立体全景图像之前检测所述立体全景图像中用于视差调节的多个对应点，所述多个对应点具有在所述左全景图像和所述右全景图像之间匹配的特征；
图像偏移量计算装置，其配置成计算用于将所检测到的多个对应点的视差均设置为预定视差量的多个图像偏移量；
存储装置，其配置成将所述立体全景图像上用于视差调节的所述多个对应点的位置信息和所计算出的多个图像偏移量彼此相关联地进行存储；
再现装置，其配置成以预定倍率放大所获得的立体全景图像，所述再现装置配置成自动地或者根据手动指令输入来以在立体显示器上滚动的方式再现、或者以针对通过分割所述立体全景图像而获得的多个帧中的每一帧进行逐帧播放的方式再现所放大的立体全景图像；以及
视差调节装置，其配置成从相应于所述立体全景图像存储在所述存储装置中的多个图像偏移量中选择一个图像偏移量，该图像偏移量对应于所述立体显示器的屏幕中的立体图像，所述视差调节装置配置成当所述立体全景图像由所述再现装置通过滚动或逐帧播放的方式进行再现时基于所选择的图像偏移量进行所述立体图像的视差调节。
11.根据权利要求10所述的立体全景图像再现设备，其中
所述对应点检测装置检测针对通过分割所述全景图像而获得的均呈条形的多个狭缝图像中的每一个狭缝图像的一组对应点。
12.根据权利要求11所述的立体全景图像再现设备，其中
当所述对应点检测装置未在靠近所述立体图像中心的部分中检测到所需对应点时，所述图像偏移量计算装置将预先设置的图像偏移量设置为计算值，或者所述图像偏移量计算装置通过在相邻图像偏移量之间进行内插来计算所述图像偏移量。
13.根据权利要求10所述的立体全景图像再现设备，还包括
物体检测装置，其配置成检测包括在所获得的立体全景图像中的所需物体，其中
所述对应点检测装置检测针对由所述物体检测装置检测到的每个物体的对应点。
14.根据权利要求10至13中任一项所述的立体全景图像再现设备，还包括
内插计算装置，其配置成基于由所述图像偏移量计算装置计算出的所述多个图像偏移量、通过在所述对应点之间内插像素偏移量来计算连续的像素偏移量，其中
所述存储装置存储由所述图像偏移量计算装置计算出的多个图像偏移量和由所述内插计算装置计算出的像素偏移量。
15.根据权利要求10至13中任一项所述的立体全景图像再现设备，其中
所述预定视差量为零。
16.根据权利要求9至13中任一项所述的立体全景图像再现设备，其中
所述视差调节装置选择所述立体显示器的屏幕中心处的或者在最靠近所述屏幕中心的部分中的图像偏移量，并且基于所选择的图像偏移量进行所述立体图像的视差调节。
17.根据权利要求9至13中任一项所述的立体全景图像再现设备，其中
当所述再现装置根据手动指令输入通过滚动方式再现所述立体全景图像时，所述视差调节装置在停止滚动之前选择与在根据手动指令输入开始滚动时显示在所述立体显示器的屏幕中的立体图像相对应的一个图像偏移量，并且当滚动停止时，所述视差调节装置选择与停止滚动时显示在所述立体显示器的所述屏幕中的立体图像相对应的一个图像偏移量，并且基于所选择的图像偏移量进行所述立体图像的视差调节。
18.根据权利要求9至13中任一项所述的立体全景图像再现设备，其中
所述再现装置在根据手动指令输入以滚动方式进行再现的滚动期间仅仅使所述左图像和所述右图像中的一个图像显示在所述立体显示器上，并且当滚动停止时使所述立体图像显示在所述立体显示器上，以及
在停止滚动时，所述视差调节装置选择与在停止滚动时显示在所述立体显示器的屏幕中的所述立体图像相对应的一个图像偏移量，并且基于所选择的图像偏移量进行所述立体图像的视差调节。
19.根据权利要求9至13中任一项所述的立体全景图像再现设备，其中
所述再现装置使整个立体全景图像显示在所述立体显示器上，然后以预定倍率放大所述立体全景图像并且通过滚动或逐帧播放的方式回放所述立体全景图像。
20.一种立体全景图像创建方法，包括：
立体图像获得步骤，用于获得由通过立体成像设备拍摄的左图像和右图像形成的多个立体图像，这些立体图像是所述立体成像设备沿恒定方向摇动时连续拍摄的；
立体全景图像创建步骤，用于通过从所获得的多个立体图像中将所述左图像合成在一起且将所述右图像合成在一起来创建由左全景图像和右全景图像形成的立体全景图像；
对应点检测步骤，用于检测用于视差调节的多个对应点，所述多个对应点具有在所获得的多个立体图像的左图像和右图像之间匹配的特征或者在所创建的立体全景图像的左全景图像和右全景图像之间匹配的特征；
图像偏移量计算步骤，用于计算用于将所检测到的多个对应点的视差均设置在预定视差量的多个图像偏移量；以及
记录步骤，用于将所创建的立体全景图像记录在记录介质中，并且将所述立体全景图像上用于视差调节的所述多个对应点的位置信息和所计算出的多个图像偏移量彼此相关联地记录在所述记录介质中作为所述立体全景图像的辅助信息。
21.根据权利要求20所述的立体全景图像创建方法，其中
在所述对应点检测步骤中，针对所获得的立体图像中的每一个立体图像的每一组左图像和右图像来检测一组对应点，以及
在所述图像偏移量计算步骤中，从针对所述立体图像中的每一个立体图像而检测到的对应点中指定一组对应点，并且计算均用于将所述对应点之间的视差设置为所述预定视差量的所述多个图像偏移量。
22.根据权利要求21所述的立体全景图像创建方法，其中
在所述对应点检测步骤中，在靠近所述立体图像中心的部分中检测针对所述立体图像中的每一个立体图像的每一组左图像和右图像的一组对应点。
23.根据权利要求22所述的立体全景图像创建方法，其中
当在所述对应点检测步骤中未在靠近所述立体图像中心的部分中检测到所需对应点时，预先设置的图像偏移量被设置作为计算值，或者在所述图像偏移量计算步骤中通过在相邻图像偏移量之间进行内插来计算所述图像偏移量。
24.根据权利要求20至23中任一项所述的立体全景图像创建方法，其中
在所述立体全景图像创建步骤中，通过将多个狭缝图像拼合在一起来创建所述立体全景图像，其中每个狭缝图像均呈条形，所述多个狭缝图像位于所获得的多个立体图像中靠近中心的部分中。
25.根据权利要求20所述的立体全景图像创建方法，还包括
物体检测步骤，用于检测包括在所获得的多个立体图像或所创建的立体全景图像中的所需物体，其中
在所述对应点检测步骤中，检测针对由所述物体检测步骤检测到的每个物体的对应点。
26.根据权利要求20至23中任一项所述的立体全景图像创建方法，还包括
内插计算步骤，用于基于在所述图像偏移量计算步骤中计算出的所述多个图像偏移量、通过在所述对应点之间内插像素偏移量来计算连续的像素偏移量，其中
在所述记录步骤中，在所述图像偏移量计算步骤中计算出的多个图像偏移量和在所述内插计算步骤中计算出的多个像素偏移量被记录在所述记录介质中。
27.根据权利要求20至23中任一项所述的立体全景图像创建方法，其中
所述预定视差量为零。
28.一种立体全景图像再现方法，包括：
读取步骤，用于从根据权利要求20所述记录介质读取立体全景图像和所述立体全景图像的辅助信息；
再现步骤，用于以预定倍率放大所读取的立体全景图像，并且自动地或者根据手动指令输入来以在立体显示器上滚动的方式再现、或者以针对通过分割所述立体全景图像而获得的多个帧中的每一帧进行逐帧播放的方式再现所放大的立体全景图像；以及
视差调节步骤，用于从作为所述立体全景图像的辅助信息而记录的多个图像偏移量中选择一个图像偏移量，该图像偏移量对应于所述立体显示器的屏幕中的立体图像，并且当在所述再现步骤中通过滚动或逐帧播放的方式再现所述立体全景图像时基于所选择的图像偏移量进行所述立体图像的视差调节。
29.一种立体全景图像再现方法，包括：
立体全景图像获得步骤，用于获得由左全景图像和右全景图像形成的立体全景图像；
对应点检测步骤，用于在再现所获得的立体全景图像之前，检测所述立体全景图像中用于视差调节的多个对应点，所述对应点具有在所述左全景图像和所述右全景图像之间匹配的特征；
图像偏移量计算步骤，用于计算用于将所检测到的多个对应点的视差均设置为预定视差量的多个图像偏移量；
存储步骤：将所述立体全景图像上用于视差调节的所述多个对应点的位置信息和所计算出的多个图像偏移量彼此相关联地存储；
再现步骤，用于以预定倍率放大所获得的立体全景图像，并且自动地或者根据手动指令输入来以在立体显示器上滚动的方式再现、或者以针对通过分割所述立体全景图像而获得的多个帧中的每一帧进行逐帧播放的方式再现所放大的立体全景图像；以及
视差调节步骤，用于从相应于所述立体全景图像存储在所述存储步骤中的多个图像偏移量中选择一个图像偏移量，该图像偏移量对应于所述立体显示器的屏幕中的立体图像，并且当在所述再现步骤中通过滚动或逐帧播放的方式再现所述立体全景图像时基于所选择的图像偏移量进行所述立体图像的视差调节。
30.根据权利要求29所述的立体全景图像再现方法，其中
在所述对应点检测步骤中，检测针对通过分割所述全景图像而获得的均呈条形的多个狭缝图像中的每一个狭缝图像的一组对应点。
31.根据权利要求30所述的立体全景图像再现方法，其中
当在所述对应点检测步骤中未在靠近所述立体图像中心的部分中检测到所需对应点时，预先设置的图像偏移量被设置作为计算值，或者在所述图像偏移量计算步骤中通过在相邻图像偏移量之间进行内插来计算所述图像偏移量。
32.根据权利要求29所述的立体全景图像再现方法，还包括：
物体检测步骤，用于检测包括在所获得的立体全景图像中的所需物体，其中
在所述对应点检测步骤中，检测针对所述物体检测步骤中所检测到的每个物体的对应点。
33.根据权利要求29至32中任一项所述的立体全景图像再现方法，还包括：
内插计算步骤，用于基于在所述图像偏移量计算步骤中计算出的所述多个图像偏移量、通过在所述对应点之间内插像素偏移量来计算连续的像素偏移量，其中
在所述存储步骤中，存储在所述图像偏移量计算步骤中计算出的多个图像偏移量和在所述内插计算步骤中计算出的多个像素偏移量。
34.根据权利要求29至32中任一项所述的立体全景图像再现方法，其中
所述预定视差量为零。
35.根据权利要求28至32中任一项所述的立体全景图像再现方法，其中
在所述视差调节步骤中，选择处于所述立体显示器的屏幕中心处或者处于最靠近所述屏幕中心的部分中的图像偏移量，并且基于所选择的图像偏移量进行所述立体图像的视差调节。
36.根据权利要求28至32中任一项所述的立体全景图像再现方法，其中
当在所述再现步骤中根据手动指令输入通过滚动方式再现所述立体全景图像时，在停止滚动之前选择与在根据手动指令输入开始滚动时显示在所述立体显示器的屏幕中的立体图像相对应的一个图像偏移量，并且当滚动停止时，选择与停止滚动时显示在所述立体显示器的所述屏幕中的立体图像相对应的一个图像偏移量，并且在所述视差调节步骤中基于所选择的图像偏移量进行所述立体图像的视差调节。
37.根据权利要求28至32中任一项所述的立体全景图像再现方法，其中
所述再现步骤在根据手动指令输入以滚动方式进行再现的滚动期间仅仅使所述左图像和所述右图像中的一个图像显示在所述立体显示器上，并且当滚动停止时使所述立体图像显示在所述立体显示器上，以及
在所述视差调节步骤中，在停止滚动时，选择与在停止滚动时显示在所述立体显示器的屏幕中的立体图像相对应的一个图像偏移量，并且基于所选择的图像偏移量进行所述立体图像的视差调节。
38.根据权利要求28至32中任一项所述的立体全景图像再现方法，其中
所述再现步骤使整个立体全景图像显示在所述立体显示器上，然后以预定倍率放大所述立体全景图像并且通过滚动或逐帧播放的方式回放所述立体全景图像。
CN201180026719.7A 2010-12-24 2011-11-08 立体全景图像创建设备和方法、立体全景图像再现设备和方法 Expired - Fee Related CN102918858B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010288409 2010-12-24
JP2010-288409 2010-12-24
PCT/JP2011/075672 WO2012086326A1 (ja) 2010-12-24 2011-11-08 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体

Publications (2)

Publication Number Publication Date
CN102918858A CN102918858A (zh) 2013-02-06
CN102918858B true CN102918858B (zh) 2014-09-03

Family

ID=46313608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180026719.7A Expired - Fee Related CN102918858B (zh) 2010-12-24 2011-11-08 立体全景图像创建设备和方法、立体全景图像再现设备和方法

Country Status (4)

Country Link
US (1) US8687041B2 (zh)
JP (1) JP5214826B2 (zh)
CN (1) CN102918858B (zh)
WO (1) WO2012086326A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105157B (zh) 2010-11-29 2020-02-14 快图有限公司 从手持设备所捕获的多个图像进行肖像图像合成
JP5367034B2 (ja) * 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP5773944B2 (ja) * 2012-05-22 2015-09-02 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US9712746B2 (en) * 2013-03-14 2017-07-18 Microsoft Technology Licensing, Llc Image capture and ordering
US10070048B2 (en) 2013-03-26 2018-09-04 Htc Corporation Panorama photographing method, panorama displaying method, and image capturing method
DE102014104070B4 (de) * 2013-03-26 2019-03-07 Htc Corporation Panoramaanzeigeverfahren und Bilderfassungsverfahren
US9398215B2 (en) * 2013-04-16 2016-07-19 Eth Zurich Stereoscopic panoramas
JP6261187B2 (ja) * 2013-05-21 2018-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN105025193B (zh) * 2014-04-29 2020-02-07 钰立微电子股份有限公司 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
CN105282375B (zh) * 2014-07-24 2019-12-31 钰立微电子股份有限公司 附着式立体扫描模块
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
JP5846549B1 (ja) * 2015-02-06 2016-01-20 株式会社リコー 画像処理システム、画像処理方法、プログラム、撮像システム、画像生成装置、画像生成方法およびプログラム
TWI610250B (zh) * 2015-06-02 2018-01-01 鈺立微電子股份有限公司 監測系統及其操作方法
KR20180028782A (ko) * 2016-09-09 2018-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
US10419669B2 (en) 2017-01-17 2019-09-17 Disney Enterprises, Inc. Omnistereoscopic panoramic video
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN109600543B (zh) * 2017-09-30 2021-01-22 京东方科技集团股份有限公司 用于移动设备拍摄全景图像的方法以及移动设备
CN108009588A (zh) * 2017-12-01 2018-05-08 深圳市智能现实科技有限公司 定位方法及装置、移动终端
CN108805799B (zh) * 2018-04-20 2021-04-23 平安科技（深圳）有限公司 全景图像合成装置、方法及计算机可读存储介质
CN111193920B (zh) * 2019-12-31 2020-12-18 重庆特斯联智慧科技股份有限公司 一种基于深度学习网络的视频画面立体拼接方法和系统
CN111726500B (zh) * 2020-06-24 2021-12-03 维沃移动通信（杭州）有限公司 图像采集方法、装置、电子设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831677B2 (en) * 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
JP2009103980A (ja) * 2007-10-24 2009-05-14 Fujifilm Corp 撮影装置、画像処理装置、及び撮影システム
CN101902571A (zh) * 2009-05-27 2010-12-01 索尼公司 图像拍摄装置、电子设备、全景图像记录方法及程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164325A (ja) 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマ画像生成方法及びそのプログラムを記録した記録媒体
JPH11164326A (ja) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体
US6665003B1 (en) * 1998-09-17 2003-12-16 Issum Research Development Company Of The Hebrew University Of Jerusalem System and method for generating and displaying panoramic images and movies
US6023588A (en) * 1998-09-28 2000-02-08 Eastman Kodak Company Method and apparatus for capturing panoramic images with range data
US6795109B2 (en) 1999-09-16 2004-09-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
US7277121B2 (en) 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP4236428B2 (ja) 2001-09-21 2009-03-11 三洋電機株式会社 立体画像表示方法および立体画像表示装置
US20040001138A1 (en) * 2002-06-27 2004-01-01 Weerashinghe W.A. Chaminda P. Stereoscopic panoramic video generation system
JP4212987B2 (ja) 2003-08-26 2009-01-21 シャープ株式会社 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
JP2010045584A (ja) 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831677B2 (en) * 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
JP2009103980A (ja) * 2007-10-24 2009-05-14 Fujifilm Corp 撮影装置、画像処理装置、及び撮影システム
CN101902571A (zh) * 2009-05-27 2010-12-01 索尼公司 图像拍摄装置、电子设备、全景图像记录方法及程序

Also Published As

Publication number Publication date
US8687041B2 (en) 2014-04-01
CN102918858A (zh) 2013-02-06
US20130076856A1 (en) 2013-03-28
WO2012086326A1 (ja) 2012-06-28
JP5214826B2 (ja) 2013-06-19
JPWO2012086326A1 (ja) 2014-05-22

Similar Documents

Publication Publication Date Title
CN102918858B (zh) 立体全景图像创建设备和方法、立体全景图像再现设备和方法
US8836760B2 (en) Image reproducing apparatus, image capturing apparatus, and control method therefor
CN102893613B (zh) 立体图像再生装置及方法、立体摄像装置、立体显示器装置
JP4760892B2 (ja) 表示制御装置、表示制御方法及びプログラム
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
EP2590421B1 (en) Single-lens stereoscopic image capture device
JP5127787B2 (ja) 複眼撮影装置及びその制御方法
WO1995007590A1 (fr) Processeur d&#39;images variant dans le temps et dispositif d&#39;affichage
CN102948157B (zh) 立体图像显示设备及立体图像显示方法
CN102972035A (zh) 立体全景图像合成装置、多眼成像装置和立体全景图像合成方法
CN102244737A (zh) 摄像装置
JP4692849B2 (ja) 立体画像記録装置および立体画像記録方法
CN102860017B (zh) 立体摄像装置及其制造方法
WO2011152167A1 (ja) 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム
CN102959974A (zh) 立体图像再现装置、其视差调整方法、视差调整程序、及摄影装置
US20120147145A1 (en) Image processing device, image processing method, and program
CN103369244A (zh) 图像合成设备、图像合成方法
JP5507693B2 (ja) 撮像装置およびその動作制御方法
CN103339947A (zh) 3d视频再现装置、3d视频再现程序及其记录介质、3d显示装置、3d成像装置和3d视频再现方法
CN102959967A (zh) 图像输出装置、方法及程序
CN103339948B (zh) 3d视频再现装置、3d成像装置和3d视频再现方法
CN103329549B (zh) 立体视频处理器、立体成像装置和立体视频处理方法
JP5704885B2 (ja) 撮影機器、撮影方法及び撮影制御プログラム
JP5479149B2 (ja) 画像生成装置
JP4617024B2 (ja) 立体映像信号の編集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140903

Termination date: 20181108

CF01 Termination of patent right due to non-payment of annual fee