CN103873764A - 信息处理装置、信息处理方法及程序 - Google Patents

信息处理装置、信息处理方法及程序 Download PDF

Info

Publication number
CN103873764A
CN103873764A CN201310648607.6A CN201310648607A CN103873764A CN 103873764 A CN103873764 A CN 103873764A CN 201310648607 A CN201310648607 A CN 201310648607A CN 103873764 A CN103873764 A CN 103873764A
Authority
CN
China
Prior art keywords
image
display unit
region
panoramic picture
information processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310648607.6A
Other languages
English (en)
Inventor
石田实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103873764A publication Critical patent/CN103873764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供信息处理装置、信息处理方法及程序,信息处理装置包括操作接收单元和显示控制单元。所述操作接收单元被配置为在对应于横向长图像的多个区域的多个图像被显示在显示单元上时接收关于所述多个图像中的至少一个的预定操作。所述显示控制单元被配置为在接收到预定操作时使所述多个图像中的每一个都经受根据所述预定操作的图像处理并控制所述显示单元显示经受所述图像处理的所述图像。

Description

信息处理装置、信息处理方法及程序
相关申请的交叉引用
本申请要求于2012年12月11日提交的日本优先权专利申请JP2012-270159的优先权,其全部内容结合于此作为参考。
技术领域
本发明涉及一种信息处理装置。更具体而言,本发明涉及显示图像的信息处理装置、信息处理方法和使计算机执行这种方法的程序。
背景技术
诸如数位静态相机和数字摄像机的成像装置(例如,集成有摄像机的记录器)在近些年一直很盛行。成像装置包括对诸如人的对象成像的成像系统并将由成像系统生成的图像记录为图像文件。
此外,已经提出了一种成像装置,其能够通过组合多个图像来生成在沿特定方向相对加宽的成像区域中获取的图像(例如,全景图像)。此外,例如,已经提出了显示这样生成的全景图像的成像装置(参见,例如,日本专利申请公开第2011-44837号,例如)。
发明内容
通过上面提到的相关技术中的装置,能够很容易地显示全景图像。
在这里,全景图像是在特定方向(例如,左手方向和右手方向(水平方向(与地面平行的方向或与重力方向垂直的方向))上较长的图像。因此,在整个全景图像显示在显示单元上时,通常显示尺寸比正常图像缩小的图像。然而,当图像以缩小尺寸显示时,假设用户难以观看到所需的部分。因此,当显示全景图像时,重要的是为用户提供可容易观看的图像。
鉴于上面提到的情况,希望为用户提供一种容易观看的图像。
根据本发明的第一实施方式,提供了一种信息处理装置,包括:操作接收单元,其被配置为在与横向长图像的多个区域对应的多个图像被显示在显示单元上时接收关于多个图像中的至少一个的预定操作;和显示控制单元,被配置为在接收到预定操作时使多个图像中的每个都经受根据预定操作的图像处理并控制显示单元显示经受了图像处理的图像。此外,还提供了一种具有这种配置的信息处理方法和一种使计算机执行这种方法的程序。这提供了以下效果:在与横向长图像的多个区域对应的多个图像被显示在显示单元上且接收到关于所述多个图像中的至少一个的预定操作时,使多个图像中的每个经受根据预定操作的图像处理并控制显示单元显示经受了图像处理的图像。
此外,在第一实施方式中,操作接收单元可被当通过整体缩小横向长图像所获得的缩小图像被显示在显示单元中除多个图像的显示区域以外的区域中时接收关于多个图像和缩小图像中的至少一个的预定操作。这提供了以下效果:在缩小图像被显示时,接收关于多个图像和缩小图像中的至少一个预定操作。
此外,在第一实施方式中,操作接收单元可被配置为接收用于改变多个图像中的至少一个的显示放大倍率的变更操作作为预定操作,并且显示控制单元被配置为在接收到变更操作时使多个图像中的每个都经受图像处理使得以根据变更操作的显示放大倍率被显示并控制显示单元显示经受了图像处理的图像。这提供了以下效果:使多个图像中的每个都经受图像处理使得以根据变更操作的显示放大倍率显示并控制显示单元显示经受了图像处理的图像。
此外,在第一实施方式中,操作接收单元可被配置为接收用于使用多个图像和缩小图像中的至少一个来指示改变显示放大倍率的变更操作作为预定操作,且显示控制单元可被配置为在接收到变更操作时被阻止使缩小图像经受根据变更操作的图像处理、而使多个图像中的每个都经受图像处理使得以根据变更操作的显示放大倍率被显示并控制显示单元显示经受了图像处理的图像。这提供了以下效果:使缩小图像不经受根据变更操作的图像处理、使多个图像中的每个经受图像处理使得以根据变更操作的显示放大倍率被显示并控制显示单元显示经受了图像处理的图像。
此外,在第一实施方式中,多个图像可包括第一图像,其包括横向长图像在纵向方向上的一个端部的区域;第二图像,其包括横向长图像在纵向方向上的另一端部的区域;和第三图像,其包括存在于一个端部和另一端部之间的区域,且显示控制单元可被配置为在接收到变更操作时使第三图像经受用于通过第三图像内的位置为基准而以显示放大倍率来显示第三图像的图像处理、使第一图像经受用于以一个端部作为基准而以显示放大倍率来显示第一图像的图像处理,并使第二图像经受用于以另一端部作为基准而以显示放大倍率来显示第二图像的图像处理。这提供了以下效果:使第三图像经受用于以其在第三图像内的位置作为基准而以显示放大倍率来显示第三图像的图像处理、使第一图像经受用于以一个端部作为基准而以显示放大倍率来显示第一图像的图像处理,并使第二图像经受用于以另一端部作为基准而以显示放大倍率来显示第二图像的图像处理。
此外,在第一实施方式中,操作接收单元可被配置为接收用于移动与多个图像中的至少一个对应的区域在横向长图像中的位置的移动操作作为预定操作,且显示控制单元可被配置为在接收到变更操作时使多个图像中的每个都经受图像处理,使得对应于多个图像的各个区域中的每一个都被显示在根据移动操作的位置处并控制显示单元显示经受了图像处理的图像。这提供了以下效果:使多个图像中的每个都经受图像处理,使得对应于多个图像的区域中的每一个都被显示在根据移动操作的位置处并控制显示单元显示经受了图像处理的图像。
此外,在第一实施方式中,操作接收单元可被配置为在通过整体缩小横向长图像所获得的缩小图像被显示在显示单元中除所述多个图像的显示区域以外的区域中时接收使用缩小图像的移动操作。这提供了以下效果:在缩小图像被显示时,接收使用缩小图像的移动操作。
此外,在第一实施方式中,多个图像可包括第一图像和第二图像,其为包括横向长图像在纵向方向上的两个端部的区域的两个图像;和第三图像,其为包括在两个端部之间的区域的图像,操作接收单元可被配置为接收以下操作中的一个作为移动操作,第一移动操作,其用于在横向长图像的纵向方向上移动第三图像在横向长图像中的位置;和第二移动操作,其用于在与纵向方向正交的方向上移动第三图像在横向长图像中的位置,且显示控制单元可被配置为在接收到第一移动操作时被阻止使第一图像和第二图像经受根据第一移动操作的图像处理、而使第三图像经受图像处理使得对应于第三图像的区域被显示在根据第一移动操作的位置处,并控制显示单元显示经受了图像处理的第三图像和未经受图像处理的第一图像和第二图像,以及在接收到第二移动操作时使第一图像至第三图像经受图像处理,使得对应于第一图像至第三图像的各个区域被显示在根据第二移动操作的位置处,且控制显示单元显示经受了图像处理的图像。这提供了以下效果:在接收到第一移动操作时使第一图像和第二图像不经受根据第一移动操作的图像处理、使第三图像经受图像处理使得对应于第三图像的区域被显示在根据第一移动操作的位置处,并控制显示单元显示经受了图像处理的第三图像和未经受图像处理的第一图像和第二图像,且在接收到第二移动操作时使第一至第三图像经受图像处理,使得对应于第一图像至第三图像的区域被显示在根据第二移动操作的位置处,且控制显示单元显示经受了图像处理的图像。
此外,在第一实施方式中,多个图像可包括第一图像和第二图像,其为包括横向长图像在纵向方向上的两个端部的区域的两个图像;和第三图像,其为包括在两个端部之间的区域的图像,操作接收单元可被配置为接收以下操作中的一个:指示在纵向方向上移动的第一移动操作,所述第一移动操作为使用缩小图像的移动操作;和指示在与纵向方向正交的方向上移动的第二移动操作,所述第二移动操作为使用缩小图像的移动操作,且显示控制单元可被配置为在接收到第一移动操作时被阻止使第一图像、第二图像和缩小图像经受根据第一移动操作的图像处理、而使第三图像经受图像处理使得对应于第三图像的区域被显示在根据第一移动操作的位置处,并控制显示单元显示经受了图像处理的第三图像以及未经受图像处理的第一图像、第二图像和缩小图像,并被配置为在接收到第二移动操作时被阻止使缩小图像经受根据第二移动操作的图像处理、而使第一图像至第三图像经受图像处理使得对应于第一图像至第三图像的各个区域被显示在根据第二移动操作的位置处,且控制显示单元显示经受了图像处理的图像。这提供了以下效果:在接收到第一移动操作时使第一图像、第二图像和缩小图像不经受根据第一移动操作的图像处理、使第三图像经受图像处理使得对应于第三图像的区域被显示在根据第一移动操作的位置处,并控制显示单元显示经受了图像处理的图像,和未经受图像处理的图像,并在接收到第二移动操作时使缩小图像不经受根据第二移动操作的图像处理、使第一至第三图像经受图像处理使得对应于第一至第三图像的区域被显示在根据第二移动操作的位置处,且控制显示单元显示经受了图像处理的图像。
此外,在第一实施方式中,多个图像可包括第一图像和第二图像,其为包括横向长图像在纵向方向上的两个端部的区域的两个图像;和第三图像,其为包括在两个端部之间的区域的图像,操作接收单元可被配置为接收以下操作中的一个作为移动操作:第一移动操作,其用于在横向长图像的纵向方向上移动第一图像和第二图像中的一个在横向长图像中的位置;和第二移动操作,其用于在与纵向方向正交的方向上移动第一图像和第二图像中的一个在横向长图像中的位置;显示控制单元可被配置为在接收到第一移动操作时,使被执行第一移动操作的第一图像和第二图像中的一个经受图像处理使得对应于图像的各个区域被显示在根据第一移动操作的位置处、被阻止使图像以外的图像经受根据第一移动操作的图像处理,并控制显示单元显示经受了图像处理的图像和未经受图像处理的图像,且在接收到第二移动操作时使第一图像至第三图像经受图像处理,使得对应于第一图像至第三图像的区域被显示在根据第二移动操作的位置处,并控制显示单元显示经受了图像处理的图像。这提供了以下效果:在接收到第一移动操作时,被执行第一移动操作的第一图像和第二图像中的一个不经受图像处理使得对应于图像的区域被显示在根据第一移动操作的位置处、使图像以外的图像不经受根据第一移动操作的图像处理,并控制显示单元显示经受了图像处理的图像和未经受图像处理的图像,且在接收到第二移动操作时使第一图像至第三图像经受图像处理,使得对应于第一图像至第三图像的各个区域被显示在根据第二移动操作的位置处,并控制显示单元显示经受了图像处理的图像。
此外,在第一实施方式中,显示控制单元可被配置为控制显示单元在多个图像的显示区域以外的区域中显示通过整体缩小所述横向长图像所获得的图像,并显示指示多个图像的显示区域的显示信息以重叠状态显示在整个图像上。这提供了以下效果:控制显示单元在多个图像的显示区域以外的区域中显示通过整体缩小所述横向长图像所获得的整个图像,并控制显示单元将多个图像的显示区域的显示信息以重叠状态显示在整个图像上。
此外,在第一实施方式中,显示控制单元可被配置为在显示单元的长边与重力方向几乎平行的状态下控制显示单元在显示单元的纵向方向上以多行显示横向长图像的多个区域。这提供了以下效果:在显示单元的长边与重力方向几乎平行的状态下控制显示单元在显示单元的纵向方向上以多行显示横向长图像的多个区域。
根据本发明的实施方式,能够实现将可容易观看的图像提供给用户的优良效果。
根据下文对如附图中所示的其最佳模式的实施方式的详细描述,本发明的这些和其它目的、特征和优点将变得更加显而易见。
附图说明
图1是本发明的第一实施方式中的信息处理装置100的外观配置实例的图;
图2是本发明的第一实施方式中的信息处理装置100的内部配置实例的图;
图3是本发明的第一实施方式中的成像单元130的内部配置实例的图;
图4是构成本本发明的第一实施方式中的成像单元130的成像器件134至136的布置配置实例的图;
图5是示出聚焦在本发明的第一实施方式中的成像器件134至136上的图像之间的关系和读出图像数据的方法的图;
图6是示出在本发明的第一实施方式中的成像器件134至136上的图像之间的关系和读出图像数据的方法的图;
图7是在本发明的第一实施方式中的DSP200的内部配置实例的框图;
图8是在本发明的第一实施方式中的图像信号处理单元220的内部配置实例的框图;
图9是本发明的第一实施方式中的时钟生成电路270的内部配置实例的框图;
图10是本发明的第一实施方式中的时钟生成电路270的修改例的框图;
图11是本发明的第一实施方式中的时钟生成电路270的修改例的框图;
图12是本发明的第一实施方式中的成像器件的内部配置实例的图;
图13是本发明的第一实施方式中的成像器件134的寄存器370和380的存储内容的示意图;
图14是进入到本发明的第一实施方式的成像器件134的像素中的控制信号的状态和从像素输出的数据的示意性时序图;
图15是进入到本发明的第一实施方式的成像器件134的像素中的控制信号的状态和从像素输出的数据的示意性时序图;
图16是进入到本发明的第一实施方式的成像器件134的像素中的控制信号的状态和从像素输出的数据的示意时序图;
图17是用于执行本发明的第一实施方式中的成像器件134的稀疏化(thinning-out)的扫描电路的实例的示意图;
图18是示出本发明的第一实施方式中的成像单元130和对象之间的关系的图;
图19是示出本发明的第一实施方式中的成像单元130中的每个成像系统和作为成像系统的成像对象的对象之间的关系的示意图;
图20是示出本发明的第一实施方式中的成像单元130中的成像系统和作为成像系统的成像对象的对象之间的关系的示意图;
图21是示出本发明的第一实施方式中的成像单元130中的成像系统和由成像系统生成的捕捉图像之间的关系的示意图;
图22是示出本发明的第一实施方式中的成像单元130中的每个成像系统和作为成像系统的成像对象的对象之间的关系的示意图;
图23是示出本发明的第一实施方式中的成像单元130中的成像系统与由成像系统生成的捕捉图像和校正之后的校正图像之间的关系;
图24是当本发明的第一实施方式中的图像组合处理单元224生成组合图像时的组合流程的示意图;
图25是当本发明的第一实施方式中的图像组合处理单元224生成组合图像时的组合流程的示意图;
图26是当本发明的第一实施方式中的图像组合处理单元224生成组合图像时的组合流程的示意图;
图27是待存储在本发明的第一实施方式中的记录介质180中的图像文件的文件结构的实例的图;
图28是本发明的第一实施方式中的信息处理装置100的功能配置实例的框图;
图29是示出作为成像目标的对象与由本发明的第一实施方式中的信息处理装置100进行的成像处理的成像区域之间的关系的图;
图30是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600与由显示控制单元550在显示单元140上显示的图像之间的关系的图;
图31是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600与由显示控制单元550在显示单元140上显示的图像之间的关系的图;
图32是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600与通过显示控制单元550在显示单元140上显示的图像之间的关系的图;
图33是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600与通过显示控制单元550在显示单元140上显示的图像之间的关系的图;
图34是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600与通过显示控制单元550在显示单元140上显示的图像之间的关系的图;
图35是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600与作为显示目标的图像之间的关系和显示单元140的显示例的图;
图36是在本发明的第一实施方式中的显示单元140上显示的全景图像和作为显示目标的图像的显示例的图;
图37是示出中间图像651、656、和661与由本发明的第一实施方式中的图像生成单元510生成的全景图像650、655和660之间的关系的图;
图38是示出中间图像666、671、和676与由本发明的第一实施方式中的图像生成单元510生成的全景图像665、670和675之间的关系的图;
图39是各图像(中间图像、左图像和右图像)与由本发明的第一实施方式中的图像生成单元510生成的全景图像的显示例的图;
图40是各图像(中间图像、左图像和右图像)与由本发明的第一实施方式中的图像生成单元510生成的全景图像的显示例的图;
图41是由本发明的第一实施方式中的图像生成单元510生成的全景图像中的中间图像的区域的转变例的图;
图42是各图像(中间图像、左图像和右图像)和由本发明的第一实施方式中的图像生成单元510生成的全景图像的显示例的图;
图43是各图像(中间图像、左图像和右图像)和由本发明的第一实施方式中的图像生成单元510生成的全景图像的显示例的图;
图44是各图像(中间图像、左图像和右图像)和由本发明的第一实施方式中的图像生成单元510生成的全景图像的显示例的图;
图45是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600和作为显示目标的图像的关系和显示单元140的显示例的图;
图46是在由本发明的第一实施方式中的图像生成单元510生成的全景图像被显示在显示单元140上时的显示例的图;
图47是本发明的第一实施方式中的信息处理装置100的修改例的图;
图48是本发明的第一实施方式中的信息处理装置100的修改例的图;
图49是本发明的第一实施方式中的信息处理装置100的修改例的图;
图50是本发明的第一实施方式中的信息处理装置100的修改例的图;
图51是本发明的第一实施方式中的信息处理装置100的修改例的图;
图52是由本发明的第一实施方式中的信息处理装置生成的图像的显示例的图;
图53是由本发明的第一实施方式中的信息处理装置生成的图像的显示例的图;
图54是由本发明的第一实施方式中的信息处理装置生成的图像的显示例的图;
图55是由本发明的第一实施方式中的信息处理装置生成的图像的显示例的图;
图56是由本发明的第一实施方式中的信息处理装置生成的图像的显示例的图;
图57是本发明的第一实施方式的信息处理装置的图;所生成的图像的显示例的图。
图58是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理的处理过程的实例的流程图;
图59是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理的成像处理过程的实例的流程图;
图60是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的全景成像处理过程的实例的流程图;
图61是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的再现处理过程的实例的流程图;
图62是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理的处理过程的实例的流程图;
图63是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的全景成像处理过程的实例的流程图;
图64是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的再现处理过程的实例的流程图;
图65是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的垂直状态全景再现处理过程的实例的流程图;
图66是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的水平状态全景再现处理过程的实例的流程图;
图67是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图68是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图69是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图70是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图71是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图72是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图73是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图74是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图75是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图76是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图;
图77是示出由本发明的第二实施方式中的信息处理装置100进行的显示控制处理的处理过程的实例的流程图;
图78是示出由本发明的第二实施方式中的信息处理装置100进行的显示控制处理过程的全景图像的图像处理过程的实例的流程图;
图79是本发明的第三实施方式中的信息处理装置1000的外观配置实例的图;
图80是本发明的第三实施方式中的信息处理装置1000的外观配置实例的图;
图81是本发明的第三实施方式中的信息处理装置1050的外部外观配置实例的图;和
图82是本发明的第三实施方式中的信息处理装置1050的外部外观配置实例的图。
具体实施方式
在下文中,将描述用于实施本发明的实施方式(以下,称为实施方式)。将按以下顺序作出描述。
1.第一实施方式(显示控制:在显示单元的纵向方向上以多行显示全景图像的多个区域的实例)
2.第二实施方式(显示控制:在对对应于全景图像的多个区域的图像进行操作时以容易观看的方式显示图像的实例)
3.第三实施方式(成像单元可移动地设置在其中的信息处理装置的实例)
<1.第一实施方式>
[信息处理装置的外观配置实例]
图1是本发明的第一实施方式中的信息处理装置100的外观配置实例的图。图1的部分“a”是信息处理装置100的俯视图,且图1的部分“b”是信息处理装置100的前视图。此外,图1的部分“c”是信息处理装置100的侧视图,且图1的部分“d”是信息处理装置100的后视图。此外,图1的部分“e”示出信息处理装置100的电子基板的配置实例。信息处理装置100例如由包括多个成像单元的信息处理装置(例如,具有多眼相机的智能电话和具有多眼相机的蜂窝电话)实现。需注意,为了进行描述,信息处理装置100被简化并示于图1中,且省略了设置在信息处理装置100的外侧表面的电源开关等的图示。此外,也省略了设置在信息处理装置100的壳体内的电路等的细节的图示。
在本发明的第一实施方式中,图像的水平尺寸与垂直尺寸的比被定义为“纵横比”并对其作了描述。此外,纵横比大于数字高画质图像(高清晰度电视图像)的纵横比(16:9)的图像被定义为“全景图像”并对其作了描述。
信息处理装置100包括电子基板101、电池存储单元102、转换开关111、确定键112、成像单元130和显示单元140。
电子基板101是主要进行图像捕捉功能以外的其它功能的电子基板。在本发明的第一实施方式中,平行于信息处理装置100的壳体的短边而布置的多个成像系统(成像单元130)被布置为尽可能接近壳体的短边的外边缘。即,进行图像捕捉功能和图像显示功能以外的功能的电子基板不设置在多个成像系统(成像单元130)和壳体的短边的外边缘之间。否则,有利的是,设置在多个成像系统(成像单元130)和壳体的短边的外边缘之间的电子基板的区域被设置为是被布置在信息处理装置100中的电子基板的区域的1/2或更小并进行图像捕捉功能和图像显示功能以外的功能。
电池存储单元102是电池存储在其中的区域。
转换开关111是用于切换两种功能的操作构件(所谓的拨动开关)。例如,转换开关111用于切换到用于记录静态图像的静态图像捕捉模式和用于记录运动图像的运动图像捕捉模式中的任一个。此外,例如,转换开关111用于改变滚动方法(scroll method)(是否进行图41至图43中所示的滚动)。
确定键112是由用户按下来设置各种功能的操作构件。例如,当按下静态图像捕捉模式时,确定键112充当快门按钮。
需注意,数字键盘或箭头键可根据用户操作或自动适当地显示在显示单元140上。然后,所显示的数字键或箭头键可由用户操作。
成像单元130用于对对象成像并生成图像数据。需注意,在本发明的第一实施方式中,由成像单元130生成图像数据包括由成像单元130成像的意思。需注意,图1的部分“b”中所示的成像单元130的圆圈示意地表示成像单元130的多个成像系统的透镜。即,在本发明的第一实施方式中,其中三个透镜组被布置在特定方向上的成像单元130被描述为一个实例。此外,如图1的部分“a”中所示,假设三个透镜组的中间透镜组(光学系统131)的光轴(通过光学系统131并进入成像器件134的光轴)与显示单元140的显示表面正交(或几乎正交)。此外,如图1的部分“a”所示,假设三个透镜组的光轴(光学系统131至133)在一个点上交叉。特定方向可以是例如与显示单元140的纵向方向(信息处理装置100的纵向方向)正交的方向。需注意,构成图1中所示的成像单元130的部分被简化且为了描述而示出。
显示单元140是例如显示各种图像并由触摸面板配置的显示装置。例如,由成像操作生成的图像显示在显示单元140上。例如,液晶显示器(LCD)面板或有机电致发光(EL)面板可用作显示单元140。顺便说一下,具有相机(例如,具有多眼相机的智能电话)或一般的成像器件的信息处理装置的显示单元140的纵横比通常是4:3或16:9。因此,在本发明的第一实施方式中,描述了显示单元140的纵横比是4:3的实例。
如图1的部分“b”的“d”所示,信息处理装置100的纵向方向被设置为与垂直方向(与重力方向平行的方向)相同的状态将被称为信息处理装置100的垂直状态。此外,其中,信息处理装置100的纵向方向被设置为与水平方向(与重力方向垂直的方向)相同的状态(即,垂直状态下的信息处理装置100以与显示单元140的显示表面正交的轴作为旋转轴旋转90度的状态)将被称为信息处理装置100的水平状态。
多眼信息处理装置100如上所述而使用,因此例如,在作为静态图像的全景图像被捕获的情况下,同时由多个成像系统捕捉的图像可被耦合以在按下快门按钮之后立即形成全景图像。需注意,存在能够通过以成像位置(用户的位置)作为旋转中心(所谓的摇摄操作)在水平方向上旋转成像器件的操作生成全景图像的单眼成像器件。在由单眼成像器件生成全景图像的情况下,摇摄操作是必要的,如上所述。因此,在按下快门按钮之后不能立即生成全景图像。于此相反,与单眼成像器件相比,信息处理装置100可在更短时间内捕捉全景图像。
[信息处理装置的内部配置实例]
图2是本发明的第一实施方式中的信息处理装置100的内部配置实例的图。
信息处理装置100包括应用处理器11、数字基带处理单元12、模拟基带处理单元13和射频(RF)处理单元14。信息处理装置100进一步包括电池15、麦克风16、扬声器17、天线18、转换开关111、确定键112、成像单元130和显示单元140。此外,信息处理装置100还包括姿态检测单元150、程序存储器160、图像存储器170、记录介质180和数字信号处理器(DSP)200。需注意,RF处理单元14包括天线18且模拟基带处理单元13包括麦克风16和扬声器17。
应用处理器11基于内置存储器中存储的各种程序控制信息处理装置100的每个单元。应用处理器11包括例如中央处理单元(CPU)、只读存储器(ROM)和随机存取存储器(RAM)。
例如,在进行电话接收操作的情况下,由天线18接收的无线电波通过RF处理单元14和模拟基带处理单元13由数字基带处理单元12解调。然后,数字基带处理单元12的解调结果通过模拟基带处理单元13从扬声器17输出。
另一方面,在进行电话发射操作的情况下,从麦克风16输入的声音通过模拟基带处理单元13由数字基带处理单元12调制。然后,解调的音频数据通过模拟基带处理单元13和射频处理单元14从天线18发射。
此外,在用户进行像操作开始指令操作时,在信息处理装置100中进行成像操作。例如,在用户进行成像操作开始指令操作时,应用处理器11指示成像操作中涉及的各个单元(成像单元130、DSP200等)来开始成像操作,并激活这些单元。然后,激活的单元进行成像操作且生成的图像显示在显示单元140上。在用户进行图像记录指令操作时,所生成的图像被记录在记录介质180上。此外,在用户进行指令操作以无线发射图像时,所生成的图像被无线发射。例如,所生成的图像数据由数字基带处理单元12调制并通过模拟基带处理单元13和RF处理单元14从天线18发射。需注意,电池15是对信息处理装置100提供电源的电池。
需注意,将参考图3和图7等来详细描述转换开关111、确定键112、成像单元130、显示单元140、姿态检测单元150、程序存储器160、图像存储器170、记录介质180和DSP200。
[成像单元的内部配置实例]
图3是本发明的第一实施方式中的成像单元130的内部配置实例的图。此外,图3示出连接到成像单元130的DSP200的一部分。需注意,将参考图7和图8来详细描述DSP200的整体配置。
成像单元130包括三个成像系统(第一成像系统191至第三成像系统193)、电源控制单元207和电源供给单元208和209。此外,三个成像系统被布置在特定方向上。即,第一成像系统191被布置在中间,而第二成像系统192和第三成像系统193被布置在第一成像系统191的两侧。
第一成像系统191包括光学系统131、成像器件134和具有DSP的接口(I/F)137。此外,第二成像系统192包括光学系统132、成像器件135和具有DSP的I/F138。此外,第三成像系统193包括光学系统133、成像器件136和具有DSP的I/F139。需注意,第一成像系统191至第三成像系统193的配置几乎是相同的。因此,主要描述第一成像系统191的配置且将省略第二成像系统192和第三成像系统193的描述。
光学系统131由从对象收集光的多个透镜(包括变焦透镜和聚焦透镜)构成。此外,通过这些透镜的光量(即,曝光)由隔膜(未示出)调整。然后,从对象收集的光被输入到成像器件134中。
成像器件134是聚焦经由光学系统131输入的对象图像并生成图像信号的成像器件。即,成像器件134从经由光学系统131输入的对象接收光并进行光电转换,以由此根据接收的光量生成模拟图像信号。因此由成像器件134生成的模拟图像信号经由具有DSP的I/F137提供到DSP200。需注意,例如,电荷耦合器件(CCD)类型或互补金属氧化物半导体(CMOS)类型的固态成像器件可用作成像器件。
具有DSP的I/F137是用于相互连接成像器件134和DSP200的接口。
电源控制单元207基于来自DSP200的成像控制单元201(在图7中示出)的电源控制指令来控制电源供给单元208和209。即,在从成像控制单元201接收到电源控制指令时,电源控制单元207根据电源供给单元208和209所要求的信号的振幅、上升率和衰减率创建信号,作为控制信号的输入规格。然后,电源控制单元207将所创建的信号输出到电源供给单元208和209以控制电源供给单元208和209。需注意,如果成像控制单元201的输出信号符合电源供给单元208和209的控制信号的输入规范,则成像控制单元201的输出信号可被直接输入到电源供给单元208和209。
电源供给单元208基于电源控制单元207的控制将电力提供到第一成像系统191。此外,电源供给单元209基于电源控制单元207的控制将电力提供到第二成像系统192和第三成像系统193。需注意,电源供给单元208和209由例如市售的电源集成电路(IC)实现。
此外,第一成像系统191至第三成像系统193中的每个都经由单数据线和七种信号线连接到DSP200。将对单数据线和七种信号线作出描述,其中将第一成像系统191和DSP200互相连接的单数据线由L1表示且所述七种信号线被称为信号线L2至L8。需注意,第二成像系统192和第三成像系统193的数据线和信号线与第一成像系统191的数据线和信号线几乎相同。因此,主要描述第一成像系统191的数据线和信号线且省略了第二成像系统192和第三成像系统193的描述。
数据线L1是用于将图像数据从成像器件134传输到DSP200的数据线。该数据线L1由例如用于增加图像数据的传输速率的多根数据线有利地构成。此外,为了增加图像数据的传输速率并增加传输路径上的噪声电阻,高速差分传输数据线被有利地用作数据线L1。例如,低电压差分信号(LVDS)有利地用于数据线L1。
信号线L2是成像器件134和DSP200之间的双向通信线。例如,四线结构的串行通信线可被用作信号线L2。在从DSP200的一侧设置使用成像器件134所必需的各种设置值时,使用信号线L2。作为一个实例,用于稀疏化从成像器件134输出到DSP200的图像数据并输出稀疏化的图像数据的设置值经由信号线L2从DSP200被写入寄存器370和380中(图12中示出)。
信号线L3是用于将来自DSP200的时钟提供到成像器件134的时钟信号线。使用经由信号线L3提供的时钟,成像器件134可在每个时钟周期对一个像素进行成像操作。或者,倍增器可安装在成像器件134中,从DSP200中提供的时钟可在成像器件134中被倍增,且可在倍增之后在每个时钟周期进行对每个像素的成像操作。
信号线L4是用于将来自DSP200的复位信号提供到成像器件134的复位信号线。
信号线L5是用于根据DSP200控制成像器件134的成像操作的ON和OFF的信号线。即,信号线L5是用于向每个成像器件通知来自DSP200的操作的停止和启动的信号线。例如,如果三个成像系统中仅一个成像器件被使用的成像模式的执行由用户指示,可通过停止不使用的两个成像器件的成像操作来减少功率消耗。
信号线L6是垂直同步信号线。即,信号线L6是用于向成像器件134通知指示来自DSP200的每个帧的成像定时的同步信号的信号线。
信号线L7是水平同步信号线。即,信号线L7是用于向成像器件134通知指示来自DSP200的一帧中的每行的成像定时的同步信号的信号线。
信号线L8是快门信号线。例如,在由用户在信息处理装置100中按下用于进行捕捉图像记录的操作构件(例如,确定键112)时,对应于该按压的快门信号经由信号线L8被从DSP200通知给成像器件134。
此外,假设在设置成像模式的情况下,可基于使用者操作来选择单眼成像操作和多眼成像操作中的任一个。如果选择单眼成像操作,则进行使用由第一成像系统191生成的图像数据的成像操作。另一方面,如果选择多眼成像操作,则进行使用由第一成像系统191至第三成像系统193所生成的每个图像数据的成像操作。此外,如果选择单眼成像操作时,则生成正常图像。如果选择多眼成像操作时,则生成全景图像(例如,图29的部件“b”中所示)。
[成像器件的布置配置实例]
图4是构成本发明的第一实施方式中的成像单元130的成像器件134至136的布置配置实例的图。
在图4的部分“a”中,示出成像器件134至136的布置配置。一般而言,其中像素被布置在成像器件的光接收表面的区域的形状几乎是矩形形状。因此,在下面的描述中,成像器件134至136由矩形示意地表示。
在图4的部分“a”中,示出将信息处理装置100的纵向方向设置在垂直方向上的布置配置实例。具体而言,成像器件134被布置在中心且成像器件135和136被布置在成像器件134的两侧。此外,成像器件134至136被布置为使得其纵向方向与排列方向几乎一致。成像器件134至136被布置为使得其中心位置在同一平面上。具体而言,在布置方向上,成像器件134至136被布置在水平方向上。
在图4的部分“a”中,其中像素可被读出的像素数据读出可能区域400至402在成像器件134至136中由矩形示意地指示。例如,其中对象的特定方向被设置在纵向方向上的第一捕捉图像由成像器件134生成。其特定方向被设置在纵向方向上并包括第一捕捉图像中所包括的对象的一侧相邻的对象的第二捕捉图像由成像器件135生成。其特定方向被设置在纵向方向上并包括与第一捕捉图像中所包括的对象的另一侧相邻的对象的第三图像由成像器件136生成。
需注意,构成成像单元的三个成像器件的中心成像器件可被布置为使得中心成像器件的纵向方向与布置方向正交的方向几乎一致(参见,例如,日本专利申请公开第2011-44837号)。
在图4的部分“b”中,示出在信息处理装置100处于垂直状态时生成图像数据的像素数据读出区域的实例。像素数据读出区域403至405是在用于显示或记录的图像数据在像素数据读出可能区域400至402中生成时从中读出像素的区域的实例。在图4的部分“b”中,像素数据读出区域403至405的轮廓由粗线指示。像素数据读出区域403至405可被设置为与例如像素数据读出可能区域400至402相同。在像素数据读出区域403至405中,例如,垂直方向上的长度可由V10表示且水平方向上的长度可由H10表示。
图5和图6是示出聚焦在本发明的第一实施方式中的成像器件134至136上的图像之间的关系和读出图像数据的方法的图。一般而言,倒置的图像聚焦到成像器件上。
图5是示出在生成倒置图像作为聚焦到成像器件上的图像时的对象409、光学系统131和聚焦到成像器件134上的捕捉图像410之间的关系的示意图。如图5所示,经由光学系统131入射的来自对象409的光聚焦在成像器件134上并生成捕捉图像410。在这种情况下,对象409的上下方向和捕捉图像410的上下方向被倒置。
在图6的部分“a”中,示意地示出从成像器件134至136读出像素数据时的读出开始位置411至413和读出方向。在这个实例中,在图4的部分“b”中示出的像素数据读出区域403至405中读出像素数据。在下面的描述中,在像素数据读出区域中的读出开始位置由矩形示意地指示。例如,依次从像素数据读出区域403至405的右下角处的读出开始位置411至413开始读出并在箭头方向上读出像素数据。例如,在像素数据读出区域403中,从读出开始位置411开始像素数据的读出并依次进行像素数据的读出,同时在箭头方向上一次移动一个像素。当进行读出位于水平方向上的一行的一端(图6的部分“a”中所示的像素数据读出区域403的左端)处的像素时,进行读出位于另一端的像素,同时作为读出对象由一行中的一个像素位移到上侧。此后,以相同的方式依次进行像素读出。在进行读出位于像素数据读出区域403的上端处的一行的端部的像素时,完成成像器件134的读出处理。同时进行关于成像器件135和136的读出处理。
在图6的部分“b”中,示意地示出其中组合了从成像器件134至136读出的像素数据的图像存储器170上的组合图像414。在这个实例中,组合由图6的部分“a”中所示的读出方法读出的像素数据。假设组合图像414的箭头方向是图像数据在图像存储器170上的布置方向。
在图6的部分“c”中,示出在从成像器件134至136读出的像素数据显示在显示单元140上时获得的组合图像的显示例。在这个实例中,显示图6的部分“c”中所示的组合图像414。例如,组合图像414显示在捕捉图像显示区域415上且单色图像(例如黑色图像或者白色图像)显示在捕捉图像显示区域415上方和下方的边缘图像显示区域416和417上。假设显示单元140的箭头方向是显示单元140的扫描方向。
[DSP的配置实例]
图7是本发明的第一实施方式中的DSP200的内部配置实例的框图。
DSP200包括成像控制单元201、CPU202、直接存储器存取(DMA)控制器203、数据总线204、程序存储器I/F205和图像存储器I/F206。DSP200还包括图像器件I/F210、图像缓冲器211至219、图像信号处理单元220、分辨率转换单元231、241和251,和图像旋转处理单元232和242。DSP200还包括显示单元I/F233、外部显示设备I/F243、编码/解码单元252、记录介质I/F253、振荡电路264至266,和时钟生成电路270。DSP200还包括自动对焦(AF)控制单元281和脸部检测单元282。DSP200还包括自动曝光(AE)控制单元283和自动白平衡(AWB)控制单元284。CPU202、DMA控制器203、图像存储器I/F206、图像缓冲器211至219、图像信号处理单元220,和类似单元连接到数据总线204。来自转换开关111、确定键112和姿态检测单元150的信号被输入到成像控制单元201。
姿态检测单元150通过检测信息处理装置100的加速度、运动、倾斜等来检测信息处理装置100的姿态的变化,并将检测结果(有关检测的姿态变化的姿势信息)输出到成像控制单元201。例如,姿态检测单元150检测绕三个轴(例如,X轴、Y轴和Z轴)的旋转角度作为信息处理装置100的姿态变化,并将其检测结果输出到成像控制单元201。能够在信息处理装置100中检测绕三个轴的旋转角度的传感器可用作姿态检测单元150。应注意,可使用能够检测绕至少一个轴的旋转角度的传感器。例如,自由落体传感器、重力传感器、陀螺仪传感器、能够检测加速度方向的加速度传感器,和能够检测旋转运动的角速度传感器可用作姿态检测单元150。
成像控制单元201控制涉及成像处理的单元。例如,成像控制单元201在姿态检测单元150的检测结果的基础上确定信息处理装置100的姿态并在确定结果的基础上进行单元的成像控制。成像控制单元201在来自转换开关111和确定键112的输入信号的基础上进行单元的成像控制。
在本发明的第一实施方式中,用户可对记录由成像单元130生成的图像预先设置成像模式(图像尺寸等)。例如,用于设置成像模式的菜单屏幕显示在显示单元140上。用户使用菜单屏幕上的确定键112输入所需的设置内容。成像模式包括例如在成像过程中使用的成像器件的数量和在记录过程中的图像的垂直图像尺寸和水平图像尺寸。例如,成像模式包括表示图像的有效区域和垂直同步信号之间的间隔的垂直后沿和垂直前沿,和表示图像的有效区域和水平同步信号之间的间隔的水平后沿和水平前沿。成像控制单元201、DSP200中的单元和成像器件134至136包括存储成像模式的寄存器。
当成像模式由用户设置时,成像控制单元201通知DSP200中的单元和设置成像模式的成像器件134至136并使包括在单元中的寄存器存储成像模式。以这种方式,由用户设置的成像模式的设置内容被存储在包括在单元中的寄存器中。因此,用户可容易地切换和使用多个摄影条件。
成像控制单元201例如在存储在合并在其中的寄存器中的成像模式的设置内容的基础上通知DSP200中的单元和成像器件134至136垂直同步信号、水平同步信号和时钟信号。成像控制单元201例如在存储在合并在其中的寄存器中的成像模式的设置内容的基础上通知涉及在DSP200和显示单元140中显示的单元垂直同步信号、水平同步信号和时钟信号。成像控制单元201例如向电源控制单元207输出用于控制电源的ON和OFF的信号。
CPU202在存储在程序存储器160中的各种程序的基础上控制整个DSP200。例如,CPU202在来自姿态检测单元150的检测结果(姿态信息)的基础上检测水平状态和垂直状态中的哪一个处于信息处理装置100(显示单元140)中,并在所检测的状态的基础上进行显示控制。将参考图28来详细描述控制内容。
DMA控制器203在由CPU202控制的基础上控制存储器之间的数据转移。
程序存储器I/F205是用于连接程序存储器160和DSP200的接口。
图像存储器I/F206是用于连接图像存储器170和DSP200的接口。成像器件I/F210是用于连接成像器件134至136和DSP200的接口。具体而言,由成像器件134至136生成的图像数据被输入到成像器件I/F210。例如,在用于传输来自成像器件134至136的图像数据的数据线L1是具有微幅度的LVDS类型时,来自成像器件134至136的图像数据被转换为DSP I/F137至139中的GND电位或电源电位。对应于成像器件134至136的三个系统中的图像缓冲器211至219被设置在成像器件I/F210中的后级中。
图像缓冲器211至219是存储从成像器件134至136输出的图像数据的图像缓冲器。所存储的图像数据经由数据总线204被写入图像存储器170。例如,为每个成像器件提供三个图像缓冲器。图像缓冲器连接到数据总线204。例如,为成像器件134提供三个图像缓冲器211至213。为成像器件135提供三个图像缓冲器214至216。为成像器件136提供三个图像缓冲器217至219。在本发明的第一实施方式中,即使从图像缓冲器211至219中读出图像数据以便将图像数据写入图像存储器170中,从成像器件134至136重新输入的图像数据也被依次存储在图像缓冲器211至219中。因此,有利的是,为成像器件134至136中的每个提供两个或更多个图像缓冲器作为图像缓冲器211至219。
有利的是,图像缓冲器211至219中的一个的容量大于数据总线204的位宽度。例如,当数据总线204具有128位宽度时,有利的是,图像缓冲器的容量等于或大于128位。更有利的是,图像缓冲器211至219中的一个的容量等于或大于数据总线204的位宽度的双倍。例如,当数据总线204具有128位宽度时,有利的是,图像缓冲器的容量等于或大于256位。
另一方面,缓冲器211至219的容量可被设置为等于或小于由一个成像器件生成的一个图像的图像数据量。例如,有利的是,图像缓冲器211至219中的一个的容量等于或小于由成像器件134的一条线的像素生成的图像数据的数据量。
在本发明的第一实施方式中,将成像器件134至136连接到DSP200的数据线的位宽度被设置为例如12位。例如,DSP200的数据总线204的位宽度被设置为128位宽度且图像缓冲器211至219的容量被设置为128位。
图像信号处理单元220在由成像控制单元201控制的基础上适用于对经由图像缓冲器211至219和数据总线204输入的图像数据的各种图像信号处理。将参考图8来详细描述图像信号处理单元220的内部配置。
分辨率转换单元231在由成像控制单元201或CPU202控制的基础上进行用于使显示单元140显示图像的分辨率转换并将经受分辨率转换的图像数据输出到图像旋转处理单元232。
分辨率转换单元241在由成像控制单元201或CPU202控制的基础上进行用于使外部显示装置245显示图像的分辨率转换并将经受分辨率转换的图像数据输出到图像旋转处理单元242。
图像旋转处理单元232在由成像控制单元201或CPU202控制的基础上适用于对经受分辨率转换的图像数据进行旋转处理并将经受旋转处理的图像数据输出到显示单元I/F233。
图像旋转处理单元242适用于在由成像控制单元201或CPU202控制的基础上对经受分辨率转换的图像数据进行旋转处理并将经受旋转处理的图像数据输出到外部显示装置I/F243。
显示单元I/F233是用于连接显示单元140和DSP200的接口。
外部显示装置I/F243是用于连接外部显示装置245和DSP200的接口。外部显示装置245例如是电视机。
分辨率转换单元251在由成像控制单元201或CPU202控制的基础上将转换用于记录图像的分辨率并将经受分辨率转换的图像数据输出到编码/解码单元252。例如,分辨率转换单元251进行用于将分辨率转换为用户所需的记录图像尺寸的分辨率转换处理和用于生成缩略图像的分辨率转换处理。
编码/解码单元252在由成像控制单元201或CPU202控制的基础上进行用于压缩从分辨率转换单元251输出的图像数据的编码,并将编码的图像数据输出到记录介质I/F253。此外,为了在显示单元140上显示在记录介质180上记录的图像数据,编码/解码单元252经由记录介质I/F253输入并编码在记录介质180上记录的图像数据。编码的图像数据被存储在图像存储器170中。
记录介质I/F253是用于连接记录介质180和DSP200的接口。
记录介质180是用于记录经由记录介质I/F253提供的图像数据的记录介质。记录介质180可被合并在信息处理装置100中或可拆卸地附接到信息处理装置100。作为记录介质180,例如可使用带子(例如,磁带)或光盘(例如,可记录数字通用光盘(DVD))。作为记录介质180,例如,可使用磁盘(例如,硬盘)、半导体存储器(例如,存储卡),或磁-光盘(例如,迷你光盘(MD))。需注意,将参考图27来详细描述在记录介质180上记录的图像数据。
需注意,将参考图9至图11来详细描述振荡电路264至266和时钟生成电路270。
AF控制单元281进行对经由图像缓冲器211至219和数据总线204输入的图像数据的聚焦控制,以便被聚焦在包括在该图像(捕捉图像)中的预定区域中的对象。需注意,预定区域可以是例如捕捉图像的中间的区域、由用户指定的区域,或包括由脸部检测单元282检测的脸部的位置的区域。此外,当存在多个预定区域时,为每个预定区域进行聚焦控制。然后,聚集在捕捉图像上的位置(聚焦位置)的信息被输出到CPU202和成像控制单元201。此外,聚集位置上的信息被存储在AF控制单元281中。
脸部检测单元282检测包括在经由图像缓冲器211至219和数据总线204输入的图像数据的图像(捕捉图像)中的人脸,并将其检测结果输出到CPU202和成像控制单元201。此外,脸部检测单元282可检测包括在从记录介质180读出的图像数据的图像中的人脸。需注意,作为检测包括在图像中的脸部的方法,例如可使用通过在其中记录了脸部的发光分布信息的模板和内容图像之间匹配的脸部检测方法(例如,参见日本专利申请公开第2004-133637号)。也可使用基于皮肤色部分或包括在图像中的人脸的特征量的脸部检测方法。这些脸部检测方法使得有可能在图像中确定人的脸部的位置和尺寸。此外,脸部的检测结果被存储在脸部检测单元282中。
AE控制单元283是自动曝光控制单元,其用于相对于经由图像缓冲器211至219和数据总线204输入的图像数据自动调节快门速度和停止值,并将其检测结果输出到CPU202和成像控制单元201。
AWB控制单元284对经由图像缓冲器211至219和数据总线204输入的图像数据进行自动白平衡调整等,并将其检测结果输出到CPU202和成像控制单元201。
[图像信号处理单元220的内部配置实例]
图8是本发明的第一实施方式中的图像信号处理单元220的内部配置实例的框图。
图像信号处理单元220包括像素相加处理单元221、去马赛克处理单元222、YC转换处理单元223、图像组合处理单元224、锐度处理单元225、色彩调整处理单元226,和RGB转换处理单元227。
像素相加处理单元221适用于对由成像器件134至136生成的图像数据进行像素相加处理和像素稀疏化处理。
去马赛克处理单元222进行去马赛克处理(内插处理),使得R、G和B的所有通道的强度都被设置为在由成像器件134至136生成的图像数据的像素位置(马赛克图像)中相同。去马赛克处理单元222将经受去马赛克处理的RGB图像提供到YC转换处理单元223。具体而言,去马赛克处理单元222内插每个像素的一种颜色都具有唯一像素数据的拜耳数据并计算一个像素的R、G和B三个像素数据。
YC转换处理单元223适用于对由去马赛克处理单元222生成的RGB图像进行色度分量的YC矩阵处理和频带限制,以由此生成亮度信号(Y)和色差信号(Cr、Cb)。所生成的亮度信号(Y图像)和色差信号(C图像)被提供到图像组合处理单元224。
图像组合处理单元224适用于对由YC转换处理单元223生成的图像数据进行图像组合并将组合的图像数据输出到锐度处理单元225。需注意,将参考图18至图26来详细描述该图像组合处理。
锐度处理单元225适用于对图像组合处理单元224生成的图像数据进行提取具有大信号变化的部分并突出该部分的锐度处理(突出对象轮廓的处理)。锐度处理单元225将经受锐度处理的图像数据提供到色彩调整处理单元226。
色彩调节处理单元226适用于对经受由锐度处理单元225进行的锐度处理的图像数据进行色调和色度的调整。
RGB转换处理单元227将经受由色彩调节处理单元226进行的色调和色度调整的图像数据从YCbCr数据转换至RGB数据。
将描述图像信号处理单元220的信号的图像数据流。例如,假设图像信号处理单元220中的每个信号处理单元通过数据总线204直接从图像存储器170中读取图像数据并通过数据总线204将信号处理后的图像数据写入图像存储器170中。有利的是,图像信号处理单元220可在所需时间在图像数据中的所需位置处读取图像数据。然而,需要通过数据总线204传输的数据量增加,因此需要增加数据总线204的工作频率。因此,存在的担心是:数据总线204的设计很困难且功率消耗会增加。
例如,假设图像信号处理单元220中的每个信号处理单元不通过数据总线204在前级从信号处理单元接收图像数据并不通过数据总线204在后级将信号处理后的图像数据传递到信号处理单元。在这种情况下,不使用数据总线204。有利的是,LSI(大规模集成电路)的设计很容易且功率消耗可减少。然而,存在的担心是:每个信号处理单元中都不能够在所需时间在图像数据中的所需位置处读取图像数据。
因此,在本发明的第一实施方式中,在去马赛克处理单元222和色彩调节处理单元226(具有基本上固定的图像尺寸)之间,为了减小数据总线204的工作频率和功率消耗,图像数据直接在信号处理单元之间传递。在分辨率转换中使用大量图像数据的信号处理单元的前级,当图像数据被写入图像存储器170中并进行分辨率转换时,所需的图像数据被从图像存储器170中读出。
[时钟生成电路的配置实例]
图9是在本发明的第一实施方式中的时钟生成电路270的内部配置实例的框图。
时钟生成电路270包括高频率时钟倍增器20和24、高频率时钟分频器21和25、低频率时钟倍增器22和26,和低频率时钟分频器23和27。时钟生成电路270还包括时钟倍增器28和30和时钟分频器29和31。倍增器倍增输入时钟的频率。分频器将输入时钟的频率减到1/n(n为任意整数)。在这个实例中,时钟生成电路270根据图7中所示的DSP200中的单元的连接目的地生成至少六种时钟。
振荡器261至263是用于生成提供到DSP200的时钟信号的振荡源。例如可使用石英振荡器。
振荡电路264至266生成被提供到DSP200的时钟信号并将生成的时钟信号输出到时钟生成电路270。
由时钟生成电路270生成的六种时钟中的两种是提供到成像器件134至136的时钟。提供到成像器件134至136的一种时钟是具有用于生成具有相对较大数量的像素的图像的相对较大频率的时钟。从振荡电路264输出的时钟被输入到高频率时钟倍增器20并倍增,且倍增的时钟被输入到高频率时钟分频器21并划分。以这种方式,生成具有相对较大频率的时钟。另一种是具有用于生成具有相对较小数量的像素的图像的相对较小频率的时钟。从振荡电路264输出的时钟被输入到低频率时钟倍增器22并倍增,且倍增的时钟被输入到低频率时钟分频器23并划分。以这种方式,生成具有相对较小频率的时钟。由高频率时钟分频器21和低频率时钟分频器23划分的时钟被作为在时钟生成电路270中生成的时钟而输出并通过DSP200的内部被提供到成像器件134至136。提供到成像器件134和136的时钟不限于本实施方式中描述的两种。有利的是根据由成像操作生成的图像的尺寸可生成并使用更多种类的时钟。
由时钟生成电路270生成的六种时钟中的其它两种是用于DSP200的内部的时钟。用于DSP200的内部的一种时钟是具有用于生成具有相对较大数量像素的图像的相对较大频率的时钟。从振荡电路264输出的时钟被输入到高频率时钟倍增器24并倍增,且倍增的时钟被输入到高频率时钟分频器25并划分。以这种方式,生成具有相对较大频率的时钟。另一种是具有用于生成具有相对较小数量的像素的图像的相对较小频率的时钟。从振荡电路264输出的时钟被输入到低频率时钟倍增器26并倍增,且倍增的时钟被输入到低频率时钟分频器27并划分。以这种方式,生成具有相对较小频率的时钟。由高频率时钟分频器25和低频率时钟分频器27划分的时钟被作为在时钟生成电路270中生成的时钟而输出并被提供到DSP200的内部。用于DSP200的内部的时钟不限于本实施方式中描述的两种。有利的是根据由成像操作生成的图像的尺寸可生成并使用更多种类的时钟。
由时钟生成电路270生成的六种时钟中的剩下两种是用于在显示单元140中显示图像的像素时钟和用于在信息处理装置100的外部上的显示装置(例如,外部显示装置245)上显示图像的像素时钟。从振荡电路265输出的时钟被输入到时钟倍增器28并倍增,且倍增的时钟被输入到时钟分频器29并划分。以这种方式,生成用于在显示单元140中显示图像的像素时钟。从振荡电路266输出的时钟由时钟倍增器30倍增且倍增的时钟被输入到时钟分频器31并划分。以这种方式,生成用于在信息处理装置100的外部上的显示装置中显示图像的像素时钟。由时钟分频器29划分的时钟作为在时钟生成电路270中生成的时钟被输出并通过DSP200的内部被提供到显示单元140。由时钟分频器31划分的时钟作为在时钟生成电路270中生成的时钟被输出并通过DSP200的内部被提供到信息处理装置100的外部上的显示装置。用于图像显示的时钟不限于本实施方式中描述的两种。有利的是根据连接到信息处理装置100的显示装置的规格可生成并使用更多种类的时钟。
图10和图11是每个都示出本发明的第一实施方式中的时钟发生电路270的修改例的框图。
在图10中所示的实施方式中,提供到成像器件134至136的两种时钟共享一个倍增器(时钟倍增器32)且提供到DSP200的内部的两种时钟共享一个倍增器(时钟倍增器33)。
在图11中所示的实施方式中,提供到成像器件134至136的多种时钟和提供到DSP200的内部的多种时钟共享一个倍增器(时钟倍增器34)。
[成像器件的配置实例和像素读出实例]
图12是本发明的第一实施方式中的成像器件的内部配置实例的图。成像器件134至136的内部配置几乎相同。因此,在图12中,仅示出成像器件134,且省略了其它成像器件的图示和描述。在图12中,CMOS成像器件被例示为成像器件134。
成像器件134包括像素40至47、垂直扫描电路340和水平扫描电路345。成像器件134包括ADC(模拟/数字(A/D)转换器)350至353、加法器354至357和366,和列锁存器358至361。此外,成像器件134包括开关362至365、输出锁存器367、输出电路368、寄存器370和380,和倍增器/分频器391和392。需注意,一般而言,纵向方向上的成像器件阵列将被称为列且在横向方向上的成像器件阵列将被称为行。因此,在以下描述中,适当地使用名称“列”和“行”。在这个实例中,在成像器件134中,代表性地描述了像素(像素40到47)的一部分和与像素有关的单元。省略了其它组件的图示和描述。
在成像器件134中,垂直控制线341至344在行方向上布线且存在于相同行上的每个其它像素连接到相同垂直控制线。数据读出线346至349在列方向上布线且存在于相同行上的像素共享一个读出线。
垂直扫描电路340通过在行方向上布线的垂直控制线341至344打开和闭合像素40至47和数据读出线346至349之间的开关。具体而言,在行方向上的像素中,存在于行方向上的相同行上的像素中的每个其它像素被共同打开和关闭。像素40至47的图像数据通过像素和对应于像素的数据读出线之间的开关被输出到数据读出线346至349。
水平扫描电路345打开和闭合列锁存器358到361和输出数据线369之间的开关362至365。能够以时分方式读出所有像素的信号,同时依次选择根据由垂直扫描电路340对开关的ON和OFF和由水平扫描电路345对开关362至365的ON和OFF来选择像素。输出数据线369是用于输出来自成像器件134的列的输出结果的输出数据线。
在成像器件134中,像素40至47被以二维正方格子形状布置。像素40至47的配置是相同的,因此,像素40被作为一个实例来描述。像素40包括作为光接收单元的光电二极管51、放大器52和开关53。光电二极管51将照射到像素的光转换为对应于光量的电荷。放大器52是放大由光电二极管51转换的电荷的信号的放大器。开关53是根据垂直控制线342的ON和OFF控制像素40的电荷转移的开关。
列包括ADC350至353、加法器354至357和列锁存器358至361。ADC350、加法器354和连接到数据读出行346的列锁存器358被作为实施方式来在下面描述。
ADC350是将作为模拟值的来自像素的图像数据转换为数字数据(数字值)的AD转换器。
加法器354在每次由ADC350将图像数据转换为数字数据时相加被转换为存储在列锁存器358中的数字数据之后的新数字数据。
列锁存器358是依次存储由ADC350转换的数字数据的列锁存器。列锁存器是指示存储AD转换后的数字数据的数据存储电路的名字。作为数据存储电路,除了包括线性电路的锁存器之外,还可使用可存储数字数据的电路,诸如包括同步电路的触发器。
例如,在传递通过ADC350、加法器354和列锁存器358之后,从像素40输出的图像数据通过连接到数据读出线346的开关362被输出到输出数据线390。在本发明的第一实施方式中,类似于列的数据读出线,输出数据线390包括加法器366和输出锁存器367并进行图像数据的相加和存储。在输出锁存器367中存储的图像数据通过输出电路368被输出到输出数据线369。需注意,来自输出数据线369的图像数据被输出到上述数据线L1。
倍增器/分频器391和392在从DSP200的控制的基础上进行倍增输入时钟的频率和划分输入时钟的频率。倍增器/分频器391和392对垂直扫描电路340、水平扫描电路345和输出电路368提供所生成的时钟。
信号线393是用于从DSP200提供垂直同步信号的垂直同步信号线。信号线394是用于从DSP200提供水平同步信号的水平同步信号线。
信号线395是用于从DSP200提供时钟信号的时钟信号线。信号线396是用于控制从DSP200的成像操作的ON和OFF的信号线和用于控制像素稀疏化的信号线。信号线397是成像器件134和DSP200之间的双向通信线。信号线398是电源线。
需注意,寄存器370和380是关于成像操作的设置值存储在其中的寄存器。存储内容的实例示在图13中。
图13是本发明的第一实施方式中的成像器件134的寄存器370和380的存储内容的示意图。
在寄存器370和380中,存储了关于成像操作的设置值。设置值被提供到垂直扫描电路340和水平扫描电路345。需注意,设置值可通过用户操作而变化。
图14至图16是到本发明的第一实施方式中的成像器件134的像素的控制信号的状态和从像素输出的数据的示意时序图。
图14至图16中所示的横坐标是时间轴。图14至图16中所示的垂直控制线341至344和列锁存器358至361由和与其对应的图12中所示的那些相同的参考标记来表示。图14至图16中所示的列锁存器由和与其对应的图12中所示的开关362至365的那些相同的参考标记来表示。
在图14所示的实例中,描述了读出成像器件134中的所有像素读出的成像操作。
连接到某些列(例如,像素40至43的线)的所有成像器件134的图像数据通过使用垂直控制线341至344被输出到列的数据读出线346至349。随后,输出到数据读出线346至349的像素数据由列中的ADC350至353进行AD转换。随后,ADC350至353的输出被存储在列中的锁存器348至361中。例如,像素数据d1至d4被存储在图14中所示的列锁存器358至361中。随后,水平扫描电路345一列一列按顺序从列锁存器358至361到输出数据线390打开读出开关362至365。这使得能够按顺序在一行中读出像素数据。例如,在像素数据d1被输出到图14中所示的输出数据线390之后,像素数据d2、d3被依次输出。
此后,类似地,在每次完成在水平方向上的一条线的读出时,垂直扫描电路340一行一行按顺序从像素到垂直信号线打开读出开关。因此,行中的像素数据被输入到ADC350至353。在输入像素数据由ADC350至353进行AD转换之后,像素数据被存储在列中的列锁存器358至361中。例如,像素数据d5至d8被存储在图14中所示的列锁存器358至361中。随后,水平扫描电路345一列一列按顺序从列锁存器358至361到输出数据线390打开读出开关362至365并读出一条线中的像素数据。例如,像素数据d5至d8依次被输出到图14中所示的输出数据线390。
在图15中所示的实例中,通过水平稀疏化像素读出成像器件134中的像素的成像操作被描述为像素稀疏化读出的实例。
垂直扫描电路340仅在所需的列中从像素到垂直信号线346至349读出开关。因此,仅特定行中的一个像素数据被输入到ADC350至353并由ADC350至353进行AD转换。ADC350至353的输出被存储在列中的锁存器358至361中。例如,连接到垂直控制线342和344的读出开关被打开。以这种方式,像素数据d1和d3被存储在图15中所示的列锁存器358和360中。在完成该读取一行之后,例如,连接到垂直控制线342和344的读出开关被打开。以这种方式,像素数据d5和d7被存储在图15中所示的列锁存器358和360中。
水平扫描电路345仅在所需的列中从列锁存器358至361到输出数据线390打开读出开关。这使得能够按顺序仅读出一条线中的特定像素数据。
例如,在水平方向上,当从N片像素数据中读出一片像素数据时,在水平方向上进行1/N稀疏化读出。例如,当读出两片像素数据中的一片像素数据时,在水平方向上进行1/2稀疏化读出。当读出四片像素数据中的一片像素数据时,在水平方向上进行1/4稀疏化读出。
与在水平方向(即,行方向)上的稀疏化操作的同时,也可进行垂直方向上的稀疏化操作(即,列方向)。例如,当在垂直方向上读出M行的一行中的像素数据时,在垂直方向上进行1/M稀疏化读出。例如,当读出两行中的一行中的像素数据时,在垂直方向上进行1/2稀疏化读出。当读出四行中的一行中的像素数据时,在垂直方向上进行1/4稀疏化读出。
在如图16所示的实例中,描述了进行成像器件134中的像素的像素相加读出的成像操作。在这个实例中,在水平方向上的1/2像素相加读出和垂直方向上的1/2像素相加读出的情况下的成像操作被描述为像素相加读出。
如在所有像素读出的情况下,连接到目标行的所有成像器件134的数据通过使用垂直控制线被输出到包括在列中的数据读出线、被AD转换,并被存储在列锁存器中。与所有像素读出的情况不同,连接到另一行的所有成像器件134的数据通过使用另一个垂直控制线被输出到包括在列中的数据读出线并被AD转换。数据通过使用加法器被加到存储在列锁存器中的数据。像素数据的值通过这种方法在垂直方向上由所需数量的线累加起来。相加之后的数据被存储在列锁存器中。例如,像素数据d1+d5、d2+d6、d3+d7和d4+d8被存储在列锁存器358至361中。在垂直方向上累加N片像素数据之后,相加结果作为一片像素数据被输出。以这种方式,在垂直方向上进行1/N的像素相加读出。
随后,水平扫描电路345一列一列按顺序依次从列锁存器到输出数据线390打开读出开关。在这种情况下,从列锁存器到输出数据线390读出的数据由输出数据线390的加法器366累加并存储在输出锁存器367中。在水平方向上由所需数量的列重复相加操作且相加之后的数据被输出到成像器件134。例如,通过累加像素数据d1+d5和像素数据d2+d6而获得的数据d1+d5+d2+d6经由输出数据线369被输出到成像器件134。M行中的像素数据在水平方向上被累加。以这种方式,在水平方向上进行1/M像素相加读出。上述处理可实现水平方向(行方向)上的加法处理和垂直方向(列方向)上的加法处理。
当进行图15中所示的稀疏化读出和图16中所示的像素相加读出时,有利的是会使成像器件根据多种稀疏化比率和像素相加比率进行操作。鉴于此,下面将描述使成像器件根据多种稀疏化比率和像素相加比率进行操作的扫描电路。
图17是用于进行本发明的第一实施方式中的成像器件134的稀疏化的扫描电路的实例的示意图。在图17的部分“a”中,示出三种扫描电路104至106。在图17的部分“b”中,示出1/N稀疏化扫描电路的配置实例。在图17中所示的实施方式中,成像器件的横向方向像素数的数量相对于对应于所有像素读出、1/2稀疏化读出和1/4稀疏化读出的三种像素稀疏化比率的成像器件的扫描电路是1024。
如图17的部分“a”中所示,扫描电路104是包括1024个输出信号线的1024至1个扫描电路(scan_a[n(0≤n≤1023:n是整数)])。扫描电路104将信号线一个接一个变化为使能状态且然后将信号线变化到非使能状态。扫描电路105是包括512个输出信号线的512至1个扫描电路(scan_b[N(n(0≤n≤511:n是整数)])。扫描电路105将信号线一个接一个变化到使能状态且然后将信号线变化为非使能状态。扫描电路106是包括256个输出信号线的256至1个扫描电路(scan_c[n(0≤n≤255:n是整数)])。扫描电路106将信号线一个接一个变化为使能状态且然后将信号线变化到非使能状态。
如图17的部分“b”中所示,扫描电路105的输出信号线、扫描电路106的输出信号线,和指示三种像素稀疏比率中哪一个被选择的控制线连接到具有扫描电路104的1024个输出信号线中的4个的倍数的信号线。三种控制线是对应于所有像素读出(sel_1per1)、1/2稀疏化读出(sel_1per2),和1/4稀疏化读出(sel_1per4)的控制线。
扫描电路105的输出信号线和指示两种像素稀疏化比率中哪一个被选择的控制线连接到具有2的倍数而不是扫描电路104的1024个输出信号线中的4个的倍数的信号线。这两种控制线是对应于所有像素读出和1/2稀疏化读出的控制线。
指示所有像素读出是否被选择的控制线连接到扫描电路104的1024个输出信号线中的上述信号线以外的信号线。
根据图17的部分“b”中所示的扫描电路的输出(scan_out[n(0≤n≤1023:n是整数),在成像器件134中,能够对所有像素读出、1/2稀疏化读出和1/4稀疏化读出中的每个进行稀疏化处理。
[成像系统的布置配置实例]
图18是示出本发明的第一实施方式中的成像单元130和对象之间的关系的图。需注意,在图18中,仅示出图3中所示的成像单元130中的第一至第三成像系统191至193中的光学系统131至133和成像器件134至136,省略了其它组件。在图18中,作为成像目标的对象被表示为对象表面300。信息处理装置100被布置为使得第一成像系统191的光轴194与对象表面300正交。此外,第一成像系统191的光轴194与显示单元140的显示表面正交(几乎正交)。假设三个光轴194至196在交叉点P0交叉。
在成像单元130中,由第一成像系统191的光轴194和第二成像系统192的光轴195形成的角度被表示为θ0。类似地,由第一成像系统191的光轴194和第三成像系统193的光轴196形成的角度被表示为θ0。需注意,第三成像系统193被布置在在第一成像系统191的光轴194另一边与第二成像系统192线对称的位置处。
在第一成像系统191中,由入射到成像器件134和光轴194上的光的入射光路的最外侧上的线形成的角度被表示为θ1。在第二成像系统192中,由入射到成像器件135和光轴195上的光的入射光路的最外侧上的线形成的角度被表示为θ2。类似地,在第三成像系统193中,由入射到成像器件136和光轴196上的光的入射光路的最外侧上的线形成的角度被表示为θ2。例如,如图18所示,成像器件134中的光接收表面的水平方向的宽度等于(或几乎等于)成像器件135和136中的光接收表面的水平方向的宽度。因此,入射到成像器件134上的光的视角2×θ1等于(或几乎等于)入射到成像器件135和136上的光的视角2×θ2。
对象表面300上的成像区域301由入射到成像器件134上的光的视角2×θ1指定。类似地,对象表面300上的成像区域302由入射到成像器件135上的光的视角2×θ2指定,且对象表面300上的成像区域303由入射到成像器件136上的光的视角2×θ2指定。在本发明的第一实施方式中,组合由成像器件134至136生成的图像以生成全景图像。因此,由光轴形成的角度被设置为使得对象表面300上的成像区域302和对象表面300上的成像区域301部分地重叠。具体而言,由第一成像系统191的光轴194和第二成像系统192的光轴195形成的角度θ0和由第一成像系统191的光轴194和第三成像系统193的光轴196形成角度为θ0被设置为使得磁性区域301和302部分地重叠。需注意,光轴194至196包括在同一平面上。第一至第三成像系统191至193被布置为使得光轴194至196在一个点(交叉点P0)上交叉。
第一成像系统191的透镜中心被表示为R1,第二成像系统192的透镜中心被表示为R2,且第三成像系统193的透镜中心被表示为R3。透镜中心R1和交叉点P0之间的距离被表示为L11,透镜中心R2和交叉点P0之间的距离被表示为L21,且透镜中心R3和交叉点P0之间的距离被表示为L31。在这种情况下,有利的是,第一至第三成像系统191至193被布置为使得距离L11、L21和L31相等。
[梯形失真的校正实例]
图19和图20是示出本发明的第一实施方式中的成像单元130中的成像系统和作为成像系统的成像对象的对象之间的关系的示意图。
在图19的部分“a”中,示意地示出作为成像单元130的成像目标的对象310。对象310是对应于图18中所示的对象表面300的对象。对应于对象310的范围由矩形指示。矩形的内部以格子形状被示意地示出。
在图20的部分“a”中,示意地示出作为成像单元130的成像目标的对象311至313。对象311是对应于图19的部分“a”中所示的对象310的中的第一成像系统191。类似地,对象312是对应于对象310中的第二成像系统192的对象。对象313是对应于对象310中的第三成像系统193的对象。对象311至313中的对象311的水平方向上的两个端部和对象312和313的水平方向上的一个端部重叠。
在图19和图20的部分“b”中,示出成像单元130中的成像系统。需注意,图19和图20的部分“b”中所示的实例与图18中所示的实例相同,不同之处在于省略了参考符号等。
图21是示出本发明的第一实施方式中的成像单元130中的成像系统和由成像系统生成的捕捉图像之间的关系的示意图。在图21的部分“a”中,示意地示出由成像单元130生成的捕捉图像314至316。捕捉图像314至316是对应于图20的部分“a”中所示的对象311至313的捕捉图像。对象311至313中所示的格子形状的矩形被示意地示出。
如图21的部分“a”中所示,第二和第三成像系统192和193的光轴195和196不与对象表面300正交。因此,会在捕捉图像315和316中出现梯形失真。将参考图22来详细描述梯形失真。
图22是示出本发明的第一实施方式中的成像单元130中的每个成像系统和作为成像系统的成像目标的对象之间的关系的示意图。需注意,在图22中,为了描述的原因,省略了与第三成像系统193有关的组件,且仅示出了第一和第二成像系统191和192。图22中所示的实例与图18中所示的实例几乎相同,不同之处在于省略了与第三成像系统193有关的组件。交叉点P0、角度为θ0、θ1和θ2、透镜中心R1和R2和距离L11与图18中所示的实例中的那些相同,并因此由相同的参考符号表示。
在图22中,第一成像系统191的光轴194和对象表面300的交叉点被表示为S11。第一成像系统191的视角的右可见轮廓和对象表面300的交叉点被表示为S12。第一成像系统191的视角的左可见轮廓和对象表面300的交叉点被表示为S13。
其为包括交叉点S11并与光轴194正交的平面并使得入射到第一成像系统191上的平面对象区域被表示为对象表面S10。
第二成像系统192的光轴195和对象表面300的交叉点被表示为S21。第二成像系统192的视角的右可见轮廓和对象表面300的交叉点被表示为S32。第二成像系统192的视角的左可见轮廓和对象表面300的交叉点被表示为S43。
其为包括交叉点S21并与光轴195正交的平面并入射到第二成像系统192上的平面对象区域被表示为对象表面S20。
其为包括交叉点S32并与光轴195正交的平面并入射到第二成像系统192上的平面对象区域被表示为对象表面S30。
其为包括交叉点S43并与光轴195正交的平面并入射到第二成像系统192上的平面对象区域被表示为对象表面S40。
对象表面S30和光轴195的交叉点被表示为S31。对象表面S40和光轴195的交叉点被表示为S41。
第二成像系统192的视角的右可见轮廓和被摄物体表面S20的交叉点被表示为S22。第二成像系统192的视角的右可见轮廓和被摄物体表面S40的交叉点被表示为S42。
第二成像系统192的视角的左可见轮廓和被摄物体表面S20的交叉点被表示为S23。第二成像系统192的视角的右可见轮廓和被摄物体表面S30的交叉点被表示为S33。
穿过第二成像系统192的透镜中心R2并垂直于对象表面300的区段197和对象表面300的交叉点被表示为S51。
例如,当比较包括视角左端上的点S43的对象表面S40和包括视角右端上的点S32的对象表面S30时,对象表面S40存在于比对象表面S30更加远离透镜中心R2的位置处。因此,当对对象表面S40成像时,成像区域比对对象表面S30成像时的成像区域宽。例如,假设具有相同长度的区段被布置为对象表面S40和被摄物体表面S30上的对象。在这种情况下,当比较为对象表面S30生成的捕捉图像和为对象表面S40生成的捕捉图像时,包括在为对象表面S40生成的捕捉图像中的区段更短。
因此,例如,当图20中的部分“a”中所示的对象312由第二成像系统192成像时,如图21的部分“a”中所示的捕捉图像315中,对应于对象312的区域以梯形形状形成。具体而言,在图21的部分“a”中所示的实例中,在捕捉图像315中,在对应于对象312的矩形中,左侧比右侧短。
类似地,当图20中的部分“a”中所示的对象313由第三成像系统193成像时,如图21的部分“a”中所示的捕捉图像316中,对应于对象313的区域以梯形形状形成。以这种方式,会在由三眼成像单元所生成的捕捉图像中出现梯形失真。现在将描述用于校正捕捉图像的梯形失真的梯形失真校正方法。
交叉点S11和透镜中心R1之间的距离被表示为L12。交叉点S13和透镜中心R1之间的距离和交叉点S12和透镜中心R1之间的距离被表示为L13。
交叉点S21和透镜中心R2之间的距离被表示为L22。交叉点S31和透镜中心R2之间的距离被表示为L30。交叉点S41和透镜中心R2之间的距离被表示为L40。
交叉点S32和透镜中心R2之间的距离表示为L23。交叉点S43和透镜中心R2之间的距离被表示为L24。交叉点S51和透镜中心R2之间的距离被表示为L51。需注意,将参考图24来描述距离L61至L66。
下面的公式根据三角函数成立。
L21+L22=L11+L22=(L11+L12)/cosθ0
根据这个公式得到下面的公式1。
L22={(L11+L12)/cosθ0}-L11               公式1
其中L11=L21
关于距离L51,根据三角函数的公式和公式1得到下面的公式2。
L51=L22×cosθ0
=[{(L11+L12)/cosθ0}-L11]]×cosθ0       公式2
关于距离L23,根据三角函数的公式和公式2得到下面的公式3。
L23=L51/cos(θ2-θ0)
=(L22×cosθ0)/cos(θ2-θ0)               公式3
关于距离L30,根据三角函数的公式和公式3得到下面的公式4。
L30=L23×cosθ2
={(L22×cosθ0)/cos(θ2-θ0)}×cosθ2
=([({(L11+L12)/cosθ0}-L11)×cosθ0]/cos(θ2-θ0)))×cosθ2
                                          公式(4)
当确定第一成像系统191的光轴194中的距离L11和L12时,可使用公式4计算出距离L30。通过以这种方式计算距离L30,能够计算距离L30与距离L12的比率的值XR(=L12/L30)。需注意,XR小于1。
关于距离L24,根据三角函数的公式和公式2得到下面的公式5
L24=L51/cos(θ2+θ0)
=(L22×cosθ0)/cos(θ2+θ0)                公式5
关于距离L40,根据三角函数的公式、公式1和公式5得到下面的公式6。
L40=L24×cosθ2
={(L22×cosθ0)/cos(θ2+θ0)}×cosθ2
=[[{(L11+L12)/cosθ0-L11}×cosθ0]/cos(θ2+θ0)]×cosθ2    公式6
当确定第一成像系统191的光轴194中的距离L11和L12时,可使用公式6计算出距离L40。通过以这种方式计算距离L40,可计算距离L40与距离L12的比率的值XL(=L40/L12)。需注意,XL大于1。
接下来,将描述用于通过使用比率值XR和XL校正梯形失真校正方法。
关于图21的部分“a”中所示的捕捉图像315,坐标被转换使得右侧的长度乘以XR且左侧的长度乘以XL。具体而言,捕捉图像315中的右侧在箭头321方向上减小使得右侧的长度乘以XR。捕捉图像315中的左侧在箭头322方向上扩大使得左侧的长度乘以XL。以这种方式校正的校正图像甲317被示于图23中的“a”中。
图23是示出本发明的第一实施方式中的成像单元130中的成像系统与由成像系统生成的捕捉图像和校正后的校正图像之间的的示意图。在图23的“a”中,示意地示出由成像单元130生成的捕捉图像314和通过校正图21的部分“a”中所示的捕捉图像315的和316而获得的校正图像317及318。需注意,图23的“b”中的所示的实例与图18中所示的实例相同。不同之处在于省略了参考符号等。
如上所述,关于图21中的部分“a”中所示的捕捉图像315,坐标被转换使得右侧的长度乘以XR且左侧的长度乘以XL。以这种方式,生成图23的“a”中所示的校正图像317。以这种方式生成的校正图像317是其外部形状为梯形的图像。因此,能够通过切出矩形形状的校正图像317中的中心来获取梯形失真校正的图像325(由粗线指示)。
类似地,关于图21中的部分“a”中所示的捕捉图像316,坐标被转换使得右侧的长度乘以XR且左侧的长度乘以XL。以这种方式,生成图23的“a”中所示的校正图像318。能够通过切出矩形形状的校正图像318中的中心来获取梯形失真校正的图像326(由粗线指示)。需注意,由图像组合处理单元224进行对捕捉图像的梯形失真校正处理。
当进行这样的梯形失真校正时,例如,测量梯形形状中失真的捕捉图像的像素坐标并预先计算比率值XR和XL。能够使用预先计算的比率值XR和XL来通过运算装置(注入合并在信息处理装置100中的CPU)以软件方式进行梯形失真校正处理。
需注意,在上面描述了用于校正由三眼成像操作引起的捕捉图像的梯形失真的校正方法的实例。然而,可通过其它梯形失真校正方法来进行校正(参见,例如,日本专利申请公开号HEI08-307770)。
[捕捉图像的组合实例]
图24是在本发明的第一实施方式中的图像组合处理单元224生成组合图像时的组合流程的示意图。在这个实例中,在由三个成像系统的光轴形成的角度(会聚角)的基础上组合由三个成像系统生成的三个捕捉图像。具体而言,在由两个成像系统生成的两个捕捉图像的重叠部分中,在会聚角的基础上移除其中一个捕捉图像,在移除之后,组合两个捕捉图像。
在图24的部分“a”中,示出由成像单元130中的第一至第三成像系统191至193生成的捕捉图像314和校正图像317及318。需注意,捕捉图像314和校正图像317和318与图23的部分“a”中所示的那些相同。如图24的部分中所示,获取了捕捉图像314和由梯形失真校正处理校正了梯形失真的校正图像317和318。
如上所述,相同对象包括在校正图像317的右端上的区域和捕捉图像314的左端上的区域中。相同对象包括在校正图像318的左端上的区域和捕捉图像314的右端上的区域中。下面将描述计算包括相同对象的区域的方法。
在图22中,交叉点S11和交叉点S21之间的距离被表示为L61。交叉点S11和交叉点S13之间的距离被表示为L62。交叉点S51和交叉点S21之间的距离被表示为L63。交叉点S13和交叉点S51之间的距离被表示为L64。交叉点S32和交叉点S51之间的距离被表示为L65。交叉点S32和交叉点S13之间的距离被表示为L66。需注意,距离L66是用于指定在由第一成像系统191生成的捕捉图像和由第二成像系统192生成的捕捉图像中包括相同对象的区域的距离。区域都是由第一成像系统191生成的捕捉图像的左端上的区域和由第二成像系统192生成的捕捉图像的右端上的区域的共同区域。
下面的公式7和8根据三角函数的公式成立。
L61=(L11+L12)×tanθ0           公式7
L62=L12×tanθ1                 公式8
根据公式三角函数和公式2得到下面的公式9。
L63=L51×tanθ0
=[{(L11+L12)/cosθ0}-L11]×cosθ0×tanθ0   公式9
通过使用公式7和8得到下面的公式10。
L64=L62+L63-L61
=(L12×tanθ1)+([{(L11+L12)/cosθ0}-L11]×cosθ0×tanθ0)-{(L11+L12)×tanθ0}                                             公式10
根据三角函数的公式和公式2得到下面的公式11。
L65=L51×tan(θ2-θ0)
=[{(L11+L12)/cosθ0}-L11]×cosθ0×tan(θ2-θ0)  公式11
通过使用上面得到的公式10和公式11得到下面的公式12。
L66=L65+L64
={[{(L11+L12)/cosθ0}-L11]×cosθ0×tan(θ2-θ0)}+(L12×tanθ1)+([{(L11+L12)/cosθ0}-L11]×cosθ0×tanθ0)-[{(L11+L12)×tanθ0}]    公式12
当确定第一成像系统191的光轴194中的距离L11和L12时,可使用公式12计算出距离L66。可以相同的方式计算关于由第一成像系统191生成的捕捉图像的右端上的区域和由第三成像系统193生成的捕捉图像的左端上的区域的共同区域的距离。
在图24的部分“b”中,示出作为捕捉图像314和校正图像317和318中的组合目标的区域。例如,关于由第一成像系统191生成的捕捉图像314,删除了等同于通过使用公式12计算出的距离L66的区域。类似地,关于捕捉图像314,删除了所计算的关于捕捉图像314的右端的共同区域。在图24的部分“b”中,两个端部上的共同区域之后的图像327的外部形状由粗线指示。
在图24的部分“c”中,示出通过使用捕捉图像314和校正图像317及318生成的全景图像330。在如图24的部分“b”中所示在捕捉图像314中删除两端上的图像之后,通过使用删除后的图像327和校正图像317和318生成全景图像。例如,校正图像317耦合到图像327的左端且校正图像318耦合到图像327的右端来生成全景图像330。
图25是在本发明的第一实施方式中的图像组合处理单元224生成组合图像时的组合流程的示意图。图25中所示的实例是图24的修改。包括在图像组合中删除的区域的图像是不同的。具体而言,如图25的部分“b”中所示,关于对应于由第二成像系统192生成的捕捉图像的校正图像317,删除了等同于通过使用公式12计算的距离L66的区域(右端上的区域)。类似地,关于校正图像318,删除了关于左端计算的共同区域。在图25的部分“b”中,删除共同区域后的图像332和333的外部形状由粗线指示。
在图25的部分“c”中,示出通过使用图像331至333生成的全景图像330。如图25的部分“b”中所示,例如,图像332耦合到图像331的左端且图像333耦合到图像331的右端来生成全景图像330。
图26是在本发明的第一实施方式中的图像组合处理单元224生成组合图像时的组合流程的示意图。图26所示的实例图24的修改。包括将在图像组合中删除的区域的图像是不同的。具体而言,如图26的部分“b”中所示,关于由第一成像系统191生成的捕捉图像314,删除了等同于通过使用公式12计算的距离L66的一半的区域。关于对应于由第二成像系统192生成的捕捉图像的校正图像317,删除了等同于通过使用公式12计算的距离L66的一半的区域。
类似地,关于捕捉图像314,删除了关于捕捉图像314的右端计算的共同区域的一半。关于对应于由第三成像系统193生成的捕捉图像的校正图像318,删除了等同于共同区域的一半的区域(左端上的区域)。在图26的部分“b”中,删除了共同区域后的图像334到336的外部形状由粗线指示。
在图26的部分“c”中,示出通过使用图像334到336生成的全景图像330。如图26的部分“b”中所示,例如,图像335耦合到图像334的左端且图像336耦合到图像334的右端以生成全景图像330。能够通过以这种方式删除部分图像来适当地组合图像。
需注意,由图像组合处理单元224进行这些种类的图像组合处理。在图8中所示的实例中,在图像信号处理单元220中,图像组合处理单元224被布置在YC转换处理单元223的后级和锐度处理单元225的前级上。然而,可在图像信号处理单元220的其它级上进行图像组合处理。例如,可在去马赛克处理单元222的前级上进行梯形失真校正处理和图像组合处理。例如,可在马赛克处理单元222的后级和YC转换处理单元223的前级上进行梯形失真校正处理和图像组合处理。此外,例如,可在色彩调节处理单元226的后级上进行梯形失真校正处理和图像组合处理。
当进行这样的图像组合处理时,例如,关于梯形失真校正后的图像,可预先测量图像的重叠区域。能够由运算装置(诸如合并在信息处理装置100中的CPU)使用测量值以软件方式为图像的重叠区域进行删除处理。
在这个实例中,在会聚角的基础上组合三个捕捉图像。然而,例如,可通过使用其它图像相结合方法进行图像组合处理。例如,关于由两个成像系统生成的两个图像的重叠部分,能够使用用于匹配两个图像的模式和通过模式匹配组合两个图像的图像组合方法。也能够使用用于计算由两个成像系统生成的两个图像中的密度水平的变化、在密度水平的变化的基础上计算重叠部分,并组合两个图像的图像组合方法。
[图像文件的配置实例]
接下来,将参考图来详细描述由信息处理装置100中的静态图像记录处理的记录在记录介质180上的图像数据(图像文件)。
图27是待存储在本发明的第一实施方式中的记录介质180中的图像文件的文件结构的实例的图。在图27所示的实例中,示意地示出将由相机文件系统设计规则(DCF)记录的静态图像文件的文件结构。
DCF是用于经由记录介质实现在设备(诸如数码静态相机和打印机)之间相互使用图像的文件系统标准。在DCF中,定义了在以可交换图像文件格式(Exif)作为基础在记录介质上记录的情况下如何命名文件和文件夹的结构。Exif是用于将在图像文件中的图像数据和相机信息加入图像文件中的标准并定义了用于记录图像文件的格式(文件格式)。在图27的部分“a”中,示出图像文件181的配置实例。在图27的部分“b”中,示出随附信息182的配置实例。在图27的部分“c”中,示出厂商说明185的配置实例。
图像文件181是将由DCF标准记录的静态图像文件。如图27的部分“a”中所示,图像文件181包括随附信息182和图像信息183。图像信息183是例如通过以下处理获得的图像数据:由成像单元130生成的图像数据由分辨率转换单元251进行分辨率转换并经受由图像信号处理单元220进行的各种类型图像信号处理和由编码/解码单元252压缩分辨率转换的图像数据。图像数据由例如联合摄影专家组(JPEG)格式压缩。
如图27的部分“b”中所示,随附信息182包括属性信息184和厂商说明185。属性信息是有关图像文件181的属性信息184或类似信息,并包括例如GPS信息、方位信息、成像单元的特性信息(例如,装置特性)、成像更新日期和时间、图像尺寸、颜色空间信息和厂商名称。
厂商说明185一般是其中记录了专用于用户的数据的区域,和其中每个厂商都可自由地记录信息的扩展区域(TAGID=37500,厂商说明)。如图27的部分“c”中所示,例如,单眼成像/多眼成像186、全景图像187的存在和不存在、聚焦位置信息188、脸部信息189和移动体信息190被记录在厂商说明185中,作为有关捕捉图像的信息。
单眼成像/多眼成像186是指示其为仅使用成像器件134(单眼成像)生成的图像数据和使用成像器件134至136(多眼成像)生成的多片图像数据的图像数据中的哪一个的信息。例如,在由单眼成像生成的图像数据的情况下存储“0”或在由多眼成像生成的图像数据的情况下存储“1”。
全景图像187的存在和不存在是指其为指示纵横比超过了一定值的图像(全景图像)和这样的图像以外的图像(正常图像)中的哪一个的信息。例如,在由正常图像的情况下存储“0”或在全景图像的情况下存储“1”。
聚焦位置信息188是捕捉图像中的聚集位置处的信息。例如,存储由AF控制单元281检测的聚集位置处的信息。
脸部信息189是包括在由成像单元130生成的图像中包括的脸部的位置和尺寸的信息。例如,在包括捕捉图像中的脸部的矩形区域的左上角的位置(坐标)被存储为脸部的位置,且捕捉图像的矩形区域的垂直方向和水平方向的长度(纵向宽度和横向宽度)被存储为面部的尺寸。由脸部检测单元282检测脸部信息。
移动体信息190是包括在由成像单元130生成的图像中的移动体(移动对象(例如,正在行驶的汽车))的位置和尺寸的信息。例如,在包括捕捉图像中的移动体的矩形区域的左上角的位置被存储为移动体的位置,且捕捉图像的矩形区域的垂直方向和水平方向的长度(纵向宽度和横向宽度)被存储为移动体的尺寸。由CPU202检测移动体信息。
此外,使用记录在图像文件181中的随附信息182(属性信息184和厂商说明185),能够在再现过程中显示各种图像。
[静态图像的显示定时实例]
现在,描述图像显示在处理静态图像的信息处理装置中是必要时的定时。图像显示在处理静态图像的信息处理装置中是必要时的定时主要包括四个定时:实时取景显示、拍摄后取景显示、再现显示,和记录图像的列表显示(所谓的缩略图显示)。将描述这些图像显示。
需注意,如上文所述,存在能够通过以成像位置(用户的位置)作为旋转中心(所谓的摇摄操作)在水平方向上旋转成像器件的操作来生成全景图像的单眼成像器件。当由这种单左眼成像器件生成全景图像时,在全景图像的成像开始时在显示单元上显示的图像形成全景图像的一端且在全景图像的成像结束时在显示单元上显示的图像形成全景图像的另一端。因此,用户可相对容易地知道在哪里开始成像全景图像和在哪里结束成像全景图像。
此外,当由单眼成像器件生成全景图像时,可在成像过程中变化作为成像目标的全景图像的范围。例如,对应于全景图像的成像在其上开始的位置的图像形成全景图像的一端且对应于全景图像的成像在其上结束的位置的图像形成全景图像的另一端。
于此相反,信息处理装置100能够在按下快门按钮(例如,确定键112)时立即捕捉全景图像。即,可在用户所希望的定时立即捕捉全景图像。在信息处理装置100中,以这种方式立即完成全景图像的捕捉,有必要确定捕捉前的视角(例如,用户所希望的水平方向上的范围)。例如,在捕捉全景图像之前的实时取景显示过程中,在显示单元140中进行检查是必要的。例如,有必要检查主要对象是否包括在视角内且对象是否是在良好状态(人是否不闭眼或是否是蝴蝶落在花朵上时的时刻)下。此外,有必要检查从图像的右端到左端的成像区域(所希望的对象是否包括在内)。
(1)实时取景显示
实时取景显示是在其中设置了静态图像记录模式的状态下进行静态图像记录指令操作之前在显示单元140上显示由成像单元130生成的捕捉图像的操作。即,实时取景显示是其中当前输入到成像单元的图像被连续地显示以便在成像操作(例如,按下快门按钮)之前为用户检查对象的移动图像显示。此外,以实时取景显示显示的图像(布置图像)将被称为作为实时取景图像。
信息处理装置中的实时取景显示的目的主要有以下(a)至(c)。
(a)由信息处理装置100的用户在观看实时取景图像的同时检查主要对象是否包括在视角(换言之,作为图像而记录的区域)中。
(b)在检查作为视角的从左到右记录的区域(换言之,被记录为图像的区域,特别而言,在全景图像的情况下从左到右记录的区域)的同时,调整并确定该区域。
(c)通过检查主要对象的状态(例如,人是否不靠近眼睛或是否是在蝴蝶落在花朵上的时刻)确定成像定时。
此外,可通过在实时取景显示中依次反馈和显示调整结果来调整每个区域。
(2)拍摄后取景显示
拍摄后取景显示是以下操作:当在其中设置了静态图像记录模式且然后完成基于记录指令操作的记录处理的状态下进行静态图像记录指令操作时,自动显示所记录的捕捉图像达预定期间。即,拍摄后取景显示是为用户显示检查成像操作之后(例如,完成通过按下快门按钮对全景图像的记录处理之后)的记录图像。在拍摄后取景显示中显示的图像(捕捉图像)将被称为拍摄后取景显示。
还假设,例如为了减少信息处理装置100的功率消耗,基于用户的指令或电池剩余量的信息有意降低时钟频率。在这种情况下,有一种可能性,即在预定时间期间内完不成静态图像的图像信号处理和图像记录处理。在这种情况下,在用户进行静态图像记录指令操作之后,监视图像不在显示单元140上显示达预定时期。具体而言,从进行记录指令操作时的时间点到在信息处理装置100中完成捕捉图像的记录处理时的时间点,由于进行了图像信号处理和图像记录处理而使得不能进行捕捉新图像的消息显示在显示单元140上。例如,固体彩色图像(例如黑色或深蓝色)显示在显示单元140上,且在这个固体彩色图像中,显示了字符“在处理中”或“等待一段时间”或指示正在装置内执行处理的标记(例如,沙漏)。以这种方式,指示不能进行捕捉新图像的图像将被称为“黑色图像”且这种显示操作将被称为“黑色图像显示操作”。即,当用户进行静态图像记录指令操作时,黑色图像通过黑色图像显示操作而显示在显示单元140上,并且在预定时期之后,拍摄后取景图像通过拍摄后取景操作而显示在显示单元140上。
信息处理装置中的拍摄后取景显示的目的主要有以下(d)和(e)。
(d)检查由成像记录的图像,并在此基础上确定重新捕捉图像是否是必要的。
例如,检查视角(即,通过成像记录的图像区域)是否是令人满意或对象的状态是否是令人满意的(例如,是否是蝴蝶落在花朵上的时刻)。也通过检查确定了重新捕捉图像是否是必要的。
对于检查视角,重要的是检查图像的右端和左端以便知道哪个区域被成像并被记录为全景图像。此外,对于检查对象的状态,重要的是检查主要对象被如何成像并详细记录。
(e)观看通过成像记录的图像。
观看图像具有与以下所示的图像的再现显示的目的相同的目的。此外,捕捉图像的检查和对重新捕捉图像的确定仅用于拍摄后取景显示,且如果错过机会在许多情况下都不再进行重新捕捉。因此,拍摄后取景显示的主要目的是(d)检查图像并确定是否重新捕捉图像而不是(e)观看图像。需注意,拍摄后取景显示的目的是检查由静态图像记录处理记录的图像,因此不进行如在实时取景中的实时移动图像显示并进行记录的静态图像的显示。
(3)再现显示
再现显示是在任意时间点通过用户操作再现存储在记录介质180中的内容(例如,全景图像)的操作。
此外,信息处理装置中的图像的再现显示的主要目是观看通过成像记录的图像。在观看全景图像时,有利的是能够详细观看图像的整体和观看主要对象的细节。
需注意,这里所示的再现显示的目的是观看由静态图像记录处理记录的图像,并因此不进行如实时取景中的实时移动图像显示并进行记录的静态图像的显示。
(4)记录图像的列表显示(所谓的缩略图显示)
当捕捉并记录多个图像时,方便的是,可一瞥就可观看到多个图像,以便知道哪个图像被记录。应注意,多个记录图像显示在显示单元140上,因此单一图像的尺寸会不可避免地变小。
有利的是,在这种状态下,在每个图像中(特别是,全景图像),用户可观看包括在图像中的内容。
需注意,缩略图显示的目的是在列表中显示记录的图像,并且因此仅进行静态图像显示。
[移动影像的显示定时实例]
接下来,将描述图像显示在处理移动图像的信息处理装置中是必要的定时。图像显示在处理移动图像的信息处理装置中是必要的定时主要包括三个定时:实时显示、再现显示,和记录图像的列表显示(所谓的缩略图显示)。描述了这些图像显示。
(1)实时显示
在信息处理装置中的实时显示的主要目的是检查作为记录目标的图像的视角并在其中设置了移动图像记录模式的状态下在成像之前和其过程中检查对象的状态。
需注意,实时显示的目的是在记录之前和其过程中实时检查移动图像并因此仅进行移动图像显示。
(2)再现显示
信息处理装置中的图像的再现显示的主要目的是观看通过成像记录的图像。在观看全景图像时,有利的是两件事情:能够详细观看图像的整体和主要对象的细节。
需注意,这里所示的再现显示的目的是观看查看记录的移动图像,并因此仅进行移动图像显示。
(3)记录图像的列表显示(所谓的缩略图显示)
当通过捕捉多个图像进行记录时,方便的是,可一瞥就可观看到代表图像(例如,在捕捉移动图像开始时的图像)作为静态图像,以便知道记录了哪一个图像。应注意,多个记录图像显示在显示单元140上,因此单一图像的尺寸会不可避免地变小。有利的是,在这种状态下,在每个图像中(特别而言,全景图像),用户可观看到包括在图像中的内容。
需注意,缩略图显示的目的是在列表中显示记录移动图像的头部图像并仅进行静态图像显示。
需注意,在本发明的第一实施方式中,这里所描述的“图像”具有图像本身的含义且还具有用于显示图像的图像数据的含义。
[信息处理装置的功能配置实例]
图28是本发明的第一实施方式中的信息处理装置100的功能配置实例的框图。
信息处理装置100包括显示单元140、姿态检测单元150、图像生成单元510、图像存储器520、记录控制单元530、存储单元540、显示控制单元550和操作接收单元560。
图像生成单元510通过对对象成像生成捕捉图像,并在图像存储器520中存储生成的捕捉图像。该捕捉图像是例如使用一个成像器件134生成的捕捉图像或通过组合使用三个成像器件134至136生成的三个捕捉图像生成的捕捉图像(例如,全景图像)。这些捕捉图像根据由操作接收单元560接收的用户操作而生成。此外,图像生成单元510将捕捉图像生成过程中的信息片段输出到显示控制单元550和记录控制单元530。捕捉图像的生成过程的信息片段是例如有关包括在捕捉图像中的脸部的信息(脸部信息)和有关聚集位置的信息(聚集位置信息)(例如,图27的部分“c”的信息片段)。即,图像生成单元510充当检测全景图像中的特定目标的检测单元。需注意,图像生成单元510对应于例如图2中所示的成像单元130和DSP200(图7中所示的图像信号处理单元220、AF控制单元281、脸部检测单元282等)。
图像存储器520存储由图像生成单元510生成的捕捉图像或由显示控制单元550从存储单元540获取的捕捉图像(图像文件)。图像存储器520将存储的捕捉图像提供到记录控制单元530或显示控制单元550。需注意,例如,图像存储器520对应于图2中所示的图像存储器170。
记录控制单元530记录由图像生成单元510生成并根据由操作接收单元560接收的用户操作为图像文件而存储在存储单元540中的图像存储器520中的捕捉图像。此外,记录控制单元530在记录捕捉图像时在图像文件中记录其从图像生成单元510输出的信息(生成捕捉图像时生成的相应种类的信息)。例如,当记录全景图像(横向长图像)时,记录控制单元530记录有关其中特定目标(例如,人的脸部)存在于与全景图像相关联的存储单元540中的区域的特定目标信息(例如,图27的部分“c”中所示的脸部信息189)。需注意,例如,记录控制单元530对应于图2中所示的DSP200(图7中所示的成像控制单元201、分辨率转换单元251、编码/解码单元252等)。
存储单元540将由图像生成单元510生成的捕捉图像存储为图像文件并将存储的图像文件提供到显示控制单元550。需注意,存储单元540对应于例如图2中所示的记录介质180。
根据由操作接收单元560接收的用户操作,显示控制单元550使显示单元140显示由图像生成单元510生成的捕捉图像并存储在图像存储器520中。此外,根据由操作接收单元560接收的用户操作,显示控制单元550获取存储在存储单元540中的图像文件、存储在图像存储器520中,并在显示单元140上显示捕捉图像的图像文件。例如,显示控制单元550能够在获取的图像文件中记录的信息(捕捉图像的生成过程中的信息片段)的基础上在显示存储在图像存储器520中的捕捉图像中的多个区域的图像。例如,当显示存储在存储单元540中的全景图像时,显示控制单元550能够使用与全景图像相关联而记录的特定对象信息来显示有关其中存在特定目标的区域的图像。例如,能够使用脸部信息(图27的部分“c”中所示的脸部信息189)来显示其中存在人的脸部的区域的图像。
显示控制单元550例如在实时取景显示过程中、在拍摄后取景显示过程中和再现显示过程中在显示单元140上显示图像。在这种情况下,例如,显示控制单元550进行控制以在显示单元140的纵向方向上以多行显示由图像生成单元510生成的全景图像中的多个区域。
例如,如图32等中所示,显示控制单元550由与全景图像的纵向方向正交的正交方向划分全景图像并在显示单元140的纵向方向上以多行显示划分的图像。在这种情况下,显示控制单元550例如在全景图像的纵向方向上显示包括两个端部上的区域的两个图像(左图像和右图像)并在显示单元140的纵向方向上以两行显示包括存在于两个端部之间的区域的图像(中间图像)。此外,显示控制单元550例如在相同线中显示左图像和右图像并在另一根线中显示中间图像。此外,显示控制单元550显示例如左图像、右图像和中间图像,使得左图像、右图像和中间图像具有相同的垂直尺寸。显示控制单元550显示例如左图像、右图像和中间图像,使得中间图像的水平尺寸大于左图像和右图像中的每个的水平尺寸。
或者,例如,如图37和图38中所示,显示控制单元550可显示包括其中存在从全景图像中检测的特定目标(例如,人和蝴蝶)的区域的图像,作为中间图像。
或者,例如,如图42和图43中所示,显示控制单元550可在将被显示为中间图像的区域从全景图像中的两个端部中的一端移动到另一端的同时显示中间图像。
或者,例如,如图35和图36等中所示,显示控制单元550可在全景图像中的多个区域的显示区域以外的区域中显示全景图像的缩小图像。
或者,例如,如图39和图40等中所示,显示控制单元550可显示指示与全景图像的缩小图像相关联的全景图像中的多个区域的位置的显示信息(例如,框)。
需注意,例如,如图46所示,显示控制单元550可确定全景图像的纵向方向和显示单元140的纵向方向是否可彼此一致,并在显示单元140上显示全景图像,而如果全景图像的纵向方向和显示单元140的纵向方向彼此一致,则不进行上述控制。另一方面,当全景图像的纵向方向和显示单元140的纵向方向彼此不一致时,可进行上述控制且可在显示单元140的纵向方向上以多行显示全景图像中的多个区域。
此外,显示控制单元550根据由操作接收单元560接收的用户操作在显示单元140上显示各种设置画面。需注意,例如,显示控制单元550对应于图2中所示的DSP200(图7中所示的成像控制单元201、CPU202、编码/解码单元252、分辨率转换单元231、图像旋转处理单元232等)。
显示单元140基于显示控制单元550的控制显示各种图像。需注意,例如,显示单元140对应于图2中所示的显示单元140。
操作接收单元560是接收来自用户的操作输入并将接收的操作输入的内容输出到相应单元的操作接收单元。例如,当由用户进行静态图像记录指令操作时,操作接收单元560将指令的内容输出到图像生成单元510、记录控制单元530和显示控制单元550。此外,当由用户进行显示存储在存储单元540中的图像文件的显示指令操作时,操作接收单元560将指令的内容输出到显示控制单元550。此外,当显示存储在存储单元540中的图像文件,且进行变化显示状态的指令操作时,操作接收单元560将指令的内容输出到显示控制单元550。需注意,例如,操作接收单元560对应于图1和图2中所示的相应操作构件(转换开关111、确定键112等)。
姿态检测单元150检测信息处理装置100的姿态(显示单元140),并将其检测结果输出到显示控制单元550。例如,姿态检测单元150检测信息处理装置100的姿态是处于水平状态下还是垂直状态下。需注意,姿态检测单元150对应于图2中所示的姿态检测单元150。
[全景图像的显示例]
接下来,将描述其中从成像器件134到136读出图像数据且其图像显示在显示单元140上的实例。
图29是示出作为成像目标的对象和由本发明的第一实施方式中的信息处理装置100进行的成像处理的成像区域之间的关系的图。
在图29的部分“a”中,示意地示出在成像操作过程中对象和信息处理装置100之间的关系。在图29的部分“b”中,示出对应于包括图29的部分“a”中所示的对象的成像区域(由虚线矩形590指示)的全景图像600。
现在,将描述传统的信息处理装置。例如,在由单一壳体构成的多眼成像器件(例如,多眼数码静态相机)中,一般而言,显示设备被布置在壳体中使得矩形壳体的纵向方向对应于矩形显示装置的纵向方向。作为记录目标或显示目标的单一图像是纵横比为4:3或16:9的矩形,因此重要的是,允许用户尽可能容易地观看这些图像。鉴于此,为了在矩形显示设备中使图像的整体尽可能大的显示,包括光学系统(透镜等)的多个成像系统和成像器件被布置在壳体内,使得光学中心布置线(将多个成像系统的光学中心连接起来的线)和壳体的纵向方向彼此一致。
需注意,如在包括在包括具有相同光学中心的单一光学系统和单一成像器件的单一成像系统中的单眼成像器件中,显示装置被布置在壳体中,使得矩形壳体的纵向方向和矩形显示设备的纵向方向彼此一致。此外,这样的布置在处理具有图像的纵横比较大的全景图像的装置中也是必要的。
以这种方式,当使用其中多个成像系统被布置在平行于信息处理装置的纵向方向的方向上的信息处理装置进行成像全景图像(在水平方向上延伸的全景图像)时,假设信息处理装置通常在水平状态下使用。然而,在信息处理装置,诸如智能电话和蜂窝电话的情况下,矩形壳体和矩形显示装置通常在垂直状态下使用。关于这些信息处理装置,当成像系统被布置为使得显示设备的长边和光学中心布置线平行时,有必要在每次进行全景图像的成像时将信息处理装置放到水平状态下,这可能使不熟悉捕捉全景图像的用户难以使用该设备。
以这种方式,例如,当使用捕捉图像功能以外的信息处理装置的功能时,用户通常在垂直状态下使用信息处理装置。另一方面,关于成像全景图像和显示全景图像,假设在水平状态下使用信息处理装置。以这种方式,用户根据要使用的功能来变化壳体的取向是很繁琐的。
在这样的信息处理装置中,假设光学中心布置线(连接多个成像系统的光学中心线)平行于壳体的纵向方向且光学中心布置线被布置在壳体的短边的中心附近(壳体在纵向方向上的端侧)。然而,当成像系统(光学系统)以这种方式布置时,存在提供其它图像捕捉功能的电子基板的设计变得困难的担心。即,包括透镜的很多成像系统组件和成像器件在信息处理装置中的组件中具有较大高度。因此,当成像系统组件被布置在壳体的短边的中心附近(壳体在纵向方向上的端侧)使得光学中心布置线平行于壳体的纵向方向时,存在电子基板的布置被干扰的担心。例如,图1的部分“e”中所示的电子基板101的上侧上的凹部分变得更深。
鉴于此,在本发明的第一实施方式中,示出多个成像单元被布置在与显示单元的纵向方向正交的正交方向上的实例。此外,示出其中包括由多个成像单元产生的多个图像的全景图像中的多个区域在显示单元的纵向方向上以多行显示的实例。
此外,在本发明的第一实施方式中,示出当在其中信息处理装置100的显示单元140的纵向方向和垂直方向几乎彼此一致的状态下显示通过使用多个成像系统产生的全景图像时划分和显示全景图像的实例。需注意,在下面所示的实例中,显示单元140的纵向方向有时被称为Y坐标方向。
[全景图像的显示例]
图30至图32是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600和由显示控制单元550在显示单元140上显示的图像之间的关系的图。需注意,如全景图像显示在显示单元140上时的定时,如上所述,假设实时取景显示、拍摄后取景显示、再现显示等。
在图30的部分“a”中,示出由图像生成单元510生成的全景图像600和作为显示对象的图像601至603。需注意,全景图像600与图29的部分“b”中所示的全景图像600相同。
在图30的部分“b”中,示出由显示控制单元550在显示单元140上显示的图像604至606。图像604对应于图30中的部分“a”所示的图像601。图像605对应于图30的部分“a”中所示的图像602,且图像606对应于图30的部分“a”中所示的图像603。
以这种方式,布置在显示单元140的纵向方向上的图像604(中间图像)被设置为全景图像的中心附近的图像。此外,被布置在显示单元140的纵向方向上的较低左手侧处的图像(左图像)605被设置为全景图像600的左端处的图像且布置在较低右手侧的图像606(右图像)被设置为全景图像600中的右端处的图像。
以这种方式,至少三个图像都显示在显示单元140的纵向方向上的至少两个位置处。需注意,在本发明的第一实施方式中,如上所述,在布置在显示单元140的纵向方向上的较高行的图像将被称为中间图像。此外,布置在显示单元140的纵向方向上的较低左手侧的图像将被称为左图像,且被布置在较低右手侧的图像将被称为右图像。
需注意,虽然在图30中分别示出中间图像和左眼图像以及中间图像和右图像在水平方向上彼此分开时的显示例,但是中间图像和左图像以及中间图像和右图像分别彼此重叠。这样的显示例示于图31中。此外,中间图像和左图像之间和中间图像和右图像之间的水平方向上的边界可彼此连接。这样的显示例示于图32中。
在图31的部分“a”中,示出全景图像600和作为显示目标的图像611至613之间的关系。在图31的部分“b”中,示出由显示控制单元550在显示单元140上显示的图像614至616。
在图32的部分“a”中,示出全景图像600和作为显示目标的图像621至623之间的关系。在图32的部分“b”中,示出由显示控制单元550在显示单元140上显示的图像624至626。
以这种方式,在本发明的第一实施方式中,相对于中间图像没有显示在中间图像中的左区域被显示为左图像的整体或部分。此外,相对于中间图像没有显示在中间图像中的右区域被显示为右图像的整体或部分。此外,右区域相对于左图像的一部分和右区域相对于左图像的一部分被显示为中间图像的整体或部分。
需注意,当显示左图像、中间图像和右图像时,有利的是,以几乎相同的显示放大倍率显示那些图像(左图像、中间图像和右图像)。此外,有利的是,这些图像被显示为垂直宽度(垂直尺寸)几乎相同。
以这种方式,通过在显示单元140的纵向方向上以两列显示三个图像,能够显示水平宽度(水平尺寸)小于在显示单元140上显示全景图像的整体的情况的图像。即,在具有目标宽度的显示单元140中,能够显示比显示全景图像的整体的情况放大的图像。由此,例如,包括在全景图像600中的汽车(存在于左端)和狗(存在于右端)被显示为具有相对较大尺寸的图像,因此用户能够容易地检查他们。
在实时取景显示的情况下的主要目的是上面提到的目的(a)至(c)。例如,目的是(a)检查主要对象是否包括在视角内,(b)在检查作为视角的从左到右记录的区域的同时,调整并确定该区域,和(c)通过检查主要对象的状态确定成像定时。
以这种方式,为了实现目的(a)至(c),不一定有必要在显示单元140上显示整个全景图像,且重要的是在放大状态下显示主要对象和视角的左端和右端。因此,如图30中所示,中间图像和左图像以及中间图像和右图像不会分别彼此重叠,并且,代替此,有利的是在显示单元140上在可显示的范围内尽可能大的显示中间图像、左图像和右图像。
如果在显示中间图像、左图像和右图像时示出主要对象的中间图像和分别示出视角的左端和右端的左图像和右图像处于不同显示放大倍率(放大倍率比率)下,则存在用户在检查这些图像时会混淆的担心。
此外,如果示出主要对象的中间图像和分别示出视角的左端和右端的左图像和右图像具有不同垂直宽度(垂直尺寸),则存在用户会认为这些图像在片刻具有不同放大比率的担心。因此,有利的是,中间图像、左图像和右图像的显示放大倍率(放大倍率比率)是相同的。此外,有利的是中间图像、左图像和右图像的垂直宽度(垂直尺寸)是相同的。
例如,在各种信息处理装置(例如,移动电话和智能电话)的情况下,通常显示显示单元中的显示内容,使得用户可从顶部到底部读取显示内容。因此,用户经常从顶部到底部观看显示单元。
此外,例如,当进行实时取景显示时,在许多情况下,用户首先检查主要对象是否被适当地包括在视角内。因此,假设用户首先观看中间图像而不是左图像和右图像。鉴于此,当中间图像、左图像和右图像被布置在显示单元140的不同Y坐标位置处时,有利的是,将中间图像布置在左图像和右图像上方。此外,有利的是,将左图像和右图像布置在相同Y坐标位置处。
图30至图32示出其中中间图像显示在在显示单元140的纵向方向上的左图像和右图像的上方的实例。
[其中图像被显示使得中间图像的水平宽度(横向尺寸)大于其它图像的水平宽度的实例]
在图30至图32所示的实例中,在中间图像被布置在显示单元140的纵向方向的上侧且左图像和右图像被布置在其下侧的同时,显示了中间图像、左图像和右图像。此外,中间图像、左图像和右图像以相同尺寸显示。当以这种方式显示图像时,仅一个中间图像被布置在显示单元140的纵向方向的上侧。因此,在显示单元140中的纵向方向的上侧存在空区域。鉴于此,以下示出其中显示单元140的纵向方向的上侧的空区域被有效地使用的实例。
图33和图34是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600和由显示控制单元550在显示单元140上显示的图像之间的关系的图。
在图33中所示的实例中,中间图像、左图像和右图像被显示使得中间图像的纵横比和水平宽度(水平尺寸)大于左图像和右图像的水平宽度。需注意,图33的部分“a”和“b”之间的关系与图30的部分“a”和“b”之间的关系相同,不同点在于,中间图像的纵横比和水平宽度(水平尺寸)大于其它图像(左图像和右图像)的纵横比和水平宽度。例如,图33中的其它点(图像的显示放大倍率几乎相同且图像的垂直宽度(垂直尺寸)几乎相同)与图30的那些相同。
由此,例如,在实时取景显示的情况下,用户可不仅检查主要对象的状态,而且也可检测其在中间图像中的周围环境的状态,因此用户可容易地检查全景图像的中心的附近。因此,用户也可容易地检查人周围的背景等。以这种方式,可提高用户的便利性。
或者,关于中间图像和左图像和右图像中的每个之间的关系,可采用图33中所示的尺寸以外的尺寸。这样的显示例示于图34中。
在图34的部分“a”中,示出水平尺寸大于全景图像600的水平尺寸的全景图像640和由显示控制单元550在显示单元140上显示的图像641至643之间的关系。
在图34的部分“b”中,示出水平尺寸小于全景图像600的水平尺寸的全景图像645和由显示控制单元550在显示单元140上显示的图像646至648之间的关系。需注意,可通过用户操作适当地变化水平尺寸。
[其中显示全景图像的整体的实例]
在上面提到的实例中,划分和显示了全景图像。虽然可使用图像(中间图像、左图像和右图像)检查全景图像的细节,但是假设一些用户希望也检查全景图像的整体。鉴于此,也在下面示出一起显示其中全景图像或类似于该图像的图像(例如,部分全景图像)的整体也与图像(中间图像、左图像和右图像)的实例。
图35是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600和作为显示目标的图像之间的关系和显示单元140的显示例的图。
在图35的部分“a”中,示出由图像生成单元510生成的全景图像600。在图35的实例中,一起显示全景图像的整体的缩小图像(或类似该图像的图像)与图像(中间图像、左图像和右图像)。具体而言,在图35的部分“a”中,全景图像600和通过缩小全景图像600而获得的缩小图像637之间的关系由四个箭头示意地指示。在图35的部分“b”中,示出在显示单元140上显示的缩小图像638(对应于图35的部分“a”中所示的缩小图像637)的显示例。需注意,图35的部分“a”和“b”之间的关系与图33的部分“a”和“b”之间的关系相同,不同点在于,显示了全景图像600的整个图像。
特别而言,当在其中信息处理装置100的显示单元140中的纵向方向和垂直方向几乎彼此一致时的状态下显示图像时,有利的是,如图35的部分“b”中所示来显示图像。例如,有利的是,全景图像的整个图像(或类似图像)638在显示放大倍率小于中间图像634、左图像635和右图像636的显示放大倍率下显示。即,有利的是,全景图像的整个图像(或类似图像)638被显示为垂直宽度(垂直尺寸)小于中间图像634、左图像635和右图像636的垂直宽度。
以这种方式,在图35所示的实例中,全景图像的整个图像显示在中间图像的行和左图像和右图像的行之间。需注意,在图30至图34中所示的每个显示例中,可显示全景图像的整个图像。
以这种方式一起显示全景图像(或类似该图像的图像)的整个图像与中间图像、左图像和右图像,因此可容易地检查全景图像的整个内容。即,中间图像、左图像和右图像的显示能够例如进行检查在实时取景显示过程中所需的主要对象的状态并从左到右检查视角。此外,全景图像(或类似该图像的图像)的整个图像的显示能够容易地进行检查全景图像的整个内容。
图36是在本发明的第一实施方式中的显示单元140上显示的全景图像和作为显示目标的图像的显示例的图。在图36中所示的实例中,全景图像(或类似该图像的图像)的整个图像显示在中间图像、左图像和右图像的显示区域的外部。
在图36的部分“a”中所示的实例中,全景图像(或类似图像)638的整个图像显示在左图像635和右图像636的显示区域的下侧。
在图36的部分“b”中所示的实例中,全景图像(或类似图像)638的整个图像显示在中间图像634的显示区域的上侧。
以这种方式,可适当变化全景图像(或类似图像)638的整个图像的显示位置。此外,可根据用户喜好变化显示位置。例如,可通过用户操作(例如,通过触摸操作的移动)变化显示位置。
[其中基于对象来确定中间图像的实例]
在上面提到的实例中,全景图像的中间部分(水平方向上的中间部分)的图像被设置为中间图像。如上所述,例如,实时取景显示的情况下的主要目的是上面提到的三点(目的(a)至(c))。
例如,假设其中捕捉主要对象是人物且背景是远处风景的全景影像的情况。在这种情况下,不仅可进行捕捉具有其中作为主要对象的人物位于图像的中心的组成的图像,而且还可进行捕捉具有其中人物位于从图像的中心偏离到左和右中的任一边的位置处的组成的图像。在这种情况下,如果被显示为中间图像的图像的区域被固定到全景图像的中心(即,视角的中心),则假设可能会发生不便之处。例如,还假设在成像之前主要对象(例如,人物)不包括在显示为实时取景显示的中间图像中。在这种情况下,存在不能实现上述目的(a)和(c)的担心。
此外,例如,假设其中当将要落到花朵上的蝴蝶被想像为主要对象时进行捕捉具有其中该蝴蝶存在于左端和右端中的任一个的一侧上而不是存在于全景图像的中心附近的组成的图像的情况。在这种情况下,存在不能确定检查其是否是在蝴蝶落到花朵上时的时刻并捕捉图像的定时。鉴于此,下面示出其中基于对象来确定中间图像的实例。
[其中基于包括在全景图像中的脸部位置来确定中间图像的实例]
图37是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像650、655和660和中间图像651、656、和661之间的关系的图。在图37的实例中,确定以包括在全景图像中的脸部的位置为中心的中间图像。图37的部分“a”至“c”中所示的矩形654、659和664指示了由图像生成单元510(脸部检测单元282)检测的脸部的位置。以这种方式,当从全景图像中检测到人脸部时,显示控制单元550会生成以所检测的脸部位置(全景图像的纵向方向上的位置)为中心的中间图像。
例如,如图37的部分“a”中所示,当从全景图像650中检测人脸(矩形654中所示)时,显示控制单元550生成以脸部为中心的中间图像651。例如,如图37的部分“b”中所示,当从全景图像655中检测人脸部(矩形659中所示)时,显示控制单元550生成以脸部为中心的中间图像656。例如,如图37的部分“c”中所示,当从全景图像660中检测到人脸部(矩形664中所示)时,显示控制单元550生成以脸部为中心的中间图像661。
在图37中所示的实例中,在成像过程中由脸部检测单元282检测的人脸部的区域和包括其周围环境的区域被设置为中间图像。应注意,在成像过程中作为聚焦目标的区域和包括其周围环境的区域可被设置为中间图像。或者,在成像过程中由移动体检测单元(例如,图7中所示的CPU202)检测的移动体的区域和包括其周围环境的区域可被设置为中间图像。需注意,在图38中示出其中从全景图像检测的移动体的区域和包括其周围环境的区域被设置为中间图像的实例。
或者,可基于成像过程中的上述处理(脸部检测、移动体检测和聚焦)以外的图像分析的结果来检测特征,且所检测特征的区域和包括周围环境的区域可被设置为中间图像。
图38是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像665、670和675和中间图像666、671、和676之间的关系的图。
在图38的实例中,确定以包括蝴蝶在全景图像中的位置作为中心的中间图像。需注意,蝴蝶可被检测为移动体或可通过对象检测被检测为特定对象。
以这种方式,为了适当地检查主要对象,在不将中间图像固定在全景图像的中心部分(视角的中心部分)的情况下,包括基于图像分析和其周围环境而检测的特征的图像可显示为中间图像。
[其中记录了特征的坐标的实例]
如上所述,拍摄后取景显示的主要目的是例如检查通过成像记录的图像并确定是否有必要重新捕捉图像。需注意,检查通过成像记录的图像是例如检查其中记录了主要对象的状态是否是令人满意的(例如,检查是否在对将要落到花朵上的蝴蝶成像时捕捉了在蝴蝶落到花朵上时的时刻)。例如,检查了视角(即,通过成像记录的图像区域)是否是令人满意的。
例如,假设捕捉其中主要拍摄对象是人物且背景是远处风景的图像的情况。在这种情况下,如上所述,可进行不捕捉具有其中主要对象(人物)位于图像的中心的组成的图像,但捕捉具有其中人物位于从图像的中心偏离到左和右中的任一边的位置处的组成的图像。
在这种情况下,如果在显示单元140上显示的中间图像的区域被固定在视角的中心,则存在例如在成像之后的拍摄后取景显示的过程中不可适当地进行检查图像的担心。例如,当检查其中记录了主要对象的状态是否是令人满意的状态并确定是否有必要重新捕捉图像时,假设会发生难以进行确定因为主要对象不包括在中间图像中的不便。
因此,为了适当地进行这些检查,有利的是,如上文所述,在不将在中间图像中显示的区域固定在视角的中间部分的情况下,可显示包括基于图像分析而检测的特征的区域及其周围环境。
通常对在成像之前的实时取景显示期间过程中输入成像器件中的图像和对在进行成像和记录时输入成像器件中的图像进行通过图像分析对对象的位置的检测。此外,通常在成像之后删除检测结果。如果以这种方式删除通过图像分析对对象进行的位置检测结果,则不能在拍摄后取景显示过程和再现显示过程中使用检测结果。
在本发明的第一实施方式中,在成像过程通过图像分析检测的特征位置(在全景图像中的特征坐标)被记录为与全景图像相关联。例如,特征位置可被记录在生成的图像的像素数据(或其压缩数据以外的区域)以外的区域中。例如,特征位置可被以全景图像的Exif格式记录在图像数据的报头中或以图像数据中的jpeg形式记录在图像文件的报头中。例如,特征位置可被记录图27的部分“c”中所示的厂商说明185中。然后,在拍摄后取景显示过程中或在再现显示的任意时间点,可使用与全景图像相关联而记录的特征的坐标作为显示目标的和其周围环境的区域显示包括特征的中间图像。
或者,例如,除了全景图像之外,包括在成像过程中所检测的特征的和其周围环境的区域的图像(例如,中间图像)可以显示图像的分辨率被记录。例如,显示图像的文件识别信息(例如,文件名)可以全景图像的jpeg格式被记录在图像文件的报头等中。然后,在拍摄后取景显示过程中和再现显示的任意时间点,与全景图像相关联而被记录为显示目标的显示图像可被读出并显示为中间图像。
需注意,虽然在本发明的第一实施方式中,人脸或蝴蝶被检测为特定对象,但是人脸以外的对象可被检测为特定目标,人脸或蝴蝶以外的对象可被检测到并用作特定目标。例如,可检测并使用特定目标,诸如动物(包括哺乳动物、爬行动物,和鱼类(例如,狗、猫、牛和马)、汽车,和平面。
[其中显示全景图像中的图像区域的实例]
在上面提到的实例中,全景图像的整个图像(或类似该图像的图像)与中间图像、左图像和右图像一起显示。例如,如果用户能知道全景图像中显示的图像(中间图像、左图像和右图像)的位置(纵向方向上的位置),则用户很容易进行检查等。鉴于此,下面示出其中显示全景图像中显示的图像(中间图像、左图像和右图像)的区域的实例。
图39是由本发明的第一实施方式中的图像生成单元510生成的全景图像和各图像(中间图像、左图像和右图像)的显示例的图。需注意,图39中所示的图像和其布置与图35中的部分“b”中所示的实例相同。
在图39的部分“a”中所示的实例中,全景图像638中的中间图像634的区域由全景图像638上的框681指示。在图39的部分“b”中所示的实例中,全景图像638中的左图像的区域635由全景图像638上的框682指示且全景图像638中的右图像636的区域由全景图像638上的框683指示。需注意,这些框681至693基于作为显示目标的图像(中间图像、左图像和右图像)的位置而由显示控制单元550显示。
需注意,虽然全景图像638中的图像的区域在图39中所示的实例中由全景图像638上的框指示,但是也可采用另一种显示模式。例如,全景图像638中的图像的区域可在全景图像638上被覆盖半透明阴影线。或者,全景图像638中的图像的区域可在全景图像638上覆盖半透明阴影线且阴影线可闪烁。或者,全景图像638中的图像的区域可由全景图像638上的下划线或箭头指示。需注意,如图39的部分“b”中所示,当全景图像638中的左图像635和右图像636的区域在全景图像638被指示时,可以不同方式进行用于指示右图像的区域的显示和用于指示左图像的区域的显示。需注意,可通过例如框或半透明阴影线来进行用于指示左图像和右图像的区域的显示。例如,当图像的区域由全景图像上的框(整个图像)指示时,可对左框和右帧采用不同的显示颜色。
图40是其中由本发明的第一实施方式中的图像生成单元510生成的全景图像和各图像(中间图像、左图像和右图像)的显示例的图。在图40的实例中,全景图像中的图像的区域(中间图像、左图像和右图像)由全景图像上的框(整个图像)指示。需注意,图40示出通过对图30的部分“b”中所示的显示例添加和布置全景图像685而获得的显示例。
具体而言,全景图像685中的中间图像604的区域由全景图像685上的框686指示。此外,全景图像685中的左图像605的区域由全景图像685上的框687指示且全景图像685中的右图像606的区域由全景图像685上的框688指示。
需注意,虽然在图40中所示的实例中,全景图像685中的图像的区域由全景图像685上的框指示,但是也可采用另一种显示模式,如图39。例如,全景图像685中的图像的区域可在全景图像685上覆盖半透明阴影线。或者,全景图像685中的图像的区域可在全景图像685上覆盖半透明阴影线且阴影线可闪烁。此外,全景图像685中的图像的区域可由全景图像685上的下划线或箭头指示。
需注意,有利的是,指示中间图像的区域的显示和指示左图像和右图像的区域的显示可以处于不同显示模式下。例如,中间图像的区域可覆盖半透明阴影线且左图像和右图像的区域可由框包围。在这种情况下,有利的是,指示左图像和右图像的区域的显示可处于不同显示模式下。例如,可在指示左图像和右图像的框中采用不同显示颜色。
[其中根据模式变化区域显示的实例]
如上面所提到的,有利的是,进行指示图像的区域的显示,以便使用户在成像过程中容易地理解图像的组成等。应注意,在再现过程中,假设重要的是观看全景图像而不是检查图像的组成等。以这种方式,用户希望对显示图像检查的内容根据模式而不同。例如,在实时取景显示过程中、在拍摄后取景显示过程中,且在再现显示过程中,用户希望对显示图像检查的内容不同。鉴于此,示出其中当显示全景图像时根据用户对每个模式的希望而显示全景图像的实例。即,示出其中区域显示根据显示模式而变化的实例。
例如,在主要目的是检查图像的实时取景显示和拍摄后取景显示中,指示图像区域的显示信息(例如,图39和图40中所示的框681至683和686至688)显示在全景图像中。
另一方面,在主要目的是观看图像的再现显示中,指示图像的区域的显示信息不显示在全景图像中。
或者,当信息处理装置100从工厂发货时,可设置这些显示方法。或者,在实时取景显示、拍摄后取景显示和再现显示的每个中,用户可以能够单独设置是否显示指示全景图像中的图像的区域的显示信息。例如,项目设置屏幕可显示在信息处理装置100的显示单元140上且用户可在项目设置屏幕中进行设置。
[其中滚动显示中间图像的实例]
在上面提到的实例中,示出其中图像(中间图像、左图像和右图像)(它们显示在显示单元140上)在全景图像中的位置(纵向方向上的位置)被固定的图像。还假设,在移动中间图像在全景图像中的位置(纵向方向上的位置)的同时显示中间图像。鉴于此,下面示出其中在移动中间图像在全景图像中的位置(纵向方向上的位置)(所谓的自动滚动显示)的同时显示中间图像的实例。
图41是由本发明的第一实施方式中的图像生成单元510生成的全景图像中的中间图像的区域的转变例的图。需注意,图41中所示的全景图像与图29的部分“b”中所示的全景图像600相同。此外,在41图中,全景图像中的中间图像的区域由框690包围并指示。
需注意,虽然图41为了便于说明示出仅四个区域作为全景图像中的中间图像的区域的转换,但是中间图像的区域可以时间为移动间隔移位一个像素或多个像素。可设置移动速度使得用户可容易地观看区域的中间图像。
图42和图43示出由本发明的第一实施方式中的图像生成单元510生成的全景图像和各图像(中间图像、左图像和右图像)的显示例的图。需注意,图42和图43中所示的全景图像685、左图像605和右图像606与图40中的那些相同。应注意,在图42和图43中的每个中所示的实例中,关于指示图像的区域的显示信息,仅显示有关中间图像的显示信息(框691、693、695和697)。
此外,全景图像685中的中间图像的区域的转换对应于图41中所示的转换。
以这种方式,在自动移动全景图像中的中间图像的区域的同时显示中间图像。进行中间图像的所谓自动滚动显示。
是否进行中间图像的自动滚动显示可根据模式而设置。例如,当进行用于检查成像之前的对象的实时取景显示时和当进行用于检查成像之前的记录图像的拍摄后取景显示时,不进行中间图像的自动滚动显示。即,中间图像被显示为中间图像在全景图像中的位置(纵向方向上的位置)被固定。另一方面,当进行在任意时间点上再现显示图像时,进行中间图像的自动滚动显示。
或者,例如,显示控制单元550可在实时取景过程中或拍摄后取景过程中基于用户操作切换第一显示方法和第二显示方法。第一显示方法是例如显示其中中间图像在全景图像中的位置被固定的中间图像的显示方法。此外,第二显示方法是显示包括其中存在包括在全景图像中的特定目标的区域的图像作为中间图像的显示方法。另一方面,显示控制单元550可在再现过程中基于用户操作切换第三显示方法(自动滚动显示)和第二显示方法。
或者,只有当进行用于检查成像之前的对象的实时取景显示时,可在不进行中间图像的自动滚动显示的情况下显示特定区域(例如,中间图像的区域)。在这种情况下,当进行用于检查成像之后的记录图像的拍摄后取景显示时和当进行在任意时间点对图像进行再现显示时,可进行中间图像的自动滚动显示。或者,当进行实时取景显示时和当进行拍摄后取景显示时,在不进行中间图像的自动滚动显示的情况下显示特定区域,且当进行在任意时间点对图像进行再现显示时,可进行中间图像的自动滚动显示。
或者,例如,显示控制单元550可在实时取景过程中基于用户操作切换第一显示方法和第二显示方法。另一方面,显示控制单元550可在拍摄后取景过程中或再现过程中基于用户操作切换第三显示方法和第二显示方法。
或者,当信息处理装置100从工厂出货或当用户使用信息处理装置100时,可进行设置这些显示方法。或者,在实时取景显示、拍摄后取景显示和再现显示的每个中,用户可以能够单独设置是否进行中间图像的自动滚动显示。此外,例如,能够单独设置由实时取景操作进行的图像显示方法、由拍摄后取景操作进行的图像显示方法,和由再现操作进行的图像显示方法。如果作出这样的设置,则显示控制单元550能够基于设置来显示图像。或者,关于那些各种设置,项目设置屏幕可显示在信息处理装置100的显示单元140上,且用户可在项目设置屏幕上手动进行这些各种设置。或者,当各实时取景显示、拍摄后取景显示和再现显示的每个的功能被激活时,可根据项目设置屏幕中设置内容显示中间图像。
此外,输入来自用户的指令的输入单元(例如,触摸面板)可设置到信息处理装置100的壳体的表面。然后,当用户在实时取景显示、拍摄后取景显示和再现显示的每个的期间通过输入单元输入指令时,可在静态图像显示和自动滚动显示之间切换中间图像的显示达每个显示时期。自动滚动显示是在将显示为中间图像的区域从全景图像中的两个端部的一端移动到另一端的同时显示中间图像的显示方法的实例。此外,静态图像显示是在不移动显示为中间图像的区域的情况下将特定区域显示为中间图像的显示方法的实例。
例如,假设其中从用户接收到关于中间图像的显示方法的切换指令操作(静态图像显示和自动滚动显示)的情况。在这种情况下,显示控制单元550能够基于切换指令操作选择自动滚动显示和静态图像显示中的任一个并显示中间图像。
或者,在中间图像的静态图像显示或自动滚动显示完成时的时间点显示方法中的哪一个被用作中间图像的显示方法可被存储在信息处理装置100的内部。然后,当存储的实时取景显示、拍摄后取景显示和再现显示的每个的功能被激活时,根据所存储的内容显示中间图像。
例如,如果切换中间图像的显示方法,则在完成基于切换显示中间图像的时候,存储根据切换的显示方法。然后,当在完成基于切换显示中间图像之后显示新全景图像时,可使用所存储的显示方法显示全景图像中的中间图像。
[其中基于用户操作显示中间图像的实例]
在上面提到的实例中,图像(中间图像、左图像和右图像)自动显示在显示单元140上。还重要的是,在用户希望观看的位置(纵向方向上的位置)处迅速显示中间图像。鉴于此,下面示出其中基于用户操作显示中间图像的实例。即,示出其中中间图像的显示区域基于用户操作而变化的实例。
图44是由本发明的第一实施方式中的图像生成单元510生成的全景图像和各图像(中间图像、左图像和右图像)的显示例的图。应注意,图44中所示的全景图像685、左图像605和右图像606与图40中所示的那些相同。应注意,在图44所示的实例中,关于指示图像的区域的显示信息表,仅显示有关中间图像的显示信息(框701和703)。
假设其中信息处理装置100的显示单元140由触摸面板构成的情况。在这种情况下,例如,当用户用手指10按下显示单元140的显示表面时,按压操作被检测为电学性质的变化,诸如电阻变化和电容变化。然后,当在显示中间图像的特定区域的过程中检测到按压操作时,可产生并显示以检测位置为中心的中间图像。此外,在其中使用能够由用户检测相对于显示单元140的显示表面的邻近处(例如,身体的一部分(诸如手和手指)邻近处)的触摸面板的情况下,还是当接近检测到该邻近处时,可在检测到按压操作时显示中间图像。
假设其中在作为中间图像的另一种显示模式的上述自动滚动显示的过程中检测到按压操作的情况。在这种情况下,显示其中所检测位置作为中心的中间图像。在显示之后,中间图像可作为静态图像被连续地显示,或自动滚动显示可以该位置作为开始点而重新开始。
例如,假设其中进行用于指定全景图像中的位置的指定操作的情况。在这种情况下,当通过自动滚动显示来显示中间图像时,显示控制单元550显示作为新中间图像的包括由指定操作指定的全景图像中的位置和其周围区域的图像。然后,显示控制单元550进行中间图像的显示,同时进行以该位置作为开始点的移动。另一方面,如果在进行指定操作时通过静态图像显示来显示中间图像,则显示控制单元550显示作为新中间图像的包括该位置和其周围区域的图像。
需注意,例如,静电型(静电电容型)的触摸面板、压敏型(电阻膜型)的触摸面板,或光学触摸面板可用作触摸面板。
或者,触摸面板以外的操作构件(例如,箭头键)可被用于指定中间图像应在其上显示的位置。
[两行显示的修改例]
在上面提到的实例中,中间图像、左图像和右图像在显示单元140的纵向方向上以两行而显示。应注意,根据每个图像的尺寸,中间图像、左图像和右图像可在显示单元140的纵向方向上以一行而显示。鉴于此,下面示出其中中间图像、左图像和右图像在显示单元140的纵向方向上以一行而显示的情况。
图45是示出由本发明的第一实施方式中的图像生成单元510生成的全景图像600和作为显示目标的图像的关系和显示单元140的显示例的图。
在图45的部分“a”中,示出由图像生成单元510示出的全景图像600。图45的部分“a”中所示的关系与图30的部分“a”中所示的关系相同。在图45的部分“b”中,示出在显示单元140上显示的全景图像711和图像(中间图像712、左图像713和右图像714)的显示例。
如图45的部分“a”和“b”中所示,通过相对减小图像(中间图像712、左图像713和右图像714)的水平宽度,这些图像可在显示单元140的纵向方向在以一行而显示。由此,图像可被显示为与全景图像711的水平方向一致。
当进行信息处理装置(诸如智能电话和蜂窝电话)的电话呼叫操作或创建或读取电子邮件的文件的操作时,壳体通常在垂直状态下使用。因此,例如,还是当使用带有相机的信息处理装置进行成像时,壳体和显示单元通常保持在垂直状态下进行成像,使得垂直长图像被记录。
鉴于此,在本发明的第一实施方式中,在信息处理装置100(诸如智能电话和蜂窝电话)中,多个成像系统被布置在与信息处理装置100的纵向方向正交的正交方向上。由此,即使在信息处理装置100在垂直状态下进行成像时,全景图像也可被记录。
此外,在实时取景显示的过程中、在拍摄后取景显示的过程中,或在再现显示的过程中,当在信息处理装置100处于垂直状态下的同时显示全景图像时,通过划分全景图像而获得的多个图像在显示单元140的纵向方向上以多行而显示。由此,在具有多眼相机的便携式信息处理装置100中,在其中用户将信息处理装置100保持在垂直状态下的状态下可容易地进行捕捉多眼全景图像。此外,即使在信息处理装置100在垂直状态下的同时显示全景图像时,全景图像也可适当地显示。
[当信息处理装置的状态(垂直状态和水平状态)变化时的显示例]
在上文中,示出当信息处理装置100在垂直状态下时的全景图像的显示例。应注意,还假设一些用户在信息处理装置100处于水平状态下的时候观看全景图像。
例如,还假设相同数量的显示行被设置在水平状态和垂直状态下。例如,当将全景图像在水平状态下显示时,可通过显示具有显示单元140的全水平宽度的全景图像来以大尺寸显示全景图像。然而,全景图像的上方和下方的每个边缘区域在上方向和下方向上的高度在全景图像被显示为具有显示单元140在水平状态下的全水平宽度时比在全景图像被显示为具有显示单元140在垂直状态下的全水平宽度时小。以这种方式,全景图像的上方和下方的每个边缘区域在水平状态的情况下比垂直状态下窄。因此,有利的是,显示行数在水平状态的情况下比垂直状态下少。鉴于此,下面示出当信息处理装置100的状态(垂直状态和水平状态)变化时的显示例。
图46是在由本发明的第一实施方式中的图像生成单元510生成的全景图像被显示在显示单元140上时的显示例的图。
在图46的部分“a”到“c”的每个的左手侧上,示出当信息处理装置100处于水平状态下时全景图像的显示例。在图46的部分“a”到“c”的每个的右手侧上,示出当信息处理装置100处于垂直状态下时全景图像的显示例。
例如,当信息处理装置100处于水平状态下时,仅全景图像720或全景图像720和中间图像721显示在显示单元140上。例如,当信息处理装置100处于垂直状态下时,中间图像722、左图像723和右图像724显示在显示单元140上或全景图像的缩小图像725与这些图像一起显示在显示单元140上。
以这种方式,使在用户保持信息处理装置100使得显示单元140处于垂直状态下时的图像的行数大于在用户保持信息处理装置100使得显示单元140处于水平状态下时的图像的行数。由此,即使信息处理装置的状态(垂直状态和水平状态)变化时,全景图像可以用户可容易地观看全景图像的方式而显示。
[信息处理装置的修改例]
接下来,将描述包括多个成像系统的信息处理装置的修改例。
图47和图48是本发明的第一实施方式中的信息处理装置100的修改例的图。
图47和图48示出具有包括在不同壳体(第一壳体811和第二壳体812)中的显示单元140和成像单元130的信息处理装置800。在图47的部分“a”中,示出信息处理装置800的俯视图。在图47的部分“b”中,示出信息处理装置800的电子基板的布置实例。需注意,图47的部分“a”对应于图1的部分“a”且图47的部分“b”对应于图1的部分“e”。在图48的部分“a”中,示出信息处理装置800的前视图。在图48的部分“b”中,示出信息处理装置800的侧视图。在图48的部分“c”中,示出信息处理装置800的后视图。需注意,图48的部分“a”对应于图1的部分“b”,图48的部分“b”对应于图1的部分“c”,且图48的部分“c”对应于图1的部分“d”。图1中所示的那些信息处理装置100共同的部分由相同参考符号表示。
信息处理装置800由例如包括多个成像系统的信息处理装置(例如,具有多眼相机的翻盖手机)来实现。
信息处理装置800包括旋转构件802、第一壳体811和第二壳体812。第一壳体811和第二壳体812彼此耦合,使得第一壳体811和第二壳体812可以旋转构件802为旋转轴而折叠。即,可进行折叠式使得操作单元801和显示单元140以旋转构件802为旋转轴而彼此相对。
第一壳体811包括成像单元130和显示单元140。第二壳体812还包括操作单元801、电子基板815和电池存储单元816。
操作单元801是包括数字键盘、箭头键、确定键等的操作件。
以这种方式,本发明的第一实施方式可应用于包括多个成像系统的可折叠信息处理装置800。需注意,在本修改例中,三个成像系统根据预定规则而布置。应注意,本发明的第一实施方式可应用于包括两个或四个或多个成像系统的信息处理装置(例如,成像器件,诸如数码静态相机和数码摄像机(例如,集成相机的记录器))。即,可通过根据预定规则布置两个或四个或更多个成像系统来应用本发明的第一实施方式。其中两个成像系统根据预定规则而布置的实例示于图49和图51中。
图49至图51是本发明的第一实施方式中的信息处理装置100的修改例的图。
图49示出具有包括在壳体中的显示单元140和成像单元830的信息处理装置820。在图49的部分“a”中,示出信息处理装置820的俯视图。在图49的部分“b”中,示出信息处理装置820的前视图。在图49的部分“c”中,示出信息处理装置820的侧视图。在图49的部分“d”中,示出信息处理装置820的后视图。在图49的部分“e”中,示出信息处理装置820的电子基板的布置实例。需注意,图49的部分“a”至“e”分别对应于图1的部分“a”至“e”。图1中所示的那些信息处理装置100共同的部分由相同参考符号表示。
如图49的部分“a”中所示,构成成像单元830的两个成像系统(光学系统831和832和成像器件833和834)的光轴将被称为光轴835和836。在这种情况下,由光轴835和与显示单元140的显示表面正交的(或几乎正交的)的垂直线837所形成的角度由θ指示,且由光轴836和垂直线837形成的角度由θ指示。即,两个成像系统(光学系统831和832和成像器件833和834)被布置为使得两个成像系统(光学系统831和832和成像器件833和834)的光轴835和836位于相对于垂直线837的线对称位置处。
信息处理装置820由包括例如多个成像系统的信息处理装置(例如,具有多眼相机的智能电话和具有多眼相机的蜂窝电话)来实现。
信息处理装置820包括电子基板101、电池存储单元102、转换开关111、确定键112、显示单元140和成像单元830。需注意,信息处理装置820与图1中所示的信息处理装置100相同,不同点在于提供了构成成像单元830的两个成像系统(光学系统831和832和成像器件833和834)。因此,这里不再赘述详细描述。
图50和图51示出具有包括在不同壳体(第一壳体811和第二壳体812)中的显示单元140和成像单元830的信息处理装置840。在图50的部分“a”中,示出信息处理装置840的俯视图。在图50的部分“b”中,示出信息处理装置840的电子基板的布置实例。在图51的部分“a”中,示出信息处理装置840的前视图。在图51的部分“b”中,示出信息处理装置840的侧视图。在图51的部分“c”中,示出信息处理装置840的后视图。需注意,图50的部分“a”和“b”和图51的部分“a”至“c”分别对应于图47的部分“a”和“b”和图48的“a”至“c”。图47和图48中所示的那些信息处理装置800和图49中所示的那些信息处理装置820共同的部分由相同参考符号表示。
信息处理装置840由包括例如多个成像系统的信息处理装置(例如,具有多眼相机的翻盖手机)来实现。
信息处理装置840包括旋转构件802、第一壳体811和第二壳体812。需注意,信息处理装置840与图47和图48中所示的信息处理装置800相同,不同点在于,提供了构成成像单元830的两个成像系统(光学系统831和832和成像器件833和834)。因此,这里不再赘述详细描述。
[全景图像和其它图像的显示例]
如上文所提到的,可显示由包括多个成像系统的信息处理装置生成的全景图像。包括多个成像系统的信息处理装置也能够生成正常图像(例如,纵横比为3:4图像),因此,还重要的是适当地显示这些图像。
鉴于此,下面示出其中适当地显示由包括多个成像系统的信息处理装置生成的图像的实例。
[包括三个成像单元的信息处理装置的显示例]
图52至图54是每个都示出是由本发明的第一实施方式中的信息处理设备生成的图像的显示例的图。图52至图54示出三个成像器件中的每个图像读出区域(由厚矩形指示)和由显示控制单元550在显示单元140上显示的图像之间的关系。需注意,那些图像由例如图1中所示的信息处理装置100和图47和图48中所示的信息处理装置800生成。
在图52的部分“a”中,示出在使用三个成像器件中的一个成像器件(中间成像器件)的一部分生成图像851(例如,垂直长为3:4图像)时的显示例。在这种情况下,如图52的部分“b”中所示,显示了由一个成像器件生成的图像852的整体。即,当图像(例如,垂直长为3:4的图像)在显示单元140的显示屏幕上显示时,图像可以行数(例如,一行)小于在全景图像显示时的行数而显示。
在图53的部分“a”中,示出在使用三个成像器件中的一个成像器件(中间成像器件)的整体生成图像853(例如,水平长为4:3的图像)时的显示例。在这种情况下,如图53的部分“b”中所示,显示了由一个成像器件生成的整个图像854。即,当图像(例如,水平长为4:3的图像)在显示单元140的显示屏幕上显示时,图像可以以行数(例如,一行)小于在全景图像显示时的行数而显示。
在图54的部分“a”中,示出在使用三个成像器件生成全景图像850时的显示例。在这种情况下,如图54的部分“b”中所示,划分并显示了全景图像850。例如,通过划分全景图像850而获得的多个图像855至857被显示为中间图像858、左图像859和右图像860。
[包括两个成像单元的信息处理装置的显示例]
图55至图57是每个都示出由本发明的第一实施方式中的信息处理装置生成的图像的显示例。图55至图57示出两个成像器件中的每个图像读出区域(由厚矩形指示)和由显示控制单元550在显示单元140上显示的图像之间的关系。需注意,那些图像由例如图49中所示的信息处理装置820和图50和图51中所示的信息处理装置840生成。
在图55的部分“a”中,示出在使用两个成像器件的一部分生成图像871(例如,垂直长为3:4图像)时的显示例。在这种情况下,如图55的部分“b”中所示,显示了由两个成像器件的一部分生成的图像872的整体。即,当图像(例如,垂直长为3:4图像)在显示单元140的显示屏幕上显示时,图像可以以行数(例如,一行)小于在全景图像显示时的行数而显示。
在图56的部分“a”中,示出在使用两个成像器件的一部分生成图像873时的显示例。在这种情况下,如图56的部分“b”中所示,显示了由两个成像器件的一部分生成的图像874的整体。即,当图像(例如,水平长为4:3的图像)在显示单元140的显示屏幕上显示时,图像可以行数(例如,一行)小于在全景图像显示时的行数而显示。
在图57的部分“a”中,示出在使用两个成像器件生成全景图像870时的显示例。在这种情况下,如图57的部分“b”中所示,划分并显示了全景图像870。例如,通过划分全景图像870而获得的多个图像875至877被显示为中间图像878、左图像879和右图像880。
[信息处理装置的操作实例]
图58是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理的处理过程的实例的流程图。
首先,作出成像模式或再现模式是否被设置为操作模式的确定(步骤S901)。需注意,如果设置了成像模式和再现模式以外的操作模式,则进行根据设置操作模式的处理。
如果设置了成像模式(步骤S901),则激活成像功能(步骤S902)并进行成像处理(步骤S910)。将参考图59来详细描述这种成像处理。
随后,作出成像模式是否被释放(步骤S903)的确定,并且如果成像模式没有被释放,则处理返回到步骤S910。另一方面,如果成像模式被释放(步骤S903),则作出是否设置了成像模式和再现模式以外的操作模式的确定(步骤S904)。然后,如果没设置成像模式和再现模式以外的操作模式(步骤S904),则处理返回到步骤S901。另一方面,如果设置了成像模式和再现模式以外的操作模式(步骤S904),则终止显示控制处理的操作。
此外,如果设置了再现模式(步骤S901),则激活再现功能(步骤S905)并进行再现处理(步骤S940)。将参考图61来详细描述该再现处理。
随后,作出再现模式是否被释放(步骤S906)的确定,并且如果再现模式没有被释放,则处理返回到步骤S940。另一方面,如果再现模式被释放(步骤S906),则确定是否设置了成像模式和再现模式以外的操作模式的作出(步骤S904)。
图59是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理的成像处理过程(图58的步骤S910中的处理过程)的实例的流程图。
首先,显示控制单元550确定由图像生成单元510生成的图像的纵横比为是否用于全景图像(步骤S911)。然后,如果图像的纵横比用于全景图像(步骤S911),则进行全景成像处理(步骤S930)。需注意,将参考图60来详细描述这个全景成像处理。
否则,如果图像的纵横比不用于全景图像(步骤S911),则显示控制单元550确定图像的纵横比是否为3:4(步骤S912)。然后,如果图像的纵横比为3:4(步骤S912),则显示控制单元550使显示单元140显示由图像生成单元510生成的图像(3:4图像)(步骤S913)。即,3:4图像被实时取景显示。
随后,作出快门按钮(例如,确定键112)是否被按下的确定(步骤S914),并且,如果快门按钮没有被按下,则终止成像处理的操作。另一方面,如果快门按钮被按下(步骤S914),则记录控制单元530记录在存储单元540中按下的定时生成的图像(3:4图像)(步骤S915)。随后,显示控制单元550使显示单元140显示图像(3:4图像)作为存储单元540中的记录目标(步骤S916)。即,3:4图像被取景后显示。
否则,如果图像的纵横比不是3:4(如果图像的纵横比为4:3)(步骤S912),则显示控制单元550使显示单元140显示由图像生成单元510生成的图像(4:3的图像)(步骤S917)。即,4:3的图像被实时取景显示。
随后,作出快门按钮是否被按下的确定(步骤S918),并且,如果快门按钮没有被按下,则终止成像处理的操作。另一方面,如果快门按钮被按下(步骤S918),则记录控制单元530记录在存储单元540中按下的定时生成的图像(3:4图像)(步骤S919)。随后,显示控制单元550使显示单元140显示图像(3:4图像)作为存储单元540中的记录目标(步骤S920)。即,3:4图像被取景后显示。
图60是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程(图59的步骤S930中的处理过程)的全景成像处理过程的实例的流程图。
首先,显示控制单元550使显示单元140显示由图像生成单元510生成的图像(全景图像)(步骤S931)。在这种情况下,通过划分全景图像而获得的多个图像被以多行(显示单元140的纵向方向的多行)实时取景显示(步骤S931)。例如,如图32等所示,显示了实时取景图像。在这种情况下,如果检测到特征,如图37和图38中所示,则包括特征的图像可被显示为中间图像。
随后,作出快门按钮是否被按下的确定(步骤S932),并且,如果快门按钮没有被按下,则终止全景成像处理的操作。另一方面,如果快门按钮被按下(步骤S932),则记录控制单元530记录在存储单元540中按下的定时生成的图像(全景图像)(步骤S933)。在这种情况下,如果检测到特征,则特征的信息(例如,全景图像中的特征的坐标)被记录为与全景图像相关联。或者,除了全景图像之外,包括特征的外围图像可被记录为与全景图像相关联。包括特征的外围图像可被记录为例如显示图像(例如,缩略图图像)。
随后,显示控制单元550使显示单元140显示图像(全景图像)作为存储单元540中的记录目标(步骤S934)。在这种情况下,通过划分全景图像而获得的多个图像被以多行(显示单元140的纵向方向的多行)拍摄后取景显示(步骤S934)。例如,如图32等所示,显示了拍摄后取景图像。在这种情况下,如果检测到特征,如图37和图38中所示,则包括特征的图像可被显示为中间图像。
图61是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的再现处理过程(图58的步骤S940中的处理过程)的实例的流程图。
首先,显示控制单元550确定用户指令再现的图像(存储在存储单元540中的图像)的纵横比为是否用于全景图像(步骤S941)。然后,如果图像的纵横比用于全景图像(步骤S941),则显示控制单元550基于来自姿态检测单元150的姿态信息确定显示单元140是否处于垂直状态(步骤S942)。
然后,如果显示单元140处于垂直状态下(步骤S942),则显示控制单元550使显示单元140显示用户指令再现的图像(存储在存储单元540中的图像)(步骤S943)。在这种情况下,通过划分全景图像而获得的多个图像被以多行(显示单元140的纵向方向的多行)显示(步骤S943)。例如,如图32等所示,显示了图像。在这种情况下,如果检测到特征与全景图像相关联,如图37和图38中所示,则包括特征的图像可被显示为中间图像。
此外,如果显示单元140不处于垂直状态下(如果显示单元140处于水平状态)(步骤S942),则显示控制单元550使显示单元140显示用户指令再现的全景图像(存储在存储单元540中的全景图像)(步骤S944)。在这种情况下,全景图像被以比在垂直状态下显示时的行数少的行数(显示单元140的纵向方向上的行数)显示(步骤S944)。例如,如图46的部分“a”至“c”的左手侧所示,显示了图像。
否则,如果图像的纵横比不用于全景图像(步骤S941),则显示控制单元550确定图像的纵横比是否为3:4(步骤S945)。然后,如果图像的纵横比为3:4(步骤S945),则显示控制单元550基于来自姿态检测单元150的姿态信息确定显示单元140是否处于垂直状态(步骤S946)。
然后,如果显示单元140处于垂直状态下(步骤S946),则显示控制单元550使显示单元140显示用户指令再现的图像(存储在存储单元540中的3:4图像)(步骤S947)。在这种情况下,指令再现的3:4图像被直立显示(步骤S947)。例如,如图52和图55所示,显示了图像。
否则,如果显示单元140不处于垂直状态(如果显示单元140处于水平状态)(步骤S946),则显示控制单元550使显示单元140显示用户指令再现的图像(存储在存储单元540中的3:4图像)(步骤S948)。在这种情况下,指令再现的3:4图像被直立显示(步骤S948)。
否则,如果图像的纵横比不是3:4(如果纵横比是4:3)(步骤S949),则显示控制单元550基于来自姿态检测单元150的姿态信息确定显示单元140是否处于垂直状态(步骤S949)。
然后,如果显示单元140处于垂直状态下(步骤S950),则显示控制单元550使显示单元140显示用户指令再现的图像(存储在存储单元540中的4:3的图像)(步骤S950)。在这种情况下,指令再现的4:3的图像被直立显示(步骤S950)。例如,如图53和图56所示,显示了图像。
否则,如果显示单元140不处于垂直状态下(如果显示单元140处于水平状态)(步骤S949),则显示控制单元550使显示单元140显示用户指令再现的图像(存储在存储单元540中的4:3的图像)(步骤S951)。在这种情况下,指令再现的4:3的图像被直立显示(步骤S950)。
[当中间图像被卷动显示时的操作实例]
在上文中,描述了当进行其中在显示单元140上显示的图像(中间图像、左图像和右图像)的位置(纵向方向上的位置)在全景图像中被固定的显示时的操作实例。下面描述在移动中间图像在全景图像中的位置(纵向方向上的位置)的同时进行显示(所谓的自动滚动显示)时的操作实例。
图62是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的处理过程的实例的流程图。需注意,图62是图58的修改例,因此与图58中所示的那些共同的部分由相同参考符号表示并省略了其描述。
首先,设置滚动方法(步骤S907)。在滚动方法的设置中,设置了是否在每个显示过程中进行滚动显示。此外,例如由用户手动或自动进行滚动方法的设置。设置内容被存储在例如显示控制单元550中。
否则,如果设置了成像模式(步骤S901),则激活成像功能(步骤S902)并进行成像处理(步骤S910)。将参考图63来详细地描述这样成像处理(图59中所示)中的全景成像处理(图59的步骤S930)。
否则,如果设置了再现模式(步骤S901),则激活再现功能(步骤S905)并进行再现处理(步骤S960)。将参考图64详细描述该再现处理。
图63是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程(图59的步骤S930中的处理过程)的全景成像处理过程的实例的流程图。需注意,图63是图60的修改例,因此与图60中所示的那些共同的部分由相同参考符号表示并省略了其描述。
首先,显示控制单元550在实时取景显示过程中读出滚动方法的设置(步骤S921)。随后,基于滚动方法的读出设置,显示控制单元550使显示单元140显示由图像生成单元510生成的图像(全景图像)(步骤S922)。例如,如果作出在实时取景显示过程中进行滚动的设置,如图42和图43中所示,则在移动中间图像在全景图像中的位置(纵向方向上的位置)的同时进行中间图像的显示。另一方面,如果不进行在实时取景显示过程中进行滚动的设置,则中间图像被显示为中间图像在全景图像中的位置被固定。
随后,作出是否进行滚动方法的设置变化的确定(步骤S923)。例如,在实时取景显示过程中,由用户通过手动操作进行滚动方法的设置变化(例如,从进行滚动显示到不进行滚动显示或从不进行滚动显示到进行滚动显示)。然后,如果进行滚动方法的设置变化(步骤S923),则在实时取景显示过程中变化滚动方法(步骤S924),并在变化之后存储滚动方法(步骤S925)。
随后,显示控制单元550在拍摄后取景显示过程中读出滚动方法的设置(步骤S926)。随后,显示控制单元550基于滚动方法的读出设置使显示单元140显示图像(全景图像)作为存储单元540中的记录目标(步骤S927)。例如,如果作出在拍摄后取景显示过程中进行滚动的设置,如图42和图43中所示,则在移动中间图像在全景图像中的位置(纵向方向上的位置)的同时显示中间图像。另一方面,如果作出在拍摄后取景显示过程中不进行滚动的设置,则中间图像被显示为中间图像在全景图像中的位置被固定。
随后,作出是否进行滚动方法的设置变化的确定(步骤S928)。例如,在拍摄后取景显示过程中,由用户通过手动操作进行滚动方法的设置变化(例如,从进行滚动显示到不进行滚动显示或从不进行滚动显示到进行滚动显示)。然后,如果进行滚动方法的设置变化(步骤S928),则在实时取景显示过程中变化滚动方法(步骤S929),并在变化之后存储滚动方法(步骤S935)。
图64是示出由本发明的第一实施方式中的信息处理装置100进行的再现处理过程(图62的步骤S960中的处理过程)的实例的流程图。需注意,图64是图61的修改例,因此与图61中所示的那些共同的部分由相同参考符号表示并省略了其描述。
如果显示单元140处于垂直状态下(步骤S942),则进行垂直状态全景再现处理(步骤S970)。将参考图65来详细描述垂直状态全景再现处理。
否则,如果在显示单元140不处于垂直状态下(显示单元140处于水平状态)(步骤S942),则进行水平状态全景再现处理(步骤S980)。将参考图66来详细描述水平状态全景再现处理。
图65是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的垂直状态全景再现处理过程(图64的步骤S970中的处理过程)的实例的流程图。
首先,显示控制单元550在再现显示过程中读出滚动方法的设置(步骤S971)。随后,基于滚动方法的读出设置,显示控制单元550使显示单元140显示用户指令再现的图像(存储在存储单元540中的全景图像)(步骤S972)。例如,如果作出在实时取景显示过程中进行滚动的设置,如图42和图43中所示,则在移动中间图像在全景图像中的位置(纵向方向上的位置)的同时显示中间图像。另一方面,如果作出在再现显示过程中不进行滚动的设置,则中间图像被显示为中间图像在全景图像中的位置被固定。
随后,作出是否进行滚动方法的设置变化的确定(步骤S973)。例如,在再现显示过程中,由用户通过手动操作进行滚动方法的设置变化(例如,从进行滚动显示到不进行滚动显示或从不进行滚动显示到进行滚动显示)。然后,如果进行滚动方法的设置变化(步骤S973),则在再现过程中变化滚动方法(步骤S974),并在变化之后存储滚动方法(步骤S975)。
图66是示出由本发明的第一实施方式中的信息处理装置100进行的显示控制处理过程的水平状态全景再现处理过程(图64的步骤S980中的处理过程)的实例的流程图。
首先,显示控制单元550在再现显示过程中读出滚动方法的设置(步骤S981)。随后,基于滚动方法的读出设置,显示控制单元550使显示单元140显示用户指令再现的图像(存储在存储单元540中的全景图像)(步骤S982)。例如,当作出在再现显示过程中进行滚动的设置时,如图42和图43中所示,在移动中间图像在全景图像中的位置(纵向方向上的位置)的同时显示中间图像。另一方面,如果作出在再现显示过程中不进行滚动的设置,则中间图像被显示为中间图像在全景图像中的位置被固定。
随后,作出是否进行滚动方法的设置变化的确定(步骤S983)。例如,在再现显示过程中,由用户通过手动操作进行滚动方法的设置变化(例如,从进行滚动显示到不进行滚动显示或从不进行滚动显示到进行滚动显示)。然后,如果进行滚动方法的设置变化(步骤S983),则在再现过程中变化滚动方法(步骤S984),并在变化之后存储滚动方法(步骤S985)。
<2.第二实施方式>
在本发明的第一实施方式中,示出其中全景图像的多个区域在显示单元140的纵向方向上以多行而显示。假设当以这样的方式进行显示区域时,进行显示图像的放大/缩小操作或移动操作。例如,还假设当对以多行显示的多个图像的一部分进行放大操作且仅对其进行放大操作的图像被放大时,难以把握该图像和其它图像之间的关系。
鉴于此,在本发明的第二实施方式中,示出其中当对对应于全景图像的多个图像的图像进行操作时以对于用户容易观看的方式来显示图像的实例。需注意,本发明的第二实施方式的信息处理装置通过修改图1中所示的信息处理装置100的一部分而获得。因此,与信息处理装置100的那些共同的部分用相同参考符号表示并省略了其一些描述。
[放大操作过程中的显示转变例]
图67和图68是由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图。需注意,图67的部分“a”与图40中所示的显示例相同,不同点在于,没有在全景图像(整个图像)上显示框。
图67的部分“b”示出用于对图67的部分“a”中所示的图像中所示的图像进行放大显示的放大操作的实例。为了对图67的部分“a”中所示的图像进行放大显示,例如,进行加宽两个手指21和22之间的空间的操作(捏或捏出)。例如,在箭头1101的方向上移动手指21并且在箭头1102的方向上移动手指22。
图68的部分“a”示出当进行图67的部分“b”中所示的放大操作时的图像的转变例。
一种情况是,即当进行放大操作时,图像(左图像、右图像和中间图像)中的每个都经受其中图像中心作为原点的放大处理(例如,在箭头方向上放大的放大处理,其中以图68的部分“a”中的虚线示出的矩形1111的每个顶点作为开始点)。当以这种方式进行放大处理时,左图像和右图像不包括全景图像的端部(左端部和右端部),且仅左图像和右图像的内部被显示在放大状态下。即,当进行以图像中心作为原点的放大处理时,不能显示全景图像的端部(左端部和右端部)。鉴于此,在本发明的第二实施方式中,当进行放大操作时,包括全景图像的端部(左端部和右端部)的图像(左图像和右图像)经受以每个图像的端部(左端部或右端部)作为开始点的放大处理。另一方面,不包括全景图像的端部(左端部和右端部)的图像(中间图像)经受以图像中心作为原点的放大处理。在这种情况下,假设图像的放大倍率(显示放大倍率)相同。需注意,不包括全景图像的端部(左端部和右端部)的图像(中间图像)可根据用户操作经受甚至以图像中心作为原点的放大处理以外的各种类型的放大处理。
以这种方式,当进行图67的部分“b”中所示的放大操作时,进行图像的放大处理使得包括在虚线的矩形1111至1113中的图像以虚线的矩形1111至1113的顶点作为开始点在箭头方向上加宽。在图68的部分“b”中示出以这种方式进行放大处理之后的显示例。
图68的部分“b”示出进行图67的部分“b”中所示的放大操作之后所显示的图像的显示例。以这种方式,对其进行放大操作的中间图像1121以外的图像(左图像1122和右图像1123)也经受根据放大操作的放大处理并被显示。虽然对图67和图68中所示的实例中的中间图像进行放大操作,但是也在对另一图像(左图像或右图像)进行放大操作时,对其进行放大操作的图像以外的图像也在放大状态下显示。例如,当对图67中所示的左图像605进行放大操作时,对其进行放大操作的左图像605以外的中间图像604和右图像606也在放大状态下显示。例如,当对图67中所示的整个图像(全景图像685)进行放大操作(例如,捏或捏出)时,整个图像以外的图像(中间图像604、左图像605和右图像606)显示在放大状态下。虽然在图67和图68中所示的实例中进行了放大操作,但是也在其中进行缩小操作(例如,捏或捏出)的情况下,对其进行缩小操作的图像以外的图像也以减小尺寸显示。
在其中如图40中框被显示在全景图像(整个图像)上的情况下,框的尺寸可根据图像(中间图像、左图像和右图像)的放大或缩小而变化。这样的显示例示于图69中。
操作接收单元560接收用于指示以这种方式使用多个图像(中间图像、左图像和右图像)和整个图像(全景图像)中的至少一个来改变显示放大倍率的变更操作。当接收到变更操作时,显示控制单元550不会使整个图像(全景图像)经受根据变更操作的图像处理,而是使多个图像中的每一个都经受图像处理使得以根据变更操作的显示放大倍率被显示。具体而言,当接收到变更操作时,显示控制单元550使中间图像经受用于以中间图像内的位置作为基准而以显示放大倍率显示中间图像的图像处理。此外,显示控制单元550使左图像经受用于以全景图像的左端部作为基准而以显示放大倍率显示左图像的的图像处理,并使右图像经受用于以全景图像的右端部作为基准而以显示放大倍率显示右图像的的图像处理。
[在扩大操作期间显示信息的显示转变例]
图69是示出由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图。需注意,图69的部分“a”与图40中所示的显示例相同。
在图69的部分“b”示出在进行图67的部分“b”中所示的放大操作之后显示的图像的显示例。需注意,图69的部分“b”与图68的部分“b”中所示的显示例相同,不同点在于在全景图像(整个图像)上显示了框1124至1126。以这种方式,全景图像(整个图像)上的框的尺寸根据图像(中间图像、左图像和右图像)的放大或缩小而变化且显示了框。需注意,指示全景图像中的多个区域的位置的显示信息(例如,框)可以如本发明的第一实施方式的另一种显示模式而显示。例如,水平条可被显示为显示信息。
[在上方向和下方向上的移动操作过程中的显示转变例]
图70和图71是示出由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图。需注意,图70的部分“a”与图68的部分“b”中所示的显示例相同。
图70的部分“b”示出用于移动图70的部分“a”中所示的图像的移动操作(在上方向和下方向上的移动操作)的实例。为了显示图70的部分“a”中所示的图像的上部分,例如,进行用手指23在希望的方向上移动图像的操作。例如,手指23在箭头1130的方向上移动。
图71的部分“a”示出当进行图70的部分“a”中所示的在上方向和下方向上的移动操作时的图像的转变例。当在图70的部分“b”中所示的在上方向和下方向上进行移动操作时,进行图像的图像处理使得图像作为显示目标分别从虚线的矩形1131至1133的区域转换到实线的矩形1134到1136的区域。在这种情况下,假设图像的移动量是相同的。以这种方式进行图像处理之后的显示例示于图71的部分“b”中。
图71的部分“b”示出在进行图70中的部分“b”中所示的在上方向和下方向上的移动操作之后显示的图像的显示例。以这种方式,对其进行在上方向和下方向上的移动操作的中间图像1141以外的图像(左图像1142和右图像1143)也经受根据在上方向和下方向上的移动操作的图像处理并显示。需注意,对图70和图71中所示的实例中的中间图像进行在上方向和下方向上的移动操作。然而,还是当对另一图像(左图像或右图像)进行在上方向和下方向上的移动操作时,对其进行在上方向和下方向上的移动操作的图像以外的图像的区域也变化并显示。例如,当对图70中所示的左图像1122进行在上方向和下方向上的移动操作时,被进行在上方向和下方向上的移动操作的左图像1122以外的中间图像1121和右图像1123的区域也变化并显示。例如,假设其中在图70中所示的整个图像(全景图像685)中进行在上方向和下方向上(例如,在上方向和下方向上滑动手指的操作)的移动操作的情况。在这种情况下,整个图像以外的图像(中间图像1121、左图像1122和右图像1123)也经受根据移动操作的图像处理和显示。虽然在图70和图71所示的实例中进行在上方向和下方向中的上方向上的移动操作,但是同样当在上方向和下方向中的下方向上进行移动操作时,对其进行在上方向和下方向中的下方向上的移动操作的图像以外的图像也变化并显示。
当在如图40的全景图像(整个图像)上显示框的情况下,框根据图像(中间图像、左图像和右图像)的区域的变化而移动并显示。这样的显示例示于图72中。
[在上方向和下方向上的移动操作过程中的显示信息的显示转变例]
图72是示出由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图。需注意,图72的部分“a”与图69的部分“b”中所示的显示例相同。
图72的部分“b”示出在进行图70的部分“b”中所示的上方向和下方向上的移动操作之后显示的图像的显示例。需注意,图72的部分“b”是图71的部分“b”中所示的显示例,不同点在于在全景图像(整个图像)上显示了框1145至1147。以这种方式,全景图像(整个图像)上的框可根据图像(中间图像、左图像和右图像)在上方向和下方向上的移动操作而移动和显示。
[在左手方向和右手方向上的移动操作过程中的显示转变例]
图73和图74是示出由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图。需注意,图73的部分“a”与图68的部分“b”中所示的显示例相同。
图73的部分“b”示出用于移动图73的部分“a”中所示的图像的移动操作(左手方向和右手方向上的移动操作)的实例。
当进行在左手方向和右手方向上的移动操作时,例如,如在上方向和下方向上的移动操作,假设其中对图像(左图像、右图像和中间图像)进行移动处理相同的移动量的情况。当以这种方式进行移动处理时,在不包括全景图像的端部(左端部或右端部)的情况下,可显示左图像和右图像中的至少一个。鉴于此,在本发明的第二实施方式中,当对中间图像或整个图像进行在左手方向和右手方向上的移动操作时,不对包括全景图像的端部的图像进行移动处理并对不包括全景图像的端部的中间图像进行移动处理。全景图像的端部例如为左端部和右端部。包括全景图像的端部的图像例如为左图像和右图像。当对左图像进行在右手方向上的移动操作或对右图像进行在左手方向上的移动操作时,仅对被执行移动操作的图像进行在方向上的移动处理并不对其它图像进行在方向上的移动处理。
以这种方式,当对中间图像进行在左手方向和右手方向上的移动操作时,仅中间图像在左手方向和右手方向上移动。为了显示图73的部分“a”中所示的中间图像1121的左部分,例如,进行用手指23在希望的方向上移动中间图像1121的操作。例如,手指23在箭头1150的方向上移动。
图74的部分“a”示出当进行图73的部分“b”中所示的在左手方向和右手方向上的移动操作时的图像的转变例。当进行图73的部分“b”中所示的在左手方向和右手方向上的移动操作时,进行中间图像的图像处理使得作为显示目标的中间图像从虚线的矩形1131的区域转换到实线的矩形1151的区域。然而,如上所述,不对作为显示目标的中间图像以外的图像(左图像和右图像)进行区域变化。在以这种方式进行图像处理之后的显示例示于图74的部分“b”中。
图74的部分“b”示出在进行图73的部分“b”中所示的在左手方向和右手方向上的移动操作之后显示的图像的显示例。以这种方式,当对中间图像或整个图像进行在左手方向和右手方向上的移动操作时,中间图像1152以外的图像(左图像1122和右图像1123)在不移动的情况下显示。当对左图像进行在右手方向上的移动操作时或在对右图像进行在左手方向上的移动操作时,被执行移动操作的图像以外的图像在不移动的情况下显示。虽然在图73和图74中所示的实例中进行了在左手方向和右手方向上的移动操作,但是还是当进行在右手方向和右手方向上的移动操作时,仅对其进行右手方向和右手方向中的右手方向上的移动操作的图像变化并显示。
在其中如图40中的在全景图像(整个图像)上显示框的情况下,框根据中间图像的区域而移动并显示。这样的显示例示于图75中。
以这种方式,操作接收单元560接收用于在全景图像的纵向方向上移动中间图像在全景图像中的位置的第一移动操作或用于在与全景图像的纵向方向正交的方向上移动中间图像在全景图像中的位置的第二移动操作。当第一移动操作被接收时,显示控制单元550不使左图像和右图像经受根据第一移动操作的图像处理,但使中间图像经受图像处理,使得对应于中间图像的区域显示在根据第一移动操作的位置处。然后,显示控制单元550使显示单元140显示经受图像处理的中间图像和未经受图像处理的左图像和右图像。另一方面,当第二移动操作被接收时,显示控制单元550使图像(中间图像、左图像和右图像)经受图像处理,使得对应于图像(中间图像,左图像,和右图像)的每个区域都显示在根据第二移动操作的位置处,并使显示单元140显示经受图像处理的图像。
此外,接收单元560接收指令在全景图像的纵向方向上移动的第一移动操作或指令在与全景图像的纵向方向正交的方向上移动的第二移动操作。这些操作(第一次移动操作和第二移动操作)中的每个都是例如用户在进行移动指令的方向上在全景图像上滑动手指的操作。当第一移动操作被接收时,显示控制单元550不会使左图像、右图像和全景图像(整个图像)经受根据第一移动操作的图像处理,但使中间图像经受图像处理,使得对应于中间图像的区域根据第一移动操作移动位置。然后,显示控制单元550使显示单元140显示经受图像处理的中间图像和未经受图像处理的左图像、右图像和全景图像(整个图像)。另一方面,当第二移动操作被接收时,显示控制单元550不会使全景图像(整个图像)经受根据第二移动操作的图像处理,但使中间图像、左图像和右图像经受图像处理,使得对应于其的每个区域都显示在根据第二移动操作的位置处。
此外,操作接收单元560接收用于在全景图像的纵向方向上移动左图像或右图像的位置的第一移动操作或用于在与全景图像的纵向方向正交的方向上移动左图像或右图像的位置的第二移动操作。当第一移动操作被接收时,显示控制单元550使对其进行第一移动操作的左图像或右图像经受图像处理,使得对应于图像的区域显示在根据第一移动操作的位置处。此外,显示控制单元550不会使对其进行第一移动操作的图像以外的图像经受根据第一移动操作的图像处理。例如,当对左图像进行在右手方向上的移动操作时,使左图像经受图像处理,使得对应于左图像的区域显示在根据第一移动操作的位置处,但不使左图像以外的图像(右图像、中间图像和整个图像)经受根据第一移动操作的图像处理。然后,显示控制单元550使显示单元140显示经受图像处理的图像和未经受图像处理的图像。另一方面,当第二移动操作被接收时,显示控制单元550使左图像、右图像和中间图像经受图像处理,使得对应于左图像、右图像和中间图像的每个相区域显示在根据第二移动操作的位置处,并使显示单元140显示经受图像处理的图像。
[在左手方向和右手方向上的移动操作过程中的显示显示的显示转变例]
图75是示出由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图。需注意,图75的部分“a”与图69的部分“b”中所示的显示例相同。
图75的部分“b”示出在进行图73的部分“b”中所示的在左手方向和右手方向上的移动操作之后显示的图像的显示例。需注意,图75的部分“b”与图73的部分“b”中所示的显示例相同,不同点在于在全景图像(整个图像)上显示了框。以这种方式,全景图像(整个图像)上的框1124可根据中间图像在上方向和下方向上的移动操作而移动和显示。
以这种方式,当对全景图像(中间图像、左图像和右图像)中的任一个进行放大或缩小操作和在上方向和下方向上的移动操作时,可对每个图像进行根据操作的图像处理。此外,当对中间图像进行在左手方向和右手方向上的移动操作时,仅对中间图像进行根据该操作的图像处理。由此,显示放大倍率和图像(中间图像、左图像和右图像)的上方向和下方向在全景图像中的位置可被设置为相同的且可将容易观看图像提供给用户。此外,用户仅需要对全景图像中的图像(中间图像、左图像和右图像)的任一个进行所希望的操作。
[实时取景显示、拍摄后取景显示或再现显示的显示例]
图76是示出由本发明的第二实施方式中的显示控制单元550显示的全景图像和各图像(中间图像、左图像和右图像)的显示转变例的图。图76的部分“a”示出在实时取景显示或拍摄后取景显示过程中的显示例。图76的部分“b”示出在再现显示过程中的显示例。需注意,图76的部分“a”与图68的部分“b”所示的显示例相同且图76的部分“b”与图67的部分“a”所示的显示例相同。
例如,在实时取景显示或在拍摄后取景显示过程中,进行放大显示,使得全景图像的两个端部和中心部分可被精细地检查。另一方面,在再现显示过程中,显示的尺寸或位置可根据再现过程中的用户操作的偏好而变化,因此正常图像被显示。一种显示方法可根据全景图像以这种方式显示的定时而适当地变化。
[信息处理装置的操作实例]
图77是示出由本发明的第二实施方式中的信息处理装置100进行的显示控制处理的处理过程的实例的流程图。图77示出当设置再现模式时的处理过程的实例。
首先,确定对其作出再现指令的图像是否是全景图像(步骤S1201)。例如,确定对其作出再现指令的图像的纵横比是否大于16:9(步骤S1201)。如果对其作出再现指令的图像的纵横比大于16:9,则确定对其作出再现指令的图像是全景图像。否则,如果对其作出再现指令的图像的纵横比等于或小于16:9,则确定对其作出再现指令的图像是正常图像。
如果确定对其作出再现指令的图像是全景图像(步骤S1201),则显示控制单元550以多行显示对其作出再现指令的全景图像的多个图像(例如,中间图像、左图像和右图像)(步骤S1202)。此外,全景图像的整个图像可以缩小尺寸显示。例如,如图67的部分“a”和图69中的部分“a”中所示,图像被显示。需注意,步骤S1202是权利要求书的范围中所描述的第一控制过程的实例。
随后,进行全景图像的图像处理(步骤S1210)。需注意,将参考图78详细描述全景图像的图像处理。
否则,如果确定对其作出再现指令的图像是正常图像(步骤S1201),则显示控制单元55以单行或多行显示对其作出再现指令的正常图像(显示对象图像)(步骤S1203)。例如,当显示对象图像以多行显示时,显示对象图像(对其进行缩小、移动等的图像)和通过缩小其整个图像而获得的缩小图像可被显示。此外,指示显示对象图像在整个图像中的位置的显示信息(例如,框)可以重叠状态显示在缩小图像上。
随后,进行正常图像的图像处理(步骤S1204)。例如,可根据用户操作进行显示对象图像的图像处理,诸如缩小处理、放大处理和移动处理。在其中显示信息(例如,框)以重叠状态显示在缩小图像上的情况下,显示信息课根据图像处理而适当地变化。
随后,确定再现模式是否被释放(步骤S1205),如果再现模式没有被释放,则处理返回到步骤S1201。另一方面,如果再现模式被释放(步骤S1205),则显示控制处理的操作终止。
图78是示出由本发明的第二实施方式中的信息处理装置100进行的显示控制处理过程的全景图像过程的图像处理过程(图77的步骤S1210中的处理过程)的实例的流程图。
首先,显示控制单元550确定是否进行用户操作(步骤S1211),并进行,如果不进行用户操作,则连续监测直到进行用户操作为止。如果进行用户操作(步骤S1211),则显示控制单元550确定操作是否是所显示的图像(中间图像、左图像和右图像)中任一个的放大/缩小操作(步骤S1212)。
如果操作是放大/缩小操作(步骤S1212),则显示控制单元550显示作为根据该操作而放大或缩小尺寸的操作对象的图像,并且还显示放大或缩小尺寸的其它图像(步骤S1213)。例如,如图67的部分“b”中所示,如果对中间图像604进行放大操作,如图68的部分“a”中所示,进行根据放大操作放大中间图像604和其它图像(左图像605和右图像606)的放大处理。然后,如图68的部分“b”中所示,经受放大处理的图像显示在显示单元140上。
如果全景图像的整个图像以缩小尺寸显示,则显示控制单元550根据每个图像的放大或缩小放大或缩小显示信息。例如,如图69的部分“a”中所示,在显示显示信息(框686至688)的情况下,如图69的部分“b”中所示,进行根据每个图像的放大操作缩小显示信息的缩小处理。
如果操作不是放大/缩小操作(步骤S1212),则显示控制单元550确定操作是否是在显示图像(中间图像、左图像和右图像)中的任一个的上方向和下方向上的移动操作(步骤S1214)。如果操作是在上方向和下方向上的移动操作(步骤S1214),则显示控制单元550在根据操作在上方向和下方向上移动图像在全景图像上的区域的同时显示作为操作目标的图像和其它图像(步骤S1215)。例如,如图70的部分“b”中所示,当对中间图像1121进行在上方向和下方向中的上方向上的移动操作时,如图71的部分“a”中所示,根据移动操作进行一起移动其它图像(左图像和右图像)和中间图像的移动处理。然后,如图71的部分“b”中所示,经受移动处理的图像在显示单元140上显示。
当全景图像的整个图像以缩小尺寸显示时,显示控制单元550根据图像在上方向和下方向上的移动来移动显示信息。例如,如图72的部分“a”中所示,当显示显示信息(框1124至1126)时,如图72的部分“b”中所示,根据图像的移动操作,进行在上方向上移动显示信息的移动处理。
当操作不是在上方向和下方向上的移动操作时(步骤S1214),显示控制单元550确定操作是否是相对于所显示的中间图像在左手方向和右手方向上的移动操作(步骤S1216)。如果操作是在左手方向和右手方向上的移动操作(步骤S1216),则显示控制单元550根据操作在左手方向和右手方向上移动作为操作目标的中间图像在全景图像中的区域并显示中间图像(步骤S1217)。例如,如图73的部分“b”中所示,当相对于中间图像1121进行在左手方向和右手方向中的左手方向上的移动操作时,如图74的部分“a”中所示,根据移动操作进行仅移动中间图像的移动处理。然后,如图74的部分“b”中所示,经受移动处理的中间图像1152显示在显示单元140上。
当全景图像的整个图像以缩小尺寸显示时,显示控制单元550根据中间图像在左手方向和右手方向上的移动来移动显示信息。例如,如图75的部分“a”中所示,当显示显示信息(框1124至26年)时,如图75的部分“b”中所示,根据图像的移动操作进行在左手方向上移动有关中间图像的显示信息(框1124)的移动处理。
需注意,如果存在中间图像以外的不包括全景图像的端部的图像,则图像可被设置为在左手方向和右手方向上的移动目标。需注意,步骤S1211至S1217是权利要求书的范围中所描述的第二控制过程的实例。
否则,如果操作不是在左手方向和右手方向上的移动操作(步骤S1216),则显示控制单元550进行基于用户操作的处理(步骤S1218)。
在处理完成之后,显示控制单元550确定是否做出所显示的全景图像的变化指令(步骤S1219)。如果不做出所显示的全景图像的变化指示(步骤S1219),则处理返回到步骤S1211。如果进行所显示的全景图像的变化指令(步骤S1219),则全景图像的图像处理的操作终止。
需注意,在图78中所示的实例中进行放大/缩小操作、在上方向和下方向上的移动操作和在左手方向和右手方向上的移动操作中的任一个。然而,还假设进行这些操作的组合(例如,在倾斜方向上的移动操作)。还是在这种情况下,如上所述,进行图像处理使得全景图像的端部(左端部和右端部)包括在左图像和右图像中。例如,当进行在倾斜方向上的移动操作时,关于在左手方向和右手方向上的移动,仅中间图像可移动,并且,关于在上方向和下方向上的移动,图像可移动。
还假定同时对图像进行多个操作(例如,相对于中间图像在上方向和下方向中的上方向上的移动操作,和相对于左图像在上方向和下方向中的下方向上的移动操作)。在这种情况下,例如,如果操作彼此相对(例如,相对于中间图像在上方向和下方向中的上方向上的移动操作,和相对于左图像在上方向和下方向中的下方向上的移动操作),则可以至少一个操作作为基准来进行图像处理。例如,如果操作彼此不相对(例如,相对于中间图像在左手方向和右手方向中的左手方向上的移动操作,和相对于左图像在上方向和下方向中的下方向上的移动操作),则可通过组合操作进行图像处理。
以这种方式,当对应于横向长图像的多个区域的多个图像(中间图像、左图像和右图像)显示在显示单元140上时,操作接收单元560相对于多个图像中的至少一个接收预定操作。当接收到预定操作时,显示控制单元550使多个图像中的每个经受根据预定操作的图像处理并控制显示单元140显示经受图像处理的图像。例如,如图67的部分“b”中所示,操作接收单元560接收用于改变多个图像中的至少一个的显示放大倍率的变更操作。在这种情况下,显示控制单元550使多个图像中的每个都经受图像处理使得以根据变更操作的显示放大倍率显示并使显示单元140显示经受图像处理的图像。例如,如图68的部分“b”中所示,经受图像处理的图像以根据变更操作的显示放大倍率显示在显示单元140上。
例如,如图70的部分“b”中所示,操作接收单元560接收用于移动区域在横向长图像(其对应于多个图像中的至少一个)中的位置的移动操作。在这种情况下,显示控制单元550使多个图像中的每个都经受图像处理,使得对应于多个图像的区域中的每个都显示在根据移动操作的位置处,并使显示单元140显示经受图像处理的图像。例如,如图71的部分“b”中所示,经受图像处理的图像显示在显示单元140上以显示在根据移动操作的位置处。
例如,操作接收单元560接收第一移动操作或第二移动操作。在这里,第一移动操作是用于在横向长图像的纵向方向上移动多个图像中的至少一个在横向长图像中的位置的操作(即,在左手方向和右手方向上的移动操作(例如,图73的部分“b”中所示的操作))。此外,第二移动操作是用于在与纵向方向正交的方向上移动多个图像中的至少一个在横向长图像中的位置的操作(即,在上方向和下方向上的移动操作(例如,图70的部分“b”中所示的操作))。当第一移动操作被接收时,显示控制单元550使中间图像经受图像处理使得对应于中间图像的区域显示在根据第一移动操作的位置处。然后,显示控制单元550使显示单元140显示经受图像处理的中间图像和未经受图像处理的左图像和右图像。例如,如图74的部分“b”中所示,经受图像处理的中间图像1152显示在显示单元140上以显示在根据第一移动操作的位置处。
例如,显示控制单元550在多个图像的显示区域以外的区域(其可通过缩小横向长图像的整体而获得)中显示整个图像,并以重叠状态在整个图像上显示指示多个图像的显示区域的显示信息(例如,框)。例如,如图69、图72和图75中所示,指示多个图像的显示区域的框以重叠状态显示在整个图像上。
<3.第三实施方式>
在本发明的第一实施方式中,在上面示出其中成像单元被固定设置在信息处理装置中的实例。应注意,本发明的第一实施方式也可被应用到成像单元可移动地设置在其中的信息处理装置。
在本发明的第三实施方式中,示出成像单元可移动地设置在其中的信息处理装置的实例。
图79和图80是示出本发明的第三实施方式中的信息处理装置1000的外观配置实例的图。
图79和图80示出成像单元1030可移动地设置在其中的信息处理装置1000。在图79的部分“a”中,示出信息处理装置1000的俯视图。在图79的部分“b”中,示出所示的信息处理装置1000的前视图。在图79的部分“c”中,示出的信息处理装置1000的侧视图。在图79的部分“d”中,示出信息处理装置1000的后视图。在图79的部分“e”中,示出信息处理装置1000的电子基板的配置实例。需注意,图79的部分“a”至“e”分别对应于图1的部分“a”至“e”。此外,对应于图1中所示的信息处理装置100的那些的部分由相同的参考符号表示。在图80的部分“a”中,示出的信息处理装置1000的前侧的透视图。在图80的部分“b”中,示出信息处理装置1000的后侧的透视图。
信息处理装置1000可由例如包括多个成像系统的信息处理装置(例如,具有可移动多眼相机的蜂窝电话)实现。
信息处理装置1000包括第一壳体1010、第二壳体1020和旋转构件1021。第二壳体1020是附接到容纳显示单元140的第一壳体1010的壳体。此外,第二壳体1020是包括平行于(或几乎平行于)显示单元140的短边的旋转轴的可转动壳体。此外,构成成像单元1030的成像系统(光学系统131至133和成像器件134至136)被布置在平行于(或几乎平行于)第二壳体1020的表面上的第二壳体1020的旋转轴的方向上。成像单元1030可以这种方式可移动地设置,因此成像单元1030可以旋转构件1021作为旋转轴在180度的范围内在图80的箭头1022和1023的方向上旋转。例如,当用户将信息处理装置1000保持在图80的部分“b”中所示的状态下时,用户可在观看显示单元140的同时捕捉包括用户的横向长图像。否则,例如,当用户将信息处理装置1000保持在其中成像单元1030的光轴与重力方向平行(或几乎平行)的状态下时,用户也可在观看显示单元140的同时捕捉以上侧(例如,天空)作为对象的横向长图像。
以这种方式,本发明的第一实施方式可应用于包括多个成像系统的信息处理装置1000(多个成像系统的成像系统可移动地设置在其中)。需注意,在这个实例中,三个成像系统根据预定规则而布置。应注意,本发明的第一实施方式也可应用于包括两个或四个或更多个成像系统的信息处理装置(例如,成像器件,诸如数码静态相机和数码摄像机(例如,集成相机的记录器))。其中两个成像系统根据预定规则而布置的实例示于图81和图82中。
图81和图82是示出本发明的第三实施方式中的信息处理装置1050的外部外观配置实例的图。
图81和图82示出,包括两个成像系统的成像单元1080可移动地设置在其中的信息处理装置1050。在图81的部分“a”中,示出信息处理装置1050的俯视图。在图81的部分“b”中,示出信息处理装置1050的前视图。在图81的部分“c”中,示出信息处理装置1050的侧视图。在图81的部分“d”中,示出信息处理装置1050的后视图。在图81的部分“e”中,示出信息处理装置1050的电子基板的配置实例。需注意,图81的部分“a”至“e”分别对应于图49的部分“a”至“e”。此外,对应于49图中所示的信息处理装置820的那些部分的部分用相同的参考符号表示。在图82的部分“a”中,示出信息处理装置1050的前侧的透视图。在图82的部分“b”中,示出信息处理装置1050的背侧的透视图。
信息处理装置1050可由例如包括两个成像系统的信息处理装置(例如,具有可移动多眼相机的蜂窝电话)实现。
信息处理装置1050包括第一壳体1060、第二壳体1070和旋转构件1071。第二壳体1070是附接到容纳显示单元140的第一壳体1060的壳体。此外,第二壳体1070是包括平行于(或几乎平行于)显示单元140的短边的旋转轴的可转动壳体。此外,构成成像单元1080的两个成像系统(光学系统831和832和成像器件833和834)被布置在平行于(或几乎平行于)第二壳体1070的表面上的第二壳体1070的旋转轴的方向上。成像单元1080可以这种方式可移动地设置,因此成像单元1080可以旋转构件1071作为旋转轴在180度的范围内在图82的箭头1072和1073的方向上旋转。由此,例如,如图79和图80中所示的实例中,用户可在观看显示单元140的同时捕捉包括用户的横向长图像且也可在观看显示单元140的同时捕捉以上侧(例如,天空)作为对象的横向长图像。
以这种方式,本发明的第一实施方式可应用于包括多个成像系统的信息处理装置1050(两个成像系统的成像系统可移动地设置在其中)。需注意,在图79和图82中,示出能够以旋转构件作为旋转轴在180度的范围内旋转成像单元的信息处理装置。应注意,旋转范围可以是180度范围以外的范围。例如,成像单元1030可被提供以便可在90度的范围内以旋转构件1071作为旋转轴从图80的部分“a”中所示的状态在箭头1022的方向上旋转。
需注意,本发明的第一实施方式可应用于能够使显示装置(内置显示装置或外部显示装置)显示全景图像的信息处理装置(电子装置、图像处理装置、显示装置或显示控制装置)。例如,本发明的第一实施方式可应用于装置,诸如多眼成像器件、数码相框、平板电脑终端、数字标牌终端(例如,旋转型)、导航装置、个人计算机、便携式媒体播放器。此外,本发明的第一实施方式也可应用于不具有成像功能的装置(例如,不具有成像功能的平板电脑终端(例如,在网站上显示全景图像的装置))。需注意,多眼成像器件是例如多眼数码静态相机或多眼数码摄像机(例如,集成相机的记录器)。
本发明的实施方式中的显示方法也可应用于多眼成像器件以外的成像器件。例如,显示方法可应用于包括广角透镜的单眼成像器件(例如,能够捕捉在水平方向上比壳体的短边方向的16:9更长的全景图像)和成像器件。
本发明的实施方式被示为用于实施本发明的实例。本发明的实施方式中的各项具有与指定权利要求书中的各项的本发明的对应关系。类似地,指定权利要求书中的事项的本发明具有与具有与指定事项的本发明相同名字的本发明的实施方式中的事项的对应关系。然而,本发明不限于这些实施方式,并且可在不脱离本发明的主题的范围内作出各种修改。
此外,本发明的实施方式中描述的处理过程可被理解为包括一系列过程的方法。此外,一系列过程可被理解为用于使计算机执行该系列过程的程序,或存储该程序的记录介质。作为记录介质,可使用压缩光盘(CD)、迷你光盘(MD)、数字通用光盘(DVD)、存储卡、蓝光光盘(注册商标)等。
需注意,本发明也可采取以下配置。
(1)一种信息处理装置,其包括:
操作接收单元,被配置为在与横向长图像的多个区域对应的多个图像被显示在显示单元上时接收关于所述多个图像中的至少一个的预定操作;以及
显示控制单元,被配置为在接收到所述预定操作时使所述多个图像中的每一个都经受根据所述预定操作的图像处理并控制所述显示单元显示受到所述图像处理的所述图像。
(2)根据第(1)项所述的信息处理装置,其中,
所述操作接收单元被配置为在通过整体缩小所述横向长图像所获得的缩小图像被显示在所述显示单元中除所述多个图像的显示区域以外的区域中时接收关于所述多个图像和所述缩小图像中的至少一个的预定操作。
(3)根据第(1)项所述的信息处理装置,其中,
所述操作接收单元被配置为接收用于改变所述多个图像中的至少一个的显示放大倍率的变更操作作为所述预定操作,以及
所述显示控制单元被配置为在接收到所述变更操作时使所述多个图像中的每一个都经受图像处理使得以根据所述变更操作的显示放大倍率被显示并控制所述显示单元显示经受所述图像处理的所述图像。
(4)根据第(2)项所述的信息处理装置,其中,
所述操作接收单元被配置为接收用于使用所述多个图像和缩小图像中的至少一个来指示改变所述显示放大倍率的变更操作作为所述预定操作,以及
所述显示控制单元被配置为在接收到所述变更操作时被阻止使所述缩小图像经受根据所述变更操作的图像处理、而使所述多个图像中的每一个都经受图像处理使得以根据所述变更操作的显示放大倍率被显
(5)根据第(3)或(4)项所述的信息处理装置,其中
所述多个图像包括
第一图像,包括所述横向长图像在纵向方向上的一个端部的区域,
第二图像,包括所述横向长图像在所述纵向方向上的另一端部的区域,和
第三图像,为包括存在于所述一个端部和所述另一端部之间的区域的图像,以及
所述显示控制单元被配置为在接收到所述变更操作时使所述第三图像经受用于通过所述第三图像内的位置作为基准而以所述显示放大倍率来显示所述第三图像的图像处理、使所述第一图像经受用于通过所述一个端部作为基准而以所述显示放大倍率来显示所述第一图像的图像处理,并使所述第二图像经受用于通过所述另一端部作为基准而以所述显示放大倍率来显示所述第二图像的图像处理。
(6)根据第(1)项所述的信息处理装置,其中
所述操作接收单元被配置为接收用于移动与所述多个图像中的至少一个对应的区域在所述横向长图像中的位置的移动操作作为所述预定操作,以及
所述显示控制单元被配置为在接收到所述变更操作时使所述多个图像中的每一个都经受图像处理,使得对应于所述多个图像的每个区域都被显示在根据所述移动操作的位置处并控制所述显示单元显示经受了所述图像处理的所述图像。
(7)根据第(6)项所述的信息处理装置,其中,
所述操作接收单元被配置为在通过整体缩小所述横向长图像所获得的缩小图像被显示在所述显示单元中除所述多个图像的显示区域以外的区域中时接收使用所述缩小图像的所述移动操作。
(8)根据第(6)项所述的信息处理装置,其中,
所述多个图像包括
第一图像和第二图像,所述第一图像和所述第二图像为包括所述横向长图像在纵向方向上的两个端部的区域的两个图像,和
第三图像,为包括在所述两个端部之间的区域的图像,
所述操作接收单元被配置为接收以下操作之一作为所述移动操作:
第一移动操作,用于在所述横向长图像的纵向方向上移动所述第三图像在所述横向长图像中的位置,和
第二移动操作,用于在与所述纵向方向正交的方向上移动所述第三图像在所述横向长图像中的位置,且
所述显示控制单元被配置为
在接收到所述第一移动操作时,被阻止使所述第一图像和所述第二图像经受根据所述第一移动操作的图像处理,
使所述第三图像经受图像处理,使得对应于所述第三图像的区域被显示在根据所述第一移动操作的位置处,并且
控制所述显示单元显示经受了所述图像处理的所述第三图像和未经受所述图像处理的所述第一图像和所述第二图像,且
在接收到所述第二移动操作时,使所述第一图像至所述第三图像经受图像处理,使得对应于所述第一图像至所述第三图像的各个区域被显示在根据所述第二移动操作的位置处,以及
控制所述显示单元显示经受了所述图像处理的所述图像。
(9)根据第(7)项所述的信息处理装置,其中,
所述多个图像包括
第一图像和第二图像,所述第一图像和所述第二图像为包括所述横向长图像在纵向方向上的两个端部的区域的两个图像,和
第三图像,其为包括在所述两个端部之间的区域的图像,
所述操作接收单元被配置为接收以下操作中的一个
指示在所述纵向方向上移动的第一移动操作,所述第一移动操作为使用所述缩小图像的移动操作,和
指示在与所述纵向方向正交的方向上移动的第二移动操作,所述第二移动操作为使用所述缩小图像的移动操作,以及
所述显示控制单元被配置为
在接收到所述第一移动操作时,被阻止使所述第一图像、所述第二图像和所述缩小图像经受根据所述第一移动操作的图像处理,
使所述第三图像经受图像处理,使得对应于所述第三图像的区域被显示在根据所述第一移动操作的位置处,并且
控制所述显示单元显示经受了所述图像处理的所述第三图像,和未经受所述图像处理的所述第一图像、所述第二图像和所述缩小图像,以及被配置为
在接收到所述第二移动操作时,被阻止使所述缩小图像经受根据第二移动操作的图像处理,
使所述第一图像至所述第三图像经受图像处理,使得对应于所述第一图像至所述第三图像的每个区域均被显示在根据所述第二移动操作的位置处,且
控制所述显示单元显示经受了所述图像处理的所述图像。
(10)根据第(6)项所述的信息处理装置,其中
所述多个图像包括
第一图像和第二图像,所述第一图像和所述第二图像为包括所述横向长图像在所述纵向方向上的两个端部的区域的两个图像,和
第三图像,为包括在所述两个端部之间的区域的图像,
所述操作接收单元被配置为接收以下操作中的一个作为所述移动操作,
第一移动操作,用于在所述横向长图像的纵向方向上移动所述第一图像和所述第二图像之一在所述横向长图像中的位置,和
第二移动操作,用于在与所述纵向方向正交的方向上移动所述第一图像和所述第二图像之一在所述横向长图像中的位置,以及
所述显示控制单元被配置为
在接收到所述第一移动操作时,使被执行所述第一移动操作的所述第一图像和所述第二图像之一经受图像处理,使得对应于所述图像的区域被显示在根据所述第一移动操作的位置处,
被阻止使所述图像以外的图像经受根据所述第一移动操作的图像处理,和
控制所述显示单元显示经受了所述图像处理的所述图像和未经受所述图像处理的所述图像,以及
在接收到所述第二移动操作时,使所述第一图像至所述第三图像经受图像处理,使得对应于所述第一图像至所述第三图像的每个区域被显示在根据所述第二移动操作的位置处,以及
控制所述显示单元显示经受了所述图像处理的所述图像。
(11)根据第(1)至(10)项中任一项所述的信息处理装置,其中,
所述显示控制单元被配置为控制所述显示单元在所述多个图像的显示区域以外的区域中显示通过整体缩小所述横向长图像所获得的整个图像,并将指示所述多个图像的所述显示区域的显示信息以重叠状态在所述整个图像上显示。
(12)根据第(1)至(11)项中任一项所述的信息处理装置,其中,
所述显示控制单元被配置为在所述显示单元的长边与重力方向几乎平行的状态下控制所述显示单元在所述显示单元的纵向方向上以多行显示所述横向长图像的所述多个区域。
(13)一种信息处理方法,其包括:
第一控制步骤,控制显示单元显示与横向长图像的多个区域对应的多个图像,和
第二控制步骤,在接收到关于所述多个图像中的至少一个的预定操作时控制显示单元以使所述多个图像中的每一个都经受根据所述预定操作的图像处理并显示经受了所述图像处理的所述图像。
(14)一种使得计算机执行以下步骤的程序:
第一控制步骤,控制显示单元显示与横向长图像的多个区域对应的多个图像,和
第二控制步骤,在接收到关于所述多个图像中的至少一个的预定操作时使所述多个图像中的每一个都经受根据所述预定操作的图像处理并控制所述显示单元显示经受了所述图像处理的所述图像。
本领域技术人员应当理解,在本领域中,根据设计要求和其它因素,可以进行各种修改、组合、子组合和变更,只要它们在所附权利要求或其等价物的范围内即可。

Claims (15)

1.一种信息处理装置,包括:
操作接收单元,被配置为在与横向长图像的多个区域对应的多个图像被显示在显示单元上时接收关于所述多个图像中的至少一个的预定操作;以及
显示控制单元,被配置为在接收到所述预定操作时使所述多个图像中的每一个都经受根据所述预定操作的图像处理并控制所述显示单元显示受到所述图像处理的所述图像。
2.根据权利要求1所述的信息处理装置,其中,
所述操作接收单元被配置为在通过整体缩小所述横向长图像所获得的缩小图像被显示在所述显示单元中除所述多个图像的显示区域以外的区域中时接收关于所述多个图像和所述缩小图像中的至少一个的预定操作。
3.根据权利要求1所述的信息处理装置,其中,
所述操作接收单元被配置为接收用于改变所述多个图像中的至少一个的显示放大倍率的变更操作作为所述预定操作,以及
所述显示控制单元被配置为在接收到所述变更操作时使所述多个图像中的每一个都经受图像处理使得以根据所述变更操作的显示放大倍率被显示并控制所述显示单元显示经受所述图像处理的所述图像。
4.根据权利要求2所述的信息处理装置,其中,
所述操作接收单元被配置为接收用于使用所述多个图像和缩小图像中的至少一个来指示改变所述显示放大倍率的变更操作作为所述预定操作,以及
所述显示控制单元被配置为在接收到所述变更操作时被阻止使所述缩小图像经受根据所述变更操作的图像处理、而使所述多个图像中的每一个都经受图像处理使得以根据所述变更操作的显示放大倍率被显示并控制所述显示单元显示经受所述图像处理的所述图像。
5.根据权利要求3或4所述的信息处理装置,其中,
所述多个图像包括
第一图像,包括所述横向长图像在纵向方向上的一个端部的区域,
第二图像,包括所述横向长图像在所述纵向方向上的另一端部的区域,和
第三图像,为包括存在于所述一个端部和所述另一端部之间的区域的图像,以及
所述显示控制单元被配置为在接收到所述变更操作时使所述第三图像经受用于通过所述第三图像内的位置作为基准而以所述显示放大倍率来显示所述第三图像的图像处理、使所述第一图像经受用于通过所述一个端部作为基准而以所述显示放大倍率来显示所述第一图像的图像处理,并使所述第二图像经受用于通过所述另一端部作为基准而以所述显示放大倍率来显示所述第二图像的图像处理。
6.根据权利要求1所述的信息处理装置,其中
所述操作接收单元被配置为接收用于移动与所述多个图像中的至少一个对应的区域在所述横向长图像中的位置的移动操作作为所述预定操作,以及
所述显示控制单元被配置为在接收到所述变更操作时使所述多个图像中的每一个都经受图像处理,使得对应于所述多个图像的每个区域都被显示在根据所述移动操作的位置处并控制所述显示单元显示经受了所述图像处理的所述图像。
7.根据权利要求6所述的信息处理装置,其中,
所述操作接收单元被配置为在通过整体缩小所述横向长图像所获得的缩小图像被显示在所述显示单元中除所述多个图像的显示区域以外的区域中时接收使用所述缩小图像的所述移动操作。
8.根据权利要求6所述的信息处理装置,其中,
所述多个图像包括
第一图像和第二图像,所述第一图像和所述第二图像为包括所述横向长图像在纵向方向上的两个端部的区域的两个图像,和
第三图像,为包括在所述两个端部之间的区域的图像,
所述操作接收单元被配置为接收以下操作之一作为所述移动操作:
第一移动操作,用于在所述横向长图像的纵向方向上移动所述第三图像在所述横向长图像中的位置,和
第二移动操作,用于在与所述纵向方向正交的方向上移动所述第三图像在所述横向长图像中的位置,且
所述显示控制单元被配置为
在接收到所述第一移动操作时,被阻止使所述第一图像和所述第二图像经受根据所述第一移动操作的图像处理,
使所述第三图像经受图像处理,使得对应于所述第三图像的区域被显示在根据所述第一移动操作的位置处,并且
控制所述显示单元显示经受了所述图像处理的所述第三图像和未经受所述图像处理的所述第一图像和所述第二图像,且
在接收到所述第二移动操作时,使所述第一图像至所述第三图像经受图像处理,使得对应于所述第一图像至所述第三图像的各个区域被显示在根据所述第二移动操作的位置处,以及
控制所述显示单元显示经受了所述图像处理的所述图像。
9.根据权利要求7所述的信息处理装置,其中
所述多个图像包括
第一图像和第二图像,所述第一图像和所述第二图像为包括所述横向长图像在纵向方向上的两个端部的区域的两个图像,和
第三图像,为包括在所述两个端部之间的区域的图像,
所述操作接收单元被配置为接收以下操作中的一个
指示在所述纵向方向上移动的第一移动操作,所述第一移动操作为使用所述缩小图像的移动操作,和
指示在与所述纵向方向正交的方向上移动的第二移动操作,所述第二移动操作为使用所述缩小图像的移动操作,以及
所述显示控制单元被配置为
在接收到所述第一移动操作时,被阻止使所述第一图像、所述第二图像和所述缩小图像经受根据所述第一移动操作的图像处理,
使所述第三图像经受图像处理,使得对应于所述第三图像的区域被显示在根据所述第一移动操作的位置处,并且
控制所述显示单元显示经受了所述图像处理的所述第三图像,和未经受所述图像处理的所述第一图像、所述第二图像和所述缩小图像,以及被配置为
在接收到所述第二移动操作时,被阻止使所述缩小图像经受根据第二移动操作的图像处理,
使所述第一图像至所述第三图像经受图像处理,使得对应于所述第一图像至所述第三图像的每个区域均被显示在根据所述第二移动操作的位置处,且
控制所述显示单元显示经受了所述图像处理的所述图像。
10.根据权利要求6所述的信息处理装置,其中
所述多个图像包括
第一图像和第二图像,所述第一图像和所述第二图像为包括所述横向长图像在所述纵向方向上的两个端部的区域的两个图像,和
第三图像,为包括在所述两个端部之间的区域的图像,
所述操作接收单元被配置为接收以下操作中的一个作为所述移动操作,
第一移动操作,用于在所述横向长图像的纵向方向上移动所述第一图像和所述第二图像之一在所述横向长图像中的位置,和
第二移动操作,用于在与所述纵向方向正交的方向上移动所述第一图像和所述第二图像之一在所述横向长图像中的位置,以及
所述显示控制单元被配置为
在接收到所述第一移动操作时,使被执行所述第一移动操作的所述第一图像和所述第二图像之一经受图像处理,使得对应于所述图像的区域被显示在根据所述第一移动操作的位置处,
被阻止使所述图像以外的图像经受根据所述第一移动操作的图像处理,和
控制所述显示单元显示经受了所述图像处理的所述图像和未经受所述图像处理的所述图像,以及
在接收到所述第二移动操作时,使所述第一图像至所述第三图像经受图像处理,使得对应于所述第一图像至所述第三图像的每个区域被显示在根据所述第二移动操作的位置处,以及
控制所述显示单元显示经受了所述图像处理的所述图像。
11.根据权利要求1至10中任一项所述的信息处理装置,其中
所述显示控制单元被配置为控制所述显示单元在所述多个图像的显示区域以外的区域中显示通过整体缩小所述横向长图像所获得的整个图像,并将指示所述多个图像的所述显示区域的显示信息以重叠状态在所述整个图像上显示。
12.根据权利要求1至11中任一项所述的信息处理装置,其中
所述显示控制单元被配置为在所述显示单元的长边与重力方向几乎平行的状态下控制所述显示单元在所述显示单元的纵向方向上以多行显示所述横向长图像的所述多个区域。
13.根据权利要求1所述的信息处理装置,还包括
姿态检测单元,检测所述信息处理装置的姿态,并将检测结果输出到所述显示控制单元。
14.一种信息处理方法,包括:
第一控制步骤,控制显示单元显示与横向长图像的多个区域对应的多个图像,和
第二控制步骤,在接收到关于所述多个图像中的至少一个的预定操作时控制显示单元以使所述多个图像中的每一个都经受根据所述预定操作的图像处理并显示经受了所述图像处理的所述图像。
15.一种程序,使计算机执行以下步骤:
第一控制步骤,控制显示单元显示与横向长图像的多个区域对应的多个图像,和
第二控制步骤,在接收到关于所述多个图像中的至少一个的预定操作时使所述多个图像中的每一个都经受根据所述预定操作的图像处理并控制所述显示单元显示经受了所述图像处理的所述图像。
CN201310648607.6A 2012-12-11 2013-12-04 信息处理装置、信息处理方法及程序 Pending CN103873764A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012270159A JP2014115863A (ja) 2012-12-11 2012-12-11 情報処理装置、情報処理方法およびプログラム
JP2012-270159 2012-12-11

Publications (1)

Publication Number Publication Date
CN103873764A true CN103873764A (zh) 2014-06-18

Family

ID=50880524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310648607.6A Pending CN103873764A (zh) 2012-12-11 2013-12-04 信息处理装置、信息处理方法及程序

Country Status (3)

Country Link
US (1) US20140160233A1 (zh)
JP (1) JP2014115863A (zh)
CN (1) CN103873764A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105794197A (zh) * 2014-07-28 2016-07-20 联发科技股份有限公司 能够生成全景文件的便携式设备
CN106152876A (zh) * 2015-04-15 2016-11-23 信泰光学(深圳)有限公司 弹道预测系统
CN106993138A (zh) * 2017-04-25 2017-07-28 努比亚技术有限公司 时间渐变图像拍摄装置及方法
CN107026973A (zh) * 2016-02-02 2017-08-08 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
CN107615760A (zh) * 2015-05-20 2018-01-19 索尼公司 图像处理装置、图像处理方法、成像元件以及成像装置
CN107646101A (zh) * 2015-05-26 2018-01-30 三星电子株式会社 医学图像显示设备和提供用户界面的方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102124188B1 (ko) 2013-03-13 2020-06-26 삼성전자주식회사 이미지를 처리하는 전자장치 및 방법
US9635268B2 (en) * 2013-03-13 2017-04-25 Samsung Electronics Co., Ltd. Electronic device and method for generating thumbnail data
US10116833B2 (en) * 2014-09-12 2018-10-30 Sony Semiconductor Solutions Corporation Image processing device, image processing method and program for animation display
GB2533625B (en) * 2014-12-23 2021-07-28 Micro Nav Ltd Visual Display Systems
JP5987931B2 (ja) 2015-02-09 2016-09-07 株式会社リコー 映像表示システム、情報処理装置、映像表示方法、映像表示プログラム、映像処理装置、映像処理方法および映像処理プログラム
CN105979242A (zh) * 2015-11-23 2016-09-28 乐视网信息技术(北京)股份有限公司 一种视频的播放方法和装置
WO2017149875A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
JP6037072B2 (ja) * 2016-03-22 2016-11-30 株式会社リコー 映像表示システム、情報処理装置、映像表示方法および映像表示プログラム
JP6630654B2 (ja) * 2016-11-02 2020-01-15 株式会社リコー プログラム、方法、情報処理装置および映像表示システム
JP6833505B2 (ja) 2016-12-27 2021-02-24 キヤノン株式会社 撮像制御装置及びその制御方法
JP6808480B2 (ja) 2016-12-27 2021-01-06 キヤノン株式会社 撮像制御装置及びその制御方法
JP6833507B2 (ja) * 2016-12-27 2021-02-24 キヤノン株式会社 撮像制御装置及びその制御方法
JP6765956B2 (ja) 2016-12-27 2020-10-07 キヤノン株式会社 撮像制御装置及びその制御方法
JP6808529B2 (ja) 2017-02-14 2021-01-06 キヤノン株式会社 撮像装置及びその制御方法
JP6914669B2 (ja) * 2017-02-14 2021-08-04 キヤノン株式会社 撮像装置及びその制御方法
JP7075252B2 (ja) * 2018-03-23 2022-05-25 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
JP7229689B2 (ja) * 2018-07-23 2023-02-28 キヤノン株式会社 電子機器及びその制御方法、プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105794197A (zh) * 2014-07-28 2016-07-20 联发科技股份有限公司 能够生成全景文件的便携式设备
US10187569B2 (en) 2014-07-28 2019-01-22 Mediatek Inc. Portable device capable of generating panoramic file
CN106152876A (zh) * 2015-04-15 2016-11-23 信泰光学(深圳)有限公司 弹道预测系统
CN106152876B (zh) * 2015-04-15 2018-06-19 信泰光学(深圳)有限公司 弹道预测系统
CN107615760A (zh) * 2015-05-20 2018-01-19 索尼公司 图像处理装置、图像处理方法、成像元件以及成像装置
CN107615760B (zh) * 2015-05-20 2021-03-12 索尼公司 图像处理装置、图像处理方法、成像元件以及成像装置
CN107646101A (zh) * 2015-05-26 2018-01-30 三星电子株式会社 医学图像显示设备和提供用户界面的方法
CN107026973A (zh) * 2016-02-02 2017-08-08 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
CN107026973B (zh) * 2016-02-02 2020-03-13 株式会社摩如富 图像处理装置、图像处理方法与摄影辅助器材
CN106993138A (zh) * 2017-04-25 2017-07-28 努比亚技术有限公司 时间渐变图像拍摄装置及方法
CN106993138B (zh) * 2017-04-25 2020-03-13 努比亚技术有限公司 时间渐变图像拍摄装置及方法

Also Published As

Publication number Publication date
US20140160233A1 (en) 2014-06-12
JP2014115863A (ja) 2014-06-26

Similar Documents

Publication Publication Date Title
CN103873764A (zh) 信息处理装置、信息处理方法及程序
JP6106764B2 (ja) 撮像装置及びタイムラプス撮像方法
JP5526921B2 (ja) 撮像装置、電子機器および表示制御方法
CN1901625B (zh) 捕捉图像作为数字数据的电子摄像装置
JP5435104B2 (ja) 情報処理装置、表示装置および情報処理装置の制御方法
JP5593772B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9473725B2 (en) Image-processing and encoded aperture pattern setting device and method, and image pickup device comprising same
KR102314594B1 (ko) 이미지 디스플레이 방법 및 전자 장치
CN101998041B (zh) 成像设备和控制该成像设备的方法
CN106464786B (zh) 摄像装置
CN105430263A (zh) 长曝光全景图像拍摄装置和方法
CN104184928B (zh) 信息处理设备、信息处理方法
CN101729788B (zh) 摄像装置、摄像区域显示方法
JP6302564B2 (ja) 動画編集装置、動画編集方法及び動画編集プログラム
CN101753817A (zh) 成像设备、图像处理设备、缩放控制方法和缩放控制程序
CN104365089A (zh) 摄像装置及图像显示方法
CN104995904A (zh) 摄像装置
JP5740045B2 (ja) 画像処理装置及び方法並びに撮像装置
CN106688227A (zh) 多摄像装置、多摄像方法、程序及记录介质
CN102300047A (zh) 摄像装置、图像播放装置以及图像播放方法
JP4779524B2 (ja) 画像処理装置および方法、並びにプログラム
JP4748442B2 (ja) 撮像装置及びそのプログラム
JP2010245691A (ja) 複眼撮像装置
JP4529561B2 (ja) 撮像装置、画像合成方法、及び、画像合成プログラム
JP5637298B2 (ja) 情報処理装置、電子機器および表示制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140618