CN101998041A - 成像设备、控制该成像设备的方法和计算机程序 - Google Patents

成像设备、控制该成像设备的方法和计算机程序 Download PDF

Info

Publication number
CN101998041A
CN101998041A CN2010102560832A CN201010256083A CN101998041A CN 101998041 A CN101998041 A CN 101998041A CN 2010102560832 A CN2010102560832 A CN 2010102560832A CN 201010256083 A CN201010256083 A CN 201010256083A CN 101998041 A CN101998041 A CN 101998041A
Authority
CN
China
Prior art keywords
image
pixel
imaging
data
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010102560832A
Other languages
English (en)
Other versions
CN101998041B (zh
Inventor
石田实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101998041A publication Critical patent/CN101998041A/zh
Application granted granted Critical
Publication of CN101998041B publication Critical patent/CN101998041B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Image Processing (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

公开了成像设备以及控制该成像设备的方法和程序。该成像设备包括：成像单元，其利用彼此不同的成像器件分别产生被摄体的特定方向被设置在纵向方向上的第一捕捉图像、垂直于该特定方向的垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的一侧相邻的被摄体的第二捕捉图像、以及垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的另一侧相邻的被摄体的第三捕捉图像；检测单元，其检测成像设备的状态；以及控制单元，其基于所检测的状态，确定在第一到第三捕捉图像之中的作为显示或记录的目标的目标图像的范围。

Description

成像设备、控制该成像设备的方法和计算机程序
技术领域
本发明涉及成像设备，更具体地涉及包括多个成像系统的成像设备、控制该成像设备的方法及用于使得计算机执行该方法的计算机程序。
背景技术
近年来，包括对诸如人之类的被摄体(subject)成像的成像系统并被配置为将该成像系统所产生的图像(捕捉的图像)记录为图像文件的诸如数字静止相机或数字摄像机(例如与相机集成的记录器)之类的成像设备广泛流传。
提出了一种成像设备，其包括多个成像系统，并能够通过组合由成像系统产生的各图像而产生全景图像(panorama image)。例如，提出了一种成像设备，其包括三个成像系统，并被配置为通过排列和组合从各成像系统输出的图像而产生全景图像(例如参见JP-A-2007-166317(图6))。
发明内容
根据现有技术，能够容易地拍摄全景图像。因此，例如，即使在旅行期间在观光地(sightseeing spot)中将点缀有(dot with)在背景中的著名建筑的多个人作为构图(composition)拍摄的状态时，也能够容易地拍摄包括人的全景图像。例如，假设是期望拍摄带有如下构图的图像的用户：该构图在全景图像中所包括的被摄体当中，包括位于中心附近的人和出现在该人的背景中的高的建筑。在此情况下，能够通过例如将成像设备绕着光轴旋转90度使得获得在垂直方向上长的图像来执行带有期望构图的拍摄。
假设拍摄了全景图像和在垂直方向上长的图像。在此情况下，能够通过例如在拍摄了全景图像后将成像设备旋转90度来拍摄在垂直方向上长的图像。但是，例如，对于不习惯应对成像设备的人来说，认为很难在拍摄全景图像后将成像设备旋转90度以设置期望的构图。例如，如上所述，当在旅行期间在观光地进行拍摄时，拍摄定时很重要，因为人们在某些情况下移动。但是，如果在旋转成像设备后用于设置期望的构图的时间长，则很可能错过了拍摄定时。
因此，期望容易地拍摄用户喜欢的图像。
根据本发明的实施例，提出了成像设备、控制该成像设备的方法以及用于使得计算机执行该方法的计算机程序。该成像设备包括：成像单元，其利用彼此不同的成像器件分别产生被摄体的特定方向被设置在纵向方向上的第一捕捉图像、垂直于该特定方向的垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的一侧相邻的被摄体的第二捕捉图像、以及垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的另一侧相邻的被摄体的第三捕捉图像；检测单元，其检测所述成像设备的状态；以及控制单元，其基于所检测的状态，确定在由所述成像单元产生的第一到第三捕捉图像之中的作为显示或记录的目标的目标图像的范围。因此，存在基于所检测的成像设备的状态确定在由成像单元产生的第一到第三捕捉图像之中的作为显示或记录的目标的目标图像的范围的动作。
该实施例可以被配置为使得成像设备还包括：第一壳体，其包括所述成像单元；第二壳体，其包括显示所述目标图像的显示单元；以及枢轴旋转部件，其枢轴旋转地耦接第一壳体和第二壳体，并且所述检测单元检测第二壳体相对于第一壳体的枢轴旋转状态作为所述成像设备的状态。因此存在检测第二壳体相对第一壳体的枢轴旋转状态作为成像设备的状态的动作。
该实施例可以被配置为使得所述检测单元检测第一特定状态作为所述成像设备的状态，在所述第一特定状态中，显示单元的纵向方向和产生第一捕捉图像的第一成像器件的纵向方向基本上相互平行，以及所述控制单元确定当检测到所述第一特定状态时，仅第一捕捉图像用作目标图像。因此，存在确定当检测到所述第一特定状态时仅第一捕捉图像用作目标图像的动作。
该实施例可以被配置为使得所述控制单元确定当检测到所述第一特定状态时，整个第一捕捉图像用作目标图像。因此，存在当检测到所述第一特定状态时整个第一捕捉图像用作目标图像的动作。
该实施例可以被配置为使得所述检测单元检测第二特定状态作为所述成像设备的状态，在所述第二特定状态中，与显示单元的纵向方向垂直的垂直方向和产生第一捕捉图像的第一成像器件的纵向方向基本上相互平行，以及所述控制单元确定当检测到所述第二特定状态时，第一到第三捕捉图像用作所述目标图像。因此，存在确定当检测到所述第二特定状态时第一到第三捕捉图像用作所述目标图像的动作。
该实施例可以被配置为使得所述控制单元确定当检测到第二特定状态时，将通过组合第一捕捉图像的部分与第二和第三捕捉图像而产生的组合图像用作所述目标图像。因此，存在确定当检测到第二特定状态时将通过组合第一捕捉图像的部分与第二和第三捕捉图像而产生的组合图像用作所述目标图像的动作。
该实施例可以被配置为使得所述枢轴旋转部件将第一壳体和第二壳体耦接，使得第一壳体的一个表面和第二壳体的一个表面彼此相对，在第一壳体的所述一个表面的相对侧上的表面上并排地排列分别与所述成像单元中所包括的各成像器件对应的一组透镜，以及所述显示单元被提供在所述第二壳体的所述一个表面的相对侧上的表面上。因此，存在所述控制单元使得在相对侧上的表面上提供的显示单元显示由所述成像单元产生的捕捉图像的动作。
该实施例可以被配置为使得所述枢轴旋转部件将第一壳体和第二壳体耦接，使得显示单元中的显示表面和与产生第一捕捉图像的第一成像器件对应的该组透镜的光轴方向基本上垂直。因此，存在产生包括基本上垂直于显示单元的光轴方向上出现的被摄体的第一捕捉图像的动作。
该实施例可以被配置为使得成像设备还包括图像组合单元，其将第一捕捉图像的部分与第二和第三捕捉图像组合以产生组合图像，并且所述控制单元确定当所检测的状态是特定状态时，将所述组合图像用作所述目标图像。因此，存在确定当成像设备的所检测的状态是特定状态时，将所述组合图像用作所述目标图像的动作。
该实施例可以被配置为使得所述图像组合单元产生基本上是矩形的图像作为所述组合图像。因此，存在产生基本上是矩形的图像作为所述组合图像的动作。
该实施例可以被配置为使得所述控制单元基于所检测的状态切换通过使用所述成像单元中所包括的多个成像器件执行的复合眼成像操作以及通过仅使用产生第一捕捉图像的第一成像器件执行的单眼成像操作，并确定所述目标图像的范围。因此存在基于所述成像设备的所检测的状态切换复合眼成像操作以及单眼成像操作以确定目标图像的范围的动作。
该实施例可以被配置为使得当所述复合眼成像操作被切换到所述单眼成像操作时，所述控制单元停止产生所述第二和第三捕捉图像的成像器件的操作。因此，存在当所述复合眼成像操作被切换到所述单眼成像操作时停止产生所述第二和第三捕捉图像的成像器件的操作的动作。
该实施例可以被配置为使得所述控制单元确定当所述单眼成像操作被切换到所述复合眼成像操作时，预定频率的时钟用于所述复合眼成像操作，以及当所述复合眼成像操作被切换到所述单眼成像操作时，低于所述预定频率的频率的时钟用于所述单眼成像操作。因此，存在确定当所述单眼成像操作被切换到所述复合眼成像操作时预定频率的时钟用于所述复合眼成像操作、以及当所述复合眼成像操作被切换到所述单眼成像操作时低于所述预定频率的频率的时钟用于所述单眼成像操作的动作。
该实施例可以被配置为使得当所述第二壳体相对于所述第一壳体的枢轴旋转状态是特定状态时，所述控制单元使得所述目标图像经历旋转处理，并使得所述显示单元显示所述目标图像。因此，存在当所述第二壳体相对于所述第一壳体的枢轴旋转状态是特定状态时所述目标图像经历旋转处理并被显示在显示单元上的动作。
根据本发明的另一实施例，提供了成像设备、控制该成像设备的方法以及使得计算机执行该方法的计算机程序，该成像设备包括：成像单元，其利用彼此不同的成像器件分别产生被摄体的特定方向被设置在纵向方向上的第一捕捉图像、垂直于该特定方向的垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的一侧相邻的被摄体的第二捕捉图像、以及垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的另一侧相邻的被摄体的第三捕捉图像；操作接收单元，其接收用于指示成像范围的改变的指令操作；以及控制单元，其基于所接收的指令操作确定在由所述成像单元产生的第一到第三捕捉图像之中的作为显示或记录的目标的目标图像的范围。因此，存在基于所接收的指令操作，确定在由所述成像单元产生的第一到第三捕捉图像之中的作为显示或记录的目标的目标图像的范围的动作。
根据本发明的各实施例，能够实现能容易地拍摄用户喜欢的图像的优异效果。
附图说明
图1A到图1D是本发明的第一实施例中的蜂窝电话设备的外部配置示例的图；
图2是第一实施例中的蜂窝电话设备的内部配置示例的图；
图3是第一实施例中的成像单元的内部配置示例的图；
图4A到图4C是第一实施例中的成像单元中所包括的成像器件的排列配置示例的图；
图5是第一实施例中的聚焦在成像器件上的图像与读出图像数据的方法之间的关系的图；
图6A到图6C是第一实施例中的聚焦在成像器件上的图像与读出图像数据的方法之间的关系的图；
图7是第一实施例中的DSP的内部配置示例的框图；
图8是第一实施例中的图像信号处理单元的内部配置示例的框图；
图9是第一实施例中的时钟产生电路的内部配置示例的框图；
图10是第一实施例中的时钟产生电路的修改的框图；
图11是第一实施例中的时钟产生电路的修改的框图；
图12是第一实施例中的成像器件的内部配置示例的图；
图13A和图13B是第一实施例中的成像器件中所包括的寄存器的存储内容的示意图；
图14是第一实施例中对成像器件中的像素的控制信号以及从像素输出的数据的状态的示意时序图；
图15是第一实施例中对成像器件的像素的控制信号以及从像素输出的数据的状态的示意时序图；
图16是第一实施例中对成像器件的像素的控制信号以及从像素输出的数据的状态的示意时序图；
图17A和图17B是第一实施例中用于执行成像器件的稀疏处理的扫描电路的示例的示意图；
图18是第一实施例中的成像单元和被摄体之间的关系的图；
图19是第一实施例中的成像单元中的成像系统与作为成像系统的成像目标的被摄体之间的关系的示意图；
图20是第一实施例中的成像单元中的成像系统与作为成像系统的成像目标的各被摄体之间的关系的示意图；
图21是第一实施例中的成像单元中的成像系统与作为成像系统的成像目标的各被摄体之间的关系的示意图；
图22是第一实施例中的成像单元中的成像系统与作为成像系统的成像目标的各被摄体之间的关系的示意图；
图23是第一实施例中的成像单元中的成像系统与由成像系统产生的捕捉图像和在校正以后的已校正图像之间的关系的示意图；
图24A到图24C是第一实施例中的图像组合处理单元产生组合图像的组合的流程的示意图；
图25A到图25C是第一实施例中的图像组合处理单元产生组合图像的组合的流程的示意图；
图26A到图26C是第一实施例中的图像组合处理单元产生组合图像的组合的流程的示意图；
图27是第一实施例中作为蜂窝电话设备的成像处理的成像目标的被摄体的图；
图28A和图28B是第一实施例中读出成像器件中的图像数据的方法(第一读出方法)的示例的示意图；
图29A到图29C是第一实施例中的显示单元中的图像的显示示例的图；
图30A和图30B是第一实施例中读出成像器件中的图像数据的方法(第二读出方法)的示例的示意图；
图31A到图31C是第一实施例中的显示单元中的图像的显示示例的图；
图32A和图32B是第一实施例中读出成像器件中的图像数据的方法(第三读出方法)的示例的示意图；
图33A到图33C是第一实施例中的显示单元中的图像的显示示例的图；
图34A和图34B是第一实施例中读出成像器件中的图像数据的方法(第四读出方法)的示例的示意图；
图35A到图35C是第一实施例中的显示单元中的图像的显示示例的图；
图36A和图36B是第一实施例中读出成像器件中的图像数据的方法(第五读出方法)的示例的示意图；
图37A到图37C是第一实施例中的显示单元中的图像的显示示例的图；
图38A到图38C是第一实施例中的显示单元中的图像的显示示例的图；
图39A到图39E是第一实施例中用于旋转在显示单元中显示的图像的旋转处理的示意图；
图40A到图40C是第一实施例中的显示单元中的图像的显示示例的图；
图41A到图41C是第一实施例中的显示单元中的图像的显示示例的图；
图42A到图42C是第一实施例中的显示单元中的图像的显示示例的图；
图43是第一实施例中由成像器件执行像素稀疏和像素相加的图像数据的流程的示意图；
图44是第一实施例中由像素相加处理单元改变像素的数量的图像数据的流程的示意图；
图45是第一实施例中当从图像存储器读出图像数据时改变像素的数量的图像数据的流程的示意图；
图46是第一实施例中由成像器件改变读出区域的图像数据的流程的示意图；
图47是第一实施例中当从图像存储器读出图像数据时改变读出区域的图像数据的流程的示意图；
图48是第一实施例中的蜂窝电话设备的功能配置示例的框图；
图49A到图49D是第一实施例中的蜂窝电话设备的功能配置示例的框图；
图50是第一实施例中用于停止成像系统的操作的控制方法与信号线之间的关系的图；
图51是第一实施例中从成像器件的输出定时和图像缓冲器中的写状态的示意时序图；
图52A和图52B是第一实施例中用于成像器件中的像素的读出和图像缓冲器中的写的时钟频率与用于从图像缓冲器中读出图像数据的时钟频率之间的关系的图；
图53A和图53B是第一实施例中用于成像器件中的像素的读出和图像缓冲器中的写的时钟频率与用于从图像缓冲器中读出图像数据的时钟频率之间的关系的图；
图54A和图54B是第一实施例中用于成像器件中的像素的读出和图像缓冲器中的写的时钟频率与用于从图像缓冲器中读出图像数据的时钟频率之间的关系的图；
图55是第一实施例中由成像器件产生的图像数据的流程的示意图；
图56A和图56B是第一实施例中用于占用数据总线的处理和时间之间的关系的示意图；
图57是第一实施例中用于确定与蜂窝电话设备100的各种成像操作有关的数据总线204的操作频率的参数的示例的图；
图58是第一实施例中用于确定与蜂窝电话设备的各种成像操作有关的数据总线的操作频率的参数的示例的图；
图59是第一实施例中由图像信号处理单元执行的时间划分处理的示意图；
图60A和图60B是第一实施例中由图像信号处理单元执行的时间划分处理的示意图；
图61是第一实施例中用于确定与蜂窝电话设备的静止图像记录操作有关的数据总线的操作频率的参数的示例的图；
图62是第一实施例中用于确定与蜂窝电话设备的运动图像记录操作有关的数据总线的操作频率的参数的示例的图；
图63是第一实施例中用于图像缓冲器中的写的定时和用于捕捉到DSP中的定时的状态的示意时序图；
图64是第一实施例中用于图像缓冲器中的写的定时和用于捕捉到DSP中的定时的状态的示意时序图；
图65是第一实施例中的蜂窝电话设备的成像控制处理的处理过程的流程图；
图66是第一实施例中的蜂窝电话设备的成像控制处理的处理过程中的横向状态成像处理的流程图；
图67是第一实施例中的蜂窝电话设备的成像控制处理的处理过程中的静止图像成像处理的流程图；
图68是第一实施例中的蜂窝电话设备的成像控制处理的处理过程中的运动图像成像处理的流程图；
图69是第一实施例中的蜂窝电话设备的成像控制处理的处理过程中的纵向状态成像处理的流程图；
图70A到图70D是第一实施例中的蜂窝电话设备的修改的图；
图71A到图71C是第一实施例中的蜂窝电话设备的修改的图；以及
图72A到图72C是本发明的第二实施例中的成像设备的外部配置的图。
具体实施方式
以下说明用于实现本发明的模式(下文中称为实施例)。按如下顺序说明各实施例。
1.第一实施例(成像控制：在蜂窝电话设备中执行单眼成像操作和复合眼成像操作的示例)
2.第二实施例(成像控制：在成像设备中执行单眼成像操作和复合眼成像操作的示例)
<1.第一实施例>
[蜂窝电话设备的外部配置示例]
图1A到图1D是根据本发明的第一实施例的蜂窝电话设备100的外部配置示例的图。在图1A中，示出了在使用蜂窝电话设备100时的形态的前侧。在图1B中，示出了该形态的后侧。在图1C中，示出了在使用蜂窝电话设备100时的另一形态的前侧。在图1D中，示出了该形态的后侧。
蜂窝电话设备100包括第一壳体110和第二壳体120。第一壳体110和第二壳体120以作为枢轴旋转基准的枢轴旋转部件101可枢轴旋转地耦接。例如通过具有多个成像功能的蜂窝电话设备(所谓的带有相机的蜂窝电话设备)实现蜂窝电话设备100。在图1A到图1D中，为了易于说明，以简化形式示出了蜂窝电话设备100。未示出在蜂窝电话设备100的外表面上提供的电源开关等。
第一壳体110包括成像范围变换(changeover)开关111、静止图像/运动图像变换开关112、十个键(ten key)113、确定键114、十字键115和成像单元130。当用户持有并使用蜂窝电话设备100时，用户需要用手握住蜂窝电话设备100的某部分。例如，在正常使用期间，通常在用户用手握住第一壳体110的某部分(所谓的主体外壳)的状态下使用蜂窝电话设备100。
成像范围变换开关111是用于在以成像单元130产生图像数据时切换成像范围的操作部件。每次通过用户操作按下成像范围变换开关111时，依次切换成像范围。稍后参考图28A和图28B到图42A和图42B详细说明成像范围的切换。成像范围变换开关111是在所附权利要求中所述的操作接收单元的示例。
静止图像/运动图像变换开关112是在将成像模式切换为用于记录静止图像的静止图像成像模式和用于记录运动图像的运动图像成像模式时使用的操作部件。成像范围变换开关111和静止图像/运动图像变换开关112是所谓的反转(toggle)开关。
十个键113是用于输入数字、符号等的操作部件。
确定键114是在设置各种功能时由用户按下的操作部件。例如，当在设置了静止图像成像模式时按下确定键114时，确定键114用作快门按钮。
十字键115是在改变显示屏幕上所显示的项的选择状态时以及在上下和左右方向上移动显示屏幕上所显示的对象时所按下的操作键。
成像单元130对被摄体成像并产生图像数据。在图1A中，在与图1B所示的成像单元130对应的前侧上的位置由虚线指示。在图1B中所示的成像单元130中的圆圈示意性地指示在成像单元130中所包括的多个成像系统的透镜。在第一实施例中，作为例子说明其中在特定方向上并排排列的一组三个透镜的成像单元130。特定方向可以是例如当将第一外壳110的纵向方向(longitudinal direction)设置在垂直方向上时的水平方向。
第二壳体120包括显示单元140。显示单元140是显示各种图像的显示器件。例如，通过成像操作产生的图像被作为监视图像显示在显示单元140中。作为显示单元140，例如，可以使用LCD(液晶显示器)面板或有机EL(电致发光)面板。带有照相机的蜂窝电话设备或者一般的成像设备中所包括的显示器件的纵横比通常是4∶3或16∶9。因此，在第一实施例中所说明的示例中，当第二壳体120的纵向方向被设置在水平方向上时，显示单元140的纵横比被设置为4∶3。
如上所述，第一壳体110和第二壳体120可枢轴旋转地耦接。具体地，第二壳体120可以以枢轴旋转部件101(由虚线指示)作为枢轴旋转基准而相对于第一壳体110枢轴旋转。这使得能够改变第二壳体120相对于第一壳体110的相对位置关系。例如，在图1C和图1D中示出了其中第二壳体120在图1A和1B中所示的箭头102的方向上枢轴旋转90度的形态。
除了第二外壳120以枢轴旋转部件101作为枢轴旋转基准相对于第一壳体110旋转了90度之外，图1C和图1D所示的蜂窝电话设备100与图1A和图1B所示的示例相同。当第二壳体120在箭头103的方向上进一步枢轴旋转90度时，蜂窝电话设备100改变到不使用状态(所谓的闭合状态)。通过以此方式相对于第一壳体110枢轴旋转第二壳体120，可以将至少两个或更多的位置关系取作第二壳体120相对于第一壳体110的相对位置关系。还能够以枢轴旋转部件101作为枢轴旋转基准在与箭头102的方向相反的方向上枢轴旋转第二壳体120。但是，在第一实施例中，省略了这些形态的图示和说明。
将如下状态称为第二壳体120的纵向(portrait)状态：其中第一壳体110的纵向方向和第二壳体120的纵向方向被设置在相同的方向上，并且显示单元140和十个键113在枢轴旋转部件101两端彼此相对，如图1A和图1B所示。将在此状态下将第一壳体110和第二壳体120的纵向方向设置在垂直方向时所执行的成像操作称为纵向状态成像操作。
将如下状态称为第二壳体120的横向(landscape)状态：其中第一壳体110的纵向方向和第二壳体120的纵向方向基本上相互垂直，如图1C和图1D所示。将在此状态下第一壳体110的纵向方向被设置在垂直方向上并且第二壳体120的纵向方向被设置在水平方向上时所执行的成像操作称为横向成像操作。
[蜂窝电话设备的内部配置示例]
图2是第一实施例中的蜂窝电话设备100的内部配置示例的图。蜂窝电话设备100包括应用处理器11、数字基带处理单元12、模拟基带处理单元13和RF(射频)处理单元14。蜂窝电话设备100包括电池15、麦克风16、扬声器17、天线18、成像范围变换开关111、静止图像/运动图像变换开关112、确定键114、成像单元130和显示单元140。此外，蜂窝电话设备100包括枢轴旋转状态检测单元150、程序存储器160、图像存储器170、记录介质180和DSP(数字信号处理器)200。天线18被提供在RF处理单元14中。麦克风16和扬声器17被提供在模拟基带处理单元13中。
应用处理器11基于在并入蜂窝电话设备100中的存储器中所存储的各种计算机程序控制蜂窝电话设备100的各单元。应用处理器11包括例如CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)。
例如，当执行语音接收操作时，由天线18接收的无线电波经过RF处理单元14和模拟基带处理单元13由数字基带处理单元12解调。将数字基带处理单元12的解调结果经过模拟基带处理单元13从扬声器17输出。
当执行语音发送操作时，从麦克风16输入的声音经过模拟基带处理单元13由数字基带处理单元12调制。将已解调的声音数据经过模拟基带处理单元13和RF处理单元14从天线18传输。
当用户执行用于成像操作的开始指令操作时，在蜂窝电话设备100中执行成像操作。例如，当用户执行用于成像操作的开始指令操作时，应用处理器11命令与成像操作有关的各单元(成像单元130、DSP 200等)开始成像操作，并启动各单元。由启动的单元执行成像操作，并且所产生的图像被显示在显示单元140中。当用户执行对于图像的记录指令操作时，所产生的图像被记录在记录介质180中。当用户执行用于通过无线电传输图像的指令操作时，将所产生的图像通过无线电而传输。例如，所产生的图像数据由数字基带处理单元12调制，并经过模拟基带处理单元13和RF处理单元14从天线18传输。电池15是向蜂窝电话设备100供电的电池。
稍后参考图3、图7等详细说明开关111和112、确定键114、成像单元130、显示单元140、枢轴旋转状态检测单元150、程序存储器160、图像存储器170、记录介质180和DSP 200。
[成像单元的内部配置示例]
图3是第一实施例中的成像单元130的内部配置示例的图。在图3中，示出了与成像单元130连接的DSP 200的一部分。稍后参考图7和图8详细说明DSP 200的整体配置。
成像单元130包括三个成像系统(第一到第三成像系统191到193)、电源控制单元207和电源供应单元208和209。以特定方向并排排列三个成像系统。具体地，第一成像系统191被排列在中央，并且第二和第三成像系统192和193被排列在第一成像系统191的两侧。
第一成像系统191包括光学系统131、成像器件134和DSP I/F(接口)137。第二成像系统192包括光学系统132、成像器件135和DSP I/F 138。第三成像系统193包括光学系统133、成像器件136和DSP I/F 139。因为第一到第三成像系统191到193的配置基本上相同，因此主要说明第一成像系统191的配置，并省略第二和第三成像系统192和193的说明。
光学系统131包括会聚来自被摄体的光的多个透镜(包括变焦透镜和聚焦透镜)。通过光圈快门(stop)(未示出)调整通过这些透镜传输的光量(即曝光)。使得从被摄体会聚的光入射在成像器件134上。
成像器件134是聚焦使得经由光学系统131而入射的被摄体图像并产生图像信号的成像器件。具体地，成像器件134接收使得经由光学系统131入射的来自被摄体的光，并执行光电转换以由此产生与接收的光量对应的模拟图像信号。以此方式将由成像器件134产生的模拟图像信号经由DSP I/F 137提供给DSP 200。作为成像器件，例如，可以使用CCD(电荷耦合器件)类型或者CMOS(互补金属氧化物半导体)类型的固态成像器件。
DSP I/F 137是用于连接成像器件134和DSP 200的接口。
电源控制单元207基于来自DSP 200的成像控制单元201(图7中所示)的电源控制的指令来控制电源供应单元208和209。具体地，当电源控制单元207接收到来自成像控制单元201的用于电源控制的指令时，电源控制单元207创建符合被请求作为电源供应单元208和209的控制信号的输入规范的信号的振幅以及信号的上升速度和下降速度的信号。电源控制单元207将创建的信号输出到电源供应单元208和209，并控制电源供应单元208和209。当成像控制单元201的输出信号符合电源供应单元208和209的控制信号的输入规范时，成像控制单元201的输出信号可以被直接输入到电源供应单元208和209。
电源供应单元208基于电源控制单元207的控制向第一成像系统191供电。电源供应单元209基于电源控制单元207的控制向第二和第三成像系统192和193供电。通过例如可购买到的电源供应IC(集成电路)实现电源供应单元208和209。
第一到第三成像系统191到193的每个经由一个数据线和七种信号线连接到DSP 200。用于连接第一成像系统191和DSP 200的一个信号线被表示为L1，并且七种信号线被表示为L2到L8。第二和第三成像系统192和193的数据线和信号线基本上与第一成像系统191的数据线和信号线相同。因此，主要说明第一成像系统191的数据线和信号线。省略了第二和第三成像系统192和193的说明。
数据线L1是用于将图像数据从成像器件134传输到DSP 200的数据线。数据线L1按期望地包括例如多个数据线以便增加图像数据的传输速率。期望使用差分传输系统的高速数据线作为数据线L1，以便增加图像数据的传输速率和增加传输线上的抗噪声性。例如，期望使用LVDS(低电压差分信号传输)作为数据线L1。
信号线L2是成像器件134和DSP 200之间的双向通信线。例如，可以使用四线结构串行通信线。例如，信号线L2用于从DSP 200侧设置使用成像器件134所需的各种设置值。作为示例，用于稀疏(thinning out)并输出从成像器件134输出的图像数据到DSP 200的设置值被从DSP 200经由信号线L2写入寄存器370和380中(图12所示)。
信号线L3是用于从DSP 200向成像器件134提供时钟的时钟信号线。成像器件134使用经由信号线L3提供的时钟在每一个时钟时段执行对一个像素的成像操作。还能够在成像器件134中提供倍频器(multiplier)，在成像器件134中对从DSP 200提供的时钟进行倍频，并在倍频之后在每一个时钟时段执行对一个像素的成像操作。
信号线L4是用于从DSP 200向成像器件134提供复位信号的复位信号线。
信号线L5是用于从DSP 200控制成像器件134的成像操作的开和关的信号线。具体地，信号线L5是用于从DSP 20向成像器件通知操作的停止和开始的信号线。例如，当用户指示用于仅使用三个系统之中的一个成像器件的成像模式时，通过停止未在使用的两个成像器件的成像操作可以降低功耗。
信号线L6是垂直同步信号线。具体地，信号线L6是用于从DSP 200向成像器件134通知指示每帧的成像定时的同步信号的信号线。
信号线L7是水平同步信号线。具体地，信号线L7是用于从DSP 200向成像器件134通知指示一帧中的每条线的成像定时的同步信号的信号线。
信号线L8是快门信号线。例如，当在蜂窝电话设备100中由用户按下用于执行捕捉图像记录的操作部件(例如确定键114)时，与该按下对应的快门信号被从DSP 200经由信号线L8通知给成像器件134。
[成像器件的排列配置示例]
图4A到图4C是第一实施例中的成像单元130中所包括的成像器件134到136的排列配置示例的图。在图4A中，示出了成像器件134到136的排列配置。总的来说，在成像器件的光接收表面上阵列排列(arraying)像素的区域的形状基本上是矩形。因此，在在以下说明中，成像器件134到136示意性地由矩形表示。
在图4A中，示出了在将第一壳体110的纵向方向设置在垂直方向上以将枢轴旋转部件101侧设置在上侧时的排列配置示例。具体地，成像器件134被排列在中央，并且成像器件135和136被排列在成像器件134的两侧。排列在中央的成像器件134被排列为使得其纵向方向与垂直于阵列排列方向的方向一致。另一方面，排列在成像器件134的两侧的成像器件135和136被排列为使得其纵向方向与阵列排列方向一致。成像器件134到136被排列为使得其中心位置在同一平面上。具体地，在阵列排列方向上，成像器件135和136被排列在横向并且成像器件134被排列在纵向。在图4A中，可以读出像素的像素数据读出可能区域400到402示意性地由成像器件134到136中的矩形表示。例如，被摄体的特定方向被设置在纵向方向上的第一捕捉图像由成像器件134产生。垂直于特定方向的垂直方向被设置在纵向方向上、并包括与在第一捕捉图像中所包括的被摄体的垂直方向的一侧相邻的被摄体的第二捕捉图像由成像器件135产生。垂直方向被设置在纵向方向上、并包括与在第一捕捉图像中所包括的被摄体的垂直方向的另一侧相邻的被摄体的第三捕捉图像由成像器件136产生。以此方式，在第一实施例中，在中央的成像器件134的纵横比被设置得小于排列在成像器件134的两侧的成像器件135和136的纵横比。从而，即使当通过仅使用成像器件134而产生纵向图像时，也能够维持足够的分辨率。另一方面，关于通过使用成像器件134到136产生的广角图像(例如全景图像)，能够有效利用成像器件134的图像帧。
在图4B中，示出了其中在第二壳体120处于纵向状态时产生图像数据的像素数据读出区域的示例。像素数据读出区域403到405是当在像素数据读出可能区域400到402中产生用于显示或记录的图像数据时从其读出像素数据的区域的示例。在图4B中，像素数据读出区域403到405的轮廓由粗线表示。像素数据读出区域404和405可以被设置为例如与像素数据读出可能区域401和402相同。在像素数据读出区域403中，垂直方向上的长度V10可以被设置为与像素数据读出可能区域401和402的垂直方向的长度V11相同，并且水平方向上的长度H10可以被设置为与像素数据读出可能区域400的水平方向上的长度相同。
在图4C中，示出了其中当第二壳体120处于横向状态时产生图像数据的像素数据读出区域的示例。在此示例中，示出了其中仅通过成像器件134到136之中的成像器件134产生图像数据的像素数据读出区域406。像素数据读出区域406是在像素数据读出可能区域400到402中产生用于显示或记录的组合图像时读出像素的区域的示例。在图4C中，像素数据读出区域406的轮廓由粗线表示。像素数据读出区域406可以被设置为例如与像素数据读出可能区域400相同。稍后参考图28A和图28B到图42A到图42C来详细说明这些图像产生示例。
例如，假设其中成像器件134到136被排列为成像器件134到136的纵向方向与特定方向一致的成像设备。具体地，假设在图4A所示的状态中，成像器件134被排列为旋转90度，并且成像器件134到136的纵向方向和阵列排列方向相同。在此情况下，当拍摄具有正常长度的静止图像时垂直方向上的像素的数量最大仅是成像器件134的短边方向上的像素的数量。垂直方向上的视角限于其中使得光入射在成像器件134的短边方向上的区域。因此，为了增加垂直方向上的视角并增加垂直方向上的像素的数量以执行成像，用户需要将成像设备90旋转90度并进行拍摄。
另一方面，根据第一实施例，即使当拍摄具有正常长度的静止图像时，也能够进行拍摄，同时像素数量和视角与用户以置于侧向(sideways)的包括一个成像系统的蜂窝电话设备进行拍摄时的像素数量和视角相同。因此能够降低用户将成像设备导向侧向的工作和时间。
说明了用于读出成像器件134到136中的一条线中的数据的读出方法。例如，作为用于读出成像器件134到136中的一条线中的数据的数据读出方法，可以使用以下所述的两种方法。
第一数据读出方法是如下方法：其中，当读出成像器件134中的一条线中的数据时，该一条线的方向被设置在与成像器件134对应的矩形的短边方向上。在第一数据读出方法中，当读出成像器件135到136中的一条线中的数据时，该一条线的方向被设置在与成像器件135和136对应的矩形区域的长边方向上。在图6A中示出了此方法的示例。在第一数据读出方法中，从三个成像器件134到136中读出的图像数据可以被以读出顺序写入图像存储器170中。即使当读出数据并执行图像信号处理时，因为可以以相同顺序读出数据，因此可以容易地执行数据向存储器中的写和从存储器的读出。但是，总的来说，因为读出线方向是成像器件中的纵向方向，因此需要重新准备其中读出线方向是短边方向的成像器件。
第二数据读出方法是如下方法：其中，当读出成像器件134的一条线中的数据时，该一条线的方向被设置在如在成像器件135和136中的长边方向。在此情况下，不需要重新准备其中读出方向是短边方向的成像器件。但是，成像器件134的图像数据的读出方向被从成像器件135和136的图像数据的读出方向旋转了90度。因此，当通过使用从成像器件134读出的图像数据执行图像信号处理时，期望在将该图像数据的图像旋转90度以将该图像设置在与由成像器件135和136产生的图像的方向相同的方向上之后执行图像信号处理。在第一实施例中，说明了使用第一数据读出方法的示例。具体地，在以下说明中，在读出成像器件134中的一条线中的像素数据时的线方向被设置在成像器件134到136的阵列排列方向上。类似地，在读出成像器件135和136中的一条线中的像素数据时的线方向被设置在成像器件134到136的阵列排列方向上。
图5和图6A到图6C是第一实施例中聚焦在成像器件134到136上的图像和读出图像数据的方法之间的关系的图。一般而言，倒转的图像被聚焦在成像器件上。
图5是当产生倒转的图像作为聚焦在成像器件上的图像时被摄体409、光学系统131和聚焦在成像器件134上的捕捉图像410之间的关系的示意图。如图5所示，使得经由光学系统131入射的来自被摄体409的光聚焦在成像器件134上，并产生捕捉图像410。在此情况下，被摄体409的上下方向和捕捉图像410的上下方向被倒转。
图6A是在从成像器件134到136读出像素数据时的读出开始位置411到413以及读出方向的示意图。在此示例中，在图4B所示的像素数据读出区域403到405中读出像素数据。在以下说明中，像素数据读出区域中的读出开始位置示意性地由矩形表示。例如，从在像素数据读出区域403到405的右下角的读出开始位置411到413依次开始读出，并且按箭头方向读出像素数据。例如，在像素数据读出区域403中，像素数据的读出从读出开始位置411开始，并且在箭头方向上每次移位一个像素的同时依次执行像素数据的读出。当执行位于水平方向上的一条线的末端处(在图6A中示出的像素数据读出区域403的左端)的像素的读出时，在作为读出对象的线中向上侧移位一个像素的同时执行位于另一端处的像素的读出。其后，以相同方式依次执行像素的读出。当执行位于像素数据读出区域403中的上端的线中的末端处的像素的读出时，完成对于成像器件134的读出处理。同时执行关于成像器件135和136的读出处理。
图6B是其中组合了从成像器件134到136读出的像素数据的图像存储器170上的组合图像414的示意图。在此示例中，组合了通过图6A所示的读出方法读出的像素数据。假设组合图像414中的箭头方向是图像存储器170上的图像数据的阵列排列方向。
在图6C中，示出了当从成像器件134到136读出的像素数据被显示在显示单元140中时所获得的组合图像的显示示例。在此示例中，显示了图6B所示的组合图像414。例如，组合图像414被显示在捕捉图像显示区域415中，并且单色图像(例如黑色图像或白色图像)被显示在捕捉图像显示区域415以上和以下的边缘图像显示区域416和417中。假设显示单元140中的箭头方向是显示单元140中的扫描方向。
[DSP的配置示例]
图7是第一实施例中的DSP 200的内部配置示例的框图。DSP 200包括成像控制单元201、CPU 202、DMA(直接存储器存取)控制器203、数据总线204、程序存储器I/F 205和图像存储器I/F 206。DSP 200包括成像器件I/F210、图像缓冲器211到219、图像信号处理单元220、分辨率转换单元231、241和251以及图像旋转处理单元232和242。此外，DSP 200包括显示单元I/F 233、外部显示装置I/F 243、编码单元252、记录介质I/F 253、振荡电路264到266和时钟产生电路270。CPU 202、DMA控制器203、图像存储器I/F206、图像缓冲器211到219、图像信号处理单元220等连接到数据总线204。来自成像范围变换开关111、静止图像/运动图像变换开关112、确定键114和枢轴旋转状态检测单元150的信号被输入到成像控制单元201。
枢轴旋转状态检测单元150检测第二壳体120相对于第一壳体110的枢轴旋转状态，并将检测结果输出到成像控制单元201。枢轴旋转状态检测单元150检测例如由第一壳体110和第二壳体120形成的角度作为第二壳体120相对于第一壳体110的枢轴旋转状态，并将检测结果输出到成像控制单元201。例如，在枢轴旋转部件101中的某处提供角度检测开关，当第二壳体120相对于第一壳体110的枢轴旋转角度小于固定值时，该角度检测开关未被按下，且当枢轴旋转角度等于或大于该固定值时该角度检测开关被按下。枢轴旋转状态检测单元150利用角度检测开关检测由第一壳体110和第二壳体120形成的角度。枢轴旋转状态检测单元150是在所附权利要求中描述的检测单元的示例。
成像控制单元201控制与成像处理有关的各单元。例如，成像控制单元201基于来自枢轴旋转状态检测单元150的确定结果来确定第二壳体120相对于第一壳体110的枢轴旋转状态，并基于该确定结果对各单元执行成像控制。例如，成像控制单元201基于该确定结果确定作为由成像器件134到136产生的图像数据之中的显示或记录的目标的目标图像的范围。成像控制单元201基于来自成像范围变换开关111、静止图像/运动图像变换开关112和确定键114的输入信号对各单元执行成像控制。稍后参考图28A和图28B到图42A到图42C详细说明这些种类的成像控制。成像控制单元201是所附权利要求中描述的控制单元的示例。
在第一实施例中，用户可以预先设置记录由成像单元130产生的图像时的成像模式(图像大小等)。例如，成像控制单元201使得显示单元140显示用于设置成像模式的菜单屏幕。用户使用确定键114和十字键115在菜单屏幕上输入期望的设置内容。成像模式包括例如在成像期间使用的成像器件的数量以及在记录期间的图像的垂直方向图像大小和水平方向图像大小。成像模式包括表示图像的有效面积与垂直同步信号之间的间隔的垂直后沿(back porch)和垂直前沿(front porch)以及表示图像的有效面积与水平同步信号之间的间隔的水平后沿和水平前沿。成像控制单元201、DSP 200中的单元以及成像器件134到136包括存储成像模式的寄存器。
当由用户设置了成像模式时，成像控制单元201向DSP 200中的各单元和成像器件134到136通知所设置的成像模式，并使得各单元中所包括的寄存器存储成像模式。以此方式，由用户设置的成像模式的设置内容被存储在各单元中所包括的寄存器中。从而，用户可以容易地切换并使用多个拍摄条件。
成像控制单元201例如基于并入其中的寄存器中所存储的成像模式的设置内容向DSP 200中的各单元和成像器件134到136通知垂直同步信号、水平同步信号和时钟信号。成像控制单元201例如基于并入其中的寄存器中所存储的成像模式的设置内容向DSP 200中的与显示有关的单元和显示单元140通知该垂直同步信号、水平同步信号和时钟信号。成像控制单元201例如向电源控制单元207输出用于控制电源的开启和关闭的信号。
CPU 202基于存储在程序存储器160中的各种计算机程序来控制整个DSP 200。
DMA控制器203基于CPU 202的控制来控制数据在各存储器之间的传送。
程序存储器I/F 205是用于连接程序存储器160和DSP 200的接口。
图像存储器I/F 206是用于连接图像存储器170和DSP 200的接口。
成像器件I/F 210是用于连接成像器件134到136和DSP 200的接口。具体地，由成像器件134到136产生的图像数据被输入到成像器件I/F 210。例如，当用于传输来自成像器件134到136的图像数据的数据线L1是具有微小振幅的LVDS类型时，来自成像器件134到136的图像数据被转换成DSP I/F137到139中的GND电势或者电源电势。与成像器件134到136对应的三个系统中的图像缓冲器211到219被提供在成像器件I/F 210的后一级。
图像缓冲器211到219是存储从成像器件134到136输出的图像数据的图像缓冲器。所存储的图像数据被经由数据总线204写入图像存储器170中。例如，为每个成像器件提供三个图像缓冲器。图像缓冲器连接到数据总线204。例如，为成像器件134提供三个图像缓冲器211到213。为成像器件135提供三个图像缓冲器214到216。为成像器件136提供三个图像缓冲器217到219。在第一实施例中，即使在从图像缓冲器211到219读出图像数据以便将图像数据写入图像存储器170中时，重新从成像器件134到136输入的图像数据也被依次存储在图像缓冲器211到219中。因此，期望为每个成像器件134到136提供两个或更多个图像缓冲器作为图像缓冲器211到219。
期望图像缓冲器211到219之一的容量大于数据总线204的位宽。例如，当数据总线具有128位宽时，期望图像缓冲器具有等于或大于128位的容量。期望图像缓冲器211到219之一的容量等于或大于数据总线204的位宽的两倍。例如，当数据总线204具有128位宽时，期望图像缓冲器具有等于或大于256位的容量。
另一方面，图像缓冲器211到219之一的容量可以被设置为等于或小于由一个成像器件产生的一个图像的图像数据量。例如，期望图像缓冲器211到219之一的容量等于或小于由成像器件134的一条线的像素产生的图像数据的数据量。
在第一实施例中，连接成像器件134到136和DSP 200的数据线的位宽被设置为例如12位。例如，DSP 200的数据总线204的位宽被设置为128位宽，并且图像缓冲器211到219之一的容量被设置为128位。
图像信号处理单元220基于成像控制单元201的控制将各种图像信号处理应用于经由图像缓冲器211到219和数据总线220输入的图像数据。稍后参考图8详细说明图像信号处理单元220的内部配置。
分辨率转换单元231基于成像控制单元201的控制执行分辨率转换以使得显示单元140显示图像，并将经历了分辨率转换的图像数据输出到图像旋转处理单元232。
分辨率转换单元241基于成像控制单元201的控制执行分辨率转换以使得外部显示装置245显示图像，并将经历了分辨率转换的图像数据输出到图像旋转处理单元242。
图像旋转处理单元232基于成像控制单元201的控制将旋转处理应用于经历了分辨率转换的图像数据，并将经历了旋转处理的图像数据输出到显示单元I/F 233。
图像旋转处理单元242基于成像控制单元201的控制将旋转处理应用于经历了分辨率转换的图像数据，并将经历了旋转处理的图像数据输出到外部显示装置I/F 243。
显示单元I/F233是用于连接显示单元140和DSP 200的接口。
外部显示装置I/F243是用于连接外部显示装置245和DSP 200的接口。外部显示装置245是例如电视机。
分辨率转换单元251基于成像控制单元201的控制转换用于记录图像的分辨率，并将经历了分辨率转换的图像数据输出到编码单元252。例如，分辨率转换单元251执行用于将分辨率转换到用户期望的记录图像大小的分辨率转换处理和用于产生缩略图图像的分辨率转换处理。
编码单元252执行用于压缩从分辨率转换单元251输出的图像数据的编码，并将已编码的图像数据输出到记录介质I/F 253。
记录介质I/F 253是用于连接记录介质180和DSP 200的接口。
记录介质180是记录经由记录介质I/F 253提供的图像数据的记录介质。记录介质180可以被并入蜂窝电话设备100中，或者可以被可拆卸地附于蜂窝电话设备100。作为记录介质180，例如，可以使用带(例如磁带)或光盘(例如可记录DVD(数字通用盘))。作为记录介质180，例如可以使用磁盘(例如硬盘)、半导体存储器(例如存储卡)或磁光盘(例如MD(迷你盘))。
稍后参考图9到图11详细说明振荡电路264到266和时钟产生电路270。
[图像信号处理单元220的内部配置示例]
图8是第一实施例中的图像信号处理单元220的内部配置示例的框图。图像信号处理单元220包括像素相加处理单元221、解马赛克处理单元222、YC转换处理单元223、图像组合处理单元224、锐度处理单元225、颜色调整处理单元226和RGB转换处理单元227。
像素相加处理单元221将像素相加处理和像素稀疏处理应用于由成像器件134到136产生的图像数据。稍后参考图43等详细说明图像相加处理单元221。
解马赛克处理单元222执行解马赛克处理(插值处理)，使得在由成像器件134到136产生的图像数据(马赛克图像)的像素位置中，对于R、G、B的所有信道的强度被设置为相同。解马赛克处理单元222将经历了解马赛克处理的RGB图像提供给YC转换处理单元223。具体地，解马赛克处理单元222对仅具有对每一个像素一个颜色的像素数据的Bayer数据进行插值，并计算一个像素的R、G、B的三个像素数据。
YC转换处理单元223将YC矩阵处理以及对于色度分量的带限制应用于由解马赛克处理单元222产生的RGB图像，以由此产生亮度信号(Y)和色差信号(Cr，Cb)。所产生的亮度信号(Y)和色差信号(Cr，Cb)被提供给图像组合处理单元224。
图像组合处理单元224将图像组合应用于由YC转换处理单元223产生的图像数据，并将所组合的图像数据输出到锐度处理单元225。稍后参考图18到图26A到图26C详细说明该图像组合处理。图像组合处理单元224是所附权利要求中描述的图像组合单元的示例。
锐度处理单元225将用于提取带有大的信号改变的部分并高亮显示该部分的锐度处理(高亮显示被摄体的轮廓的处理)应用于由图像组合处理单元224产生的图像数据。锐度处理单元225将经历了锐度处理的图像数据提供给颜色调整处理单元226。
颜色调整处理单元226将色调和色度调整应用于经历了锐度处理单元225的锐度处理的图像数据。
RGB转换处理单元227将经历了颜色调整处理单元226的色调和色度调整的图像数据从YCbCr数据转换成RGB数据。
说明图像信号处理单元220的信号的图像数据的流程。例如，假设图像信号处理单元220中的每个信号处理单元通过数据总线204直接从图像存储器170读取图像数据，并将信号处理之后的图像数据经过数据总线204写入图像存储器170中。其优点在于，图像信号处理单元220可以在期望的时刻读取图像数据中的期望位置处的图像数据。但是，因为需要经过数据总线204传输的数据量增加，需要增加数据总线204的工作频率。因此，很可能数据总线204的设计很困难并且功耗增加。
例如，假设图像信号处理单元220中的每个信号处理单元不经过数据总线204而从在前一级处的信号处理单元接收图像数据，并且不经过数据总线204而将在信号处理之后的图像数据传递到后一级处的信号处理单元。在此情况下，不使用数据总线204。其优点在于，LSI的设计容易，并且可以降低功耗。但是，很可能每个信号处理单元可能不能在期望时刻读取图像数据中的期望位置处的图像数据。
因此，在第一实施例中，在解马赛克处理单元222和具有基本上固定的图像大小的颜色调整处理单元226之间，为了降低数据总线204的工作频率和功耗，在各信号处理单元之间直接传递图像数据。在分辨率转换中使用大量的图像数据的前一级信号处理单元处，当图像数据被写入图像存储器170中并且执行分辨率转换时，从图像存储器170读出期望的图像数据。
[时钟产生电路的配置示例]
图9是第一实施例中的时钟产生电路270的内部配置示例的框图。时钟产生电路270包括用于高频时钟20和24的倍频器、用于高频时钟21和25的分频器、用于低频时钟22和26的倍频器、以及用于低频时钟23和27的分频器。时钟产生电路270包括用于时钟28和30的倍频器以及用于时钟29和31的分频器。倍频器将输入时钟的频率倍频。分频器将输入时钟的频率降低到1/n(n是任意整数)。在此示例中，时钟产生电路270根据图7所示的DSP中的各单元的连接目的地而产生至少六种时钟。
振荡器261到263是用于产生被提供到DSP 200中的时钟信号的振荡源。例如，使用石英振荡器。
振荡电路264到266产生被提供到DSP 200中的时钟信号，并将所产生的时钟信号输出到时钟产生电路270。
由时钟产生电路270产生的六种时钟的两种是被提供给成像器件134到136的时钟。被提供给成像器件134到136的时钟中的一种是具有相对大的频率的时钟，用于产生具有相对大的数量的像素的图像。从振荡电路264输出的时钟被输入到用于高频时钟20的倍频器并被倍频，且倍频后的时钟被输入到用于高频时钟21的分频器并被分频，由此产生具有相对大的频率的时钟。另一种是具有相对小的频率的时钟，用于产生具有相对小数量的像素的图像。从振荡电路264输出的时钟被输入到用于低频时钟22的倍频器，并被倍频，并且倍频后的时钟被输入到用于低频时钟23的分频器并被分频，由此产生具有相对小的频率的时钟。由用于高频时钟21的分频器和用于低频时钟23的分频器分频的时钟被作为在时钟产生电路270中产生的时钟输出，并经过DSP 200的内部被提供给成像器件134到136。被提供给成像器件134到136的时钟不限于此示例中说明的两种。期望根据成像操作产生的图像的大小而产生并使用很多种类的时钟。
由时钟产生电路270产生的六种时钟中的另外两种是在DSP 200的内部使用的时钟。在DSP 200的内部使用的时钟中的一种是具有相对大的频率的时钟，用于产生具有相对大的数量的像素的图像。从振荡电路264输出的时钟被输入到用于高频时钟24的倍频器并被倍频，且倍频后的时钟被输入到用于高频时钟25的分频器并被分频，由此产生具有相对大的频率的时钟。另一种是具有相对小的频率的时钟，用于产生具有相对小的数量的像素的图像。从振荡电路264输出的时钟被输入到用于低频时钟26的倍频器并被倍频，并且倍频后的时钟被输入到用于低频时钟27的分频器并被分频，由此产生具有相对小的频率的时钟。由用于高频时钟25的分频器和用于低频时钟27的分频器分频的时钟被作为在时钟产生电路270中产生的时钟而输出，并被提供给DSP 200的内部。在DSP 200的内部使用的时钟不限于在此示例中说明的两种。期望根据成像操作产生的图像的大小而产生并使用很多种类的时钟。
由时钟产生电路270产生的六种时钟中的其余两种是用于在显示单元140中显示图像的像素时钟和用于在蜂窝电话设备100外部的显示装置(例如外部显示装置245)中显示图像的像素时钟。从振荡电路265输出的时钟被输入到用于时钟28的倍频器并被倍频，并且倍频后的时钟被输入到用于时钟29的分频器并被分频，由此产生用于在显示单元140中显示图像的像素时钟。从振荡电路266输出的时钟被用于时钟30的倍频器倍频，并且倍频后的时钟被输入到用于时钟31的分频器并被分频，由此产生用于在蜂窝电话设备100的外部的显示装置中显示图像的像素时钟。由用于时钟29的分频器分频的时钟被作为在时钟产生电路270中产生的时钟而输出，并经过DSP 200的内部被提供给显示单元140。由用于时钟31的分频器分频的时钟被作为在时钟产生电路270中产生的时钟而输出，并经过DSP 200的内部被提供给蜂窝电话设备100外部的显示装置。用于图像显示的时钟不限于在此示例中说明的两种。期望根据与蜂窝电话设备100连接的显示装置的规范而产生并使用很多种类的时钟。
图10和图11是第一实施例中的时钟产生电路270的修改的框图。
在图10所示的示例中，被提供给成像器件134到136的两种时钟共享一个倍频器(用于时钟32的倍频器)，并且被提供给DSP 200的内部的两种时钟共享一个倍频器(用于时钟33的倍频器)。
在图11所示的示例中。被提供给成像器件134到136的多种时钟和被提供给DSP 200的内部的多种时钟共享一个倍频器(用于时钟34的倍频器)。
[成像器件的配置示例和像素读出示例]
图12是第一实施例中的成像器件的内部配置示例的图。因为成像器件134到136的内部配置基本相同，因此在图12中仅示出了成像器件134，并省略了其他成像器件的说明。在图12中，作为成像器件134，作为例子说明CMOS成像器件。
成像器件134包括像素40-47、垂直扫描电路340和水平扫描电路345。成像器件134包括ADC(A/D(模拟/数字)转换器)350到353、加法器354到357和366以及列锁存器358到361。此外，成像器件134包括开关362到365、输出锁存器367、输出电路368、寄存器370和380以及倍频器/分频器电路391和392。总的来说，纵向方向上的成像器件的阵列被称为列，而横向方向(lateral direction)上的成像器件的阵列被称为行。因此，在以下说明中，适当地使用名称“列”和“行”。在此示例中，在成像器件134中，代表性地说明一部分像素(像素40到47)和与像素有关的单元。省略了其他组件的例示和说明。
在成像器件134中，垂直控制线341到344在行方向上连线，并且出现在同一条线上的每隔一个像素连接到相同的垂直控制线。数据读出线346到349在列方向上连线，并且出现在同一条线上的像素共享一条读出线。
垂直扫描电路340经过在行方向上连线的垂直控制线341到344接通和断开在像素40到47与数据读出线346到349之间的开关。具体地，在行方向上的像素中，出现在行方向上的同一条线上的像素中的每隔一个像素被共同地接通和断开。像素40到47的图像数据被经过各像素和与各像素对应的数据读出线之间开关而输出到数据读出线346到349。
水平扫描电路345接通和断开列锁存器358到361和开关362到365。能够在根据垂直扫描电路340对开关的开和关的选择以及水平扫描电路345对开关362到365的开和关的选择而依次选择像素的同时以时分方式读出所有像素的信号。输出数据线369是用于从成像器件134输出列的输出结果的输出数据线。
在成像器件134中，按二维方格形状排列像素40到47。因为像素40到47的配置相同，所以将像素40作为例子进行说明。像素40包括作为光接收单元的光电二极管51、放大器52和开关53。光电二极管51将照射在像素上的光转换成与光量对应的电荷。放大器52是放大由光电二极管51转换的电荷的信号的放大器。开关53是根据垂直控制线342的开和关而控制像素40的电荷转移的开关。
各列包括ADC 350到353、加法器354到357和列锁存器358到361。在以下说明中，将与数据读出线346连接的ADC 350、加法器354和列锁存器358作为示例进行说明。
ADC 350是将作为模拟值的来自像素的图像数据转换成数字数据(数字值)的AD转换器。
每次图像数据由ADC 350转换成数字数据时，加法器354将转换之后的新数字数据加到列锁存器158中所存储的数字数据。
列锁存器358是依次存储由ADC 350转换的数字数据的列锁存器。列锁存器是指示存储AD转换之后的数字数据的数据存储电路的名称。作为数据存储电路，除了包括线性电路的锁存器之外，还可以使用诸如包括同步电路的触发器之类的可以存储数字数据的电路。
例如，从像素40输出的图像数据在通过ADC 350、加法器354和列锁存器358之后经过与数据读出线346连接的开关362而输出到输出数据线390。在第一实施例中，像各列的数据读出线一样，输出数据线390包括加法器366和输出锁存器367，并执行图像数据的相加和存储。存储在输出锁存器367中的图像数据被经过输出电路368输出到输出数据线369。来自输出数据线369的图像数据被输出到数据线L1。
倍频器/分频器391和392基于来自DSP 200的控制执行输入时钟的频率的倍频或者输入时钟的频率的分频。倍频器/分频器391和392将产生的时钟提供给垂直扫描电路340、水平扫描电路345和输出电路368。
信号线393是用于供应来自DSP 200的垂直同步信号的垂直同步信号线。信号线394是用于供应来自DSP 200的水平同步信号的水平同步信号线。
信号线395是用于供应来自DSP 200的时钟信号的时钟信号线。信号线396是用于从DSP 200控制成像操作的开启和关闭的信号线以及用于控制像素稀疏的信号线。信号线397是成像器件134和DSP 200之间的双向通信线。信号线398是电源线。
寄存器370和380是其中存储了与成像操作有关的设置值的寄存器。在图13A和13B中示出了所存储的内容的示例。
图13A和图13B是第一实施例中的成像器件134中所包括的寄存器370和380的所存储内容的示意图。在寄存器370和380中，存储了与成像操作有关的设置值。设置值被提供给垂直扫描电路340和水平扫描电路345。设置值可以是可通过用户操作改变的。稍后参考图28A和图28B以及图42A到图42C详细说明所存储的内容和基于所存储的内容执行的成像操作。
图14到图16是第一实施例中对成像器件134中的像素的控制信号和从像素输出的数据的状态的示意时序图。图14到图16中所示的横轴是时间轴。图14到图16中所示的垂直控制线341到344和列锁存器358到361由与对应于其的图12中所示的附图标记相同的附图标记指示。图14到图16所示的列锁存器读出信号由与对应于其的图12中所示的开关362到365的附图标记相同的附图标记指示。
在图14所示的示例中，说明读出成像器件134中的所有像素时的成像操作。
通过使用垂直控制线341到344将与某些行(例如像素40到43的线)连接的所有成像器件134的图像数据输出到各列的数据读出线346到349。随后，输出到数据读出线346到349的像素数据被各列的ADC 350到353进行AD转换。随后，ADC 350到353的输出被存储在各列的列锁存器348到361中。例如，像素数据d1到d4被存储在图14所示的列锁存器358到361中。随后，水平扫描电路345以逐列的顺序接通从列锁存器358至361到输出数据线390的读出开关362到365。这使得能够按顺序读出一条线中的像素数据。例如，在像素数据d1被输出到图14所示的输出数据线390后，依次输出像素数据d2和d3。
其后，类似地，每次完成水平方向上的一条线的读出时，垂直扫描电路340以逐行的顺序接通从像素到垂直信号线的读出开关。从而，各行中的像素数据被输入到ADC 350到353。在输入像素数据被ADC 350到353进行AD转换之后，像素数据被存储在各列的列锁存器358到361中。例如，像素数据d5到d8被存储在图14所示的列锁存器358到361中。随后，水平扫描电路354以逐列的顺序接通从列锁存器358至361到输出数据线390的读出开关362到365，并按顺序读出一条线中的像素数据。例如，像素数据d5到d8被依次输出到图14所示的输出数据线309。
在图15所示的示例中，将通过水平稀疏像素而读取成像器件134中的像素的成像操作作为像素稀疏读出的示例进行说明。
垂直扫描电路340接通仅在期望的列中的从像素到垂直信号线346至349的读出开关。从而，仅特定行中的像素数据被输入到ADC 350到353，并被ADC 350到353进行AD转换。ADC 350到353的输出被存储在各列中的列锁存器358到361中。例如，连接到垂直控制线342和344的读出开关被接通，由此像素数据d1和d3被存储在图15所示的列锁存器358和360中。在完成对于一行的此读出之后，例如，连接到垂直控制线342和344的读出开关被接通，由此像素数据d5和d7被存储在图15所示的列锁存器358和360中。
水平扫描电路345接通仅期望的列中的从列锁存器358至361到输出数据线390的读出开关。这使得能够按顺序仅读出一条线中的特定像素数据。
例如，在水平方向上，当从N条(piece)像素数据中读出一条像素数据时，在水平方向上执行1/N稀疏读出。例如，当读出两条像素数据中的一条像素数据时，在水平方向上执行1/2稀疏读出。当读出四条像素数据之中的一条像素数据时，在水平方向上执行1/4稀疏读出。
与水平方向上(即行方向)的稀疏操作同时地，还可以执行垂直方向上(即列方向)的稀疏操作。例如，当在垂直方向上读出M条线中的一条线中的像素数据时，执行垂直方向上的1/M稀疏读出。例如，当读出两行中的一行的像素数据时，在垂直方向上执行1/2稀疏读出。当读出四行中的一行的像素数据时，在垂直方向上执行1/4稀疏读出。
在图16所示的示例中，说明在执行成像器件134中的像素的像素相加读出时的成像操作。在此示例中，将水平方向上的1/2像素相加读出和垂直方向上的1/2像素相加读出情况下的成像操作作为示例进行说明。
如在所有像素读出的情况下，通过使用垂直控制线，连接到某一行的所有成像器件134的数据被输出到各列中所包括的数据读出线、进行AD转换并被存储在列锁存器中。不像所有像素读出的情况那样，通过使用另一垂直控制线，连接到另一行的所有成像器件134的数据被输出到各列中所包括的数据读出线，并被进行AD转换。通过使用加法器，该数据被加到列锁存器中所存储的数据。通过此方法根据垂直方向上的期望数量的线累加像素数据的值。相加后的数据被存储在列锁存器中。例如，像素数据d1+d5、d2+d6、d3+d7和d4+d8被存储在列锁存器358至361中。在累加了垂直方向上的N条像素数据后，将相加结果作为一条像素数据输出，由此执行垂直方向上的1/N像素相加读出。
随后，水平扫描电路345依次逐列地接通从列锁存器到输出数据线390的读出开关。在此情况下，从列锁存器读出到输出数据线390的数据由输出数据线390的加法器366累加并被存储在输出锁存器367中。在水平方向对期望数量的列重复相加处理，并且相加后的数据被输出到成像器件134。例如，通过累加像素数据d1+d5和像素数据d2+d6获得的数据d1+d5+d2+d6被经由输出数据线369输出到成像器件134。在水平方向上累加M行中的像素数据，由此在水平方向上执行1/M像素相加读出。以上所述的处理使得能够执行水平方向上(行方向)的相加处理和垂直方向上(列方向)的相加处理。
当执行图15所示的稀疏读出和图16所示的像素相加读出时，期望使得成像器件根据多种稀疏比率和像素相加比率而工作。因此，以下说明使得成像器件根据多种稀疏比率和像素相加比率而工作的扫描电路。
图17A和图17B是第一实施例中用于执行成像器件134的稀疏处理的扫描电路的示例的示意图。在图17A中，示出了三种扫描电路104到106。在图17B中，示出了1/N间隔(curtaining)扫描电路。在图17A和17B所示的示例中，关于与用于所有像素读出、1/2稀疏读出和1/4稀疏读出的三种像素稀疏比率对应的成像器件的扫描电路，成像器件的横向方向像素的数量是1024。
如图17A所示，扫描电路104是包括1024条输出信号线的1024到1扫描电路(scan_a[n(0≤n≤1023：n是整数)])。扫描电路104将信号线逐一改变到使能状态，然后将信号线改变到禁能状态。扫描电路105是包括512条输出信号线的512到1扫描电路(scan_b[n(0≤n≤511：n是整数)])。扫描电路105将信号线逐一改变到使能状态，然后将信号线改变到禁能状态。扫描电路106是包括256条输出信号线的256到1扫描电路(scan_c[n(0≤n≤255：n是整数)])。扫描电路106将信号线逐一改变到使能状态，然后将信号线改变到禁能状态。
如图17B所示，扫描电路105的输出信号线、扫描电路106的输出信号线和指示选择三种像素稀疏比率中的哪个的控制线连接到扫描电路104的1024条输出信号线中的具有4的倍数的数字的信号线。三种控制线是与所有像素读出(sel_1per1)、1/2稀疏读出(sel_1per2)和1/4稀疏读出(sel_1per4)对应的控制线。
扫描电路105的输出信号线和指示选择两种像素稀疏比率中的哪个的控制线连接到扫描电路104的1024条输出信号线中的具有2的倍数而不是4的倍数的数字的信号线。两种控制线是与所有像素读出和1/2稀疏读出对应的控制线。
指示是否选择所有像素读出的控制线连接到扫描电路104的1024条输出信号线之中的上述信号线以外的信号线。
根据来自图17B所示的扫描电路的输出(scan_out[n(0≤n≤1023：n是整数)])，在成像器件134中，能够执行所有像素读出、1/2稀疏读出和1/4稀疏读出中每个的稀疏处理。
[成像系统的排列配置示例]
图18是第一实施例中的成像单元130和被摄体之间的关系的示意图。在图18中，仅示出了图3所示的成像单元130中的第一到第三成像系统191到193中的光学系统131到133和成像器件134到136，并省略了其他组件。在图18中，作为成像目标的被摄体被表示为被摄体表面300。蜂窝电话设备100被排列为使得第一成像系统191的光轴垂直于被摄体表面300。
在成像单元130中，由第一成像系统191的光轴194和第二成像系统192的光轴195形成的角度被表示为θ0。类似地，由第一成像系统191的光轴194和第三成像系统193的光轴196形成的角度被表示为θ0。第三成像系统193被排列在第一成像系统191的光轴194的两端与第二成像系统192线对称的位置。
在第一成像系统191中，由在被使得入射在成像器件134上的光的入射光路径的最外侧上的线和光轴194形成的角度被表示为θ1。在第二成像系统192中，由在被使得入射在成像器件135上的光的入射光路径的最外侧上的线和光轴195形成的角度被表示为θ2。类似地，在第三成像系统193中，由在被使得入射在成像器件136上的光的入射光路径的最外侧上的线和光轴196形成的角度被表示为θ2。例如，如图18所示，光接收表面的水平方向上的宽度小于成像器件135和136中的光接收表面的水平方向上的宽度。因此，被使得入射在成像器件134上的光的视角2×θ1小于被使得入射在成像器件135和136上的光的视角2×θ2。
成像表面300上的成像范围301由被使得入射在成像器件134上的光的视角2×θ1指定。类似地，成像表面300上的成像范围302由被使得入射在成像器件135上的光的视角2×θ2指定，并且成像表面300上的成像范围303由被使得入射在成像器件136上的光的视角2×θ2指定。在第一实施例中，由成像器件134到136产生的图像被组合以产生全景图像。因此，由光轴形成的角度被设置为使得成像表面300上的成像范围301和成像表面300上的成像范围302部分重叠。具体地，由第一成像系统191的光轴194和第二成像系统192的光轴195形成的角度θ0以及由第一成像系统191的光轴194和第三成像系统193的光轴196形成的角度θ0被设置为使得成像范围301和302部分重叠。光轴194到196被包括在同一平面中。第一到第三成像系统191到193被排列为使得光轴194到196在一个点处相交(交叉点P0)。
第一成像系统191的透镜中心被表示为R1，第二成像系统192的透镜中心被表示为R2，并且第三成像系统193的透镜中心被表示为R3。透镜中心R1和交叉点P0之间的距离被表示为L11，透镜中心R2和交叉点P0之间的距离被表示为L21，并且透镜中心R3和交叉点P0之间的距离被表示为L31。在此情况下，期望第一到第三成像系统191到193被排列为使得距离L11、L21和L31相等。
[梯形失真的校正示例]
图19和图20是第一实施例中的成像单元130中的成像系统和作为成像系统的成像目标的被摄体之间的关系的示意图。在图19的(a)中，示意地示出了作为成像单元130的成像目标的被摄体310。被摄体310是与图18中所示的被摄体表面300对应的被摄体。与被摄体310对应的范围由矩形表示。该矩形的内部以格形示意示出。
在图20的(a)中，示意性示出作为成像单元130的成像目标的被摄体311到313。被摄体311是图19的(a)中所示的被摄体310中的、与第一成像系统191对应的被摄体。类似地，被摄体312是被摄体310中的与第二成像系统192对应的被摄体。被摄体313是被摄体310中的与第三成像系统193对应的被摄体。被摄体311到313中的被摄体311的水平方向上的两端和被摄体312和313的水平方向上的一端重叠。
在图19和图20的(b)中，示出了成像单元130中的成像系统。除了省略了参考数字和标记之外，图19和20的(b)中所示的示例与图18所示的示例相同。
图21是第一实施例中的成像单元130中的成像系统和由成像系统产生的捕捉图像之间的关系的示意图。在图21中的(a)中，示意性示出了由成像单元130产生的捕捉图像314到316。捕捉图像314到316是与图20的(a)中所示的被摄体311到313对应的捕捉图像。示意性示出了被摄体311到313中所示的格形的矩形。
如图21的(a)中所示，第二和第三成像系统192和193的光轴195和196不与被摄体表面300垂直。因此，在捕捉图像315和316中发生梯形失真。参考图22详细说明梯形失真。
图22是第一实施例中的成像单元130中的成像系统和作为成像系统的成像目标的被摄体之间的关系的示意图。在图22中，为了易于说明，省略了与第三成像系统193有关的组件，并且仅示出了第一和第二成像系统191和192。除了省略了与第三成像系统193有关的组件之外，图22所示的示例与图18所示的示例基本相同。交叉点P0、角度θ0、θ1和θ2、透镜中心R1和R2以及距离L11与图18所示的示例中的相同，并因此由相同的附图标记表示。
在图22中，第一成像系统191的光轴194和被摄体表面300的交叉点被表示为S11。第一成像系统191的视角的右可见轮廓和被摄体表面300交叉点被表示为S12。第一成像系统191的视角的左可见轮廓和被摄体表面300的交叉点被表示为S13。
作为包括交叉点S11并与光轴194垂直的平面并被使得入射在第一成像系统191上的平面被摄体区域被表示为被摄体表面S10。
第二成像系统192的光轴195和被摄体表面300的交叉点被表示为S21。第二成像系统192的视角的右可见轮廓和被摄体表面300的交叉点被表示为S32。第二成像系统192的视角的左可见轮廓和被摄体表面300的交叉点被表示为S43。
作为包括交叉点S21并与光轴195垂直的平面并被使得入射在第二成像系统192上的平面被摄体区域被表示为被摄体表面S20。
作为包括交叉点S32并与光轴195垂直的平面并被使得入射在第二成像系统192上的平面被摄体区域被表示为被摄体表面S30。
作为包括交叉点S43并与光轴195垂直的平面并被使得入射在第二成像系统192上的平面被摄体区域被表示为被摄体表面S40。
被摄体表面S30和光轴195的交叉点被表示为S31。被摄体表面S40和光轴195的交叉点被表示为S41。
第二成像系统192的视角的右可见轮廓和被摄体表面S20的交叉点被表示为S22。第二成像系统192的视角的右可见轮廓和被摄体表面S40的交叉点被表示为S42。
第二成像系统192的视角的左可见轮廓和被摄体表面S20的交叉点被表示为S23。第二成像系统192的视角的右可见轮廓和被摄体表面S30的交叉点被表示为S33。
通过第二成像系统192的透镜中心R2并垂直于被摄体表面300的线段197与被摄体表面300的交叉点被表示为S51。
例如，当将包括在视角的左端处的点S43的被摄体表面S40和包括在视角的右端的点S32的被摄体表面S30相比较时，被摄体表面S40出现在比被摄体表面S30更远离透镜中心R2的位置处。因此，当对被摄体表面S40成像时，所成像的区域宽于对被摄体表面S30成像时所成像的区域。例如，假设具有相同长度的线段被排列为被摄体表面S30和被摄体表面S40上的被摄体。在此情况下，当比较对于被摄体表面S30产生的捕捉图像和对于被摄体表面S40产生的捕捉图像时，被包括在对于被摄体表面S40产生的捕捉图像中的线段更短。
因此，例如，当第二成像系统192对图20的(a)中所示的被摄体312成像时，如在图21的(a)中所示的捕捉图像315中那样，按梯形形成与被摄体312对应的区域。具体地，在图21的(a)中所示的示例中，在捕捉图像315中，与被摄体312对应的矩形中的左边短于右边。
类似地，当第三成像系统193对图20的(a)中所示的被摄体313成像时，如在图21的(a)中所示的捕捉图像316中那样，按梯形形成与被摄体313对应的区域。以此方式，在由三眼成像单元产生的捕捉图像中发生梯形失真。因此，以下说明用于校正捕捉图像的梯形失真的梯形失真校正方法。
交叉点S11和透镜中心R1之间的距离被表示为L12。交叉点S13和透镜中心S1之间的距离以及交叉点S12和透镜中心R1之间的距离被表示为L13。
交叉点S21和透镜中心R2之间的距离被表示为L22。交叉点S31和透镜中心R2之间的距离被表示为L30。交叉点S41和透镜中心R2之间的距离被表示为L40。
交叉点S32和透镜中心R2之间的距离被表示为L23。交叉点S43和透镜中心R2之间的距离被表示为L24。交叉点S51和透镜中心R2之间的距离被表示为L51。稍后参考图24A到图24C说明距离L61到L66。
根据三角函数的公式，以下公式成立。
L21+L22＝L11+L22＝(L11+L12)/cosθ0
根据此公式获得以下公式1。
L22＝{(L11+L12)/cosθ0}-L11...(公式1)
其中L1＝L21
关于距离L51，根据三角函数的公式和公式1，获得以下公式2。
L51＝L22×cosθ0
＝[{(L11+L12)/cosθ0}-L11]×cosθ0...(公式2)
关于距离L23，根据三角函数的公式和公式2，获得以下公式3。
L23＝L51/cos(θ2-θ0)
＝(L22×cosθ0)/cos(θ2-θ0)...(公式3)
关于距离L30，根据三角函数的公式和公式3，获得以下公式4。
L30＝L23×cosθ2
＝{(L22×cosθ0)/cos(θ2-θ0)}×cosθ2
＝([({(L11+L12)/cosθ0}-L11)×cosθ0]/cos(θ2-θ0))×cosθ2
...(公式4)
当确定了第一成像系统191的光轴194中的距离L11和L12时，通过使用公式4可以计算距离L30。通过以此方式计算距离L30，能够计算距离L30与距离L12的比率的值XR(＝L12/L 30)。XR小于1。
关于距离L24，根据三角函数的公式和公式2，可以获得以下公式5。
L24＝L51/cos(θ2+θ0)
＝(L22×cosθ0)/cos(θ2+θ0)...(公式5)
关于距离L40，根据三角函数的公式、公式1和公式5，可以获得以下公式6。
L40＝L24×cosθ2
＝{(L22×cosθ0)/cos(θ2+θ0)}×cosθ2
＝[[{(L11+L12)/cosθ0-L11}×cosθ0]/cos(θ2+θ0)]×cosθ2...(公式6)
当确定了第一成像系统191的光轴194中的距离L11和L12时，通过使用公式6可以计算距离L40。通过以此方式计算距离L40，可以计算距离L40与距离L12的比率的值XL(＝L12/L40)。XL大于1。
通过使用比率值XR和XL说明用于校正梯形失真的校正方法。
关于图21的(a)中所示的捕捉图像315，转换坐标使得右边的长度乘以XR，并且左边的长度乘以XL。具体地，捕捉图像315中的右边在箭头321方向上减小，使得右边的长度乘以XR。捕捉图像315中的左边在箭头322方向上扩大，使得左边的长度乘以XL。在图23的(a)中示出了以此方式校正的已校正图像317。
图23是成像单元130中的成像系统与由成像系统产生的捕捉图像和在第一实施例中的校正后的已校正图像之间的关系的示意图。在图23的(a)中，示意性示出了由成像单元130产生的捕捉图像314以及通过校正图21的(a)中所示的捕捉图像315和316获得的已校正图像317和318。除了省略了参考数字和标记之外，图23的(b)中所示的示例与图18所示的示例相同。
如上所述，关于图21的(a)中所示的捕捉图像315，转换坐标使得右边的长度乘以XR并且左边的长度乘以XL，由此产生图23的(a)中所示的已校正图像317。以此方式产生的已校正图像317是外部形状是梯形的图像。因此能够通过以矩形形状裁掉已校正图像317中的中心来获得梯形失真已被校正的图像325(由粗线指示)。
类似地，关于图21的(a)中所示的捕捉图像316，转换坐标使得左边的长度乘以XR并且右边的长度乘以XL，由此产生图23的(a)中示出的已校正图像318。能够通过以矩形形状裁掉已校正图像318中的中心来获得梯形失真已被校正的图像326(由粗线指示)。由图像组合处理单元224执行对于捕捉图像的梯形失真校正处理。
当执行这样的梯形失真校正时，例如，测量在梯形形状中失真的捕捉图像的像素的坐标，并预先计算比率值XR和XL。能够使用预先计算的比率值XR和XL，利用比如并入蜂窝电话设备100中的CPU之类的运算装置以软件方式执行梯形失真校正处理。
以上说明了用于校正由三眼成像操作引起的捕捉图像的梯形失真的校正方法的示例。但是，可以通过其他梯形失真校正方法来进行校正(例如参见JP-A-08-307770)。
捕捉图像的组合示例
图24A到图24C是其中在第一实施例中图像组合处理单元224产生组合图像的组合的流程的示意图。在此示例中，基于由三个成像系统的光轴形成的角度(会聚角)来组合由三个成像系统产生的三个捕捉图像。具体地，在由两个成像系统产生的两个捕捉图像的重叠部分中，移除捕捉图像之一，在移除后，组合两个捕捉图像。
在图24A中，示出了由成像单元130中的第一到第三成像系统191到193产生的捕捉图像314以及已校正图像317和318。捕捉图像314和已校正图像317和318与图23的(a)中所示的相同。如图24A所示，获取了捕捉图像314和梯形失真已由梯形失真校正处理校正的已校正图像317和318。
如上所示，同一被摄体被包括在已校正图像317的右端的区域以及捕捉图像314的左端的区域中。同一被摄体被包括在已校正图像318的左端的区域以及捕捉图像314的右端的区域中。因此，以下说明计算包括相同被摄体的区域的方法。
在图22中，交叉点S11和S12之间的距离被表示为L61。交叉点S11和交叉点S13之间的距离被表示为L62。交叉点S51和交叉点S21之间的距离被表示为L63。交叉点S13和交叉点S51之间的距离被表示为L64。交叉点S32和交叉点S51之间的距离被表示为L65。交叉点S32和交叉点S13之间的距离被表示为L66。距离L66是用于指定在由第一成像系统191产生的捕捉图像中和由第二成像系统192产生的捕捉图像中包括相同被摄体的区域的距离。这些区域是由第一成像系统191产生的捕捉图像的左端处的区域和由第二成像系统192产生的捕捉图像的右端处的区域的公共区域。
根据三角函数的公式，以下公式7和8成立。
L61＝(L11+L12)×tanθ0...(公式7)
L62＝L12×tanθ1...(公式8)
根据三角函数公式和公式2，获得以下公式9。
L63＝L51×tanθ0
＝[{(L11+L12)/cosθ0}-L11]×cosθ0×tanθ0...(公式9)
通过使用公式7和8，获得以下公式10。
L64＝L61-L62-L63
＝{(L11+L12)×tanθ0}-(L12×tanθ1)-{(L1+L12)/cosθ0}-L11)
×cosθ0×tanθ0...(公式10)
根据三角函数的公式和公式2，获得以下公式11。
L65＝L51×tan(θ2-θ0)
＝[{(L11+L12)/cosθ0}-L11]×cosθ0×tan(θ2-θ0)
...(公式11)
通过使用以上获得的公式10和11，获得以下公式12。
L66＝L65-L64
＝{[{(L11+L12)/cosθ0}-L11]×cosθ0×tan(θ2-θ0)}
-{{(L11+L12)×tanθ0}-(L12×tanθ1)-{(L11+L12)/cosθ0}-L11}
×cosθ0×tanθ0...(公式12)
当确定了第一成像系统191的光轴194中的距离L11和L12时，可以通过使用公式12计算距离L66。关于在由第一成像系统191产生的捕捉图像的右端处的区域和由第三成像系统193产生的捕捉图像的左端处的区域的公共区域，可以按相同的方式计算距离。
在图24B中，示出了在捕捉图像314中和已校正图像317和318中作为组合目标的区域。例如，关于由第一成像系统191产生的捕捉图像314，删除等效于通过使用公式12计算的距离L66的区域。类似地，关于捕捉图像314，删除了关于捕捉图像314的右端而计算的公共区域。在图24B中，在两端处的公共区域之后的图像327的外部形状由粗线指示。
在图24C中，示出了通过使用捕捉图像314和已校正图像317和318产生的全景图像330。在如图24B所示捕捉图像314中删除了在两端处的图像后，通过使用删除后的图像327以及已校正图像317和318产生全景图像。例如，已校正图像317被接合到图像327的左端，而已校正图像318被接合到图像327的右端，以产生全景图像330。
图25A到图25C是其中在第一实施例中图像组合处理单元224产生组合图像的组合的流程的示意图。图25A到图25C所示的示例是图24A到图24C的修改。包括在图像组合中删除的区域的图像是不同的。具体地，如图25B所示，关于与由第二成像系统192产生的捕捉图像对应的已校正图像317，删除等效于通过使用公式12所计算的距离L66的区域(右端处的区域)。类似地，关于已校正图像318，删除关于左端计算的公共区域。在图25B中，在删除公共区域后的图像332和333的外部形状由粗线指示。
在图25C中，示出了通过使用图像331到333产生的全景图像330。如图25B所示，例如，图像332被接合到图像331的左端，并且图像333被接合到图像331的右端，以产生全景图像330。
图26A到图26C是其中在第一实施例中图像组合处理单元224产生组合图像的组合的流程的示意图。图26A到图26C所示的示例是图24A到图24C的修改。包括要在图像组合中删除的区域的图像是不同的。具体地，如图26B所示，关于由第一成像系统191产生的捕捉图像314，删除等效于通过使用公式12计算的距离L66的一半的区域。关于与由第二成像系统192产生的捕捉图像对应的已校正图像317，删除等效于通过使用公式12计算的距离L66的一半的区域(右端处的区域)。
类似地，关于捕捉图像314，删除关于捕捉图像314的右端计算的公共区域的一半。关于与由第三成像系统193产生的捕捉图像对应的已校正图像318，删除等效于公共区域的一半的区域(左端处的区域)。在图26B中，在删除公共区域后的图像334到336的外部形状由粗线指示。
在图26C中，示出了通过使用图像334到336产生的全景图像330。如图26B所示，例如，图像335被接合到图像334的左端，并且图像336被接合到图像334的右端，以产生全景图像330。能够按此方式通过删除图像的部分来适当地组合图像。
这些种类的图像组合处理由图像组合处理单元224进行。在图8所示的示例中，在图像信号处理单元220中，图像组合处理单元224被排列在YC转换处理单元223的后级和锐度处理单元225的前级。但是，可以在图像信号处理单元220的其它级执行图像组合处理。例如，可以在解马赛克处理单元222的前级执行梯形失真校正处理和图像组合处理。例如，可以在解马赛克处理单元222的后级和YC转换处理单元223的前级执行梯形失真校正处理和图像组合处理。此外，例如，可以在颜色调整处理单元226的后级执行梯形失真校正处理和图像组合处理。
例如，当执行这样的图像组合处理时，关于在梯形失真校正后的图像，预先测量图像的重叠区域。能够使用测量值利用比如并入蜂窝电话设备100中的CPU之类的运算装置按软件方式执行对于图像的重叠区域的删除处理。
在此示例中，基于会聚角组合三个捕捉图像。但是，例如，可以通过使用其他图像组合方法来执行图像组合处理。例如，关于由两个成像系统产生的两个捕捉图像的重叠部分，能够使用匹配两个图像的样式并通过样式匹配组合这两个图像的图像组合方法。还能够使用计算由两个成像系统产生的两个图像中的密度级的改变、基于密度级的改变计算重叠部分并组合这两个图像的图像组合方法。
[成像模式的控制示例]
说明其中从成像器件134到136读出图像数据并在显示单元140中显示图像数据的图像的示例。
图27是作为第一实施例中的蜂窝电话设备100的成像处理的成像目标的被摄体500的图。被摄体500是例如包括站在山的背景中的人501和502以及在人周围的汽车503和房子504的被摄体。
[第二壳体的横向状态下的成像模式的控制示例]
首先，说明当第二壳体120被设置在横向状态时从成像器件读出图像数据的方法和显示读出的图像数据的方法。在第一实施例中，说明五种成像模式作为第二壳体120的横向状态下的成像模式。
[三眼横向广角图像成像模式的控制示例]
图28A和图28B是第一实施例中读出成像器件134到136中的图像数据的方法(第一读出方法)的示例的示意图。
在图28A中，示出了其中在成像器件134到136中读出像素数据的像素数据读出区域403到405。像素数据读出区域403到405与图4B所示的像素数据读出区域403到405相同。因此，由相同的参考数字表示与图4B所示相同的组件，并省略各组件的说明。成像器件134到136中的像素数据读出区域的轮廓由粗线指示。像素数据读出区域403到405是基于存储在图13A和图13B所示的寄存器370和380中的设置内容而确定的区域。在此示例中，读出被包括在像素数据读出区域403到405中的像素的所有像素。
在第一实施例中，例如，作为成像器件134，使用具有像素数量为1440×1920和像素的纵横比为3∶4的成像器件。作为成像器件135和136，使用具有像素数量为1920×1440和像素的纵横比为4∶3的成像器件。
关于在执行读出操作时的成像器件134到136的像素数据的读出的设置值被存储在如图13A和图13B所示的寄存器370和380中。具体地，以下说明的设置值(11)到(17)在复合眼(composite-eye)所有像素读出成像期间被存储在纵向方向成像区域设置寄存器374中，并在复合眼所有像素读出成像期间被存储在横向方向成像区域设置寄存器384中。
(11)成像器件134中的要被读出的区域(像素数据读出区域403)的水平方向上的像素数量H10
(12)成像器件134中的要被读出的区域(像素数据读出区域403)的垂直方向上的像素的数量V10
(13)成像器件135和136中的要被读出的区域(像素数据读出区域404和405)的水平方向上的像素的数量H11
(14)成像器件135和136中的要被读出的区域(像素数据读出区域404和405)的垂直方向上的像素的数量V11
(15)成像器件134到136中的从像素阵列的阵列末端到读出开始位置的水平方向上的像素的数量和垂直方向上的像素的数量
(16)成像器件134到136中的从垂直同步信号到垂直方向上的像素读出开始的垂直后沿时段
(17)成像器件134到136中的从水平同步信号到水平方向上的像素读出开始的水平后沿时段
可以在复合眼所有像素读出成像期间在纵向方向成像区域设置寄存器374中以及在复合眼所有像素读出成像期间在横向方向成像区域设置寄存器384中预先设置这些设置值，或者可以经由信号线112通过用户操作而设置这些设置值。
在图28B中，示出了像素数据读出区域403到405中的读出开始位置411到413以及读出扫描方向。读出开始位置411到413以及读出扫描方向与图6A中的读出开始位置411到413以及读出扫描方向相同。因此，与图6A所示相同的组件由相同的参考数字表示，并省略该组件的说明。
关于按此方式从成像器件134到136读出的图像数据，如上所述，图像的重叠部分被组合以产生组合图像。但是，在以下说明中，为了易于说明，不考虑图像的重叠区域。在此示例中，从具有1440×1920个像素的成像器件134中读出一部分像素的图像数据(1440×1440个像素)。从具有1920×1440个像素的成像器件135和136中读出所有像素的图像数据。当按此方式读出的图像数据被组合时，产生具有大约760万个像素(5280×1440个像素)和纵横比为11∶3的图像。在图29A到图29C中示出了按此方式产生的组合图像的显示示例。
图29A到图29C是第一实施例中的显示单元140中的图像的显示示例的图。图29A到图29C所示的示例是其中显示了通过图28A和图28B所示的第一读出方法读出的图像数据的显示示例。
在图29A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。被摄体500与图27所示的相同。被摄体500中的成像范围511到513是与图4A所示的成像器件134到136的像素数据读出可能区域400到402对应的成像范围。具体地，成像范围511对应于成像器件134的像素数据读出可能区域400，成像范围512对应于成像器件135的像素数据读出可能区域401，成像范围513对应于成像器件136的像素数据读出可能区域402。与图28A和图28B中所示的像素数据读出区域403和404对应的成像范围511到513中的区域的轮廓由粗线指示。
在图29B中，示出了其中当被摄体500被设置为成像目标时显示通过图28A和图28B所示的第一读出方法读出的图像数据的显示示例。在图29B中，被包括在蜂窝电话设备100中的第一和第二壳体110和120中的第一壳体110被省略。在以下所述的显示示例中，第一壳体110被省略。
因为如上所述显示单元140的纵横比是4∶3，因此难以在显示单元140的整个屏幕上显示具有纵横比11∶3的图像。因此，例如，当显示单元140中的像素被排列成方格形时，通过图28A和图28B所示的第一读出方法读出并产生的具有纵横比为11∶3的图像经历分辨率转换并被显示。例如，该图像经历水平方向和垂直方向上的分辨率转换，使得图像的横向方向上的像素的数量与显示单元的横向方向上的像素的数量基本上相同，并且纵横比是11∶3。
如图29B所示，经历了分辨率转换的组合图像被显示在显示单元140中的垂直方向上的中心(捕捉图像显示区域521)。例如，在所显示的图像以上和以下的边缘部分(边缘图像显示区域522和523)中，可以显示单色图像。
当显示单元140的像素未被排列成方格形时，能够使用显示单元140的像素的纵向和横向长度的比率改变分辨率转换的缩放因子，使得当被显示在显示单元140中时，图像的形状不是不规则的，并能够显示经历了以所改变的缩放因子的分辨率转换的图像。
在图29C中，示出了在显示从成像器件134到136中读出的像素数据时显示单元140中的扫描方向。该扫描方向与图6C中所示的示例中同。因此，省略该扫描方向的说明。
[三眼横向窄角图像成像模式的控制示例]
图30A和图30B是读出第一实施例中的成像器件134到136中的图像数据的方法(第二读出方法)的示例的示意图。
在图30A中，示出了成像器件134到136中读出像素数据的像素数据读出区域421到423。第二读出方法是诸如数码相机之类的成像设备的用户所熟悉的读出横向图像的方法。例如，读出作为成像器件134的一部分的区域，并且读出作为成像器件135和136的部分的区域。
像素数据读出区域421与例如图28A和图28B所示的像素数据读出区域403(例如1440×1440像素的区域)相同。例如，在像素数据读出区域422和423中，垂直方向上的长度V21与像素数据读出可能区域401和402的垂直方向上的长度V20相同。例如，在像素数据读出区域422和423中，水平方向上的长度H21是像素数据读出可能区域401和402的水平方向上的长度的1/6。换句话说，例如，像素数据读出区域422和423是240×1440像素的区域。像素数据读出区域421到423是基于存储在图13A和图13B中所示的寄存器370和380中的设置内容而确定的区域。在此示例中，读出被包括在像素数据读出区域421到423中的像素的所有像素。所谓的反转图像被聚焦在成像器件134到136上。因此，成像器件135和136的像素数据读出区域422和423是在成像器件134的相对侧上的区域。
关于在执行此读出操作时成像器件134到136的像素数据的读出的设置值被存储在图13A和图13B中示出的寄存器370和380中。具体地，以下说明的设置值(21)到(27)在复合眼所有像素读出成像期间被存储在纵向方向成像区域设置寄存器374中，并在复合眼所有像素读出成像期间被存储在横向方向成像区域设置寄存器384中。
(21)成像器件134中的要被读出的区域(像素数据读出区域421)的水平方向上的像素的数量H20
(22)成像器件134中的要被读出的区域(像素数据读出区域421)的垂直方向上的像素的数量V20
(23)成像器件135和136中的要被读出的区域(像素数据读出区域422和423)的水平方向上的像素的数量H21
(24)成像器件135和136中的要被读出的区域(像素数据读出区域422和423)的垂直方向上的像素的数量V21
(25)成像器件134到136中的从像素阵列的阵列末端到读出开始位置的水平方向上的像素数量和垂直方向上的像素数量
(26)成像器件134到136中的从垂直同步信号到垂直方向上的像素读出开始的垂直后沿时段
(27)成像器件134到136中的从水平同步信号到水平方向上的像素读出开始的水平后沿时段
可以在复合眼所有像素读出成像期间在纵向方向成像区域设置寄存器374中以及在复合眼所有像素读出成像期间在横向方向成像区域设置寄存器384中预先设置这些设置值，或者可以经由信号线L2通过用户操作而设置这些设置值。
在图30B中，示出了像素数据读出区域421到423中的读出开始位置424到426以及读出扫描方向。在此示例中，从具有1440×1920个像素的成像器件134中读出一部分像素的图像数据(1440×1440个像素)。从具有1920×1440个像素的成像器件135和136中读出一部分像素的图像数据(240×1440个像素)。当按此方式组合读出的图像数据时，产生具有大约276万像素(1920×1440个像素)和纵横比为4∶3的图像。在图29A到图29C中示出了按此方式产生的组合图像的显示示例。
如上所述，在像素数据读出区域421到423中，成像器件135和136中的读出区域的大小被设置为小于第一读出方法中的大小。通过组合由第二读出方法读出的图像数据产生的组合图像具有4∶3的纵横比(纵横比可以是16∶9等)。因此，能够产生并显示具有与当前可购买到的成像设备中的记录图像的纵横比相同的纵横比的组合图像。
图31A到图31C是第一实施例中的显示单元140中的图像的显示示例的图。图31A到图31C所示的示例是其中显示了通过图30A和图30B所示的第二读出方法读出的图像数据的显示示例。
在图31A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。除了像素数据读出区域改变之外，图31A所示的示例与图29A所示的示例基本相同。因此，与图29A所示相同的组件由相同的参考数字表示，并省略各组件的说明。与图30A和图30B所示的像素数据读出区域421到423对应的成像范围511到513中的区域的轮廓由粗线指示。
在图31B中，示出了其中当被摄体500被设置为成像目标时在显示单元140中显示通过图30A和图30B所示的第二读出方法读出的图像数据的显示示例。
因为如上所述显示单元140的纵横比是4∶3，并且组合图像的纵横比是4∶3，因此可以在显示单元140的整个屏幕上显示组合图像。例如，组合图像经历了分辨率转换以具有与显示单元140的像素数量相同的大小，并被显示在显示单元140中。在此情况下，不需要图29B所示的边缘图像显示区域522和523。
当通过图30A和图30B所示的第二读出方法读出并产生的组合图像的纵横比与显示装置的纵横比不同时，可以按与第一读出方法相同的方式显示组合图像。例如，在此情况下，在所显示的组合图像以上和以下的边缘部分(边缘图像显示区域)中，例如，显示单色图像。
在图31C中，示出了在显示从成像器件134到136读出的像素数据时显示单元140中的扫描方向。该扫描方向与图6C所示的示例中的相同。因此，省略了该扫描方向的说明
[单眼横向图像成像模式的控制示例]
图32A和图32B是读出第一实施例中的成像器件134到136中的图像数据的方法(第三读出方法)的示意图。
在图32A中，示出了成像器件134到136中的读出像素数据的像素数据读出区域431。第三读出方法是诸如数码相机之类的成像设备的用户所熟悉的读出横向图像的方法。例如，读出成像器件134的横向方向上的基本上整个区域，并且在纵向方向上，读出比横向方向上小的像素数量的区域。不执行从成像器件135和136的读出。
例如，在像素数据读出区域431中，水平方向上的长度H30被设置为与像素数据读出可能区域400的水平方向上的长度相同，并且垂直方向上的长度V30被设置为大约是像素数据读出可能区域400的垂直方向上的长度的一半。像素数据读出区域431是例如1440×1080像素的区域。像素数据读出区域431是基于存储在图13A和图13B中所示的寄存器370和380中的设置内容而确定的区域。在此示例中，读出被包括在像素数据读出区域431中的像素的所有像素。
关于在执行此读出操作时成像器件134的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中。具体地，以下说明的设置值(31)到(35)在单眼所有像素读出成像期间被存储在纵向方向成像区域设置寄存器371中，并在单眼所有像素读出成像期间被存储在横向方向成像区域设置寄存器381中。
(31)成像器件134中的要被读出的区域(像素数据读出区域431)的水平方向上的像素的数量H30
(32)成像器件134中的要被读出的区域(像素数据读出区域431)的垂直方向上的像素的数量V30
(33)成像器件134中的从像素阵列的阵列末端到读出开始位置的水平方向上的像素数量和垂直方向上的像素数量
(34)成像器件134中的从垂直同步信号到垂直方向上的像素读出开始的垂直后沿时段
(35)成像器件134中的从水平同步信号到水平方向上的像素读出开始的水平后沿时段
可以在单眼所有像素读出成像期间在纵向方向成像区域设置寄存器371中以及在单眼所有像素读出成像期间在横向方向成像区域设置寄存器381中预先设置这些设置值，或者可以经由信号线L2通过用户操作而设置这些设置值。
在图32B中，示出了像素数据读出区域431中的读出开始位置432以及读出扫描方向。在此示例中，从具有1440×1920个像素的成像器件134中读出一部分像素的图像数据(1440×1080个像素)。不执行从成像器件135和136的读出。通过使用按此方式读出的像素数据，产生具有大约156万像素(1440×1080个像素)和纵横比为4∶3的图像。在图33A到图33C中示出了按此方式产生的图像的显示示例。
如上所述，在像素数据读出区域431中，仅执行从成像器件134的读出，不执行从成像器件135和136的读出。如第二读出方法那样，基于由第三读出方法读出的图像数据产生的图像具有4∶3的纵横比(纵横比可以是16∶9等)。因此，能够产生并显示具有与当前可购买到的成像设备中的记录图像的纵横比相同的纵横比的图像。此外，例如，能够在不使得成像器件135和136工作的情况下产生清晰度比正广泛使用的VGA(视频图像阵列)图像(640×480像素)更高的图像。这使得能够降低功耗。
图33A到图33C是第一实施例中的显示单元140中的图像的显示示例的图。图33A到图33C所示的示例是其中显示了通过图32A和图32B所示的第三读出方法读出的图像数据的显示示例。
在图33A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。除了像素数据读出区域改变之外，图33A所示的示例与图29A所示的示例基本相同。因此，与图29A所示相同的组件由相同的参考数字表示，并省略各组件的说明。与图32A和图32B所示的像素数据读出区域431对应的成像范围511到513中的区域的轮廓由粗线指示。
在图33B中，示出了其中当被摄体500被设置为成像目标时在显示单元140中显示通过图32A和图32B所示的第三读出方法读出的图像数据的显示示例。
因为如上所述显示单元140的纵横比是4∶3，并且产生的图像的纵横比是4∶3，因此可以在显示单元140的整个屏幕上显示该图像。例如，该图像经历了分辨率转换以具有与显示单元140的像素数量相同的大小，并被显示在显示单元140中。在此情况下，不需要图29B所示的边缘图像显示区域522和523。
当通过图32A和图32B所示的第三读出方法读出并产生的图像的纵横比与显示装置的纵横比不同时，可以按与第一读出方法相同的方式显示该图像。例如，在此情况下，在所显示的图像以上和以下的边缘部分(边缘图像显示区域)中，例如，显示单色图像。
在图33C中，示出了在显示从成像器件134到136读出的像素数据时显示单元140中的扫描方向。该扫描方向与图6C所示的示例中的相同。因此，省略了该扫描方向的说明。
[单眼纵向图像成像模式的控制示例]
图34A和图34B是读出第一实施例中的成像器件134到136中的图像数据的方法(第四读出方法)的示例的示意图。
在图34A中，示出了成像器件134到136中读出像素数据的像素数据读出区域435。第四读出方法是蜂窝电话设备的用户所熟悉的读出纵向图像的方法。例如，读出成像器件134的整个区域。不执行从成像器件135和136的读出。
例如，在像素数据读出区域435中，水平方向上的长度H40被设置为与像素数据读出可能区域400的水平方向上的长度相同，并且垂直方向上的长度V40被设置为与像素数据读出可能区域400的垂直方向上的长度相同。像素数据读出区域435是例如1440×1920像素的区域。像素数据读出区域435是基于存储在图13A和图13B中所示的寄存器370和380中的设置内容而确定的区域。在此示例中，读出被包括在像素数据读出区域435中的像素的所有像素。
关于在执行此读出操作时成像器件134的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中。具体地，以下说明的设置值(41)到(45)在单眼所有像素读出成像期间被存储在纵向方向成像区域设置寄存器371中，并在单眼所有像素读出成像期间被存储在横向方向成像区域设置寄存器381中。
(41)成像器件134中的要被读出的区域(像素数据读出区域435)的水平方向上的像素的数量H40
(42)成像器件134中的要被读出的区域(像素数据读出区域435)的垂直方向上的像素的数量V40
(43)成像器件134中的从像素阵列的阵列末端到读出开始位置的水平方向上的像素数量和垂直方向上的像素数量
(44)成像器件134中的从垂直同步信号到垂直方向上的像素读出开始的垂直后沿时段
(45)成像器件134中的从水平同步信号到水平方向上的像素读出开始的水平后沿时段
可以在单眼所有像素读出成像期间在纵向方向成像区域设置寄存器371中以及在单眼所有像素读出成像期间在横向方向成像区域设置寄存器381中预先设置这些设置值，或者可以经由信号线L2通过用户操作而设置这些设置值。
在图34B中，示出了像素数据读出区域435中的读出开始位置436以及读出扫描方向。在此示例中，从具有1440×1920个像素的成像器件134中读出所有像素的图像数据(1440×1920个像素)。不执行从成像器件135和136的读出。通过使用按此方式读出的像素数据，产生具有大约276万像素(1440×1920个像素)和纵横比为3∶4的图像。在图35A到图35C中示出了按此方式产生的图像的显示示例。
如上所述，在像素数据读出区域435中，仅执行从成像器件134的读出，不执行从成像器件135和136的读出。基于由第四读出方法读出的图像数据产生的图像具有3∶4的纵横比。因此，能够在不使得成像器件135和136工作的情况下产生清晰度比正广泛使用的纵向VGA(640×480像素)更高的图像。这使得能够降低功耗。
图35A到图35C是第一实施例中的显示单元140中的图像的显示示例的图。图35A到图35C所示的示例是其中显示了通过图34A和图34B所示的第四读出方法读出的图像数据的显示示例。
在图35A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。除了像素数据读出区域改变之外，图35A所示的示例与图29A所示的示例基本相同。因此，与图29A所示相同的组件由相同的参考数字表示，并省略各组件的说明。与图34A和图34B所示的像素数据读出区域435对应的成像范围511到513中的区域的轮廓由粗线指示。
在图35B中，示出了其中当被摄体500被设置为成像目标时在显示单元140中显示通过图34A和图34B所示的第四读出方法读出的图像数据的显示示例。
因为如上所述显示单元140的纵横比是4∶3，因此难以在显示单元140的整个屏幕上显示具有纵横比为3∶4的产生的图像。因此，例如，如在第一读出方法中那样，具有3∶4的纵横比的图像经历了分辨率转换并被显示。例如，该图像经历水平方向上和垂直方向上的分辨率转换，使得该图像的纵向方向上的像素的数量与显示单元140的纵向方向上的像素的数量基本相同，并且该图像的纵横比是3∶4。
如图35B所示，经历了分辨率转换的图像被显示在显示单元140中的水平方向上的中心(捕捉图像显示区域527)。例如，在所显示的图像左边和右边的边缘部分(边缘图像显示区域528和528)中，可以显示单色图像。
当通过第四读出方法读出并产生的图像的纵横比与显示装置的纵横比不同时，可以按与第一读出方法相同的方式显示该图像。
在图35C中，示出了在显示从成像器件134到136读出的像素数据时显示单元140中的扫描方向。该扫描方向与图6C所示的示例中的相同。因此，省略了该扫描方向的说明。
[单眼纵向小区域图像成像模式的控制示例]
图36A和图36B是读出第一实施例中的成像器件134到136中的图像数据的方法(第五读出方法)的示例的示意图。
在图36A中，示出了成像器件134到136中的读出像素数据的像素数据读出区域437。第五读出方法是蜂窝电话设备的用户所熟悉的读出纵向图像的方法。例如，读出作为成像器件134的一部分的区域。不执行从成像器件135和136的读出。
例如，在像素数据读出区域437中，水平方向上的长度H50被设置为短于像素数据读出可能区域400的水平方向上的长度，并且垂直方向上的长度V50被设置为短于像素数据读出可能区域400的垂直方向上的长度。像素数据读出区域437是例如480×640像素的区域。像素数据读出区域437是基于存储在图13A和图13B中所示的寄存器370和380中的设置内容而确定的区域。在此示例中，读出被包括在像素数据读出区域437中的像素的所有像素。
关于在执行此读出操作时成像器件134的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中。具体地，以下说明的设置值(51)到(55)在单眼所有像素读出成像期间被存储在纵向方向成像区域设置寄存器371中，并在单眼所有像素读出成像期间被存储在横向方向成像区域设置寄存器381中。
(51)成像器件134中的要被读出的区域(像素数据读出区域437)的水平方向上的像素的数量H50
(52)成像器件134中的要被读出的区域(像素数据读出区域437)的垂直方向上的像素的数量V50
(53)成像器件134中的从像素阵列的阵列末端到读出开始位置的水平方向上的像素数量和垂直方向上的像素数量
(54)成像器件134中的从垂直同步信号到垂直方向上的像素读出开始的垂直后沿时段
(55)成像器件134中的从水平同步信号到水平方向上的像素读出开始的水平后沿时段
可以在单眼所有像素读出成像期间在纵向方向成像区域设置寄存器371中以及在单眼所有像素读出成像期间在横向方向成像区域设置寄存器381中预先设置这些设置值，或者可以经由信号线L2通过用户操作而设置这些设置值。
在图36B中，示出了像素数据读出区域437中的读出开始位置438以及读出扫描方向。在此示例中，从具有1440×1920个像素的成像器件134中读出一部分像素的图像数据(480×640个像素)。不执行从成像器件135和136的读出。通过使用按此方式读出的像素数据，产生具有大约31万像素(480×640个像素)和纵横比为3∶4的图像。在图37A到图37C中示出了按此方式产生的图像的显示示例。
如上所述，在像素数据读出区域437中，执行从成像器件134的一部分的读出，不执行从成像器件135和136的读出。基于由第五读出方法读出的图像数据产生的图像是比例如通过第四读出方法产生的图像更适合于无线电传输的图像(即具有更小的数据量的图像)。
图37A到图37C是第一实施例中的显示单元140中的图像的显示示例的图。图37A到图37C所示的示例是其中显示了通过图36A和图36B所示的第五读出方法读出的图像数据的显示示例。
在图37A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。除了像素数据读出区域改变之外，图37A所示的示例与图29A所示的示例基本相同。因此，与图29A所示相同的组件由相同的参考数字表示，并省略各组件的说明。与图36A和图36B所示的像素数据读出区域437对应的成像范围511到513中的区域的轮廓由粗线指示。
在图37B中，示出了其中当被摄体500被设置为成像目标时在显示单元140中显示通过图36A和图36B所示的第五读出方法读出的图像数据的显示示例。
因为如上所述显示单元140的纵横比是4∶3，因此难以在显示单元140的整个屏幕上显示具有纵横比为3∶4的产生的图像。因此，例如，如在第四读出方法中那样，具有3∶4的纵横比的图像经历了分辨率转换并被显示。例如，该图像经历水平方向上和垂直方向上的分辨率转换，使得该图像的纵向方向上的像素的数量与显示单元140的纵向方向上的像素的数量基本上相同，并且该图像的纵横比是3∶4。
如图37B所示，经历了分辨率转换的图像被显示在显示单元140中的水平方向上的中心(捕捉图像显示区域531)。例如，在所显示的图像的左边和右边的边缘部分(边缘图像显示区域532和533)中，可以显示单色图像。
当通过第五读出方法读出并产生的图像的纵横比与显示装置的纵横比不同时，可以按与第一读出方法相同的方式显示该图像。
在图37C中，示出了在显示从成像器件134到136读出的像素数据时显示单元140中的扫描方向。该扫描方向与图6C所示的示例中的相同。因此，省略了该扫描方向的说明。
关于成像器件134到136的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中，并被存储在成像控制单元201中。当第二壳体120处于纵向状态时，每次图1A到图1D所示的成像范围变换开关111等被用户按下时，切换第一到第五读出方法。在此情况下，每次按下成像范围变换开关111时，成像控制单元201检测该按下，并依次切换第一到第五读出方法。例如，就在蜂窝电话设备100启动后，当第二壳体120处于横向状态时，可以设置第一读出方法。
[像素稀疏和像素相加的示例]
作为第一到第五读出方法，说明了其中读出被包括在像素数据读出区域中的所有像素的示例。但是，取决于使用目的，高清晰度不是必需的。因此，以下说明其中读出被包括在像素数据读出区域中的像素的一部分以降低功耗的示例。
以下说明的第六到第十读出方法是其中通过在成像器件134到136中执行像素稀疏处理而读出被包括在像素数据读出区域中的像素的一部分的示例。尽管以下未说明，但是也可以通过在成像器件134到136中执行像素相加处理来读出被包括在像素数据读出区域中的像素的一部分。
[三眼横向广角图像成像模式的稀疏示例]
首先，参考图28A和图28B以及图29A到图29C说明第六读出方法。第六读出方法对应于第一读出方法。在图28A和图28B所示的像素数据读出区域403到405中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。具体地，从具有1440×1920像素的成像器件134中的像素数据读出区域403中读出在纵向方向上和横向方向上被稀疏到1/2的图像数据(720×720像素)。从具有1920×1440像素的成像器件135和136中的像素数据读出区域404和405中读出在纵向方向上和横向方向上被稀疏到1/2的图像数据(960×720像素)。当组合按此方式读出的图像数据时，产生具有大约190万像素(2640×720像素)并具有11∶3的纵横比的图像。如在图29A到图29C所示的示例中，该图像是在水平方向上具有相对广的视角的、并且精度比VGA图像更高的图像。可以以比第一读出方法中的功耗更小的功耗产生该图像。
关于在执行此读出操作时成像器件134到136的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中。具体地，以上所述的设置值(11)到(17)在复合眼像素稀疏读出期间被存储在纵向方向成像区域设置寄存器375中，并在复合眼像素稀疏读出期间被存储在横向方向成像区域设置寄存器385中。水平方向和垂直方向上的稀疏间隔在复合眼像素稀疏读出期间被存储在纵向方向像素稀疏间隔设置寄存器376中，并在复合眼像素稀疏读出期间被存储在横向方向像素稀疏间隔设置寄存器386中.
可以预先设置该设置值或者可以经由信号线L2通过用户操作设置该设置值。
[三眼横向窄角图像成像模式的稀疏示例]
参考图30A和图30B以及图31A到图31C说明第七读出方法。第七读出方法对应于第二读出方法。在图30A和图30B所示的像素数据读出区域421到423中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。具体地，从具有1440×1920像素的成像器件134中的像素数据读出区域421中读出在纵向方向上和横向方向上被稀疏到1/2的图像数据(720×720像素)。从具有1920×1440像素的成像器件135和136中的像素数据读出区域422和423中读出在纵向方向上和横向方向上被稀疏到1/2的图像数据(240×720像素)。当组合按此方式读出的图像数据时，产生具有大约69万像素(960×720像素)并具有4∶3的纵横比的图像。如在图31A到图31C所示的示例中，该图像是在水平方向上具有相对广的视角的、并且精度比VGA图像更高的图像。可以以比第二读出方法中的功耗更小的功耗产生该图像。
关于在执行此读出操作时成像器件134到136的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中。具体地，以上所述的设置值(21)到(27)在复合眼像素稀疏读出期间被存储在纵向方向成像区域设置寄存器375中，并在复合眼像素稀疏读出期间被存储在横向方向成像区域设置寄存器385中。水平方向和垂直方向上的稀疏间隔在复合眼像素稀疏读出期间被存储在纵向方向像素稀疏间隔设置寄存器376中，并在复合眼像素稀疏读出期间被存储在横向方向像素稀疏间隔设置寄存器386中。
可以预先设置该设置值或者可以经由信号线L2通过用户操作设置该设置值。
[单眼横向图像成像模式的稀疏示例]
参考图32A和图32B以及图33A到图33C说明第八读出方法。第八读出方法对应于第三读出方法。在图32A和图32B所示的像素数据读出区域431中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。具体地，从具有1440×1920像素的成像器件134中的像素数据读出区域431中读出在纵向方向上和横向方向上被稀疏到1/2的图像数据(720×540像素)。当组合按此方式读出的图像数据时，产生具有大约39万像素(720×540像素)并具有4∶3的纵横比的图像。该图像是具有与图33A到图33C所示的示例中相同的视角的、并且精度比VGA图像更高的图像。可以以比第三读出方法中的功耗更小的功耗产生该图像。
关于在执行此读出操作时成像器件134的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中。具体地，以上所述的设置值(31)到(35)在单眼像素稀疏读出期间被存储在纵向方向成像区域设置寄存器372中，并在单眼像素稀疏读出期间被存储在横向方向成像区域设置寄存器382中。水平方向和垂直方向上的稀疏间隔在单眼像素稀疏读出期间被存储在纵向方向像素稀疏间隔设置寄存器373中，并在单眼像素稀疏读出期间被存储在横向方向像素稀疏间隔设置寄存器383中。
可以预先设置该设置值或者可以经由信号线L2通过用户操作设置该设置值。
[单眼纵向图像成像模式的稀疏示例]
参考图34A和图34B以及图35A到图35C说明第九读出方法。第九读出方法对应于第四读出方法。在图34A和图34B所示的像素数据读出区域435中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。具体地，从具有1440×1920像素的成像器件134中的像素数据读出区域435中读出在纵向方向上和横向方向上被稀疏到1/2的图像数据(720×960像素)。当组合按此方式读出的图像数据时，产生具有大约69万像素(720×960像素)并具有3∶4的纵横比的图像。该图像是具有与图35A到图35C所示的示例中相同的视角的、并且精度比VGA图像更高的图像。可以以比第四读出方法中的功耗更小的功耗产生该图像。
关于在执行此读出操作时成像器件134的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中。具体地，以上所述的设置值(41)到(45)在单眼像素稀疏读出期间被存储在纵向方向成像区域设置寄存器372中，并在单眼像素稀疏读出期间被存储在横向方向成像区域设置寄存器382中。水平方向和垂直方向上的稀疏间隔在单眼像素稀疏读出期间被存储在纵向方向像素稀疏间隔设置寄存器373中，并在单眼像素稀疏读出期间被存储在横向方向像素稀疏间隔设置寄存器383中。
可以预先设置该设置值或者可以经由信号线L2通过用户操作设置该设置值。
[单眼纵向小区域图像成像模式的稀疏示例]
参考图36A和图36B以及图37A到图37C说明第十读出方法。第十读出方法对应于第五读出方法。在图36A和图36B所示的像素数据读出区域437中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。具体地，从具有1440×1920像素的成像器件134中的像素数据读出区域437中读出在纵向方向上和横向方向上被稀疏到1/2的图像数据(240×320像素)。当组合按此方式读出的图像数据时，产生具有大约8万像素(240×320像素)并具有3∶4的纵横比的图像。该图像是具有与图37A到图37C所示的示例中相同的视角的图像。可以以比第五读出方法中的功耗更小的功耗产生该图像。
关于在执行此读出操作时成像器件134的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中。具体地，以上所述的设置值(51)到(55)在单眼像素稀疏读出期间被存储在纵向方向成像区域设置寄存器372中，并在单眼像素稀疏读出期间被存储在横向方向成像区域设置寄存器382中。水平方向和垂直方向上的稀疏间隔在单眼像素稀疏读出期间被存储在纵向方向像素稀疏间隔设置寄存器373中，并在单眼像素稀疏读出期间被存储在横向方向像素稀疏间隔设置寄存器383中。
可以预先设置该设置值或者可以经由信号线L2通过用户操作设置该设置值。
[第二壳体的纵向状态中的成像模式的控制示例]
说明当第二壳体120被设置在纵向状态下时从成像器件读出图像数据的方法以及显示所读出的图像数据的方法。在第一实施例中，作为第二壳体120的纵向状态下的成像模式，说明四种成像模式。例如，当利用被设置在纵向状态下的第二壳体120执行拍摄时，认为用户不想要拍摄横向广角图像。因此，在第一实施例中，说明当第二壳体120被设置在纵向状态下时产生水平方向上的相对窄的范围的图像的示例。
[三眼横向窄角图像成像的控制示例]
类似于第二读出方法，第十一读出方法是诸如数码相机之类的成像设备的用户所熟悉的读出横向图像的方法。例如，读出作为成像器件134的一部分的区域，并且读出作为成像器件135和136的部分的区域。因此，作为第十一读出方法说明与第二读出方法相同的其中在像素数据读出区域421到423(示出在图30A和30B中)中读出所有像素的示例。
像素数据读出区域421到423以及与像素数据读出区域421到423有关的设置值的寄存器370和380的所存储内容与图30A所示的示例中的相同。因此，省略对像素数据读出区域421到423以及寄存器370和380的所存储内容的说明。像素数据读出区域421到423中的读出开始位置424到426以及读出扫描方向与图30B所示的示例中的相同。因此，省略对读出开始位置424到426以及读出扫描方向的说明。图38A和图38B示出了所产生的组合图像的显示示例。
图38A和图38B是第一实施例中的显示单元140中的图像的显示示例的图。图38A和图38B所示的示例是其中显示了通过第十一读出方法读出的图像数据的示例。
在图38A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。除了像素数据读出区域改变之外，图38A所示的示例与图29A所示的示例基本相同。因此，与图29A所示相同的组件由相同的参考数字表示，并省略各组件的说明。与图30A和图30B所示的像素数据读出区域421到423对应的成像范围511到513中的区域的轮廓由粗线指示。
在图38B中，示出了其中当被摄体500被设置为成像目标时在显示单元140中显示通过第十一读出方法读出的图像数据的显示示例。在图38中，第一壳体110被设置在纵向状态。当第一壳体110被设置在纵向状态时，显示单元140的纵横比是3∶4。
因为如上所述显示单元140的纵横比是3∶4，因此难以在显示单元140的整个屏幕上显示具有纵横比为4∶3的产生的图像。因此，例如，如在第一读出方法中那样，具有4∶3的纵横比的图像经历了分辨率转换并被显示。例如，该图像经历水平方向上和垂直方向上的分辨率转换，使得该图像的横向方向上的像素的数量与显示单元140的横向方向上的像素的数量基本相同，并且该图像的纵横比是4∶3。
如图37B所示，经历了分辨率转换的图像被显示在显示单元140中的垂直方向上的中心(捕捉图像显示区域541)。例如，在所显示的图像以上和以下的边缘部分(边缘图像显示区域542和543)中，可以显示单色图像。
在图38C中，示意性示出了在显示被写入图像存储器170中的捕捉图像以及边缘图像时显示单元140中的扫描方向。
[捕捉图像的旋转处理示例]
假设当第二壳体120处于纵向状态时，如在以上所述的第二壳体120的横向状态下，在成像器件中读出的图像被显示在显示单元140中。在此情况下，因为第二壳体120枢轴旋转了90度，因此相对于第一壳体110枢轴旋转了90度的图像被显示在显示单元140中。具体地，因为被包括在显示单元140中所显示的图像的被摄体也旋转了90度，因此用户感到不舒服的感觉。因此，以下说明其中图像在第二壳体120的枢轴旋转方向的相反方向上旋转90度并被显示的示例。
图39A到图39E是用于旋转第一实施例中的显示单元140中显示的图像的旋转处理的示意图。在此实施例中，说明成像期间被摄体的方向、成像器件中的扫描方向、向图像存储器170中写及从其读出图像数据期间的方向、显示单元140中的显示的扫描方向以及显示单元140中显示的被摄体的方向之间的关系。向图像存储器170中写及从其读出图像数据由DSP 200执行。
图39A是其中在成像器件134到136的扫描方向上读出的捕捉图像545由DSP 200按该扫描方向写入图像存储器170中的状态的示意图。在图39A中，成像器件134到136的扫描方向由箭头指示。
图39B是其中写入图像存储器170中的捕捉图像545在与成像器件134到136的扫描方向垂直的方向上被扫描的同时被读出的状态的示意图。在图39B中，从图像存储器170读出的捕捉图像545的扫描方向由箭头指示。
图39C是其中按图39B所示的扫描方向从图像存储器170读出的捕捉图像545在以与图39A所示的方向相同的方向上被扫描的同时被写回到图像存储器170中的状态的示意图。在图39C中，被写入图像存储器170中的捕捉图像545的扫描方向由箭头指示。以此方式，在与成像器件134到136的扫描方向垂直的方向上被扫描的同时被从图像存储器170读出的捕捉图像545在读出捕捉图像55的方向上被扫描的同时被写回到图像存储器170中。这使得能够在从成像器件134到136读出的捕捉图像545旋转了90度的状态下将该捕捉图像545存储在图像存储器170中。
图39D是其中在图39C所示的扫描方向上将边缘图像546和547添加到写入图像存储器170中的捕捉图像545的状态的示意图。边缘图像546和547是显示在图38B所示的边缘图像显示区域542和543中的图像。
图39E是其中在与第一次写期间的方向相同的方向上扫描的同时读出被写入图像存储器170中的捕捉图像545和边缘图像546和547的状态的示意图。通过在显示单元140中显示在图39E所示的状态下读出的捕捉图像545和边缘图像546和547，可以显示不给予用户不舒服的感觉的图像。在图38B中示出了其中在显示单元140中显示在图39E所示的状态下读出的捕捉图像545和边缘图像546和547的显示示例。
[单眼横向图像成像模式的控制示例]
类似于第十一读出方法，第十二读出方法是诸如数码相机之类的成像设备的用户所熟悉的读出横向图像的方法。例如，读出成像器件134的横向方向上的基本上整个区域，并在纵向方向上，读出比横向方向上的像素数量少的像素数量的区域。不执行从成像器件135和136的读出。因此，作为第十二读出方法说明与第三读出方法中相同的其中在像素数据读出区域431(示出在图32A和图32B中)中读出所有像素的示例。
像素数据读出区域431以及与像素数据读出区域431有关的设置值的寄存器370和380的所存储内容与图32A所示的示例中的相同。因此，省略对像素数据读出区域431以及寄存器370和380的所存储内容的说明。像素数据读出区域431中的读出开始位置432以及读出扫描方向与图32B所示的示例中的相同。因此，省略对读出开始位置432以及读出扫描方向的说明。图40A到图40C示出了所产生的组合图像的显示示例。
图40A到图40C是第一实施例中的显示单元140中的图像的显示示例的图。图40A到图40B所示的示例是其中显示了通过第十二读出方法读出的图像数据的显示示例。
在图40A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。除了像素数据读出区域改变之外，图40A所示的示例与图29A所示的示例基本相同。因此，与图29A所示相同的组件由相同的参考数字表示，并省略各组件的说明。与图32A和图32B所示的像素数据读出区域431对应的成像范围511到513中的区域的轮廓由粗线指示。
在图40B中，示出了其中当被摄体500被设置为成像目标时在显示单元140中显示通过第十二读出方法读出的图像数据的显示示例。图40B中示出的显示示例是通过图39A到图39E所示的旋转处理旋转的捕捉图像的显示示例。
因为如上所述显示单元140的纵横比是3∶4，因此难以在显示单元140的整个屏幕上显示具有纵横比为4∶3的产生的图像。因此，例如，如在第十一读出方法中那样，具有4∶3的纵横比的图像经历了分辨率转换并被显示。例如，该图像经历水平方向上和垂直方向上的分辨率转换，使得该图像的横向方向上的像素的数量与显示单元140的横向方向上的像素的数量基本相同，并且该图像的纵横比是4∶3。
如图40B所示，经历了分辨率转换的图像被显示在显示单元140中的垂直方向上的中心(捕捉图像显示区域551)。例如，在所显示的图像以上和以下的边缘部分(边缘图像显示区域552和553)中，可以显示单色图像。
在图40C中，示出了在显示从成像器件134读出的图像数据时显示单元140中的扫描方向。
[单眼纵向图像成像模式的控制示例]
第十三读出方法是诸如数码相机之类的成像设备的用户所熟悉的读出纵向图像的方法。例如，读出成像器件134的整个区域。不执行从成像器件135和136的读出。因此，作为第十三读出方法说明与第四读出方法中相同的其中在像素数据读出区域435(示出在图34A和图34B中)中读出所有像素的示例。
像素数据读出区域435以及与像素数据读出区域435有关的设置值的寄存器370和380的所存储内容与图34A所示的示例中的相同。因此，省略对像素数据读出区域435以及寄存器370和380的所存储内容的说明。像素数据读出区域435中的读出开始位置436以及读出扫描方向与图34B所示的示例中的相同。因此，省略对读出开始位置436以及读出扫描方向的说明。在图41A到图41C中示出了所产生的组合图像的显示示例。
图41A到图41C是第一实施例中的显示单元140中的图像的显示示例的图。图41A到图41C所示的示例是其中显示了通过第十三读出方法读出的图像数据的显示示例。
在图41A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。除了像素数据读出区域改变之外，图41A所示的示例与图29A所示的示例基本相同。因此，与图29A所示相同的组件由相同的参考数字表示，并省略各组件的说明。与图32A和图32B所示的像素数据读出区域435对应的成像范围511到513中的区域的轮廓由粗线指示。
在图41B中，示出了其中当被摄体500被设置为成像目标时在显示单元140中显示通过第十三读出方法读出的图像数据的显示示例。图41B中示出的显示示例是通过图39A到图39E所示的旋转处理旋转的捕捉图像的显示示例。
因为如上所述显示单元140的纵横比是3∶4并且产生的图像的纵横比是3∶4，因此可以在显示单元140的整个屏幕上显示该图像。例如，该图像经历了分辨率转换以具有与显示单元140的像素数量相同的大小，并被显示在显示单元140中。在此情况下，不需要边缘图像显示区域。
当通过第十三读出方法读出并产生的图像的纵横比与显示装置的纵横比不同时，可以按与第十二读出方法相同的方式显示该图像。例如，在此情况下，在所显示的组合图像以上和以下的边缘部分(边缘图像显示区域)中，例如，显示单色图像。
在图41C中，示出了在显示从成像器件134读出的像素数据时显示单元140中的扫描方向。
[单眼纵向小区域图像成像模式的控制示例]
第十四读出方法是诸如数码相机之类的成像设备的用户所熟悉的读出纵向图像的方法。例如，读出作为成像器件134的一部分的区域。不执行从成像器件135和136的读出。因此，作为第十四读出方法说明与第五读出方法中相同的其中在像素数据读出区域437(示出在图36A和图36B中)中读出所有像素的示例。
像素数据读出区域437以及与像素数据读出区域437有关的设置值的寄存器370和380的所存储内容与图36A所示的示例中的相同。因此，省略对像素数据读出区域437以及寄存器370和380的所存储内容的说明。像素数据读出区域437中的读出开始位置438以及读出扫描方向与图36B所示的示例中的相同。因此，省略对读出开始位置438以及读出扫描方向的说明。在图42A到图42C中示出了所产生的组合图像的显示示例。
图42A到图42C是第一实施例中的显示单元140中的图像的显示示例的图。图42A到图42C所示的示例是其中显示了通过第十四读出方法读出的图像数据的显示示例。
在图42A中，示出了作为蜂窝电话设备100的成像处理的成像目标的被摄体500。除了像素数据读出区域改变之外，图42A所示的示例与图29A所示的示例基本相同。因此，与图29A所示相同的组件由相同的参考数字表示，并省略各组件的说明。与图36A和图36B所示的像素数据读出区域437对应的成像范围511到513中的区域的轮廓由粗线指示。
在图42B中，示出了其中当被摄体500被设置为成像目标时在显示单元140中显示通过第十四读出方法读出的图像数据的显示示例。图42B中示出的显示示例是通过图39A到图39E所示的旋转处理被旋转的捕捉图像的显示示例。
因为如上所述显示单元140的纵横比是3∶4并且所产生的图像的纵横比是3∶4，因此可以在显示单元140的整个屏幕上显示该图像。例如，该图像经历了分辨率转换以具有与显示单元140的像素数量相同的大小，并被显示在显示单元140中。在此情况下，不需要边缘图像显示区域。
当通过第十四读出方法读出并产生的图像的纵横比与显示装置的纵横比不同时，可以按与第十二读出方法相同的方式显示该图像。例如，在此情况下，在所显示的组合图像以上和以下的边缘部分(边缘图像显示区域)中，例如，显示单色图像。
在图42C中，示出了在显示从成像器件134读出的像素数据时显示单元140中的扫描方向。
关于成像器件134到136的像素数据的读出的设置值被存储在图13A和图13B所示的寄存器370和380中，并被存储在成像控制单元201中。当第二壳体120处于纵向状态时，每次图1A到图1D所示的成像范围变换开关111等被用户按下时，切换第十一到第十四读出方法。在此情况下，每次按下成像范围变换开关111时，成像控制单元201检测该按下，并依次切换第十一到第十四读出方法。例如，就在蜂窝电话设备100启动后，当第二壳体120处于纵向状态时，可以设置第十四读出方法。
[像素稀疏和像素相加的示例]
作为第十一到第十四读出方法，说明了其中读出被包括在像素数据读出区域中的所有像素的示例。但是，取决于使用目的，高清晰度图像不是必需的。因此，以下说明其中读出被包括在像素数据读出区域中的像素的一部分以降低功耗的示例。
以下说明的第十五到第十八读出方法是其中通过在成像器件134到136中执行像素稀疏处理而读出被包括在像素数据读出区域中的像素的一部分的示例。尽管以下未说明，但是也可以通过在成像器件134到136中执行像素相加处理来读出被包括在像素数据读出区域中的像素的一部分。
[三眼横向窄角图像成像模式的稀疏示例]
首先，参考图38A到图38C说明第十五读出方法。第十五读出方法对应于第十一读出方法。在图30A和图30B所示的像素数据读出区域421到423中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。因为这些类型的稀疏处理与在第七读出方法中说明的示例中的相同，因此省略该稀疏处理的详细说明。在这些类型的稀疏处理中关于成像器件134到136的像素数据的读出的设置值的寄存器370和380的所存储内容与在第七读出方法中说明的示例中的相同。因此将省略所存储内容的详细说明。
[单眼横向图像成像模式的稀疏示例]
参考图40A到图40C说明第十六读出方法。第十六读出方法对应于第十二读出方法。在图32A和图32B所示的像素数据读出区域431中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。因为这些类型的稀疏处理与在第八读出方法中说明的示例中的相同，因此省略该稀疏处理的详细说明。在这些类型的稀疏处理中关于成像器件134到136的像素数据的读出的设置值的寄存器370和380的所存储内容与在第八读出方法中说明的示例中的相同。因此将省略所存储内容的详细说明。
[单眼纵向图像成像模式的稀疏示例]
参考图41A到图41C说明第十七读出方法。第十七读出方法对应于第十三读出方法。在图34A和图34B所示的像素数据读出区域435中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。因为这些类型的稀疏处理与在第九读出方法中说明的示例中的相同，因此省略该稀疏处理的详细说明。在这些类型的稀疏处理中关于成像器件134到136的像素数据的读出的设置值的寄存器370和380的存储内容与在第九读出方法中说明的示例中的相同。因此将省略所存储内容的详细说明。
[单眼纵向小区域图像成像模式的稀疏示例]
参考图42A到图42C说明第十八读出方法。第十八读出方法对应于第十四读出方法。在图36A和图36B所示的像素数据读出区域437中，在纵向方向上执行1/2像素稀疏读出，并在横向方向上执行1/2像素稀疏读出。因为这些类型的稀疏处理与在第十读出方法中说明的示例中的相同，因此省略该稀疏处理的详细说明。在这些类型的稀疏处理中关于成像器件134到136的像素数据的读出的设置值的寄存器370和380的所存储内容与在第十读出方法中说明的示例中的相同。因此将省略所存储内容的详细说明。
[监视操作期间的读出示例]
说明当执行监视操作时读出像素数据的方法。例如，当设置了用于记录静止图像的静止图像记录模式时，执行监视操作，直到执行用于命令记录静止图像的操作为止。例如，监视操作是用于在执行命令记录静止图像的操作之前使得显示单元140显示用于检查蜂窝电话设备100的方向和被摄体的大小是否适当的监视图像。监视图像是用于用户检查蜂窝电话设备100的方向和被摄体的大小是否适当的图像，而不是用于记录的图像。因此，与用于记录的图像相比，监视图像不需要是高清晰度图像。
总的来说，被包括在成像设备中的显示器件的像素的数量经常是被包括在成像设备中的成像器件的像素的数量的几十分之一。因此，当执行监视操作时，与在图像记录期间相比，能够降低从成像器件读出的像素的数量。另一方面，因为监视图像是用于检查蜂窝电话设备100的方向和被摄体的大小的图像，因此期望监视图像的视角与记录操作情况下的视角相同。因此，说明当执行监视操作时读出用于设置与记录操作的情况下相同的视角的监视图像并降低要读出的像素的数量的方法。
例如，当设置了第一到第五读出方法的任意一个并执行监视操作时，通过执行如在第六到第十读出方法中的像素稀疏处理降低要读出的像素的数量。在此情况下，稀疏比可以是比在第六到第十读出方法中说明的稀疏比(1/2)更大的稀疏比。
例如，类似地，当设置了第六到第十读出方法的任意一个并执行监视操作时，通过执行像素稀疏处理降低要读出的像素的数量。在此情况下，稀疏比可以是仍比所述稀疏比(1/2)更大的稀疏比(例如通过将1/2乘以1/M获得的值(M＞1，M是整数))。类似地，当设置了第十一到第十八读出方法中的任意一个并执行监视操作时，可以降低要读出的像素的数量。可以通过执行像素相加处理而不是像素稀疏处理来降低要读出的像素的数量。除了读出的像素的数量不同之外，监视图像的显示与第一到第五读出方法中的显示示例相同。因此，省略显示的说明。
[像素稀疏和像素相加的修改]
以上说明了其中通过在成像器件134到136中执行像素稀疏和像素相加来降低图像数据的像素数量的示例。在此示例中，说明其中在DSP 200中执行像素稀疏和像素相加的示例。
图8所示的像素相加处理单元221执行像素相加处理和像素稀疏处理。在DSP 200的内部，像素相加处理单元221被排列在图像缓冲器211到219的后级的位置以及解马赛克处理单元222的前级的位置中。像素相加处理单元221的配置可以与成像器件134到136的加法器354到357和366基本相同。
例如，像素相加处理单元221包括数据存储器以便在垂直方向上执行像素相加，该数据存储器存储被包括在图像数据的至少两个或更多水平线中的固定量的图像数据。像素相加处理单元221执行对来自图像存储器170的图像数据读出位于同一列中的图像数据并用加法器累加所读出的图像数据的相加处理(即对于垂直像素的相加处理)
例如，在执行对于水平像素的相加处理时，像素相加处理单元221执行读出多个列中的图像数据并用加法器累加所读出的图像数据的处理(即对于水平像素的相加处理)。
例如，在执行对于垂直像素的相加处理和对于水平像素的相加处理两者时，像素相加处理单元221对于多个列中的垂直像素执行相加处理，并进一步对于与通过对于垂直像素的相加处理获得的图像数据有关的水平像素执行相加处理。
在这些类型的相加处理之后，像素相加处理单元221将经相加处理后的图像数据输出到在后级的解马赛克处理单元222。像素相加处理单元221将经相加处理后的图像数据写入图像存储器170中。
例如，在像素相加处理单元221中，用于将在相加处理中输入的两个图像数据中的一个图像数据输入到加法器的数据线包括选择信号线。数据线和选择信号线的AND结果被输入到加法器。像素相加处理单元221存储另一条图像数据。例如，当选择了选择信号线时，数据线的值被输入到加法器，并且执行像素相加处理。另一方面，当未选择选择信号线时，从数据线输入到加法器的值是0，并且不执行像素相加处理。在此情况下，执行像素稀疏处理，并且从在加法器的不包括选择信号线一侧上的数据线输入的图像数据被输出。
[像素稀疏和像素相加中的图像数据的流程的示例]
图43是其中通过第一实施例中的成像器件134执行像素稀疏和像素相加的图像数据的流程的示意图。排列在图43中的粗线的箭头附近的标记表示像素数据的像素的数量。在图43所示的示例中，通过使用具有1920×1440像素的成像器件134，在水平方向上稀疏像素数据的数量的1/2，并在垂直方向上稀疏1/2。当像素数据的数量的1/2经历水平方向上的像素相加并且1/2经历垂直方向上的像素相加时，图像数据的流程相同。如图43所示，从成像器件134输出的图像数据的像素的数量(960×720像素)小于成像器件134的像素的数量(1920×1440像素)。
图44是其中通过第一实施例中的像素相加处理单元221改变像素的数量的图像数据的流程的示意图。排列在图44的粗线的箭头附近的标记表示图像数据的像素的数量。在图44所示的示例中，关于从具有1920×1440像素的成像器件134输出的图像数据，像素相加处理单元221将水平方向上的像素数据的数量减少到1/2，并将垂直方向上的像素数据的数量减少到1/2。如图44所示，从像素相加处理单元221输出的图像数据的像素的数量(960×720像素)小于成像器件134的像素的数量和被输入到像素相加处理单元221的图像数据的像素的数量。
图45是当从第一实施例中的图像存储器170中读出图像数据时改变像素的数量的图像数据的流程的示意图。排列在图45中的粗线的箭头附近的标记表示图像数据的像素的数量。在图45所示的示例中，当从图像存储器170读出图像数据时，通过按对于图像数据上的每固定数量的像素的间隔读出图像数据来减少图像数据的像素的数量。具体地，从具有1920×1440像素的成像器件134输出的图像数据被存储在图像存储器170中。当解马赛克处理单元222读出存储在图像存储器170中的图像数据时，解马赛克处理单元222读出水平方向上的像素数据的数量减少到1/2并且垂直方向上的像素数据的数量减少到1/2的图像数据。如图45所示，从图像存储器170读出并被输入到解马赛克处理单元222的图像数据的像素的数量小于成像器件134的像素的数量和从图像缓冲器211到213写入图像存储器170中的图像数据的像素的数量。
[改变图像数据的区域的修改]
在此示例中，改变了通过使用DSP 200从其读出图像数据的区域，并减少了图像数据的像素的数量。
图46是其中通过第一实施例中的成像器件134改变读出区域的图像数据的流程的示意图。排列在图46中所示的粗线的箭头附近的标记表示图像数据的像素的数量。在图46所示的示例中，通过使用具有1920×1440像素的成像器件134读出具有480×640像素的图像数据。如图46所示，尽管成像器件134的像素的数量是1920×1440，但是从成像器件134输出的图像数据的像素的数量是480×640。
图47是当从第一实施例中的图像存储器170读出图像数据时改变读出区域的图像数据的流程的示意图。排列在图47的粗线的箭头附近的标记表示图像数据的像素的数量。在图47所示的示例中，当从图像存储器170读出图像数据时，通过读出在作为图像数据的一部分的区域中的图像数据来改变图像数据的区域以减少图像数据的像素的数量。具体地，从具有1920×1440像素的成像器件134输出的图像数据被存储在图像存储器170中。当解马赛克处理单元222读出存储在图像存储器170中的图像数据时，解马赛克处理单元222读出与480×640像素的区域对应的图像数据。如图47所示，成像器件134的像素的数量和从图像缓冲器211到213写入图像存储器170中的图像数据的像素的数量是1920×1440。另一方面，从图像存储器170读出并被输入到解马赛克处理单元222的图像数据的像素的数量是480×640。
[在单眼成像操作期间两个成像系统的停止的示例]
说明使用三个成像系统中的至少一个成像系统产生捕捉图像的示例。例如，为了降低功耗，期望停止不产生捕捉图像的成像系统的操作。因此以下说明例如当产生捕捉图像时停止不产生捕捉图像的成像系统的操作的示例。
[蜂窝电话设备的配置示例]
图48是第一实施例中的蜂窝电话设备100的功能配置示例的框图。图48中所示的配置示例是其中在图3所示的配置中省略了与涉及向第一到第三成像系统191到193供电的组件以外的组件并添加了成像控制单元201的示例。在此示例中，通过中断向成像系统供电(图50所示的控制方法1)停止成像系统的操作。电源控制单元207和电源供应单元208和209与图3所示的相同。因此，以下主要说明与成像系统的操作的停止有关的组件。省略与图3所示相同的组件的说明。
例如，当选择了用于仅使用由成像器件134产生的图像数据的成像操作(单眼成像操作)时，成像控制单元201命令电源供应单元209中断向第二和第三成像系统192和193的供电。这使得能够在执行单眼成像操作时停止不用于该成像操作的第二和第三成像系统192和193的操作，并降低功耗。当对第二和第三成像系统192和193的供电被中断时，期望停止时钟信号、垂直同步信号和水平同步信号等从DSP 200到第二和第三成像系统192和193的输出。这使得能够进一步降低功耗。
图49A到图49D是第一实施例中的蜂窝电话设备100的功能配置示例的框图。在图49A到图49D所示的配置示例中，以简化形式仅示出了与用于停止成像操作的处理有关的组件。具体地，仅示出了AND电路801到807以及信号线。两条输入信号线连接到AND电路801到807中的每个。当从每条输入信号先输入“H”信号时，AND电路执行用于将“H”信号输出到输出信号线的AND(与操作)。在此示例中，当停止成像系统的操作时，中断向要被停止的成像系统的时钟供应等而不中断向要被停止的成像系统的电力供应。
在图49A中，示出了用于停止向成像系统的时钟供应的DSP 200中的电路配置示例。信号线809是用于输出到成像器件134的时钟信号的信号线。信号线810是用于输出到成像器件135的时钟信号的信号线。信号线811是用于输出到成像器件136的时钟信号的信号线。信号线812是用于输出到成像器件134的开/关控制信号的信号线。信号线813是用于输出到成像器件135的开/关控制信号的信号线。信号线814是用于输出到成像器件136的开/关控制信号的信号线。信号线815是用于输出到成像器件134的时钟信号的信号线。信号线816是用于输出到成像器件135的时钟信号的信号线。信号线817是用于输出到成像器件136的时钟信号的信号线。例如，当选择了单眼成像操作时，成像控制单元201将信号线812到814中的信号线813和814的信号改变为“L”信号。从而，停止向成像器件135和136的时钟供应(图50所示的控制方法2)。
在图49B中，示出了在停止用于产生成像器件134到136中的时钟而不中断向成像系统的电源和时钟供应的电路的操作的电路配置示例。在此示例中，示出图10所示的倍频器/分频器391和392中的倍频器818作为示例。假设此示例中所示的倍频器818是成像器件135和136的倍频器。信号线819是用于来自DSP 200的时钟信号的信号线。信号线820是用于来自DSP200的成像开/关信号的信号线。信号线821是用于倍频后的时钟信号的信号线。例如，当选择了单眼成像操作时，DSP 200将信号线820的信号改变为“L”信号。从而，停止成像器件135和136中的倍频器(图50中所示的控制方法3)。
在图49C中，示出了在停止成像器件134到136中的垂直扫描电路和水平扫描电路的操作而不中断向成像系统的电源和时钟供应以及不中断用于成像器件中的时钟的倍频器的电路配置示例。信号线823是用于垂直扫描电路822的内部的第一线中的垂直控制信号的信号线。信号线824是用于垂直扫描电路822的内部的第二线中的垂直控制信号的信号线。信号线825和831是来自DSP200的成像开/关信号的信号线。信号线828和830是用于来自成像器件中的倍频器/分配器的时钟信号的信号线。信号线826是用于被输出到垂直扫描电路822的外部的第一线中的垂直控制信号的信号线。信号线827是用于被输出到垂直扫描电路822的外部的第二线中的垂直控制信号的信号线。信号线832是用于到水平扫描电路829的内部的时钟信号的信号线。信号线833是用于被输出到水平扫描电路829的外部的第一线中的水平控制信号的信号线。信号线834是用于被输出到水平扫描电路829的外部的第二线中的水平控制信号的信号线。在此示例中，仅示出了第一线和第二线中的信号线，并省略了其他线的信号线。例如，当选择了单眼成像操作时，DSP 200将信号线825和831的信号改变为“L”信号。从而，在成像器件135和136的垂直扫描电路和水平扫描电路中停止垂直扫描信号和水平扫描信号的输出(图50中所示的控制方法4)。在图49C所示的示例中，与以上说明的示例相比，因为更大数量的电路在第二和第三成像系统192和193的内部工作，因此功耗降低的效果小。但是，因为被提供给成像器件和成像器件中的倍频器的时钟在工作，因此当执行从单眼成像操作到复合眼成像操作的切换操作时，能够迅速地恢复第二和第三成像系统192和193的操作。
可以通过固定从DSP 200提供到成像系统的垂直同步信号和水平同步信号来停止成像系统的操作(图50所示的控制方法5)。在此情况下，因为未输入同步信号，因此成像器件不能执行用于读出图像数据的操作。
图50是用于停止成像系统的操作的控制方法和第一实施例中的信号线之间的关系的图。图50所示的列表表示控制方法和信号线之间的关系。可以通过执行图50所示的控制方法来停止成像系统的操作。期望不通过在与控制方法1对应的空间中的用斜线标记的空间中的信号线输出信号。期望将在与控制方法2到5对应的空间中的用斜线标记的空间中的信号线固定为“H”或“L”。在图50所示的表中描述的信号线(从DSP 200到成像系统的信号线)可以被设置在状态“H”输出、“L”输出、不充分输出和无输出中的任意一个。但是，期望将信号线设置在无输出的状态以便降低功耗。
[从成像系统到DSP中的图像数据的捕捉的示例]
图51是第一实施例中的来自成像器件的输出定时以及图像缓冲器中的写的状态的示意时序图。图51所示的横轴表示时间轴。波形700表示从DSP200到成像系统的水平同步信号。横轴701到703表示从成像系统输出到DSP200的图像数据的时间转变(transition)。横轴704到706表示图像缓冲器211到219的写状态的时间转变。在图51所示的示例中，在同一行中示出了与成像系统对应的一组三个图像缓冲器的写状态。
例如，作为例子说明与第一成像系统191相对的图像缓冲器1A、1B和1C。例如，完成从成像器件134到第一图像缓冲器1A的图像数据的写，图像缓冲器1A改变到待机状态，以等待读出到DSP 200的内部。在图像缓冲器1A的待机状态期间，执行从成像器件134向第二图像缓冲器1B的图像数据的写。当完成从成像器件134向第二图像缓冲器1B的图像数据的写的时候，图像缓冲器1B改变到待机状态，以等待读出到DSP 200的内部。当完成第二图像缓冲器1B中的图像数据的写时，执行从第一图像缓冲器1A向DSP 200的内部的图像数据的读出。在完成图像缓冲器1C中的写之前，完成从图像缓冲器1A读出图像数据，并且图像数据可以被写入图像缓冲器1A中。随后，重复执行一系列这些类型的操作。按相同的方式对图像缓冲器2A到2C和图像缓冲器3A到3C执行该操作。
当通过使用一条数据总线204读出被写入三个图像缓冲器中的图像数据时，需要在等于或短于成像器件写图像数据的时间的1/3的时间内读取图像缓冲器中的图像数据。
以下说明成像器件读出像素的图像数据和将图像数据写入图像缓冲器211到219中的时钟频率与DSP 200读出图像缓冲器211到219中的图像数据的时钟频率之间的关系。此外，以下说明在复合眼成像操作中DSP 200读出图像缓冲器211到219中的图像数据的时钟频率与在单眼成像记录中DSP200读出图像缓冲器211到219中的图像数据的时钟频率之间的关系。
图52A和图52B到图54A和图54B是用于像素的读出和写入第一实施例中的成像器件中的图像缓冲器中的时钟频率与从图像缓冲器读取图像数据的时钟频率之间的关系的图。假设图52A和图52B到图54A和图54B所示的横轴的关系表示一条线中的时间的流逝，且纵轴的关系表示一帧中的每条线中的时间的流逝。图52A和图52B所示的示例是与图28A和图28B所示的第一读出方法(三眼横向广角图像成像模式)对应的示例。图53A和图53B所示的示例是与图32A和图32B中所示的第三读出方法(单眼横向图像成像模式)对应的示例。图54A和图54B所示的示例是与图36A和图36B所示的第五读出方法(单眼纵向小区域图像成像模式)对应的示例。
在图52A中，示出了在三眼横向广角图像成像模式下成像器件中的时钟频率和来自成像器件的图像数据的输出定时之间的关系。波形710表示当设置了三眼横向广角图像成像模式时在从成像器件134到136中的所有区域读出所有像素时使用的时钟。横轴713到718将从成像器件134到136读出并被输出到图像缓冲器211到219的图像数据的时间转变示意性表示为矩形。在线719中，示出了输出到图像缓冲器211的图像数据。在线720中，示出了输出到图像缓冲器212的图像数据。在线721中，示出了输出到图像缓冲器213的图像数据。在此示例中，仅在横轴715上将不同的标记(D11到D1C等)附在矩形中，并在其他横轴的矩形中省略了标记。横轴713上所示的大的虚线圆圈表示垂直同步信号的定时。横轴713到718上所示的小的点线圆圈表示水平同步信号的定时。类似地，在以下所述的图52B到图54A和图54B中所示的横轴上，示出大的虚线圆圈和小的点线圆圈以表示垂直同步信号的定时和水平同步信号的定时。
在图52B中，示出了在三眼横向广角图像成像模式下DSP 200中的时钟频率和用于从图像缓冲器中读出图像数据的定时之间的关系。波形722表示当设置了三眼横向广角图像成像模式时在从图像缓冲器211到219读出图像数据时由DSP 200使用的时钟。横轴725到732将从图像缓冲器211到219读出的图像数据的时间转变示意性表示为矩形。在此示例中，通过仅在横轴729上的箭头将不同的标记(D11到D1C等)与矩形相关联。在其他横轴上省略了矩形中的标记。这些标记对应于图52A所示的标记。部分733是成像器件134的读出部分，部分734是成像器件135的读出部分，部分735是成像器件136的读出部分。
当从三个成像器件134到136向DSP 200输入图像数据时，输入的图像数据被写入图像缓冲器211到219中。写入图像缓冲器211到219中的图像数据被经由DSP 200中的一条数据总线204读出，并经由与图像存储器的I/F206被写入图像存储器170中。例如，假设设置了三眼横向广角图像成像模式。在此情况下，如图52A和图52B所示，需要在等于或短于成像器件134到136将图像数据写入图像缓冲器211到219中的时间的1/3的时间内读出图像缓冲器211到219中的图像数据。
在图53A中，示出了在单眼横向图像成像模式下成像器件中的时钟频率和用于从成像器件输出图像数据的定时之间的关系。在图53B中，示出了在单眼横向图像成像模式下DSP 200中的时钟频率和用于从图像缓冲器读出图像数据的定时之间的关系。波形736表示当设置了单眼横向图像成像模式时在从图像缓冲器211到219读出图像数据时由DSP 200使用的时钟。部分737是成像器件134的读出部分。与图52A和图52B中所示的示例中相同的组件有相同的参考数字和标记表示。
当比较图52A和图52B与图53A和图53B时，可以理解，当设置了三眼横向广角图像成像模式时，图像数据的量是在单眼横向图像成像模式下的图像数据的量的三倍。因此，当设置了三眼横向广角图像成像模式时，需要高达单眼横向成像操作中的时钟频率的三倍的时钟频率作为用于读出图像缓冲器211到219的图像数据的时钟频率。类似地，当设置了三眼横向广角图像成像模式并执行DSP 200的内部的信号处理时，需要高达单眼横向图像成像模式中的时钟频率的三倍的时钟频率。
在图54A中，示出了在单眼纵向小区域图像成像模式下成像器件中的时钟频率和用于从成像器件输出图像数据的定时之间的关系。波形738表示当设置了单眼纵向小区域图像成像模式时在从成像器件134到136中的特定区域读出所有像素时使用的时钟。在图54B中，示出了在单眼纵向小区域图像成像模式下DSP 200中的时钟频率和用于从图像缓冲器中读出图像数据的定时之间的关系。波形739表示当设置了单眼纵向小区域图像成像模式时在从图像缓冲器211到219读出图像数据时由DSP 200使用的时钟。部分740是成像器件134的读出部分。与图52A和图52B中所示的示例中相同的组件由相同的参考数字和标记表示。
当比较图53A和图53B与图54A和图54B时，可以理解，当设置了单眼纵向小区域图像成像模式时，图像数据的数据量比读出光接收表面的所有像素时的数据量小。因此，当设置了单眼纵向小区域图像成像模式时，需要与读出所有像素时的时钟频率相比小的时钟频率作为用于读出图像缓冲器211的图像数据的时钟频率。类似地，当执行DSP 200的内部的图像信号处理时，时钟频率可以比读出所有像素时的时钟频率小。
[向DSP的数据总线请求的工作频率的示例]
图55是由第一实施例中的成像器件134产生的图像数据的流程的示意图。图55所示的配置与图43所示的配置示例基本相同，并且不同之处仅在于，添加了由各单元经过数据总线204传输的图像数据的数据格式。在此示例中，假设不使用DSP 200中的像素相加处理单元221，图像输出仅是到显示单元140的输出，并且不执行到外部显示装置的输出。
从成像器件134写入图像缓冲器211到219中的图像数据是Bayer数据750。输入到DSP 200的图像数据按Bayer数据格式向上传输到以Bayer数据对RGB(R(红)、G(绿)和B(蓝))数据进行插值的解马赛克处理单元222的前级。具体地，关于从图像缓冲器211到213向图像存储器170写图像数据以及将图像数据读出到解马赛克处理单元222，按Bayer数据格式传输图像数据。
经历了解马赛克处理单元222的解马赛克处理的图像数据在执行分辨率转换处理之前被直接在各处理单元之间传送。在信号处理中处理大量数据的分辨率转换中，经过数据总线204将图像数据预先写入图像存储器170中，使得可以在期望的定时容易地输入期望的图像数据。分辨率转换单元231和251从图像存储器170中读取分辨率转换处理所需的图像数据。
从而，RGB格式的图像数据在用于记录图像的分辨率转换之前被经过数据总线204写入图像存储器170中。当执行用于图像记录的分辨率转换时，经过数据总线204从图像存储器170读出RGB数据格式的图像数据。
当使得显示单元140显示图像时，通常，显示单元以YCbCr格式请求图像数据。因此，YCbCr格式的图像数据在用于显示装置的分辨率转换之前被经过数据总线204写入图像存储器170中。当执行用于图像显示的分辨率转换时，经过数据总线204从图像存储器170读出YCbCr格式的图像数据。
说明经过数据总线204传输的一条图像数据的数据量。例如，假设当将一条图像数据从成像器件134输入到DSP 200时，将输入的图像数据记录在记录介质180中作为一个图像文件，并且使得显示单元140显示图像数据。在此情况下，作为Bayer数据的两条图像数据、作为YCbCr数据的两条图像数据以及作为RGB数据的两条图像数据被经过数据总线204传输。换句话说，在图像缓冲器211到213与解马赛克处理单元222之间的两条图像数据被按Bayer格式传输(Bayer 751和Bayer 752)。在颜色调整处理单元226与分辨率转换单元231之间的两条图像数据被按YCbCr数据格式传输(YCbCr 753和YCbCr 756)。在RGB转换处理单元227和分辨率转换单元251之间的两条图像数据被按RGB数据格式传输(RGB 754和RGB 755)。
YCbCr数据格式的一条图像数据的数据量大约是具有相同图像大小的Bayer格式的图像数据的数据量的两倍大。RGB数据格式的一条图像数据的数据量大约是具有相同图像大小的Bayer格式的图像数据的数据量的三倍大。例如，当将一条图像数据作为一个图像文件记录在记录介质180中并使得显示单元140显示该图像数据时，需要经过数据总线204传输Bayer数据格式下的大约十二条图像数据。图56A和图56B中示出了关于图像数据的传输的处理。
图56A和图56B是第一实施例中的占用数据总线204的处理和时间之间的关系的示意图。在图56A中，示出了在将从成像器件134输入到DSP 200的一条图像数据作为一个图像文件记录在记录介质180中并使得显示单元140显示该图像数据时占用数据总线204的处理和时间之间的关系。在图56A和图56B中，横轴是时间轴，且示出了处理一帧时的关系。与图55所示的示例对应的各种处理由相同的参考数字表示。
在图56B中，示出了在使得显示单元140显示从成像器件134输入到DSP200的一条图像数据而不将该图像数据记录在记录介质180中时占用数据总线204的处理和时间之间的关系。该示例是其中执行对于所谓的监视图像的显示操作的示例。当执行对于监视图像的显示操作时，在显示单元140中显示图像，但不产生用于记录的图像数据。具体地，在用于记录图像的分辨率转换中，用于将RGB数据写入图像存储器170中的处理754和用于从图像存储器170中读出RGB数据的处理755在用于记录图像的分辨率转换的前级处是不需要的。因此，在对于监视图像的显示操作中，当使得显示单元140显示从成像单元130输入到DSP 200的一条图像数据时，必须经过数据总线204传输仅Bayer数据格式的大约六个图像数据。
如上所述，可以计算经过数据总线204传输的图像数据的数据量。以下说明向数据总线204请求的工作频率。
以下说明用于计算向数据总线204请求的工作频率的变量。
H：在成像器件中执行像素数据读出的区域中的横向方向上的像素数量
V：在成像器件中执行像素数据读出的区域中的纵向方向上的像素数量
R：当在成像器件中执行像素数据读出时在执行像素稀疏读出时的稀疏比
B：图像的像素数据的位宽
F：可以在DSP 200中在一秒内经历图像信号处理的从成像器件输入的图像的数量
Kb：直到从成像器件输入的一个图像被记录在记录介质180中并显示在显示单元140中为止，需要按Bayer数据格式在DSP 200的数据总线204上传输的图像的数量
Ky：直到从成像器件输入的一个图像被记录在记录介质180中并显示在显示单元140中为止，需要按YCbCr数据格式在DSP 200的数据总线204上传输的图像的数量
Kr：直到从成像器件输入的一个图像被记录在记录介质180中并显示在显示单元140中为止，需要按RGB数据格式在DSP 200的数据总线204上传输的图像的数量
K：直到从成像器件输入的一个图像被记录在记录介质180中并显示在显示单元140中为止，在DSP 200的数据总线204上传输的图像的数量的Bayer图像数据方面的值
K通过以下公式计算。
K＝Kb×1+Ky×2+Kr×3
D：DSP 200的数据总线204的位宽
使用这些变量通过以下公式13计算在一秒内输入到DSP 200的数据的量DD1(单位：位)。
DD1＝H×V×R×B×F...(公式13)
通过以下公式14计算在一秒内应该在数据总线204上传输的数据量(单DD2位：位)。
DD2＝H×V×R×B×F×K...(公式14)
通过以下公式15计算传输图像数据所需的数据总线204的时钟频率(单位：Hz)
Fclk＝H×V×R×B×F×K/(D-DmodB)...(公式15)
通过以下公式16可以计算时钟频率Fclk的优选范围内的下限Fclk min。
Fclk min＝(H×V×R×B×F×K×0.1)/(D-DmodB)...(公式16)
在数据总线204上，并不总是在数据间没有任何间隔地传输数据。因此，本领域技术人员公知的是，当基于需要通过使用数据总线204传输的数据量计算数据总线204的工作频率时，为数据总线204的传送能力给出百分之几十的余量。
例如，当给出百分之几的余量时，很可能给出的余量的量太小。另一方面，当给出百分之一百几十的余量时，余量太大。这也是本领域技术人员公知的。例如，按某个间隔执行数据总线204上的数据传输，并且当余量是百分之几十时，数据总线204的传输量下降。因此，如果给出100％的最大余量，数据总线204的传输能力是足够的。因此，以下说明在时钟频率Fclk的优选范围内的上限Fclk max。
可以通过以下公式17计算时钟频率Fclk的优选范围内的上限Fclk max。
Fclk max＝(H×V×R×B×F×K×2.0)/(D-DmodB)...(公式17)
以此方式，可以计算时钟频率Fclk的优选范围内的下限Fclk min和上限Fclk max。因此，可以通过以下公式18定义数据总线204的时钟频率Fclk的优选范围。
(H×V×R×B×F×K×1.0)/(D-DmodB)≤Fclk≤(H×V×R×B×F×K×2.0)/(D-DmodB)...(公式18)
说明公式16到18中的“D-DmodB”。
当数据总线204的位宽不是成像器件的像素的位宽的整数倍大时，在图像存储器170的写入操作中发生浪费。例如，当数据总线204的位宽是128位并且成像器件的像素的位宽是12位时，难以传输等效于十一个像素的12位像素数据，并且仅可以传输等效于十个像素的像素数据。因此，在写操作中出现发生8位的浪费。指示浪费的量是DmodB。具体地，通过从数据总线204的位宽(有效数据总线宽度)减去指示浪费的量获得的值是“D-DmodB”。
如公式16到18指示的，可以根据H、V、R、B、F、K和D计算数据总线204的工作频率的优选范围。但是，H、V、R、B、F、K和D的值根据蜂窝电话设备100执行的成像操作的内容而改变。因此，期望根据在相应类型的成像操作中设置的H、V、R、B、F、K和D的值而改变数据总线204的工作频率。通过按此方式改变数据总线204的工作频率，在DSP 200中，能够将数据总线204的工作频率降低到所需和足够的值，并降低功耗。
图57是用于确定关于第一实施例中的蜂窝电话设备100的各个种类的成像操作的数据总线204的工作频率的参数的图。通过设置图57所示的参数(H1sr、V1sr等)，能够确定关于蜂窝电话设备100的各个种类的成像操作的数据总线204的工作频率。图58中示出了参数的示例。
图58是用于确定关于第一实施例中的蜂窝电话设备100的各个种类的成像操作的数据总线204的工作频率的参数的图。在此示例中，执行静止图像记录操作。可以基于各参数预先计算数据总线204的工作频率的下限Fclk min和上限Fclk max。在图58所示的示例中，要在一秒内经历静止图像记录处理的图像的数量和要在一秒内经历监视操作的图像的数量被设置为三十。
[静止图像记录操作的时分处理的示例]
说明关于静止图像记录操作的时分处理。时分处理意味例如静止图像的成像和记录处理未在一帧的时段内(即被提供给图像信号处理单元220的垂直同步信号的一个时段内)完成而是执行几帧的时段。
例如，近年来，即使当用户使用带有广泛使用的相机的蜂窝电话设备拍摄相对大量的静止图像时，通常在一秒内仅拍摄一个静止图像。因此，当执行静止图像记录操作时，例如，即使在大约一秒内执行对于一个静止图像的图像信号处理、记录处理等，也不太可能破坏对于用户的便利性。通过按此方式执行对于一个静止图像的图象信号处理、记录处理等，能够降低DSP 200的数据总线204的工作频率，并降低功耗。
直到在记录了一个静止图像后完成图像信号处理，记录处理等，能够在显示单元140中显示诸如“请稍等”之类的消息以通知正在执行静止图像成像处理。除了消息之外，可以显示指示正在执行静止图像成像处理的图标或标记，或者可以并行地执行监视操作以显示监视图像。
图59以及图60A和图60B是由第一实施例中的图像信号处理单元220执行的时分处理的示意图。图59以及图60A和图60B所示的示例表示当执行对于静止图像的记录指令操作且同时执行监视操作时所执行的时分处理。图59所示的横轴表示时间轴。波形760表示垂直同步信号。坐标轴795表示占用数据总线204的处理与时间之间的关系。坐标轴795上的白色矩形表示对于各个帧的监视处理所需的占用数据总线204的处理。坐标轴795上所示的带阴影的矩形表示对于静止图像的记录处理所需的占用数据总线204的处理(时分处理)。
如上所述，当执行监视操作时，与对于静止图像的成像操作相比，需要经过数据总线204传输的数据量小。例如，假设在部分796中在任意时间，执行对于静止图像的记录指令操作。在此情况下，关于由箭头797所示的帧3执行对于静止图像的记录操作。例如，当从用户接收到记录指令操作时，DSP 200执行对于与记录指令操作的定时对应的帧(例如帧3)以及该帧后的多个帧(例如帧4到8)的图像信号处理和记录处理。在执行图像信号处理和记录处理的同时，成像器件和DSP 200并行执行监视操作。当完成记录操作时(例如，在由箭头798指示的时间时)，成像器件和DSP 200仅执行监视操作。
当执行对于静止图像的记录处理的时分处理时，在执行时分处理的同时，还能够显示单色图像或者预先准备的图像而不执行监视操作。还能够显示用于向用户通知执行图像记录处理的图像或消息等。
在图60A和图60B中，示出了需要经过数据总线204传输以便在垂直同步信号的时段内执行监视操作和记录处理的时分处理的数据量。图60A和图60B所示的示例是其中修改了图56A和图56B所示的示例的一部分的示例。该示例与图56A和图56B所示的示例的不同之处在于，添加了记录操作时分处理759。与图59A和图59B所示的示例中相同的组件由相同的参考数字表示。
例如，图60A所示的记录处理被划分成十二个。如图60B所示，在监视操作中，通过涉及对于每一帧两个Bayer图像的数据传输的量执行各个种类的信号处理(例如记录操作时分处理759)。在其中开始记录处理的帧之后，执行对于记录处理的信号处理，同时执行在记录处理的开始后的监视处理。但是，第一处理通常以等于或大于一个Bayer图像的量来执行，以便完成图像存储器170中的图像数据的写。图60B所示的矩形751到753和756对应于图59所示的横轴795上的白色矩形。图60B所示的矩形759对应于图59所示的横轴795上的带有阴影的矩形。
图61是用于确定关于第一实施例中的蜂窝电话设备100的静止图像记录操作的数据总线204的工作频率的参数的示例的图。除了要在一秒内经历静止图像记录处理的图像的数量是一并且与图像的数量有关的值改变之外，图61所示的示例与图58所示的示例相同。通过将要在一秒内经历静止图像记录处理的图像的数量设置为一，能够降低数据总线204的工作频率的下限Fclkmin和上限Fclk max，并降低DSP 200的功耗。
如上所述，因为在监视操作中产生的图像不是用于欣赏的图像，期望对像素数据稀疏以降低功耗。因此，在图58和图61所示的示例中，在监视操作的情况下，使用小于1的值作为像素数据的稀疏比。这使得能够将DSP 200的数据总线204所需的工作频率设置得小于在图58和图61中所示的静止图像记录操作时数据总线204所需的工作频率，并降低功耗。
图62是用于确定关于第一实施例中的蜂窝电话设备100的运动图像记录操作的数据总线204的工作频率的参数的示例的图。在图62所示的示例中，将运动图像记录操作的示例示为图57所示的参数。
当设置了三眼横向广角图像成像模式时，图像数据的量大约是单眼横向图像成像模式下的图像数据的量的三倍大。因此，例如，当执行静止图像记录操作时，在对于几个垂直同步信号的时间内(即几帧的时间内)执行对于大图像的信号处理。这使得能够防止数据总线204所需的工作频率变得过大。但是，当执行运动图像记录操作时，因为对于每帧输入新的图像，因此需要在一帧的时段中使三眼图像数据经历信号处理。因此，为了防止数据总线204所需的工作频率变得过大，期望对图像执行稀疏处理并降低数据量，如图62所示。
[针对捕捉图像数据时的延迟的措施的示例]
在第一实施例中，同时从三个成像器件输入到DSP 200的三条图像数据被临时存储在具有环形缓冲器结构的图像缓冲器中。通过使用环形缓冲器结构的图像缓冲器，能够经由一条数据总线204和图像存储器I/F 206将同时从三个成像器件输入到DSP 200的三条图像数据写入最小的一个图像存储器170中。但是，当使用具有环形缓冲器结构的图像缓冲器211到219时，如下所述，发生图像数据的延迟，直到从图像缓冲器211到219读出图像数据并将其捕捉到DSP 200中为止。因此，需要对于按此方式发生的延迟执行处理。
图63是第一实施例中用于写入图像缓冲器211到219中的定时以及用于捕捉到DSP 200中的定时的示意时序图。图63所示的横轴表示时间轴。波形761表示从DSP 200到成像系统的垂直同步信号。波形762表示从DSP 200到成像系统的水平同步信号。波形762中的BP1表示对于两条线的垂直后沿。在图63所示的示例中，假设图像缓冲器211到219之一的容量与从成像器件134到136输入到DSP 200的图像数据的一条线的数据量相同。
在横轴763上，示出了从第一成像系统191输入到DSP 200的图像数据的时间转变。在横轴764上，示出了从第二成像系统192输入到DSP 200的图像数据的时间转变。在横轴765上，示出了从第三成像系统193输入到DSP200的图像数据的时间转变。
在横轴766上，示出了图像缓冲器211到213的写状态的时间转变。在横轴767上，示出了图像缓冲器214到216的写状态的时间转变。在横轴768上，示出了图像缓冲器217到219的写状态的时间转变。在图63所示的示例中，在同一条线上示出了与成像系统对应的一组三个图像缓冲器的写状态。
在横轴769上，示出了作为从DSP 200的图像缓冲器211到219的数据读出和到DSP 200的内部的数据传输的目标的图像数据。
波形770表示与从DSP 200输入到成像系统的垂直同步信号相同的定时的垂直同步信号。波形771表示要提供给DSP 200的内部的延迟的垂直同步信号。波形770中的BP2表示对于四条线的垂直后沿。波形771中的BP3表示对于两条线的垂直后沿。
如图63所示，对于两条线的延迟发生在图像的有效数据到图像缓冲器211到219的写开始后，直到从图像缓冲器读出该数据并捕捉到DSP 200中为止。
图64是第一实施例中用于写入图像缓冲器211到219中的定时以及用于捕捉到DSP 200中的定时的示意时序图。图64所示的横轴表示时间轴。波形781表示从DSP 200到成像系统的水平同步信号。波形781中的BP4表示由成像器件134到136产生的图像中的水平后沿。在图64所示的示例中，假设图像缓冲器211到219之一的容量是从成像器件134到136输入到DSP 200的一条线的图像数据的数据量。
在横轴782上，示出了从第一成像系统191输入到DSP 200的图像数据的时间转变。在横轴783上，示出了从第二成像系统192输入到DSP 200的图像数据的时间转变。在横轴784上，示出了从第三成像系统193输入到DSP200的图像数据的时间转变。
在横轴785上，示出了图像缓冲器211到213的写状态的时间转变。在横轴786上，示出了图像缓冲器214到216的写状态的时间转变。在横轴787上，示出了图像缓冲器217到219的写状态的时间转变。在图64所示的示例中，在同一条线上示出了与成像系统对应的一组三个图像缓冲器的写状态。
在横轴789上，示出了作为从DSP 200的图像缓冲器211到219的数据读出以及到DSP 200的内部的数据传输的目标的图像数据。
波形790表示与从DSP 200输入到成像系统的水平同步信号相同的定时的水平同步信号。波形791表示要提供到DSP 200的内部的延迟的水平同步信号。波形790中的BP5表示水平后沿。波形791中的BP6表示水平后沿。
如图64所示，对图像的有效数据区域中的2/3线的延迟发生在开始图像的有效数据向图像缓冲器211到219的写之后，直到从图像缓冲器中读出数据并被捕捉到DSP 200中为止。
需要移除这些延迟并将垂直同步信号与图像的有效数据之间的间隔以及水平同步信号与图像的有效数据之间的间隔设置为与成像器件134到136中产生图像数据的间隔相同。因此，在第一实施例中，具有与从DSP 200输入到成像器件134到136的同步信号相同的时段以及延迟的相位的信号至少被用在DSP 200的内部的图像信号处理单元220的一部分中。DSP 200的成像控制单元201产生从DSP 200输入到成像器件134到136的同步信号，并且还产生具有与输入到成像器件134到135的同步信号相同的时段以及延迟的相位的信号。成像控制单元201将产生的同步信号提供给DSP 200内的各单元。
[成像设备的操作示例]
图65是第一实施例中的蜂窝电话设备100的成像控制处理的处理过程的流程图。
首先，开启蜂窝电话设备100中的电源(步骤S901)。随后，确定是否接收到对于成像操作的开始指令操作(步骤S902)。例如，用户可以通过在显示单元140中的菜单屏幕上执行命令开始成像操作的指令操作来开始成像操作。当未接收到对于成像操作的开始指令操作时(步骤S902)，继续监视直到接收到对于成像操作的开始指令操作为止。
当接收到对于成像操作的开始指令操作时(步骤S902)，枢轴旋转状态检测单元150检测第二壳体120的枢轴旋转状态(步骤S903)。步骤S903是所附权利要求书中描述的检测过程的示例。随后，成像控制单元201确定第二壳体120的枢轴旋转状态是否是横向状态(步骤S904)。当第二壳体210的枢轴旋转状态是横向状态时，执行横向状态成像处理(步骤S910)。稍后参考图66详细说明横向状态成像处理。另一方面，当第二壳体120的枢轴旋转状态是纵向状态时，执行纵向状态成像处理(步骤S950)。稍后参考图69详细说明纵向状态成像处理。步骤S904、S910和S950是所附权利要求书中所述的控制过程的示例。
随后，确定是否接收到对于成像操作的结束指令操作(步骤S905)。当未接收到对于成像操作的结束指令操作时(步骤S905)，成像控制处理返回到步骤S903。另一方面，当接收到对于成像操作的结束指令操作时(步骤S905)，完成成像控制处理的操作。
图66是第一实施例中的蜂窝电话设备100的成像控制处理的处理过程中的横向状态成像处理(图65中所示的步骤S910中的处理过程)的流程图。
首先，成像控制单元201将三眼横向广角图像成像模式设置为初始设置(步骤S911)。随后，成像控制单元201确定设置了静止图像成像模式和运动图像成像模式中的哪个成像模式(步骤S912)。当设置了静止图像成像模式时(步骤S912)，执行静止图像成像处理(步骤S920)。稍后参考图67详细说明静止图像成像处理。另一方面，当设置了运动图像成像模式时(步骤S912)，执行运动图像成像处理(步骤S930)。稍后参考图68详细说明运动图像成像处理。
随后，确定是否接受到成像范围切换指令操作(步骤S913)。例如，确定是否按下了图1A到图1D所示的成像范围变换开关111等。当未接收到成像范围切换指令操作时(步骤S913)，横向状态成像处理前进到步骤S915。另一方面，当接收到成像范围切换指令操作时(步骤S913)，成像控制单元201根据所接收的成像范围切换指令操作切换成像模式(步骤S914)。例如，每次按下成像范围变换开关111时，按以下顺序切换成像模式：(1)三眼横向广角图像成像模式、(2)三眼横向窄角图像成像模式、(3)单眼横向图像成像模式、(4)单眼纵向图像成像模式以及(5)单眼纵向小区域图像成像模式。
随后，确定第二壳体120的枢轴旋转状态是否存在改变(步骤S915)。当第二壳体120的枢轴旋转状态不存在改变时，横向状态成像处理返回到步骤S912。另一方面，当第二壳体120的枢轴旋转状态存在改变时(步骤S915)，完成横向状态成像处理的操作。
图67是第一实施例中的蜂窝电话设备100的成像控制处理的处理过程中的静止图像成像处理(图66所示的步骤S920中的处理过程)的流程图。
首先，根据设置的成像模式执行监视处理(步骤S921)。例如，当设置了三眼横向广角图像成像模式时，将图29A所示的粗线的范围内的图像显示在显示单元140中，作为图29B所示的监视图像。如上所述，在监视处理期间，可以执行像素稀疏处理或者像素相加处理。
随后，确定是否接收到对于静止图像的记录指令操作(步骤S922)。例如，确定在显示单元140中显示监视图像的状态下是否按下了确定键114。当未接收到对于静止图像的记录指令操作时(步骤S922)，静止图像成像处理前进到步骤S924。另一方面，当接收到对于静止图像的记录指令操作时(步骤S922)，根据设置的成像模式执行静止图像记录处理(步骤S923)。例如，当设置了三眼横向广角图像成像模式时，将图29A所示的粗线的范围内的图像记录在记录介质180中。
随后，确定是否接收到成像范围切换指令操作(步骤S924)。当未接收到成像范围切换指令操作时(步骤S924)，确定第二壳体120的枢轴旋转状态是否存在改变(步骤S925)。当第二壳体120的枢轴旋转状态不存在改变时(步骤S925)，确定是否接受到从静止图像成像模式到运动图像成像模式的切换操作(步骤S926)。例如，确定在设置了静止图像成像模式的状态下是否按下了静止图像/运动图像变换开关112。当接收到成像范围切换指令操作、第二壳体120的枢轴旋转状态存在改变、或者接收到从静止图像成像模式到运动图像成像模式的切换操作时(步骤S924到S926)，完成静止图像成像处理的操作。另一方面，当未接收到成像范围切换指令操作、第二壳体120的枢轴旋转状态不存在改变、以及未接收到从静止图像成像模式到运动图像成像模式的切换操作时(步骤S924到S926)，静止图像成像处理返回到步骤S921。
图68是第一实施例中的蜂窝电话设备100的成像控制处理的处理过程中的运动图像成像处理(图66中所示的步骤S930中的处理过程)的流程图。
首先，根据设置的模式执行监视处理(步骤S931)。
随后，确定是否接收到对于运动图像的记录开始指令操作(步骤S932)。例如，确定在显示单元140中显示监视图像的状态下是否按下了确定键114。当未接收到对于运动图像的记录开始指令操作时(步骤S932)，运动图像成像处理前进到步骤S935。另一方面，当接收到对于运动图像的记录开始指令操作时(步骤S932)，根据设置的成像模式执行运动图像记录处理(步骤S933)。随后，确定是否接收到对于运动图像的记录结束指令操作(步骤S934)。例如，确定在执行运动图像记录处理的状态下是否再次按下了确定键114。当未接收到对于运动图像的记录结束指令操作时(步骤S934)，继续执行运动图像记录处理(步骤S933)。另一方面，当接收到对于运动图像的记录结束指令操作时(步骤S934)，完成运动图像记录处理，并且运动图像成像处理前进到步骤S935。
随后，确定是否接收到成像范围切换指令操作(步骤S935)。当未接收到成像范围切换指令操作时(步骤S935)，确定第二壳体120的枢轴旋转状态是否存在改变(步骤S936)。当第二壳体120的枢轴旋转状态不存在改变时(步骤S936)，确定是否接收到从运动图像成像模式到静止图像成像模式的切换操作(步骤S937)。当接收到成像范围切换指令操作、第二壳体120的枢轴旋转状态存在改变、或者接收到从运动图像成像模式到静止图像成像模式的切换操作时(步骤S935到S937)，完成运动图像成像处理的操作。另一方面，当未接收到成像范围切换指令操作、第二壳体120的枢轴旋转状态不存在改变、且未接收到从运动图像成像模式到静止图像成像模式的切换操作时(步骤S935到S937)，运动图像成像处理返回到步骤S931。当设置了运动图像成像模式时，可以按被设置为比静止图像成像模式下的稀疏比高的稀疏比执行运动图像记录处理。
图69是第一实施例中的蜂窝电话设备100的成像控制处理的处理过程在的纵向状态成像处理(图65所示的步骤S950中的处理过程)的流程图。
首先，成像控制单元201将单眼纵向图像成像模式设置为初始化设置(步骤S951)。随后，成像控制单元201确定设置了静止图像成像模式和运动图像成像模式中的哪个成像模式(步骤S952)。当设置了静止图像成像模式时(步骤S952)，执行静止图像成像处理(步骤S960)。除了在显示单元140中显示的图像不同之外，该静止图像成像处理与图67所示的处理过程基本相同。因此，省略该静止图像成像处理的说明。另一方面，当设置了运动图像成像模式时(步骤S952)，执行运动图像成像处理(步骤S970)。除了在显示单元140中显示的图像不同之外，该运动图像成像处理与图68所示的处理过程基本相同。因此，省略该运动图像成像处理的说明。
随后，确定是否接收到成像范围切换指令操作(步骤S953)。当未接收到成像范围切换指令操作时(步骤S953)，纵向状态成像处理前进到步骤S955。另一方面，当接收到成像范围切换指令操作时(步骤S953)，成像控制单元201根据所接收的成像范围切换指令操作来切换成像模式(步骤S954)。例如，每次按下成像范围变换开关111时，按以下顺序切换成像模式：(1)单眼纵向图像成像模式、(2)单眼纵向小区域图像成像模式、(3)单眼横向图像成像模式、以及(4)三眼横向窄角图像成像模式。
随后，确定第二壳体120的枢轴旋转状态是否存在改变(步骤S955)。当第二壳体120的枢轴旋转状态不存在改变时，纵向状态成像处理返回到步骤S952。另一方面，当第二壳体120的枢轴旋转状态存在改变时(步骤S955)，完成纵向状态成像处理的操作。
如上所述，在第一实施例中，可以容易地执行多个成像模式的切换。例如，当执行蜂窝电话设备的呼叫操作或者诸如创建电子邮件的语句以及阅读语句的操作时，经常以纵向使用蜂窝电话设备的壳体。因此，例如，即使通过使用带有相机的蜂窝电话设备执行拍摄时，蜂窝电话设备的壳体和显示装置经常被设置在纵向状态下以执行拍摄和记录纵向图像。例如，经常在各蜂窝电话设备的用户间再现或传输按此方式记录的纵向图像。
但是，人的视场在横向方向上更宽。因此，认为通过记录具有大的纵横比的图像，能够记录在接近人的视场中的区域的成像范围中的图像，并减少用户的不舒服的感觉。因此，在第一实施例中，可以仅通过第二壳体120的枢轴旋转操作来执行带有相机的蜂窝电话设备的用户所熟悉的纵向图像和具有相对接近人的视场的大视角的图像的切换。以此方式，可以切换纵向图像和具有大视角的图像。因此，能够防止用户错过拍摄时机，并能够容易地拍摄用户喜欢的图像。
可以在单眼纵向图像成像模式或者单眼纵向小区域图像成像模式下显示或记录带有相机的蜂窝电话设备的用户所熟悉的纵向图像。可以在三眼横向广角图像成像模式、三眼横向窄角图像成像模式以及单眼纵向图像成像模式下显示或记录具有相对接近人的视场的大视角的图像(例如全景图像)。还可以通过成像范围变换开关111容易地执行这些种类的切换。以此方式，可以通过相对容易的操作切换多种图像。因此，能够防止用户错过拍摄时机，并能够容易地拍摄用户喜欢的图像。
[蜂窝电话设备的修改]
图70A到图71C是第一实施例中的蜂窝电话设备100的修改的图、
在图70A到图70D中，示出了其中显示单元和成像单元被包括在同一壳体中的蜂窝电话设备1040。在图70A中，示出了使用蜂窝电话设备1040时的形式的前侧。在图70B中，示出了该形式的后侧。在图70C中，示出了使用蜂窝电话设备1040的另一形式的前侧。在图70D中示出了该形式下的后侧。
蜂窝电话设备1040包括第一壳体110和第二壳体120。第二壳体120包括显示单元140和成像单元1041。除了显示单元和成像单元被包括在同一壳体内以外，蜂窝电话设备1040与蜂窝电话设备100基本相同。因此，与蜂窝电话设备100的组件相同的各组件由相同的参考数字表示，并省略各组件的说明。
除了成像单元1041的排列位置不同之外，成像单元1041与被包括在蜂窝电话设备100中的成像单元130基本相同。具体地，在成像单元1041中，根据预定的规则，并排排列三个成像系统，中心的成像器件被安排在纵向状态，左侧和右侧的成像器件被安排在横向状态。
在图71A到图71C中，示出了包括一个壳体的蜂窝电话设备1050。在图71A中，示出了使用蜂窝电话设备1050的形式的前侧。在图71B中，示出了该形式下的后侧。在图71C中，示出了使用蜂窝电话设备1050的另一形式的前侧。
蜂窝电话设备1050包括一个壳体并包括显示单元140、成像单元1051和姿势检测单元1052。除了蜂窝电话设备1050包括一个壳体、蜂窝电话设备1050包括姿势检测单元1052而不是枢轴旋转状态检测单元150以及成像单元的排列位置不同之外，蜂窝电话设备1050与蜂窝电话设备100基本相同。因此，与蜂窝电话设备100的组件相同的组件由相同的参考数字表示，并省略各组件的说明。
除了成像单元1051的排列位置不同之外，成像单元1051与蜂窝电话设备100中所包括的成像单元130基本相同。具体地，在成像单元1051中，根据预定的规则，并排排列三个成像系统，中心的成像器件被安排在纵向状态，左侧和右侧的成像器件被安排在横向状态。
代替枢轴旋转状态检测单元150，姿势检测单元1052被并入蜂窝电话设备1050中。姿势检测单元1052检测施加到蜂窝电话设备1050的加速、运动、倾斜等。例如，通过旋转传感器、翻转传感器或者重力传感器实现姿势检测单元1052。姿势检测单元1052将所检测到的信息输出到成像控制单元201作为姿势信息。成像控制单元201基于所检测到的姿势信息检测蜂窝电话设备1050是处于横向状态还是纵向状态。成像控制单元201基于所检测的状态执行成像操作的控制。例如，成像控制单元201可以执行与根据蜂窝电话设备100的第二壳体是处于横向状态还是纵向状态而执行的控制相同的控制。成像控制单元201可以执行用于根据通过使用预定的操作部件执行的操作输入来改变成像范围的成像控制。作为操作输入，能够采用通过操作按钮或者触摸板的操作输入。姿势检测单元1052是在所附权利要求书中所述的检测单元的示例。
以此方式，第一实施例可以应用于各种形式的蜂窝电话设备。
<2.第二实施例>
在第一实施例中，作为实例说明了包括多个成像系统的蜂窝电话设备。在本发明的第二实施例中，说明诸如数码相机或者数字摄像机之类的成像设备。
[成像设备的外部配置示例]
图72A到图72C是第二实施例中的成像设备1000的外部配置的图。在图72A中，示出了成像设备1000的前侧(被摄体侧)的透视图。在图72B和图72C中，示出了成像设备1000的后侧(拍摄者侧)的透视图。在成像设备1000中，第一壳体1010和第二壳体1020通过枢轴旋转部件1001枢轴旋转地耦接。例如通过包括三个成像系统的数码相机实现成像设备1000。在图72A到图72C中，为了易于说明，按简化形式示出成像设备1000。省略了提供在成像设备100的外表面上的电源开关等的图示。
第一壳体1010包括成像范围变换开关1011、静止图像/运动图像变换开关1012、快门按钮1013和成像单元1030。成像范围变换开关1011、静止图像/运动图像变换开关1012和成像单元1030与图1A到图1D等所示的成像范围变换开关111、静止图像/运动图像变换开关112和成像单元130基本相同。因此，省略各组件的说明。成像范围变换开关1011是所附权利要求书中所述的操作接收单元的示例。
快门按钮1013是用于指示开始图像的记录的操作部件。例如，当设置了静止图像成像模式时，在将由成像单元1030产生的图像数据作为静止图像文件记录在记录介质中时按下快门按钮1013。
第二壳体1020包括显示单元1021。因为显示单元1021与图1A到图1D等所示的显示单元140基本相同，因此省略显示单元1021的说明。在成像设备1000中，第一壳体1010和第二壳体1020枢轴旋转地连接。具体地，第二壳体1020可以以枢轴旋转部件1001(由虚线所示)作为枢轴旋转基准而相对于第一壳体1010枢轴旋转。这使得能够改变第二壳体1020相对于第一壳体1010的相对位置关系。例如，图72C中示出了第二壳体1020在图72B所示的箭头1002的方向上枢轴旋转90度的形式。如在第一实施例中那样，基于第二壳体是处于横向状态还是纵向状态来执行对于成像操作的控制。
在各实施例中，作为示例说明了蜂窝电话设备和包括三个成像系统的成像设备。但是，各实施例可以应用于包括五个或更多的奇数个成像系统的蜂窝电话设备、成像设备等。具体地，可以通过根据固定的规则并排排列五个或更多的奇数个成像系统、将中心的成像器件设置在纵向状态并将左边和右边的其余成像器件设置在横向状态而应用各实施例。
各实施例表示用于体现本发明的示例。如各实施例中清楚说明的，各实施例中的元件和所附权利要求中要求保护的元件分别具有对应关系。类似地，所附权利要求中要求保护的元件和具有与要求保护的元件相同的名称的各实施例中的元件分别具有对应关系。但是，本发明不限于各实施例，并可以通过不脱离本发明的精神地向各实施例应用各种修改来体现。
实施例中所说明的处理过程可以被理解为具有一系列过程的方法，或者可以被理解为用于使得计算机执行该系列过程的计算机程序和存储该计算机程序的记录介质。作为记录介质，例如可以使用CD(致密盘)、MF(迷你盘)、DVD(数字多用途盘)、存储卡、蓝光盘(注册商标)。
本申请包含与于2009年8月20日在日本专利局提交的日本优先权专利申请JP 2009-190659中的公开有关的主题，通过引用将其全部内容合并于此。
本领域技术人员应当理解，取决于设计要求和其他因素，可以发生各种修改、组合、部分组合和替换，只要其在所附权利要求或其等效物的范围内即可。

Claims (17)

1.一种成像设备，包括：
成像单元，其利用彼此不同的成像器件分别产生被摄体的特定方向被设置在纵向方向上的第一捕捉图像、垂直于该特定方向的垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的一侧相邻的被摄体的第二捕捉图像、以及垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的另一侧相邻的被摄体的第三捕捉图像；
检测单元，其检测所述成像设备的状态；以及
控制单元，其基于所检测的状态，确定在由所述成像单元产生的第一到第三捕捉图像之中的作为显示或记录的目标的目标图像的范围。
2.根据权利要求1的成像设备，还包括：
第一壳体，其包括所述成像单元；
第二壳体，其包括显示所述目标图像的显示单元；以及
枢轴旋转部件，其枢轴旋转地耦接所述第一壳体和所述第二壳体，其中
所述检测单元检测所述第二壳体相对于所述第一壳体的枢轴旋转状态，作为所述成像设备的状态。
3.根据权利要求2的成像设备，其中
所述检测单元检测第一特定状态作为所述成像设备的状态，在所述第一特定状态中，所述显示单元的纵向方向和产生所述第一捕捉图像的第一成像器件的纵向方向基本上相互平行，以及
所述控制单元确定当检测到所述第一特定状态时，仅第一捕捉图像用作目标图像。
4.根据权利要求3的成像设备，其中，所述控制单元确定当检测到所述第一特定状态时，整个第一捕捉图像用作目标图像。
5.根据权利要求2的成像设备，其中
所述检测单元检测第二特定状态作为所述成像设备的状态，在所述第二特定状态中，与所述显示单元的纵向方向垂直的垂直方向和产生所述第一捕捉图像的第一成像器件的纵向方向基本上相互平行，以及
所述控制单元确定当检测到所述第二特定状态时，第一到第三捕捉图像用作所述目标图像。
6.根据权利要求5的成像设备，其中，所述控制单元确定当检测到所述第二特定状态时，将通过组合第一捕捉图像的部分与第二和第三捕捉图像而产生的组合图像用作所述目标图像。
7.根据权利要求2的成像设备，其中
所述枢轴旋转部件将第一壳体和第二壳体耦接，使得第一壳体的一个表面和第二壳体的一个表面彼此相对，
在第一壳体的所述一个表面的相对侧上的表面上并排地排列分别与所述成像单元中所包括的各成像器件对应的一组透镜，以及
所述显示单元被提供在所述第二壳体的所述一个表面的相对侧上的表面上。
8.根据权利要求7的成像设备，其中，所述枢轴旋转部件将第一壳体和第二壳体耦接，使得所述显示单元中的显示表面和与产生第一捕捉图像的第一成像器件对应的一组透镜的光轴方向基本上垂直。
9.根据权利要求1的成像设备，还包括图像组合单元，其将第一捕捉图像的部分与第二和第三捕捉图像组合以产生组合图像，其中
所述控制单元确定当所检测的状态是特定状态时，所述组合图像用作所述目标图像。
10.根据权利要求9的成像设备，其中，所述图像组合单元产生基本是矩形的图像作为所述组合图像。
11.根据权利要求1的成像设备，其中，所述控制单元基于所检测的状态切换通过使用所述成像单元中所包括的多个成像器件执行的复合眼成像操作以及通过仅使用产生所述第一捕捉图像的第一成像器件执行的单眼成像操作，并确定所述目标图像的范围。
12.根据权利要求11的成像设备，其中，当所述复合眼成像操作被切换到所述单眼成像操作时，所述控制单元停止产生所述第二和第三捕捉图像的成像器件的操作。
13.根据权利要求11的成像设备，其中，当所述单眼成像操作被切换到所述复合眼成像操作时，所述控制单元确定预定频率的时钟用于所述复合眼成像操作，以及当所述复合眼成像操作被切换到所述单眼成像操作时，所述控制单元确定低于所述预定频率的频率的时钟用于所述单眼成像操作。
14.根据权利要求2的成像设备，其中，当所述第二壳体相对于所述第一壳体的枢轴旋转状态是特定状态时，所述控制单元使所述目标图像经历旋转处理，并使得显示单元显示所述目标图像。
15.一种成像设备，包括：
成像单元，其利用彼此不同的成像器件分别产生被摄体的特定方向被设置在纵向方向上的第一捕捉图像、垂直于该特定方向的垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的一侧相邻的被摄体的第二捕捉图像、以及垂直方向被设置在纵向方向上并且包括与第一捕捉图像中所包括的被摄体的垂直方向的另一侧相邻的被摄体的第三捕捉图像；
操作接收单元，其接收用于命令成像范围的改变的指令操作；以及
控制单元，其基于所接收的指令操作，确定在由所述成像单元产生的第一到第三捕捉图像之中的作为显示或记录的目标的目标图像的范围。
16.一种控制成像设备的方法，包括步骤：
检测成像设备的状态；以及
基于所检测的状态，确定在由第一成像器件产生的被摄体的特定方向被设置在纵向方向上的第一捕捉图像、作为垂直于该特定方向的垂直方向被设置在纵向方向上的捕捉图像并且由第二成像器件产生以包括与第一捕捉图像中所包括的被摄体的垂直方向的一侧相邻的被摄体的第二捕捉图像、以及作为垂直方向被设置在纵向方向上的捕捉图像并且由第三成像器件产生以包括与第一捕捉图像中所包括的被摄体的垂直方向的另一侧相邻的被摄体的第三捕捉图像中的作为显示或记录的目标的目标图像的范围。
17.一种计算机程序，用于使得计算机执行：
检测过程，用于检测成像设备的状态；以及
控制过程，用于基于所检测的状态，确定在由第一成像器件产生的被摄体的特定方向被设置在纵向方向上的第一捕捉图像、作为垂直于该特定方向的垂直方向被设置在纵向方向上的捕捉图像并且由第二成像器件产生以包括与第一捕捉图像中所包括的被摄体的垂直方向的一侧相邻的被摄体的第二捕捉图像、以及作为垂直方向被设置在纵向方向上的捕捉图像并且由第三成像器件产生以包括与第一捕捉图像中所包括的被摄体的垂直方向的另一侧相邻的被摄体的第三捕捉图像中的作为显示或记录的目标的目标图像的范围。
CN201010256083.2A 2009-08-20 2010-08-16 成像设备和控制该成像设备的方法 Expired - Fee Related CN101998041B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009190659A JP5423235B2 (ja) 2009-08-20 2009-08-20 撮像装置
JP190659/09 2009-08-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410147988.4A Division CN104023169A (zh) 2009-08-20 2010-08-16 成像设备、控制该成像设备的方法和计算机程序

Publications (2)

Publication Number Publication Date
CN101998041A true CN101998041A (zh) 2011-03-30
CN101998041B CN101998041B (zh) 2014-05-14

Family

ID=43605061

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410147988.4A Pending CN104023169A (zh) 2009-08-20 2010-08-16 成像设备、控制该成像设备的方法和计算机程序
CN201010256083.2A Expired - Fee Related CN101998041B (zh) 2009-08-20 2010-08-16 成像设备和控制该成像设备的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410147988.4A Pending CN104023169A (zh) 2009-08-20 2010-08-16 成像设备、控制该成像设备的方法和计算机程序

Country Status (3)

Country Link
US (2) US8576321B2 (zh)
JP (1) JP5423235B2 (zh)
CN (2) CN104023169A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243821A (zh) * 2014-09-10 2014-12-24 广东欧珀移动通信有限公司 一种大视角照片的获取方法及装置
CN108569298A (zh) * 2017-03-10 2018-09-25 通用汽车环球科技运作有限责任公司 用于增强俯视图图像的方法和装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5672862B2 (ja) * 2010-08-27 2015-02-18 ソニー株式会社 撮像装置、撮像システム及び撮像方法
US8908054B1 (en) * 2011-04-28 2014-12-09 Rockwell Collins, Inc. Optics apparatus for hands-free focus
US8553129B2 (en) * 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
TWI469615B (zh) * 2011-05-10 2015-01-11 Htc Corp 手持式電子裝置、適用於其之雙重影像擷取方法以及用以載入於其之電腦程式產品
BR112014001565A2 (pt) 2011-07-22 2017-06-13 Fujifilm Corp método de geração de imagem panorâmica e dispositivo de captura de imagem
US9811755B2 (en) * 2013-03-29 2017-11-07 Nec Corporation Object monitoring system, object monitoring method, and monitoring target extraction program
JP2014230051A (ja) 2013-05-22 2014-12-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6299116B2 (ja) * 2013-08-30 2018-03-28 株式会社リコー 撮像装置、撮像方法および記録媒体
KR102120764B1 (ko) * 2013-09-16 2020-06-09 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
IN2014CH00115A (zh) * 2014-01-09 2015-07-10 Samsung R & D Inst India Bangalore Private Ltd
US9762815B2 (en) * 2014-03-27 2017-09-12 Intel Corporation Camera to capture multiple sub-images for generation of an image
CN104506842A (zh) * 2015-01-15 2015-04-08 京东方科技集团股份有限公司 三维摄像头模组、终端设备以及测距方法
JP6702821B2 (ja) * 2016-07-28 2020-06-03 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
EP3866455A1 (en) * 2020-02-14 2021-08-18 InterDigital CE Patent Holdings Device and method for capturing images or video
US11245845B2 (en) 2020-06-04 2022-02-08 Hand Held Products, Inc. Systems and methods for operating an imaging device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1199987A (zh) * 1997-02-14 1998-11-25 索尼公司 图像处理设备及方法
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
CN1533156A (zh) * 1998-07-17 2004-09-29 ���ṫ˾ 成像设备
US20070282501A1 (en) * 2006-05-31 2007-12-06 Aisin Aw Co., Ltd. Driving assist method and driving assist apparatus
EP2003479A1 (en) * 2006-03-31 2008-12-17 Nikon Corporation Imaging device, imaging method, highly variable magnification zoom lens
US20090128924A1 (en) * 2005-02-22 2009-05-21 Katsu Yamada Zoom Lens System, Imaging Device and Camera

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209469A (ja) 1999-01-18 2000-07-28 Fuji Photo Film Co Ltd 電子スチルカメラ
JP2002232754A (ja) * 2001-01-31 2002-08-16 Canon Inc 撮像装置
JP2003333425A (ja) 2002-05-15 2003-11-21 Fuji Photo Film Co Ltd カメラ
JP3931768B2 (ja) 2002-08-29 2007-06-20 オムロン株式会社 画像撮影装置および画像撮影システム
JP2004145291A (ja) * 2002-10-03 2004-05-20 Casio Comput Co Ltd 画像表示装置、画像表示方法及びプログラム
JP2004159014A (ja) 2002-11-05 2004-06-03 Nec Corp デジタルカメラ付き携帯通信端末
JP2004320363A (ja) * 2003-04-15 2004-11-11 Alps Electric Co Ltd 画像データ処理機能付き装置および画像データ処理方法
JP2005141527A (ja) * 2003-11-07 2005-06-02 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4468859B2 (ja) * 2005-06-06 2010-05-26 アルパイン株式会社 画像合成装置および合成方法
JP4297111B2 (ja) 2005-12-14 2009-07-15 ソニー株式会社 撮像装置、画像処理方法及びそのプログラム
DE602007006494D1 (de) * 2006-08-01 2010-06-24 Panasonic Corp Kameraeinrichtung, flüssigkeitslinse und bilderfassungsverfahren
JP4278675B2 (ja) * 2006-10-30 2009-06-17 シャープ株式会社 携帯情報端末
JP4931668B2 (ja) * 2007-03-29 2012-05-16 富士フイルム株式会社 複眼撮像装置
CN101378559A (zh) * 2007-08-30 2009-03-04 联想移动通信科技有限公司 采用摄像头组合全景拍的手机
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1199987A (zh) * 1997-02-14 1998-11-25 索尼公司 图像处理设备及方法
US6693524B1 (en) * 1998-06-02 2004-02-17 George R. Payne Vehicle backup monitoring and alarm system
CN1533156A (zh) * 1998-07-17 2004-09-29 ���ṫ˾ 成像设备
US20090128924A1 (en) * 2005-02-22 2009-05-21 Katsu Yamada Zoom Lens System, Imaging Device and Camera
EP2003479A1 (en) * 2006-03-31 2008-12-17 Nikon Corporation Imaging device, imaging method, highly variable magnification zoom lens
US20070282501A1 (en) * 2006-05-31 2007-12-06 Aisin Aw Co., Ltd. Driving assist method and driving assist apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243821A (zh) * 2014-09-10 2014-12-24 广东欧珀移动通信有限公司 一种大视角照片的获取方法及装置
CN104243821B (zh) * 2014-09-10 2018-07-03 广东欧珀移动通信有限公司 一种大视角照片的获取方法及装置
CN108569298A (zh) * 2017-03-10 2018-09-25 通用汽车环球科技运作有限责任公司 用于增强俯视图图像的方法和装置
CN108569298B (zh) * 2017-03-10 2021-04-09 通用汽车环球科技运作有限责任公司 用于增强俯视图图像的方法和装置

Also Published As

Publication number Publication date
US8576321B2 (en) 2013-11-05
JP2011044837A (ja) 2011-03-03
US20140028790A1 (en) 2014-01-30
CN104023169A (zh) 2014-09-03
US20110043669A1 (en) 2011-02-24
JP5423235B2 (ja) 2014-02-19
CN101998041B (zh) 2014-05-14
US9071753B2 (en) 2015-06-30

Similar Documents

Publication Publication Date Title
CN101998041B (zh) 成像设备和控制该成像设备的方法
EP3471392B1 (en) Panoramic camera and photographing method thereof
US20140160233A1 (en) Information processing apparatus, information processing method, and program
CN102209195A (zh) 成像装置、图像处理装置、图像处理方法以及程序
CN102209142A (zh) 成像装置、图像处理装置、图像处理方法以及程序
JP5353393B2 (ja) 画像処理装置及び画像処理方法等
US20050253834A1 (en) Display apparatus and display system
US9807303B2 (en) Information processing apparatus, information processing method, and program
JP6727989B2 (ja) 画像処理装置およびその制御方法
US9961272B2 (en) Image capturing apparatus and method of controlling the same
CN105430263A (zh) 长曝光全景图像拍摄装置和方法
US20140118333A1 (en) Information processing apparatus, display apparatus, control method for an information processing apparatus, and program
KR101245214B1 (ko) 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템
CN101729788A (zh) 摄像装置、摄像区域显示方法和摄像区域显示程序
US20100020202A1 (en) Camera apparatus, and image processing apparatus and image processing method
CN101490708A (zh) 图像处理设备、图像处理方法和程序
JP2014241569A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
KR20040104236A (ko) 해상도를 자동으로 설정하는 촬영장치 및 그 방법
CN107071277A (zh) 一种光绘拍摄装置、方法和移动终端
KR101289799B1 (ko) 임베디드 ｏｓ를 탑재한 실물화상 시스템 및 그 시스템의동작 방법
JP5676924B2 (ja) 投影装置及び投影方法
JP4217182B2 (ja) 撮影装置
JP6016424B2 (ja) 撮像装置及び画像処理方法
WO2022201784A1 (ja) 画像処理装置および画像処理方法
KR101228319B1 (ko) 임베디드 ｏｓ를 탑재한 실물화상 시스템에서 영상을오버레이하는 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140514

Termination date: 20150816

EXPY Termination of patent right or utility model