CN101385334B - 图像捕捉设备和方法、记录设备和方法及再现设备和方法 - Google Patents

图像捕捉设备和方法、记录设备和方法及再现设备和方法 Download PDF

Info

Publication number
CN101385334B
CN101385334B CN2007800058551A CN200780005855A CN101385334B CN 101385334 B CN101385334 B CN 101385334B CN 2007800058551 A CN2007800058551 A CN 2007800058551A CN 200780005855 A CN200780005855 A CN 200780005855A CN 101385334 B CN101385334 B CN 101385334B
Authority
CN
China
Prior art keywords
picture signal
handle
image
pixel
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800058551A
Other languages
English (en)
Other versions
CN101385334A (zh
Inventor
宫腰大辅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101385334A publication Critical patent/CN101385334A/zh
Application granted granted Critical
Publication of CN101385334B publication Critical patent/CN101385334B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

例如，本发明可应用于成像设备，其产生用于稀疏每一预定场或帧的图像信号，以便执行全视角读出，并产生用于在剩余场或帧中执行全像素部分读出的信号。

Description

图像捕捉设备和方法、记录设备和方法及再现设备和方法
技术领域
本发明涉及图像捕捉(image-capturing)设备和方法、记录设备和方法及再现设备和方法。
背景技术
传统上，已经在日本专利申请公开No.H09-83952中提出了使用具有大容量的存储器在记录介质上记录被延迟的经图像捕捉的画面的图像信号的方法。根据在日本专利申请公开No.H09-83952中公开的这种方法，能够从在用户指示图像捕捉的开始时的时间点起倒行(retroact)了设置的时间段的时间点处的图像开始记录，由此使得能够不错过图像捕捉的宝贵时机。
此外，已经在日本专利申请公开No.2005-295423中提出了通过减小图像信号的场频(field frequency)使用存储器记录慢动作图像的方法。换句话说，在日本专利申请公开No.2005-295423中公开的这种方法中，以高于正常视频信号的场频(50或60场/秒)速度的速度输出图像信号，并且以循环方式将这些图像信号连续地存储在存储器中。然后以正常视频信号的场频将由此存储在存储器中的这些图像信号读出，并将其记录在记录介质上。在下文中，将以高于正常视频信号的场频(field frequency)或帧频(frame frequency)获取任何图像捕捉画面的这种处理称为“高速图像捕捉”。
此外，结合来自图像捕捉装置的图像信号的输出，已经在日本专利申请公开Nos.S64-2480和H01-105674中提出了降低经图像捕捉的画面的分辨率，即减少经图像捕捉的画面的像素的数量(这涉及从图像捕捉装置输出的图像信号)，由此防止图像信号的数据速率增大的方法。在日本专利申请公开No.H10-51735中也已经提出了通过捕捉经图像捕捉的画面的一部分来防止数据速率增大的方法。
然而，当基于日本专利申请公开No.2005-295423的方法执行高速图像捕捉时，用于高速图像捕捉的时间段以多种方式受限，使得可能出现错过图像捕捉的宝贵时机的问题。
换句话说，在这种方法中，以高速将图像信号存储在存储器中，然后将其从存储器中读出并记录在记录介质上，使得可用于在一个图像捕捉时机时捕捉图像的时间段可能受到存储器的容量的限制。因此，在长时间地拍摄所期望的场景的情况下，对整个场景执行高速时间捕捉毕竟是很困难的。此外，在这种方法中，不可能在所有存储在存储器中的图像信号还没有从其中读出之后对下一场景执行图像捕捉。因此，在以短间隔重复所期望的场景的情况下，可能错过拍摄任意重复场景的一部分。
作为解决这样的问题的一种方法，以高场频或帧频获取图像信号并将其直接记录在海量记录介质上的方法是可想到的。
然而，如果以高场频或帧频产生图像信号，则在实践方面，在以正常视频信号的场频或帧频产生图像信号的情况下，多半难以产生表示来自图像捕捉装置的所有像素的图像信号。因此，在这种方法中，在高速图像捕捉的时候，如在日本专利申请公开Nos.S64-2480和H01-105674中公开的那样，必须降低从图像捕捉装置输出的图像上的经图像捕捉的画面的分辨率，或者如日本专利申请公开No.H10-51735中公开的那样，必须减小经图像捕捉的画面的视角。因此，不能获得具有所期望的分辨率的任意经图像捕捉的画面，由此引起画质劣化或者引起不能获得具有所期望的视角的经图像捕捉的画面。
发明内容
通过考虑上述要点做出本发明，并提出了图像捕捉设备和方法，其可以有效地避免画质劣化等，并在不错过任何图像捕捉的宝贵时机的情况下实现高速图像捕捉，并提出了记录设备和方法以及再现设备和方法，其可以记录并再现通过执行高速图像捕捉而获得的图像信号。
为了解决上述问题，根据本发明的图像捕捉设备被提供有：图像传感器，其产生经图像捕捉的画面的图像信号；以及控制单元，其控制图像传感器以设置的时间段为单元在全视角稀疏读处理(all-angle-of-view thinning-out readprocessing)与全像素部分读处理(all-pixel partially read processing)之间进行切换，其中在全视角稀疏读处理中对有效图像范围中的像素执行稀疏读取以产生图像信号，在全像素部分读处理中从部分区域读出该有效图像范围的部分区域的所有像素以产生图像信号。
此外，根据本发明的记录设备被提供有：图像压缩单元，对通过允许图像传感器以设置时间段为单元在全视角稀疏读处理与全像素部分读处理之间切换而产生的经图像捕捉的画面的图像信号执行压缩处理以便产生经编码的数据，其中在全视角稀疏读处理中对有效图像范围中的像素执行稀疏读取以产生图像信号，在全像素部分读处理中从部分区域读出有效图像范围的部分区域的所有像素以产生所述图像信号；以及记录单元，记录经编码的数据，其中图像压缩单元基于使用预测编码的编码系统对通过执行全视角稀疏读处理而获得的图像信号执行压缩处理，并基于不使用预测编码的编码系统对通过执行所述全像素部分读处理而获得的图像信号执行压缩处理。
另外，根据本发明的再现设备被提供有：再现单元，从记录介质读出经编码的数据，其中在图像传感器已经以设置时间段为单元在全视角稀疏读处理与全像素部分读处理之间切换之后，基于使用预测编码的编码系统来压缩处理通过执行全视角稀疏读处理而获得的图像信号，并将其作为经编码的数据记录在所述记录介质上，并且基于不使用预测编码的编码系统来压缩处理通过执行全像素部分读处理而获得的图像信号，并将其作为经编码的数据记录在所述记录介质上，其中在所述全视角稀疏读处理中，对有效图像范围中的像素执行稀疏读取以产生所述图像信号，在所述全像素部分读处理中，从部分区域读出所述有效图像范围的部分区域的所有像素以产生所述图像信号；图像解压缩单元，解压缩所读取的经编码的数据，以产生图像信号；以及图像合成单元，使用在图像解压缩单元中产生的图像信号来执行合成，其中图像合成单元组合通过执行全视角稀疏读处理而获得的图像信号与通过全像素部分读处理而获得的图像信号。
此外，还提供了根据本发明的图像捕捉方法、记录方法和与图像拾取设备对应的再现方法、记录设备和再现设备。
基于根据本发明的配置，如果以高于参考场频或帧频的场频或帧频产生并记录图像信号，则在参考场或帧时间段内的顶部场或帧中，通过全视角稀疏读处理产生图像信号，并且在参考场或帧时间段内的剩余场或帧中，通过全像素部分读处理产生图像信号。因此，与在所有场或帧内获得全视角的经图像捕捉的画面的情况相比，可以减小在参考场或帧时间段期间从图像传感器输出的信号量，以便可以直接将其记录在海量记录介质上。因此，可以避免在通过存储器将其记录的情况下的限制，由此允许在不错过图像捕捉的宝贵时机的情况下实现高速图像捕捉。还能够通过组合通过执行全视角稀疏读处理而获得的图像信号与通过执行全像素部分读处理而获得的图像信号来减小画质的劣化。这有效避免了画质的劣化等，由此允许在不错过图像捕捉的宝贵时机的情况下实现高速图像捕捉，并使得能够记录和再现通过执行高速图像捕捉而获得的图像信号。
附图说明
图1是示出图像捕捉设备的配置的框图；
图2是图解图像传感器的操作的图；
图3是示出照相机信号处理单元的配置的框图；
图4是示出照相机信号处理单元中的分辨率转换/图像合成部分的配置的一部分的框图；
图5是图解分辨率转换/图像合成部分中的水平和垂直增益的图；
图6是图解经图像捕捉的画面和边界的坐标关系的图；
图7是示出图像压缩/解压缩单元的配置的图；
图8是图解移动画面的编码数据的图；
图9是示出记录设备的配置的框图；
图10是示出再现设备的配置的框图；
图11是在以两倍于参考帧速(frame rate)的帧速执行高速图像捕捉的情况下的时间图；
图12是在以常规再现速率再现通过以两倍于参考帧速的帧速执行高速图像捕捉而获得的图像的情况下的时间图；
图13是在以一半再现速率慢动作再现通过以两倍于参考帧速的帧速执行高速图像捕捉而获得的图像的情况下的时间图；
图14是在以三倍于参考帧速的帧速执行高速图像捕捉的情况下的时间图；
图15是在以常规再现速率再现通过以三倍于参考帧速的帧速执行高速图像捕捉而获得的图像的情况下的时间图；
图16是在以四倍于参考帧速的帧速执行高速图像捕捉的情况下的时间图；
图17是在以常规再现速率再现通过以四倍于参考帧速的帧速执行高速图像捕捉而获得的图像的情况下的时间图；
图18是在以一半再现速率慢动作再现通过以四倍于参考帧速的帧速执行高速图像捕捉而获得的图像的情况下的时间图；
图19是在以四分之一再现速率慢动作再现通过以四倍于参考帧速的帧速执行高速图像捕捉而获得的图像的情况下的时间图；
图20是在以可变速率执行高速图像捕捉的情况下的时间图；
图21是在以可变速率再现通过以可变速率执行高速图像捕捉而获得的图像的情况下的时间图；
图22是图解用于运动矢量的决定准则的图；
图23是图解在全像素部分读取中的帧的示意图；以及
图24是用于示出对可变速率高速图像捕捉中帧速的设置处理的步骤的流程图。
具体实施方式
下面将参照附图描述本发明的实施例。图1是示出根据本发明的实施例的图像捕捉设备的配置的框图。设计图像捕捉设备10以便可根据用户的操作切换到作为在普通图像捕捉时间时的操作模式的标准图像捕捉模式或者作为处于高速图像捕捉的操作模式的高速图像捕捉模式。
当设置标准图像捕捉模式时，图像捕捉设备10以参考时间段的预定单元产生图像信号，对该图像信号执行照相机信号处理(camera signal processing)、图像压缩处理等，并将其记录在记录介质上。在这里，将参考时间段的单元称为场或帧时间段，其被用在电视系统中，并且例如，如果将参考时间段(period of reference time)单元设置为(1/60)秒，则产生隔行扫描系统的图像信号，其场时间段为(1/60)秒，或者产生非隔行系统的图像信号，其帧时间段为(1/60)秒。要注意，如果产生非隔行系统的图像信号，则将参考时间段单元称为参考帧时间段，并且将具有以参考时间段单元为周期(cycle)的帧速称为参考帧速。此外，如果产生隔行系统的图像信号，则将参考时间段单元称为参考场时间段，并且将具有以参考时间段单元为周期的场速称为参考场速。
当设置高速图像捕捉模式时，图像捕捉设备10以高于标准图像捕捉模式中的参考帧速(或参考场速)的速率通过参考帧速(或参考场速)的整数倍产生图像信号，对该图像信号执行照相机信号处理、图像压缩处理等，并将其记录在记录介质上。在这里，将帧速(场速)是参考帧速(或参考场速)的整数倍时的帧(场)时间段称为设置时间段的单元(a unit of a set period oftime)。
因此，如果帧速(场速)变得更高并且设置时间段的单元变得更短，则对于图像捕捉设备10来说难以产生表示来自用于图像捕捉单元11中的固态图像捕捉装置中图像捕捉表面的有效图像范围的所有像素的图像信号。因此，如果帧速(场速)高于标准图像捕捉模式的帧速(场速)，即，设置时间段的单元短于参考时间段单元，则图像捕捉设备10执行对有效图像范围中的像素执行像素稀疏(pixel thinning-out)或线稀疏(line thinning-out)处理以产生图像信号的处理(在下文中，称为“全视角稀疏读处理(all-angle-of-viewthinning out read processing)”)或者执行从其读出有效图像范围的部分区域的全像素以产生图像信号的处理(在下文中，称为“全像素部分读处理(anall-pixel partially read processing)”)，以降低信号量。然后图像捕捉设备10对通过全视角稀疏读处理或全像素部分读处理产生的图像信号执行照相机信号处理、图像压缩处理等，并将其记录在记录介质上。此外，当再现以高速图像捕捉模式记录的经图像捕捉的画面时，图像捕捉设备10将通过全视角稀疏读处理产生的图像信号与通过全像素部分读处理而产生的图像信号进行组合，由此使得能够获取具有画质的更小劣化的再现图像。关于图像捕捉设备10中产生非隔行系统的图像的理解，将进行以下描述。
通过使用图像传感器111、模拟前端(AFE)112和模数转换器(ADC)113来配置图像捕捉设备10的图像捕捉单元11，并且在控制单元61的控制之下控制图像捕捉单元11的操作，这将在下面描述。
通过使用互补金属氧化物半导体(CMOS)型固态图像捕捉装置等来配置图像捕捉单元11的图像传感器111。图像传感器111通过透镜单元(未示出)对在图像捕捉表面上形成的光学图像执行光电转换处理，并输出由原色(如红、绿和蓝)彩色信号组成的图像信号。要注意，图像传感器111被提供有执行相关双采样处理的相关双采样(CDS，correlated double sampling)电路，由此降低图像信号中的任何噪声。
当将图像捕捉设备10设置到标准图像捕捉模式时，在控制单元61的控制之下控制图像传感器111，并且图像传感器111执行处理以便读出固态图像捕捉装置中的图像捕捉表面的有效图像范围的所有像素(在下文中，称为“全像素和全视角读处理”)，以输出具有例如60帧/秒(fps)的参考帧速的图像信号。
图2图解从图像传感器111输出的图像信号中的像素位置，并且由斜线表示的像素表示未被包括在图像信号中的像素。在这里，如果设置了标准图像捕捉模式，则图像传感器111从如图2(A)所示的图像捕捉表面的有效图像范围AR读出所有像素，以输出图像信号。
此外，当将图像捕捉设备10设置到高速图像捕捉模式时，在控制单元61的控制之下控制图像传感器111，并且图像传感器111执行全视角稀疏读处理或全像素部分读处理，以便以高于参考帧速、以其整数倍为帧速输出图像信号。例如，如果在高速图像捕捉模式中帧速是60帧/秒(fps)，则输出具有120(fps)、180(fps)或240(fps)帧速的图像信号。图像传感器还基于帧速调整全视角稀疏读处理中的稀疏读取之间的间隔或全像素部分读处理中的区域大小，以便可以从图像捕捉单元11输出具有设置帧速(a set frame rate)的图像信号。
在这里，如果将帧速设置为两倍于标准图像捕捉模式中参考帧速的速率，则在全像素部分读处理中，例如如图2(B1)所示，从矩形区域读出作为图像捕捉表面中的有效图像范围AR的部分区域的、具有有效图像范围AR的一半面积的矩形区域中的所有像素。此外，在全视角稀疏读处理中，例如如图2(B2)所示，通过执行稀疏读取从有效图像范围AR读出总像素数的一半。图像传感器111通过相加以水平方式排列的相邻的相同颜色光传感器的输出信号并将它们输出来执行像素稀疏处理。图像传感器111还通过相加以垂直方式排列的相邻的相同颜色光传感器的输出信号并将它们输出来执行线稀疏处理。如果执行这样的全视角稀疏读处理和全像素部分读处理，则即使当将帧速设置为两倍于参考帧速的速率时，也可以使在参考帧时间段期间从图像传感器111输出的图像信号量等于标准图像捕捉模式的图像信号量。
如果将帧速设置为三倍于标准图像捕捉模式中参考帧速的速率，则在全像素部分读处理中，例如如图2(C1)所示，从矩形区域读出作为图像捕捉表面中的有效图像范围AR的部分区域的、具有有效图像范围AR的面积的三分之一的矩形区域中的所有像素。此外，在全视角稀疏读处理中，例如如图2(C2)所示，通过执行稀疏读从有效图像范围AR读出总像素数的三分之一。此外，当将帧速设置为四倍于标准图像捕捉模式中参考帧速的速率时，在全像素部分读处理中，例如如图2(D1)所示，从矩形区域读出具有有效图像范围AR的面积的四分之一的矩形区域中的所有像素。在全视角稀疏读处理中，例如如图2(D2)所示，还通过执行稀疏读取从有效图像范围AR读出总像素数的四分之一。如果执行这样的全像素部分读处理和全视角稀疏读处理，则即使当将帧速设置为三倍或四倍于参考帧速的速率时，也可以使图像信号量等于标准图像捕捉模式的图像信号量。
要注意，如果全视角稀疏读处理中的稀疏样式关于每一帧改变，则图像传感器111可以防止每次对同一像素位置处的像素进行稀疏。
如果将图像捕捉设备10设置到高速图像捕捉模式，则在通过划分在标准图像捕捉模式中的参考帧时间段期间的输出信号来观看的情况下，也在控制单元61的控制之下控制图像传感器111，并且图像传感器111输出通过在参考帧时间段之内的顶部帧(top frame)处执行全视角稀疏读处理而获得的图像信号。图像传感器111进一步输出通过在参考帧时间段中不具有顶部帧的帧时间段处执行全像素部分读处理而获得的图像信号。
模拟前端(AFE)112对从图像传感器111输出的图像信号执行自动增益控制(AGC)处理，并控制图像信号的增益。模数转换器(ADC)113将在AFE 112中处理的模拟图像信号转换为数字图像信号DV1。
在控制单元61的控制之下控制照相机信号处理单元112，并且当使用在图像捕捉单元11中产生的图像信号执行监视器显示时，照相机信号处理单元112对从图像捕捉单元11输出的图像信号DV1执行照相机信号处理以将其作为监视器显示信号DV2输出到显示处理单元21。在将监视图像信号DV2供应至显示处理单元21的同时，照相机信号处理单元12还在执行指示记录图像信号的用户操作时将经照相机信号处理的图像信号DV3输出到图像压缩/解压缩单元31。当执行所记录的经图像捕捉的画面的任何再现操作以将其作为再现图像信号DV5输出到显示处理单元21时，照相机信号处理单元12进一步对从图像压缩/解压缩单元31供应的图像信号DV4执行照相机信号处理。该照相机信号处理单元12执行白平衡处理、颜色补偿处理、自动对焦(AF)处理、自动曝光(AE)处理等作为照相机信号处理。另外，照相机信号处理单元12执行这样的处理，使得将通过全视角稀疏读处理而产生的图像信号与通过全像素部分读处理而产生的图像信号进行组合，以便将其作为再现图像信号DV5输出。
图3是示出照相机信号处理单元12的配置的框图。照相机信号处理单元12的电平调整部分121对于每一红、绿或蓝颜色信号调整从图像捕捉单元11提供的图像信号DV1的信号电平。电平调整部分121通过该信号电平调整来设置箝位、偏置、差分增益等以实行诸如阴影校正(shading correction)、闪烁消除(flicker cancellation)之类的处理。
像素补偿部分122对在电平调整部分121中处理的图像信号执行诸如附加彩色混合补偿(additive color mixing compensation)和像素缺陷补偿(pixeldefect compensation)之类的像素值补偿处理。
增益控制部分123对于在像素补偿部分122中处理的图像信号校正由于图像传感器111中的帧速的改变而产生的信号电平中的波动。即，如果增大帧速，则图像传感器111中的电荷存储时间段变短，使得降低信号电平。因此，增益控制部分123校正信号电平，使得如果改变帧速，则改变之前和之后的信号电平可以彼此相同。
像素内插部分124仅对通过全视角稀疏读处理而产生的图像信号执行像素内插，并将已经内插了经稀疏的像素的图像信号供应至选择器125。在像素内插中，例如，通过利用例如相邻像素之间的相关性的过滤过程来产生用于经稀疏的像素的数据。由于通过全像素部分读处理而产生的图像信号不被稀疏，因此将其供应至选择器125而不执行任何像素内插。因此，如果仅对通过全视角稀疏读处理而产生的图像信号执行像素内插，则对在参考帧时间段内的顶部帧执行全视角稀疏读处理，使得通过参考帧时间段内的顶部帧的图像信号显示的图像具有与标准图像捕捉模式中的图像捕捉的分辨率相等的分辨率，而不是变为具有下降画质的图像。
当使用在图像捕捉单元11中产生的图像信号执行监视器显示时，选择器125将已经从像素内插部分124供应的图像信号供应至颜色补偿部分126和轮廓补偿部分127。当在记录介质42上记录经图像捕捉的画面时，选择器125还将已经从像素内插部分124供应的图像信号输出到如图1所示的图像压缩/解压缩单元31。当执行已经被记录的经图像捕捉的画面的任何再现操作时，选择器125进一步将已经从图像压缩/解压缩单元31供应的图像信号DV4供应至颜色补偿部分126和轮廓补偿部分127。
颜色补偿部分126将任何低频分量从通过选择器125供应的图像信号中分离，并对低频分量执行诸如线性矩阵处理之类的颜色补偿。
轮廓补偿部分127将任何高频分量从通过选择器125供应的图像信号中分离，并从高频分量中产生轮廓补偿数据。
伽玛/拐点(gamma/knee)处理部分128将在轮廓补偿部分127中产生的轮廓补偿数据与在颜色补偿部分126中处理的图像信号进行组合，并对组合的图像信号执行伽玛补偿、拐点处理等。
颜色空间转换部分129将在伽玛/拐点处理部分128中处理的图像信号转换为关于亮度信号和色差信号的图像信号。
如果当使用在图像捕捉单元11中产生的图像信号来执行监视器显示时选择了标准图像捕捉模式，则分辨率转换/图像合成部分130将在颜色空间转换部分129中产生的关于亮度信号和色差信号的图像信号作为监视器图像信号DV2输出到显示处理单元21或任何外部设备(未示出)。
此外，如果当执行监视器显示时选择了高速图像捕捉模式，则分辨率转换/图像合成部分130将通过执行全视角稀疏读处理而产生的图像信号写到帧存储器51中，在参考帧时间段内读出由此写入帧存储器51中的图像信号，并将其作为监视器图像信号DV2输出到显示处理单元21等。如果再现以高速图像捕捉模式记录的经图像捕捉的画面，则分辨率转换/图像合成部分130进一步存储通过执行全像素部分读处理而产生的图像信号和通过执行全视角稀疏读处理而产生的图像信号中的至少一个，将在帧存储器51中存储的图像信号与另一图像信号进行组合，并将组合的图像信号作为再现图像信号DV5输出到显示处理单元21或任何外部设备(未示出)。
要注意，分辨率转换/图像合成部分130将要输出到显示处理单元21的监视器图像信号DV2和再现图像信号DV5的每一个的分辨率转换为适于在显示单元22中显示的分辨率并输出。此外，通过使用例如同步动态随机存取存储器(SDRAM)等来配置帧存储器51。
图4是示出在分辨率转换/图像合成部分130中执行图像合成的图像合成部分130A的配置的框图。图像合成部分130A将通过全像素部分读处理的图像信号DVa供应至乘法电路131，并且将通过全视角稀疏读处理的图像信号DVb供应至乘法电路132。乘法电路131将图像信号DVa乘以增益G以便将乘法结果G*DVa供应至加法器133。乘法电路132将图像信号DVb乘以增益(1-G)以将乘法结果(1-G)*DVb供应至加法器133。加法器133将两个乘法结果G*DVa、(1-G)*DVb相加，以将相加结果作为再现图像信号DV5输出。
此外，增益G是如图5(A)所示的水平方向坐标上的增益x-增益与如图5(B)所示的垂直方向坐标上的增益y-增益之间的相乘值。在这里，假设通过全像素部分读的经图像捕捉的画面中的水平边界是坐标x1、x2，并且其中的垂直边界是坐标y1、y2。要注意，图6图解经图像捕捉的画面与边界坐标的关系；图6(A)图解通过全像素部分读取的经图像捕捉的画面与边界坐标的关系；以及图6(B)图解通过全视角稀疏读取的经图像捕捉的画面与边界坐标的关系。
如图5(A)和5(B)所示，将边界范围dx设置成从指示通过全像素部分读取的经图像捕捉的画面的边界的坐标x1、x2开始、通过全像素部分读的经图像捕捉的画面的向内的方向，并且将边界范围dy设置成从坐标y1、y2开始、通过全像素部分读取的经图像捕捉的画面的向内的方向。此外，设置增益G，以便在坐标x1、x2、y1、y2处的增益变为0，并且当位置从坐标x1、x2移动到边界范围dx和位置从坐标y1、y2移动到边界范围dy时，增益从“0”逐渐增大到“1”。因此，图像合成部分130A通过使用全像素部分读取中的经图像捕捉的画面来代替通过其中执行像素内插的全视角稀疏读处理的经图像捕捉的画面，可以防止任何的画质劣化。图像合成部分130A还可以使通过全像素部分读处理的经图像捕捉的画面与通过其中执行像素内插的全视角稀疏读处理的经图像捕捉的画面之间的边界不明显。
将显示单元22连接到显示处理单元21。通过使用例如液晶显示器(LCD)等来配置显示单元22。显示处理单元21基于从照相机信号处理单元12供应的监视器图像信号DV2和再现图像信号DV5产生显示驱动信号，并且通过该显示驱动信号来驱动显示单元22，由此在显示单元22的屏幕上显示监视器图像或再现图像。
图像压缩/解压缩单元31当在记录介质42上记录经图像捕捉的画面时对从照相机信号处理单元12供应的图像信号DV3执行数据压缩，并且将所获得的经编码的数据DW供应至记录/再现处理单元41。图像压缩/解压缩单元31还对从记录/再现处理单元41供应的经编码的数据DR执行解码处理，并将所获得的图像信号DV4供应至照相机信号处理单元12。
当对通过全像素和全视角读处理的图像信号和通过其中执行像素内插的全视角稀疏读处理的图像信号执行数据压缩时，图像压缩/解压缩单元31基于使用预测编码的编码系统(例如诸如运动图像专家组(MPEG)之类的运动画面的编码系统)执行压缩处理以产生运动画面的经编码的数据流。另一方面，当对通过全像素部分读处理的图像信号执行数据压缩时，图像压缩/解压缩单元31基于不使用任何预测编码的编码系统(例如诸如联合画面专家组(JPEG)之类的静止画面的编码系统)执行压缩处理以对于每一帧产生静止画面的经编码的数据。
图像压缩/解压缩单元31还在由运动画面的解码系统解码处理的帧之间连续地对于每一个宏块检测运动矢量MV，并将其通知给控制单元61。要注意，如果使用MPEG执行编码处理，则图像压缩/解压缩单元31通过利用在该编码处理的时候检测到的运动矢量MV仅从内编码的帧中单独检测运动矢量MV。
图7是示出图像压缩/解压缩单元31的配置的图。将从照相机信号处理单元12供应的图像信号DV3供应至图像压缩/解压缩单元31中的MV检测器311和预测减法器315。MV检测器311在连续帧之间连续地检测运动矢量MV，其中使用从照相机信号处理单元12供应的图像信号DV3从连续帧产生运动画面的代码数据。MV检测器311将这些所检测到的运动矢量MV通知给运动补偿器312、MV编码器319和控制单元61。
当编码移动画面时，运动补偿器312使用在MV检测器311中检测到的运动矢量MV对在图像存储器313上存储的图像信号执行运动补偿，以产生用于编码的预测值。当解码移动画面时，运动补偿器312还使用由MV解码器314解码的运动矢量MV以类似的方式产生用于解码的预测值。
当编码移动画面时，预测减法器315从自照相机信号处理单元12供应的图像信号DV3中减去在运动补偿器312中产生的用于编码的预测值，并将预测误差值(减法结果)供应至DCT 316。当编码静止画面时，预测减法器315还将从照相机信号处理单元12供应的图像信号DV3供应至DCT 316而不进行任何处理。
DCT 316对来自预测减法器315的输出数据执行二维离散余弦变换，并将系数数据(该处理结果)供应至量化器317。量化器317对从DCT 316供应的系数数据执行量化处理，并且将所获得的量化数据供应至可变长度编码器318和反向量化器321。
可变长度编码器318对从量化器317供应的量化数据执行可变长度编码处理。MV编码器319对在MV检测器311中获得的运动矢量MV执行编码处理。多路复用器320对通过在可变长度编码器318中执行可变长度编码处理而获得的数据以及通过在MV编码器319中执行编码处理而获得的数据执行相乘处理，以将其作为经编码的数据DW供应至记录/再现处理单元41。
当编码时，反向量化器321对从量化器317供应的量化数据执行反向量化处理，并将所获得系数数据供应至反向DCT 323。当解码时，其对在可变长度解码器322中获得的数据执行反向量化处理并将所获得的系数数据供应至反向DCT 323。
与DCT 316相反，反向DCT 323对从反向量化器321供应的系数数据执行反向二维离散余弦变换，并将所获得的图像信号供应至加法器324。
加法器324将从运动补偿器312供应的、用于编码或解码的预测值与从反向DCT 323供应的图像信号相加，并且将加法结果作为图像信号DV4供应至照相机信号处理单元12和图像存储器313。
因此，在该图像压缩/解压缩单元31中，从目前为止由反向量化器321、反向DCT 323、加法器324、图像存储器313和运动补偿器312由此编码处理的图像信号产生预测值，并且在DCT 316、量化器317和可变长度编码器318中连续地处理来自该预测值的预测误差值，以便将通过全像素和全视角读取的图像信号和通过全视角稀疏读取的图像信号编码处理为运动画面的经编码的数据。可替换地，直接将通过全像素部分读取的图像信号输入到DCT316，并且在DCT 316、量化器317和可变长度编码器318中对其处理，以便将其编码处理为静止画面的经编码的数据。
当解码时，多路分离器326将从记录/再现处理单元41供应的经编码的数据DR分离为系数数据部分和运动矢量MV部分，并将系数数据部分供应至可变长度解码器322，而将运动矢量MV部分供应至MV解码器314。MV解码器314对从多路分离器326供应的数据执行解码处理，并将所获得的运动矢量供应至运动补偿器312。可变长度解码器322对从多路分离器326供应的数据执行解码，并且将所获得的系数数据供应至反向量化器321。
如图1所示的记录/再现处理单元41在控制单元61的控制之下切换其操作，并且执行用于将从图像压缩/解压缩单元31供应的经编码的数据DW记录在记录介质42上的处理或者用于将所期望的经编码的数据DR从记录介质42读出并将其供应至图像压缩/解压缩单元31的处理。记录介质42是诸如硬盘装置、光盘装置和存储卡之类的各种海量记录介质。
当在记录介质42上记录经编码的数据DW时，记录/再现处理单元41将其记录在记录介质42上，以便基于运动画面的编码系统而对其执行了数据压缩处理的经编码的数据可以被单独地读出或者与对应于运动画面的静止画面的经编码的数据一起沿时间序列被连续地读出。例如，当记录/再现处理单元41使用MPEG格式作为运动画面的编码系统时，配置为经编码的数据具有等级结构。要注意，图8图解了运动画面的经编码的数据，并且示出了等级结构的部分。
图8(A)所示的序列层(sequence layer)由被添加了序列头和序列尾的一个或多个GOP组成。图8(B)所示的GOP层由被添加了GOP头的一个或多个画面组成。图8(C)所示的画面层由被添加了画面头的一个或多个片(slice)组成。
画面层的画面头表示画面层的开始同步编码、表示画面的显示顺序的数字、表示画面类型的信息、编码情况等。此外，如图8(D)所示，配置为提供用户数据区域，以便可以将用户数据区域设置到画面级。因此，记录/再现处理单元41将处于高速图像捕捉模式的帧速和表示相应的静止画面的记录位置的指针信息插入到如图8(E)所示的用户数据区域，以将其记录在记录介质42上。例如，如果处于高速图像捕捉模式的帧速是参考帧速的两倍，则记录/再现处理单元41将经编码的数据的记录位置作为指针信息插入到表示通过全视角稀疏读处理的图像信号的经编码的数据的画面的画面头中，其中在该经编码的数据中，在参考帧时间段内除了顶部帧之外的参考帧时间段期间产生的通过全像素部分读处理的图像信号被编码为静止画面的图像信号。
因此，通过将表示相应的静止画面的记录位置的信息插入到运动画面的经编码的数据中，记录/再现处理单元41可以单独地读取运动画面的经编码的数据或者与运动画面的经编码数据一起沿时间序列连续地读取与运动画面对应的静止画面的经编码数据。
控制单元61控制整体图像捕捉设备10的操作，并且控制单元61是由中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)等组成的微控制器。控制单元61执行在存储器(未示出)上记录的程序，并控制该图像捕捉设备10中的各部分的操作。将程序预先安装在该图像捕捉设备10中，不过也可以将其记录在诸如光盘、磁盘、存储卡之类的记录介质上而非预先安装，以便提供或者通过经由因特网等的网络进行下载来提供程序。要注意，控制单元61可以使用软件执行图像压缩/解压缩单元31中的处理。
控制单元61控制照相机信号处理单元12和显示处理单元21以连续地对在图像捕捉单元11中产生的图像信号执行处理，以便在显示单元22的屏幕上显示监视器图像。此外，当用户指示在这种情况下记录图像信号时，控制单元61控制照相机信号处理单元12以将图像信号DV3供应至图像压缩/解压缩单元31在那里执行数据压缩，由此将所获得的经编码的数据DW记录在记录介质42上。此外，当用户指示记录介质42的再现时，控制单元61控制记录/再现处理单元41以从记录介质42中读取所期望的经编码的数据DR并将其供应至图像压缩/解压缩单元31。控制单元61还控制照相机信号处理单元12和显示处理单元21以对通过在图像压缩/解压缩单元31中执行数据解压缩处理而获得的图像信号DV4执行处理，并且在显示单元22的屏幕上显示所再现的图像。
此外，控制单元61在图像压缩/解压缩单元31中对于每一帧集合(aggregate)对于每一个宏块检测到的运动矢量MV，并且基于集合的结果寻找被确定为表示对象(subject)的运动的运动矢量，由此通过该运动矢量改变根据全像素部分读取要从图像传感器111读出的矩形区域的位置。具体来说，控制单元61改变位置使得矩形区域可以包含运动对象。要注意，一般可以将诸如检测运动矢量的频率分布和检测具有最大频率分布的运动矢量的方法以及通过应用跟随对象的方法来检测呈现任何连续运动的对象中的部分的运动矢量的方法之类的各种集合方法应用于该运动矢量的集合方法。
顺便提及，尽管在上述实施例中使用图像捕捉单元11、照相机信号处理单元12、图像压缩/解压缩单元31、记录/再现处理单元41等来整体地配置图像捕捉设备10，但是可以分离地提供图像捕捉单元11以及显示处理单元21和显示单元22以组成图像信号的记录设备及其再现设备。此外，可以分离地提供照相机信号处理单元12以组成用于记录图像信号的记录设备。
图9是示出记录设备70的配置的框图。要注意，在图9中，将相同的标号应用于图1和3中所示的相应构件。
记录设备70具有：图像压缩/解压缩单元31，用于对图像信号执行压缩处理以产生经编码的数据；记录/再现处理单元41，用于在记录介质42上记录经编码的数据DW；和控制单元61，用于控制各部分的操作。
在该记录设备70中，图像压缩/解压缩单元31对通过允许图像传感器111以设置时间段为单位在全视角稀疏读处理与全像素部分读处理之间进行切换而产生的经图像捕捉的画面的图像信号执行压缩处理以便产生经编码的数据DW，其中在全视角稀疏读处理中对有效图像范围中的任意像素执行稀疏读取以产生图像信号，在全像素部分读处理中从部分区域读出有效图像范围的部分区域的全部像素以产生图像信号。在这里，图像压缩/解压缩单元31基于使用预测编码的编码系统对通过执行全视角稀疏读处理而获得的图像信号执行压缩处理，并基于不使用预测编码的编码系统对通过执行全像素部分读处理而获得的图像信号执行压缩处理。
此外，如果基于使用预测编码的编码系统对不同稀疏样式的图像信号执行压缩处理，则图像压缩/解压缩单元31不能有效地执行压缩处理。因此，如果记录从图像捕捉单元11输出的图像信号DV1，则记录设备70被提供有像素内插部分124，经稀疏的像素通过像素内插部分124进行内插然后被供应至图像压缩/解压缩单元31，由此使压缩处理能够有效地执行。
记录/再现处理单元41执行将在图像压缩/解压缩单元31中产生的经编码的数据DW写入到记录介质42中的处理。
要注意，尽管图9所示的记录设备70示出了如图1所示的在记录已经执行任何颜色补偿、轮廓补偿、伽玛/拐点处理等之前的图像信号的情况下的配置，但是也可以配置记录设备70以便记录在执行了颜色补偿、轮廓补偿、伽玛/拐点处理等之后的图像信号。此外，其可以被提供有传送单元，将在图像压缩/解压缩单元31中产生的经编码的数据DW作为通信信号从传送单元传送。
图10是示出再现设备80的配置的框图。要注意，在图10中，将相同的标号应用于图1和3所示的相应构件。
再现设备80具有：记录/再现处理单元41，用于从记录介质42读出经编码的数据DR；图像压缩/解压缩单元31，用于对所读出的经编码的数据执行解压缩；数据处理单元15，用于对通过在图像压缩/解压缩单元31中执行解压缩处理而获得的图像信号执行处理以产生再现图像信号DV5；帧存储器；以及控制单元61，用于控制各部分的操作。此外，数据处理单元15由颜色补偿部分126、轮廓补偿部分127、伽玛/拐点处理部分128、颜色空间转换部分129和分辨率转换/图像合成部分130组成。
在该再现设备80中，记录/再现处理单元41执行经编码的数据从记录介质42的读取处理，该记录介质42即这样的记录介质：在图像传感器111已经以设置时间段为单位在全视角稀疏读处理与全像素部分读处理之间切换之后，基于使用预测编码的编码系统对通过执行全视角稀疏读处理而获得的图像信号进行压缩处理并且将其作为经编码的数据记录在该记录介质上，并且基于不使用预测编码的编码系统对通过全像素部分读处理而获得的图像信号进行压缩处理并且将其作为经编码的数据记录在该记录介质上，其中在全视角稀疏读处理中对有效图像范围中的任意像素执行稀疏读取以产生图像信号，而在全像素部分读处理中从部分区域读出有效图像范围的部分区域的全部像素以产生图像信号。
图像压缩/解压缩单元31解压缩由记录/再现处理单元41读取的经编码的数据以产生图像信号。
数据处理单元15中的分辨率转换/图像合成部分130使用在图像压缩/解压缩单元31中产生的图像信号，将被执行了用于全视角稀疏读处理的像素内插的图像信号与通过执行全像素部分读处理而获得的图像信号进行组合。此外，记录/再现处理单元41从记录介质42中读出基于使用预测编码的编码系统压缩处理的经编码的数据，而不读出基于不使用预测编码的编码系统压缩处理的经编码的数据，并且图像压缩/解压缩单元解压缩经编码的数据，并且将其作为用于参考时间段的每一单元的图像信号而输出。
要注意，尽管图10所示的再现设备80示出了使用将执行任何颜色补偿、轮廓补偿、伽玛/拐点处理等之前的图像信号记录在其上的记录介质的情况下的配置，但是可以将其配置为使用将执行了颜色补偿、轮廓补偿、伽玛/拐点处理等之后的图像信号记录在其上的记录介质。在这种情况下，将通过图像压缩/解压缩单元31中的解压缩处理而获得的图像信号供应至分辨率转换/图像合成部分130。此外，其还可以被提供有接收单元，通过该接收单元接收经编码的数据，并且图像压缩/解压缩单元31可以对该经编码的数据执行任何解压缩。
下面将描述图像信号的产生操作和图像信号的记录/再现操作。如果用户将操作模式设置为标准图像捕捉模式，则控制单元61控制图像捕捉单元11的操作，以便可以从图像传感器111的图像捕捉表面中的有效图像范围AR以例如60(fps)给出所有像素和所有视角的经图像捕捉的画面。控制单元61还控制照相机信号处理单元12和显示处理单元21的操作，以便可以以例如60(fps)在显示单元22上显示经图像捕捉的画面。此外，如果在记录介质上记录通过执行标准图像捕捉模式下的图像捕捉操作而获得的图像信号，则控制单元61控制照相机信号处理单元12以将图像信号DV3从其处供应至图像压缩/解压缩单元31和并供应至记录/再现处理单元41，以将通过执行数据压缩处理而获得的经编码的数据DW记录在记录介质42上。此外，如果实行用于再现所记录的图像信号的用户操作，则控制单元61控制记录/再现处理单元41从记录介质42读出表示所期望的经图像捕捉的画面的经编码的数据DR，并将其供应至图像压缩/解压缩单元31。控制单元61还控制图像压缩/解压缩单元31将通过对经编码的数据DR执行数据解压缩处理而获得的图像信号DV4供应至照相机信号处理单元12，由此在显示单元22上显示所再现的图像或者将其传送到任意外部设备。
下面将描述当用户将操作模式从标准图像捕捉模式切换到高速图像捕捉模式时的操作。图11示出当高速图像捕捉模式的帧速是标准图像捕捉模式的帧速的两倍时的操作。
图11(A)示出作为参考帧时间段内的定时信号的参考垂直同步信号VDB。此外，图11(B)示出图像捕捉设备10的操作模式。当用户将操作模式从标准图像捕捉模式切换到高速图像捕捉模式时，控制单元61在与参考垂直同步信号VDB同步的时刻处将图像捕捉单元11、照相机信号处理单元12、图像压缩/解压缩单元31、记录/再现处理单元41等的操作从其标准图像捕捉模式切换到其高速图像捕捉模式。要注意，图11(C)示出在高速图像捕捉模式中作为帧时间段内的时序信号的垂直同步信号VD。
当设置高速图像捕捉模式时，如上所述，图像捕捉单元11输出通过在参考帧时间段内的顶部帧处执行全视角稀疏读处理而获得的图像信号，并且输出通过在不包括顶部帧的帧时间段处执行全像素部分读处理而获得的图像信号。
因此，从图像捕捉单元11输出的图像信号DV1由通过在参考帧时间段内的顶部帧处执行全视角稀疏读处理而获得的图像信号(由斜线表示)以及通过在帧时间段(不包括顶部帧的参考帧时间段)处执行全像素部分读处理而获得的图像信号(由粗实线框表示)组成，如图11(D)所示。
在这里，当执行监视器显示时，如上所述，在参考帧时间段期间，照相机信号处理单元12的分辨率转换/图像合成部分130将通过全视角稀疏读处理的图像信号写入帧存储器51中，并且读取被写入帧存储器51中的图像信号。图11(E)示出了被写入帧存储器51中的图像信号DVfw，图11(F)示出了从帧存储器51读出的图像信号DVfr。因此，分辨率转换/图像合成部分130将在参考帧时间段期间已经从帧存储器51读出的、通过全视角稀疏读处理的图像信号输出到显示处理单元21等作为图11(G)所示的监视器图像信号DV2，由此使能够以与标准图像捕捉模式的帧速一致的帧速显示经图像捕捉的画面。
此外，当用户执行记录的指令时，控制单元61控制图11(D)所示的图像信号DV1的像素内插、编码处理等，以将经编码的数据记录在记录介质42上。
下面将参照图12描述在记录介质42上记录的经图像捕捉的画面的再现操作。图12(A)示出被编码并被记录在记录介质42上的经图像捕捉的画面的帧PW。当以参考帧速再现所记录的经图像捕捉的画面并且高速图像捕捉模式的帧速是参考帧速的两倍时，输出图像信号DV5变为关于慢再现图像的图像信号，其中在该慢再现图像中，对象的运动是一半速度。因此，控制单元61通过间歇使用记录的画面来控制再现图像信号DV5的产生，其中在该再现图像信号DV5中，对象的运动是相同的速度。
要注意，图12(B)示出作为参考帧时间段内的定时信号的参考垂直同步信号VDB，图12(C)示出当记录经图像捕捉的画面时图像捕捉设备10的操作模式，并且图12(D)示出垂直同步信号VD。
当以高速图像捕捉模式执行图像捕捉操作时，参考帧时间段内的顶部帧包含通过全视角稀疏读处理的图像信号。因此，控制单元61控制从记录介质42读出经编码的数据，即运动画面的经编码的数据，并对其执行解码处理以产生与垂直同步信号VD同步的图像信号DV4，其中在该编码的数据中，对通过全视角稀疏读处理的图像信号进行编码。此时，从照相机信号处理单元12输出的再现图像信号DV5变为其中对象的运动是相同速度的图像信号，如图12(E)所示。
此外，当图像压缩/解压缩单元31可以以与编码处理的速度类似的速度对经编码的数据执行解码数据，并且帧存储器51可以存储多个帧的图像信号时，控制单元61可以控制组合通过全视角稀疏读处理的图像信号与通过全像素部分读处理的图像信号，以产生其中对象的运动是相同速度的再现图像信号DV5。
在这种情况下，控制单元61控制控制从记录介质42读出经编码的数据，并对其执行解码处理以产生如图12(F)所示的以在图像捕捉时间的帧顺序图像信号DV4。
在这里，在照相机信号处理单元12中的分辨率转换/图像合成部分130中，将通过全视角稀疏读处理的图像信号和通过全像素部分读处理的图像信号写入帧存储器51，并且在参考帧时间段内读取被写入到帧存储器51的图像信号以将其进行组合。此外，将其配置为将通过全视角稀疏读处理的图像信号和通过全像素部分读处理的图像信号写入到帧存储器51，其中这些图像信号在参考时间段期间读取所写入的图像信号时被读取并被组合。图12(G)示出被写入帧存储器51中的图像信号DVfw，而图12(H)示出从帧存储器51读出的图像信号DVfr。此外，图12(I)示出从分辨率转换/图像合成部分130输出的图像信号DV5。当到达在高速图像捕捉模式下记录的经图像捕捉的画面的再现时间段时，分辨率转换/图像合成部分130输出帧2+3的图像信号，其中在帧2+3的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号和作为通过全像素部分读处理的图像信号的帧3的图像信号。分辨率转换/图像合成部分130接着输出帧4+5的图像信号，其中在帧4+5的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧4的图像信号和作为通过全像素部分读处理的图像信号的帧5的图像信号，并且其连续地输出帧...+...的图像信号。即，分辨率转换/图像合成部分130可以输出这样的经图像捕捉的画面的图像信号：其中对象的运动是相同速度，并且由通过全像素部分读处理的图像信号改进画质中的劣化。
图13示出以图像捕捉时的帧顺序、通过使用所记录的经图像捕捉的画面产生再现图像信号DV5的情况，其中在该再现图像信号DV5中，对象的运动是一半速度。要注意，图13(A)到(D)对应于图12(A)到(D)。
在这种情况下，控制单元61控制从记录介质42连续地读取经编码的数据的项目，并对其执行解码处理以产生参考帧速的图像信号DV4。要注意，图13(E)示出图像信号DV4。
在照相机信号处理单元12的分辨率转换/图像合成部分130中，将通过全视角稀疏读处理的图像信号或者通过全像素部分读处理的图像信号写入帧存储器51中，并且在参考帧时间段期间读取被写入帧存储器51中的图像信号。图13(F)示出被写入帧存储器51中的图像信号DVfw，而图13(G)示出从帧存储器51读出的图像信号DVfr。
此外，分辨率转换/图像合成部分130将通过全视角稀疏读处理的、从帧存储器51读出的图像信号与通过全像素部分读处理的、被写入帧存储器51的图像信号进行组合，或者将通过全像素部分读处理的、从帧存储器51读出的图像信号与通过全视角稀疏读处理的、被写入帧存储器51的图像信号进行组合。图13(H)示出从分辨率转换/图像合成部分130输出的图像信号DV5。当到达在高速图像捕捉模式下记录的经图像捕捉的画面的再现时间段时，分辨率转换/图像合成部分130输出帧2+3的图像信号，其中在该帧2+3的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号与作为通过全像素部分读处理的图像信号的帧3的图像信号。分辨率转换/图像合成部分130接着输出帧3+4的图像信号，其中在该帧3+4的图像信号中，组合了作为通过全像素部分读处理的图像信号的帧3的图像信号与作为通过全视角稀疏读处理的图像信号的帧4的图像信号，并且连续地输出帧...+...的图像信号。即，分辨率转换/图像合成部分130可以输出这样的再现的画面的图像信号：其中对象的运动是一半速度，并且由通过全像素部分读处理的图像信号防止画质的劣化。此外，其还适于在帧存储器51上仅存储一帧的图像信号。
下面将描述当高速图像捕捉模式的帧速是标准图像捕捉模式的帧速的三倍时的操作。
图14(A)示出参考垂直同步信号VDB，图14(B)示出图像捕捉设备10的操作模式，而图14(C)示出作为高速图像捕捉模式中帧时间段内的定时信号的垂直同步信号VD。
当设置了高速图像捕捉模式时，如上所述，图像捕捉单元11输出通过在参考帧时间段内的顶部帧处执行全视角稀疏读处理而获得的图像信号，并输出通过在不包括顶部帧的一个两帧时间段处执行全像素部分读处理而获得的图像信号。
因此，如图14(D)所示，从图像捕捉单元11输出的图像信号DV1由通过在参考帧时间段内的顶部帧处执行全视角稀疏读处理而获得的图像信号(由斜线表示)和通过在除参考帧时间段中的顶部帧之外的两帧时间段处执行全像素部分读处理而获得的图像信号(由粗实线框表示)组成。
在这里，当执行监视器显示时，在照相机信号处理单元12的分辨率转换/图像合成部分130中，将通过全视角稀疏读处理的图像信号写入帧存储器51中，并且在参考帧时间段其间读取被写入帧存储器51中的图像信号，如上所述。图14(E)示出被写入帧存储器51中的图像信号DVfw，而图14(F)示出从帧存储器51读出的图像信号DVfr。因此，分辨率转换/图像合成部分130将在参考帧时间段期间已经从帧存储器51读出的、通过全视角稀疏读处理的图像信号输出到显示处理单元21等，作为如图14(G)所示的监视器图像信号DV2，由此使能够以与标准图像捕捉模式的帧速一致的帧速显示经图像捕捉的画面。
此外，当用户执行记录的指令时，控制单元61控制如图14(D)所示的图像信号DV1的像素内插、编码处理等，以将经编码的数据记录在记录介质42上。
下面将参照图15描述被记录在记录介质42上的经图像捕捉的画面的再现操作。图15(A)示出被编码并被记录在记录介质42上的经图像捕捉的画面的帧PW。当以参考帧速再现所记录的经图像捕捉的画面并且高速图像捕捉模式的帧速是参考帧速的三倍时，输出图像信号DV5变为关于慢再现图像的图像信号，其中在该慢再现图像的图像信号中，对象的运动是三分之一速度。因此，控制单元61通过间歇地使用所记录的画面，控制再现图像信号DV5的产生，其中在该再现图像信号DV5中，对象的运动是相同的速度。
要注意，图15(B)示出作为参考帧时间段内的定时信号的参考垂直同步信号VDB，图15(C)示出当记录经图像捕捉的画面时图像捕捉设备10的操作模式，而图15(D)示出垂直同步信号VD。
当在高速图像捕捉模式下执行图像捕捉操作时，参考帧时间段内的顶部帧变为表示通过全视角稀疏读处理的图像信号的帧。因此，控制单元61控制从记录介质42读出经编码的数据(其中对通过全视角稀疏读处理的图像信号进行了编码)，即运动画面的经编码的数据，并对其执行解码处理以产生与垂直同步信号VD同步的图像信号DV4。此时，从照相机信号处理单元12输出的再现图像信号DV5变为其中对象的运动是相同的速度的图像信号，如图15(E)所示。
此外，当图像压缩/解压缩单元31可以以与编码处理的速度类似的速度对经编码的数据执行解码处理，并且帧存储器51可以存储多个帧的图像信号时，控制单元61可以控制组合通过全视角稀疏读处理而获得的图像信号与通过全像素部分读处理的图像信号，以产生其中对象的运动是相同速度的再现图像信号DV5。
在这种情况下，控制单元61控制从记录介质42读出经编码的数据，并对其执行解码处理以产生如图15(F)所示的图像信号DV4。
在这里，在照相机信号处理单元12的分辨率转换/图像合成部分130中，将通过全视角稀疏读处理的图像信号与通过全像素部分读处理的像素写入帧存储器51中，并且在参考帧时间段期间读取被写入帧存储器51中的图像信号以将其组合。此外，可以将其配置为，将通过全视角稀疏读处理的图像信号与通过全像素部分读处理的图像信号(其在参考时间段期间读取所写入的图像信号时被读取并被组合)写入帧存储器51中。图15(G)示出被写入帧存储器51中的图像信号DVfw，而图15(H)示出从帧存储器51读出的图像信号DVfr。此外，图15(I)示出从分辨率转换/图像合成部分130输出的图像信号DV5。当到达高速图像捕捉模式下记录的经图像捕捉的画面的再现时间段时，分辨率转换/图像合成部分130输出帧2+3的图像信号，其中在该帧2+3的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号与作为通过全像素部分读处理的图像信号的帧3的图像信号。分辨率转换/图像合成部分130接着输出帧5+6的图像信号，其中在该帧5+6的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧5的图像信号与作为通过全像素部分读处理的图像信号的帧6的图像信号，并且其连续地输出帧...+...的图像信号。即，分辨率转换/图像合成部分130可以输出这样的经图像捕捉的画面的图像信号：其中对象的运动是相同速度并且由通过全像素部分读处理的图像信号改善画质的劣化。
此外，如果读取以三倍于标准图像捕捉模式的帧速的高速图像捕捉模式下的帧速记录的经图像捕捉的画面，以便以图像捕捉时的帧顺序产生图像信号DV4，并且组合并输出通过全视角稀疏读处理的图像信号与通过全像素部分读处理的图像信号，则控制单元61允许显示这样的再现的图像：其中对象的运动是三分之一速度并且由通过全像素部分读处理的图像信号防止画质中的劣化。此外，如果以一半再现速度执行慢动作再现，则能够通过选择地切换三分之一慢动作再现和相同速度再现等来处理这种情况。
下面将描述当高速图像捕捉模式的帧速是标准图像捕捉模式的帧速的四倍时的操作。
图16(A)示出参考垂直同步信号VDB，图16(B)示出图像捕捉设备的操作模式，而图16(C)示出作为高速图像捕捉模式中帧时间段内的定时信号的垂直同步信号VD。
当设置了高速图像捕捉模式时，如上所述，图像捕捉单元11输出通过在参考帧时间段内的顶部帧执行全视角稀疏读处理而获得图像信号，并输出通过在不包括顶部帧的一个两帧时间段处执行全像素部分读处理而获得的图像信号。
因此，从图像捕捉单元11输出的图像信号DV1由通过在参考帧时间段内的顶部帧处执行全视角稀疏读处理而获得的图像信号(由斜线表示)和通过在除参考帧时间段中的顶部帧之外的三帧时间段处执行全像素部分读处理而获得的图像信号(由粗实框表示)，如图16(D)所示。
在这里，当执行监视器显示时，在照相机信号处理单元12的分辨率转换/图像合成部分130中，将通过全视角稀疏读处理的图像信号写入帧存储器51中，并且在参考帧时间段期间读取被写入帧存储器51中的图像信号，如上所述。图16(E)示出被写入帧存储器51中的图像信号DVfw，并且图16(F)示出从帧存储器51读出的图像信号DVfr。因此，分辨率转换/图像合成部分130将在参考帧时间段其间已经从帧存储器51读出的、通过全视角稀疏读处理的图像信号输出到显示处理单元21等，作为如图16(G)所示的监视器图像信号DV2，由此使能够以与标准图像捕捉模式的帧速一致的帧速显示经图像捕捉的画面。
此外，当用户执行记录的指令时，控制单元61控制如图16(D)所示的图像信号DV1的像素内插、编码处理等，以将经编码的数据记录在记录介质42上。
下面将参照图17描述在记录介质42上记录的经图像捕捉的画面的再现操作。图17(A)示出被编码并被记录在记录介质42上的经图像捕捉的画面的帧PW。当以参考帧速再现所记录的经图像捕捉的画面，并且高速图像捕捉模式的帧速是参考帧速的四倍时，输出图像信号DV5变为其中对象的运动是四分之一速度的慢再现画面。因此，控制单元61通过间歇地使用所记录的画面来控制其中对象的对象是相同速度的再现图像信号DV5的产生。
要注意，图17(B)示出作为参考帧时间段内的定时信号的参考垂直同步信号VDB，图17(C)示出当记录经图像捕捉的画面时图像捕捉设备10的操作模式，而图17(D)示出垂直同步信号VD。
当以高速图像捕捉模式执行图像捕捉操作时，参考帧时间段内的顶部帧变为表示通过全视角稀疏读处理的图像信号的帧。因此，控制单元61控制从记录介质42中读出经编码的数据(其中对通过全视角稀疏读处理的图像信号进行了编码)，即运动画面的经编码的数据，并对其执行解码处理以产生与垂直同步信号VD同步的图像信号DV4。此时，从照相机信号处理单元12输出的再现图形信号DV5变为其中对象的运动是相同速度的再现的画面的图像信号，如图17(E)所示。
控制单元61还可以组合通过全视角稀疏读处理的图像信号与通过全像素部分读处理的图像信号，以产生其中对象的运动是相同速度的再现图像信号DV5，如帧速是参考帧速的两倍或三倍的情况那样。图17(F)示出通过从记录介质42读出经编码的数据并对其执行解码处理而产生的图像信号DV4。图17(G)还示出从分辨率转换/图像合成部分130输出的图像信号DV5。
在这里，当到达高速图像捕捉模式下记录的经图像捕捉的画面的再现时间段时，分辨率转换/图像合成部分130输出帧2+3的图像信号，其中在该帧2+3的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号与作为通过全像素部分读处理的图像信号的帧3的图像信号。分辨率转换/图像合成部分130接着输出帧6+7的图像信号，其中在该帧6+7的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧6的图像信号与作为全像素部分读处理的图像信号的帧7的图像信号，并且其连续地输出帧...+...的图像信号。即，分辨率转换/图像合成部分130可以输出这样的再现的画面的图像信号：其中对象的运动是相同速度并且由通过全像素部分读处理的图像信号防止画质的劣化。
图18示出产生其中对象的运动是一半速度的再现图像信号DV5的情况。要注意，图18(A)到(D)对应于图17(A)到(D)。
在这种情况下，在高速图像捕捉模式下记录的经图像捕捉的画面的再现时间段期间，控制单元61控制从记录介质42读取经编码的数据，并对其执行解码处理以关于每隔一帧产生图像信号DV4。要注意，图18(E)示出通过解码处理而获得的图像信号DV4。
在照相机信号处理单元12的分辨率转换/图像合成部分130中，将通过执行全视角稀疏读处理而获得的图像信号或者通过执行全像素部分读处理而获得的图像信号写入帧存储器51中，并且在参考帧时间段期间读取被写入帧存储器51中的图像信号。图18(F)示出被写入帧存储器51中的图像信号DVfw，而图18(G)示出从帧存储器51读出的图像信号DVfr。
此外，分辨率转换/图像合成部分130组合从帧存储器51读出的、通过全视角稀疏读处理而获得的图像信号与被写入帧存储器51中的、通过全像素部分读处理而获得的图像信号。此外，其组合从帧存储器51读出的、通过全像素部分读处理的图像信号与被写入帧存储器51中的、通过全视角稀疏读处理的图像信号。图18(H)示出从分辨率转换/图像合成部分130输出的图像信号DV5。当到达高速图像捕捉模式下记录的经图像捕捉的画面的再现时间段时，分辨率转换/图像合成部分130输出帧2+4的图像信号，其中在该帧2+4的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号与作为通过像素部分读处理的图像信号的帧4的图像信号。分辨率转换/图像合成部分130接着输出帧4+6的图像信号，其中在该帧4+6的图像信号中，组合了作为通过全像素部分读处理的图像信号的帧4的图像信号与作为通过全视角稀疏读处理的图像信号的帧6的图像信号，并且其连续地输出帧...+...的图像信号。即，分辨率转换/图像合成部分130可以输出这样的再现的画面的图像信号：其中对象的运动是一半速度并且由通过全像素部分读处理的图像信号防止画质的劣化。
图19示出以图像捕捉时的帧顺序，通过使用记录的经图像捕捉的画面，产生其中对象的运动是四分之一速度的再现图像信号DV5的情况。要注意，图19(A)到(D)对应于图17(A)到(D)。
在这种情况下，在以高速图像捕捉模式记录的经图像捕捉的画面的再现时间段期间，控制单元61控制从记录介质42读出经编码的数据，并对其执行解码处理以产生表示帧顺序的经图像捕捉的画面的图像信号DV4。要注意，图19(E)示出通过执行解码处理而获得的图像信号DV4。
在照相机信号处理单元12的分辨率转换/图像合成部分130中，将通过执行全视角稀疏读处理而获得的图像信号或者通过执行全像素部分读处理而获得的图像信号写入帧存储器51中，并且在参考帧时间段期间读取被写入帧存储器51中的图像信号。图19(F)示出被写入帧存储器51的图像信号DVfw，而图19(G)示出从帧存储器51读出的图像信号DVfr。
此外，分辨率转换/图像合成部分130组合从帧存储器51读出的图像信号与被写入帧存储器51的图像信号，或者组合从帧存储器51读出的、通过全视角稀疏读处理的图像信号与通过执行解码处理而获得的、通过全像素部分读处理的图像信号。图19(H)示出从分辨率转换/图像合成部分130输出的图像信号DV5。当到达以高速图像捕捉模式记录的经图像捕捉的画面的再现时间段时，分辨率转换/图像合成部分130输出帧2+3的图像信号，其中在该帧2+3的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号与作为通过全像素部分读处理的图像信号的帧3的图像信号进行组合。分辨率转换/图像合成部分130接着输出帧2+4的图像信号，其中在该帧2+4的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号与作为通过全像素部分读处理的图像信号的帧4的图像信号，输出帧2+5的图像信号，其中在该帧2+5的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号与作为通过全像素部分读处理的图像信号的帧5的图像信号，并输出帧5+6的图像信号，其中在该帧5+6的图像信号中，组合了作为通过全像素部分读处理的图像信号的帧5的图像信号与作为通过全视角稀疏读处理的图像信号的帧6的图像信号，并且其连续地输出帧...+...的图像信号。即，分辨率转换/图像合成部分130可以输出这样的再现的画面的图像信号：其中对象的运动是四分之一速度并且由通过全像素部分读处理的图像信号防止画质的劣化。
此外，如果减速再现速度以执行慢动作再现，则能够通过执行合成图像的重复处理来以慢动作显示再现的图像。此外，如果以三分之一再现速度执行慢动作再现，则能够通过选择性地切换以一半再现速度的慢动作处理和以四分之一再现速度的慢动作处理等来处理这种情况。
因此，当选择了标准图像捕捉模式时，图像捕捉设备10的图像捕捉单元11产生具有参考帧速的图像信号。图像捕捉设备10还执行用于在记录介质42上连续地记录具有该帧速的图像信号的处理以及用于以参考帧速在显示单元22上显示经图像捕捉的画面的处理。
此外，当选择了高速图像捕捉模式时，图像捕捉设备10的图像捕捉单元11产生通过在参考帧时间段内的顶部帧处的全视角稀疏读处理的图像信号以及通过在除了顶部帧之外的帧时间段中的全像素部分读处理的图像信号。因此，如果使用参考帧时间段内顶部帧的图像信号来执行图像显示，则不论高速图像捕捉模式中的帧速如何，都可以以参考帧速显示经图像捕捉的画面。
此外，参考帧时间段内的顶部帧包含通过全视角稀疏读处理的图像信号，因此图像捕捉设备10对通过全视角稀疏读处理的图像信号执行像素内插。因此，通过连续地使用参考帧时间段内仅顶部帧的图像信号(对其执行了像素内插)来显示经图像捕捉的画面，即使选择了高速图像捕捉模式，也可以在显示单元22上显示具有与标准图像捕捉模式相同的像素数的经图像捕捉的画面。
此外，分辨率转换/图像合成部分130组合通过执行全视角稀疏读处理而获得的图像信号与通过执行全像素部分读处理而获得的图像信号，并将其输出。因此，图像捕捉设备10可以使用通过执行全像素部分读处理而获得的经图像捕捉的画面来补偿通过执行全视角稀疏读处理而产生的画质的劣化。
此外，图像捕捉设备10和记录设备70将通过执行全视角稀疏读处理而获得的图像信号以及通过执行全像素部分读处理而获得的图像信号作为运动画面的经编码的数据以及静止画面的经编码的数据记录在记录介质42上。因此，图像捕捉设备10和再现设备80读取对其基于使用预测编码的编码系统执行了压缩处理的经编码的数据，而不读取对其基于不使用预测编码的编码系统执行了压缩处理的经编码的数据，并将其再现。即，如果仅读取运动画面的经编码的数据而不读取静止画面的经编码的数据并且对其执行任何的解码处理，则能够容易地获得具有与标准图像捕捉模式的帧速相同的帧速、其中对象的运动是相同速度的图像信号。此外，图像捕捉设备10和再现设备80再现运动画面的经编码的数据和与再现速度对应的静止画面的经编码的数据，并组合再现的图像信号，由此使得能够以所期望的再现速度输出具有画质的更小劣化的图像信号。换句话说，通过每次处理运动画面的经编码的数据以执行再现，能够输出其中对象的运动是相同速度的图像信号。此外，通过再现与再现速度对应的静止画面的经编码的数据并组合图像信号，能够容易地获得其中对象的运动慢于相同速度的慢动作图像。
此外，在图像捕捉设备10中，由于不需要像任意的传统图像捕捉设备那样执行将高速图像信号临时存储在存储器中然后再次将其记录在海量记录介质上的这种处理，所以用于高速图像捕捉的时间段不受存储器容量的限制，由此使得能够在不错过图像捕捉的任何宝贵时机的情况下实现高速的图像捕捉。
此外，在全视角稀疏读处理中，如果帧速变得更高(缩短设置时间段的单位)，则使稀疏读之间的间隔扩展。此外，在全像素部分读处理中，如果帧速变得更高，则使将从其读取像素的区域受限。因此，如果帧速变得更高，则减少要读取的像素，以便在参考帧时间段期间要读取的像素的数量可以保持固定。即，即使在高速图像捕捉模式中帧速更高，也能够防止信号量增大，并能够合适地实现高速图像捕捉。
此外，在全视角稀疏读处理中，如果在帧速高于标准图像捕捉模式的帧速的情况下，高速图像捕捉模式中的帧速变得更低(扩展设置时间段的单位)，则使稀疏读取之间的间隔缩短。此外，在全像素部分读处理中，如果帧速变得更低，则使将从其读取像素的区域扩展。因此，将其配置为，当高速图像捕捉模式中帧速低时，与高速图像捕捉模式中高帧速的情况相比，读取更大数量的像素，由此使要在参考帧时间段期间读取的像素的数量能够保持固定。
顺便提及，尽管在上述实施例中已经描述了高速图像捕捉模式中帧速固定的情况，但是高速图像捕捉模式中的帧速可以是变化的。要注意，如果帧速可变，则其不仅可以变化到120(fps)、180(fps)和240(fps)，还可以变化为作为标准图像捕捉模式中的帧速的60(fps)。图20示出在用户连续地指定帧速并且用户以60(fps)→120(fps)→180(fps)→240(fps)→180(fps)→120(fps)→60(fps)的顺序改变帧速的情况下的操作。要注意，图20(A)示出参考垂直同步信号VDB，图20(B)示出图像捕捉设备10的操作模式，而图20(C)示出垂直同步信号VD。
当设置了高速图像捕捉模式时，图像捕捉单元11输出通过在参考帧时间段内的顶部帧处执行全视角稀疏读处理而获得的图像信号，并输出通过在不包括顶部帧的参考帧时间段处执行全像素部分读处理而获得的图像信号。
因此，从图像捕捉单元11输出的图像信号DV1由通过在参考帧时间段内的顶部帧处执行全视角稀疏读处理而获得的图像信号(由斜线表示)和通过在参考时间段内不包括顶部帧的帧时间段处执行全像素部分读处理而获得的图像信号(由粗实框表示)组成，如图20(D)所示。
在这里，当执行监视器显示时，图像捕捉设备10和再现设备80将通过执行全视角稀疏读处理而获得的图像写入帧存储器51中，并在参考帧时间段期间读取被写入帧存储器51的图像信号，如上所述。图20(E)示出被写入帧存储器51中的图像信号DVfw，而图20(F)示出从帧存储器51读出的图像信号DVfr。因此，图像捕捉设备10和再现设备80将已经在参考帧时间段期间从帧存储器51读出的、通过全视角稀疏读处理的图像信号输出到显示处理单元21等，作为如图20(G)所示的监视器图像信号DV2，由此使能够以与标准图像捕捉模式的帧速一致的帧速显示经图像捕捉的画面。
此外，当用户执行记录的指令时，控制单元61控制图20(D)所示的图像信号DV1的像素内插、编码处理等，以将经编码的数据记录在记录介质42上。
下面将参照图21描述在记录介质42上记录的经图像捕捉的画面的再现操作。图21(A)示出被编码并被记录在记录介质42上的经图像捕捉的画面的帧PW。图21(B)示出参考垂直同步信号VDB，图21(C)示出当记录经图像捕捉的画面时图像捕捉设备10的操作模式，而图21(D)示出垂直同步信号VD。
在以高速图像捕捉模式记录的经图像捕捉的画面的再现时间段期间，控制单元61控制从记录介质42读出经编码的数据并对其进行解码处理，以产生在图像捕捉时的帧顺序的图像信号DV4。要注意，图21(E)示出通过执行解码处理而获得的图像信号DV4。
在照相机信号处理单元12的分辨率转换/图像合成部分130中，将通过执行全视角稀疏读处理而获得的图像信号或者通过执行全像素部分读处理而获得的图像信号写入帧存储器51中，并且在参考帧时间段期间读取被写入帧存储器51中的图像信号。图21(F)示出被写入帧存储器51中的图像信号DVfw，而图21(G)示出从帧存储器51读出的图像信号DVfr。
此外，分辨率转换/图像合成部分130组合从帧存储器51读出的图像信号与被写入帧存储器51的图像信号。可选择地，其组合从帧存储器51读出的、通过全视角稀疏读处理的图像信号与通过执行解码处理而获得的、通过全像素部分读处理的图像信号。图21(H)示出从分辨率转换/图像合成部分130输出的图像信号DV5。当到达以高速图像捕捉模式记录的经图像捕捉的画面的再现时间段时，分辨率转换/图像合成部分130输出帧2+3的图像信号，其中在该帧2+3的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧2的图像信号与作为通过全像素部分读处理的图像信号的帧3的图像信号。其接着输出帧3+4的图像信号，其中在该帧3+4的图像信号中，结合了作为通过全像素部分读处理的图像信号的帧3的图像信号与作为通过全视角稀疏读处理的图像信号的帧4的图像信号，并输出帧4+5的图像信号，其中在该帧4+5的图像信号中，组合了作为通过全视角稀疏读处理的图像信号的帧4的图像信号与作为通过全像素部分读处理的图像信号的帧5的图像信号，并且其连续地输出帧...+...的图像信号。即，分辨率转换/图像合成部分130可以输出这样的经图像捕捉的画面的图像信号：其中对象的运动根据高速图像捕捉模式的帧速而变化并且由通过执行全像素部分读处理而获得的图像信号防止画质的劣化。
此外，如果控制单元61控制从记录介质42读出基于使用预测编码的编码系统对其执行了压缩处理的经编码的数据，而不读取基于不使用预测编码的编码系统对其执行了压缩处理的经编码的数据，并控制解码处理，即如果仅读取运动画面的经编码的数据并且对其执行任何解码处理以产生图像信号DV4，则即使当高速图像捕捉模式的帧速变化时，也能够输出其中对象的运动是相同速度的再现的画面。
此外，如果改变帧速，则控制单元61可以以预定编程顺序自动地改变帧速。控制单元61还可以基于对象的运动自动地改变帧速，并且当对象的运动快时，记录具有高时间分辨率，即高帧速的经图像捕捉的画面。
下面将描述用于记录具有根据对象的运动而自动改变的帧速的经图像捕捉的画面的操作。在这里，对象的运动越快，就设置越高的帧速，以便可以获得具有高时间分辨率的经图像捕捉的画面。此外，执行全像素部分读处理的区域的位置跟随对象的运动而改变。
当根据对象的运动自动地改变帧速时，控制单元61基于从图像压缩/解压缩单元31通知的运动矢量MV，控制帧速以及执行全像素部分读处理的矩形区域的位置。要注意，如果对于参考帧时间段要在图像传感器111中读取的像素的数量是固定的，则通过确定帧速，自动地确定全视角稀疏读处理中的稀疏读取之间的间隔以及执行全像素部分读处理的矩形区域的区域大小。
在这里，当根据对象的运动自动地改变帧速时，控制单元61对从图像压缩/解压缩单元31通知的运动矢量取绝对值，然后将其与判定参考值Lv1、Lv2和Lv3进行比较以判定帧速。这些判定参考值Lv1、Lv2和Lv3是用于限定帧速的判定准则，其可以期望基于对象的运动和参考值而产生的模糊(blur)的减少，其中在基于对象的运动和参考值而产生的模糊中，帧速根据由运动矢量表示的每一个宏块的运动的增加连续地从“Fr0(例如，60(fps))”的相同速度按级(in stages)增大到四倍速度“Fr3(例如，240(fps))”。
在这里，当运动矢量的绝对值小于Lv1时，将帧速设置到与标准图像捕捉模式的帧速相同。当运动矢量的绝对值处于从大于Lv1到小于Lv2时，设置帧速以便使其为标准图像捕捉模式的帧速的两倍，将其作为高速图像捕捉模式。当运动矢量的绝对值处于从大于Lv2到小于Lv3时，设置帧速以便使其为标准图像捕捉模式的帧速的三倍，并且当运动矢量的绝对值大于Lv3时，设置帧速以便使为标准图像捕捉模式的帧速的四倍。
此外，控制单元61从所检测到的运动矢量来限定区域，例如图23所示的矩形区域，其中在该矩形区域处执行全像素部分读处理。控制单元61将所检测到运动分量分解为其水平和垂直分量，并通过将与宏块的位置对应的加权系数加权相加到其上而对由每一个宏块所检测的运动矢量执行统计处理，由此限定图像帧Tr1到Tr3。要注意，使用被设置为根据例如距屏幕的中心部分的范围(extent)而增大的加权系数值来执行加权相加处理。此外，在这种情况下，可以与以固定帧速捕捉图像的情况类似地限定图像帧Tr1到Tr3。要注意，图23还示出每一个宏块的运动的增大的结果，这使用判定参考值Lv1到Lv3来判定。
控制单元61对于每一个参考帧时间段实行帧速和图像帧Tr1到Tr3的设置。
通过实行图24所示的处理进程来执行帧速和图像帧的设置。
即，如果该处理进程开始，则控制单元61将步骤从步骤SP1移动到步骤SP2，其中在步骤SP2中开始对相应帧的处理，然后在下面的步骤SP3，确定当前帧速是否大于作为参考帧速的三倍的“Fr2”。在这里，如果获得否定结果，则控制单元61将步骤从步骤SP3移动到步骤SP4。
在步骤SP4，控制单元61确定当前帧速是否为作为参考帧速的两倍的“Fr1”。在这里，如果获得否定结果，则其将步骤从步骤SP4移动到步骤SP5，这是因为当前帧是与参考帧速相同的“Fr0”。
在步骤SP5，控制单元61确定是否检测到具有大于第一判定参考值Lv1的运动的宏块。在这里，如果获得否定结果，则控制单元61将步骤从步骤SP5移动到步骤SP6，其中在步骤SP6中将接下来的参考帧时间段的帧频设置为与参考帧频相同的“Fr0”，例如60(fps)。此外，在下面的步骤SP7，控制单元61完成对于相应参考帧时间段的处理，并返回到步骤SP2。
可选择地，如果在步骤SP5获得肯定结果，则控制单元61将步骤从步骤SP5移动到步骤SP8。控制单元61确定每个具有大于第一判定参考值Lv1的运动的所有宏块是否均被包括在图像帧Tr1中，所述图像帧Tr1具有仅比当前帧速高一个级别的帧速，即与参考帧速的两倍对应的帧速。在这里，如果获得否定结果，则控制单元61将步骤从步骤SP8移动到步骤SP6，其中在步骤SP9中将对于接下来的参考帧时间段的帧速设置为与参考帧速相同的“Fr0”。另一方面，如果在步骤SP8获得肯定结果，则控制单元61将步骤从步骤SP8移动到步骤SP9，其中在步骤SP9中将接下来的参考帧时间段设置为作为参考帧速的两倍的“Fr1”，例如120(fps)，并且移动到步骤SP7。
如果当前帧速是两倍于参考帧速的“Fr1”，则控制单元61将步骤从步骤SP4移动到步骤SP10，这是因为在步骤SP4获得肯定结果。在步骤SP10，控制单元61确定是否检测到具有大于第二判定参考值Lv2的运动的宏块。在这里，如果获得否定结果，则控制单元61将步骤从步骤SP10移动到步骤SP11，其中在步骤SP11中确定当前帧速是否是作为参考帧速的三倍的“Fr2”。在这种情况下，通过获得否定结果，控制单元61将步骤从步骤SP11移动到步骤SP5。此外，通过移动到步骤SP5，如果可以减小帧速，即没有检测到具有大于第一判定参考值Lv1的运动的任何宏块，或者如果没有出现其中每个具有大于第一判定参考值Lv1的运动的所有宏块均被包括在与参考帧速的两倍对应的图像帧Tr1中的状态，则控制单元61将对于接下来的参考帧时间段的帧速设置为与参考帧速相同的“Fr0”。相反，如果不能减小帧速，即检测到具有大于第一判定参考值Lv1的运动的任何宏块，或者如果每个具有大于第一判定参考值Lv1的运动的所有宏块均被包括在与参考帧速的两倍对应的图像帧Tr1中，控制单元61进一步保持当前帧速并且将处理移动到下一参考帧。
如果在步骤SP11获得肯定结果，则控制单元61将步骤从步骤SP11移动到步骤SP9，其中在步骤SP9中其将处理移动到下一参考帧，对于下一参考帧时间段的帧速被保持为两倍于参考帧速的“Fr1”，即当前帧速。此外，如果在步骤SP10获得肯定结果，则控制单元61将步骤从步骤SP10移动到步骤SP12，其中在步骤SP12中其确定每个具有大于第二判定参考值Lv2的运动的所有宏块是否均被包括在图像帧Tr2中，其中图像帧Tr2具有比当前帧速仅高一个级别的帧速，即与参考帧速的三倍对应的帧速。在这里，如果获得否定结果，则控制单元61将步骤从步骤SP12移动到步骤SP11。此外，如果在步骤SP11获得肯定结果，则控制单元61将处理移动到下一参考帧，帧速被保持为两倍于参考帧速的帧速。另一方面，如果在步骤SP12获得肯定结果，则控制单元61将步骤从步骤SP12移动到步骤SP13，其中在步骤SP13中将对于接下来的参考帧时间段的帧速设置为三倍于参考帧速的“Fr2”，例如180(fps)，然后将其处理移动到下一参考帧。
如果当前帧速是三倍于参考帧速的“Fr2”或四倍于参考帧速的“Fr3”，则通过在步骤SP3获得肯定结果，控制单元61将步骤从步骤SP3移动到步骤SP15。在步骤SP15，控制单元61确定是否检测到具有大于第三判定参考值Lv3的运动的宏块。在这里，如果获得否定结果，则控制单元61将步骤从步骤SP15移动到步骤SP16，其中在步骤SP16中其确定当前帧速是否为四倍于参考帧速的“Fr3”。在这种情况下，如果当前帧速是三倍于参考帧速的“Fr2”，则通过在步骤SP16获得否定结果，控制单元61将步骤从步骤SP16移动到步骤SP10。此外，通过移动到步骤SP10，如果可以减小帧速，即没有检测到具有大于第二判定参考值Lv2的运动的任何宏块，或者如果没有出现其中每个具有大于第二判定参考值Lv2的运动的所有宏块均被包括在与参考帧速的三倍对应的图像帧Tr2中的状态，则控制单元61将对于接下来的参考帧时间段的帧速设置为两倍于参考帧速的“Fr1”。可选择地，如果没有检测到具有大于第一判定参考值Lv1的运动的任何宏块，或者如果没有出现其中每个具有大于第一判定参考值Lv1的运动的所有宏块均被包括在与参考帧速的两倍对应的图像帧Tr1中，则控制单元61基于在步骤SP11后的处理处当前帧速是“Fr2”的条件，将对于随后的参考帧时间段的帧速设置为两倍于参考帧速的“Fr1”。相反，如果不能减小帧速，即检测到具有大于第二判定参考值Lv2的运动的宏块，或者如果每个具有大于第二判定参考值Lv2的运动的所有宏块均被包括在与参考帧速的三倍对应的图像帧Tr2中，则控制单元61保持当前帧速并且将处理移动到下一参考帧。
如果当前帧速是四倍于参考帧速的“Fr3”，则在步骤SP16获得肯定结果，并且在这种情况下，控制单元61将步骤从步骤SP16移动到步骤SP13，其中在步骤SP13中其将对于接下来的参考帧时间段的帧速设置为三倍于参考帧速的“Fr2”，例如180(fps)，并且将处理移动到下一参考帧。
如果检测到具有大于第三判定参考值Lv3的运动的宏块，则在步骤SP15获得肯定结果，以便控制单元61将步骤从步骤SP15移动到步骤SP17。在步骤SP17，控制单元61确定每个具有大于第三判定参考值Lv3的运动的所有宏块是否均被包括在与参考帧速的四倍对应的图像帧Tr3中。在这里，如果获得肯定结果，则控制单元移动到步骤SP18，其中在步骤SP18中其将对于接下来的参考帧时间段的帧速设置为四倍于参考帧速的“Fr3”，例如240(fps)，然后将处理移动到下一参考帧。
此外，如果获得否定结果，则控制单元61将步骤从步骤SP17移动到步骤SP16，其中在步骤SP16中基于在步骤SP16后的处理中当前帧速是“Fr3”的条件，将对于接下来的参考帧时间段的帧速设置为三倍于参考帧速的帧速，即180(fps)。
根据如图24所示的处理，如果增大要经历图像捕捉的对象的运动，则控制单元61设置帧速以便其按级连续增大。可选择地，如果减小对象的运动，则控制单元61设置帧速以便其按级连续增大。因此，控制单元61自动地设置帧速并且选择与所设置的帧速对应的图像帧。此外，图像传感器111执行全像素部分读处理，以便可以读出在所选择的图像帧中的所有像素。
当用户指示再现在记录介质42上记录的经图像捕捉的画面时，控制单元61从记录/再现处理单元41获取关于用户指示再现的经图像捕捉的画面的管理信息(administration information)，基于如上所述的管理信息从记录介质42读出经编码的数据，并控制各部分以执行解码处理或者组合图像信号。
因此，如果用户指示可变速度高速图像捕捉，则控制单元61动态地切换帧速，以便当对象的运动大时增大帧速，由此产生该动态切换的帧速的图像信号。此外，控制单元61动态地切换帧速，以便当对象的运动小时将帧速设置为标准图像捕捉模式的帧速，由此产生该动态切换的帧速的图像信号。因此，如果运动慢并且不需要高帧速的高速图像捕捉，则图像捕捉设备10可以产生与标准图像捕捉模式类似的帧速的图像信号，以便可以防止在记录介质方面的任何浪费的开销。此外，如果对象的运动大，则产生高帧速的图像信号，以便可以获得具有高时间分辨率的经图像捕捉的画面。
例如，当选择高速图像捕捉模式以便对高速运动对象进行图像捕捉而没有任何运动模糊或者以便获得其中高速运动对象具有平滑的运动的慢动作画面时，背景几乎处于小运动状态，使得看起来这几乎是高速图像捕捉的情况下的无意义的部分。在这里，如上所述，当根据运动检测结果在高速图像捕捉模式下设置帧速和要对其执行全像素部分读处理的区域时，通过执行全视角稀疏读处理而画质劣化的部分是背景，并且由通过执行全像素部分读处理而获得的图像信号补偿高速运动的对象在画质方面的劣化。因此，图像捕捉设备10可以对以高速运动的对象执行图像捕捉而没有任何模糊，或者可以获得以高速运动的对象具有平滑运动的慢动作画面，而不增大关于对参考帧时间段从图像传感器111输出的图像信号的信号量。
此外，图像捕捉设备10可以与对象的运动的任何改变对应地、平滑地切换帧速，由此使得能够防止在再现时中产生的不舒适感觉。即，例如，如果基于对象的运动通过人工操作来切换帧速并执行高速图像捕捉，则可能难以根据对象的运动合适地切换帧速。因此，如果再现帧速被切换的一系列图像信号，则帧速突然改变以导致产生明显的不舒适感觉。然而，由于与对象的运动的改变对应地、动态地切换帧速，因此能够防止在再现时产生的不舒适感觉。
另外，图像捕捉设备10通过将对其执行全像素部分读处理的矩形区域设置为跟随对象的运动来产生图像信号。因此，该图像捕捉设备10可以对高速图像捕捉所需的对象稳定地执行图像捕捉，并且即使从其读取全部像素的矩形区域被设置为小区域并降低在高速图像捕捉时图像信号的速率的增大，也可以防止其画质劣化。
在图像捕捉设备10中，使用在图像信号的编码处理中检测到的运动矢量，来检测对象的运动(该对象的运动用于设置从其读取全部像素的矩形区域的大小)、其位置以及帧速。因此，在该图像捕捉设备10中，使用图像压缩/解压缩单元31的配置来有效地检测对象的运动，使得与单独检测对象的运动的情况相比，可以简化整体配置。
相反，当以可变速度再现以可变速度对其执行了高速图像捕捉的图像信号时，以图像捕捉的顺序连续地再现图像信号，然后以类似的方式处理并显示通过全像素部分读处理的图像信号和通过全视角稀疏读处理的图像信号。在这种情况下，图像捕捉设备10可以通过自动地减小运动快的部分中的再现速度来执行慢动作再现，并且可以基于运动量的改变来切换再现速度，而不带来任何不舒适感觉。
要注意，尽管已经在上述实施例中描述了全像素部分读取中的视角被补偿为全视角稀疏读取中的视角的情况，但是该发明不限于此；相反，全视角稀疏读取中的视角也可以被补偿为全像素部分读取中的视角。这使得能够显示其中对象被放大的图像。
此外，尽管已经在上述实施例中描述了通过将全视角稀疏读取应用于上述实施例来产生关于全视角的图像信号的情况，但是该发明不限于此，并且如果提供足以适于实际使用的任何处理能力，则可以通过将全视角和全像素读取应用于上述实施例来产生关于全视角的图像信号。在这种情况下，还可以通过基于帧速的增大从全视角和全像素读取切换到全视角稀疏读取来产生全视角的图像信号。
此外，尽管已经在上述实施例中描述了在逐行系统中产生图像信号的情况，但是该发明不限于此，并且也可以应用于在隔行系统中产生图像信号的情况。
工业实用性
本发明可应用于例如图像捕捉设备。

Claims (20)

1.一种图像捕捉设备，被提供有：
图像传感器，产生经图像捕捉的画面的图像信号；以及
控制单元，控制所述图像传感器以设置时间段为单元在全视角稀疏读处理与全像素部分读处理之间切换，其中在全视角稀疏读处理中，对有效图像范围内的像素执行稀疏读取以产生所述图像信号，在全像素部分读处理中，从部分区域读出所述有效图像范围的部分区域的所有像素以产生所述图像信号，
其中如果所述设置时间段的单元短于预定的参考时间段的单元，则所述控制单元控制所述图像传感器执行所述全视角稀疏读处理和所述全像素部分读处理，以及
其中设置时间段的单元是指帧速或场速是参考帧速或参考场速的整数倍的帧或场时间段。
2.根据权利要求1所述的图像捕捉设备，其中所述控制单元控制所述图像传感器在所述参考时间段的单元内的设置时间段的顶部帧处执行所述全视角稀疏读处理，并且在所述参考时间段内的不具有顶部帧的设置时间段处执行所述全像素部分读处理。
3.根据权利要求2所述的图像捕捉设备，其被进一步提供有像素内插部分，该像素内插部分执行像素内插以产生关于经稀疏的像素的信号，
其中所述像素内插部分对通过所述全视角稀疏读处理而获得的图像信号执行所述像素内插。
4.根据权利要求3所述的图像捕捉设备，其中所述设置时间段的单元是可改变的。
5.根据权利要求4所述的图像捕捉设备，其中如果使所述设置时间段的单元更短，则所述控制单元控制所述图像传感器设置所述稀疏读取之间的间隔以便使其扩展，并且设置所述有效图像范围的部分区域以便使其受限，或者如果使所述设置时间段的单元更长，则设置所述稀疏读取之间的间隔以便使其缩短，并且设置所述有效图像范围的部分区域以便使其扩大。
6.根据权利要求5所述的图像捕捉设备，其被进一步提供有运动检测单元，该运动检测单元使用所述经像素内插的图像信号检测运动，
其中所述控制单元控制所述图像传感器基于由所述运动检测单元检测到的对象的运动来执行所述全像素部分读处理，其中该对象的运动被包括在所述有效图像范围的部分区域中。
7.根据权利要求6所述的图像捕捉设备，其中如果运动增大，则所述控制单元设置所述设置时间段的单元以便使其扩展，或者如果运动减小，则所述控制单元设置所述设置时间段的单元以便使其缩短。
8.根据权利要求3所述的图像捕捉设备，其被进一步提供有图像压缩单元，所述图像压缩单元对所述图像信号执行压缩处理以产生经编码的数据；以及
记录单元，在记录介质上记录所述经编码的数据，
其中所述图像压缩单元基于使用预测编码的编码系统对在所述全视角稀疏读处理中经像素内插的所述图像信号执行压缩处理，并且基于不使用预测编码的编码系统对通过执行所述全像素部分读处理而获得的图像信号执行压缩处理。
9.根据权利要求8所述的图像捕捉设备，其中所述图像压缩单元使用所述经像素内插的图像信号检测所述运动，以及
其中所述控制单元控制所述图像传感器基于所述对象的所述运动来执行所述全像素部分读处理，其中所述对象的运动被包括在所述有效图像范围的部分区域中。
10.根据权利要求8所述的图像捕捉设备，其被进一步提供有：
再现单元，读取在所述记录介质上记录的经编码的数据；
图像解压缩单元，对由所述再现单元读取的经编码的数据解压缩，以产生图像信号；以及
图像合成单元，使用由所述图像解压缩单元产生的图像信号来执行合成，
其中所述图像合成单元组合在所述全视角稀疏读处理中经像素内插的所述图像信号与通过执行所述全像素部分读处理而获得的图像信号。
11.根据权利要求10所述的图像捕捉设备，其中所述再现单元从所述记录介质读出基于使用所述预测编码的编码系统对其执行了压缩处理的经编码的数据，而不读取基于不使用所述预测编码的编码系统对其执行了压缩处理的经编码的数据，以及
其中所述图像解压缩单元对由所述再现单元读取的经编码的数据解压缩，并将其作为参考时间段的每个单元的图像信号而输出。
12.根据权利要求1所述的图像捕捉设备，其中所述全视角稀疏读处理包括像素稀疏处理和线稀疏处理中的至少一个。
13.根据权利要求1所述的图像捕捉设备，其被进一步提供有显示单元，
其中所述显示单元基于通过执行所述全视角稀疏读处理而获得的图像信号来显示图像。
14.一种用于使用图像传感器产生经图像捕捉的画面的图像信号的图像捕捉方法，所述方法包括：
全视角稀疏读步骤，通过对图像传感器的有效图像范围中的像素执行稀疏读取来产生所述图像信号；以及
全像素部分读步骤，通过从部分区域读出所述有效图像范围的部分区域的所有像素来产生所述图像信号，
其中以设置时间段为单元切换所述全视角稀疏读步骤和所述全像素部分读步骤，
其中如果所述设置时间段的单元短于预定的参考时间段的单元，则所述控制单元控制所述图像传感器执行所述全视角稀疏读处理和所述全像素部分读处理，以及
其中设置时间段的单元是指帧速或场速是参考帧速或参考场速的整数倍的帧或场时间段。
15.一种记录设备，其被提供有：
图像压缩单元，对通过允许图像传感器以设置时间段为单元在全视角稀疏读处理与全像素部分读处理之间切换而产生的经图像捕捉的画面的图像信号执行压缩处理以便产生经编码的数据，其中在全视角稀疏读处理中，对有效图像范围中的像素执行稀疏读取以产生所述图像信号，在全像素部分读处理中，从部分区域读出所述有效图像范围的部分区域的所有像素以产生所述图像信号；以及
记录单元，记录所述经编码的数据，
其中所述图像压缩单元基于使用预测编码的编码系统对通过执行所述全视角稀疏读处理而获得的图像信号执行压缩处理，并基于不使用预测编码的编码系统对通过执行所述全像素部分读处理而获得的图像信号执行压缩处理，以及
其中设置时间段的单元是指帧速或场速是参考帧速或参考场速的整数倍的帧或场时间段。
16.根据权利要求15所述的记录设备，其被进一步提供有像素内插部分，所述像素内插部分执行像素内插以产生关于经稀疏的像素的信号，
其中所述像素内插部分对通过所述全视角稀疏读处理而获得的图像信号执行像素内插，以及
其中所述图像压缩单元基于使用预测编码的编码系统对由所述像素内插部分在所述全视角稀疏读处理中进行像素内插的所述图像信号执行压缩处理。
17.一种记录方法，其被提供有：
基于使用预测编码的编码系统对通过执行全视角稀疏读处理而获得的图像信号执行压缩处理、以便在通过允许图像传感器以设置时间段为单元在所述全视角稀疏读处理与全像素部分读处理之间进行切换而产生的经图像捕捉的画面的图像信号之中产生经编码的数据的步骤，其中在所述全视角稀疏读处理中，对有效图像范围中的像素执行稀疏读取以产生所述图像信号，在所述全像素部分读处理中，从部分区域读出所述有效图像范围的部分区域的所有像素以产生所述图像信号；
基于不使用预测编码的编码系统对通过执行所述全像素部分读处理而获得的图像信号执行压缩处理以产生经编码的数据的步骤；以及
记录所述经编码的数据的步骤，
其中设置时间段的单元是指帧速或场速是参考帧速或参考场速的整数倍的帧或场时间段。
18.一种再现设备，其被提供有：
再现单元，从记录介质读出经编码的数据，其中在图像传感器已经以设置时间段为单元在全视角稀疏读处理与全像素部分读处理之间切换之后，基于使用预测编码的编码系统来压缩处理通过执行全视角稀疏读处理而获得的图像信号，并将其作为经编码的数据记录在所述记录介质上，并且基于不使用预测编码的编码系统来压缩处理通过执行全像素部分读处理而获得的图像信号，并将其作为经编码的数据记录在所述记录介质上，其中在所述全视角稀疏读处理中，对有效图像范围中的像素执行稀疏读取以产生所述图像信号，在所述全像素部分读处理中，从部分区域读出所述有效图像范围的部分区域的所有像素以产生所述图像信号；
图像解压缩单元，解压缩所读取的经编码的数据，以产生图像信号；以及
图像合成单元，使用在图像解压缩单元中产生的图像信号来执行合成，
其中图像合成单元组合通过执行全视角稀疏读处理而获得的图像信号与通过全像素部分读处理而获得的图像信号，
其中设置时间段的单元是指帧速或场速是参考帧速或参考场速的整数倍的帧或场时间段。
19.根据权利要求18所述的再现设备，其中所述再现单元从所述记录介质读出基于使用所述预测编码的编码系统对其执行了压缩处理的经编码的数据，而不读取基于不使用所述预测编码的编码系统对其执行了压缩处理的经编码的数据，以及
其中所述图像解压缩单元解压缩所述经编码的数据，并将其作为参考时间段的每个单元的图像信号而输出。
20.一种再现方法，其被提供有：
从记录介质读出经编码的数据的步骤，其中在图像传感器已经以设置时间段为单元、在全视角稀疏读处理与全像素部分读处理之间切换之后，基于使用预测编码的编码系统来压缩处理通过执行全视角稀疏读处理而获得的图像信号，并将其作为经编码的数据记录在所述记录介质上，并且基于不使用预测编码的编码系统来压缩处理通过执行全像素部分读处理而获得的图像信号，并将其作为经编码的数据记录在所述记录介质上，其中在所述全视角稀疏读处理中，对有效图像范围中的像素执行稀疏读取以产生所述图像信号，在所述全像素部分读处理中，从部分区域读出所述有效图像范围的部分区域的所有像素以产生所述图像信号；
解压缩所读取的经编码的数据以产生图像信号的步骤；以及
组合通过执行全视角稀疏读处理而获得的图像信号与通过全像素部分读处理而获得的图像信号的步骤，
其中设置时间段的单元是指帧速或场速是参考帧速或参考场速的整数倍的帧或场时间段。
CN2007800058551A 2006-12-18 2007-12-18 图像捕捉设备和方法、记录设备和方法及再现设备和方法 Expired - Fee Related CN101385334B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP339529/2006 2006-12-18
JP2006339529 2006-12-18
PCT/JP2007/074328 WO2008075688A1 (ja) 2006-12-18 2007-12-18 撮像装置及び方法、記録装置及び方法、再生装置及び方法

Publications (2)

Publication Number Publication Date
CN101385334A CN101385334A (zh) 2009-03-11
CN101385334B true CN101385334B (zh) 2011-09-14

Family

ID=39536317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800058551A Expired - Fee Related CN101385334B (zh) 2006-12-18 2007-12-18 图像捕捉设备和方法、记录设备和方法及再现设备和方法

Country Status (6)

Country Link
US (1) US8102436B2 (zh)
EP (1) EP2129108A4 (zh)
JP (1) JP5141559B2 (zh)
KR (1) KR20090091646A (zh)
CN (1) CN101385334B (zh)
WO (1) WO2008075688A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009150793A1 (ja) * 2008-06-09 2009-12-17 パナソニック株式会社 撮像装置、撮像方法
JP5233611B2 (ja) * 2008-11-25 2013-07-10 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP5511205B2 (ja) * 2009-03-19 2014-06-04 キヤノン株式会社 撮像装置及び撮像方法
JP5460180B2 (ja) * 2009-08-25 2014-04-02 キヤノン株式会社 撮像装置及びその制御方法
KR101613931B1 (ko) * 2009-09-10 2016-04-20 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US8878913B2 (en) 2010-03-12 2014-11-04 Sony Corporation Extended command stream for closed caption disparity
JP5531710B2 (ja) * 2010-03-29 2014-06-25 ソニー株式会社 記録装置および記録方法
US9047531B2 (en) * 2010-05-21 2015-06-02 Hand Held Products, Inc. Interactive user interface for capturing a document in an image signal
JP5317023B2 (ja) * 2010-09-16 2013-10-16 カシオ計算機株式会社 手ぶれ補正装置、手ぶれ補正方法およびプログラム
JP5764740B2 (ja) * 2010-10-13 2015-08-19 パナソニックＩｐマネジメント株式会社 撮像装置
US8793118B2 (en) * 2011-11-01 2014-07-29 PES School of Engineering Adaptive multimodal communication assist system
US8848261B1 (en) 2012-02-15 2014-09-30 Marvell International Ltd. Method and apparatus for using data compression techniques to increase a speed at which documents are scanned through a scanning device
CN110148605A (zh) * 2012-03-30 2019-08-20 株式会社尼康 拍摄单元、拍摄装置及拍摄控制程序
US9288413B2 (en) * 2012-07-12 2016-03-15 Gopro, Inc. Image capture accelerator
WO2014010672A1 (ja) * 2012-07-12 2014-01-16 オリンパス株式会社 撮像装置及びプログラム
EP3018893A4 (en) 2013-07-04 2016-11-30 Nikon Corp ELECTRONIC APPARATUS, CONTROL METHOD, AND CONTROL PROGRAM FOR ELECTRONIC APPARATUS
US9876966B2 (en) 2013-10-18 2018-01-23 Pixart Imaging Inc. System and method for determining image variation tendency and controlling image resolution
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
CN104580943B (zh) * 2013-10-28 2019-10-18 原相科技股份有限公司 影像感测系统和方法以及眼球追踪系统和方法
CN103713407B (zh) * 2013-12-20 2016-08-17 武汉精立电子技术有限公司 Lcd屏色彩分析仪
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6300651B2 (ja) * 2014-06-12 2018-03-28 オリンパス株式会社 動画記録再生装置
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9354794B2 (en) 2014-07-07 2016-05-31 Google Inc. Method and system for performing client-side zooming of a remote video feed
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
CN104486555B (zh) * 2014-10-28 2019-02-12 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
JP5915720B2 (ja) * 2014-11-21 2016-05-11 株式会社ニコン 撮像装置
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
EP3493529A4 (en) * 2016-07-26 2019-07-31 Sony Corporation IMAGE CONTROL DEVICE, IMAGING CONTROL METHOD AND IMAGING ELEMENT
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
JP7057635B2 (ja) * 2017-08-15 2022-04-20 キヤノン株式会社 撮像装置、カメラおよび輸送機器
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1213118A (zh) * 1997-08-20 1999-04-07 株式会社东芝 象域识别方法、图象处理装置及图象形成装置
JP2000032318A (ja) * 1998-07-09 2000-01-28 Olympus Optical Co Ltd 画像入力装置
US20040141067A1 (en) * 2002-11-29 2004-07-22 Fujitsu Limited Picture inputting apparatus
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5642480A (en) 1979-09-14 1981-04-20 Nec Corp Simultaneous display device for moving pattern and still pattern
JPS642480A (en) 1987-06-25 1989-01-06 Matsushita Electric Ind Co Ltd Image pickup device
JP2607550B2 (ja) 1987-10-19 1997-05-07 株式会社日立製作所 固体撮像装置
US6243139B1 (en) * 1993-12-22 2001-06-05 Canon Kabushiki Kaisha Apparatus for block-encoding input image signals
JPH0983952A (ja) 1995-09-13 1997-03-28 Sony Corp 撮像装置
JP4059533B2 (ja) * 1995-12-05 2008-03-12 オリンパス株式会社 撮像装置
JPH09214836A (ja) * 1996-02-07 1997-08-15 Olympus Optical Co Ltd 撮像装置
JP4229481B2 (ja) 1996-07-31 2009-02-25 オリンパス株式会社 撮像表示システム
JPH1051735A (ja) 1996-08-06 1998-02-20 Casio Comput Co Ltd 高速度撮影装置
US6337928B1 (en) * 1996-08-26 2002-01-08 Canon Kabushiki Kaisha Image transmission apparatus and method therefor
JP2000299810A (ja) * 1999-04-13 2000-10-24 Matsushita Electric Ind Co Ltd 撮像装置
CA2406459C (en) 2000-04-07 2006-06-06 Demografx Enhanced temporal and resolution layering in advanced television
JP4541610B2 (ja) * 2001-09-17 2010-09-08 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2003189186A (ja) * 2001-12-20 2003-07-04 Matsushita Electric Ind Co Ltd 撮像装置
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
JP2005295423A (ja) 2004-04-05 2005-10-20 Matsushita Electric Ind Co Ltd 撮像装置
US7777790B2 (en) 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1213118A (zh) * 1997-08-20 1999-04-07 株式会社东芝 象域识别方法、图象处理装置及图象形成装置
JP2000032318A (ja) * 1998-07-09 2000-01-28 Olympus Optical Co Ltd 画像入力装置
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
US20040141067A1 (en) * 2002-11-29 2004-07-22 Fujitsu Limited Picture inputting apparatus

Also Published As

Publication number Publication date
JP5141559B2 (ja) 2013-02-13
US20090059031A1 (en) 2009-03-05
WO2008075688A1 (ja) 2008-06-26
JPWO2008075688A1 (ja) 2010-04-15
EP2129108A4 (en) 2011-10-26
EP2129108A1 (en) 2009-12-02
US8102436B2 (en) 2012-01-24
CN101385334A (zh) 2009-03-11
KR20090091646A (ko) 2009-08-28

Similar Documents

Publication Publication Date Title
CN101385334B (zh) 图像捕捉设备和方法、记录设备和方法及再现设备和方法
CN101611624B (zh) 图像再现装置和方法、图像捕捉装置及其控制方法
JP4902136B2 (ja) 撮像装置、撮像方法及びプログラム
US20090103630A1 (en) Image processing device
CN101568031B (zh) 图像处理设备及其控制方法
KR100260475B1 (ko) 화상 데이타 부호화 방법 및 장치, 화상 데이타 복호화 방법 및 장치 및 화상 기록 매체
CN1214630C (zh) 使用共享帧存储器的图象处理
EP1176830A1 (en) Improved processing apparatus, image recording apparatus and image reproduction apparatus
CN100583949C (zh) 图像处理装置及图像处理方法
JP3221785B2 (ja) 撮像装置
US20100026849A1 (en) Video reproduction apparatus, digital camera, semiconductor integrated circuit, and method for video reproduction
JP4875008B2 (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
JP4513487B2 (ja) 映像データ圧縮装置
JP2008113112A (ja) 撮像装置
JPH0818888A (ja) 映像システム
CN100375541C (zh) 运动图像专家组编码信号的特技播放再现
JP2006311366A (ja) 画像記録装置及び画像記録装置の駆動方法
US7412079B2 (en) Image processing apparatus
JP2007228119A (ja) 撮像装置、画像処理方法、およびプログラム
JP2005217493A (ja) 撮像装置
JP2005159832A (ja) 信号処理装置
JP2003018532A (ja) 撮像装置
JP3645249B2 (ja) 電子スチルカメラ
JP2004357191A (ja) 映像データ記録装置、映像データ記録方法及び映像データ記録制御用プログラム
JP2010239230A (ja) 画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110914

Termination date: 20151218

EXPY Termination of patent right or utility model