CN101690190B - 成像设备和成像方法 - Google Patents

成像设备和成像方法 Download PDF

Info

Publication number
CN101690190B
CN101690190B CN200880021695.4A CN200880021695A CN101690190B CN 101690190 B CN101690190 B CN 101690190B CN 200880021695 A CN200880021695 A CN 200880021695A CN 101690190 B CN101690190 B CN 101690190B
Authority
CN
China
Prior art keywords
frame
data
image data
imaging
passage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200880021695.4A
Other languages
English (en)
Other versions
CN101690190A (zh
Inventor
小林诚司
大桥功
黑木义彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101690190A publication Critical patent/CN101690190A/zh
Application granted granted Critical
Publication of CN101690190B publication Critical patent/CN101690190B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及一种能够以与普通帧速率的成像数据相似的方式对高速率的成像数据进行处理的成像设备、成像方法、记录介质和程序。由能够执行高分辨率、高帧速率的成像的固态成像元件拍摄的图像数据被提供给存储器控制单元23。在将从成像元件22输入的成像数据写入帧存储器24中的同时，存储器控制单元23读取记录在帧存储器24上的成像数据的先前帧，并且针对每帧向各个相机信号处理单元25顺序地分别并行输出它们，作为由附图中的b到e指示的视频图像数据。然后，在相机信号处理单元25、视频输出单元26、取景器输出单元27、编解码单元28和记录单元29中，执行与为成像帧速率的1/4的帧速率的情况下的处理相似的处理。本发明能够应用于成像设备。

Description

成像设备和成像方法
技术领域
本发明涉及成像设备、成像方法、记录介质和程序。更具体地讲，本发明涉及一种适合用于以高帧速率拍摄运动图像的成像设备、成像方法、记录介质和程序。
背景技术
近年来，能够以高于通常视频帧速率(每秒60帧、每秒50帧、每秒24帧等)的速度进行成像的高速成像设备已经得到广泛使用。
为了实现高帧速率的成像和记录，例如，可以获得高速成像设备，该高速成像设备能够在一帧内的从固态成像元件读取的像素数减少且不需要提高后续的处理的速度的情况下实现高速成像。这种高速成像设备采用一种按照将多个帧图像结合在一起的方式使标准视频信号的一帧内的图像数减少来记录多个帧图像的技术(例如，见专利文献1)或者一种利用专用压缩方案或图像格式在半导体存储器上进行记录的技术(例如，见专利文献2)。
[专利文献1]日本未审专利申请公报No.8-88833
[专利文献2]日本未审专利申请公报No.2006-319513
此外，可以获得如下的高速成像设备，其中，通过高速驱动固态成像元件输出的成像数据被直接记录在半导体存储器上以实现高速成像。在许多这样的高速成像设备中，由于从固态成像元件输出成像数据的速度太高而不能够执行后续的信号处理，所以无任何改变地记录了未压缩的RAW数据。这种高速成像设备主要销售用于工业检查。
然后，此外，可以获得通过对一帧的图像进行空间分割并且并行处理各个区域来实现高速成像的高速成像设备。这种高速成像设备采用一种以水平行为单位对固态成像元件的输出进行分配并且执行并行处理的技术(例如，见专利文献3)或者一种利用棱镜对入射光进行分离、将得到的光分量提供给多个固态成像元件并且对这些固态成像元件的输出信号进行并行处理的技术(例如，见专利文献4)。
[专利文献3]日本未审专利申请公报No.1-286586
[专利文献4]日本未审专利申请公报No.5-316402
发明内容
然而，在从固态成像元件读取的像素的数目减少的情况下，不能够获得高空间分辨率。此外，多个帧彼此接合的图像的记录需要在再现期间进行图像转换处理，这导致处理更加复杂。
此外，在通过高速驱动固态成像元件而输出的成像数据被直接记录在半导体存储器上以实现高速成像的情况下，尽管从固态成像元件以太高从而需要使用半导体存储器作为记录装置的速度输出成像数据，但是仍可以以高分辨率和高帧速率实现成像。然而，由于能够安装在成像设备中的半导体存储器的容量的限制，所以难以进行长时间记录。
此外，如果将图像在空间上分割成多个部分并且对这些部分进行并行处理以执行高速图像处理，则可以长时间记录高分辨率和高帧速率的图像。然而，由于每个记录的图像数据部分是按照带状或矩形区域形状水平或垂直地分割的图像，所以需要在再现期间执行合成这些图像的处理，这导致处理更加复杂。此外，由于每个记录的图像部分是记录的实际帧的空间部分，所以单独再现各个记录的图像部分是没有意义的。换言之，每个记录的图像数据部分是不能够按照原样进行利用的数据。
鉴于这种情形完成了本发明，本发明旨在使对以高分辨率和高帧速率拍摄的图像的处理容易。
本发明的一个方面的成像设备包括：成像装置，用于获得第一速率的成像数据；数据分割装置，用于以帧为单位对由成像装置拍摄的第一速率的成像数据进行分配，并且将该成像数据分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；以及N个图像处理装置，用于对由分割装置获得的N个通道的运动图像数据进行并行处理。
成像设备可被配置为还包括输出装置，所述输出装置用于输出由图像处理装置进行了处理的N个通道的运动图像数据，并且所述输出装置可被配置为仅输出N个通道的运动图像数据中的一个通道，或者输出基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分执行帧合成而获得的结果。
成像设备可被配置为还包括记录装置，所述记录装置用于记录由图像处理装置进行了处理的N个通道的运动图像数据，并且所述输出装置可被配置为输出记录在所述记录装置上的N个通道的运动图像数据的至少一部分。
所述记录装置可被配置为设置N个记录装置或者使记录装置被分割成N个区域，并且可被配置为分别记录由图像处理装置进行了处理的N个通道的运动图像数据
第二速率可以被配置为每秒60帧。
第二速率可以被配置为每秒50帧。
第二速率可以被配置为每秒24帧。
N个通道可以被配置为四个通道。
N个通道可以被配置为两个通道。
第一速率可以被配置为每秒240帧。
成像设备可被配置为还包括记录装置，所述记录装置用于记录由图像处理装置进行了处理的N个通道的运动图像数据。
所述记录装置可被配置为设置N个记录装置或者使记录装置被分割成N个区域，并且可被配置为分别记录由图像处理装置进行了处理的N个通道的运动图像数据。
成像设备可被配置为还包括编码装置，所述编码装置用于对由图像处理装置进行了处理的N个通道的运动图像数据进行编码，并且所述记录装置可被配置为记录由编码装置进行了编码的N个通道的运动图像数据。
成像设备可被配置为还包括：解码装置，用于对由编码装置进行了编码并且由记录装置记录的N个通道的运动图像数据进行解码；以及输出装置，用于输出由解码装置进行了解码的N个通道的运动图像数据。解码装置可被配置为仅对N个通道的运动图像数据中的一个通道进行解码，或者基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分进行解码。输出装置可被配置为输出N个通道的运动图像数据中的由解码装置进行了解码的所述一个通道，或者输出基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分执行帧合成而获得的结果。
本发明的一个方面的成像方法是一种用于拍摄运动图像数据的成像设备的成像方法，所述成像方法包括如下步骤：以第一速率执行成像；以帧为单位将拍摄的第一速率的成像图像分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；以及利用N个并行单元对获得的N个通道的运动图像数据进行处理。
本发明的一个方面的程序是一种使计算机执行拍摄运动图像数据的处理的程序，所述程序使计算机执行包括如下步骤的处理：以第一速率控制成像；以帧为单位将拍摄的第一速率的成像图像分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；以及利用N个并行单元对获得的N个通道的运动图像数据进行处理。
在本发明的一个方面中，以第一帧速率拍摄图像；以帧为单位将拍摄的第一速率的成像图像分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；以及利用N个并行单元对获得的N个通道的运动图像数据进行处理。
术语“网络”是指至少两个设备彼此连接从而使信息能够从一个设备发送到另一个设备的机构。经由网络彼此通信的设备可以是独立设备或者构成一个设备的内部块。
此外，术语“通信”是指无线通信和有线通信以及可以包括无线通信和有线通信二者的通信，即在一时间段内执行无线通信而在另一时间段内执行有线通信的通信。另外，可以经由有线通信执行从一个设备到另一个设备的通信，并且可以经由无线通信执行从另一个设备到该设备的通信。
成像设备可以是独立设备或者可以是设置在图像处理设备、信息处理设备、记录/再现设备等中的执行成像处理的块。
如上所述，根据本发明的一个方面，能够拍摄运动图像，具体地讲，即使在以高帧速率成像期间，仍能够以与以普通帧速率成像期间的方式相似的方式来处理图像。
附图说明
图1是示出应用了本发明的成像设备的结构的框图。
图2是示出了拜耳模式的图。
图3是用于说明帧分布的图。
图4是用于说明帧分布的图。
图5是示出图1的相机信号处理单元的结构的框图。
图6用于说明帧合成的图。
图7用于说明帧合成的图。
图8是示出应用了本发明的成像设备的不同结构的框图。
图9是示出图8的相机信号处理单元的结构的框图。
图10是用于说明成像/记录/输出处理的流程图。
图11是用于说明成像数据分割处理的流程图。
图12是用于说明成像数据分割处理的流程图。
图13是用于说明视频输出处理的流程图。
图14是用于说明视频输出处理的流程图。
图15是示出了电影的帧速率与利用五个等级评价图像质量的情况下的评价值之间的关系的示例的图。
图16是示出个人计算机的结构的框图。
附图标记说明
1成像设备、11相机控制单元、21成像光学系统、22成像元件、23存储器控制单元、24帧存储器、25相机信号处理单元、26视频输出单元、27取景器输出单元、28编解码单元、29记录单元、51WB校正单元、52RGB内插同步处理单元、53矩阵处理单元、54γ校正单元、55颜色空间转换单元、101成像设备、120二向棱镜、121到123成像元件、124存储器控制单元、125帧存储器、126相机信号处理单元、151WB校正单元
具体实施方式
将在下文中参照附图说明本发明的实施例。
图1是示出应用了本发明的成像设备1的结构的框图。
成像设备1被配置为包括相机控制单元11、成像光学系统21、成像元件22、存储器控制单元23、帧存储器24、#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3、#4相机信号处理单元25-4、视频输出单元26、取景器输出单元27、#1编解码单元28-1、#2编解码单元28-2、#3编解码单元28-3、#4编解码单元28-4、#1记录单元29-1、#2记录单元29-2、#3记录单元29-3和#4记录单元29-4。
相机控制单元11被设计为控制成像设备1的全部处理。
成像设备1利用成像元件22接收通过具有机械快门、透镜等的成像光学系统21入射的光。成像元件22是固态成像元件，它能够执行高分辨率(这里，例如，HD分辨率)和高帧速率(这里，例如，每秒240帧，即称作240Hz)的成像，并且输出经由AD转换器(没有示出)进行了数字转换的成像数据，即由附图中的a指示的成像元件输出数据。这里，在成像元件22是CMOS固态成像元件的情况或任何其它情况下，AD转换器可以安装在元件上，或者当成像元件22是除CMOS固态成像元件以外的固态成像元件时或者在任何其它情况下，AD转换器可以置于成像元件22之外。此外，利用图1说明的成像设备1的成像元件22是在受光表面上具有滤色器的单板彩色固态成像元件，该滤色器针对各个像素透射不同波长范围的光。
由于从成像元件22输出的成像数据是从单板彩色固态成像元件输出的所谓的RAW数据，该成像数据由具有根据图2所示的拜耳模式(Bayerpattern)的色模式的像素数据构成，并且被提供给存储器控制单元23。然后，在存储器控制单元23中，多个像素数据被整合成能够与帧存储器24一次交换的一个块的单位(例如，其中整合了多个像素数据的预定量的数据，诸如64比特或128比特、一行数据等)，并且被存储在帧存储器24中。在将从成像元件22输入的成像数据写入帧存储器24中的同时，存储器控制单元23从帧存储器24读取成像数据的先前帧，并且同时逐帧地将成像数据作为由附图中的b到e指示的视频图像数据输出给#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4。
当从成像元件22输入到存储器控制单元23的成像数据(即由附图中的a指示的成像元件输出数据)是HD分辨率、每秒240帧的成像图像时，附图中的b到e指示的视频图像数据(每个均是HD分辨率、每秒60帧的成像图像)被输出到#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4。这里，帧存储器24具有存储至少8帧成像数据的容量。将在下面参照图3和图4描述存储器控制单元23的操作的细节。
#1相机信号处理单元25-1获取从存储器控制单元23输出的HD分辨率、每秒60帧的成像数据(RAW数据)，执行信号处理，并且将信号处理后的视频信号输出到#1编解码单元28-1和取景器输出单元27。#2相机信号处理单元25-2获取从存储器控制单元23输出的HD分辨率、每秒60帧的成像数据，执行信号处理，并且将信号处理后的视频信号输出到#2编解码单元28-2。#3相机信号处理单元25-3获取从存储器控制单元23输出的HD分辨率、每秒60帧的成像数据，进行信号处理，并且将信号处理后的视频信号输出到#3编解码单元28-3。#4相机信号处理单元25-4获取从存储器控制单元23输出的HD分辨率、每秒60帧的成像数据，进行信号处理，并且将信号处理后的视频信号输出到#4编解码单元28-4。
在下面的说明中，#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4中的每个被简称为相机信号处理单元25，除非需要对它们进行个体识别。由于相机信号处理单元25中的每个对普通的每秒60帧的成像数据进行处理，所以成像设备1不需要使用具有处理每秒240帧的成像数据的能力的高速信号处理单元。将在下面参照图5描述相机信号处理单元25的更详细的结构。
#1编解码单元28-1获取从#1相机信号处理单元25-1输出的视频信号，并且执行图像编码处理。#2编解码单元28-2获取从#2相机信号处理单元25-2输出的视频信号，并且执行图像编码处理。#3编解码单元28-3获取从#3相机信号处理单元25-3输出的视频信号，并且执行图像编码处理。#4编解码单元28-4获取从#4相机信号处理单元25-4输出的视频信号，并且执行图像编解码处理。
#1编解码单元28-1将图像编码后的图像数据流输出到#1记录单元29-1。#2编解码单元28-2将图像编码后的图像数据流输出到#2记录单元29-2。#3编解码单元28-3将图像编码后的图像数据流输出到#3记录单元29-3。#4编解码单元28-4将图像编码后的图像数据流输出到#4记录单元29-4。
另外，#1编解码单元28-1从#1记录单元29-1获取压缩编码后的图像数据流，对它进行解码，并且将由附图中的f指示的解码后的视频图像数据输出到视频输出单元26。相似地，#1编解码单元28-1还将解码后的视频图像数据输出到取景器输出单元27。#2编解码单元28-2从#2记录单元29-2获取压缩编码后的图像数据流，对它进行解码，并且将由附图中的g指示的解码后的视频图像数据输出到视频输出单元26。#3编解码单元28-3从#3记录单元29-3获取压缩编码后的图像数据流，对它进行解码，并且将由附图中的h指示的解码后的视频图像数据输出到视频输出单元26。#4编解码单元28-4从#4记录单元29-4获取压缩编码后的图像数据流，对它进行解码，并且将由附图中的i指示的解码后的视频图像数据输出到视频输出单元26。
这里，利用用于帧内压缩的JPEG2000编解码器、用于帧间压缩的MPEG2或H.264编解码器等实现由#1编解码单元28-1、#2编解码单元28-2、#3编解码单元28-3和#4编解码单元28-4执行的图像编码处理。在下面说明中，#1编解码单元28-1、#2编解码单元28-2、#3编解码单元28-3和#4编解码单元28-4中的每个被简称为编解码单元28，除非需要对它们进行个体识别。由于编解码单元28中的每个对一般的每秒60帧的数据进行处理，所以成像设备1不需要使用具有处理每秒240帧的数据的能力的高速编解码单元。此外，这里，在假定编解码单元28被设计成执行编码和解码的情况下给出说明。然而，不言自明的是，可以分别设置解码器和编码器以替代编码器单元28。
#1记录单元29-1、#2记录单元29-2、#3记录单元29-3和#4记录单元29-4获取并记录分别从编解码单元28输出的每秒60帧的压缩编码后的图像数据流。也就是说，#1记录单元29-1、#2记录单元29-2、#3记录单元29-3和#4记录单元29-4中的每个记录HD分辨率、每秒60帧的视频信号的压缩编码后的图像数据流。
在图1中，#1记录单元29-1、#2记录单元29-2、#3记录单元29-3和#4记录单元29-4中的每个被描述为独立的记录单元。然而，#1记录单元29-1、#2记录单元29-2、#3记录单元29-3和#4记录单元29-4可以被设计为表示一个记录单元中的不同存储区域。在下面说明中，#1记录单元29-1、#2记录单元29-2、#3记录单元29-3和#4记录单元29-4中的每个被简称为记录单元29，除非需要分别对它们进行识别。例如，可以利用放置了诸如光盘的可移动介质的驱动器、硬盘、半导体存储器等来实现各记录单元29。
取景器输出单元27接收从#1相机信号处理单元25-1或#1编解码单元28-1输出的视频信号，并且将该视频信号转换成可以在取景器上显示的信号。取景器(未示出)是用于确认正在拍摄的图像或正在再现并输出的图像的显示单元，并且可以内置在成像设备1中或者设置在成像设备1之外。取景器例如由显示视频信号(YCbCr4:2:2)的液晶显示装置构成。取景器的分辨率通常低于普通HD分辨率，并且此外类似地还具有低帧速率。因此，取景器输出单元27根据取景器的分辨率执行分辨率转换处理或者执行帧速率转换处理。另外，在取景器的输入信号是RGB信号的情况下，取景器输出单元27可以被配置为直接获取尚未由#1相机信号处理单元25-1进行颜色空间转换处理的γ转换后的图像信号。
视频输出单元26获取来自相机信号处理单元25的信号处理后的视频信号或者来自编解码单元28的解码后的再现图像数据，并且按需要执行帧合成以产生预定帧速率的视频信号。视频输出单元26将预定帧速率的视频信号作为由附图中的k指示的视频输出输出到例如外部记录装置或显示装置、预定的信号传输通道等。
将在下面参照图6和图7描述从成像设备1输出的视频图像数据的帧合成的细节。
接下来，将参照图3说明成像设备1中的拍摄图像与要处理和记录的图像帧之间的关系。
这里，在假定成像设备1的成像元件22拍摄HD分辨率、每秒240帧的图像的情况下给出说明。因此，在图1中，由附图中的a指示的成像元件输出数据使得在时间方向上每秒输出240帧的HD分辨率图像数据。图3示出了在从成像元件22输出包括第N帧到第(N+11)帧的12帧作为成像元件输出数据a的情况下的帧分配。
如上所述，成像元件输出数据a被存储器控制单元23临时存储在帧存储器24中。在从成像元件22输出第N帧的时刻t1的定时，包括第(N-4)帧到第(N-1)帧的4帧的图像数据保持在具有至少8帧的记录容量的帧存储器24中。在直到包括从成像元件22输出的第N帧、第(N+1)帧、第(N+2)帧和第(N+3)帧的4帧的图像数据被顺序地提供并记录在帧存储器24上的时刻t2的时间段内，具体地讲，在4/240秒的时间段内，存储器控制单元23并行读取存储在帧存储器24中的包括第(N-4)帧到(N-1)帧的4帧的图像数据，并且将第(N-4)帧分配给#1相机信号处理单元25-1，将第(N-3)帧分配给#2相机信号处理单元25-2，将(N-2)帧分配给#3相机信号处理单元25-3，将第(N-1)帧分配给#4相机信号处理单元25-4。
然后，在从成像元件22输出第(N+4)帧的时刻t2的定时，包括第N帧到(N+3)帧的4帧的图像数据保持在帧存储器24中。在直到包括从成像元件22输出的第(N+4)帧、第(N+5)帧、第(N+6)帧和第(N+7)帧的4帧的图像数据被顺序地提供并记录在帧存储器24上的时刻t3的时间段内，具体地讲，在4/240秒的时间段内，存储器控制单元23并行读取存储在帧存储器24中的包括第N帧到第(N+3)帧的4帧的图像数据，并且将第N帧分配给#1相机信号处理单元25-1，将第(N+1)帧分配给#2相机信号处理单元25-2，将(N+2)帧分配给#3相机信号处理单元25-3，并且将第(N+3)帧分配给#4相机信号处理单元25-4。
随后，在从成像元件22输出第(N+8)帧的时刻t3的定时，包括第(N+4)帧到第(N+7)帧的4帧的图像数据保持在帧存储器24中。在直到包括从成像元件22输出的第(N+8)帧、第(N+9)帧、第(N+10)帧和第(N+11)帧的4帧的图像数据被顺序地提供并记录在帧存储器24上的时间段内，具体地讲，在4/240秒的时间段内，存储器控制单元23并行读取存储在帧存储器24中的包括第(N+4)帧到第(N+7)帧的4帧的图像数据，并且将第(N+4)帧分配给#1相机信号处理单元25-1，将第(N+5)帧分配给#2相机信号处理单元25-2，将第(N+6)帧分配给#3相机信号处理单元25-3，并且将第(N+7)帧分配给#4相机信号处理单元25-4。
也就是说，延迟四帧地从帧存储器24读取从成像元件22提供的成像元件输出数据a，并且将它提供给相机信号处理单元25中的一个。从帧存储器24读取的视频图像数据b到e中的每个的帧速率是成像元件输出数据a的帧速率的1/4。例如，当成像元件输出数据a是HD分辨率、每秒240帧的图像数据时，视频图像数据b到e中的每个是HD分辨率、每秒60帧的图像数据。
接下来，将参照图4说明成像设备1中的拍摄图像帧和要处理和记录的图像帧的输入/输出定时。
除了构成每个拍摄图像帧的像素数据以外，对应于每帧，图1所示的成像元件输出数据a还包括垂直同步信号A(表示每帧的顶端的同步信号)、针对构成帧的每个水平行产生的水平同步信号、以及使能信号。这里，当成像元件输出数据a是HD分辨率且每秒240帧时，垂直同步信号A是每1/240秒被激活的信号。像素数据是这样的信号，在该信号中，在包括消隐时段(blankingperiod)的一帧时段(1/240秒)内按照时间序列布置了所有像素数据(例如，2200像素×1125像素行)。
然后，成像元件输出数据a被顺序地提供给并存储在帧存储器24中。与该存储处理并行地，并行地(即以预定的读取单元交替地)读取已经存储在帧存储器24中的4帧的视频图像数据。如上所述，并行读取的视频图像数据b到e中的每个是HD分辨率、每秒60帧的图像数据。例如基于每次访问帧存储器24时能够交换的数据量来确定读取单位，并且读取单位例如可以是预定比特数的数据、或者图像的一帧内的一行或多个预定行的数据。
垂直同步信号B-1(指示提供给#1相机信号处理单元25-1的视频图像数据b的顶端的同步信号)是每1/60秒被激活的信号。构成视频图像数据b的像素数据是这样的信号，在该信号中，在包括消隐时段的一帧时段(1/60秒)内，按照时间序列布置了所有像素数据(例如，2200像素×1125像素行)。
与以上相似，垂直同步信号B-2(指示提供给#2相机信号处理单元25-2的视频图像数据c的顶端的同步信号)是每1/60秒被激活的信号。构成视频图像数据c的像素数据是这样的信号，在该信号中，在包括消隐时段的一帧时段(1/60秒)内，按照时间序列布置了所有像素数据(例如，2200像素×1125像素行)。然后，垂直同步信号B-3(指示提供给#3相机信号处理单元25-3的视频图像数据d的顶端的同步信号)是每1/60秒被激活的信号。构成视频图像数据d的像素数据是这样的信号，在该信号中，在包括消隐时段的一帧时段(1/60秒)内，按照时间序列布置了所有像素数据(例如，2200像素×1125像素行)。此外，垂直同步信号B-4(指示提供给#4相机信号处理单元25-4的视频图像数据e的顶端的同步信号)是每1/60秒被激活的信号。构成视频图像数据e的像素数据是这样的信号，在该信号中，在包括消隐时段的一帧时段(1/60秒)内，按照时间序列布置了所有像素数据(例如，2200像素×1125像素行)。
通过存储器控制单元23的处理从帧存储器24读取的视频图像数据b到e中的每个能够被独立处理或显示为HD分辨率、每秒60帧的视频图像数据，并且提供给#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4中的对应一个并且进行处理。
图5是示出相机信号处理单元25的详细结构的框图。
WB(白平衡)校正单元51对RAW数据的各颜色分量的平衡进行校正，并且执行白平衡校正以使得在非彩色区域内红色分量(R)、绿色分量(G)和蓝色分量(B)的亮度值彼此相等。
RGB内插同步处理单元52对仅仅具有每个像素中的R、G和B颜色分量之一的RAW数据执行基于相邻像素数据的内插处理，即所谓的去马赛克处理，并且输出得到的数据作为具有每个像素中的所有颜色分量的像素数据。例如，在具有图2所示的拜耳模式的成像数据中，像素位置(x＝2，y＝2)处的像素B22仅仅具有B分量。因此，执行利用相邻像素的内插处理以产生分别输出为R22和G22的R分量和G分量。同样的情况适用于仅存在R分量作为成像数据(例如，x＝1，y＝1)的像素和仅存在G分量(例如，x＝2，y＝1)的像素。
矩阵处理单元53是利用3×3矩阵的颜色校正处理电路。其处理使得取决于成像元件的颜色空间和拍摄环境的颜色平衡接近与信号标准兼容的真实颜色空间。
伽马(γ)校正单元54根据视频信号标准通过利用与输入/输出灰度等级的数目对应的查询表处理来执行伽马校正处理。
颜色空间转换单元55将基于RGB颜色空间的像素数据转换成基于YCbCr颜色空间的像素数据。这里，转换后的颜色空间由视频信号的标准化标准进行定义。例如，在ITU-R.BT709中规定了HDTV标准。另外，颜色空间转换单元55对色差信号Cb和Cr执行退化处理，转换成4:2:2格式，然后输出转换后的视频信号(YCbCr4:2:2)。
这样，从各相机信号处理单元25输出HD分辨率、每秒60帧的视频信号(YCbCr4:2:2)。
在对由相机信号处理单元25处理的视频图像数据进行压缩编码并且然后记录在记录单元29上的情况下，由#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4处理的视频图像数据被提供给#1编解码单元28-1、#2编解码单元28-2、#3编解码单元28-3和#4编解码单元28-4中的对应一个并且被压缩编码。压缩编码后的图像数据流被分别提供给#1记录单元29-1、#2记录单元29-2、#3记录单元29-3和#4记录单元29-4并记录在其上。
然后，在对记录在记录单元29上的压缩编码后的图像数据流进行再现并输出的情况下，相机控制单元11基于从视频输出单元26输出的视频图像数据的帧速率从预定的记录单元29读取压缩编码的数据，并且利用编解码单元28对压缩编码的数据进行解码并且将其提供给视频输出单元26。按需要，视频输出单元26对被提供的解码后的视频图像数据执行帧合成，并且将产生的视频图像数据提供到外部作为视频输出k。
另外，在直接输出拍摄的视频的情况下，相机控制单元11基于从视频输出单元26输出的视频图像数据的帧速率，将来自预定的相机信号处理单元25的处理后的视频图像数据提供给视频输出单元26。视频输出单元26对提供的视频图像数据执行帧合成，并且将产生的视频图像数据提供到外部作为视频输出k。
利用图6和图7，利用对记录在记录单元29上的压缩编码的图像数据流进行再现的情况作为示例，说明输出帧速率和帧合成。
在每个记录单元29上记录有在高分辨率(这里，HD分辨率)和高帧速率(这里，每秒240帧)的运动图像以帧为单位被分割成四个部分后通过执行压缩编码产生的图像数据流。换言之，记录在每个记录单元29上的图像数据流均是HD分辨率、每秒60帧的运动图像，并且相对于每秒240帧的拍摄图像在时间上偏移了一帧。具体地讲，记录在#1记录单元29-1上的图像数据流是在每秒240帧的运动图像内提取了四帧中的一帧的、每秒60帧的运动图像，并且记录在#2记录单元29-2上的图像数据流是相对于记录在#1记录单元29-1上的图像数据流在时间上延迟一帧的、每秒60帧的图像数据。相似地，记录在#3记录单元29-3上的图像数据流是相对于记录在#1记录单元29-1上的图像数据流在时间上延迟两帧的、每秒60帧的图像数据，并且记录在#4记录单元29-4上的图像数据流是相对于记录在#1记录单元29-1上的图像数据流在时间上延迟三帧的、每秒60帧的图像数据。
在对记录在记录单元29上的压缩编码的数据进行再现和输出的情况下，在相机控制单元11的控制下，从指定帧开始顺序地读取记录的图像数据流并且通过编解码单元28中的对应一个进行解码和再现。
图6示出了输出每秒240帧的视频图像数据的情况下的帧合成。
在命令了进行每秒240帧的输出的再现操作的情况下，相机控制单元11对每个记录单元29进行控制以使得从指定的开始帧开始读取其上记录的压缩编码的图像数据流。4个再现的图像数据流分别由编解码单元28进行解码，并且具有HD分辨率、每秒60帧并且每个均偏移了1/240秒(即每秒240帧的视频图像数据中的一帧)的4个视频图像数据f到i被输入到视频输出单元26。
视频输出单元26在帧存储器(未示出)中临时存储4个视频图像数据f到i，将它们布置为具有HD分辨率和每秒240帧的帧速率，并且按照图6所示的帧顺序(即与每秒240帧的成像时相同的帧顺序)对它们进行读取以输出它们作为视频信号。在图6中，指示帧顺序的N、N+1、N+2......是指示每秒240帧的视频图像数据的情况下的帧顺序。也就是说，指示图6中的帧顺序的N、N+1、N+2......是指示仅仅偏移1/240秒的帧的排列顺序，这基本上与利用图3说明的拍摄的每秒240帧的视频图像数据的情况下的帧顺序相似。
具体地讲，从#1编解码单元28-1输出视频图像数据f的第N帧，从#2编解码单元28-2输出视频图像数据g的第(N+1)帧，从#3编解码单元28-3输出视频图像数据h的第(N+2)帧，从#4编解码单元28-4输出视频图像数据i的第(N+3)帧。这些输出帧被提供给视频输出单元26。然后，视频输出单元26在帧存储器(未示出)中保持包括第N帧到第(N+3)帧的4帧。
然后，接下来，从#1编解码单元28-1输出视频图像数据f的第(N+4)帧，从#2编解码单元28-2输出视频图像数据g的第(N+5)帧，从#3编解码单元28-3输出视频图像数据h的第(N+6)帧，从#4编解码单元28-4输出视频图像数据i的第(N+7)帧。这些输出帧被提供给视频输出单元26。视频输出单元26在帧存储器(未示出)中保持包括第(N+4)帧到第(N+7)帧的4帧。视频输出单元26还按照帧顺序排列已经保持在帧存储器中的包括第N帧到第(N+3)帧的4帧，并且输出这4帧作为视频输出k。也就是说，视频输出k是相对于开始向视频输出单元26提供视频图像数据g到i的定时延迟至少4帧的输出。
这样，从视频输出单元26输出的视频信号k可以实现HD分辨率、每秒240帧的图像显示。通过这样做，与例如每秒60帧的普通帧速率相比，不需要对运动图像执行复杂的处理就能够实现由成像设备1拍摄的运动图像的高速显示。
这里，在假定视频输出单元26被设计为在一个宽带视频传输通道中输出HD分辨率、每秒240帧的视频信号的情况下给出说明。然而，视频输出单元26可以被设计为根据获得要输出的视频信号k的显示装置(未示出)的规格，经由四个视频传输通道向显示单元(未示出)输出尚未进行帧合成的HD分辨率、每秒60帧的四通道视频信号。在这样做的情况下，显示装置需要获得HD分辨率、每秒60帧的四通道视频信号以执行帧合成，从而按照与利用图6说明的情况中的方式相似的方式从输入的HD分辨率、每秒60帧的四通道视频信号产生HD分辨率、每秒240帧的视频信号。此外，在此情况下，视频输出单元26可以直接输出HD分辨率、每秒60帧的视频图像数据f到i作为四通道视频信号，而不需要执行帧合成。
接下来，将参照图7说明每秒120帧的再现操作。
例如，在由于最大仅支持每秒120帧的显示装置、最大仅支持每秒120帧的视频信号传输通道等的原因而输出HD分辨率、每秒120帧的视频信号的情况下，相机控制单元11使得记录单元29之中的记录有均偏移了每秒240帧的电影帧中的两帧的压缩编码的图像数据流的两个记录单元29将其上记录的压缩编码的图像数据流提供给编解码单元28。两个再现的图像数据流分别由编解码单元28进行解码。然后，具有HD分辨率、每秒60帧并且均偏移2/240秒(即每秒240帧的视频图像数据中的两帧)的两个视频图像数据f和h(或者视频图像数据g和i)被输入到视频输出单元26。
视频输出单元26在帧存储器(未示出)中临时存储这两个视频图像数据f和h，将它们布置为具有HD分辨率和每秒120帧的帧速率，按照图7所示的帧顺序对它们进行读取，并且输出它们作为视频信号。另外，在图7中，指示帧顺序的N、N+2、N+4......是指示每秒240帧的视频图像数据的情况下的帧顺序。也就是说，由于进行了帧合成的视频图像数据的帧顺序是N、N+2、N+4......，所以在帧合成后获得的视频图像数据变得与通过按1/2抽取(decimate)每秒240帧的视频图像数据获得的每秒120帧的视频图像数据相同。
这样，不需要执行复杂处理，视频输出单元26就能够不仅输出实现HD分辨率、每秒240帧的图像显示的视频输出k，还能够输出实现HD分辨率、每秒120帧的图像显示的视频输出k。通过这样做，成像设备1能够容易地产生和输出多个帧速率的视频图像数据。
这里，在假定视频输出单元26被设计为根据获取要输出的视频信号k的显示装置(未示出)的规格在一个宽带视频传输通道中输出HD分辨率、每秒120帧的视频信号的情况下给出说明。然而，例如，视频输出单元26可以被设计为经由两个视频传输通道向显示单元(未示出)输出HD分辨率、每秒60帧的两通道视频信号。在这样做的情况下，显示装置需要获取HD分辨率、每秒60帧的两通道视频信号以执行帧合成，从而按照与利用图7说明的情况中的方式相似的方式从输入的HD分辨率、每秒60帧的两通道视频信号产生HD分辨率、每秒120帧的视频信号。此外，在这种情况下，视频输出单元26可以直接输出HD分辨率、每秒60帧的视频图像数据f和h作为两通道视频信号而不需要执行帧合成。
另外，在附图中没有显示，在显示装置仅仅支持普通帧速率(即每秒60帧)的情况下，在传输通道仅仅支持每秒60帧的情况或者任何其它情况下，相机控制单元11对各个单元进行控制以从记录单元29之一读取压缩编码的图像数据流，以利用编解码单元28中的对应一个对压缩编码的图像数据流进行解码，并且将每秒60帧的视频图像数据提供给视频输出单元26。视频输出单元26输出提供的HD分辨率、每秒60帧的视频图像数据。
这样，成像设备1执行高分辨率和高帧速率的成像，以帧为单位对拍摄的运动图像进行分割，并且对得到的数据部分执行并行处理。由此，能够以普通帧速率(例如，在以每秒240帧执行成像时为每秒60帧)执行运动图像数据的图像处理、编解码或记录处理。在再现期间，不需要执行复杂处理，就能够以多个输出帧速率输出视频数据。
另外，在拍摄图像被输出并且显示在取景器(未示出)上的情况下，由#1相机信号处理单元25-1处理的图像数据被输出到取景器输出单元27。另外，在要作为视频输出的图像数据被输出并显示在取景器(未示出)上的情况下，由#1编解码单元28-1解码的图像数据被输出到取景器输出单元27。换言之，输出到取景器的图像数据的帧速率是每秒60帧。
与之相对，例如，在取景器具有显示每秒120帧的帧速率的运动图像的能力的情况下，除了由#1相机信号处理单元25-1处理的图像数据以外由#3相机信号处理单元25-3处理的图像数据也可以被输出到取景器输出单元27，或者除了由#1编解码单元28-1解码的图像数据以外由#3编解码单元28-3解码的图像数据也可以被输出到取景器输出单元27以执行帧合成并且输出结果。
另外，不言自明的是，在取景器具有显示每秒240帧的帧速率的运动图像的能力的情况下，在相机控制单元11的控制下，可将四个处理后的每秒60帧的视频图像数据从所有的相机信号处理单元25提供给视频输出单元26，或者可以从所有的记录单元29读取压缩编码的图像数据流并且可以利用编解码单元28分别对压缩编码的图像数据流进行解码。可将四个每秒60帧的视频图像数据提供给视频输出单元26并对其进行帧合成，并且可以显示结果。
另外，在拍摄并处理后的图像数据没有进行临时压缩和记录就输出到外部的情况下，基于要输出的视频图像数据的帧速率，由#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4之中的预定的相机信号处理单元25处理的视频图像数据被提供给视频输出单元26。
具体地讲，在要输出的视频图像数据的帧速率是每秒240帧的情况下，从所有的#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4向视频输出单元26提供视频图像数据。然后，在要输出的视频图像数据的帧速率是每秒120帧的情况下，从#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4之中的对均偏移了每秒240帧的电影帧中的两帧的帧进行处理的两个相机信号处理单元25向视频输出单元26提供视频图像数据。此外，在要输出的视频图像数据的帧速率是每秒60帧的情况下，从#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4之一向视频输出单元26提供视频图像数据。
上述的成像设备1被配置为以每秒240帧(一般广泛用于拍摄运动图像的每秒60帧的四倍)拍摄运动图像，以针对每帧将拍摄的运动图像数据分割成四份来产生四通道的每秒60帧的运动图像数据，并且被配置为执行各种处理从而使得能够再现每秒60帧、每秒120帧以及每秒240帧的运动图像。然而，不言自明的是，可以利用任何其它成像帧速率或者拍摄的运动图像数据的任何其它分割数。
具体地讲，例如，以每秒240帧拍摄的运动图像可以被分割成两个或三个部分，或者以每秒120帧拍摄的运动图像可以被分割成两个或三个部分。此外，以每秒200帧拍摄的运动图像可以被分割成四个部分，或者以每秒100帧拍摄的运动图像可以被分割成两个部分。作为另一选择，以每秒96帧拍摄的运动图像可以被分割成四个部分，或者以每秒48帧拍摄的运动图像可以被分割成两个部分。
此时，当每个通道的运动图像数据部分具有一般广泛用于拍摄运动图像的帧速率(例如，每秒60帧、每秒50帧、或每秒24帧)时，例如，可将通用产品用于进行信号处理或编解码所需的电路等，并且能够降低成本，这是优选的。然而，每个通道的运动图像数据部分的帧速率可以是任何其它值。
此外，这里，作为示例对每个通道的部分的帧速率彼此相等的情况进行了说明。然而，不言自明的是，每个通道的部分可以具有不同的帧速率。例如，以每秒240帧拍摄的运动图像可以被分割成每秒120帧的一个通道和每秒60帧的两个通道。
要注意，不言自明的是，在记录单元29具有大容量和高记录速率的情况下，在期望避免由于编解码导致的图像劣化的情况或者任何其它情况下，可以省去编解码单元28从而可将没有被压缩或编码的视频图像数据记录在记录单元29上。
以这种方式，成像设备1以帧为单位在时间方向上将以是一般广泛用于拍摄运动图像的帧速率(例如，每秒60帧、每秒50帧、或每秒24帧)的N倍(这里是4倍)的帧速率拍摄的图像数据分割成N个部分，并且由此能够将高帧速率视频图像数据作为N个普通帧速率图像数据进行处理或记录。另外，不需要执行复杂处理，成像设备1就能够以多个帧速率输出运动图像数据。
此外，成像设备1包括单板彩色固态成像元件作为成像元件22，该单板彩色固态成像元件在受光表面上具有滤色器，该滤色器对于各个像素透射不同波长范围内的光。然而，不言自明的是，任何其它方案可以用作成像方法。例如，替代单板彩色成像设备，本发明还能够应用于三板式成像设备。
图8是示出利用三个固态成像元件的三板式成像设备101的结构的框图。
要注意，对与图1的成像设备1的部分对应的部分分配相同的标号，并且在适当时省去对它们的说明。也就是说，除了提供相机控制单元111以替代相机控制单元11，提供成像元件121到123以替代成像元件22，提供存储器控制单元124以替代存储器控制单元23，提供帧存储器125以替代帧存储器24，提供#1相机信号处理单元126-1、#2相机信号处理单元126-2、#3相机信号处理单元126-3和#4相机信号处理单元126-4以替代#1相机信号处理单元25-1、#2相机信号处理单元25-2、#3相机信号处理单元25-3和#4相机信号处理单元25-4，以及新提供对经过成像光学系统21入射的光进行分离的二向棱镜120以外，成像设备101的结构与利用图1说明的成像设备1的结构基本相似。
在下面说明中，#1相机信号处理单元126-1、#2相机信号处理单元126-2、#3相机信号处理单元126-3和#4相机信号处理单元126-4中的每个被简称为相机信号处理单元126，除非需要对它们进行分别识别。
相机控制单元111控制成像设备101的各个单元的操作。
成像元件121、122和123接收经过成像光学系统21入射并且被二向棱镜120分离成红色分量(R)、绿色分量(G)和蓝色分量(B)的光。这里，假定：成像元件121接收以红色分量(R)为中心的波长范围内的光，成像元件122接收以绿色分量(G)为中心的波长范围内的光，成像元件123接收以蓝色分量(B)为中心的波长范围内的光。
在相机控制单元111的控制下，存储器控制单元124按照一帧包含三种颜色的方式将从成像元件121、122和123提供的与以各个RGB颜色分量为中心的波长范围对应的成像数据提供给帧存储器125，并且还以帧为单位利用与利用图3和图4说明的情况相似的处理将记录在帧存储器125上的每帧均包含三种颜色的4帧成像数据分割，以分别向相机信号处理单元126提供得到的部分。帧存储器125具有能够保持至少8帧的成像数据的存储容量(每帧包含RGB三种颜色)。
因此，在利用成像元件进行成像的三板式成像设备101中，由于能够在像素位置获得R、G和B中的每个的成像数据，所以各相机信号处理单元126不需要执行RGB内插同步处理。
在图9中示出了相机信号处理单元126的结构。
要注意，对与图5的相机信号处理单元25的部分对应的部分分配相同的标号，并且当适当时省去了对它们的说明。也就是说，除了省去RGB内插同步处理单元52以及提供WB校正单元151以替代WB校正单元51以外，相机信号处理单元126的结构与图5的相机信号处理单元25的结构基本相似。
向WB校正单元151提供针对每个像素具有R、G和B的图像信号，WB校正单元151对每个像素执行RGB颜色平衡调整，并且将调整后的图像信号(R、G和B)提供到矩阵处理单元53。矩阵处理以后的信号处理与利用图5说明的相机信号处理单元25的信号处理基本相似。
以这种方式，成像设备101还被配置为以是一般广泛用于拍摄运动图像的每秒60帧的四倍的每秒240帧拍摄运动图像，以针对每帧将拍摄的运动图像数据分割成四份以产生四通道的每秒60帧的运动图像数据，并且被配置为执行各种处理从而能够再现每秒60帧、每秒120帧或者每秒240帧的运动图像。然而，不言自明的是，可以采用任何其它成像帧速率或者拍摄的运动图像数据的任何其它分割数。
具体地讲，例如，以每秒240帧拍摄的运动图像可以被分割成两个或三个部分，或者以每秒120帧拍摄的运动图像可以被分割成两个或三个部分。此外，以每秒200帧拍摄的运动图像可以被分割成四个部分，或者以每秒100帧拍摄的运动图像可以被分割成两个部分。作为另一选择，以每秒96帧拍摄的运动图像可以被分割成四个部分，或者以每秒48帧拍摄的运动图像可以被分割成两个部分。
此时，当每个通道的运动图像数据部分具有一般广泛用于拍摄运动图像的帧速率(例如，每秒60帧、每秒50帧、或每秒24帧)时，例如，可将通用产品用于进行信号处理或编解码所需的电路等，并且能够降低成本，这是优选的。然而，每个通道的运动图像数据部分的帧速率可以是任何其它值。
此外，这里，对作为示例的每个通道的部分的帧速率彼此相等的情况进行了说明。然而，不言自明的是，每个通道的部分可以具有不同的帧速率。例如，以每秒240帧拍摄的运动图像可以被分割成每秒120帧的一个通道和每秒60帧的两个通道。
要注意，在成像设备101中，不言自明的是，在记录单元29具有大容量和高记录速率的情况下，在期望避免由于编解码导致的图像劣化的情况者任何其它情况下，可以省去编解码单元28从而没有进行压缩或编码的视频图像数据可以记录在记录单元29上。
以这种方式，与成像设备1一样，成像设备101也以帧为单位在时间方向上将以是一般广泛用于拍摄运动图像的帧速率(例如，每秒60帧、每秒50帧、或者每秒24帧)的N倍(这里是四倍)的帧速率拍摄的图像数据分割成N个部分，并且由此能够将高帧速率视频信号作为N个普通帧速率图像数据进行处理或记录。另外，不需要执行复杂处理，成像设备1就能够以多个帧速率输出运动图像数据。
接下来，将参照图10的流程图说明由成像设备1或成像设备101执行的成像/记录/输出处理。
要注意，尽管在图10的流程图中为了便于理解针对各个步骤说明成像、记录和输出处理中的每个，但是不言自明的是，可以在成像设备1或成像设备101中并行执行这些处理。
在步骤S1中，相机控制单元11或相机控制单元111确定是否已从操作输入单元(未示出)等命令了开始拍摄运动图像。在步骤S1中确定尚未命令开始拍摄运动图像的情况下，处理进行到下面描述的步骤S13。
在步骤S1中确定已经命令开始拍摄运动图像的情况下，在步骤S2中，相机控制单元11或相机控制单元111控制各个单元执行成像处理。
具体地讲，相机控制单元11对成像光学系统21进行控制以使得与要拍摄的图像对应的光入射在成像元件22上。在相机控制单元11的控制下，成像元件22以高分辨率(这里，例如，HD分辨率)和高帧速率(这里，例如，每秒240帧，即称作240Hz)获取由具有根据图2所示的拜耳模式的颜色模式的像素数据构成的图像信号，并且将该图像信号提供给存储器控制单元23。此外，相机控制单元111对成像光学系统21进行控制以利用二向棱镜120将与要拍摄的图像对应的光分离成红色分量(R)、绿色分量(G)和蓝色分量(B)，然后使得这些分量分别入射在成像元件121到123上。在相机控制单元111的控制下，成像元件121到123通过接收与各个RGB颜色分量的波长范围对应的光，以高分辨率(这里，例如，HD分辨率)和高帧速率(这里，例如，每秒240帧，即称作240Hz)获取图像信号，并且将该图像信号提供给存储器控制单元124。
在步骤S3中，相机控制单元11或相机控制单元111对各个单元进行控制以开始或继续分割成像数据的处理。
具体地讲，在相机控制单元11或相机控制单元111的控制下，存储器控制单元23或存储器控制单元124以利用图3和图4说明的方式以帧为单位对从成像元件22或成像元件121、122和123提供的成像数据进行分割，并且将得到的成像数据部分分别提供给相机信号处理单元25或相机信号处理单元126。
在步骤S4中，在相机控制单元11或相机控制单元111的控制下，相机信号处理单元25或相机信号处理单元126执行信号处理。
具体地讲，如利用图5说明的，相机信号处理单元25对被提供的RAW数据的白平衡进行校正，执行RGB内插同步即去马赛克处理，并且执行矩阵处理和γ校正。然后，相机信号处理单元25执行颜色空间转换，并且输出产生的HD分辨率、每秒60帧的视频信号(YCbCr4:2:2)。此外，如利用图9说明的，相机信号处理单元126对由各个RGB分量构成的图像数据的白平衡进行校正，并且执行矩阵处理和γ校正。然后，相机信号处理单元126执行颜色空间转换，并且输出产生的HD分辨率、每秒60帧的视频信号(YCbCr4:2:2)。
在步骤S5中，相机控制单元11或相机控制单元111确定是否已命令将正在拍摄的图像输出到取景器。
在步骤S5中确定已经命令输出到取景器的情况下，在步骤S6中，相机控制单元11或相机控制单元111控制将信号处理后的视频数据输出到取景器的处理。
具体地讲，在相机控制单元11或相机控制单元111的控制下，取景器输出单元27获取从#1相机信号处理单元25-1或#1相机信号处理单元126-1输出的视频信号，并且将该视频信号转换成能够在取景器上显示的信号。然后，取景器输出单元27将该信号输出到取景器(未示出)，以显示每秒60帧的帧速率的运动图像。
要注意，取景器的输入信号是RGB信号，取景器输出单元27可以被配置为直接获取尚未由#1相机信号处理单元25-1或#1相机信号处理单元126-1进行颜色空间转换处理的RGB信号。此外，当能够在取景器上显示的运动图像的帧速率是例如每秒120帧的帧速率时，取景器输出单元27可以被设计为获取从#1相机信号处理单元25-1和#3相机信号处理单元25-3、或者#1相机信号处理单元126-1和#3相机信号处理单元126-3(或者#2相机信号处理单元25-2和#4相机信号处理单元25-4、或者#2相机信号处理单元126-2和#4相机信号处理单元126-4)输出的视频信号，以执行帧合成并且将结果输出到取景器(未示出)。作为另一选择，当能够在取景器上显示的运动图像的帧速率是每秒例如240帧时，取景器输出单元27可以被设计为获取从所有的相机信号处理单元25或所有的相机信号处理单元126输出的视频信号以执行帧合成并将结果输出到取景器(未示出)。
在步骤S5中确定尚未命令输出到取景器的情况下，或者在步骤S6的处理完成后，在步骤S7中，相机控制单元11或相机控制单元111确定是否已经命令了正在拍摄的图像的视频输出。
在步骤S7中确定已经命令了正在拍摄的图像的视频输出的情况下，在步骤S8中，相机控制单元11或相机控制单元111开始视频输出处理。
具体地讲，在相机控制单元11或相机控制单元111的控制下，视频输出单元26从相机信号处理单元25或相机信号处理单元126获取信号处理后的视频信号，按照需要执行帧合成以产生预定帧速率的视频信号，并且将该视频信号作为由附图中的k指示的视频输出输出到例如外部记录装置或显示装置、预定的信号传输线等。
此时，在相机控制单元11或相机控制单元111的控制下，视频输出单元26基于要输出的视频信号的帧速率从相机信号处理单元25或相机信号处理单元126获取视频数据，并且执行帧合成。
具体地讲，在输出每秒60帧的帧速率的运动图像数据的情况下，处理后的每秒60帧的视频图像数据从相机信号处理单元25之一或相机信号处理单元126之一提供给视频输出单元26。视频输出单元26输出提供的每秒60帧的视频图像数据。
此外，在输出每秒120帧的帧速率的运动图像数据的情况下，处理后的每秒60帧的两通道视频图像数据从相机信号处理单元25或相机信号处理单元126之中的对均偏移了每秒240帧的电影帧中的两帧的帧进行处理的两个相机信号处理单元25或相机信号处理单元126提供到视频输出单元26。如利用图7说明的，视频输出单元26执行帧合成以使得能够逐帧地交替布置提供的每秒60帧的两通道视频图像数据，并且输出合成的视频图像数据。
此外，在输出每秒240帧的帧速率的运动图像数据的情况下，处理后的每秒60帧的四通道视频图像数据从所有的相机信号处理单元25或所有的相机信号处理单元126提供给视频输出单元26。如利用图6说明的，视频输出单元26执行帧合成以使得能够逐帧地顺序地布置提供的每秒60帧的四通道视频图像数据，并且输出合成的视频图像数据。
在步骤S7中确定尚未命令进行视频输出的情况下，或者在步骤S8的处理完成后，在步骤S9中，相机控制单元11或相机控制单元111确定是否已经命令了记录成像数据。
在步骤S9中确定已经命令了记录成像数据的情况下，在步骤S10中，在相机控制单元11或相机控制单元111的控制下，编解码单元28执行对从相机信号处理单元25或相机信号处理单元126提供的信号处理后的视频图像数据进行编码处理。
在步骤S11中，编解码单元28向记录单元29提供压缩编码的图像数据流以进行记录。
在步骤S9中确定还没有命令记录成像数据的情况下，或者在步骤S11的处理完成后，在步骤S12中，相机控制单元11或相机控制单元111确定是否已经命令了结束拍摄运动图像。在步骤S12中确定还没有命令结束拍摄运动图像的情况下，处理返回到步骤S2，并且重复后续的处理。
在步骤S1中确定还没有命令开始拍摄运动图像的情况下或者在步骤S12中确定已经命令结束拍摄运动图像的情况下，在步骤S13中，相机控制单元11或相机控制单元111确定是否已经命令再现和输出记录在记录单元29上的运动图像。
在步骤S13中确定已经命令再现和输出记录在记录单元29上的运动图像的情况下，在步骤S14中，相机控制单元11或相机控制单元111开始视频输出处理。
具体地讲，如利用图6和图7说明的，在相机控制单元11或相机控制单元111的控制下，视频输出单元26从编解码单元28获取解码的再现图像数据，根据需要执行帧合成以产生预定帧速率的视频信号，并且将该视频信号作为由附图中的k指示的视频输出输出到例如外部记录装置或显示装置、预定的信号传输线等。
此时，在相机控制单元11或相机控制单元111的控制下，视频输出单元26从编解码单元28获取基于要输出的视频信号的帧速率的视频数据，并且执行帧合成。
具体地讲，在输出每秒60帧的帧速率的运动图像数据的情况下，从记录单元29之一读取压缩编码的图像数据流并且由编解码单元28中的对应一个进行解码，以使得将每秒60帧的视频图像数据提供给视频输出单元26。视频输出单元26输出提供的每秒60帧的视频图像数据。
此外，在输出每秒120帧的帧速率的运动图像数据的情况下，从记录单元29之中的记录有均偏移了每秒240帧的电影帧中的两帧的压缩编码的图像数据流的两个记录单元29读取压缩编码的图像数据流，并且由编解码单元28中的对应单元进行解码以使得将每秒60帧的两个视频图像数据提供给视频输出单元26。如利用图7说明的，视频输出单元26执行帧合成以使得能够逐帧地交替布置提供的每秒60帧的两个视频图像数据，并且输出合成的视频图像数据。
此外，在输出每秒240帧的帧速率的运动图像数据的情况下，从所有的记录单元29读取压缩编码的图像数据流并且分别由编解码单元28进行解码以使得将每秒60帧的四个视频图像数据提供给视频输出单元26。如利用图6说明的，视频输出单元26执行帧合成以使得能够逐帧顺序地布置提供的每秒60帧的四个视频图像数据，并且输出合成的视频图像数据。
另外，当已经命令要再现和输出的运动图像的取景器输出时，在相机控制单元11或相机控制单元111的控制下，取景器输出单元27接收从#1编解码单元28-1输出的视频信号，将该视频信号转换成能够在取景器上显示的信号，然后将该信号输出到取景器(未示出)以显示每秒60帧的帧速率的运动图像。
在步骤S15中，相机控制单元11或相机控制单元111确定是否已经命令结束再现和输出记录的运动图像。在步骤S15中确定还没有命令结束再现和输出记录的运动图像的情况下，处理返回到步骤S14，并且重复后续的处理。
在步骤S13中确定还没有命令再现和输出记录的运动图像的情况下或者在步骤S15中确定已经命令结束再现和输出记录的运动图像的情况下，处理结束。
通过上述的这种处理，在成像设备1或成像设备101中，拍摄高帧速率的电影并且以帧为单位将拍摄的数据分割。由此，不需要使用复杂的处理或者高速信号处理电路，就能够对具有高帧速率的运动图像数据进行信号处理或编码并且进行记录。
此外，即使与取景器的显示能力匹配的帧速率低于要拍摄的图像的帧速率，不需要执行复杂的处理，能够在取景器上显示以与取景器的显示能力匹配的帧速率拍摄的电影。此外，即使在期望的输出数据的帧速率与记录的数据的帧速率不同的情况下，不需要执行复杂的处理，就能够输出预定帧速率的数据。
接下来，将参照图11和图12的流程图说明由成像设备1或成像设备101执行的成像数据分割处理。
在步骤S41中，相机控制单元11或相机控制单元111对要从存储器控制单元23写入帧存储器24或者要从存储器控制单元124写入帧存储器125的成像数据的写开始地址进行设置。
在步骤S42中，相机控制单元11或相机控制单元111开始或继续从存储器控制单元23到帧存储器24或者从存储器控制单元124到帧存储器125的成像数据的块写入。这里，术语“块”是访问帧存储器24或帧存储器125能够一次交换的数据单位，并且在这里被假定为一行的像素数据。
在步骤S43中，相机控制单元11或相机控制单元111确定是否已将4帧的成像数据写入帧存储器24或帧存储器125。在步骤S43中确定还没有写入4帧的成像数据的情况下，处理返回到步骤S42，并且重复后续的处理。
在步骤S43中确定已经写入了4帧的成像数据的情况下，在步骤S44中，相机控制单元11或相机控制单元111针对4帧对要从帧存储器24或帧存储器125读取的成像数据的读开始地址进行设置。这里，要从帧存储器24或帧存储器125读取的成像数据的读开始地址与写入帧存储器24或帧存储器125中的成像数据的对应4帧的开始地址一致。也就是说，对4帧的成像数据的读开始地址进行设置，以使得能够并行地顺序读取基于在将在下面描述的步骤S41或S46的处理中设置的写开始地址写入帧存储器24或帧存储器125中的4帧的成像数据。
在步骤S45中，相机控制单元11或相机控制单元111对用于确定从帧存储器24或帧存储器125读取的成像数据所提供到的目的地的计数器C的值进行初始化。
在步骤S46中，相机控制单元11或相机控制单元111对接下来要从存储器控制单元23写到帧存储器24或者从存储器控制单元124写到帧存储器125的成像数据的写开始地址进行设置。在步骤S46中，对用于将新的4帧的成像数据写入与当前写入在帧存储器24或帧存储器125的4帧的成像数据的记录区域不同的区域中的写开始地址进行设置。
在步骤S47中，相机控制单元11或相机控制单元111基于在步骤S46中设置的写地址的值或者在下面描述的处理中增加的写地址的值，开始或继续从存储器控制单元23到帧存储器24或者从存储器控制单元124到帧存储器125的成像数据的块写入。
在步骤S48中，相机控制单元11或相机控制单元111确定用于确定从帧存储器24或帧存储器125读取的成像数据被提供到的目的地的计数器C的值是否满足条件C＝0。
在步骤S48中确定计数器C的值满足条件C＝0的情况下，在步骤S49中，相机控制单元11或相机控制单元111基于已经写入帧存储器24或帧存储器125中(即，其读地址已被设置)的4帧的成像数据之中的在时间上最早的帧的读地址，使得成像数据以块为单位从帧存储器24读入存储器控制单元23或者从帧存储器125读入存储器控制单元124。在相机控制单元11或相机控制单元111的控制下，存储器控制单元23或存储器控制单元124将已读入的一块的成像数据提供给#1相机信号处理单元25-1或#1相机信号处理单元126-1，并且处理进行到步骤S55。
在步骤S48中确定计数器C的值不满足条件C＝0的情况下，在步骤S50中，相机控制单元11或相机控制单元111确定用于确定从帧存储器24或帧存储器125读取的成像数据被提供到的目的地的计数器C的值是否满足条件C＝1。
在步骤S50中确定计数器C的值满足条件C＝1的情况下，在步骤S51中，相机控制单元11或相机控制单元111基于已经写入帧存储器24或帧存储器125(即，其读地址已被设置)的4帧的成像数据之中的在时间上第二早的帧的读地址，使得成像数据以块为单位从帧存储器24读入存储器控制单元23或者从帧存储器125读入存储器控制单元124。在相机控制单元11或相机控制单元111的控制下，存储器控制单元23或存储器控制单元124将已读入的一块的成像数据提供给#2相机信号处理单元25-2或#2相机信号处理单元126-2，并且处理进行到步骤S55。
在步骤S50中确定计数器C的值不满足条件C＝1的情况下，在步骤S52中，相机控制单元11或相机控制单元111确定用于确定从帧存储器24或帧存储器125读取的成像数据被提供到的目的地的计数器C的值是否满足条件C＝2。
在步骤S52中确定计数器C的值满足条件C＝2的情况下，在步骤S53中，相机控制单元11或相机控制单元111基于已经写入帧存储器24或帧存储器125中(即，其读地址已被设置)的4帧的成像数据之中的在时间上第三早的帧的读地址，使得成像数据以块为单位从帧存储器24读入存储器控制单元23或者从帧存储器125读入存储器控制单元124。在相机控制单元11或相机控制单元111的控制下，存储器控制单元23或存储器控制单元124将已读入的一块的成像数据提供给#3相机信号处理单元25-3或#3相机信号处理单元126-3，并且处理进行到步骤S55。
在步骤S52中确定计数器C的值不满足条件C＝2的情况下，计数器C的值满足条件C＝3。因此，在步骤S54中，相机控制单元11或相机控制单元111基于已经写入帧存储器24或帧存储器125中(即，其读地址已被设置)的4帧的成像数据之中的在时间上最后的帧的读地址，使得成像数据以块为单位从帧存储器24读入存储器控制单元23或者从帧存储器125读入存储器控制单元124。在相机控制单元11或相机控制单元111的控制下，存储器控制单元23或者存储器控制单元124将已读入的一块的成像数据提供给#4相机信号处理单元25-4或#4相机信号处理单元126-4，并且处理进行到步骤S55。
在步骤S49、S51、S53或S54的处理完成后，在步骤S55中，相机控制单元11或相机控制单元111将用于确定从帧存储器24或帧存储器125读取的成像数据被提供到的目的地的计数器C的值增加。这里，当计数器C的值是3时，计数器C被初始化为0。
在步骤S56中，相机控制单元11或相机控制单元111确定已经设置了读地址的4帧的读取是否完成。在步骤S56中确定已经设置了读地址的4帧的读取已经完成的情况下，处理返回到步骤S44，并且重复后续的处理。
在步骤S56中确定已经设置了读地址的4帧的读取还没有完成的情况下，在步骤S57中，相机控制单元11或相机控制单元111将与在步骤S49、S51、S53或S54中读取的帧对应的读地址增加。
在步骤S58中，相机控制单元11或相机控制单元111确定在帧存储器24或帧存储器125中写入在步骤S46中已设置了其写开始地址的一帧是否完成。在步骤S58中确定一帧的写入已经完成的情况下，处理返回到步骤S46，并且重复后续的处理。
在步骤S58中确定一帧的写入还没有完成的情况下，在步骤S59中，相机控制单元11或相机控制单元111将写地址增加。
在步骤S60中，相机控制单元11或相机控制单元111确定是否命令了结束成像。
在步骤S60中确定还没有命令结束成像的情况下，处理返回到步骤S47，并且重复后续的处理。在步骤S60中确定已经命令了结束成像的情况下，处理结束。
通过上述的这种处理，拍摄的视频图像数据被分割成帧速率为成像帧速率的1/4的四个视频图像数据部分，并且这些视频图像数据部分被分别并行提供给四个相机信号处理单元。换言之，拍摄的视频图像数据是这样的：构成各个帧的数据的一部分并行地顺序地提供给四个相机信号处理单元，从而使帧能够提供给四个相机信号处理单元中的每个。因此，成像设备1和成像设备101形成高分辨率和是一般广泛用于拍摄运动图像的帧速率(例如，每秒60帧)的N倍(例如，四倍)的高帧速率的成像数据的N个并行流，由此能够执行与以普通帧速率拍摄图像的情况下相似的信号处理、图像压缩处理和记录处理。
此外，成像设备1或成像设备101能够在图10的步骤S8的处理中输出成像数据作为视频或者在图10的步骤S14的处理中输出记录的数据作为视频。如上所述，视频输出所需的帧速率可以与成像帧速率不同。具体地讲，在成像帧速率是每秒4M帧的情况下(其中，M例如是与一般广泛用于拍摄运动图像的帧速率对应的值)，要输出的视频信号的帧速率可以是每秒M帧、每秒2M帧或每秒4M帧。
接下来，将参照图13和图14的流程图说明在成像设备1或成像设备101中执行的视频输出处理。
在步骤S101中，相机控制单元11或相机控制单元111获取输出帧速率的设置值。这里，将说明如下的情况：以每秒240帧的帧速率拍摄图像，对四个数据部分进行帧合成，并且以每秒240帧输出得到的数据。
在步骤S102中，相机控制单元11或相机控制单元111基于输出帧速率的设置值，确定从其读取图像数据的记录单元29或相机信号处理单元25或126。
具体地讲，当在成像设备1或成像设备101中以每秒240帧的帧速率拍摄的数据被分割成四个部分的情况下，如果输出帧速率是每秒60帧，则选择四个记录单元29或者相机信号处理单元25或126中的一个作为从其读取图像数据流的目标。如果输出帧速率是每秒120帧，则选择四个记录单元29或具有不连续(偏移了两帧)的数据帧的相机信号处理单元25或126中的两个作为从其读取图像数据流的目标。如果输出帧速率是每秒240帧，则选择四个记录单元29或所有的相机信号处理单元25或126作为从其读取图像数据流的目标。
在步骤S103中，当视频输出是输出记录在记录单元29上的数据的处理时，相机控制单元11或相机控制单元111开始从预定的记录单元29读取图像数据流并且控制编解码单元28执行解码处理。
在步骤S104中，相机控制单元11或相机控制单元111针对4帧对要写入视频输出单元26的帧存储器(未示出)中的视频图像数据的写开始地址进行设置。
在步骤S105中，相机控制单元11或相机控制单元111对用于确定从其获取要写入视频输出单元26的帧存储器(未示出)中的数据的编解码单元28或相机信号处理单元25或126的计数器C的值进行初始化。
这里，在假定以每秒240帧的帧速率拍摄图像、对四个数据部分进行帧合成并以每秒240帧输出得到的数据的情况下给出说明。因此，假定计数器C的值在0到3的范围内进行递增。与之相对，在对构成四通道数据部分中的每秒60帧的两通道视频图像数据的帧进行合成并且以每秒120帧输出结果的情况下，计数器C的值交替地取0和2或者交替地取1和3。此外，在以每秒60帧输出视频图像数据的情况下，计数器C的值不会增加，并且在0到3的范围内恒定。
在步骤S106中，相机控制单元11或相机控制单元111把从视频输出单元26的帧存储器(未示出)输出的要读取的视频图像数据的读开始地址设置在在已经记录在帧存储器上的4帧的视频图像数据之中接下来要读取的帧的开始行中。
在步骤S107中，相机控制单元11或相机控制单元111确定用于确定从其获取要写入帧存储器(未示出)的数据的编解码单元28或相机信号处理单元25或126的计数器C的值是否满足条件C＝0。
在步骤S107中确定条件C＝0成立的情况下，在步骤S108中，相机控制单元11或相机控制单元111基于4帧之中的在时间上最早的第一帧的写地址，针对帧存储器中的每行，例如以块为单位写入从#1编解码单元28-1或#1相机信号处理单元25-1或126-1提供的视频图像数据，并且处理进行到步骤S114。
在步骤S107中确定条件C＝0不成立的情况下，在步骤S109中，相机控制单元11或相机控制单元111确定用于确定从其获取要写入帧存储器(未示出)的数据的编解码单元28或相机信号处理单元25或126的计数器C的值是否满足条件C＝1。
在步骤S109中确定条件C＝1成立的情况下，在步骤S110中，相机控制单元11或相机控制单元111基于4帧之中的在时间上第二早的第二帧的写地址，针对帧存储器的每行，例如以块为单位写入从#2编解码单元28-2或者#2相机信号处理单元25-2或126-2提供的视频图像数据，并且处理进行到步骤S114。
在步骤S109中确定条件C＝1不成立的情况下，在步骤S111中，相机控制单元11或相机控制单元111确定用于确定从其获取要写入帧存储器(未示出)的数据的编解码单元28或相机信号处理单元25或126的计数器C的值是否满足条件C＝2。
在步骤S111中确定条件C＝2成立的情况下，在步骤S112中，相机控制单元11或相机控制单元111基于4帧之中的在时间上第三早的第三帧的写地址，针对帧存储器中的每行，例如以块为单位写入从#3编解码单元28-3或#3相机信号处理单元25-3或126-3提供的视频图像数据，并且处理进行到步骤S114。
在步骤S111中确定条件C＝2不成立的情况下，条件C＝3成立。因此，在步骤S113中，相机控制单元11或相机控制单元111基于4帧之中的在时间上最后的第四帧的写地址，针对视频输出单元26的帧存储器(未示出)的每行，例如以块为单位写入从#4编解码单元28-4或#4相机信号处理单元25-4或126-4提供的视频图像数据，并且处理进行到步骤S114。
在步骤S108、S110、S112或S113的处理完成后，在步骤S114中，相机控制单元11或相机控制单元111将计数器C的值增加。这里，当计数器C的值为3时，计数器C被初始化为0。
在步骤S115中，相机控制单元11或相机控制单元111确定已经在步骤S46中设置了写开始地址的4帧的写入是否已经完成。在步骤S115中确定4帧的写入已经完成的情况下，处理返回到步骤S104，并且重复后续的处理。
在步骤S115中确定4帧的写入还没有完成的情况下，在步骤S116中，相机控制单元11或相机控制单元111将与在步骤S108、S110、S112或S113的处理中已执行写入的帧对应的写地址增加。
在步骤S117中，相机控制单元11或相机控制单元111基于读地址以块为单位读取记录在视频输出单元26的帧存储器(未示出)上的成像数据。
在步骤S118中，相机控制单元11或相机控制单元111确定一帧的读取是否已经完成。在步骤S118中确定一帧的读取已经完成的情况下，处理返回到步骤S106，并且重复后续的处理。
在步骤S118中确定一帧的读取还没有完成的情况下，在步骤S119中，相机控制单元11或相机控制单元111将读地址增加。
在步骤S120中，相机控制单元11或相机控制单元111确定是否已命令结束视频输出。在步骤S120中确定还没有命令结束视频输出的情况下，处理返回到步骤S107，并且重复后续的处理。在步骤S120中确定已经命令了结束视频输出的情况下，处理结束。
通过上述的这种处理，能够对已经被分割成四个视频图像数据部分的、帧速率为成像帧速率的1/4的视频图像数据进行帧合成并且输出。
要注意，这里，在假定将以每秒240帧拍摄的图像分割成作为每秒60帧的运动图像数据进行处理并记录的四份，并且在再现和输出期间根据需要执行帧合成的情况下给出说明。然而，不言自明的是，可以使用拍摄图像的任何其它帧速率以及任何其它份数。
具体地讲，例如，以每秒240帧拍摄的运动图像可以被分割成两个或三个部分，或者以每秒120帧拍摄的运动图像可以被分割成两个或三个部分。此外，以每秒200帧拍摄的运动图像可以被分割成四个部分，或者以每秒100帧拍摄的运动可以被分割成两个部分。作为另一选择，以每秒96帧拍摄的运动图像可以被分割成四个部分，或者以每秒48帧拍摄的运动图像可以被分割成两个部分。
此时，当每个通道的运动图像数据部分具有一般广泛用于拍摄运动图像的帧速率(例如，每秒60帧、每秒50帧或每秒24帧)时，例如，可将通用产品用于信号处理或编解码所需的电路等，并且能够降低成本。
此外，这里，对作为示例的每个通道的部分的帧速率彼此相等的情况进行了说明。然而，不言自明的是，每个通道的部分可以具有不同的帧速率。
另外，在上述说明中，对拍摄HD分辨率的图像的情况进行了说明。然而，不言自明的是，本发明还可以应用于拍摄不同分辨率的图像的情况或以隔行格式显示图像的情况。
也就是说，应用了本发明的成像设备包括能够以是一般广泛用于拍摄运动图像的帧速率的N倍的帧速率拍摄图像的固态成像元件，并且能够以帧为单位将图像分割成N个部分从而产生帧速率为成像帧速率的1/N的N个通道的运动图像数据。可以利用N个并行处理电路并行处理和记录各个通道的运动图像数据。然后，应用了本发明的成像设备不需要执行复杂的处理就能够处理高分辨率和高帧速率的成像信号或者长时间记录成像信号。
另外，在应用了本发明的成像设备中，并行记录的运动图像数据是帧速率为成像帧速率的1/N(即，一般广泛用于拍摄运动图像的普通帧速率)的运动图像数据。通过仅仅再现一个通道能够再现普通帧速率的运动图像，通过再现两个通道能够再现为普通帧速率的两倍的帧速率的运动图像，并且通过再现N个通道能够再现为普通帧速率的N倍的帧速率的图像。
此外，在本发明中，为了并行执行处理，此外，为了长时间记录高分辨率、高帧速率的图像，例如，以帧为最小单位对成像数据进行分割，而不需要针对每个片段或者在预定的矩形范围内，将成像数据的每帧分割成多个部分。这使得可以单独再现和显示产生的每个通道的运动图像数据部分。另外，将要合成的帧的数目改变以使不同帧速率的再现和输出更容易。此外，在对以低于成像数据的帧速率的帧速率记录的运动图像被再现的情况下，不需要对不显示的通道执行编解码。
通过这样做，能够提供一种能够长时间记录高分辨率和高帧速率的图像并且不需要执行复杂的处理就能够根据需要利用记录的运动图像数据部分通过对帧进行重新布置输出多个帧速率的再现数据的成像设备。
要注意，在显示运动图像的情况下，根据帧速率或场速率的增加，由观看显示的图像的观察者给出的急动或运动模糊的评价值提高。图15示出了针对多个用户，电影的帧速率与利用五个等级作为控制对图像质量进行评价的情况下的评价值之间的关系的示例。
在每秒150帧附近针对急动(jerkiness)和运动模糊，平均地实现了五等级评价中的4以上等级的评价，具有如下趋势：评价值增加直至接近每秒250帧，而在更高帧速率或场速率下评价值没有增加太多(例如，见日本未审专利申请公报No.2004-266808)。
当前广泛采用的许多视频资源是每秒50帧或每秒60帧的。因此，考虑视频资源的效率的理想频率是为每秒50帧或60帧的整数倍的频率，即每秒240帧或每秒200帧。当输出场速率具有以上任何值时，观看显示的图像的观察者不会观察到闪烁或者基本不会察觉到急动或运动模糊，这是优选的。此外，由于当前广泛采用的许多视频资源是每秒50帧或每秒60帧的，所以当某部分的帧速率是每秒50帧或每秒60帧时，可将通用产品用于执行信号处理或编解码的电路，并且能够降低成本。
能够通过硬件或软件执行上述的一系列处理。该软件可以从记录介质安装到构成该软件的程序被包括在专用硬件内的计算机中或者例如能够通过安装各种程序执行各种功能的通用个人计算机等中。在这种情况下，通过如图16所示的个人计算机500执行上述的处理。
在图16中，CPU(中央处理单元)501根据存储在ROM(只读存储器)502中的程序或者从存储单元508加载到RAM(随机存取存储器)503的程序执行各种处理。RAM503还按需要存储CPU501执行各种处理所需的数据等。
CPU501、ROM502和RAM503经由内部总线504彼此连接。输入/输出接口505也连接到该内部总线504。
输入/输出接口505连接到由键盘、鼠标等组成的输入单元506、由包括CRT、LCD等的显示器、扬声器等组成的输出单元507、由硬盘等构成的存储单元508和由调制解调器、终端适配器等构成的通信单元509。通信单元509经由包括电话线和CATV的各种网络执行通信处理。
根据需要，输入/输出接口505还连接到驱动器510，在驱动器510中按需要安置有由磁盘、光盘、磁光盘、半导体存储器等构成的可移动介质521。根据需要，从驱动器510读取的计算机程序被安装到存储单元508中。
在通过软件执行这一系列处理的情况下，从网络或记录介质安装构成该软件的程序。
不仅可以如图16所示由与计算机分离而置以向用户提供程序的记录有程序的可移动介质521构成的套装介质构成该记录介质，还可以由在预先包括在设备主体中的状态下提供给用户的记录有程序的ROM502、包括存储单元508的硬盘等构成该记录介质。
要注意，在通过软件执行上述的一系列处理的情况下，可以由CPU501执行信号处理和编解码，或者可以准备执行信号处理和编解码的硬件部件并且CPU501可以执行用于控制这些硬件部件的程序(执行基本与由相机控制单元11或相机控制单元111执行的控制相似的控制)。
要注意，在本说明书中，描述计算机程序的步骤被设计为包括根据这里描述的顺序按照时间序列执行的处理以及不必按照时间序列进行处理的并行或单独执行的处理。
要注意，本发明的实施例不限于上述的实施例，并且在不脱离本发明的范围的情况下可以进行各种修改。

Claims (14)

1.一种成像设备，包括：
成像装置，用于获得第一速率的成像数据；
数据分割装置，用于以帧为单位对由成像装置拍摄的第一速率的成像数据进行分配，并且将该成像数据分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；
N个图像处理装置，用于对由数据分割装置获得的N个通道的运动图像数据进行并行处理；以及
输出装置，用于输出由图像处理装置进行了处理的N个通道的运动图像数据，
其中，所述输出装置仅输出N个通道的运动图像数据中的一个通道，或者输出基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分执行帧合成而获得的结果。
2.根据权利要求1的成像设备，还包括记录装置，所述记录装置用于记录由图像处理装置进行了处理的N个通道的运动图像数据，
其中，所述输出装置输出记录在所述记录装置上的N个通道的运动图像数据的至少一部分。
3.根据权利要求2的成像设备，其中，所述记录装置被配置为设置N个记录装置或者使记录装置被分割成N个区域，并且分别记录由图像处理装置进行了处理的N个通道的运动图像数据。
4.根据权利要求1的成像设备，其中，第二速率是每秒60帧。
5.根据权利要求1的成像设备，其中，第二速率是每秒50帧。
6.根据权利要求1的成像设备，其中，第二速率是每秒24帧。
7.根据权利要求1的成像设备，其中，N个通道是四个通道。
8.根据权利要求1的成像设备，其中，N个通道是两个通道。
9.根据权利要求1的成像设备，其中，第一速率是每秒240帧。
10.根据权利要求1的成像设备，还包括记录装置，所述记录装置用于记录由图像处理装置进行了处理的N个通道的运动图像数据。
11.根据权利要求10的成像设备，其中，所述记录装置被配置为设置N个记录装置或者使记录装置被分割成N个区域，并且分别记录由图像处理装置进行了处理的N个通道的运动图像数据。
12.根据权利要求10的成像设备，还包括编码装置，所述编码装置用于对由图像处理装置进行了处理的N个通道的运动图像数据进行编码，
其中，所述记录装置记录由编码装置进行了编码的N个通道的运动图像数据。
13.根据权利要求12的成像设备，还包括：
解码装置，用于对由编码装置进行了编码并且由记录装置记录的N个通道的运动图像数据进行解码，
其中，解码装置仅对N个通道的运动图像数据中的一个通道进行解码，或者基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分进行解码，并且
输出装置输出N个通道的运动图像数据中的由解码装置进行了解码的所述一个通道，或者输出基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分执行帧合成而获得的结果。
14.一种用于拍摄运动图像数据的成像设备的成像方法，所述成像方法包括如下步骤：
以第一速率执行成像；
以帧为单位将拍摄的第一速率的成像数据分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；
利用N个并行单元对获得的N个通道的运动图像数据进行处理；以及
输出由所述N个并行单元进行了处理的N个通道的运动图像数据，
其中，仅输出N个通道的运动图像数据中的一个通道，或者输出基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分执行帧合成而获得的结果。
CN200880021695.4A 2007-06-29 2008-06-30 成像设备和成像方法 Expired - Fee Related CN101690190B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007171672A JP2009010821A (ja) 2007-06-29 2007-06-29 撮像装置および撮像方法、記録媒体、並びに、プログラム
JP171672/2007 2007-06-29
PCT/JP2008/061835 WO2009005034A1 (ja) 2007-06-29 2008-06-30 撮像装置および撮像方法、記録媒体、並びに、プログラム

Publications (2)

Publication Number Publication Date
CN101690190A CN101690190A (zh) 2010-03-31
CN101690190B true CN101690190B (zh) 2015-11-25

Family

ID=40226078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880021695.4A Expired - Fee Related CN101690190B (zh) 2007-06-29 2008-06-30 成像设备和成像方法

Country Status (6)

Country Link
US (3) US8687079B2 (zh)
EP (1) EP2164257A4 (zh)
JP (1) JP2009010821A (zh)
KR (1) KR20100027167A (zh)
CN (1) CN101690190B (zh)
WO (1) WO2009005034A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009010821A (ja) * 2007-06-29 2009-01-15 Sony Corp 撮像装置および撮像方法、記録媒体、並びに、プログラム
KR101291559B1 (ko) * 2009-05-22 2013-08-08 삼성탈레스 주식회사 실시간 다중 영상압축 장치 및 방법
JP5424930B2 (ja) * 2010-02-19 2014-02-26 キヤノン株式会社 画像編集装置およびその制御方法およびプログラム
JP5088395B2 (ja) * 2010-04-15 2012-12-05 株式会社ニコン 電子カメラ
JP5317023B2 (ja) * 2010-09-16 2013-10-16 カシオ計算機株式会社 手ぶれ補正装置、手ぶれ補正方法およびプログラム
US8736695B2 (en) * 2010-11-12 2014-05-27 Qualcomm Incorporated Parallel image processing using multiple processors
US20140308017A1 (en) * 2011-11-25 2014-10-16 Mitsubishi Electric Corporation Imaging device, video recording device, video display device, video monitoring device, video monitoring system, and video monitoring method
JP2013141064A (ja) * 2011-12-28 2013-07-18 Jvc Kenwood Corp 撮像装置、及び制御方法
JP5972016B2 (ja) * 2012-04-10 2016-08-17 キヤノン株式会社 撮像装置
JP5979948B2 (ja) * 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
JP5979949B2 (ja) 2012-04-11 2016-08-31 キヤノン株式会社 画像データ送信装置及び画像データ受信装置
KR101889932B1 (ko) * 2012-07-25 2018-09-28 삼성전자주식회사 촬영 장치 및 이에 적용되는 촬영 방법
JP5811106B2 (ja) * 2013-01-11 2015-11-11 セイコーエプソン株式会社 映像処理装置、表示装置および映像処理方法
JP2015001549A (ja) * 2013-06-13 2015-01-05 ソニー株式会社 信号出力装置、信号出力方法、及び映像表示装置
KR102102177B1 (ko) * 2013-09-03 2020-05-29 삼성전자 주식회사 반도체 장치 및 그 구동 방법
JP5933869B2 (ja) * 2014-02-28 2016-06-15 三菱電機株式会社 ディスク再生装置
EP3123708B1 (en) * 2014-04-04 2019-08-21 Red.Com, Llc Broadcast module for a digital camera
JP6343163B2 (ja) * 2014-04-07 2018-06-13 キヤノン株式会社 集積回路装置
CN104219529B (zh) * 2014-09-02 2018-09-25 广东威创视讯科技股份有限公司 图像缩放方法、系统及装置
KR102305470B1 (ko) 2015-02-13 2021-09-28 삼성전자주식회사 복수의 영상 처리 채널을 통해 병렬로 영상 신호 처리를 수행하는 영상 신호 처리 장치
US9591254B2 (en) * 2015-03-26 2017-03-07 Qualcomm Incorporated Device and method for processing video data
JP6281518B2 (ja) * 2015-03-30 2018-02-21 ソニー株式会社 映像送信装置、映像受信装置、映像送信方法、映像伝送方法および映像伝送システム
CN106934326B (zh) * 2015-12-29 2020-07-07 同方威视技术股份有限公司 用于安全检查的方法、系统和设备
JP6922897B2 (ja) * 2016-04-13 2021-08-18 ソニーグループ株式会社 Ａｖサーバおよびａｖサーバシステム
KR102537210B1 (ko) * 2016-07-29 2023-05-26 삼성전자주식회사 동영상 컨텐츠 제공 방법 및 이를 지원하는 전자 장치
JP6732594B2 (ja) * 2016-08-04 2020-07-29 キヤノン株式会社 画像処理装置及び光学機器及び画像処理方法
JP6362116B2 (ja) * 2016-11-30 2018-07-25 キヤノン株式会社 表示装置及びその制御方法、プログラム、記憶媒体
JP2018133710A (ja) * 2017-02-15 2018-08-23 キヤノン株式会社 画像処理装置および撮像装置
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
JP6493454B2 (ja) * 2017-06-07 2019-04-03 株式会社ニコン 電子カメラ
RU177338U1 (ru) * 2017-07-25 2018-02-16 Акционерное общество "Научно-производственное объединение "Государственный институт прикладной оптики" (АО "НПО ГИПО") Оптико-электронное устройство
RU2663537C1 (ru) * 2017-07-25 2018-08-07 Акционерное общество "Научно-производственное объединение "Государственный институт прикладной оптики" (АО "НПО ГИПО") Оптико-электронное устройство
JP7068787B2 (ja) * 2017-08-15 2022-05-17 日本放送協会 映像信号送信装置
CN110868560B (zh) * 2018-08-27 2022-04-15 青岛海信移动通信技术股份有限公司 一种基于双目相机的录像方法及终端设备
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
US11985747B2 (en) 2021-12-08 2024-05-14 Carlo Van de Roer Apparatus and method for filming a scene using lighting setups actuated repeatedly during each entire frame without visible flicker on set while acquiring images synchronously with the lighting setups only during a portion of each frame

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784940B1 (en) * 1998-12-22 2004-08-31 Sony Corporation Transmitting apparatus, and method for transmitting video signals of high speed image pickup apparatus

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59230387A (ja) * 1983-06-13 1984-12-24 Sony Corp ビデオ信号発生装置
JPS63128881A (ja) * 1986-11-19 1988-06-01 Hitachi Medical Corp 高速度動画像記録再生装置
JP2675065B2 (ja) 1988-05-13 1997-11-12 株式会社日立製作所 高速撮影システム
JPH05128411A (ja) * 1991-10-30 1993-05-25 Matsushita Electric Ind Co Ltd 磁気記録再生システム
JPH05316402A (ja) 1992-05-13 1993-11-26 Nippon Avionics Co Ltd 高速ビデオカメラ
US5677981A (en) * 1994-06-14 1997-10-14 Matsushita Electric Industrial Co., Ltd. Video signal recording apparatus which receives a digital progressive scan TV signal and switches the progressive signal frame by frame alternately
JPH0888833A (ja) 1994-09-19 1996-04-02 Fuotoron:Kk 変換装置および逆変換装置ならびにこれらを具備したスローモーション表示装置
CN1474604A (zh) * 1996-12-06 2004-02-11 松下电器产业株式会社 图像信号传送、编码和解码方法和装置以及光盘记录和再现方法
JPH10271433A (ja) * 1997-03-26 1998-10-09 Matsushita Electric Ind Co Ltd 光ディスク記録方法および再生方法
JP2004266808A (ja) 2003-02-10 2004-09-24 Sony Corp 画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム
US20050128217A1 (en) * 2003-12-12 2005-06-16 Boaz Cohen Device, system and method for video signal modification
JP4725183B2 (ja) 2005-05-11 2011-07-13 ソニー株式会社 撮像装置、および方法
US20070086528A1 (en) * 2005-10-18 2007-04-19 Mauchly J W Video encoder with multiple processors
JP2009010821A (ja) * 2007-06-29 2009-01-15 Sony Corp 撮像装置および撮像方法、記録媒体、並びに、プログラム
JP5128411B2 (ja) 2008-08-07 2013-01-23 株式会社 シリコンプラス ポリシリコンの製造装置及びポリシリコンの製造方法
JP5316402B2 (ja) 2009-12-25 2013-10-16 サクサ株式会社 枢支構造およびそれを利用したカード処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6784940B1 (en) * 1998-12-22 2004-08-31 Sony Corporation Transmitting apparatus, and method for transmitting video signals of high speed image pickup apparatus

Also Published As

Publication number Publication date
JP2009010821A (ja) 2009-01-15
CN101690190A (zh) 2010-03-31
EP2164257A1 (en) 2010-03-17
US8687079B2 (en) 2014-04-01
US20150271462A1 (en) 2015-09-24
US9609298B2 (en) 2017-03-28
US20140161424A1 (en) 2014-06-12
US20100157090A1 (en) 2010-06-24
US9071813B2 (en) 2015-06-30
EP2164257A4 (en) 2010-11-03
WO2009005034A1 (ja) 2009-01-08
KR20100027167A (ko) 2010-03-10

Similar Documents

Publication Publication Date Title
CN101690190B (zh) 成像设备和成像方法
US10582151B2 (en) Camera system, video processing apparatus, and camera apparatus
CN1697490B (zh) 影像装置
US8131071B2 (en) Digital video camera non-integer-ratio Bayer domain scaler
US8878989B2 (en) Divided image circuit, communication system, and method of transmitting divided image
US20180109797A1 (en) Moving image compression device, moving image decoding device, image compression device, image decoding device, imaging device, and non-transitory medium storage program
CN101094322A (zh) 图像处理设备、成像设备及其方法
US7554603B2 (en) Video-signal-processing device and video-signal-transfer method
JP2008124671A (ja) 撮像装置および撮像方法
CN100589574C (zh) 视频数据转换的系统及方法
US7463295B2 (en) Characteristic correction apparatus for gamma correcting an image based on the image type
US6134375A (en) Image signal recording and reproducing apparatus
JPH02123879A (ja) 交換レンズユニット及び撮像装置
US8842193B2 (en) Imaging apparatus
EP1126718A2 (en) Image decoding apparatus and image decoding method
JP3928485B2 (ja) 映像信号表示装置
EP0993190A2 (en) Image data recording and reproducing method, apparatus and medium
JPH09116898A (ja) 映像信号伝送システム
CN110572621A (zh) 一种全景视频实时拼接的方法
US8350962B2 (en) Method and system for video format conversion
EP1750457A1 (en) Method and circuit arrangement for processing a video signal, and respective camera
CN104145478A (zh) 图像信号处理方法和装置
JPH10224744A (ja) 映像伝送方法、及び映像再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20210630