CN1977532A - 摄像装置及方法 - Google Patents

摄像装置及方法 Download PDF

Info

Publication number
CN1977532A
CN1977532A CNA2006800003997A CN200680000399A CN1977532A CN 1977532 A CN1977532 A CN 1977532A CN A2006800003997 A CNA2006800003997 A CN A2006800003997A CN 200680000399 A CN200680000399 A CN 200680000399A CN 1977532 A CN1977532 A CN 1977532A
Authority
CN
China
Prior art keywords
compression
encoding
sampling rate
view data
encoding device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800003997A
Other languages
English (en)
Other versions
CN1977532B (zh
Inventor
辻村贵
榎本沢朗
米田丰
福永将嗣
宫腰大辅
池田伸穗
久保学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1977532A publication Critical patent/CN1977532A/zh
Application granted granted Critical
Publication of CN1977532B publication Critical patent/CN1977532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供了一种摄像装置及方法。通过便宜的摄像装置，将以高于标准的高速画面速率拍摄的图像存储为现有技术的视频格式。将通过拍摄获得的图像数据以第一画面速率输出至第一压缩编码装置，并进行压缩编码，临时存储于暂存装置中。当只在规定时间内从第一压缩编码装置向暂存装置写入图像数据后，通过解压解码装置以低于第一画面速率的第二画面速率读出上述图像数据，并进行解压解码，存储至存储装置中。

Description

摄像装置及方法
技术领域
本发明涉及一种摄像装置及方法。尤其是，本发明涉及一种使用固态摄像元件拍摄图像的摄像装置及方法。
背景技术
近些年来，以数码相机为代表的摄像设备之间的竞争愈演愈烈，同时，在民用的摄像设备领域中，也要求进一步提高画质、高集成化和多功能化。因此，迄今为止，仅用于商业用途的特殊功能也开始向民用设备普及。以高于普通摄像速率的高速速率进行摄像的高速摄像功能就是上述特殊功能中具有代表性的功能。
在现有技术的摄像装置中，以高速速率处理的每一张图像的尺寸被转换为诸如1/4标准图像大小的小尺寸，并在标准速率的图像中嵌入具有小尺寸的四幅图像，由此实现高速摄像(例如参照专利文献1)。而且，通过采用并行处理从传感器输出的数据的电路结构，使单位时间内的图像数据处理量增加，从而能够实现高速摄像(例如参照专利文献2)。
然而，如同上述专利文献1记载的发明，对于通过嵌入多张图像而存储的图像，再生时，为了逐张取出并显示，需要存储或读出该数据的专用规格，因此，存在着制造成本增加、通用性差的问题。而且，如同上述专利文献2中记载的发明，如果形成并行处理电路，仅此一点，就会导致制造成本的升高、以及便携性降低的问题。
[专利文献1]特开平8-88833号公报(段落号[0011]至[0014]、及图1)
[专利文献2]特开平8-251492号公报(段落号[0018]至[0027]、及图1)
发明内容
因此，鉴于上述技术缺陷，本发明的目的在于提供一种价格低廉的摄像装置，能够以已知的视频格式保存以高于标准的高速画面速率所拍摄的图像。
而且，本发明的目的还在于提供一种摄像方法，可以较低的成本实现以已知的视频格式保存以高于标准的高速画面速率拍摄的图像。
为了解决上述技术问题，本发明提供了一种使用固态摄像元件拍摄图像的摄像装置，在该摄像装置中包括：第一压缩编码装置，以第一画面速率接收通过摄像得到的图像数据，并进行压缩编码；暂存装置，用于暂时存储通过第一压缩编码装置执行压缩编码得到的图像数据；解压解码装置，用于将预定时间内拍摄的图像数据以低于第一画面速率的第二画面速率从暂存装置中读出，并对从暂存装置中读出的图像数据进行解压解码；第二压缩编码装置，用于对通过解压解码装置执行解压解码得到的图像数据进行压缩编码；以及存储装置，用于存储通过第二压缩编码装置执行压缩编码得到的数据。
根据上述摄像装置，通过摄像得到的图像数据以第一画面速率输入到第一压缩编码装置，进行压缩编码，并暂时存储在暂存装置中。当只将预定时间内拍摄的图像数据从第一压缩编码装置写入暂存装置后，这些图像数据通过解压解码装置以低于第一画面速率的第二画面速率读出并解压解码。例如，如果使第二画面速率为当前标准速率，则通过摄像可以得到高于标准速率的高速画面速率的图像数据，该图像数据即使被输入到第一压缩编码装置，在第二压缩编码装置以及存储装置中，仍以标准速率处理图像数据。
根据本发明的摄像装置，当以第一画面速率向第一压缩编码装置输入图像数据时，在第二压缩编码装置以及存储装置中，以低于第一画面速率的第二画面速率处理图像数据。因此，如果使第二画面速率为当前标准速率，则即使是通过摄像得到高于标准速率的高速画面速率的图像数据，作为第二压缩编码装置以及存储装置，也可以使用已知的电路，而且，能以依据标准速率的已知视频格式将图像数据存储在存储装置中。而且，第一画面速率的图像数据通过第一压缩编码装置将数据量压缩后存储到存暂装置中，所以，可以减少存暂装置的容量。因此，可以控制制造成本的上升，同时，可以已知的视频格式存储以高于标准速率的高速画面速率拍摄的图像数据。
附图说明
图1为根据本实施例的摄像装置的系统配置图；
图2为高速速率模式下的数据流向图；
图3为根据本实施例的摄像装置的操作时序图；
图4为压缩解压电路执行图像压缩处理时控制部的处理的流程图；以及
图5为只进行再生时的操作时序图。
具体实施方式
下面，参照附图，对本发明的实施例进行说明。
图1为根据本实施例的摄像装置的系统配置图。图1所示的摄像装置100包括图像传感器101、预处理电路102、相机信号处理电路103、转换处理部104、压缩/解压电路105和109、存储控制电路106、RAM 107、显示处理电路108、光盘110、监视器111与控制部112。
图像传感器101是一种通过光电转换将通过透镜单元等被摄入摄像装置的、来自于被摄物体的入射光转换成电信号的装置，可使用例如CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)型摄像元件。图像传感器101具有采样保持功能，可以通过CDS(Correlated Double Sampling，相关双重采样)处理，很好地保持信噪(信号/噪声)比。
图像传感器101能够以大于等于60fps(场/秒)的速率高速读出信号，其中，60fps是NTSC制式的规格。在这里，例如，当图像传感器101切换到高速读出信号的高速速率模式时，以四倍的标准速率、即240fps读出信号。
图像传感器101还具有例如减少每帧的图像数据量的功能，即，当输出一行的像素信号时，将摄像元件的二维排列的像素中相邻的相同颜色的像素信号进行加法运算，然后同时进行输出，因此，不改变视角(field angle)就可减小图像的尺寸。通过上述的加法运算，不必提高像素信号的读出频率，即可提高图像的切换速率。而且，也可以通过调整进行加法运算的像素数量，以任意画面速率进行输出。
预处理电路102通过AGC(Auto Gain Control，自动增益控制)处理，对图像传感器101输出的图像信号进行增益控制，并进行A/D转换，然后输出数字图像信号。相机信号处理电路103对预处理电路102输出的图像信号进行诸如白平衡调整处理、色彩校正处理、AF(Auto Focus，自动聚焦)处理和AE(Auto Exposure，自动曝光)处理等相机信号处理。应指出的是，在高速速率模式中，从图像传感器101输出的图像信号的分辨率低于标准速率模式，因此，在预处理电路102与相机信号处理电路103中，不必提高操作频率即可处理图像信号。
转换处理部104对从相机信号处理电路103接收的图像信号进行尺寸调整和显示间隔剔除(discrete reduction)。而且，转换处理部104还对从压缩/解压电路105接收的图像信号进行尺寸调整。而且，仅在向显示处理电路108输出时进行显示间隔剔除。这里的所谓显示间隔剔除，是指间隔剔除多余的场，以便与由摄像装置100在高速速率模式时放映所采用的显示装置的显示规格规定的平均单位时间内的场数(这里是60fps)一致。转换处理部104对从相机信号处理电路103接收的图像信号进行尺寸调整时，可分别调整为相应的尺寸后输出到压缩/解压电路105和显示处理电路108。
压缩/解压电路105利用诸如JPEG(Joint Photographic ExpertsGroup，联合摄影专家组)等静止图像编码方法对从转换处理部104输出的图像信号进行压缩编码处理。此外，压缩/解压电路105还可以对从存储控制电路106提供的静止图像编码数据进行解压解码处理。存储控制电路106控制对RAM 107的图像数据的读取以及写入。RAM 107是一种用于临时存储从存储控制电路106接收的图像数据的FIFO(First In First Out，先入先出)方式的存储器，例如，可使用SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存取存储器)等。
显示处理电路108由从转换处理部104或压缩/解压电路109接收的图像信号生成用于使监视器111显示的图像信号，并将该信号输出至监视器111，进行图像显示。监视器111包括例如LCD(Liquid Crystal Display，液晶显示器)，用于显示正在拍摄的相机拍摄到的图像或存储在光盘110上的图像。
压缩/解压电路109利用诸如MPEG(Moving Picture ExpertsGroup，运动图像专家组)等运动图像编码方式对从转换处理部104接收的图像数据进行压缩编码处理。而且，压缩/解压电路109还对从光盘110提供的运动图像编码数据进行解压解码处理，并输出至显示处理电路108。监视器111用于显示从显示处理电路108接收的运动图像。而且，监视器111设置在摄像装置100的外部，也可以在摄像装置100上设置用于向外部输出的接口，以代替监视器111。
控制部112为微控制器，包括CPU(Central Processing Unit，中央处理单元)、ROM(Read Only Memory，只读存储器)和RAM(Random Access Memory，随机存取存储器)。通过执行存储于ROM等中的程序，综合控制摄像装置的各个部分。
而且，作为存储MPEG编码后的图像数据的存储介质，不限于上述的光盘110。可以使用例如磁带、闪存等半导体存储器、HDD等。一般说来，该存储介质使用可以安装和拆卸的存储介质。但是，作为不可拆卸的存储介质，也可以通过通信接口向外部输出已存储的数据。
图2为高速速率模式下的数据流向图。图2所示的功能模块为由图1的系统构成例所示的摄像装置100的一部分。
而且，粗线所示的各箭头代表数据的流向。下面，沿着各个箭头所带的编号说明其处理。
[流向(1)]转换处理部104将从相机信号处理电路103以场数为240fps输出的图像信号通过将场数间隔剔除到1/4后输出到显示处理电路108，其中，间隔处理是为了达到作为NTSC标准的规格的60fps。显示处理电路108由从转换处理部104接收的图像信号生成用于使监视器111显示的图像信号，并将该信号输出至监视器111，以显示图像。
[流向(2)]当转换处理部104根据用户操作从控制部112接收到启动存储高速摄像的图像的请求后，将经过尺寸调整后的图像信号传送至压缩/解压电路105。此时将不进行图像信号的间隔剔除。转换处理部104将从相机信号处理电路103接收的图像信号通过将尺寸调整为例如512像素×192像素后，输出至压缩/解压电路105。此时的尺寸调整是为了与压缩/解压电路105或RAM 107的规格一致。
当压缩/解压电路105从转换处理部104接收图像信号时，将根据控制部112的指示对图像信号以JPEG形式进行压缩编码处理。存储控制电路106将从压缩/解压电路105接收的编码数据暂存在RAM 107中。这样，在RAM 107中存储有一定时间的图像数据。
[流向(3)]当存储控制电路106从控制部112接收到读出暂存于RAM 107的编码数据的请求后，以60fps的速率读出存储在RAM107中的编码数据，并将其发送至压缩/解压电路105。压缩/解压电路105从存储控制电路106接收编码数据后，进行解压解码处理，并发送至转换处理部104。当转换处理部104从控制部112接收到存储至光盘110的请求时，将从压缩/解压电路105接收到的图像信号发送至压缩/解压电路109。压缩/解压电路109将从转换处理部104接收的图像信号转换为具有MPEG形式的运动图像，并将其存储至光盘110。
[流向(4)]转换处理部104对从压缩/解压电路105以60fps速率接收的图像信号进行尺寸调整，并输出至显示处理电路108。而且，对于流向(4)，在流向(3)中从转换处理部104输出的数据也可以同时输出至显示处理电路108。
根据上述处理，压缩/解压电路109或显示处理电路108等能够使用以标准速率工作的现有电路的部件很多，而且，图像数据能以现有的视频格式存储到光盘110上，其中，现有的视频格式是依据标准速率的格式。而且，由于数据量通过压缩/解压电路105被压缩后存储于RAM 107中，所以，可以控制RAM 107的容量。
图3为表示本实施例涉及的摄像装置的动作时序图。
[时间T1]当接通电源后，摄像装置100以标准速率模式启动。而且，在标准速率模式中，以60fps拍摄的图像信号通过转换处理部104从相机信号处理电路103提供给显示处理电路108。于是，在监视器111上显示相机拍摄(camera-through，也叫“相机取景”)图像。此外，当保存拍摄图像后，60fps的图像信号通过转换处理部104从相机信号处理电路103提供给压缩/解压电路109，并以MPEG方式进行压缩编码，然后，存储到光盘110中。
[时间T2]根据用户的输入操作，请求从标准速率模式改变为高速速率模式时，摄像装置100从控制部112输出变更为高速速率模式的指令。并变更为高速速率模式。在这里，从时间T2至T4表示数据沿图2所示的流向(1)流动的状态。
[时间T3]摄像装置100从用户接收到开始存储的请求时，启动以240fps的高速速率将数据暂存至RAM 107中的处理。此时的状态是，数据以图2所示的流向(2)流动，并产生流向(1)及流向(2)两个方向的流动。
[时间T4]当RAM 107的容量因存储的图像数据而达到饱和时，摄像装置100自动停止以高速速率进行的摄像与存储，并进行数据再生及向光盘110的存储。即，以60fps的速率读出存储在RAM 107中的运动图像数据，并输出至压缩/解压电路105。进行解压解码处理后，输出至转换处理部104。从转换处理部104输出的图像信号输入到压缩/解压电路109，该压缩/解压电路将接收到的图像信号通过采用MPEG方式进行压缩编码处理后存储到光盘。与此同时，从转换处理部104输出的图像信号还同时并列输出到显示处理电路108，由监视器111显示运动图像。此时，不对以60fps的速率拍摄的图像数据进行间隔剔除，而以240fps速率输出。这就是说，根据拍摄时的1/4的速度进行低速再生。例如，假设从时间T3到T4为三秒，在时间T3至T4的三秒钟内，拍摄到720帧图像并存储至RAM 107中。然后，在进行数据再生时，以60fps的标准速率进行输出，所以，从T4至T5的时间为拍摄时间的四倍，即12秒。当进行该数据再生以及进行向光盘110的存储时，图2所示的流向(1)与流向(2)结束，并进入发生流向(1)与流向(2)两方面数据流的状态。
[时间T5]当数据再生以及向光盘存储数据结束后，摄像装置100在高速速率模式中成为拍摄待机状态。此时，图2所示的流向(4)及(5)结束，生成数据按照流向(1)流动的状态。
[时间T6]当摄像装置100从用户接收到向标准速率模式变更的请求后，在标准速率模式中变为拍摄待机状态。
如上所述，在本实施例的摄像装置100中，在高速速率模式下，将以高速速率拍摄的图像数据仍以原速率存储在RAM 107中后，以标准速率(60fps)从RAM 107读出并存储到光盘110。因此，可以与在标准速率下使用的电路或机构共用针对压缩/解压电路109或光盘110的存储处理系统的电路与机构。此外，可以控制装置的制造成本。而且，尽管以高速的画面速率(screen rate)进行拍摄，图像数据仍能够以标准速率下的当前视频格式进行编码并存储到光盘110中。而且，已存储的运动图像与通常的方法一样在压缩/解压电路109进行解压解码处理，并通过显示处理电路108输出至监视器111，由此，可以进行低速再生。此外，在与相同视频格式对应的其他再生装置中，同样可以进行低速再生。
而且，在上述的图3的操作示例中，在以高速速率模式存储拍摄图像时(T4～T5)，将预定时间内的运动图像暂存于RAM 107之后，进行向光盘110的存储，同时，可以通过显示处理电路108确认低速再生的再生图像，而且，在向光盘110存储时，用户可以确认存储图像，同时还可以向用户提供自然的操作感。此时，显示处理电路108与在标准速率模式下所使用的配置共用，因此，可以进一步降低制造成本。而且，高速速率模式下的视角调整(时间T2～T3)时、或存储到RAM 107时(时间T3～T4)，通过将在转换处理部104进行间隔剔除的图像发送到显示处理电路108，可以通过监视器111视觉确认拍摄图像，而且，还不会损失用户的操作感觉。而且，此时，还可以与标准速率模式共用显示处理电路108。
而且，对于高速速率模式下拍摄的图像的数据，数据大小通过压缩/解压电路105被压缩，并存储于RAM 107中，从而，可以控制RAM 107的容量，并控制电路规模与制造成本。因此，通过对以标准速率进行处理的现有电路或机构增加最低限度的电路，就可以以当前的视频格式在存储介质上存储以高于标准的高速画面速率拍摄的图像。因此，可以控制装置的大型化和制造成本的上升，同时，对于用户来说，可以简单地安装高附加值的功能。
这里，对附加在现有电路中的电路的制造成本进行补充说明。例如压缩/解压电路109，对运动图像进行编码的电路用于以由运动图像标准规定的一定的屏幕速率以及分辨率处理运动图像，因此，为了能够以除标准以外的画面速率、尤其是高于标准的高速画面速率进行处理，电路的开发、制造成本将大幅度提高。
对此，最近的摄像元件分辨率具有远远高于运动图像标准中规定的分辨率的趋势，对这样的高分辨率静止图像进行编码的电路有很多。对于此类电路，在降低分辨率的情况下可提高处理速度。因此，将静止图像用电路作为以高速画面速率处理的压缩/解压电路105而使用，由此，与提高运动图像编码的处理速度的情况相比，可以控制制造成本。
而且，在上述的摄像装置100中，利用压缩/解压电路105，不仅是将运动图像的数据(此情况下为MPEG数据)存储到光盘110中，还可以将静止图像数据(此情况下为JPEG数据)存储到光盘110中。这样，如果是可以将静止图像与运动图像双方的压缩数据存储到存储介质的装置，在不改变电路结构的条件下，就可以将在高速速率模式下拍摄的图像存储到光盘110中。
图4为表示在压缩/解压电路105执行图像压缩处理时控制部112的处理流程图。下面，通过标有序号的步骤阐述图4示出的处理。
在以下的处理中，根据以高速速率模式进行存储的图像的时间、RAM 107的容量、画面速率、以及在压缩/解压电路105中处理的图像的分辨率，预先求出每一图像数据的量化位阶(quantization scale)的初始值Qave，并保存在控制部112的ROM等中，以便将上述的时间内的图像数据存满ROM 107的容量。
[步骤S11]压缩/解压电路105具有在压缩编码处理时向控制部112告知此时的编码量的功能。控制部112以先前场的图像信号的编码量Cres为基础，从压缩/解压电路105求出量化位阶Qres，并求出量化位阶Qres与存储的量化位阶的初始值Qave之间的差值Δ。
[步骤S12]将差值Δ与初始值Qave相加，对图像信号进行压缩编码处理时，为了不使画质发生急剧的变化，将上述求得的和除以预先确定的时间常数T。并将其结果作为下一个图像信号的目标量化位阶Qtgt。
[步骤S13]对图像信号进行压缩/编码处理时，如果压缩率过高，则编码量变小，但是图像的噪声增加。而另一方面，如果压缩率过低，则数据的大小变大，以至于无法将所需秒数的运动图像存储于RAM 107中。这里，对于目标量化位阶Qtgt设定一定的范围，控制部102判断在步骤S12中求出的目标量化位阶Qtgt是否在规定范围内。如果判断结果表明目标量化位阶Qtgt在规定范围内，则进行步骤S14的处理。而如果判断结果表明目标量化位阶Qtgt不在规定范围内时，则进行步骤S15的处理。
[步骤S14]控制部112向压缩/解压电路105设定目标量化位阶Qtgt，并使其执行压缩编码处理。
[步骤S15]若超过规定的范围，则将目标量化位阶Qtgt改设为规定的数值。具体说来，若判断结果表明目标量化位阶Qtgt超过规定的范围，则将范围内的最大值作为目标量化位阶Qtgt，若判断结果表明目标量化位阶Qtgt低于规定的范围，则将范围内最小值作为目标量化位阶Qtgt的值。
根据上述图4所示的处理存储拍摄图像的数据，使得在高速速率模式下的拍摄图像的画质劣化被控制在最小限度，同时，可以尽可能满足RAM 107的容量。一直以来，上述的处理在具有运动图像数据的VBR(可变比特率)存储功能的摄像装置与摄像机中使用，通过在本实施例中应用这样的现有技术，将获得以下效果：可以控制制造开发成本，还可以控制高速速率下的拍摄图像的画质劣化，而且，通过控制RAM 107的容量来控制电路规模及制造成本。
而且，在上述实施例中，当进行高速速率存储后，立刻开始数据的再生或存储到RAM 107。但是，也可以是，高速速率存储后，不是立刻进行向光盘110的存储，而只是进行数据再生，也可以等待用户的指示，进行向光盘110的存储。以下示出此时的时序图。
图5为仅进行数据再生时的动作示例的时序图。
[时间T11]当电源打开后，摄像装置100以标准速率模式启动。
[时间T12]摄像装置100从用户接收从标准速率模式改变为高速速率模式的请求时，从控制部112发出向高速速率模式变更的指示，并被变更到高速速率模式。在T12～T14之间为数据以图2所示的流向(1)进行流动的状态。
[时间T13]摄像装置100从用户接收到存储开始请求时，开始以高速速率暂存至RAM 107中的操作。此时，数据以图2所示的流向(2)进行流动，成为发生流向(1)及流向(2)的双方的数据流动的状态。
[时间T14]当RAM 107的容量因存储的图像数据达到饱和时，摄像装置100自动停止高速速率下的摄像以及存储，并进行数据再生。此时，以60fps的速率输出，而不对以240fps拍摄的图像数据进行间隔剔除。也就是说，进行通常再生速度的四分之一的低速再生。此时，图2所示的流向(2)结束，成为产生流向(3)的数据流动的状态。
而且，诸如显示处理电路108等的从转换处理部104以60fps的速率输出图像信号的装置可以直接使用现有技术的装置。因此，可以引入所谓高速摄像的新功能，而几乎不需要增加成本。
[时间T15]存储控制电路106从用户接收到向光盘110存储的请求时，读出存储在RAM 107中的运动图像，并输出至压缩/解压电路105，被解压后，通过转换处理部104与显示处理电路108由监视器111显示。而且，从转换处理部104输出的图像信号还被并列输入到压缩/解压电路109。压缩/解压电路109以MPEG方式对接收的图像信号进行压缩/编码处理，并存储到光盘110中。
例如，使时间T13～T14为3秒时，在T13～T14的3秒钟内，拍摄720帧图像，并存储到RAM 107中。然后，在进行数据再生时，以标准速率60fps输出。因此，从时间T15～T16的时间为12秒，即、摄像时间的4倍。当进行该数据再生及向光盘110存储时，开始图2所示的流向(4)，成为产生流向(3)与(4)双方的数据流动的状态。
[时间T16]摄像装置100结束数据再生及向光盘110存储数据时，在高速速率模式中成为拍摄待机状态。此时，图2所示的流向(3)及(4)结束，成为产生流向(1)的数据流动的状态。
[时间T17]摄像装置100从用户接收到向标准速率模式变更的请求时，在标准速率模式中，变为摄影待机状态。
在图5所示操作中，当将高速速率下拍摄的图像存储到RAM107后，在时间T14～T15中，再生该拍摄图像，在用户确认后，用户可以根据需要将拍摄图像的数据存储到光盘110中。因此，可以省去没有必要保存的图像数据被写入光盘110、其后通过用户的操作进行删除的时间。通过此方法可达到提高光盘110容量的使用效率的效果。
而且，上述实施例中所示的RAM 107可以被便携式存储介质替代。在这种情况下，高速速率模式下生成的数据如JPEG形式的图像数据被直接存储到便携存储介质中，即使不以MPEG形式进行压缩编码，也可以看到高速拍摄的图像。此外，RAM 107还可以被硬盘等比较高的存取速度、而且大容量的存储器替代。在这种情况下，将可以实现长时间的存储。
此外，本发明除应用于上述装置(数码摄像机、数码相机)外，还可以应用于便携式电话机、PDA(个人数字助理)等具有图像功能的装置中。本发明还可以应用于拍摄信号的处理装置或存储装置中，该拍摄信号是由与PC(个人计算机)相连的诸如电视电话、或游戏软件等小型照相机产生的。

Claims (8)

1.一种使用固态摄像元件拍摄图像的摄像装置，包括：
第一压缩编码装置，用于以第一画面速率接收通过摄像得到的图像数据，并进行压缩编码；
暂存装置，用于暂时存储通过所述第一压缩编码装置执行压缩编码得到的图像数据；
解压解码装置，用于将预定时间内拍摄的图像数据以低于所述第一画面速率的第二画面速率从所述暂存装置中读出，并对从所述暂存装置中读出的所述图像数据进行解压解码；
第二压缩编码装置，用于对通过所述解压解码装置执行解压解码得到的图像数据进行压缩编码；以及
存储装置，用于存储通过所述第二压缩编码装置执行压缩编码得到的图像数据。
2.根据权利要求1所述的摄像装置，还包括显示处理装置，用于将所述预定时间内拍摄的图像数据从所述暂存装置以所述第二画面速率读出，并生成用于显示的图像信号。
3.根据权利要求2所述的摄像装置，其中，当所述第二压缩编码装置执行压缩编码处理时，在进行所述压缩编码的同时，所述显示处理装置接收输入所述第二压缩编码装置的图像数据，并生成用于显示的图像信号。
4.根据权利要求2所述的摄像装置，还包括间隔剔除装置，用于将以所述第一画面速率通过摄像得到的图像数据进行间隔剔除，从而输出与以所述第二画面速率得到的数据相当的数据，并将所述输出数据提供给所述显示处理装置。
5.根据权利要求1所述的摄像装置，还包括模式切换装置，用于切换通过所述固态摄像元件分别以所述第一画面速率及第二画面速率进行拍摄的两种摄像模式，在以所述第二画面速率进行拍摄的摄像模式中，所述第二压缩编码装置对以所述第二画面速率进行拍摄得到的图像数据进行压缩编码，并存储到所述存储装置中。
6.根据权利要求1所述的摄像装置，其中，所述固态摄像元件包括：
普通摄像模式，以所述第二画面速率输出二维排列的规定数量像素的各信号；以及
高速摄像模式，同时读出所述规定数量像素中相邻的相同颜色滤色器的像素的信号，并将各信号相加，从而在不改变视角的情况下，以所述第一画面速率输出图像信号。
7.根据权利要求1所述的摄像装置，其中，所述第一压缩编码装置和所述解压解码装置根据静止图像格式对图像数据执行压缩编码和解压解码。
8.一种使用固态摄像元件拍摄图像的摄像方法，包括以下步骤：
第一压缩编码装置以第一画面速率接收通过摄像得到的图像数据、并进行压缩编码的步骤；
暂存装置暂时存储通过所述第一压缩编码装置执行压缩编码得到的图像数据的步骤；
解压解码装置以低于所述第一画面速率的第二画面速率将预定时间内拍摄的图像数据从所述暂存装置中读出、并进行解压解码的步骤；
第二压缩编码装置对通过所述解压解码装置执行解压解码得到的图像数据执行压缩编码的步骤；以及
存储装置存储通过所述第二压缩编码装置执行压缩编码得到的图像数据的步骤。
CN2006800003997A 2005-05-11 2006-04-03 摄像装置及方法 Active CN1977532B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005138200A JP4725183B2 (ja) 2005-05-11 2005-05-11 撮像装置、および方法
JP138200/2005 2005-05-11
PCT/JP2006/307036 WO2006120814A1 (ja) 2005-05-11 2006-04-03 撮像装置、および方法

Publications (2)

Publication Number Publication Date
CN1977532A true CN1977532A (zh) 2007-06-06
CN1977532B CN1977532B (zh) 2012-03-21

Family

ID=37396331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800003997A Active CN1977532B (zh) 2005-05-11 2006-04-03 摄像装置及方法

Country Status (7)

Country Link
US (1) US7705895B2 (zh)
EP (1) EP1744554B1 (zh)
JP (1) JP4725183B2 (zh)
KR (1) KR101264389B1 (zh)
CN (1) CN1977532B (zh)
TW (1) TW200705980A (zh)
WO (1) WO2006120814A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938601A (zh) * 2009-06-29 2011-01-05 佳能株式会社 摄像设备及其控制方法
CN102283667A (zh) * 2010-06-16 2011-12-21 株式会社东芝 医用图像显示装置以及x射线计算机断层摄影装置
CN106534979A (zh) * 2016-10-31 2017-03-22 深圳市金立通信设备有限公司 一种视频发送方法及终端

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4986588B2 (ja) * 2006-11-29 2012-07-25 キヤノン株式会社 撮像装置及びその制御方法
JP4360399B2 (ja) * 2006-11-30 2009-11-11 ソニー株式会社 撮像装置
JP5116407B2 (ja) 2007-03-27 2013-01-09 三洋電機株式会社 撮像装置及び撮像システム
JP2009010821A (ja) 2007-06-29 2009-01-15 Sony Corp 撮像装置および撮像方法、記録媒体、並びに、プログラム
US8139954B2 (en) * 2008-08-19 2012-03-20 Ciena Corporation System and method for reducing memory requirements for electrical domain compensation of intra-channel nonlinearity in an optical communications system
JP5347706B2 (ja) * 2009-05-14 2013-11-20 ソニー株式会社 記録装置、記録方法およびプログラム
JP2011193424A (ja) * 2010-02-16 2011-09-29 Casio Computer Co Ltd 撮像装置及び方法、並びにプログラム
TWI583195B (zh) 2012-07-06 2017-05-11 新力股份有限公司 A solid-state imaging device and a solid-state imaging device, and an electronic device
JP6314477B2 (ja) * 2013-12-26 2018-04-25 ソニー株式会社 電子デバイス
JP6493454B2 (ja) * 2017-06-07 2019-04-03 株式会社ニコン 電子カメラ
WO2020066326A1 (ja) * 2018-09-26 2020-04-02 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2019092223A (ja) * 2019-03-07 2019-06-13 株式会社ニコン 電子カメラ

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0661885A1 (en) * 1993-12-28 1995-07-05 Canon Kabushiki Kaisha Image processing method and apparatus for converting between data coded in different formats
US6018363A (en) * 1994-04-28 2000-01-25 Canon Kabushiki Kaisha Image sensing apparatus with optical-axis deflecting device
JPH0888833A (ja) 1994-09-19 1996-04-02 Fuotoron:Kk 変換装置および逆変換装置ならびにこれらを具備したスローモーション表示装置
JP3707820B2 (ja) 1995-03-07 2005-10-19 株式会社フォトロン 高速撮影装置
US5883670A (en) * 1996-08-02 1999-03-16 Avid Technology, Inc. Motion video processing circuit for capture playback and manipulation of digital motion video information on a computer
JP3398081B2 (ja) * 1999-03-01 2003-04-21 三洋電機株式会社 ディジタルカメラ
JP2000295506A (ja) * 1999-04-01 2000-10-20 Canon Inc 映像記録装置及び映像記録方法及び記憶媒体
US6636639B1 (en) * 1999-04-01 2003-10-21 Canon Kabushiki Kaisha Image recording apparatus, image recording method and storage medium
US7158183B1 (en) * 1999-09-03 2007-01-02 Nikon Corporation Digital camera
US6523102B1 (en) * 2000-04-14 2003-02-18 Interactive Silicon, Inc. Parallel compression/decompression system and method for implementation of in-memory compressed cache improving storage density and access speed for industry standard memory subsystems and in-line memory modules
JP2001359038A (ja) * 2000-06-09 2001-12-26 Olympus Optical Co Ltd 撮像装置
JP2002101329A (ja) * 2000-09-26 2002-04-05 Fuji Photo Film Co Ltd デジタルカメラ、画像再生装置及び方法
US20030222998A1 (en) * 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
US7292274B2 (en) * 2001-11-06 2007-11-06 Eastman Kodak Company Solid-state image pickup device driving method and image capturing apparatus for outputting high-resolution signals for still images and moving images of improved quality at a high frame rate
JP2004040518A (ja) * 2002-07-04 2004-02-05 Hitachi Ltd 撮像記録装置と再生装置
JP4471337B2 (ja) * 2002-08-01 2010-06-02 キヤノン株式会社 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP3944726B2 (ja) * 2002-09-25 2007-07-18 ソニー株式会社 撮像装置および方法
JP3720812B2 (ja) * 2003-02-24 2005-11-30 松下電器産業株式会社 テレビジョンカメラ
JP2005006198A (ja) * 2003-06-13 2005-01-06 Canon Inc 撮像装置、その制御方法、プログラム及び記録媒体
WO2005002206A1 (ja) * 2003-06-25 2005-01-06 Nokia Corporation 画像データの圧縮パラメータの値を制御するデジタル撮影装置、及び画像データの圧縮パラメータ値決定方法
JP4337505B2 (ja) * 2003-10-31 2009-09-30 ソニー株式会社 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム
KR100603332B1 (ko) * 2004-02-26 2006-07-20 삼성에스디아이 주식회사 디스플레이 패널구동방법
JP2006115424A (ja) * 2004-10-18 2006-04-27 Sharp Corp 画像処理装置、画像処理装置の転送制御方法、画像処理装置の出力制御方法、画像処理装置の制御プログラム、画像処理装置の制御プログラムを記録した記録媒体
US7605804B2 (en) * 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101938601A (zh) * 2009-06-29 2011-01-05 佳能株式会社 摄像设备及其控制方法
CN101938601B (zh) * 2009-06-29 2013-03-20 佳能株式会社 摄像设备及其控制方法
CN102283667A (zh) * 2010-06-16 2011-12-21 株式会社东芝 医用图像显示装置以及x射线计算机断层摄影装置
CN106534979A (zh) * 2016-10-31 2017-03-22 深圳市金立通信设备有限公司 一种视频发送方法及终端

Also Published As

Publication number Publication date
US7705895B2 (en) 2010-04-27
KR101264389B1 (ko) 2013-05-14
EP1744554B1 (en) 2018-11-14
KR20080013674A (ko) 2008-02-13
US20080049121A1 (en) 2008-02-28
JP4725183B2 (ja) 2011-07-13
CN1977532B (zh) 2012-03-21
TWI325721B (zh) 2010-06-01
JP2006319513A (ja) 2006-11-24
EP1744554A1 (en) 2007-01-17
EP1744554A4 (en) 2016-10-19
WO2006120814A1 (ja) 2006-11-16
TW200705980A (en) 2007-02-01

Similar Documents

Publication Publication Date Title
CN1977532B (zh) 摄像装置及方法
CN1212018C (zh) 和摄像机组合的视频记录/再现装置及其记录控制方法
US8040423B2 (en) Image pickup apparatus, method of controlling image pickup and computer-readable storage medium
CN1270514C (zh) 图像生成设备和图像生成方法
CN1262493A (zh) 运动图像重放装置
CN1725805A (zh) 控制驱动图像拾取装置和读取存储器的自动稳定方法及其摄影装置
US8054341B2 (en) Photographing apparatus for supporting overriding mode and method of controlling same
CN1933606A (zh) 摄像装置及摄像方法
WO2009104776A1 (ja) 撮像装置、撮像方法及びプログラム
CN1638432A (zh) 数字静止图像照相机
CN1226063A (zh) 视频记录设备、视频播放设备和视频记录/播放设备
CN1863321A (zh) 白平衡控制装置、方法、程序及图像摄取装置
JP2004088567A (ja) 撮像装置および方法、記録媒体、並びにプログラム
JP4761048B2 (ja) 撮像装置及びそのプログラム
JP2005198148A (ja) 固体撮像素子、撮像装置、および固体撮像素子の駆動方法
CN1674662A (zh) 数字摄像设备和用于产生图像采集信号的方法
KR20100061311A (ko) 촬상장치 및 촬상장치의 제어 방법
JP2013211724A (ja) 撮像装置
JP2013211715A (ja) 撮像装置
JP6103481B2 (ja) 撮像装置、及びその制御方法とプログラム
CN1745573A (zh) 图像拾取设备及其运动图片拍摄方法
CN1703899A (zh) 摄像装置和摄像方法
JP2007036749A (ja) 撮像装置、撮像方法、及びプログラム
JP3907657B2 (ja) 撮影装置
JP4408478B2 (ja) 映像記録装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant