CN101094322A - 图像处理设备、成像设备及其方法 - Google Patents

图像处理设备、成像设备及其方法 Download PDF

Info

Publication number
CN101094322A
CN101094322A CNA2007101120903A CN200710112090A CN101094322A CN 101094322 A CN101094322 A CN 101094322A CN A2007101120903 A CNA2007101120903 A CN A2007101120903A CN 200710112090 A CN200710112090 A CN 200710112090A CN 101094322 A CN101094322 A CN 101094322A
Authority
CN
China
Prior art keywords
image
unit
refresh rate
data
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101120903A
Other languages
English (en)
Inventor
木村正成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101094322A publication Critical patent/CN101094322A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0806—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the signals being two or more video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0105—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level using a storage device with different write and read speed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种利用固态成像装置成像图像的成像设备，包括：图像转换单元，用于将通过该固态成像装置以高速刷新率成像的图像转换为其中n(“n”为大于等于2的整数)幅连续成像的图像被排列在一个屏幕上的图像，并以高速刷新率的1/n的低速刷新率输出转换后的图像；信号处理单元，用于对来自图像转换单元的图像执行预定的图像质量补偿处理；显示图像切割单元，用于从由信号处理单元处理的图像中切割n幅成像图像的其中之一，并以低速刷新率输出该图像；以及显示处理单元，用于生成图像信号以便在显示装置上显示从显示图像切割单元输出的图像。

Description

图像处理设备、成像设备及其方法
相关申请的交叉参考
本发明包含2006年6月22日在日本专利局提交的日本专利申请JP 2006-172974的主题，其全文在此结合作为参考。
技术领域
本发明涉及一种处理图像信号的图像处理设备，通过利用固态成像装置对成像图像的成像设备以及这些设备中的处理方法，本发明尤其涉及能够处理具有高于标准的刷新率(screen rate)的图像信号的图像处理设备、成像设备及其方法。
背景技术
近年来，成像装置的能力和信号处理技术都取得了进展，实现了消费型数码摄像机，这种消费型数码摄像机能够拍摄和记录相比现有NTSC(国家电视标准委员会)标准的分辨率提高了的HDTV(高清晰度电视)标准的图像。
在诸如数码摄像机或数码相机的成像设备中使用的成像装置中，有许多设备能够以比当前TV广播标准的显示周期更短的周期输出所成像的图像。因此，已经设计了安装有这种高速成像功能的成像设备。例如，已经设计了这样一种成像设备，在这种成像设备中，使得可以利用这种成像装置以标准刷新率慢速回放和显示以高于标准的刷新率成像和记录的视频数据。
在传输成像设备内的成像图像的数据时的数据传输量与空间分辨率(图像尺寸)×时间分辨率(刷新率)成正比。因此，当通过使刷新率更高来成像图像时，成像设备中的数据传输量增大，而且提高用于处理图像数据的处理电路的能力就变得更为必要了。具体来说，根据刷新率的高速度，必须提高执行图像质量补偿处理的信号处理电路的能力，提高基于通过成像图像所获得的图像数据的成像操作控制等的能力，提高图像数据的压缩和编码电路的能力、以及提高用于在磁带等中记录压缩和编码的图像数据的记录电路和用于在确认视角等的监视器上成像期间显示图像的显示电路的能力。结果，存在制造成本、电路尺寸和功耗增大的问题。
有鉴于此，已经设计了一种方法，在该方法中，在以高速率成像的图像数据被暂时存储在可高速访问的内存中之后，以标准速率从该内存读出该图像数据，压缩并编码该图像数据以记录到记录介质中。根据该方法，由于信号系统从内存中读出该数据直到将其记录到记录介质，可以照原样使用符合标准速率的现有电路，因此可以抑制制造/研发成本。所记录的图像以慢速模式通过符合标准速率的现有回放装置回放来播放，因此，可以保持记录数据的兼容性。
由于现有技术的视频摄像机在监视器(例如，记录模拟图像信号的视频摄像机)处成像期间不具备显示图像的功能，存在以4倍速度成像具有标准图像尺寸的1/4大小的图像的视频摄像机，并且4个1/4大小的图像被合并到标准速率的图像中以便以标准速率记录(例如，参考JP-A-9-107516和JP-A-8-88833(专利文档1和2))。
发明内容
在诸如数码摄像机的消费型成像设备中，制造商之间的竞争加剧，而且对于实现进一步的高图像质量、小型化和高功能的需求增长。有鉴于此，当制造高功能的成像设备并提高其商业价值时，以高于正常成像率的速率进行成像的高速成像功能可能成为重要的附加功能。
然而，如上所述。必须提高设备内的处理能力以便实现高速成像功能，而且由于改进所引起的制造成本提高和设备的变大在当安装到消费型成像设备上就产生了问题。也即，期望以现有电路配置中的最小变化来实现高速成像功能和允许以高速率成像的图像以低速模式显示的功能。此外，关于记录后的数据，希望能够尽可能保持在其它回放装置中的回放兼容性。
在上述方法中，在以高速率成像的图像数据被暂时存储在内存中之后，数据以标准速率被读出并记录，在通过现有回放装置回放所记录的图像的情况下，只能够进行慢速回放，而且以正常速率进行对应于成像图像的情况的一倍速度回放基本上很难。因此，很难同时记录音频和图像，或者通过一倍速度回放来正常地回放音频。此外，在该方法中存在一个问题，即图像能够以高速率成像的时间取决于内存的容量。
期望提供一种能够处理以高于标准的刷新率输入的图像信号的廉价的图像处理设备和图像处理方法。
还期望提供一种能够处理以高于标准的刷新率成像的图像信号的廉价的成像设备和成像方法。
根据本发明的一个实施例，提供一种处理图像信号的图像处理设备，包括：图像转换单元，用于将以高速刷新率输入的图像转换为其中n(“n”为大于等于2的整数)幅连续输入的图像被排列在一个屏幕上的图像，并以该高速刷新率的1/n的低速刷新率输出转换后的图像；显示图像切割单元，用于从由图像转换单元输出的图像中切割n幅输入图像的其中之一并以低速刷新率输出该图像；以及显示处理单元，用于生成图像信号以便在显示装置上显示从显示图像切割单元输出的图像。
在这种图像处理设备中，当以高速刷新率输入图像时，这些图像被转换为其中连续n幅输入的图像被图像转换单元排列在一个屏幕上的图像，而且该图像被以高速刷新率的1/n的低速刷新率输出。在显示图像切割单元中，从转换后的图像中切割所述n幅图像的其中之一，并以低速刷新率向显示处理单元输出该图像。在显示处理单元中，在显示装置处以低速刷新率生成用于显示切割后的输入图像的图像信号。
根据本发明的一个实施例，提供一种利用固态成像装置成像图像的成像设备，包括：图像转换单元，用于将通过固态成像装置以高速刷新率成像的图像转换为其中n(“n”为大于等于2的整数)幅连续成像的图像被排列在一个屏幕上的图像，并以高速刷新率的1/n的低速输出转换后的图像；信号处理单元，用于对来自图像转换单元的图像执行预定的图像质量补偿处理；显示图像切割单元，用于从由信号处理单元处理的图像中切割n幅成像图像的其中之一，并以低速刷新率输出该图像；以及显示处理单元，用于生成图像信号以便在显示装置上显示从显示图像切割单元输出的图像。
在上述成像设备中，当通过固态成像装置以高速刷新率成像图像时，图像被转换为其中n幅连续成像的图像被图像转换单元排列在一个屏幕上的图像，而且以高速刷新率的1/n的低速刷新率输出该图像。在转换后的图像在信号处理单元接受了预定图像质量补偿处理之后，该图像被提供给显示图像切割单元，而且从该图像中切割n幅成像图像中的其中之一并将其以低速刷新率输出到显示处理单元。在显示处理单元中，生成用于以低速刷新率在显示装置上显示切割后的成像图像的图像信号，结果，在显示装置处能够在视觉上确认成像期间的图像。
在根据本发明一个实施例的图像处理设备中，使用一种现有的传输系统，其能够传输一种图像，该图像的分辨率能够以低速刷新率排列n幅输入的图像，从而不用损失图像信息就能够传输n倍于刷新率的高速刷新率的输入图像。另外，在显示处理单元中，由于高速刷新率的输入图像是间歇性提供并以低速刷新率处理的，因此，不必使显示处理单元符合高速刷新率的处理。因此，实现了能够处理高速刷新率的图像信号的图像处理设备，其中由于用于现有低速刷新率的信号传输系统没有显著改变，所以抑制了制造成本。
在根据本发明一个实施例的成像设备中，使用现有的传输系统，其能够传输一种图像，该图像的分辨率能够以低速刷新率排列n幅成像的图像，从而处理n倍于刷新率的高速刷新率的成像图像。另外，在显示处理单元中，由于高速刷新率的成像图像是间歇性提供并且以低速刷新率处理的，无需使显示处理单元符合高速刷新率的处理就能够在显示装置上通过视觉确认成像期间的图像。因此，实现了能够处理以高速刷新率成像的图像信号的图像处理设备，其中制造成本得以抑制。
附图说明
图1是根据本发明第一实施例的成像设备的配置框图；
图2是可以在成像设备中处理的图像尺寸的说明图；
图3是在第一实施例中记录图像时信号流的说明图；
图4是在第一实施例中低速回放模式中的信号流图；
图5是在第一实施例中正常回放模式下的信号流图；
图6是在第一实施例中记录/回放图像和音频时的操作时序示意图；
图7是在第二实施例中记录图像时的信号流程的说明图；
图8是在第二实施例中慢速回放模式下的信号流图；
图9是在第二实施例中正常回放模式下的信号流图；
图10是在第二实施例中记录/回放图像和音频时的操作时序示意图。
具体实施方式
下面参考附图详细说明本发明的实施例。
【第一实施例】
图1是根据本发明第一实施例的成像设备的配置框图。
图1所示的成像设备是所谓的数码摄像机，其成像运动图像并在记录介质中记录成像后的图像作为数字数据。
该成像设备包括光学块11、成像装置12、模拟前端(AFE)电路13、摄像机信号处理电路14、视频CODEC(编码器/解码器)15、显示处理电路16、LCD(液晶显示器)17、视频输出端18、麦克风19、A/D变换器20、音频CODEC 21、D/A(数/模)变换放大器22、扬声器23、音频输出端24、MUX/DEMUX(复用器/去复用器)25、记录装置26、微型计算机31、输入单元32、以及SDRAM(同步动态随机存取存储器)33。
光学块11包括用于采集从对象到成像装置12的光的透镜，用于通过移动透镜进行聚焦或变焦的驱动机构、快门机构、光圈机构等等。
成像装置12是诸如CCD(电荷耦合装置)和CMOS(互补金属氧化物半导体)图像传感器的固态成像装置，其将光学块11采集的光转换为电信号。如后面将描述的，成像装置12能够不仅以标准刷新率(每秒60个画面)，而且能够以较高刷新率(在此情况下4倍于该标准)输出成像图像信号。
AFE电路13执行采样和保持以便相对于通过CDS(相关双采样)处理在微型计算机31的控制之下从成像装置12输出的图像信号使SN(信噪比)保持良好，并进一步通过AGC(自动增益控制)处理控制增益以输出经数字转换后的图像数据。如后面将描述的，AFE电路13还具有对通过成像装置12以高速刷新率成像的图像数据执行分辨率转换并将该数据转换为标准刷新率的HD图像数据的功能。
摄像机信号处理电路14在微型计算机31的控制之下，基于来自AFE电路13的图像数据执行各种解调处理，并对图像数据执行各种信号补偿处理。例如，执行用于诸如AF(自动对焦)、AE(自动曝光)的成像操作调整的解调处理，以及用于摄像机信号处理电路14中的信号补偿处理的解调处理，并将解调后的值通知微型计算机31。另外，在基于该通知结果从微型计算机31接收到控制信号时，对于来自AFE电路13的图像数据执行诸如白平衡调整的信号补偿处理。如后面将描述的，摄像机信号处理电路14的最后一级具有从输入的图像数据切割一部分图像区域的功能。
在微型计算机31的控制之下，视频CODEC 15压缩和编码从摄像机信号处理电路14输出的图像数据，并将该数据提供给MUX/DEMUX 25作为视频ES(基本流)。由MUX/DEMUX 25分离的视频ES被解压缩和解码。在该实施例中，视频CODEC 15根据MPEG(活动图像专家组)系统执行压缩和编码/解压缩和解码。
显示处理电路16将来自摄像机信号处理电路14的图像数据或者在视频COEDC 15处解压缩和解码的图像数据转换为用于屏幕显示的信号。LCD 17从显示处理电路16接收提供的图像信号并在拍摄期或者回放记录在记录装置26中数据的图像期间显示图像。视频输出端18将来自显示处理电路16的图像信号输出到外部装置。另外，可以将高分辨率(即，HD图像质量)图像和低分辨率(即，SD图像质量)图像从视频输出端18输出。
麦克风19拾取音频信号。A/D变换器20将麦克风19拾取的音频信号以预定采样率转换为数字数据。例如在微型计算机31的控制之下，音频CODEC 21根据诸如MPEG系统的规定的压缩和编码系统编码数字化了的音频数据，并将该数据提供给MUX/DEMUX 25作为音频ES。另外，由MUX/DEMUX 25分离的音频ES被解压缩和解码。
D/A变换放大器22通过音频CODEC 21将解压缩和解码后的音频数据转换为模拟信号。转换后的音频信号被放大并输出到扬声器23以回放和输出音频。音频输出端24将来自D/A变换放大器22的模拟音频信号输出到外部装置。
MUX/DEMUX 25将来自视频CODEC 15的视频ES和来自音频CODEC 21的音频ES划分成分组并多路复用这些分组，从而生成PS(程序流)以便在微型计算机31的控制之下输出到记录装置26。另外，视频ES和音频ES与从记录装置26读出的PS分离，以便分别输出到视频CODEC 15和音频CODEC 21。
记录装置26是用于记录在MUX/DEMUX 25生成的视频/音频的流数据(PS)的装置，以及例如实现为诸如磁带、光盘或HDD(硬盘驱动器)的便携式记录介质驱动装置。还可以读出在记录装置26中记录的PS并提供给MUX/DEMUX 25。
微型计算机31包括CPU(中央处理单元)、诸如ROM(只读存储器)和RAM的存储器，并通过执行存储器中存储的程序来整体控制成像设备。输入单元32根据用户对于一个未示出的输入装置输入的操作输出控制信号到微型计算机31。SDRAM 33主要在成像设备中临时存储信息处理期间所必须的数据(图像数据等等)。
在上述的成像设备中，当执行图像/音频数据的记录时，将摄像机信号处理电路14中处理的成像图像的数据输出到显示处理电路16，并且将成像期间的图像显示在LCD 17上，并还将成像图像的数据提供给视频CODEC 15，以及执行压缩和编码处理(编码处理)以生成视频ES。音频CODEC 21编码所拾取的音频数据以生成音频ES。MUX/DEMUX 25将所产生的视频ES和音频ES相乘以生成PS，并将该PS存储在记录装置26中作为数据文件。
另一方面，当回放记录在记录装置26中的PS时，从记录装置26读出的PS被MUX/DEMUX 25分离，而且被分离的视频ES被视频CODEC 15解压缩和解码。解码后的图像数据被提供给显示处理电路16，从而将回放的图像显示到LCD 17。还可以从视频输出端18输出回放的图像信号。另外，由MUX/DEMUX 25分离的音频ES被音频CODEC 21解码，而且解码后的音频数据被提供给D/A变换放大器22。由此从扬声器23中输出音频。还可以从音频输出端24输出音频信号。
图2是可以在该图像设备中处理的图像的尺寸的说明图。根据本发明的该实施例的成像设备基本上能够同时处理HD图像质量的图像(HD图像)和SD图像质量的图像(SD图像)。即，该设备能够同时传输HD图像和SD图像的数据到包含摄像机信号处理电路14、视频CODEC 15等的信号传输系统，而且还能够基于这些数据在LCD 17显示图像以及将这些数据记录在记录装置26中。另外，该设备能够从视频输出端18中输出任何一种图像质量的图像信号。
在本实施例中，应用1920×1080像素的隔行扫描图像，其为HD图像质量的标准图像格式之一，作为可以被记录和输出的HD图像的一个实例，而且应用720×480像素的隔行扫描图像，其为NTSC(国家电视标准委员会)的一种标准图像格式，作为SD图像的一个实例。
该成像设备的主要内部电路包括处理1080i HD图像的数据的能力。例如，摄像机信号处理电路14和视频CODEC 15能够以每秒60个画面的速度处理输入的HD图像数据。如上所述，该成像设备的成像装置12能够以高于标准刷新率(每秒60个画面)的更高的刷新率成像并输出图像。
在该成像设备的内部电路中，当刷新率(即，时间分辨率)是该标准的“n”倍(在此情况下，“n”为大于等于1的整数)时，空间分辨率被转换为标准图像的1/n，从而允许n幅图像数据在转换后通过合并到标准图像中来处理并传输。在该实施例中，如图2所示，一幅HD图像具有其中排列有4幅SD图像的空间分辨率，而无需特别改变每幅SD图像中的像素的空间排列。通过在该实施例中使用这种排列，在成像装置12中以4倍于标准刷新率成像的图像被转换为SD图像，4幅SD图像被合并到HD图像中，并且该HD图像被传输到内部电路。因此，无需特别改变主要内部电路的配置就能够实现4倍的高速成像。
如上所述，同时以在本实施例中使用的HD图像和SD图像的格式传输图像数据作为画面单元，然而，在以下说明中，要传输的图像数据将被描述为一个帧单元。例如，标准刷新率被表示为30fps(每秒帧数)。
图3是在第一实施例中记录图像时的信号流的说明图。
首先，当以高速成像模式成像图像时，以4倍于标准速率的刷新率(120fps)从成像装置12输出具有规定分辨率的图像信号。来自成像装置12的图像信号在保持该速度的同时在AFE电路13被数字转换，而且经转换后的图像数据被临时存储在SDRAM 33中的存储区域33a中(步骤S1)。图3中，顺序成像的4幅图像由P1-P4表示。
接下来，通过在AFE电路13的最后一级提供的分辨率转换单元13a读出存储器33a中存储的图像数据，同时保持4倍速度(步骤S2)。分辨率转换单元13a是具有转换输入图像数据的分辨率的功能的块，其将从存储区域33a读出的图像数据顺序转换为具有SD图像质量的图像数据，并将该数据再次存储在存储区域33a中(步骤S3)。图3中示出了已经被顺序成像的图像P1-P4由分辨率转换单元13a分别转换成SD图像Ps1-Ps4的状态。
在高速成像模式下，在成像装置12处拍摄的图像的分辨率并不特别受限，然而优选其高于SD图像的分辨率，这是考虑到防止图像质量在后级中降低。
分辨率转换单元13a在例如以正常成像模式记录HD图像时进行操作，以便将成像之后存储在存储区域33a中的图像转换为HD图像的分辨率，并且将它们存储到存储区域33a中。在此情况下，经转换的HD图像由摄像机信号处理电路14从存储区域33a进行处理，然后，被视频CODEC 15编码为30fps的HD图像以存储在记录装置26中。
接下来，经过步骤3的处理被转换为SD图像质量的图像数据以与标准速度相同的速度从存储区域33a中被顺序读出到AFE电路13。此刻，例如在微型计算机31的读出地址控制之下，读出存储器33a中存储的其中合并有连续4幅SD图像的一幅HD图像。在图3中示出了在被合并到一幅HD图像Ph1的状态下读出在存储区域33a中存储的连续SD图像Ps1-Ps4的状态。
因此，其中合并有4幅SD图像的HD图像通过与正常HD图像的成像和记录完全相同的程序被从AFE电路13传输到摄像机信号处理电路14，而且在进行了规定的图像质量校正处理等处理之后，图像被暂时存储在SDRAM 33中的存储区域33b中(步骤S4)。
接下来，以与标准速度相同的30fps的速度，将存储区域33b中存储的HD图像读出到位于摄像机信号处理电路14的最后一级的图像切割单元14a。图像切割单元14a具有从输入图像切割规定区域的图像并输出该图像数据的功能。图像切割单元14a以成像顺序从存储区域33b中的HD图像中仅切割4幅SD图像中的规定图像区域(在此情况下，首幅图像区域)作为用于显示在LCD 17上的代表性图像，而且将该图像数据输出到显示处理电路16(步骤S5)。在图3中示出了从HD图像Ph1切割首幅SD图像Ps1作为代表性图像的状态。实际上，图像切割单元14a将被切割的首幅SD图像的数据转换为符合LCD 17的分辨率并将其输出到显示处理电路16。
因此，LCD 17从显示处理电路16接收的图像信号仅仅顺序显示已经被连续成像的4幅图像中的首幅图像，此刻，在显示处理电路16和LCD 17中，以在成像时速度的1/4速度，即以与标准相同速度的30fps，传输图像信号，因此执行了与正常成像模式相同的操作。
另一方面，当请求在记录装置26中记录成像的图像时，以30fps的速度从存储区域33b读出的HD图像经过图像切割单元14a并被提供给视频CODEC 15，而且被编码为与标准相同的30fps的HD图像(步骤S6)。编码后的HD图像的数据在与音频数据多路复用后被存储在记录装置26中作为流数据(PS)，而且由此记录在记录装置26中的图像数据可以回放，并通过符合与比如附图中的HD图像Ph1的、其中排列了4幅SD图像的HD图像相同的HD图像格式的各种回放装置显示，如后面将描述的。
接下来，解释在回放如上所述记录的HD图像数据时的操作。如下所述，该成像设备包括正常回放模式和慢速回放模式，在正常回放模式中，图像沿与成像时相同的时序回放图像，而在慢速回放模式下，以1/4的速度回放图像。首先参考图4说明慢速回放模式下的操作。
图4是在第一实施例中慢速回放模式下的信号流图，在慢速回放模式下，上述的HD图像数据以标准速度的1/4速度从记录装置26中读出。视频CODEC 15解码由此以慢速读出的图像数据并以1/4速度将解码后的数据暂时存储在存储区域33b中(步骤S11)。应指出，在视频CODEC 15处实际的读出速度和处理速度可以与正常速度相同，而且在此情况下，在以正常状态处理4帧的同时间歇性处理一个帧。
接下来，通过摄像机信号处理电路14的图像切割单元14a读出存储区域33b中存储的HD图像，并且以成像顺序连续切割HD图像中合并的SD图像的数据区域，并以与标准相同速度的30fps提供给显示处理电路16(步骤S12)。
在此过程中，例如，以30fps将HD图像的数据从存储区域33b读出到图像切割单元14a。在此情况下，由于HD图像数据是以1/4的标准速度存储在存储区域33b中的，图像切割单元顺序4次读出相同的HD图像数据。然后，图像切割单元14a从各个读入的HD图像中顺序切割左上方的SD图像区域(对应于该图中的SD图像Ps1)、右上方的SD图像区域(对应于该图中的SD图像Ps2)、左下方的SD图像区域(对应于该图中的SD图像Ps3)、右下方的SD图像区域(对应于该图中的SD图像Ps4)，并将它们输出到显示处理电路16。
根据上述处理，具有SD图像质量的图像以30fps被顺序显示在从显示处理电路16接收图像信号的LCD 17上。此刻，显示屏幕的切换周期为成像时的周期的4倍，因此可以实现1/4速度的慢速回放。从图像切割单元14a提供给显示处理电路16的30fps的SD图像的数据可以从视频输出端18输出到外部装置作为例如模拟图像信号，这使得能够在外部装置中看到SD图像质量的慢速回放图像。还优选30fps的SD图像在例如显示处理电路16处被上变频并且从视频输出端18输出作为HD图像的信号。
图5是在第一实施例中正常回放模式下的信号流图。
在正常回放模式下，如上所述的合并有4幅SD图像的HD图像的数据以标准速度从记录装置26中被读出，并在视频CODEC 15处被解码。解码后的HD图像数据被暂时存储在存储区域33b中，同时保持30fps的速度(步骤S21)。
接下来，在存储区域33b中存储的HD图像被读出到摄像机信号处理电路14中的图像切割单元14a，同时保持30fps的速度。然后，例如，首幅SD图像的数据区域(对应于该图中的SD图像Ps1)通过图像切割单元14a从HD图像数据中被切割作为用于显示的代表性图像，并以30fps的速度被提供给显示处理电路16(步骤S22)。结果，4幅成像图像中只有1幅被间歇性显示在LCD 17处作为代表性图像，然而，该代表性图像的显示周期是沿着图像成像时的时序，因此用户可以以正常速度看到作为回放图像的SD图像。
同样在正常回放模式下，类似于慢速回放模式的情况，从显示处理电路16提供的30fps的SD图像数据可以从视频输出端18输出，例如作为模拟图像信号。还优选将SD图像上变频为HD图像以将其从视频输出端18输出。
在上述的处理中，首先，在以图3所述的高速成像模式的记录处理中，虽然图像是以标准刷新率的4倍速度成像的，但由此成像的图像数据在摄像机信号处理电路14之后被处理作为标准刷新率的HD图像。因此，在摄像机信号处理电路14之后的信号传输系统中(包括摄像机信号处理电路14、显示处理电路16和视频CODEC 15)，对应于HD图像的处理的现有电路除了图像切割单元14a的功能外可以照原样使用而不用特别增加处理能力。
根据上述的记录处理程序，以高速成像模式成像的图像的连续记录时间并不取决于例如在信号传输期间临时存储图像的存储器的容量，而是仅取决于最终记录图像的记录装置的容量。
同样，在图5所说明的正常回放模式下的处理中，视频CODEC 15正常解码HD图像，而且显示处理电路16正常处理SD图像，因此可以照原样使用包含这些电路的现有信号传输系统。此外，在图4所说明的慢速回放模式下的处理中，显示处理电路16以相同方式正常处理SD图像。虽然视频CODEC 15以1/4的标准速度接收图像数据，但是采用了其中相对于4帧的正常状态只有一帧的图像数据被间歇性解码的过程，从而通过改变控制过程来几乎照原样使用现有的电路。
在图像切割单元14a中包含的切割图像的功能在例如过去以来在摄像机信号处理电路14中通常通过解调处理等来使用。因此，看上去似乎不可能通过提供图像切割单元14a而增加制造成本或者大大增大电路尺寸。根据所述的系列处理，可以无需显著改变现有的电路配置就能够记录以高于标准速度的较高刷新率成像的图像数据，而且也可以实现图像数据的正常回放和慢速回放。无需增大制造成本或设备尺寸就能够容易地实现该功能。
在现有技术的成像设备中，存在一种图像设备，其具有切割将在LCD处变焦显示的部分成像图像以确认对象是否在预定点聚焦的功能。在这种设备类型中，用于聚焦显示的图像切割功能可以照原样转用为本实施例中的图像切割单元14a。
以高速成像模式记录的HD图像数据将成为符合标准HD图像格式的通用数据，也即，HD图像数据是其中排列了几乎4幅相同SD图像的图像数据(准确的说，其中成像时序分别偏移了1/120秒的4幅图像)，然而，可以证实的是数据可以通过符合相同HD图像格式的其它回放装置来回放。
由于要记录的图像数据变成了这种通用数据，符合通用数据的音频数据可以与图像数据一起多路复用和记录，即使其已经以高速成像模式被成像和记录，而且图像可以基于所记录的数据和音频一起回放。之后将说明以高速成像模式中的图像记录执行的音频记录以及所记录数据的回放的相应操作。
图6是在第一实施例中在记录/回放图像和音频时的操作时序示意图。在图6中，示出了在记录图像期间连续切换正常成像模式和高速成像模式的情形作为一个例子，然而，难以在记录图像期间切换各自模式的说明可以应用到现实中(同样应用于之后描述的图10)。
在图6中，从时间t0直到经过2/30秒的周期为正常成像模式，其中图像以30fps在成像装置12中成像并且通过成像获得的HD图像被编码以生成视频ES。同时，以预定采样率记录音频数据以便从音频CODEC 21生成音频ES。在MUX/DEMUX 25中，音频ES与视频ES在对应于一帧视频ES的音频帧单元中被复用，而且在记录装置26中记录所生成的PS。
在图6中，从时间t0+(2/30)开始的周期为高速成像模式，而且在成像装置12中图像以是标准4倍的120fps成像。然而，如上所述，在高速刷新率的成像图像被转换成SD图像之后，4幅SD图像被合并到HD图像中并且在内部电路中作为30fps的HD图像传输。因此，音频数据通过与正常成像模式相同的处理被编码，而且音频ES对于其中合并了4幅SD图像的HD图像的视频ES通过与正常成像模式相同的处理被复用到MUX/DEMUX 25中作为音频帧单元。由此，具有与正常成像模式相同的通用格式的流数据(PS)被记录到记录装置26中。
在图6的下半部分示出了在回放如上记录的PS时的操作。当以正常成像模式记录的PS被回放时，从在MUX/DEMUX 25中分离的视频ES中解码HD图像并将其显示。同时，对应于一帧视频ES的音频帧在MUX/DEMUX 25中被分离，并且在音频CODEC 21中被解码，而且HD图像和音频沿成像图像时的时序被同步回放。
另一方面，当回放以高速成像模式记录的PS时，其中视频ES在MUX/DEMUX 25中分离并且在视频CODEC 15中被解码的图像数据的操作完全与正常成像模式的操作相同。如上所述，通过图像切割单元14a仅从解码后的HD图像中切割一幅SD图像的区域，并且显示该SD图像。然而，所显示的图像的速度保持在30fps，因此，音频数据可以被回放并且通过以与正常成像模式相同的方式处理与所显示的SD图像同步输出。
当以慢速回放模式回放高速成像模式中记录的PS时，要显示的图像的切换速度不同于成像图像时的时序，因此，通常很难回放音频。
如上所述，以高速成像模式记录的图像数据可以通过符合相同HD图像格式的其它回放装置回放。因此，即使在同时记录音频数据的流数据的情况下，也可以与HD图像的回放同步地回放音频。在此情况下，音频是沿成像图像时的相同时序回放的，这与其中排列了4幅SD图像的30fps的HD图像同步。
如上所述，根据本实施例的成像设备，可以利用以高速成像模式记录的图像数据执行慢速回放，而且在以正常回放模式回放图像数据时可以与音频一起执行回放。同样，当通过其它通用回放装置回放图像数据时，证实了可以与音频一起执行回放该数据。
【第二实施例】
在上述的第一实施例中，通过以高速成像模式将图像数据记录为30fps的HD图像确保了所记录的图像数据的回放兼容性。然而，在第二实施例中，以高速成像模式记录的图像数据被记录为120fps的图像，其刷新率与成像时的刷新率相同。
图7是在第二实施例中记录图像时的信号流的说明图。
在图7中，从成像装置12以120fps成像图像，这些图像被转换为SD图像，4幅SD图像被合并到一幅HD图像中，直到在摄像机信号处理电路14处执行的图像质量校正(步骤S31～步骤S34)都与图3中的第一实施例相同(步骤S1-S4)。
接下来，图像切割单元14a从存储区域33b中读出其中合并有4幅SD图像的HD图像，然后从HD图像中切割SD图像的各个区域。之后，所切割的SD图像的其中之一(例如，诸如该图中的SD图像Ps1的首幅SD图像)被提供给显示处理电路16作为代表性图像(步骤S35)。因此，该代表性图像以与第一实施例相同的方式以30fps在LCD 17处显示。
当请求在记录装置26中记录成像图像时，图像切割单元14a将从由存储区域33b中读出的HD图像中切割的4幅SD图像(对应于该图中的SD图像Ps1-Ps4)顺序提供给视频CODEC 15(步骤S36)。在此，当以30fps从存储区域33b中读出HD图像时，从HD图像中切割的4幅SD图像可以以4倍速度的120fps传送到视频CODEC 15，而无需改变处理速度。
视频CODEC 15以120fps编码所传送的SD图像以生成视频ES。此刻，通过对于每帧的图像数据以1/120秒的间隔添加例如回放时间管理信息(PTS：显示时间戳)，由SD图像以120fps生成视频ES。所生成的视频ES在MUX/DEMUX 25中与音频ES复用并且被记录到记录装置26中作为流数据(PS)。
图8是在第二实施例中慢速回放模式下的信号流图。
在慢速回放模式下，对于规定的刷新率(即，30fps)以1/4速度从记录装置26中读出120fps的上述SD图像数据。该操作与正常读出30fps的SD图像的情况下的操作相同。
所读出的SD图像的数据在视频CODEC 15处被解码，同时保持该速度，而且被暂时存储在存储器33b中(步骤S41)。在解码处理中，每个帧以4倍于规定的刷新率(即，120fps)解码一段时间周期。因此，视频CODEC 15必需新包括一种用于例如以4倍于规定速率的时间间隔将从视频ES提取的PTS转换为信息的功能。
在视频CODEC 15解码的SD图像的数据以30fps被存储在存储区域33b中，然后以相同的30fps被读出以顺序提供给显示处理电路16(步骤S42)。因此，SD图像质量的图像以30fps以如同第一实施例的相同方式被顺序显示在从显示处理电路16接收图像信号的LCD 17处。此刻，显示屏的切换周期变得4倍于成像时的周期，因此可以实现1/4速度的慢速回放。
如图7和图8所述，需要在该实施例中使用的视频CODEC 15能够以120fps对SD图像执行编码而且解码以1/4速度提供的SD图像。然而，视频CODEC 15原本就能够解码30fps的HD图像，因此可以通过利用与编码时相同速度的处理时钟以4倍于SD图像的120fps处理数据量为HD的数据量的1/4或更少的SD图像。因此，无法想象在例如编码120fps的SD图像时功耗格外提高，而且新开发一种具有这种功能的编码器变得相对容易。此外，关于以1/4速度解码SD图像，虽然必须增加诸如转换PTS的控制功能，但不必增加处理能力，因此，新开发具有这种功能的解码器变得相对容易。
图9是在第二实施例中正常回放模式下的信号流图。
在正常回放模式下，正常读出(即，120fps)如上所述记录在记录装置26中的120fps的SD图像的数据，并将其提供给视频CODEC15(步骤S51)。此刻，每单位时间的读出的数据量小于读出标准HD图像(即，30fps)时的数据量，因此，可以以与30fps的HD图像的正常读出操作相同的处理速度执行该读出操作。因此，这种读出操作可以几乎按照原样通过利用现有信号传输系统来执行。
视频CODEC 15仅解码120fps的输入的4幅SD图像的其中之一的数据(例如，诸如该附图中的SD图像Ps1的首幅SD图像)作为代表性图像，并且暂时将其存储在存储区域33b中(步骤S52)。此刻，丢弃该代表性图像以外的数据。
接下来，将存储在存储器33b中的代表性SD图像以30fps提供给显示处理电路16(步骤S53)。结果，仅4幅成像图像的其中之一被间歇性显示在LCD 17中作为代表性图像，此时的图像显示周期是沿着以与第一实施例中的方式相同方式成像图像时的时序，因此，用户可以看到作为正常速度的回放图像的SD图像。
对于图9的操作，视频CODEC 15必须具有间歇性解码120fps的SD图像的功能。然而，这种处理基本上与以30fps解码SD图像的情况相同，因此，实现具有这种功能的解码器变得相对容易。
在读出的视频ES处以1/120秒的间隔在每帧添加PTS的情况下，当所有帧的PTS都被读出而且回放时间被控制在视频CODEC 15每次解码时，仅仅自动解码具有对应于30fps回放时间的PTS的帧，因此，可以不用特别改变就能够实现上述操作。结果，这种图像数据可以被回放作为30fps的SD图像，而不会在包含具有相同规格的解码器的其它回放装置中出现任何问题，而且所记录的数据的兼容性可以被保持在该范围之内。当如上所述回放时，最初被选作为一幅图像的SD图像被回放和原样显示，这不同于第一实施例，因此用户可以看到没有不和谐感觉的回放图像。
如上所述，由于30fps的图像是根据上述实施例以与第一实施例相同的方式在正常回放模式下输出的，当音频数据与图像数据在高速成像模式下一起被复用和记录时，可以与音频一起回放图像。
图10是在第二实施例中记录/回放图像和音频时的操作时序图。
如上所述，在高速成像模式中，与成像装置12中的刷新率同步的120fps的SD图像被编码并且生成视频ES。此刻，通过与正常成像模式相同的处理过程编码音频数据，而且PTS被添加到编码后的音频数据的每个音频ES中，以便与连续4幅SD图像的其中之一(例如，首幅图像)同步。然后，复用视频ES和音频ES以记录在记录装置26中作为PS。
当以正常回放模式回放这种图像数据时，以120fps从记录装置26中读出SD图像，并且仅解码4幅SD图像的其中之一。
此刻，SD图像基本上以30fps解码，通过与SD图像同步解码视频数据(音频帧)，以与回放在正常成像模式下记录的图像和音频时的相同方式回放和输出图像和音频。
另外，当通过包含具有基于所有帧的PTS控制回放时间的规格的视频解码器的另外的回放装置回放在高速成像模式下记录的PS时，可以以与在成像装置中正常回放模式下回放时相同的方式与音频一起回放并输出30fps的SD图像。
如上所述，同样在根据第二实施例的成像设备中，可以通过利用在高速成像模式下记录的图像数据执行慢速回放，而且当通过正常回放模式回放图像数据时，可以与音频一起回放该数据。另外，当通过其它的通用回放装置回放图像数据时，可以与音频一起回放该数据作为正常的SD图像，这取决于回放装置的解码器的规格。此刻，不是照原样显示如同第一实施例中的排列有多个图像的图像，而是原样显示最初被成像为一幅图像的SD图像，也即，可以显示与正常记录的SD图像相同的图像。仅通过对现有电路配置作一个小的修正就能够实现上述功能，而且相比现有成像装置可以尽可能抑制制造成本的增加和设备尺寸的增大。
同样，在第二实施例中，在高速成像模式下成像的图像的连续记录时间仅受限于记录装置的容量，这与第一实施例中的方式相同。
同样，在第二实施例中，很难以与第一实施例相同的方式在慢速回放模式下正常回放音频数据，因此，在慢速回放模式下不回放音频。
在上述实施例中，通过以4倍于标准的刷新率成像而获得的4幅SD图像被合并到一幅HD图像中，而且该HD图像在该成像设备内传输。例如，当图像在成像装置12中以3倍或2倍于标准成像时，图像被分别转换为3幅或2幅HD图像并且被合并到将被传输的一幅HD图像中，这可以通过相同方式来处理。也就是说，可以分别以1/3速度或1/2速度执行如此记录的图像数据的回放。
当实现本发明时，在成像时的刷新率(时间分辨率)为标准的n倍的情况下，由此获得的图像被转换为具有该标准的1/n的空间分辨率的图像，而且连续n幅图像被合并到具有标准尺寸的图像中，可以根据在回放时所要求的图像的空间分辨率来可选地改变值“n”。然而，优选将“n”设置为可以在标准尺寸的图像中排列n幅连续图像而不用改变像素的空间排列。
在上述各实施例中，示出了本发明被应用到将成像/拾取的图像和音频记录在记录介质中的成像设备的实例，然而，还优选应用本发明到其中通过编码图像和音频的信号来生成数据流以通过网络传输到外部装置的装置中。
另外，将被编码的图像和音频并不局限于已经被成像/拾取的图像和音频，而优选是例如通过TV调谐器接收的广播内容信号或者通过数字或模拟图像/音频输入端输入的信号。也就是说，本发明可以被应用于通过接收可以切换多个刷新率的图像信号的输入并编码这些信号来生成数据流的装置。
本领域的技术人员应理解的是，根据设计需求和其它因素可以进行各种修正、组合、子组合和变化，它们都在所附权利要求书或其等价物的范围内。

Claims (17)

1.一种处理图像信号的图像处理设备，包括：
图像转换单元，用于将以高速刷新率输入的图像转换为其中n(“n”为大于等于2的整数)幅连续输入的图像被排列在一个屏幕上的图像，并以该高速刷新率的1/n的低速刷新率输出转换后的图像；
显示图像切割单元，用于从由图像转换单元输出的图像中切割n幅输入图像的其中之一并以低速刷新率输出该图像；以及
显示处理单元，用于生成图像信号以便在显示装置上显示从显示图像切割单元输出的图像。
2.一种利用固态成像装置成像图像的成像设备，包括：
图像转换单元，用于将通过固态成像装置以高速刷新率成像的图像转换为其中n(“n”为大于等于2的整数)幅连续成像的图像被排列在一个屏幕上的图像，并以该高速刷新率的1/n的低速刷新率输出转换后的图像；
信号处理单元，用于对来自图像转换单元的图像执行预定的图像质量补偿处理；
显示图像切割单元，用于从由信号处理单元处理的图像中切割n幅成像图像的其中之一，并以低速刷新率输出该图像；以及
显示处理单元，用于生成图像信号以便在显示装置上显示从显示图像切割单元输出的图像。
3.根据权利要求2的成像设备，还包括：
图像编码单元，用于将信号处理单元处理的图像的数据压缩和编码为慢速刷新率的图像数据；以及
记录单元，用于记录来自图像编码单元的编码后的图像数据到记录介质中。
4.根据权利要求3的成像设备，还包括：
图像解码单元，用于读出在记录介质中记录的编码后的图像数据，并以所述慢速刷新率的1/n的刷新率解压缩和解码该数据；以及
其中所述显示图像切割单元从在图像解码单元处解码的图像中顺序切割所述n幅成像图像，并以所述慢速刷新率将这些图像输出到显示处理单元。
5.根据权利要求4的成像设备，
其中所述图像解码单元还包括读出在记录介质中记录的编码后的图像数据并且以慢速刷新率解压缩和解码该数据的功能，以及
其中所述显示图像切割单元从在图像解码单元中以慢速刷新率解码的图像中切割n幅成像图像的其中一幅，并以慢速刷新率将其输出到显示处理单元。
6.根据权利要求3的成像设备，还包括：
拾取音频的音频拾取单元；以及
压缩和编码通过音频拾取单元拾取的音频数据的音频编码单元，以及
其中，所述记录单元在记录介质中记录复用的数据，其中复用了来自所述图像编码单元的编码图像数据和来自音频编码单元的编码音频数据。
7.根据权利要求6的成像设备，还包括：
图像解码单元，该图像解码单元包含读出记录介质中记录的复用数据并以慢速刷新率的1/n的刷新率解压缩和解码复用数据中的编码图像数据的功能，并以慢速刷新率压缩和解码读出的复用数据中的编码图像数据的功能；以及
音频解码单元，用于仅在通过图像解码单元以慢速刷新率执行解码处理时，以与记录时的速度相同的处理速度解压缩和解码复用数据中的编码音频数据，以及
其中，当通过图像解码单元执行以慢速刷新率的1/n的刷新率的解码时，显示图像切割单元从解码的图像中顺序切割n幅成像图像，并以慢速刷新率将它们输出到显示处理单元，以及
其中，当通过图像解码单元执行慢速刷新率的解码时，显示图像切割单元从解码图像中切割所述n幅成像图像的其中之一，并以慢速刷新率将其输出到显示处理单元。
8.根据权利要求2的成像设备，还包括：
记录图像切割单元，用于从信号处理单元中处理的图像中顺序切割n幅成像图像，并以高速刷新率将它们输出；
图像编码单元，用于将从记录图像切割单元输出的成像图像的数据压缩和编码为高速刷新率的图像数据；以及
记录单元，用于将来自图像编码单元的编码图像数据记录在记录介质中。
9.根据权利要求8的成像设备，还包括：
图像解码单元，用于读出记录介质中记录的编码图像数据，以慢速刷新率解压缩和解码该数据以输出到显示处理单元。
10.根据权利要求9的成像设备，
其中，所述图像解码单元还包括读出记录介质中记录的编码图像数据、以慢速刷新率间歇性地解压缩和解码所述连续n幅编码图像数据的其中之一以输出到显示处理单元的功能。
11.根据权利要求8的成像设备，还包括：
拾取音频的音频拾取单元；以及
压缩和编码由音频拾取单元拾取的音频数据的音频编码单元，以及
其中，所述记录单元将复用数据记录在记录介质中，其中复用了来自图像编码单元的编码图像数据和来自音频编码单元的编码音频数据。
12.根据权利要求11的成像设备，还包括：
图像解码单元，该图像解码单元包含读出在记录介质中记录的复用数据、并以慢速刷新率解压缩和解码该数据以输出到显示处理单元的功能，以及以慢速刷新率间歇性地解压缩和解码在所述读出的复用数据中的连续n幅编码图像数据的其中之一以输出到显示处理单元的功能；以及
音频解码单元，用于仅在通过图像解码单元执行以慢速刷新率解码所述n幅编码图像数据的其中之一的处理时，以与记录时相同的处理速度解压缩和解码所述复用数据中的编码音频数据。
13.根据权利要求8的成像设备，
其中，所述图像编码单元接收具有能够排列n幅成像图像并且能够以慢速刷新率压缩和编码该图像的分辨率的图像。
14.根据权利要求2的成像设备，还包括：
分辨率转换单元，用于通过固态成像装置将以高速刷新率成像的图像的分辨率转换为从图像转换单元输出的图像的分辨率的1/n或更小，并将转换后的图像输出到图像转换单元。
15.根据权利要求14的成像设备，
其中所述固态成像装置还包括以慢速刷新率成像图像的功能，以及
其中分辨率转换单元还包括通过所述固态成像装置将以慢速刷新率成像的图像的分辨率转换为从图像转换单元输出的图像的分辨率，并将转换后的图像输出到信号处理单元的功能。
16.一种处理图像信号的图像处理方法，包括步骤：
将以高速刷新率输入的图像转换为其中连续n(“n”为大于等于2的整数)幅输入图像被排列在一个屏幕上的图像，并通过图像转换单元以该高速刷新率的1/n的低速刷新率输出转换后的图像；
从由图像转换单元输出的图像中切割所述n幅输入图像的其中之一，并通过显示图像切割单元以低速刷新率输出所切割的图像；以及
由显示处理单元生成图像信号以便在显示装置上显示从显示图像切割单元输出的图像。
17.一种利用固态成像装置成像图像的成像方法，包括步骤：
将通过固态成像装置以高速刷新率成像的图像转换为其中连续n(“n”为大于等于2的整数)幅成像的图像被排列在一个屏幕上的图像，并通过图像转换单元以该高速刷新率的1/n的低速刷新率输出转换后的图像；
通过信号处理单元对来自图像转换单元的图像执行预定的图像质量补偿处理；
从由信号处理单元处理的图像中切割n幅成像图像的其中之一，并通过显示图像切割单元以低速刷新率输出所切割的图像；以及
通过显示处理单元生成图像信号以便在显示装置上显示从显示图像切割单元输出的图像。
CNA2007101120903A 2006-06-22 2007-06-22 图像处理设备、成像设备及其方法 Pending CN101094322A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006172974 2006-06-22
JP2006172974A JP4172504B2 (ja) 2006-06-22 2006-06-22 画像処理装置、撮像装置、および方法

Publications (1)

Publication Number Publication Date
CN101094322A true CN101094322A (zh) 2007-12-26

Family

ID=38873169

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101120903A Pending CN101094322A (zh) 2006-06-22 2007-06-22 图像处理设备、成像设备及其方法

Country Status (5)

Country Link
US (1) US20070296826A1 (zh)
JP (1) JP4172504B2 (zh)
KR (1) KR20070121566A (zh)
CN (1) CN101094322A (zh)
TW (1) TW200816797A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102387292A (zh) * 2010-09-06 2012-03-21 卡西欧计算机株式会社 运动图像处理装置、运动图像再现装置、运动图像处理方法及运动图像再现方法
CN102860150A (zh) * 2010-04-29 2013-01-02 富士机械制造株式会社 制造作业机
CN104184948A (zh) * 2014-08-22 2014-12-03 惠州Tcl移动通信有限公司 通过移动终端远程控制拍照设备延时拍照的方法及系统
CN104205160A (zh) * 2012-02-01 2014-12-10 科磊股份有限公司 用于高速成像应用的集成式多通道模拟前端和数字化器
CN105472410A (zh) * 2015-12-30 2016-04-06 惠州市伟乐科技股份有限公司 一种avs+编码装置
US9363936B2 (en) 2010-04-29 2016-06-07 Fuji Machine Mfg. Co., Ltd. Manufacture work machine and manufacture work system
CN102932623B (zh) * 2011-06-13 2017-04-26 沃克斯国际公司 音频数据和图像数据的捕获、同步和回放
CN111886857A (zh) * 2018-04-04 2020-11-03 索尼半导体解决方案公司 固态摄像器件
CN114078445A (zh) * 2020-08-18 2022-02-22 乐金显示有限公司 驱动电路和使用该驱动电路的显示装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5381279B2 (ja) * 2009-04-23 2014-01-08 日本電気株式会社 撮影装置
US20100283868A1 (en) * 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
JP2012034215A (ja) * 2010-07-30 2012-02-16 Sony Corp 画像処理装置および方法、並びにプログラム
IT1403450B1 (it) * 2011-01-19 2013-10-17 Sisvel S P A Flusso video costituito da frame video combinati, e procedimento e dispositivi per la sua generazione, trasmissione, ricezione e riproduzione
WO2012166444A2 (en) * 2011-05-27 2012-12-06 Looxcie, Inc. Scalable audiovisual streaming method and apparatus
DE202012013640U1 (de) * 2012-01-03 2018-11-12 solar-semi GmbH Substratteller
JP6403479B2 (ja) * 2014-07-30 2018-10-10 キヤノン株式会社 撮像装置およびその制御方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10098269B2 (en) 2010-04-29 2018-10-09 Fuji Machine Mfg. Co., Ltd. Manufacture work machine for controlling a plurality of work-element performing apparatuses by central control device
US9485895B2 (en) 2010-04-29 2016-11-01 Fuji Machine Mfg. Co., Ltd. Central control device and centralized control method
US9374935B2 (en) 2010-04-29 2016-06-21 Fuji Machine Mfg. Co., Ltd. Manufacture work machine
CN102860150B (zh) * 2010-04-29 2015-05-13 富士机械制造株式会社 制造作业机
CN102860150A (zh) * 2010-04-29 2013-01-02 富士机械制造株式会社 制造作业机
US9363936B2 (en) 2010-04-29 2016-06-07 Fuji Machine Mfg. Co., Ltd. Manufacture work machine and manufacture work system
CN102387292B (zh) * 2010-09-06 2014-04-16 卡西欧计算机株式会社 运动图像处理装置、运动图像再现装置、运动图像处理方法及运动图像再现方法
CN102387292A (zh) * 2010-09-06 2012-03-21 卡西欧计算机株式会社 运动图像处理装置、运动图像再现装置、运动图像处理方法及运动图像再现方法
CN102932623B (zh) * 2011-06-13 2017-04-26 沃克斯国际公司 音频数据和图像数据的捕获、同步和回放
CN104205160A (zh) * 2012-02-01 2014-12-10 科磊股份有限公司 用于高速成像应用的集成式多通道模拟前端和数字化器
CN104205160B (zh) * 2012-02-01 2017-07-28 科磊股份有限公司 用于高速成像应用的集成式多通道模拟前端和数字化器
CN104184948A (zh) * 2014-08-22 2014-12-03 惠州Tcl移动通信有限公司 通过移动终端远程控制拍照设备延时拍照的方法及系统
CN105472410A (zh) * 2015-12-30 2016-04-06 惠州市伟乐科技股份有限公司 一种avs+编码装置
CN111886857A (zh) * 2018-04-04 2020-11-03 索尼半导体解决方案公司 固态摄像器件
CN114078445A (zh) * 2020-08-18 2022-02-22 乐金显示有限公司 驱动电路和使用该驱动电路的显示装置
CN114078445B (zh) * 2020-08-18 2024-03-08 乐金显示有限公司 驱动电路和使用该驱动电路的显示装置

Also Published As

Publication number Publication date
US20070296826A1 (en) 2007-12-27
JP4172504B2 (ja) 2008-10-29
KR20070121566A (ko) 2007-12-27
JP2008005242A (ja) 2008-01-10
TW200816797A (en) 2008-04-01

Similar Documents

Publication Publication Date Title
CN101094322A (zh) 图像处理设备、成像设备及其方法
US6690881B1 (en) Digital camera apparatus and recording method thereof
US8903222B2 (en) Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor
US8102436B2 (en) Image-capturing apparatus and method, recording apparatus and method, and reproducing apparatus and method
JP5036410B2 (ja) 撮像装置及びその制御方法
JP4515465B2 (ja) 動画撮影装置および動画撮影方法、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法
JP4680166B2 (ja) 撮像装置および撮像方法
JP4131284B2 (ja) ビデオ信号処理装置、ビデオ信号処理方法
JP2007312006A (ja) ストリーム生成装置、撮像装置、データ処理装置、およびストリーム生成方法
US8094991B2 (en) Methods and apparatus for recording and reproducing a moving image, and a recording medium in which program for executing the methods is recorded
US8511901B2 (en) Image recording apparatus and method
JP2008124671A (ja) 撮像装置および撮像方法
WO2011024361A1 (ja) ネットワークカメラ及び映像配信システム
JPH10336585A (ja) 動画像記録／再生装置および動画像記録／再生方法
KR100937418B1 (ko) 부재중 메시지 저장 기능을 갖는 ｐｖｒ 장치 및 그 방법
JP2000023167A (ja) 映像復号化装置とその方法、受信装置および再生装置
JP2005229553A (ja) 画像処理装置
US20100149375A1 (en) Apparatus and method for faster recording and reproduction of digital video images
JP2015029211A (ja) 撮像装置
JP4974841B2 (ja) 映像データ記録装置
JP4253058B2 (ja) デジタルカメラ装置
JP3572819B2 (ja) ディジタル画像圧縮符号化装置
KR20030069408A (ko) 하드디스크를 이용한 녹화 장치
JPH1168516A (ja) サンプリング周波数変換装置、及び、サンプリング周波数変換方法
JPWO2007043227A1 (ja) カメラおよびビデオレコーダ並びにカメラシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20071226