CN101529890A - 图像摄取设备和再现控制设备 - Google Patents

图像摄取设备和再现控制设备 Download PDF

Info

Publication number
CN101529890A
CN101529890A CNA2007800397298A CN200780039729A CN101529890A CN 101529890 A CN101529890 A CN 101529890A CN A2007800397298 A CNA2007800397298 A CN A2007800397298A CN 200780039729 A CN200780039729 A CN 200780039729A CN 101529890 A CN101529890 A CN 101529890A
Authority
CN
China
Prior art keywords
frame rate
image
speed
frame
image capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800397298A
Other languages
English (en)
Other versions
CN101529890B (zh
Inventor
德山阳人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101529890A publication Critical patent/CN101529890A/zh
Application granted granted Critical
Publication of CN101529890B publication Critical patent/CN101529890B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204—Player-machine interfaces
    • G07F17/3211—Display means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3202—Hardware aspects of a gaming system, e.g. components, construction, architecture thereof
    • G07F17/3204—Player-machine interfaces
    • G07F17/3211—Display means
    • G07F17/3213—Details of moving display elements, e.g. spinning reels, tumbling members
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

图像摄取装置能够以第一帧速率和高于第一帧速率的第二帧速率摄取图像。检测装置检测突出场景。当检测到突出场景时，以高速模式执行图像摄取操作，并且在一预定时间段内产生高帧速率(240fps)的图像信号。当没有检测到突出场景时，以正常模式执行图像摄取操作并且产生正常帧速率(60fps)的图像信号。可以节省当对突出场景成像时用于执行帧速率的切换操作的时间和劳动。还可以节省存储介质的容量和功耗。

Description

图像摄取设备和再现控制设备
技术领域
本发明涉及能够在切换帧速率的同时摄取图像的图像摄取设备和能够以外部监视设备所对应于的帧速率来再现运动图像信息的再现控制设备。
背景技术
基于近来图像摄取设备从电荷耦合器件(CCD)向互补金属氧化物半导体(CMOS)发展的变化趋势和基于广播中与日本高清晰度电视系统(Hi-Vision)的兼容性实现高分辨率的图像摄取设备或图像摄取系统的技术，即使在商业上可获得的图像摄取设备中，也通过限制其分辨率而实现了高速帧速率的图像摄取环境。
例如，日本专利申请公布No.S63-59074公开了一种能够通过使快门速度和帧速度可变而高速摄取图像的高速摄像机。此外，日本专利申请公布No.2001-292409公开了可以切换高质量的慢动作记录和正常记录，以作为用于再现在高速帧速率的图像摄取环境中获得的图像的记录和再现设备。
发明内容
本发明要解决的问题
同时，在传统的图像摄取设备中，存在这样的问题：由于用户通过手工指定快门速度和帧速度来高速摄取图像，因此操作很复杂并且需要用于在再现时的时段期间切换帧速率的装置。
此外，在传统的记录和再现设备中，存在这样的问题：它不能根据诸如作为再现输出目的地的显示器是否对应于高帧速率之类的相应情形来调节输出图像的帧速率，并且它不能在作为再现输出目的地的显示器显示输出图像时调节帧速率。
用于解决问题的手段
因此，为了能节省在对突出场景成像时用于切换帧速率的时间和劳动并且能节省存储介质的容量和功耗，本发明的图像摄取设备具有能够以第一帧速率和高于第一帧速率的第二帧速率摄取图像的图像摄取装置、用于检测突出场景的检测装置、以及用于响应于检测装置对突出场景的检测而切换图像摄取装置的帧速率的控制装置。
另外，为了能根据再现输出的目的地是否对应于高帧速率来调节输出图像的帧速率并且能在再现输出的目的地显示图像时调节帧速率，本发明的再现控制设备是一种用于从记录介质再现运动图像信息和关于运动图像信息的辅助信息的再现控制设备，该设备具有判定装置和控制装置，判定装置用于基于外部监视设备所对应于的帧速率和辅助信息来判定在再现运动图像信息时的再现模式是稀疏再现模式(thinning-out reproducingmode)还是非稀疏再现模式(non-thinning-out reproducing mode)，控制装置用于根据判定装置的判定结果来控制运动图像信息的再现操作。
本发明的效果
根据本发明的图像摄取设备，响应于突出场景的检测而执行帧速率的切换，例如，自动地从第一帧速率切换到高于第一帧速率的第二帧速率。因此，可以节省在摄取突出场景时用于执行帧速率切换操作所需的时间和劳动。而且，在检测到突出场景时切换到第二帧速率，从而与固定为第二帧速率的实例相比可以节省存储介质的容量和功耗。
此外，根据本发明的再现控制设备，基于外部监视设备所对应于的帧速率和与要再现的运动图像信息一起再现的辅助信息来判定当再现运动图像信息时的再现模式是稀疏再现模式或是非稀疏再现模式，从而根据判定结果来执行运动图像信息的再现操作控制。例如，如果判定运动图像信息的帧速率高于外部监视设备所对应于的帧速率，则判定是稀疏再现模式并且以外部监视设备所对应于的帧速率来再现运动图像信息。由此，可以根据诸如作为再现输出目的地的显示器是否对应于高速帧速率之类的相应情形来以输出图像的帧速率输出运动图像信息。
附图说明
图1是示出根据本发明的图像摄取设备的配置的框图。
图2是示出图像摄取设备中的帧速率切换操作的流程图。
图3是示出突出场景检测处理的流程图。
图4是用于说明在图像摄取设备中的记录时的时段期间和再现时的时段期间的操作的视图(针对外部监视设备并不对应于高速帧速率的实例)。
图5是用于说明在图像摄取设备中的记录时的时段期间和再现时的时段期间的操作的视图(针对外部监视设备对应于高速帧速率的实例)。
图6是示出高速帧速率再现模式和正常帧速率再现模式之间的切换操作的流程图。
图7是示出运动图像文件的结构的说明图。
图8是用于说明在外部监视设备并不对应于高帧速率的情况下、当具有运动图像文件的结构的图像信号被再现时的操作的视图。
图9是用于说明在外部监视设备对应于高帧速率的情况下、当具有运动图像文件的结构的图像信号被再现时的操作的视图。
图10是示出记录在外部记录介质中(或者记录在内部记录介质中)的数据的配置的视图。
图11是用于说明当连接有并不对应于高速帧速率的外部监视设备时的再现操作的视图。
图12是示出在再现时的时段期间通过手工操作进行的帧速率选择操作的流程图。
图13是示出正常帧速率稀疏再现模式和正常帧速率非稀疏再现模式之间的自动切换操作的流程图。
图14是示出帧速率切换信息的自动生成操作的流程图。
具体实施方式
接下来，将参考附图描述本发明的实施例。图1是示出根据本发明的图像摄取设备的配置的框图。根据本发明的图像摄取设备意图关注这样一个事实，即在连接到图像摄取设备并且被图像摄取设备所用的外部监视设备转变到不仅对应于第一帧速率还对应于高于第一帧速率的第二帧速率的外部监视设备的过渡时段中，对应于第二帧速率的外部监视设备和并不对应于第二帧速率的外部监视设备以混合方式存在，并且根据本发明的图像摄取设备还关注图像摄取操作期间对功率的影响和存储介质的容量。在下面的描述中，假定第一帧速率是标准电视系统的帧速率，例如60fps(帧/秒)或者50fps(要注意，根据NTSC、PAL、SECAM等等的“奇数场”和“偶数场”的一场在这里被描述为“一帧”)。还假定第二帧速率例如是240fps(帧/秒)，它是第一帧速率的四倍。要注意，第一帧速率被称为“正常帧速率”，而第二帧速率被称为“高速帧速率”。
根据本发明的图像摄取设备具有成像器驱动驱动器1、电子图像摄取元件(成像器)2、模拟前端(AFE)3、图像和语音处理ASIC(专用集成电路)4、麦克风5、模拟放大器6、扬声器7、存储器8、面板驱动驱动器9、LCD(液晶显示器)面板10、操作单元11、电池12、电源管理IC 13、外部记录介质14、图像输出端子15、内部记录介质21、可编程RAM(随机访问存储器)22、角速度传感器23、透镜驱动驱动器24、透镜25和系统MPU(微处理单元)26。
成像器驱动驱动器1是用于驱动电子图像摄取元件2的电路。电子图像摄取元件2是不仅能够生成正常帧速率的图像信号还能够生成高速帧速率的图像信号的图像摄取元件。例如，CMOS(互补金属氧化物半导体)成像器等等被用作电子图像摄取元件2。
AFE 3具有模拟信号处理电路、A/D转换器等等。AFE 3对由电子图像摄取元件2生成的模拟图像信号执行信号处理，例如降噪处理、信号电平调节处理等等。此外，其将已经历信号处理的图像信号转换为数字图像信号。
图像和语音处理ASIC 4是处理图像信号和语音信号的专用集成电路。图像和语音处理ASIC 4例如对由AFE 3获得的数字图像信号执行诸如颜色处理和透镜校正处理之类的处理。其还对图像信号执行压缩处理、扩展处理等等。
麦克风5检测语音，将其转换为要输出的电信号。模拟放大器6是对从麦克风5输出的电信号进行放大的电路。扬声器7将经模拟放大器6放大的电信号转换为要输出的语音。存储器8是在其中存储各种类型数据的电路。面板驱动驱动器9是基于由图像和语音处理ASIC 4处理的图像信号来驱动LCD面板10的各个像素的电路。操作单元11具有各种操作开关。电池12生成要提供给该图像摄取设备的各个构成元件的电力。电源管理IC 13是检测电池12的状态和负载状态并且管理该图像摄取设备的电源的电路。
外部记录介质14是用于在其中存储由该图像摄取设备生成的运动图像信息、语音图像信息等等的外部记录介质。图像输出端子15是用于将由该图像摄取设备生成的运动图像信息或者记录在外部记录介质14中的运动图像信息提供给外部监视设备30以便可以监视图像的输出端子。内部记录介质21是包括在该图像摄取设备中的存储设备，并且在其中存储由该图像摄取设备生成的运动图像信息、语音信息等等。
可编程RAM 22构成该图像摄取设备所必需的各种类型逻辑。
角速度传感器23是用于实现该图像摄取设备的防抖功能的传感器，并且在图像摄取设备运动时检测角速度。
透镜驱动驱动器24是基于透镜驱动信号驱动透镜25的电路，并且执行变焦操作等等。
系统MPU 26是控制该图像摄取设备的各个构成元件的微处理单元。
接下来将描述操作。当图像摄取设备的工作模式被设定为用于生成高速帧速率的图像信号的工作模式(下文中称为“高速模式”)时，系统MPU 26将与高速帧速率相对应的驱动脉冲发送到成像器驱动驱动器1以用高速模式驱动电子图像摄取元件2。
另外，系统MPU 26还使得AFE 3与图像和语音处理ASIC 4在高速模式中执行信号处理以生成高速帧速率的图像信号。而且，系统MPU 26使得图像和语音处理ASIC 4对高速帧速率的图像信号执行压缩处理。系统MPU 26执行用于从图像输出端子15输出通过控制由各个构成元件执行的操作而获得的高速帧速率的图像信号的处理，以及用于将通过对高速帧速率的图像信号进行压缩处理而获得的图像记录数据记录到外部记录介质14中(或者记录到内部记录介质21中)的处理。当记录图像记录数据时，从麦克风5输入的语音与高速帧速率的所摄取图像同步地被数字采样、压缩和记录。要注意，高速帧速率的图像信号可以被记录到外部记录介质14中(或者记录到内部记录介质21中)。通过这样选择高速模式作为工作模式，可以输出或记录高时间分辨率的所摄取图像。
如果图像摄取设备的工作模式被设定为用于生成正常帧速率的图像信号的工作模式(下文中称为“正常模式”)，则系统MPU 26降低自身的驱动脉冲的频率以减小图像摄取设备的功耗(与高速模式相比)，并且在正常模式中驱动电子图像摄取元件2、AFE 3、图像和语音处理ASIC 4等等。
在正常模式中，与高速模式相比减小了时间方向上的分辨率，但是由于图像帧速率的减小，其具有对功耗的影响更小并且对每个记录介质的容量的影响更小的优点。要注意，曝光时间在高速模式和正常模式之间是不同的，因此通过使得图像和语音处理ASIC 4等等进行图像信号的增益调节，可以使得即使在曝光时间不同的情况下这两种情况之间的信号电平也能设定为相等。
如果外部监视设备30可以对应于高速帧速率，则可以利用从图像摄取设备的图像输出端子15输出的图像信号显示所摄取图像。另一方面，如果外部监视设备30并不对应于高速帧速率，例如如果它是传统电视装置或设备中包括的LCD面板等等，则当从图像摄取设备的图像输出端子15输出的图像信号的帧速率是高速帧速率时，不能显示所摄取图像。
因此，对于并不对应于高速帧速率的外部设备，作为图像摄取设备所包括的高速帧速率成像功能的应用，提供了一种慢再现模式，该模式用于以正常帧速率输出通过在高速模式下摄取图像而获得的高速帧速率的图像信号。例如，提供了用于以60帧图像/秒(60fps)的速率来再现240帧图像/秒(240fps)的慢再现模式，从而输出四倍时间的图像信号。通过这样的处理，可以利用高速帧速率的图像信号来显示高时间分辨率的慢再现图像。
这样，即使采用了不对应于高速帧速率的外部监视设备，也能通过提供慢再现模式来显示所摄取图像，并且因此，即使所有的图像都可以用高速帧速率来摄取。然而，如果所有图像都用高帧速率来摄取，则如上所述图像摄取设备的功耗增大，从而导致图像摄取设备的可工作时间减少。此外，如果高速模式中的分辨率被设定为与正常模式中的分辨率相等，则由于每单位时间的大量帧，可记录时间也减少。
因此，根据本发明的图像摄取设备基于在摄取图像期间由图像摄取设备获得的信息来检测突出场景，并且响应于突出场景的检测而自动切换所摄取图像的帧速率。通过这样切换帧速率，可以自动产生以下效果：生成突出场景的慢动作图像，同时节省帧速率切换操作所需的时间和劳动并且节省介质的容量和功耗。
要注意，系统MPU 26实现了突出场景的检测和帧速率切换。
图2是示出由图像摄取设备执行的帧速率切换操作的流程图。如图2的流程图所示，系统MPU 26执行突出场景检测处理(步骤S1)。接下来，系统MPU 26判定是否检测到突出场景(步骤S2)，并且如果检测到突出场景，则系统MPU 26将工作模式设定为高速模式以引起240fps帧速率的图像摄取操作并且生成图像信号(步骤S3)。之后，系统MPU 26判定从在高速模式中生成图像信号起是否经过了一预定时间段(步骤S4)。如果还未经过预定时间段，则高速模式中图像的生成继续。如果已经过了预定时间段，则突出场景检测处理完成。另外，如果未检测到突出场景，则系统MPU 26将工作模式设定为正常模式以引起60fps帧速率的图像摄取操作并且生成图像信号(步骤S5)。
接下来将描述突出场景检测处理。突出场景的检测指示出对象的运动量超过预定值。系统MPU 26利用所摄取图像的图像信号来检测突出场景。例如，图像和语音处理ASIC 4计算帧间差异并将所获得的计算结果提供给系统MPU 26。系统MPU 26将计算结果与预设的阈值相比较，并且如果计算结果超过阈值则判定对象的运动向量超过了预定值并且检测到突出场景。如果计算结果并未超过阈值，则判定对象的运动量并未超过预定量并且没有检测到突出场景。
同时，如果图像摄取设备固定并且成像范围没有变化，则帧间差异的计算的计算结果是指示对象的运动量的值。然而，在执行了用于改变成像范围的变焦操作(例如，执行了放大或缩小操作)或者改变了成像方向(例如，执行了摇动-倾动操作或者如果手抖严重)的情况下，则即使对象没有运动，帧间差异计算的计算结果也可能变成较大的值。
因此，如果系统MPU 26利用来自变焦操作情形和/或手抖校正传感器(这里的角速度传感器23)的输出来检测突出场景，则可以增强突出场景检测的准确性。
图3是示出突出场景检测处理的流程图。图3中所示的突出场景检测处理示出了高度准确检测突出场景的一个实例，它不仅利用了帧间差异的计算结果，还利用了变焦操作情形和来自角速度传感器23的输出。
根据图3中所示的流程图，系统MPU 26首先判定透镜驱动驱动器24是否正执行变焦操作(步骤S11)。如果它正执行变焦操作，则系统MPU26判定没有检测到突出场景(步骤S15)。
如果判定透镜驱动驱动器24没有执行变焦操作，则系统MPU 26接下来基于来自角速度传感器23的输出来判定添加到该图像摄取设备的角速度是否为高(例如通过与预设阈值相比较)(步骤S12)。结果，如果由角速度传感器23检测到的角速度的大小高于阈值，则系统MPU 26判定没有检测到突出场景(步骤S15)。
如果在步骤S12中判定角速度不高于阈值，则系统MPU 26接下来例如通过与预设阈值相比较来判定帧间差异的计算的计算结果是否为小(步骤S13)。结果，如果计算结果小于阈值，则系统MPU 26判定没有检测到突出场景(步骤S15)。
另外，如果在步骤S13中计算结果不小于阈值，则系统MPU 26判定检测到突出场景(步骤S14)。
而且，系统MPU 26不仅可以利用所摄取图像的图像信号，还可以利用来自麦克风等的语音信号来检测突出场景。例如，如果来自麦克风的语音信号的信号电平高于阈值，则判定检测到突出场景，因此通过在高速模式下在一预定时间段内生成图像信号，可以例如记录在运动会等时的赛跑场景中的开始场景作为高帧速率的突出场景。
而且，通过根据普通操作按钮设定高速帧速率标志，例如通过长时间压下用作触发的记录开始释放按钮来开启标志(设为“on”)，可以将工作模式从正常模式切换到高速模式，同时继续图像摄取操作。
图4示出了在图像摄取设备中的记录时的时段期间和再现时的时段期间的操作，并且示出了外部监视设备30不对应于高速帧速率的实例。
图4(a)示出了在连接到图像输出端子15的外部监视设备30并不对应于高速帧速率并且没有检测到突出场景的情况下，记录时的时段期间和再现时的时段期间的操作。也就是说，由于没有检测到突出场景，因此在记录时的时段期间，由图像摄取设备生成的、被赋予帧号[0、4、8、12...]的帧被以1/60秒的间隔记录。此外，由于外部监视设备30不对应于高速帧速率并且帧是以1/60秒的间隔记录的，因此在再现时的时段期间，被赋予帧号[0、4、8、12...]的帧被以1/60秒的间隔再现。
图4(b)示出了在连接到图像输出端子15的外部监视设备30并不对应于高速帧速率并且检测到突出场景的情况下，记录时的时段期间和再现时的时段期间的操作。也就是说，如果检测到突出场景，则工作模式在一预定时间段内被设定为高速模式。因此，在记录时的时段期间，由图像摄取设备生成的、被赋予帧号[0、1、2、3、4、5、6、7、8...]的帧被以1/240秒的间隔记录。此外，由于外部监视设备30不对应于高速帧速率，因此在再现时的时段期间，被赋予帧号[0、1、2、3、4、5、6、7、8...]的帧被以1/60秒的间隔再现。
而且，在根据本发明的图像摄取设备中，作为意图应用到对应于高速帧速率的外部监视器的使用，提供了一种以高速帧速率输出图像信号的高帧速率再现模式。在该高帧速率再现模式中，如果要输出的图像信号是在高速模式中生成的图像信号，则它们在不改变帧速率的情况下被输出。如果要输出的图像信号是在正常模式中生成的图像信号，则通过重复帧图像的输出，它们被转换为高速帧速率的图像信号以便被输出。
要注意，如图4所示的输出图像信号的模式将被称为“正常帧速率再现模式”。具体而言，在正常帧速率再现模式中，如果要输出的图像信号是在正常模式中生成的图像信号，则它们在不改变帧速率的情况下被输出。如果要输出的图像信号是在高速模式中生成的图像信号，则这些图像信号被以正常模式帧速率输出。
图5示出了在图像摄取设备中的记录时的时段期间和再现时的时段期间的操作，并且示出了外部监视设备30对应于高速帧速率的实例。
图5(a)示出了在连接到图像输出端子15的外部监视设备30对应于高速帧速率并且没有检测到突出场景的情况下，记录时的时段期间和再现时的时段期间的操作。也就是说，由于没有检测到突出场景，因此在记录时的时段期间，由图像摄取设备生成的、被赋予帧号[0、4、8、12...]的帧被以1/60秒的间隔记录。此外，由于外部监视设备30对应于高速帧速率并且帧被以1/240秒的间隔再现，因此在再现时的时段期间，相应帧图像的输出(输出虚拟帧)被重复以四倍增大帧数，并且被赋予帧号[0、0、0、0、4、4、4、4、8...]的帧被以1/240秒的间隔再现。
图5(b)示出了在外部监视设备30对应于高速帧速率并且检测到突出场景的情况下，记录时的时段期间和再现时的时段期间的操作。也就是说，如果检测到突出场景，则工作模式在一预定时间段内被设定为高速模式。因此，在记录时的时段期间，由图像摄取设备生成的、被赋予帧号[0、1、2、3、4、5、6、7、8...]的帧被以1/240秒的间隔记录。此外，由于外部监视设备30对应于高速帧速率，因此作为再现时的时段期间的帧，被赋予帧号[0、1、2、3、4、5、6、7、8...]的记录帧被以1/240秒的间隔再现。
要注意，如图5所示的输出图像信号的模式将被称为“高速帧速率再现模式”。具体而言，在高速帧速率再现模式中，如果要输出的图像信号是在高速模式中生成的图像信号，则它们在不改变帧速率的情况下被输出。如果要输出的图像信号是在正常模式中生成的图像信号，则执行帧插值，从而使得它们被转换为高速帧速率的图像信号以便被输出。
这样，在高速帧速率再现模式中，在高速模式中生成的图像信号在不改变帧速率的情况下被输出。因此，可以在从检测到突出场景起的一预定时间段内显示高时间分辨率的图像。另外，在正常帧速率再现模式中，在高速模式中生成的图像信号被以正常模式帧速率输出。因此，可以在从检测到突出场景起的该预定时间段内以慢动作方式再现图像。
接下来，根据外部监视设备30是否对应于高速帧速率，将高速帧速率再现模式切换到正常帧速率再现模式或者从正常帧速率再现模式切换到高速帧速率再现模式。
图6是示出高速帧速率再现模式和正常帧速率再现模式之间的切换操作的流程图。系统MPU 26首先判定用作图像信号被输出到的输出目的地的外部监视设备30是否对应于高速帧速率(步骤S21)。该判定例如基于来自操作单元11的信号进行。具体而言，用户判定用作输出目的地的外部监视设备30是否对应于高速帧速率，然后基于判定结果来操作操作单元11。系统MPU 26基于来自操作单元11的信号判定是否执行了基于关于它是否对应于高速帧速率的判定结果的用户操作，并且基于该用户的操作判定用作输出目的地的外部监视设备30是否对应于高速帧速率。作为该判定的结果，如果在步骤S21中判定用作输出目的地的外部监视设备30对应于高速帧速率，则处理转移到高帧速率再现模式(步骤S23)。另一方面，如果在步骤S21中判定它并不对应于高速帧速率，则设定正常帧速率再现模式(步骤S22)。
这样，如果响应于突出场景的检测而切换帧速率并且生成图像信号，则可以实现功耗的减小并且抑制存储在每个记录介质中的数据量。此外，通过根据外部监视设备30是否对应于高速帧速率来切换要输出的图像信号的帧速率，可以在从检测到突出场景起的一预定时间段内显示高时间分辨率的图像或者显示慢动作的图像。
关于外部监视设备30是否可对应于高速帧速率可以由用户的设定判定，或者以电气方式判定，或者由线缆连接期间的控制信号判定。例如，如果外部监视设备30对应于HDMI(高清晰度多媒体接口)，则可以基于通过HDMI获取的外部监视设备的显示规范来进行判定。
图7示出了在通过在正常模式中执行图像摄取操作(通过正常拍摄)而获得的图像信号和通过在高速模式中执行图像摄取操作(通过高速拍摄)而获得的图像信号以混合方式存在的情况下、所记录的运动图像文件的结构。
图8示出了在连接到图像输出端子15的外部监视设备30并不对应于高速帧速率的情况下、具有图7中所示的运动图像文件结构的图像信号被再现时的操作。
如果在正常模式中执行图像摄取操作的同时通过图3中所示的处理检测到突出场景，则工作模式在一预定时间段内被自动从正常模式切换到高速模式。因此，通过在正常模式中执行图像摄取操作而获得的图像信号和通过在高速模式中执行图像摄取操作而获得的图像信号被以混合方式记录。此外，由于外部监视设备30并不对应于高速帧速率，因此当工作模式被自动设定为正常帧速率再现模式时，通过在正常模式和高速模式中执行图像摄取操作而获得的图像信号被以正常帧速率顺序输出。因此，以慢动作再现的图像被显示在外部监视设备30的屏幕上，该图像是通过将在高速模式中摄取的图像在时间上延伸四倍而获得的。
图9示出了在连接到图像输出端子15的外部监视设备30对应于高速帧速率的情况下、具有图7中所示的运动图像文件结构的图像信号被再现时的操作。
如果在正常模式中执行图像摄取操作的同时通过图3中所示的处理检测到突出场景，则工作模式在一预定时间段内被自动从正常模式切换到高速模式。因此，通过在正常模式中执行图像摄取操作而获得的图像信号和通过在高速模式中执行图像摄取操作而获得的图像信号被以混合方式记录。此外，由于外部监视设备30对应于高速帧速率，因此当工作模式被自动设定为高速帧速率再现模式时，通过在正常模式和高速模式中执行图像摄取操作而获得的图像信号被以高速帧速率顺序输出。因此，在高速模式中摄取的图像被显示在外部监视设备30的屏幕上，该图像在时间分辨率上高于在正常模式中摄取的图像。而且，如果在正常模式中摄取的图像被输出，则执行帧插值处理以重复插入前一帧作为虚拟帧，从而将其转换为高速帧速率的图像信号以便输出。
如前所述，在根据本发明的图像摄取设备中，例如当不执行变焦操作时，基于预设的阈值，随后基于来自角速度传感器23的输出来判定添加到该图像摄取设备的角速度是否为高。结果，如果由角速度传感器23检测到的角速度高于阈值，则在正常模式中执行图像摄取操作。如果判定角速度低于阈值，则在图像和语音处理ASIC 4中，执行帧间差异的计算并且将计算结果与阈值相比较，从而判定对象的运动量是否超过了预定值。结果，如果对象的运动量没有超过预定值，则在正常模式中执行图像摄取操作。如果对象的运动量超过了预定值，则判定检测到突出场景并且在一预定时间段内在高速模式中执行图像摄取操作。
结果，可以更可靠地检测突出场景，并且仅在检测到突出场景时才以高速帧速率执行图像摄取操作，从而节省了每个存储介质的容量和功耗，并且使得不需要图像摄取帧速率切换操作所需的时间和劳动。
换句话说，根据本发明的图像摄取设备，在能够以第一帧速率和高于第一帧速率的第二帧速率摄取图像并记录所摄取图像的图像摄取设备中，可以在需要高时间分辨率的图像的突出场景中自动切换图像摄取帧速率。结果，可以有利地获得这样一种图像摄取设备，该设备可以实现高时间分辨率的运动图像的摄取(这种摄取在适当的点处有较小的负载)，而不会以功耗和每个介质的容量为代价。
此外，通过根据外部监视设备30切换再现帧速率，在再现时的时段期间，以第二帧速率摄取的场景也可以在慢动作时中再现和显示(即使外部监视设备30并不对应于第二帧速率)，并且因此可以使得以第二帧速率摄取的图像可有效使用。而且，第一帧速率的图像和第二帧速率的图像的混合可以实时地输出到与第二帧速率相对应并且可以显示高速图像的外部监视设备，同时保持时间方向上的高精细度。
接下来将描述根据本发明的再现控制设备。要注意，如果再现控制设备被设在例如图像摄取设备中，则图1的框图也可应用于该再现控制设备。
根据本发明的再现控制设备在记录时的时段期间将帧速率固定到高于正常帧速率(60fps)的高速帧速率(240fps)，并且在再现时的时段期间，考虑到能够显示高速帧速率的图像的外部监视设备和并不对应于高速帧速率的外部监视设备(它们可能在瞬间以混合方式存在)，根据作为输出目的地的外部监视设备所对应于的帧速率而使得输出图像的帧速率可调。
因此，再现控制设备基于用作图像输出目的地的外部监视设备30所对应于的帧速率和关于以高速帧速率记录的图像的辅助信息来判定在再现所记录图像时的再现模式是稀疏再现模式还是非稀疏再现模式，并且根据判定结果来控制图像再现操作。系统MPU 26实现再现模式判定和再现操作控制。
如图1所示，包括该再现控制设备的图像摄取设备具有成像器驱动驱动器1、电子图像摄取元件2、模拟前端(AFE)3、图像和语音处理ASIC(专用集成电路)4、麦克风5、模拟放大器6、扬声器7、存储器8、面板驱动驱动器9、LCD(液晶显示器)面板10、操作单元11、电池12、电源管理IC 13、外部记录介质14、图像输出端子15、内部记录介质21、可编程RAM(随机访问存储器)22、角速度传感器23、透镜驱动驱动器24、透镜25和系统MPU(微处理单元)26。
成像器驱动驱动器1是用于驱动电子图像摄取元件2的电路。电子图像摄取元件2是不仅能够生成标准帧速率的图像信号还能够生成高速帧速率的图像信号的图像摄取元件。例如，CMOS(互补金属氧化物半导体)成像器等等被用作电子图像摄取元件2。
AFE 3具有模拟信号处理电路、A/D转换器等等。AFE 3对由电子图像摄取元件2生成的模拟图像信号执行信号处理，例如降噪处理、信号电平调节处理等等。此外，其将已经历信号处理的图像信号转换为数字图像信号。
图像和语音处理ASIC 4是处理图像信号和语音信号的专用集成电路。图像和语音处理ASIC 4例如对由AFE 3获得的数字图像信号执行诸如颜色处理和透镜校正处理之类的处理。其还对图像信号执行压缩处理、扩展处理等等。
麦克风5检测语音，将其转换为要输出的电信号。模拟放大器6是对从麦克风5输出的电信号进行放大的电路。扬声器7将经模拟放大器6放大的电信号转换为要输出的语音。存储器8是在其中存储各种类型数据的电路。面板驱动驱动器9是基于由图像和语音处理ASIC 4处理的图像信号来驱动LCD面板10的各个像素的电路。操作单元11具有各种操作开关。电池12生成要提供给该图像摄取设备的各个构成元件的电力。电源管理IC 13是检测电池12的状态和负载状态并且管理该图像摄取设备的电源的电路。
外部记录介质14是用于在其中存储由该图像摄取设备生成的运动图像信息、语音图像信息等等的外部记录介质。图像输出端子15是用于将由该图像摄取设备生成的运动图像信息或者记录在外部记录介质14中的运动图像信息提供给外部监视设备30以便可以监视图像的输出端子。内部记录介质21是包括在该图像摄取设备中的存储设备，并且在其中存储由该图像摄取设备生成的运动图像信息、语音信息等等。
可编程RAM 22构成该图像摄取设备所必需的各种类型逻辑。
角速度传感器23是用于实现该图像摄取设备的防抖功能的传感器，并且在图像摄取设备运动时检测角速度。
透镜驱动驱动器24是基于透镜驱动信号驱动透镜25的电路，并且执行变焦操作等等。
系统MPU 26是控制该图像摄取设备的各个构成元件的微处理单元。
接下来将描述操作。在所摄取图像的记录时的时段期间，系统MPU26将与高速帧速率相对应的驱动脉冲发送到成像器驱动驱动器1以在高速模式中驱动电子图像摄取元件2。
另外，系统MPU 26还使得AFE 3和图像和语音处理ASIC 4在高速模式中执行信号处理并且生成高速帧速率的图像信号。而且，系统MPU
26使得图像和语音处理ASIC 4对高速帧速率的图像信号执行压缩处理。系统MPU 26执行用于从图像输出端子15输出通过控制由各个构成元件执行的操作而获得的高速帧速率的图像信号的处理，以及用于将通过对高速帧速率的图像信号进行压缩处理而获得的图像记录数据记录到外部记录介质14中(或者记录到内部记录介质21中)的处理。当记录图像记录数据时，从麦克风5输入的语音与高速帧速率的所摄取图像同步地被数字采样、压缩和记录。另外，系统MPU 26生成辅助信息并将其记录到外部记录介质14中(或者记录到内部记录介质21中)，其中图像记录数据与其时间轴相关联。要注意，作为未经压缩处理的图像信号的高速帧速率的图像信号可以被记录到外部记录介质14中(或者记录到内部记录介质21中)。还要注意，记录在外部记录介质14中(或者记录在内部记录介质21中)的图像记录数据和高速帧速率的图像信号被称为“运动图像信息”。
图10示出了记录到外部记录介质14中(或者记录到内部记录介质21中)的数据的配置。如图10所示，在这里辅助信息33被与图像记录数据31和语音记录数据32分开记录。要注意，在图10所示的示例中，辅助信息是针对每个文件单位设置的，但是如上所述，辅助信息记录格式并不限于此。
假定辅助信息33包括日期、帧速率切换信息(标志)和在高速帧速率的图像信号被生成时的图像摄取情形，例如变焦操作情形和由角速度传感器23检测到的角速度，以用于生成帧速率切换信息。要注意，用户可以在记录或再现时的时段期间任意地改变辅助信息33中的帧速率切换信息(标志)。
如果连接到图像输出端子15的外部监视设备30可对应于高速帧速率，则图像可以基于从图像输出端子15输出的运动图像信息来显示。然而，如果外部监视设备30并不对应于高速帧速率，例如，如果外部监视设备30是传统电视装置或设备中包括的LCD面板等等，则当从图像输出端子15输出的图像信号的帧速率为高速帧速率时，图像不能基于从图像输出端子15输出的运动图像信息来显示。
因此，如果记录在外部记录介质14中(或者记录在内部记录介质21中)的运动图像信息被再现并且要再现的运动图像信息的帧速率为高速帧速率，则作为用于并不对应高帧速率的外部设备的功能，提供了一种正常帧速率稀疏再现模式，用于稀疏帧、将要再现的运动图像信息的帧速率转换为外部监视设备30所对应于的正常帧速率并将其输出。例如，提供了正常帧速率稀疏再现模式，用于执行其中240帧图像/秒(240fps)被稀疏为60帧图像/秒(60fps)的再现。通过这样的处理，即使采用了不对应于高速帧速率的外部监视设备，所再现图像也可以基于高速帧速率运动图像信息来显示。此外，提供了正常帧速率非稀疏再现模式，用于以外部监视设备30所对应于的正常帧速率输出高速帧速率运动图像信息，而并不稀疏运动图像信息的帧。
图11示出了当连接有并不对应于高速帧速率的外部监视设备时的再现操作。图操作单元11(a)示出了正常帧速率稀疏再现模式中的再现操作，其中要再现的运动图像信息具有高帧速率并且帧号[0、1、2、3、4、5、6、7、8...]被以1/240秒的间隔分配。如果该运动图像信息在正常帧速率稀疏再现模式中被再现，则帧被稀疏并且被赋予帧号[0、4、8、12...]的1/60秒间隔的帧图像被输出。
图11(b)示出了正常帧速率非稀疏再现模式中的再现操作。如果高帧速率的运动图像信息在正常帧速率非稀疏再现模式中被再现，则在不稀疏帧的情况下，运动图像信息被以外部监视设备30所对应于的正常帧速率输出。也就是说，被赋予帧号[0、1、2、3、4、5、6、7、8...]的帧图像被以1/60秒的间隔输出。
图12是示出通过在再现时的时段期间根据输出目的地是否是对应于高速帧速率的外部监视设备进行手工操作的帧速率选择操作的流程图。
如图12的流程图所示，系统MPU 26判定用作输出目的地的外部监视设备30是否对应于高速帧速率(步骤S51)。如果用户的手工操作指示出输出目的地是对应于高速帧速率的外部监视设备，则系统MPU 26控制图像和语音处理ASIC 4在高速帧速率非稀疏再现模式中输出图像(步骤S53)。在高速帧速率非稀疏再现模式中，记录在外部记录介质14中(或者记录在内部记录介质21中)的高速帧速率(240fps)的运动图像信息在不改变帧速率的情况下被输出。
如果它是并不对应于高速帧速率的外部监视设备，则根据帧速率切换信息是on还是off(步骤S52)，在通过手工操作设定的帧速率切换信息(标志)为off时，系统MPU 26选择正常帧速率稀疏再现模式(步骤S54)。正常帧速率稀疏再现模式是这样一种再现模式：该模式当再现记录在外部记录介质14中(或者记录在内部记录介质21中)的运动图像信息时，使得图像和语音处理ASIC 4稀疏帧以将高速帧速率(240fps)的运动图像信息作为外部监视设备所对应于的正常帧速率(60fps)的运动图像信息输出。另外，在帧速率切换信息为on时，系统MPU 26选择正常帧速率非稀疏再现模式(步骤S55)。正常帧速率非稀疏再现模式是这样一种模式：该模式当再现记录在外部记录介质14中(或者记录在内部记录介质21中)的运动图像信息时，以正常帧速率(60fps)输出高速帧速率(240fps)的运动图像信息。例如，它是这样一种再现模式，该模式用于将一秒的图像(240幅图像)作为四秒(该时间是图像摄取时间的四倍)的慢动作图像输出，从而执行高时间分辨率的慢再现。
而且，再现控制设备不仅手工切换帧速率，还基于辅助信息中包括的帧速率切换信息自动地将正常帧速率稀疏再现模式切换到正常帧速率非稀疏再现模式或者将正常帧速率非稀疏再现模式切换到正常帧速率稀疏再现模式。通过这样的处理，例如在期望时间段内的所再现图像可以被自动显示为高时间分辨率的慢动作图像。在这种情况下，通过再现记录在外部记录介质14中(或者记录在内部记录介质21中)的辅助信息来判定再现模式，并且在所判定的再现模式中再现与用于该判定的辅助信息相关联的运动图像信息。
图13是示出用于基于辅助信息33中包括的帧切换信息自动地将正常帧速率稀疏再现模式切换到正常帧速率非稀疏再现模式或者将正常帧速率非稀疏再现模式切换到正常帧速率稀疏再现模式的操作的流程图。
在再现图像记录数据的同时，系统MPU 26判定与要再现的图像记录数据相关联的辅助信息中的帧速率切换信息是否为on(步骤S61)，然后，如果帧速率切换信息为on，则设定正常帧速率非稀疏再现模式(步骤S62)。之后，系统MPU 26判定在正常帧速率非稀疏再现模式下的再现中是否已经过了一预定的时间段(步骤S63)，然后，如果还未经过该预定时间段，则正常帧速率非稀疏再现模式中的再现继续，但是如果已经过了该预定时间段，则处理返回到步骤S61。如果帧速率切换信息不是on，则系统MPU 26设定正常帧速率稀疏再现模式(步骤S64)。
或者，再现控制设备可以利用辅助信息33中包括的信息来生成帧速率切换信息，该信息指示当图像摄取设备生成高速帧速率的运动图像信息时的变焦操作和/或示出指示图像摄取设备的运动量的角速度，并且再现控制设备可以基于所生成的帧速率切换信息自动切换再现模式。
图14是示出帧速率切换信息的自动生成操作的流程图。
如图14的流程图所示，系统MPU 26判定是否正执行变焦操作(步骤S71)。如果正执行变焦操作，则系统MPU 26并不指示帧速率切换并且关闭(设为“off”)帧速率切换信息(步骤S75)。
如果在步骤S71并未执行变焦操作(步骤S71)，则系统MPU 26接下来通过例如与预设的阈值相比较来判定角速度是否为高(步骤S72)。结果，如果角速度高于阈值，则系统MPU 26并不指示帧速率切换(步骤S75)。
如果在步骤S72中判定角速度不高于阈值，则系统MPU 26接下来利用所再现的高帧速率的运动图像信息来计算帧间差异，并且判定计算结果是否小于阈值(步骤S73)。结果，如果计算结果小于阈值，则系统MPU26并不指示帧速率切换(步骤S75)。
如果在步骤S73中判定计算结果不小于阈值，则系统MPU 26判定帧速率被切换并且开启帧速率切换信息(步骤S74)。要注意，关于帧速率切换信息，帧速率切换信息以脉冲方式被开启以便指示帧速率切换定时，从而执行到正常帧速率非稀疏再现模式的切换，以便随后在一预定时间段内以正常帧速率非稀疏再现模式执行再现。
此外，系统MPU 26不仅可以利用辅助信息还可以利用所再现语音信号来生成帧速率切换信息。例如，如果来自麦克风的语音信号的信号电平超过了阈值，则执行帧速率切换的指示。
以这种方式，如果生成了帧速率切换信息，则选择正常帧速率非稀疏再现模式，并且在对象的运动量超过了预定值时，可以将其中对象的运动量增大的突出场景显示为高时间分辨率的慢动作图像。另外，即使通过执行变焦操作或者改变图像摄取方向而导致对象的运动量增大，在这种情况下也并不执行帧速率切换，从而可以防止在对象的运动量并不大时切换到正常帧速率非稀疏再现模式。
而且，通过基于语音信号切换帧速率，可以例如将运动会时赛跑场景中的开始场景显示为高时间分辨率的慢动作图像。
如前所述，该再现控制设备具有高速帧速率非稀疏再现模式，该模式用于在再现时的时段期间采用了对应于高速帧速率的外部监视设备的情况下、在不改变帧速率的情况下输出高速帧速率的运动图像信息。该设备还具有正常帧速率稀疏再现模式，该模式用于在再现时的时段期间采用了并不对应于高速帧速率的外部监视设备的情况下、使得图像和语音处理ASIC 4稀疏高速帧速率的运动图像信息并且作为外部监视设备所对应于的帧速率的运动图像信息执行再现。另外，该设备具有正常帧速率非稀疏再现模式，该模式用于以外部监视设备所对应于的帧速率顺序输出高速帧速率的运动图像信息，从而在比图像摄取时间的时段长的一时段内执行再现。结果，如果采用了对应于高速帧速率的外部监视设备，则高速帧速率的运动图像信息可以在不减小时间分辨率等的情况下被再现。此外，如果采用了并不对应于高速帧速率的外部监视设备，则高速帧速率的运动图像信息被以外部监视设备所对应于的帧速率输出，并且突出场景可以被自动以慢动作显示。因而，可以有效地使用高速帧速率的图像源。而且，通过稀疏高速帧速率的运动图像信息的帧，外部监视设备可以在不改变对象的运动速度的情况下显示图像。
而且，如果手工执行帧速率切换的指示，则需要用于选择慢动作再现的时间和劳动。然而，通过利用辅助信息，帧速率可以被自动切换。例如，突出场景可以很容易被显示为高时间分辨率的慢动作图像。
工业应用性
本发明优选地应用于在运动图像被记录或再现的情况下使用并不对应于高速帧速率的外部监视设备作为图像显示方的情况。

Claims (12)

1.一种图像摄取设备，特征在于该设备具有：
图像摄取装置，该图像摄取装置能够以第一帧速率和高于所述第一帧速率的第二帧速率摄取图像；
检测装置，用于检测突出场景；以及
控制装置，用于响应于所述检测装置对所述突出场景的检测而切换所述图像摄取装置的帧速率。
2.如权利要求1所述的图像摄取设备，特征在于响应于所述检测装置对所述突出场景的检测，所述控制装置将所述图像摄取装置的帧速率从所述第一帧速率切换到所述第二帧速率。
3.如权利要求2所述的图像摄取设备，特征在于在从所述图像摄取装置的帧速率被从所述第一帧速率切换到所述第二帧速率时起经过了一段预定时间之后，所述控制装置将所述图像摄取装置的帧速率从所述第二帧速率切换到所述第一帧速率。
4.如权利要求3所述的图像摄取设备，特征在于当对象的运动超过了预定值时，所述检测装置检测到所述突出场景。
5.如权利要求4所述的图像摄取设备，特征在于具有透镜驱动装置和/或用于检测所述图像摄取设备运动时的角速度的传感器装置，
其中当所述透镜驱动装置并未在执行变焦操作并且/或者由所述传感器装置检测到的角速度没有超过预定值时，所述检测装置通过执行帧间差异计算来计算所述对象的运动。
6.如权利要求1所述的图像摄取设备，特征在于所述第一帧速率是标准电视系统的帧速率。
7.一种用于从记录介质再现运动图像信息和关于所述运动图像信息的辅助信息的再现控制设备，特征在于该设备具有：
判定装置，用于基于外部监视设备所对应于的帧速率和所述辅助信息来判定在再现所述运动图像信息时的再现模式是稀疏再现模式还是非稀疏再现模式；以及
控制装置，用于根据所述判定装置的判定结果来控制所述运动图像信息的再现操作。
8.如权利要求7所述的再现控制设备，特征在于当所述外部监视设备所对应于的帧速率等于所述运动图像信息的帧速率时，所述判定装置判定是所述非稀疏再现模式，并且
所述控制装置使得所述运动图像信息在不是稀疏帧的情况下被再现。
9.如权利要求8所述的再现控制设备，特征在于当所述运动图像信息的帧速率高于所述外部监视设备所对应于的帧速率时，所述判定装置执行所述判定。
10.如权利要求9所述的再现控制设备，特征在于当所述运动图像信息的帧速率高于所述外部监视设备所对应于的帧速率并且所述辅助信息指示切换指令时，所述判定装置判定是所述非稀疏再现模式，并且
所述控制装置使得所述运动图像信息在不是稀疏帧的情况下、以所述外部监视设备所对应于的帧速率被再现。
11.如权利要求10所述的再现控制设备，特征在于在从所述再现模式被判定为是所述非稀疏再现模式时起经过了一预定的时间段之后，所述控制装置按照所述稀疏再现模式对帧进行稀疏，以使得所述运动图像信息被转换为所述外部监视设备所对应于的帧速率并被再现。
12.如权利要求11所述的再现控制设备，特征在于所述辅助信息包括：当在图像摄取设备中生成所述运动图像信息时，指示变焦操作和/或表示所述图像摄取设备的运动的角速度的信息，并且
当基于所述辅助信息判定所述变焦操作未被执行并且/或者所述角速度没有超过预定值时，所述判定装置利用所述运动图像信息执行帧间差异计算并且计算对象的运动，并且当所述运动超过预定值时判定是正常模式。
CN2007800397298A 2006-10-24 2007-10-24 图像摄取设备和再现控制设备 Expired - Fee Related CN101529890B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006288626 2006-10-24
JP288626/2006 2006-10-24
PCT/JP2007/070745 WO2008050806A1 (en) 2006-10-24 2007-10-24 Imaging device and reproduction control device

Publications (2)

Publication Number Publication Date
CN101529890A true CN101529890A (zh) 2009-09-09
CN101529890B CN101529890B (zh) 2011-11-30

Family

ID=39324600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800397298A Expired - Fee Related CN101529890B (zh) 2006-10-24 2007-10-24 图像摄取设备和再现控制设备

Country Status (7)

Country Link
US (2) US8154606B2 (zh)
EP (1) EP2079231B1 (zh)
JP (2) JPWO2008050806A1 (zh)
KR (1) KR101411627B1 (zh)
CN (1) CN101529890B (zh)
TW (1) TW200828991A (zh)
WO (1) WO2008050806A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088556A (zh) * 2009-11-30 2011-06-08 奥林巴斯映像株式会社 显示装置、摄影装置及显示方法
CN104272727A (zh) * 2012-05-14 2015-01-07 索尼公司 成像装置、成像方法、电子设备和程序
CN104572052A (zh) * 2013-10-21 2015-04-29 腾讯科技（深圳）有限公司 一种应用程序帧率的测量方法及装置
CN107205115A (zh) * 2012-08-02 2017-09-26 奥林巴斯株式会社 动作预想装置以及运动体的摄影方法
CN107211091A (zh) * 2014-12-19 2017-09-26 索尼公司 成像传感器子区域中的选择性高帧速率视频捕获
CN107707860A (zh) * 2017-10-24 2018-02-16 南昌黑鲨科技有限公司 一种视频数据处理方法、处理装置及计算机可读存储介质
CN107707934A (zh) * 2017-10-24 2018-02-16 南昌黑鲨科技有限公司 一种视频数据处理方法、处理装置及计算机可读存储介质
CN107864334A (zh) * 2017-11-09 2018-03-30 睿魔智能科技（东莞）有限公司 一种使用深度学习的智能镜头拍摄方法及系统
CN108184165A (zh) * 2017-12-28 2018-06-19 广东欧珀移动通信有限公司 视频播放方法、电子装置和计算机可读存储介质
CN109479102A (zh) * 2016-07-26 2019-03-15 索尼公司 成像控制装置、成像控制方法和成像元件
CN110268707A (zh) * 2017-02-03 2019-09-20 三星电子株式会社 用于捕捉图像的传感器及其控制方法
CN110933294A (zh) * 2019-11-04 2020-03-27 深圳传音控股股份有限公司 一种图像处理方法、终端及计算机存储介质
CN116347224A (zh) * 2022-10-31 2023-06-27 荣耀终端有限公司 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE530014T1 (de) * 2007-02-01 2011-11-15 Sony Corp Bildwiedergabevorrichtung, bildwiedergabeverfahren, abbildungsvorrichtung und verfahren zur steuerung der abbildungsvorrichtung
JP5057917B2 (ja) * 2007-09-28 2012-10-24 富士通テン株式会社 ドライブレコーダ
GB2459684A (en) * 2008-04-30 2009-11-04 British Broadcasting Corp Television Signal having high frame rate
JP5532561B2 (ja) * 2008-08-25 2014-06-25 株式会社ニコン 撮像装置、画像再生装置、画像変換装置、画像再生プログラム
JP2010087778A (ja) * 2008-09-30 2010-04-15 Casio Computer Co Ltd 撮像装置、変速撮像方法、及びプログラム
JP5371493B2 (ja) * 2009-03-09 2013-12-18 キヤノン株式会社 装置及び方法
JP5355176B2 (ja) * 2009-03-30 2013-11-27 キヤノン株式会社 動画保存装置及びその制御方法
CA2757571A1 (en) * 2009-04-13 2010-10-21 Showscan Digital Llc Method and apparatus for photographing and projecting moving images
JP5279589B2 (ja) * 2009-04-13 2013-09-04 キヤノン株式会社 映像記録再生装置およびその制御方法
JP5414357B2 (ja) 2009-05-20 2014-02-12 キヤノン株式会社 撮像装置および再生装置
JP5627383B2 (ja) * 2010-01-06 2014-11-19 キヤノン株式会社 動画再生装置及びその制御方法、プログラム、及び記憶媒体
JP5283649B2 (ja) * 2010-03-10 2013-09-04 彰一郎 谷口 弓を用いて矢を射る動作を解析する装置および方法
JP2011250103A (ja) * 2010-05-26 2011-12-08 Canon Inc 再生装置
JP5701017B2 (ja) * 2010-11-09 2015-04-15 キヤノン株式会社 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体
JP5768381B2 (ja) * 2011-01-20 2015-08-26 カシオ計算機株式会社 動画像処理装置、動画像処理方法及びプログラム
JP5478776B2 (ja) * 2011-04-11 2014-04-23 東芝三菱電機産業システム株式会社 データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム
JP5751942B2 (ja) * 2011-06-13 2015-07-22 キヤノン株式会社 再生装置及び再生方法
JP5820055B2 (ja) 2012-03-12 2015-11-24 東芝三菱電機産業システム株式会社 データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム
JP2013258609A (ja) * 2012-06-13 2013-12-26 Panasonic Corp 撮像装置
US9794527B1 (en) * 2012-09-28 2017-10-17 Google Inc. Content capture
US9201487B2 (en) * 2013-03-05 2015-12-01 Intel Corporation Reducing power consumption during graphics rendering
JP5962600B2 (ja) * 2013-06-26 2016-08-03 カシオ計算機株式会社 動画生成装置、動画生成方法、及びプログラム
JP2015080035A (ja) * 2013-10-15 2015-04-23 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
US9300869B2 (en) * 2013-10-24 2016-03-29 Fujitsu Limited Reduction of spatial resolution for temporal resolution
DE102013222795A1 (de) * 2013-11-08 2015-05-13 Sommer-Hugendubel-Pollack-Strauss Gbr (Vertretungsberechtigter Gesellschafter: Till Strauss, 10119 Berlin) Verfahren und Vorrichtung zur Erzeugung einer künstlichen Kopplung zwischen einer Eingangsgröße und einer Ausgangsgröße
JP2015122734A (ja) * 2013-11-25 2015-07-02 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
DE102014102689A1 (de) 2014-02-28 2015-09-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Laufbildkameraanordnung und Verfahren zum Betreiben einer Laufbildkameraanordnung
JP2015186235A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 イメージセンサ、および電子装置
JP6463346B6 (ja) * 2014-05-16 2019-04-24 セガサミークリエイション株式会社 ゲーム画像生成装置およびプログラム
US20150373293A1 (en) * 2014-06-24 2015-12-24 Sony Corporation Video acquisition with adaptive frame rate
JP6776126B2 (ja) * 2014-11-27 2020-10-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および画像処理方法、並びにプログラム
CN104683691B (zh) * 2015-02-02 2017-11-14 上海小蚁科技有限公司 拍摄方法、装置及设备
US10262690B2 (en) 2015-03-03 2019-04-16 Sony Semiconductor Solutions Corporation Signal processing device, signal processing system, signal processing method, and program
US20160269674A1 (en) * 2015-03-09 2016-09-15 Microsoft Technology Licensing, Llc Dynamic Video Capture Rate Control
US10572735B2 (en) * 2015-03-31 2020-02-25 Beijing Shunyuan Kaihua Technology Limited Detect sports video highlights for mobile computing devices
CN104735385B (zh) 2015-03-31 2018-10-12 小米科技有限责任公司 播放控制方法及装置、电子设备
US10965867B2 (en) * 2016-03-03 2021-03-30 Sony Corporation Display control device and display control method
KR102537210B1 (ko) * 2016-07-29 2023-05-26 삼성전자주식회사 동영상 컨텐츠 제공 방법 및 이를 지원하는 전자 장치
JP7188382B2 (ja) 2017-04-27 2022-12-13 コニカミノルタ株式会社 光計測装置
CN108322650B (zh) * 2018-02-08 2020-03-27 Oppo广东移动通信有限公司 视频拍摄方法和装置、电子设备、计算机可读存储介质
RU2716005C2 (ru) * 2018-06-29 2020-03-05 Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") Способ видеосопровождения с улучшенными динамическими характеристиками и устройство для его осуществления
JP6913830B2 (ja) * 2018-08-31 2021-08-04 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6705534B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、信号処理方法
JP7004852B2 (ja) * 2018-12-26 2022-01-21 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム
WO2020137665A1 (ja) * 2018-12-27 2020-07-02 富士フイルム株式会社 撮像素子、撮像装置、撮像方法及びプログラム
US11425306B2 (en) * 2021-01-22 2022-08-23 Qualcomm Incorporated Zoom in or zoom out with slow-motion video capture
US20220327718A1 (en) * 2021-04-13 2022-10-13 Qualcomm Incorporated Techniques for enhancing slow motion recording

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6359074A (ja) 1986-08-27 1988-03-14 Omron Tateisi Electronics Co 高速ビデオカメラ
US5239418A (en) * 1989-10-17 1993-08-24 Eastman Kodak Company Single split frame mode for a fast frame recorder
JP3450449B2 (ja) * 1994-07-18 2003-09-22 キヤノン株式会社 撮像装置およびその撮像方法
US5455561A (en) * 1994-08-02 1995-10-03 Brown; Russell R. Automatic security monitor reporter
JPH1115425A (ja) 1997-06-26 1999-01-22 Hitachi Ltd 表示モード切り替え制御ディスプレイ
JPH11177868A (ja) * 1997-12-16 1999-07-02 Canon Inc 撮像方法及び再生方法とその装置
US7196720B2 (en) * 1998-03-06 2007-03-27 Intel Corporation Method and apparatus for powering on an electronic device with a video camera that detects motion
JP2000059698A (ja) 1998-08-06 2000-02-25 Sony Corp 高速撮像装置
JP2001036848A (ja) 1999-07-15 2001-02-09 Victor Co Of Japan Ltd カムコーダ
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
JP2001292409A (ja) 2000-04-07 2001-10-19 Sony Corp データ記録再生装置及び方法
JP2001352471A (ja) * 2000-06-07 2001-12-21 Toshiba Corp ビデオカメラ装置
JP2001358984A (ja) 2000-06-15 2001-12-26 Mitsubishi Heavy Ind Ltd 動画像処理カメラ
US20020051081A1 (en) * 2000-06-30 2002-05-02 Osamu Hori Special reproduction control information describing method, special reproduction control information creating apparatus and method therefor, and video reproduction apparatus and method therefor
JP2002320198A (ja) * 2001-04-23 2002-10-31 Casio Comput Co Ltd 動画記録装置
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP2003209731A (ja) * 2002-01-09 2003-07-25 Sony Corp 画像信号処理方法及び撮像装置
US6778766B2 (en) * 2002-01-25 2004-08-17 Nikon Corporation Vibration detection device and vibration correcting optical device
US7456875B2 (en) * 2002-03-14 2008-11-25 Sony Corporation Image pickup apparatus and method, signal processing apparatus and method, and wearable signal processing apparatus
JP2004120384A (ja) * 2002-09-26 2004-04-15 Photron Ltd 高速度撮像装置及び撮像速度の変更方法
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
JP4404290B2 (ja) * 2002-12-04 2010-01-27 カシオ計算機株式会社 動画撮影装置、及び動画撮影方法
JP4222869B2 (ja) * 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
JP4208634B2 (ja) * 2003-04-23 2009-01-14 キヤノン株式会社 再生装置
JP3926316B2 (ja) * 2003-10-31 2007-06-06 松下電器産業株式会社 撮像装置
JP4107269B2 (ja) 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
JP2006033160A (ja) * 2004-07-13 2006-02-02 Canon Inc 撮像システム
JP2006113264A (ja) * 2004-10-14 2006-04-27 Fujinon Corp 像振れ補正装置
JP4296145B2 (ja) 2004-11-08 2009-07-15 株式会社東芝 再生装置及びその方法
US7817193B2 (en) * 2004-11-25 2010-10-19 Sony Corporation Image pickup apparatus and image pickup method to display or record images picked up at high rate in real time
JP2006265475A (ja) 2005-03-25 2006-10-05 Fuji Photo Film Co Ltd インク組成物
JP2006295350A (ja) * 2005-04-07 2006-10-26 Sony Corp 撮像装置及び撮像結果の処理方法
JP4434151B2 (ja) * 2006-01-23 2010-03-17 富士フイルム株式会社 撮像装置
JP4895016B2 (ja) * 2006-09-28 2012-03-14 三洋電機株式会社 撮像装置
US7948526B2 (en) * 2006-11-14 2011-05-24 Casio Computer Co., Ltd. Imaging apparatus, imaging method and program thereof

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088556B (zh) * 2009-11-30 2013-10-16 奥林巴斯映像株式会社 显示装置、摄影装置及显示方法
CN102088556A (zh) * 2009-11-30 2011-06-08 奥林巴斯映像株式会社 显示装置、摄影装置及显示方法
CN104272727A (zh) * 2012-05-14 2015-01-07 索尼公司 成像装置、成像方法、电子设备和程序
CN107205115A (zh) * 2012-08-02 2017-09-26 奥林巴斯株式会社 动作预想装置以及运动体的摄影方法
CN104572052A (zh) * 2013-10-21 2015-04-29 腾讯科技（深圳）有限公司 一种应用程序帧率的测量方法及装置
CN107211091A (zh) * 2014-12-19 2017-09-26 索尼公司 成像传感器子区域中的选择性高帧速率视频捕获
CN109479102A (zh) * 2016-07-26 2019-03-15 索尼公司 成像控制装置、成像控制方法和成像元件
CN110268707A (zh) * 2017-02-03 2019-09-20 三星电子株式会社 用于捕捉图像的传感器及其控制方法
US10937287B2 (en) 2017-02-03 2021-03-02 Samsung Electronics Co., Ltd. Sensor for capturing image and method for controlling the same
CN110268707B (zh) * 2017-02-03 2023-04-18 三星电子株式会社 用于捕捉图像的传感器及其控制方法
CN107707934A (zh) * 2017-10-24 2018-02-16 南昌黑鲨科技有限公司 一种视频数据处理方法、处理装置及计算机可读存储介质
WO2019080847A1 (zh) * 2017-10-24 2019-05-02 南昌黑鲨科技有限公司 一种视频数据处理方法及视频数据处理装置
CN107707860A (zh) * 2017-10-24 2018-02-16 南昌黑鲨科技有限公司 一种视频数据处理方法、处理装置及计算机可读存储介质
CN107864334A (zh) * 2017-11-09 2018-03-30 睿魔智能科技（东莞）有限公司 一种使用深度学习的智能镜头拍摄方法及系统
CN108184165A (zh) * 2017-12-28 2018-06-19 广东欧珀移动通信有限公司 视频播放方法、电子装置和计算机可读存储介质
CN108184165B (zh) * 2017-12-28 2020-08-07 Oppo广东移动通信有限公司 视频播放方法、电子装置和计算机可读存储介质
CN110933294A (zh) * 2019-11-04 2020-03-27 深圳传音控股股份有限公司 一种图像处理方法、终端及计算机存储介质
CN116347224A (zh) * 2022-10-31 2023-06-27 荣耀终端有限公司 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质
CN116347224B (zh) * 2022-10-31 2023-11-21 荣耀终端有限公司 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质

Also Published As

Publication number Publication date
EP2079231A4 (en) 2010-04-21
EP2079231A1 (en) 2009-07-15
US20120133791A1 (en) 2012-05-31
US9013583B2 (en) 2015-04-21
TW200828991A (en) 2008-07-01
WO2008050806A1 (en) 2008-05-02
EP2079231B1 (en) 2014-04-30
JP5252063B2 (ja) 2013-07-31
US20100060752A1 (en) 2010-03-11
US8154606B2 (en) 2012-04-10
KR20090068333A (ko) 2009-06-26
TWI359612B (zh) 2012-03-01
JP2012050141A (ja) 2012-03-08
CN101529890B (zh) 2011-11-30
JPWO2008050806A1 (ja) 2010-02-25
KR101411627B1 (ko) 2014-06-25

Similar Documents

Publication Publication Date Title
CN101529890B (zh) 图像摄取设备和再现控制设备
CN100542249C (zh) 摄影装置和显示控制方法
JP4525561B2 (ja) 撮像装置、画像処理方法、並びにプログラム
US9270968B2 (en) Imaging apparatus and reproducing apparatus which changes frame rate based on zoom operation
JP5092983B2 (ja) 動画再生装置、撮像装置及びプログラム
US20070030374A1 (en) Electronic image capturing apparatus, control method of electronic image capturing apparatus, and image processing apparatus
JP4556195B2 (ja) 撮像装置、動画再生装置及びそのプログラム
US6876386B1 (en) Digital camera with downsampling and zoom processing and method of controlling operation of same
JP2008109245A (ja) 記録再生装置
JP2009111518A (ja) 撮像装置、画像再生装置及びそのプログラム、画像ファイルのデータ構造
JP2003134386A (ja) 撮像装置および撮像方法
JP5012985B2 (ja) 撮像装置及びそのプログラム
JP4547877B2 (ja) 撮像装置
JP7110985B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JPH08154212A (ja) ビデオカメラにおける静止画像データの作成方法
KR20050090807A (ko) 촬영모드 및 출력모드에 따라 영상신호의 출력경로 및출력방식을 제어할 수 있는 복합촬영장치 및 그출력제어방법
JPH10108128A (ja) ディジタル電子スチールカメラ
KR20000003088A (ko) 멀티모드 캠코더 및 그의 제어방법
JP2006217214A (ja) 再生装置および撮像装置並びに再生方法
KR20000051774A (ko) 디지털 스틸 카메라의 이미지 사이즈 조정방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111130