CN101909191A - 视频处理设备和视频处理方法 - Google Patents

视频处理设备和视频处理方法 Download PDF

Info

Publication number
CN101909191A
CN101909191A CN2010101947640A CN201010194764A CN101909191A CN 101909191 A CN101909191 A CN 101909191A CN 2010101947640 A CN2010101947640 A CN 2010101947640A CN 201010194764 A CN201010194764 A CN 201010194764A CN 101909191 A CN101909191 A CN 101909191A
Authority
CN
China
Prior art keywords
video
playback speed
playback
sound
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010101947640A
Other languages
English (en)
Other versions
CN101909191B (zh
Inventor
岩田拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101909191A publication Critical patent/CN101909191A/zh
Application granted granted Critical
Publication of CN101909191B publication Critical patent/CN101909191B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及一种视频处理设备和视频处理方法。该视频处理设备控制视频内容的重放速度，以使得包括在视频内容中的声音能够处于易听清的范围内。基于通过分析视频内容的音频数据所获得的声音特性信息和预定声音参数，计算适当重放速度范围。基于用户所选择的重放速度计算该适当重放速度范围内的特定重放速度，并且以适当重放速度来重放视频内容。因此，在各种重放模式中，能够在保持声音易听清的状态下重放该视频内容。

Description

视频处理设备和视频处理方法
技术领域
本发明涉及用于对能够容易地听清声音或话音(或语音)的视频图像重放速度进行控制的视频处理设备和视频处理方法。
背景技术
近年来，能够以从约30fps(帧每秒(frame per second))的低帧频到超过1000fps的各种帧频拍摄图像的摄像机已经得到使用。利用该摄像机，可以在拍摄期间动态地切换拍摄帧频。另一方面，在视频播放器上重放图像时的帧频通常为60fps或120fps。
通过使用摄像机的拍摄帧频和视频播放器的重放帧频之间的差别，可以获得具有特殊图像效果的图像显示。例如，当拍摄帧频高于重放帧频时，所显示的图像变为平滑运动的慢放图像(slow play image)。另一方面，当拍摄帧频低于重放帧频时，所显示的图像变为快速运动的快放图像(fast play image)。
另一方面，当慢速重放包括音频数据的图像时，声音的重放速度变慢，从而重放声音的音域(compass)变得低于实际范围，并且有时难以听清声音或话音(语音)。另一方面，当快速重放图像时，重放声音的音域变得高于实际范围，并且有时难以听清声音或话音。
日本特开2002-314945号公报记载了一种语速转换系统(speech rate conversion system)，其中该系统检测图像的有声部分和无声部分，并且基于由用户指定的重放速度部分地删除无声部分的音频数据，由此生成要输出的音频数据。
然而，在传统技术中，基于由用户设置的重放速度均一地校正了音频数据。因此，不总是输出容易听清的声音。此外，如果在单个视频内容中包括具有不同拍摄(记录)帧频的多帧频视频内容，则难以适当地校正音频数据。
发明内容
本发明涉及能够控制重放速度以使得对具有声音或话音的视频内容的重放能够被用户容易听清的图像处理设备和图像处理方法。
根据本发明的一方面，提供一种视频处理设备，能够在多个重放模式下对所记录的视频内容进行重放，所述视频处理设备包括：声音信息生成单元，用于分析视频内容的音频数据的频率特性，并生成声音特性信息；重放速度确定单元，用于基于所述声音特性信息和预定声音参数，确定适当重放速度范围；控制单元，用于根据所选择的重放模式，确定所述适当重放速度范围内的特定重放速度；视频处理单元，用于基于所述特定重放速度，对所述视频内容的视频数据进行帧间隔剔除和/或插值处理；以及视频输出单元，用于将经过所述帧间隔剔除和/或插值处理的视频数据输出至显示单元。
根据本发明的另一方面，提供一种视频处理方法，用于在多个重放模式下对所记录的视频内容进行重放，所述视频处理方法包括以下步骤：分析视频内容的音频数据的频率特性，并生成声音特性信息；基于所述声音特性信息和预定声音参数，确定适当重放速度范围；根据所选择的重放模式，确定所述适当重放速度范围内的特定重放速度；基于所述特定重放速度，对所述视频内容的视频数据进行帧间隔剔除和/或插值处理；以及将经过所述帧间隔剔除和/或插值处理的视频数据输出至显示单元。
根据本发明，由于基于声音分析结果控制视频内容的重放速度，因而能够在声音或话音可辨别的范围内进行慢重放和快重放。还能够在保持拍摄者拍摄时想要的图像效果的同时，以容易听清的清晰声音重放多帧频视频内容。
通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将变得明显。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的典型实施例、特征和方面，并且与说明书一起用来解释本发明的原理。
图1是示出根据本发明典型实施例的视频重放设备的框图。
图2示出根据本发明典型实施例的用户选择画面。
图3示出根据本发明典型实施例的适当重放速度范围。
图4是示出根据本发明典型实施例的重放处理的流程图。
图5是示出根据本发明典型实施例的另一重放处理的流程图。
图6是示出根据本发明典型实施例的重放速度确定单元的框图。
具体实施方式
以下将参考附图详细说明本发明的各种典型实施例、特征和方面。
图1是示出根据本发明典型实施例的视频重放设备100的示例的框图。
存储单元101是用以存储视频内容的硬盘驱动器(HDD)或闪速存储器。视频内容是由多个具有不同拍摄帧频的视频场景构成的多帧频视频内容，并且视频内容包括根据运动图片专家组(Moving Picture Experts Group，MPEG)格式进行编码的音频数据和视频数据。
作为视频内容的元数据(metadata)，存储单元101存储预览图像数据、拍摄(记录)帧频信息、以及适当重放速度信息。重放速度是指拍摄时拍摄对象的运动速度相对于重放时拍摄对象的运动速度的比。
声音信息生成单元102分析记录在存储单元101中的音频数据，生成声音特性信息，并将该声音特性信息输出至重放速度确定单元103。声音特性是声音的频率特性，并且可以通过使用离散傅立叶变换(discrete Fourier transform)或快速傅立叶变换而获得。针对与图像数据的一个场景相对应的多个帧的每一个帧计算声音特性。声音特性信息是针对视频数据的预定数量帧的每一个帧所计算出的一组声音特性。
重放速度确定单元103通过使用声音特性信息来计算适当重放速度的范围。该适当重放速度范围是用户能够听清声音的适当视频图像重放速度的范围。重放速度确定单元103基于与适当重放速度范围有关的信息以及与由用户所选择的重放模式有关的信息，确定重放速度。
重放模式包括普通重放模式、原始重放模式、慢重放模式、以及快重放模式。在慢重放模式或快重放模式下，如果用户在各情况下均指定了声音优先，则可以设置声音优先慢重放模式或声音优先快重放模式。
将由重放速度确定单元103确定出的重放速度信息发送至控制单元104。视频内容读取单元105根据来自控制单元104的指令，从存储单元101中读取由用户指定的视频内容。视频音频处理单元106根据来自控制单元104的控制信号，对从存储单元101读出的视频数据进行解码，并根据重放速度对解码后的视频数据进行间隔剔除(decimation)和/或插值(interpolation)。
视频音频处理单元106进一步对从存储单元101中读取的音频数据执行压缩/扩展处理。视频音频输出单元107对从视频音频处理单元106输出的视频数据和音频数据进行转换，并将转换后的视频数据和音频数据分别输出至显示单元和扬声器。
重放速度确定单元103按照如下计算适当重放速度。存储单元101预先在其内存储了用以判断是否可听清与视频图像同步的声音(声音是否处于可听清的频率范围内)的声音参数。
更具体地，记录了在普通用户(人类)可听清的声音频率的最小值为20Hz且其最大值为20KHz的假定条件下确定出的一组声音参数。基于通常将约100Hz或100Hz以下的声音作为噪声进行处理的事实，可以将最小值设置在100Hz。
从输入音频数据的声音特性信息，换句话说，从针对预定数量帧的每一个帧所计算出的各频带的数据，提取最小频率Fmin和最大频率Fmax。在该提取中，对数据进行限制处理以忽略数据值低于预定阈值的频带。然后，使用以下等式计算表示输入音频数据对于可听清的最大频率fmax和可听清的最小频率fmin具有多少余量(margin)的宽容度(latitude)Lmax和Lmin。
Lmax＝fmax/Fmax
Lmin＝Fmin/fmin
基于对于最大频率和最小频率的宽容度，按照如下计算适当重放速度。假设重放帧频固定在60fps并且所需的音频数据的宽容度相对于最大频率为Lmax＝2且相对于最小频率为Lmin＝3。在这种情况下，1倍速的重放(重放时间与拍摄时间几乎相等)处于适当重放速度的范围内。
然而，由于对于最大频率的宽容度Lmax为2，因而声音即使以2倍速(1/2的拍摄时间)重放也可听清。另一方面，由于对于最小频率的宽容度为3，因而声音即使以1/3倍速(3倍的拍摄时间)重放也可听清。因此，将适当重放速度范围确定为1/3倍速～2倍速。
图3示出了如上所述的重放速度和声音频率之间的关系。
针对视频内容的每个场景确定适当重放速度范围，并且将该速度范围与分配给每个视频内容的内容ID和分配给每个场景的场景ID相关联地存储在存储单元101中。当将视频内容存储在存储单元101时，通过来自控制单元104的指令自动执行适当重放速度范围的计算。
图2示出了要重放的视频内容的选择画面200的示例。图像显示区域201以从存储单元101读取的预览图像203的形式向用户显示可播放内容的列表。代替预览图像203，可以显示视频内容的所提取的静止图像或标题。
重放模式显示区域202向用户显示内容的重放模式选项。图标205显示将在下面说明的4种重放模式。在已经选择了慢重放或快重放之后，如果选择了声音优先图标206，则进行声音优先慢重放或声音优先快重放。
用户可以通过操作远程控制器并将光标204置于期望预览图像图标和期望重放模式图标上，来选择重放内容或重放模式。
“普通重放”是在不依赖于拍摄帧频的情况下以固定重放速度播放内容的模式。以30fps拍摄的(记录的)运动图像和以1200fps拍摄的(记录的)运动图像两者均以1倍速(与拍摄时间相同的时间长度)重放。在该普通重放模式中，由于视频图像是以与拍摄图像时相同的速度来重放的，因而可以以自然的音调重放声音。
“原始重放”是根据拍摄帧频以慢重放播放高帧频视频图像和以快重放播放低帧频视频图像的模式。由于重放帧频固定(60fps)，因而以2倍速(1/2倍的拍摄时间)重放30fps的图像，并以1/20倍速(20倍的拍摄时间)重放1200fps的图像。在该原始重放模式中，由于图像是根据拍摄帧频来重放的，因而可以最大限度地发挥图像效果。
然而，另一方面，因为重放速度太快或太慢，因此有时用户可能听不清声音。“慢重放”和“快重放”是以固定重放速度例如1/3倍速或3倍速来重放图像的模式。“声音优先慢重放”是从适当重放速度范围选择适当最小重放速度作为特定重放速度并以该适当最小重放速度重放图像的模式。
例如，假设如果在从1/2倍速至2倍速的范围内重放内容的场景A且在从1/3倍速至3倍速的范围内重放该内容的场景B，则声音是可听清的。在这种情况下，当重放场景A时，将重放速度动态地切换至1/2倍速，并且当重放场景B时，将重放速度动态地切换至1/3倍速。
在该模式中，可以满足在用户可听清声音的范围内尽可能慢地通过慢重放观看图像的详细运动的用户需求。例如，代替在内容的各场景间转变重放速度，该重放速度在整个内容中可以是固定的。
“声音优先快重放”是以适当最大重放速度进行重放的模式。例如，假设如果在从1/2倍速至2倍速的范围内重放内容的场景C且在从1/3倍速至3倍速的范围内重放另一场景D，则声音是可听清的。在这种情况下，将场景C的重放自动切换至2倍速，并且将场景D的重放切换至3倍速。
在该模式中，可以满足在用户能够听清声音的范围内观看快速运动的视频图像的用户需求。还可以满足在声音可听清的范围内缩短观看时间的要求。
这里，以下说明由视频音频处理单元106所执行的间隔剔除和插值处理之间的关系。
如果拍摄帧频为C(fps)且重放帧频为P(fps)(P和C为正数)，并且如果不对输入视频数据进行间隔剔除和插值，则重放速度为P/C倍速。当将视频数据间隔剔除为其原始数据的1/N时(N为正数)，重放速度变为PN/C倍速。
另一方面，当将视频数据插值为原始数据的N倍时，重放速度变为P/CN倍速。如果使重放速度为2/5倍速，则执行5倍的插值处理和1/2倍的间隔剔除。
图4是示出控制单元104的处理的流程图。
在步骤S400，如果选择了“普通重放”(步骤S400中为“是”)，则处理进入步骤S401。在步骤S401，以与拍摄速度相等的速度重放(通过1倍速重放)所选择的视频内容。为使重放时间和拍摄时间相等，在步骤S408，控制单元104使视频音频处理单元106基于所选择的视频内容的拍摄帧频信息和重放帧频信息对该内容进行间隔剔除和/或插值。
在步骤S402，如果选择了“原始重放”(步骤S402中为“是”)，则在步骤S403，以慢重放或快重放来重放所选择的视频内容，以满足与拍摄帧频相对应的重放速度(帧频)。控制单元104控制视频音频处理单元不对该内容进行间隔剔除和/或插值。
在步骤S404，如果选择了“声音优先慢重放”(步骤S404中为“是”)，则在步骤S405，以适当最小重放速度重放所选择的视频内容。为了能够以适当最小重放速度进行重放，在步骤S408，控制单元104使视频音频处理单元106基于所选择的视频内容的拍摄帧频信息和重放帧频信息对该内容执行间隔剔除和/或插值。
在步骤S406，如果选择了“声音优先快重放”(步骤S406中为“是”)，则在步骤S407，以适当最大重放速度重放所选择的视频内容。为了能够以适当最大重放速度进行重放，在步骤S408，控制单元104使视频音频处理单元106基于所选择的视频内容的拍摄帧频信息和重放帧频信息对该内容进行间隔剔除和/或插值。
在本典型实施例中，已经讨论了多帧频视频内容的重放，但是本典型实施例可应用于单个拍摄帧频视频内容的重放。
第一典型实施例中的“原始重放”是这样一种模式，在该模式中，当重放多帧频视频内容时，根据拍摄帧频，通过慢重放来重放高帧频场景，并通过快重放来重放低帧频场景。
在第二典型实施例中，增加了“适当重放”模式，在该模式中，以各自的适当重放速度来重放高帧频场景和低帧频场景。通过将光标置于添加到图2的重放模式显示区域202的“适当重放”(未示出)上，来选择“适当重放”模式。
本典型实施例中的视频重放设备的框图和图1中的框图相似。重放速度确定单元103基于与记录在存储单元101中的所选择的视频内容的适当重放速度范围有关的信息、拍摄帧频信息、以及用户所选择的重放模式信息，来确定重放速度。
在“适当重放”模式中，在多帧频视频内容中，以适当最大重放速度来重放以高帧频拍摄的场景，并且以适当最小重放速度来重放以低帧频拍摄的场景。将60fps的重放帧频设置为视频内容的拍摄帧频的标准帧频，并将高于60fps的帧频指定为高帧频，将低于60fps的帧频指定为低帧频。
对于拍摄帧频等于标准帧频的场景，以1倍速重放这些场景。在“适当重放”模式中，以尽可能慢的速度重放以高帧频拍摄的且声音足以听清的场景，并且以尽可能快的速度重放以低帧频拍摄的场景。
因此，可以在声音可听清的范围内维持拍摄者期望的具有动态变化的图像效果。
图5是示出当选择了“适当重放”模式时控制单元104进行的处理的流程图。步骤S400～S408与第一典型实施例中的步骤S400～S408相似，这里不再重复对其进行说明。对于所选择的视频内容，拍摄帧频在60fps(场景A)、30fps(场景B)以及1200fps(场景C)之间动态地转变。
当选择了“适当重放”模式时(步骤S509中为“是”)，处理进入步骤S510。在步骤S510，将拍摄帧频和标准帧频进行比较，如果拍摄帧频等于标准帧频(步骤S510中为“是”)，则在步骤S511，以等倍速(1倍速)重放内容。如果重放高帧频场景(步骤S512中为“是”)，则在步骤S513中选择适当最大重放速度，或者如果重放低帧频场景(步骤S512中为“否”)，则在步骤S514中选择适当最小重放速度。
类似于第一典型实施例，重放速度确定单元103可以基于视频内容中的音频数据的声音特性信息和拍摄帧频信息来获得适当重放速度。因此，假定适当重放速度范围针对场景A为1/2倍速至2倍速，针对场景B为1/3倍速至3倍速，并且针对场景C为1/4倍速至4倍速。
此时，对于场景A，由于拍摄帧频等于标准帧频，因而以1倍速来重放内容。对于场景B，由于拍摄帧频低于标准帧频，因而以作为适当最小重放速度的1/3倍速来重放内容。对于场景C，由于拍摄帧频高于标准帧频，因而以作为适当最大重放速度的4倍速来重放内容。
在第一典型实施例中，基于心理实验结果判断声音是否可听清，但是在第三实施例中，基于语音识别技术进行该判断。
图6是重放速度确定单元103的框图。向重放速度确定单元103提供来自声音信息生成单元102的视频内容的音频数据的频率特性和振幅信息。此时，将频率特性输入至特征向量提取单元602，并且将振幅信息输入至有声/无声判断单元604。
声学模型存储单元601预先存储表示音素(phoneme)和音节(syllable)等的声学特征的声学模型。特征向量提取单元602对输入频率信息进行美尔频率倒谱系数(Mel Frequency CepstrumCoefficient，MFCC)声学分析，并将声学分析的结果作为特征向量输出至匹配单元603。
匹配单元603在参考存储在声学模型存储单元601中的声学模型的情况下，通过使用由特征向量提取单元所提取出的特征模型，基于隐马尔可夫模型(Hidden Markov Model，HMM)方法，进行语音识别。匹配单元603将识别出的结果输出至字符发声时间判断单元605。
有声/无声判断单元604根据输入的声音振幅信息来判断有声部分和无声部分。更具体地，将声音的振幅值超过阈值的部分判断为有声部分，将声音的振幅值未超过该阈值的部分判断为无声部分。
字符发声时间判断单元605根据匹配单元603的语音识别结果以及由有声/无声判断单元604判断出的有声部分和无声部分之间的比，来测量使识别出的字符发声的时间段内的帧数。例如，声音信息生成单元102以每1000帧为单位提取视频数据中的声音的频率特性，并将所提取的频率信息输出至重放速度确定单元103。
假设匹配单元603在1000个帧中识别出对应于以日文书写的元音“AIUEO(あいうえお)”的五个字符(未示出)，并且假设有声/无声判断单元604判断为在1000个帧中有声部分的量为50个帧。在这种情况下，字符发声时间判断单元605判断为总共有50个帧使这五个字符发声。
重放速度计算单元606基于字符发声时间判断单元605的判断结果来计算用户能够理解谈话内容的重放速度。在通常的新闻节目中，字符以每秒6～8个字符的速率被大声地读出。
因此，如果每秒6～8个字符是用户能够理解内容的重放速度，则在将重放字符的时间设置在1/8秒～1/6秒的范围内的情况下，可以认为是容易听清的重放速度。
因此，在如上所述本典型实施例中，五个字符“AIUEO”在50个帧中出现，且每个字符的平均帧数为10帧。因此，将每1/6秒10fps的帧频(60fps，1倍速)～每1/8秒10fps的帧频(80fps，4/3倍速)确定为可听清语音的重放速度。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (5)

1.一种视频处理设备，能够在多个重放模式下对所记录的视频内容进行重放，所述视频处理设备包括：
声音信息生成单元，用于分析视频内容的音频数据的频率特性，并生成声音特性信息；
重放速度确定单元，用于基于所述声音特性信息和预定声音参数，确定适当重放速度范围；
控制单元，用于根据所选择的重放模式，确定所述适当重放速度范围内的特定重放速度；
视频处理单元，用于基于所述特定重放速度，对所述视频内容的视频数据进行帧间隔剔除和/或插值处理；以及
视频输出单元，用于将经过所述帧间隔剔除和/或插值处理的视频数据输出至显示单元。
2.根据权利要求1所述的视频处理设备，其特征在于，所述声音特性信息是针对所述视频数据的预定数量的帧中的每一个帧计算出的、与同步于所述视频数据的音频数据的频带有关的信息。
3.根据权利要求2所述的视频处理设备，其特征在于，所述预定声音参数是基于人类能听清的频率范围的参数。
4.根据权利要求1所述的视频处理设备，其特征在于，所述视频内容包括具有不同的拍摄帧频的多个视频部分。
5.一种视频处理方法，用于在多个重放模式下对所记录的视频内容进行重放，所述视频处理方法包括以下步骤：
分析视频内容的音频数据的频率特性，并生成声音特性信息；
基于所述声音特性信息和预定声音参数，确定适当重放速度范围；
根据所选择的重放模式，确定所述适当重放速度范围内的特定重放速度；
基于所述特定重放速度，对所述视频内容的视频数据进行帧间隔剔除和/或插值处理；以及
将经过所述帧间隔剔除和/或插值处理的视频数据输出至显示单元。
CN201010194764.0A 2009-06-04 2010-06-04 视频处理设备和视频处理方法 Expired - Fee Related CN101909191B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009135313A JP2010283605A (ja) 2009-06-04 2009-06-04 映像処理装置及び方法
JP2009-135313 2009-06-04

Publications (2)

Publication Number Publication Date
CN101909191A true CN101909191A (zh) 2010-12-08
CN101909191B CN101909191B (zh) 2013-04-10

Family

ID=43264487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010194764.0A Expired - Fee Related CN101909191B (zh) 2009-06-04 2010-06-04 视频处理设备和视频处理方法

Country Status (3)

Country Link
US (1) US8391669B2 (zh)
JP (1) JP2010283605A (zh)
CN (1) CN101909191B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104681047A (zh) * 2013-11-26 2015-06-03 中国移动通信集团公司 一种自适应视频播放方法、装置及终端
CN105578258A (zh) * 2015-12-11 2016-05-11 浙江大华技术股份有限公司 一种视频预处理和视频回放的方法及装置
WO2018014518A1 (zh) * 2016-07-20 2018-01-25 中兴通讯股份有限公司 摄像处理方法及装置
CN116847164A (zh) * 2023-07-04 2023-10-03 广东景行教育科技有限公司 一种基于大数据的课程内容反馈系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5902928B2 (ja) * 2011-11-25 2016-04-13 キヤノン株式会社 再生装置、その制御方法、及びプログラム
JP2014082731A (ja) * 2012-09-26 2014-05-08 Jvc Kenwood Corp 動画像データ処理装置及び動画像データ処理方法
CN113395545B (zh) * 2021-06-10 2023-02-28 北京字节跳动网络技术有限公司 视频处理、视频播放方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1399268A (zh) * 1999-09-03 2003-02-26 三星电子株式会社 用来记录/再现运动图像的设备和方法以及记录介质
CN1650618A (zh) * 2002-03-01 2005-08-03 汤姆森许可公司 在视频特技模式期间利用数字信号处理的音频缩放
CN101116335A (zh) * 2005-02-07 2008-01-30 汤姆森许可贸易公司 用于重放与基于24Hz帧频视频信号的音频/视频数据有关的视频信号和一个或多个音频信号的方法和设备
JP2009075280A (ja) * 2007-09-20 2009-04-09 Nippon Hoso Kyokai <Nhk> コンテンツ再生装置
CN101427314A (zh) * 2006-04-25 2009-05-06 英特尔公司 用于自动调整音频数据的播放速度的方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3063838B2 (ja) * 1997-10-02 2000-07-12 日本電気株式会社 オーディオ・ビデオ同期再生装置および方法
JP2000099097A (ja) 1998-09-24 2000-04-07 Sony Corp 信号再生装置及び方法、音声信号再生装置、並びに、音声信号の速度変換方法
JP2000215024A (ja) 1999-01-27 2000-08-04 Victor Co Of Japan Ltd 音声応答システム
JP4895418B2 (ja) * 1999-08-24 2012-03-14 ソニー株式会社 音声再生方法および音声再生装置
JP3620787B2 (ja) 2000-02-28 2005-02-16 カナース・データー株式会社 音声データの符号化方法
JP2002314945A (ja) 2001-04-18 2002-10-25 Nippon Hoso Kyokai <Nhk> 話速変換プログラムおよび話速変換システム
US7693330B2 (en) * 2004-03-15 2010-04-06 Vincent So Anti-piracy image display methods and systems with sub-frame intensity compensation
WO2006082787A1 (ja) * 2005-02-03 2006-08-10 Matsushita Electric Industrial Co., Ltd. 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路
WO2006108278A1 (en) 2005-04-11 2006-10-19 Gingl, Manfred Bicycle frame construction
JP5163005B2 (ja) 2007-08-10 2013-03-13 三菱電機株式会社 映像信号再生装置、映像信号処理装置および映像信号処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1399268A (zh) * 1999-09-03 2003-02-26 三星电子株式会社 用来记录/再现运动图像的设备和方法以及记录介质
CN1650618A (zh) * 2002-03-01 2005-08-03 汤姆森许可公司 在视频特技模式期间利用数字信号处理的音频缩放
CN101116335A (zh) * 2005-02-07 2008-01-30 汤姆森许可贸易公司 用于重放与基于24Hz帧频视频信号的音频/视频数据有关的视频信号和一个或多个音频信号的方法和设备
CN101427314A (zh) * 2006-04-25 2009-05-06 英特尔公司 用于自动调整音频数据的播放速度的方法和装置
JP2009075280A (ja) * 2007-09-20 2009-04-09 Nippon Hoso Kyokai <Nhk> コンテンツ再生装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104681047A (zh) * 2013-11-26 2015-06-03 中国移动通信集团公司 一种自适应视频播放方法、装置及终端
CN104681047B (zh) * 2013-11-26 2018-03-23 中国移动通信集团公司 一种自适应视频播放方法、装置及终端
CN105578258A (zh) * 2015-12-11 2016-05-11 浙江大华技术股份有限公司 一种视频预处理和视频回放的方法及装置
CN105578258B (zh) * 2015-12-11 2019-05-24 浙江大华技术股份有限公司 一种视频预处理和视频回放的方法及装置
WO2018014518A1 (zh) * 2016-07-20 2018-01-25 中兴通讯股份有限公司 摄像处理方法及装置
CN107645630A (zh) * 2016-07-20 2018-01-30 中兴通讯股份有限公司 摄像处理方法及装置
CN116847164A (zh) * 2023-07-04 2023-10-03 广东景行教育科技有限公司 一种基于大数据的课程内容反馈系统及方法
CN116847164B (zh) * 2023-07-04 2024-02-13 广东景行教育科技有限公司 一种基于大数据的课程内容反馈系统及方法

Also Published As

Publication number Publication date
CN101909191B (zh) 2013-04-10
JP2010283605A (ja) 2010-12-16
US20100310229A1 (en) 2010-12-09
US8391669B2 (en) 2013-03-05

Similar Documents

Publication Publication Date Title
CN101909191B (zh) 视频处理设备和视频处理方法
US8504373B2 (en) Processing verbal feedback and updating digital video recorder (DVR) recording patterns
US20210243528A1 (en) Spatial Audio Signal Filtering
US11871084B2 (en) Systems and methods for displaying subjects of a video portion of content
CN105210364A (zh) 在视频回放期间的动态音频空间感改变
JP2008205745A (ja) 映像再生装置および方法
WO2020125325A1 (zh) 一种消除回声的方法和设备
CN103905925A (zh) 一种节目重复播放的方法和终端
JP4812733B2 (ja) 情報編集装置、情報編集方法、情報編集プログラムおよびそのプログラムを記録した記録媒体
JP2006279111A (ja) 情報処理装置、情報処理方法およびプログラム
JP4965371B2 (ja) 音声再生装置
US8615153B2 (en) Multi-media data editing system, method and electronic device using same
CN112634879B (zh) 语音会议管理方法、装置、设备及介质
US8712211B2 (en) Image reproduction system and image reproduction processing program
JP2013131871A (ja) 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体
JP2006317768A (ja) 話速変換装置、及びこの話速変換装置を制御する話速変換プログラム
JP4580297B2 (ja) 音声再生装置、音声録音再生装置、およびそれらの方法、記録媒体、集積回路
CN112584225A (zh) 视频录制处理方法、视频播放控制方法及电子设备
US20200204856A1 (en) Systems and methods for displaying subjects of an audio portion of content
US11373686B1 (en) Systems and methods for removing commands from sound recordings
JP4353084B2 (ja) 映像再生方法及び装置及びプログラム
JP4143487B2 (ja) 時系列情報制御システム及びその方法並びに時系列情報制御プログラム
JPH0854895A (ja) 再生装置
WO2020066660A1 (ja) 情報処理方法、情報処理装置およびプログラム
JP2022510057A (ja) コンテンツの一部の対象を表示するためのシステムおよび方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130410

Termination date: 20200604